JP7387461B2 - 超音波診断装置、学習装置、画像処理方法およびプログラム - Google Patents

超音波診断装置、学習装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP7387461B2
JP7387461B2 JP2020009941A JP2020009941A JP7387461B2 JP 7387461 B2 JP7387461 B2 JP 7387461B2 JP 2020009941 A JP2020009941 A JP 2020009941A JP 2020009941 A JP2020009941 A JP 2020009941A JP 7387461 B2 JP7387461 B2 JP 7387461B2
Authority
JP
Japan
Prior art keywords
image data
image
ultrasonic
transmitting
plane wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020009941A
Other languages
English (en)
Other versions
JP2021115212A (ja
Inventor
兼一 長永
翔也 佐々木
直哉 飯塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020009941A priority Critical patent/JP7387461B2/ja
Priority to US17/154,634 priority patent/US11733382B2/en
Publication of JP2021115212A publication Critical patent/JP2021115212A/ja
Application granted granted Critical
Publication of JP7387461B2 publication Critical patent/JP7387461B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8977—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using special techniques for image reconstruction, e.g. FFT, geometrical transformations, spatial deconvolution, time deconvolution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は超音波診断装置、学習装置、画像処理方法およびプログラムに関し、特に超音波画像の画質を向上させるための技術に関する。
超音波診断装置はその簡便性、高解像度性、リアルタイム性などにより画像診断装置として臨床現場で広く使用されている。その画像生成の手法としては、送信ビームの形成処理と受信信号の整相加算処理とによって画像を生成する手法が一般的である。送信ビームの形成は、複数の変換素子に対して時間遅延を与えた電圧波形を入力し、生体内で超音波を収束させることで達成される。また、受信信号の整相加算は、生体内の構造により反射された超音波を複数の変換素子で受信し、得られた受信電圧信号に対して、注目点に対する経路長を考慮した時間遅延を与え、さらに加算することで達成される。この送信ビームの形成処理と整相加算処理とにより、注目点からの反射信号を選択的に抽出して画像化を行う。そして、送信ビームが画像化領域の中を走査するように、送信ビームを制御することで観察したい領域の画像を得ることができる。
また、画像生成の手法としては、平面波送信と呼ばれる手法が用いられることがある。この手法では送信ビームの形成はほぼ行わず、略平面波もしくは拡散波になるように時間遅延を与えた電圧波形によって超音波を送信する。そして、受信信号に関して複数方向もしくは複数回送信した平面波もしくは拡散波からの反射波を整相加算（開口合成）することで画像化を行う。
平面波送信による画像生成では、一度の平面波の送信で上記の送信ビームに比べて広い範囲の反射波を得ることができるため、同じ大きさの領域を画像化する場合は、送信ビームよりも平面波の方が少ない送受信回数で受信信号を得ることができる。すなわち、平面波送信による画像生成の方が、より高いフレームレートで画像化することが可能である。
特許文献１には平面波を用いた超音波診断装置に関して開示されている。特許文献２にはニューラルネットワークで構成された復元器を用いた医用撮像装置が開示されている。また、非特許文献１には平面波送信とConvolutional Neural Networksを用いた画像化に
ついて述べられている。
特開２００９－２１９８７６号公報 特開２０１９－２５０４４号公報
IEEE Transactions on Ultrasonics Ferroelectrics and Frequency Control PP(99):1-1 ・August 2017
しかしながら、超音波の平面波送信では、超音波の収束送信のように超音波を送信する領域を設定することができないため、注目点以外からの反射信号が画像に混在する比率が高くなる。そのため、超音波の平面波送信を用いて取得した画像は、超音波の収束送信を用いて取得した画像に比べて画質が低下するという課題がある。
本発明は上述した課題に鑑みてなされたものであり、高いフレームレートを実現しつつ画質の良い画像を得ることのできる超音波診断装置を提供することを目的とする。
本開示は、被検体の観察領域に対して超音波を送受信する超音波探触子と、超音波の平
面波ビームの送信により得られる画像データと、超音波の収束ビームの送信により得られる画像データとを含む学習データを用いて機械学習されたモデルを用いて、超音波の平面波ビームの送信により得られた画像データから、超音波の収束ビームに基づく画像データに相当する推定画像データを生成する推定画像生成部と、を有し、前記学習データにおける、前記超音波の収束ビームの送信により得られる画像データは、前記超音波の平面波ビームの送信により得られる画像データに対応する正解データであり、前記モデルは、前記超音波の収束ビームの送信により得られる画像データと、前記超音波の平面波ビームの送信により得られる画像データとの相関関係を、複数の学習データに基づいて機械学習したものであることを特徴とする超音波診断装置を含む。また、本開示は、被検体の観察領域に対して超音波を送受信する超音波探触子と、超音波の平面波ビームの送信により得られる画像データと、超音波の収束ビームの送信により得られる画像データとを含む学習データを用いて機械学習されたモデルを用いて、超音波の平面波ビームの送信により得られた画像データから、超音波の収束ビームに基づく画像データに相当する推定画像データを生成する推定画像生成部と、前記推定画像データを用いて表示画像を更新する制御部と、を有し、前記推定画像生成部から取得された前記推定画像データが所定の条件を満足しない場合、または、前記推定画像データを用いた前記表示画像の更新の連続回数が所定の回数に達した場合に、前記制御部は、超音波の収束ビームに基づく画像データにより前記表示画像の更新を行うことを特徴とする超音波診断装置を含む。

本開示は、超音波の平面波ビームの送信により得られる画像データを入力データ、超音波の収束ビームの送信により得られる画像データを正解データ、として含む学習データを用いて、モデルの機械学習を行う学習部を有することを特徴とする学習装置を含む。
本開示は、超音波探触子によって被検体の観察領域に対して超音波を送受信する送受信ステップと、超音波の平面波ビームの送信により得られる画像データと、超音波の収束ビームの送信により得られる画像データとを含む学習データを用いて機械学習されたモデルを用いて、超音波の平面波ビームの送信により得られた画像データから、超音波の収束ビームに基づく画像データに相当する推定画像データを生成する推定画像生成ステップと、を有し、前記学習データにおける、前記超音波の収束ビームの送信により得られる画像データは、前記超音波の平面波ビームの送信により得られる画像データに対応する正解データであり、前記モデルは、前記超音波の収束ビームの送信により得られる画像データと、前記超音波の平面波ビームの送信により得られる画像データとの相関関係を、複数の学習データに基づいて機械学習したものであることを特徴とする画像処理方法を含む。また、本開示は、超音波探触子によって被検体の観察領域に対して超音波を送受信する送受信ステップと、超音波の平面波ビームの送信により得られる画像データと、超音波の収束ビームの送信により得られる画像データとを含む学習データを用いて機械学習されたモデルを用いて、超音波の平面波ビームの送信により得られた画像データから、超音波の収束ビームに基づく画像データに相当する推定画像データを生成する推定画像生成ステップと、を有し、前記推定画像生成ステップにより取得された前記推定画像データが所定の条件を満足しない場合、または、前記推定画像データを用いた表示画像の更新の連続回数が所定の回数に達した場合に、超音波の収束ビームに基づく画像データにより前記表示画像の更新を行うことを特徴とする画像処理方法を含む。
本開示は、上記画像処理方法の各ステップをプロセッサに実行させるためのプログラムを含む。
本発明によれば、高いフレームレートを実現しつつ画質の良い画像を得ることのできる超音波診断装置を提供することができる。
超音波診断装置のハードウエア構成の一例を示すブロック図 第１実施形態に係る受信信号処理ブロックの詳細を示すブロック図 学習装置の一例を示すブロック図 平面波ビーム画像と収束ビーム画像を用いた学習データの一例を示す図 学習データを作成するＧＵＩの一例を示す図 第１実施形態における処理のフローを表す図 第１実施形態における表示装置の表示の一例を表す図 第２実施形態に係る受信信号処理ブロックの詳細を示すブロック図 第２実施形態におけるタイムシーケンスを表す図 第２実施形態における処理のフローを表す図 第２実施形態における処理のフローを表す別の図
＜第１実施形態＞
（超音波診断装置の構成）
本発明の第１実施形態について説明する。図１は超音波診断装置のハードウエア構成の一例を示すブロック図である。超音波診断装置１は、概略、超音波プローブ（超音波探触子）１０２、プローブ接続部１０３、送信電気回路１０４、受信電気回路１０５、受信信号処理ブロック１０６、画像処理ブロック１０７、表示装置１０８、システム制御ブロッ
ク１０９を有する。超音波診断装置１は、超音波プローブ１０２から超音波パルスを被検体１００に送信し、被検体１００の内部で反射された反射超音波を受信して、被検体１００の内部の画像情報（超音波画像）を生成するためのシステムである。超音波診断装置１で得られる超音波画像は各種の臨床検査で利用される。
超音波プローブ１０２は、電子スキャン方式のプローブであり、その先端に１次元または２次元に配列された複数の振動子１０１を有する。振動子１０１は、電気信号（電圧パルス信号）と超音波（音響波）のあいだの相互変換を行う電気機械変換素子である。超音波プローブ１０２は、複数の振動子１０１から超音波を被検体１００に送信し、被検体１００内の音響インピーダンスの差を反映した反射超音波を複数の振動子１０１により受信する。
送信電気回路１０４は、複数の振動子１０１に対してパルス信号（駆動信号）を出力する送信部である。複数の振動子１０１に対して時間差をつけてパルス信号を印加することで、複数の振動子１０１から遅延時間の異なる超音波が送信されることで送信超音波ビームが形成される。パルス信号を印加する振動子１０１（つまり駆動する振動子１０１）を選択的に変えたり、パルス信号の遅延時間（印加タイミング）を変えたりすることで、送信超音波ビームの方向やフォーカスを制御できる。この送信超音波ビームの方向およびフォーカスを順次変更することで、被検体１００内部の観察領域が走査（スキャン）される。以下の説明において、送信電気回路１０４によって形成される送信超音波ビームのうち、送信超音波ビームの広がりが、送信開口サイズの約半分を閾値として閾値以上となる送信超音波ビームを平面波ビームと呼ぶ。送信超音波ビームの広がりとは、最大音圧点から約半分の音圧になる音圧点までのビーム幅である。また、送信電気回路１０４によって形成される送信超音波ビームのうち、送信超音波ビームの広がりが送信開口サイズの上記閾値未満となる送信超音波ビームを収束ビームと呼ぶ。
受信電気回路１０５は、反射超音波を受信した振動子１０１から出力される電気信号を、受信信号として入力する受信部である。受信信号は受信信号処理ブロック１０６に入力される。送信電気回路１０４および受信電気回路１０５の動作、すなわち、超音波の送受信は、システム制御ブロック１０９によって制御される。なお、本明細書では、振動子１０１から出力されるアナログ信号も、それをサンプリング（デジタル変換）したデジタルデータも、特に区別することなく受信信号と呼ぶ。ただし、文脈によってデジタルデータであることを明示する目的で、受信信号を受信データと記す場合もある。
受信信号処理ブロック１０６は、受信電気回路１０５から得られた受信信号に基づいて画像データを生成する。画像処理ブロック１０７は、受信信号処理ブロック１０６で生成された画像データに対し、輝度調整、補間、フィルタ処理などの画像処理を施す。表示装置１０８は、画像データおよび各種情報を表示するための表示部であり、例えば液晶ディスプレイや有機ＥＬディスプレイなどで構成される。システム制御ブロック１０９は、送信電気回路１０４、受信電気回路１０５、受信信号処理ブロック１０６、画像処理ブロック１０７、表示装置１０８などを統括制御する制御部である。
（受信信号処理ブロックの構成）
図２は受信信号処理ブロック１０６が有する機能の一例を示すブロック図である。受信信号処理ブロック１０６は、平面波ビーム画像生成ブロック２０１、推定演算ブロック２０２を有する。本実施形態では、平面波ビーム画像生成ブロック２０１（画像生成部）は、超音波探触子により収束ビームの送信を行うことで得られる収束ビーム画像データを生成する。また、推定演算ブロック２０２（推定画像生成部）は、超音波の平面波ビームの送信により得られる画像データと、超音波の収束ビームの送信により得られる画像データとを含む学習データを用いて機械学習されたモデルを用いて、超音波の平面波ビームの送
信により得られた画像データから、超音波の収束ビームに基づく画像データに相当する推定画像データを生成する。
平面波ビーム画像生成ブロック２０１は、受信電気回路１０５から得られた受信信号から、システム制御ブロック１０９によって与えられる素子配置や画像生成の各種条件（音速、開口制御、信号フィルタ）に基づいて画像を生成する。平面波ビーム画像生成ブロック２０１によって生成された画像は、推定演算ブロック２０２に送られる。
推定演算ブロック２０２は、機械学習により得られた学習済みモデルを用いて、平面波ビーム画像生成ブロック２０１から送られる画像を基に、収束ビーム相当画像を生成する。「収束ビーム相当画像」は、１枚の平面波ビーム画像に画像処理（推定演算処理）を施すことによって、収束ビームを送信して得られる画像（収束ビーム画像と呼ぶ）に相当する画質改善を図った画像のことである。以下の説明では、収束ビーム相当画像を「推定画像」と呼ぶ場合もある。推定演算ブロック２０２から出力される画像は、画像処理ブロック１０７で所定の処理が施されたのち、表示装置１０８で表示される。
受信信号処理ブロック１０６は、１つ以上のプロセッサとメモリにより構成してもよい。その場合、図２に示す各ブロック２０１、２０２の機能はコンピュータ・プログラムによって実現される。例えば、メモリに記憶されているプログラムをＣＰＵが読み込み実行することにより、各ブロック２０１、２０２の機能を提供することができる。受信信号処理ブロック１０６は、ＣＰＵの他に、各ブロック２０１、２０２の演算を担当するプロセッサ（ＧＰＵ、ＦＰＧＡなど）を備えていてもよい。特に同時に多くのデータが入力される平面波ビーム画像生成ブロック２０１にはＦＰＧＡを、推定演算ブロック２０２のような演算を効率よく実行するにはＧＰＵを用いることが有効である。メモリは、プログラムを非一時的に記憶するためのメモリ、受信信号などのデータを一時保存しておくためのメモリ、ＣＰＵが利用するワーキングメモリなどを含むとよい。
（推定演算ブロック）
推定演算ブロック２０２について説明する。推定演算ブロック２０２は学習済みモデルを用いて収束ビーム相当画像を生成（推定）する処理を行う。
モデルの学習には、機械学習が用いられるとよい。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。
図３は、モデルの機械学習を行う学習装置３０の一例を示している。学習装置３０は、複数の学習データ３０１を用いてモデルの機械学習を実施する学習部（学習器）３０４を有している。学習部３０４は先に例示した機械学習アルゴリズムのうちいずれを利用してもよいし、他の機械学習アルゴリズムを利用してもよい。学習データ３０１は、入力データと正解データ（教師データ）の組で構成されており、本実施形態では、入力データとして、平面波ビーム画像３０２（平面波ビームの送信により得られる画像データ）を用いる。また、正解データとして、収束ビーム画像３０３（収束ビームの送信により得られる画像データ）を用いる。また、平面波ビーム画像３０２および／または収束ビーム画像３０３は、ＲＦ（Radio Frequency）データ（生データ）を含んでもよい。学習部３０４は、
与えられた複数の学習データ３０１を基に、平面波ビーム画像３０２と収束ビーム画像３０３のあいだの相関を学習して、学習済みモデル３０５を作成する。これにより、学習済みモデル３０５は、平面波ビーム画像を入力データとして与えると収束ビーム相当画像を出力データとして生成する機能（能力）を獲得することができる。学習済みモデル３０５
は、超音波診断装置１の推定演算ブロック２０２で実行されるプログラムに実装される。モデルの学習（学習済みモデル３０５の生成処理）は、超音波診断装置１に組み込まれる前に実施されるのが望ましい。ただし、超音波診断装置１が学習機能を有する場合には超音波診断装置１で得られた画像データを用いて学習（新規の学習または追加学習）を行ってもよい。
図４は平面波ビーム画像を出力する推定演算ブロック２０２の学習について説明した図である。学習においては、ある被検体を平面波ビームによって撮像した平面波ビーム画像、平面波ビームの送信角度および／または送信数を入力として用いる。また、正解データとして、同じ被検体を収束ビームを用いて撮像した収束ビーム画像を用いる。
本実施形態における推定演算ブロック２０２の学習についてさらに詳細に説明する。図４に示すように、学習用データＩＤ１の入力データとして、平面波ビーム画像ＰＷＩ１－１を用いる。さらに、当該画像の基となる受信信号を得るための平面波ビームの送信における、探触子面に垂直な方向に対する平面波ビームの送信方向の代表角度（送信角度）と、送信数なども入力データに含まれる。図４の例では、平面波ビーム画像ＰＷＩ１－１を取得したときの平面波ビームの送信数は、＋１０度の１回である。また、学習用データＩＤ１の正解データとして、同じ被検体に収束ビームを送信して得られる収束ビーム画像ＦＢ１を用いる。同様に、学習用データＩＤ２～４の入力データとして、それぞれ平面波ビーム画像ＰＷＩ１－２～１－４と平面波ビームの送信方向の代表角度と送信数などをセットとしたものを用いる。また、学習用データＩＤ２～４の正解データとして、収束ビーム画像ＦＢ１を用いる。したがって、同じ被検体に対して異なる条件で平面波ビームを送信して得られる平面波ビーム画像ＰＷＩ１－１～ＰＷＩ１－４に対して収束ビームを送信して得られる収束ビーム画像ＦＢ１を正解データとして学習を行う。
さらに、学習用データＩＤ５の入力データとして、平面波ビーム画像ＰＷＩ１－１の撮像対象である被検体とは異なる被検体を対象として平面波ビームを送信して得られる平面波ビーム画像ＰＷＩ２－１を用いる。また、学習用データＩＤ５の正解データとして、平面波ビーム画像ＰＷＩ２－１の被検体と同じ被検体に収束ビームを送信して得られる収束ビーム画像ＦＢ１を用いる。なお、推定演算ブロック２０２へと入力される平面波ビーム画像は、平面波ビームによる複数回の送信のそれぞれで得られた複数の受信信号を合成した信号を用いて得られる画像データであってもよい。このように、本実施形態では、異なる被検体を対象として異なる条件で平面波ビームを送信して得られる平面波ビーム画像と収束ビーム画像との組を用いて学習を行う。
図４に示したように、平面波ビームの送信条件が異なる学習データや、被検体が異なる学習データなど、様々な学習データを用いて学習を行うとよい。より多くの学習データを用いて学習することで、様々なパターンの入力データに対する学習が行われ、実際に使用された時も安定して画質の良い画像を推定することが期待できる。なお、被検体としては、超音波の送受信シミュレーションによって画像化可能なデジタルファントムを用いてもよく、さらには実際のファントム、またさらに実際の生体を用いても構わない。
また学習データの前処理を行ってもよい。例えば、超音波の減衰による輝度値のムラを補正することにより、学習効率の改善を図ってもよい。収束ビーム画像の中でも超音波ビームの収束が良いところ、つまり、送信フォーカスを設定した深さ付近の画像を抽出して用いてもよい。これにより、推定画像の解像度向上を期待できる。被検体撮像時の超音波プローブの浮きなどによる影を入力データから除去する処理を行ってもよい。これにより推定精度の安定性を向上することができる。あるいは、プローブの浮きなどによる影を入力データと正解データがともに含んでいる学習データを用いれば、実際のプローブの浮きが発生した時に推定画像においてもプローブが浮いていることを認識できる画像を推定す
る効果なども期待できる。
また、学習においては図５に示したようなＧＵＩを用いて入力データおよび正解データの前処理をさらに行っても良い。表示画面内に入力データ５０と正解候補データ５１とを示し、それぞれを複数の領域に分割するインジケータ５２を表示する。図５の例では画像を４×４の１６個の領域に分割している。採択指定ボックス５３は、領域ごとの採否を使用者に指定させるためのユーザインタフェースである。使用者は入力データ５０と正解候補データ５１を見比べながら、学習データとして採択する領域に「〇」を、除外する領域に「×」を入力する。これにより、正解候補データ５１の中で予期せぬ画像劣化が起きているところなどを除外することができる。例えば、複数回の送信超音波ビームの送受信間の被検体の動きにより画質が低下していると判断される箇所などを除外することができる。図４では、画像全体を１つの学習データとして用いる想定で説明をしているが、図５のように画像を複数の領域に分割した場合には、個々の領域の画像（部分画像）が１つの学習データとして用いられる。すなわち、図５の例では、採択される領域が９個あるため、９組の学習データが生成されることとなる。
本実施形態では入力データとして平面波ビーム画像、平面波ビームの送信角度および／または送信数を例示しているが、平面波ビーム画像のみを入力データとしても本実施形態と同様の効果が得られる。また、平面波ビーム画像、平面波ビームの送信角度および／または送信数以外の関連情報を入力データに加えてもよい。例えば、平面波ビーム画像を取得した際の送信周波数やバンドパスフィルタの帯域などの情報を入力データに加えると、入力データの状況に合わせて精度よく推定できる可能性を高めることができる。また、被検体が生体のどの部分なのか、体軸に対してどの向きに超音波プローブを接触しているのか、などの情報を入力データに加えてもよい。部位ごとの特徴（例えば脂肪層が表面にある、筋膜の構造による高輝度領域がある、太い血管による低輝度領域が存在するなど）に対応し、より推定精度が高まることが期待できる。またさらに、診療科や性別、ＢＭＩ、年齢、病態などの情報を入力データに付加することで、先ほどの部位ごとの特徴にさらに詳細に対応した学習済みモデルが得られる可能性があり、より推定精度が高まることが期待できる。
また、超音波診断装置１に搭載される推定演算ブロック２０２の学習済みモデル３０５は、全診療科の画像データを学習させたモデルでもよいし、診療科ごとの画像データを学習させたモデルでもよい。診療科ごとの画像データを学習させたモデルが搭載されている場合は、システム制御ブロック１０９が、超音波診断装置１の使用者に診療科情報を入力ないし選択させ、診療科に合わせて用いる学習済みモデルを変更するとよい。撮像部位がある程度限定される診療科ごとにモデルを使い分けることで、より推定精度が高まることが期待できる。
このような各種撮像条件と平面波ビーム画像とを入力データとし、その正解データに収束ビーム画像を用いた学習を行うことで得られた学習済みモデル３０５が推定演算ブロック２０２上で動作する。結果として推定演算ブロック２０２は入力される平面波ビーム画像に対して分解能やコントラストの高い収束ビーム画像に相当する画像を推定し、この画像を推定結果として出力することが期待できる。
（画像生成方法）
次に本実施形態における画像生成のための処理の詳細を図１を用いて述べる。図示していないＧＵＩを利用して使用者から撮像の指示が入力される。ＧＵＩからの指示を受けたシステム制御ブロック１０９が送信電気回路１０４に超音波の送信指示を入力する。送信指示は、遅延時間を計算するためのパラメータや音速情報を含むとよい。送信電気回路１０４はシステム制御ブロック１０９からの送信指示に基づいて、複数のパルス信号（電圧
波形）をプローブ接続部１０３を通じて超音波プローブ１０２の複数の振動子１０１へと出力する。このとき送信電気回路１０４は、超音波ビームの送信方向（偏向角）およびフォーカス位置にしたがって、各振動子１０１に印加するパルス信号の遅延時間を設定する。なお、偏向角は、複数の振動子１０１が配列されている面の法線方向と、超音波ビームの軸方向とがなす角度である。
複数の振動子１０１から送信された超音波は被検体１００内を伝播し、被検体１００内の音響インピーダンスの境界で反射される。音響インピーダンスの差を反映した反射超音波を複数の振動子１０１が受信し、電圧波形へと変換する。この電圧波形はプローブ接続部１０３を通して受信電気回路１０５へと入力される。受信電気回路１０５は必要に応じて電圧波形を増幅、デジタルサンプリングし、受信信号処理ブロック１０６へ受信信号として出力する。
図６は、本実施形態において、超音波診断装置１の各ブロックが実行する画像生成・表示処理のフローを示す。ステップＳ６０において、平面波ビーム画像生成処理ブロック２０１は、受信電気回路１０５で得られた受信信号と、システム制御ブロック１０９から入力される素子配置や画像生成の各種条件とを基に、平面波ビーム画像を生成する。ここで、各種条件としては、音速、素子ピッチ、バンドパス帯域、受信開口サイズなどが挙げられる。平面波ビーム画像生成処理ブロック２０１は、生成した平面波ビーム画像を推定演算ブロック２０２に出力する。
ステップＳ６１において、推定演算ブロック２０２は、システム制御ブロック１０９から入力される平面波ビームの送信角度や送信数などを用いて推定演算を実行し、収束ビーム相当画像（推定画像）を出力する。
推定演算ブロック２０２へと入力される平面波ビーム画像は、平面波ビームによる複数回の送信のそれぞれで得られた複数の受信信号を合成することにより得られた信号によって作成される画像であってもよい。このような複数回の平面波ビーム送信の結果を基に画像を作成する際には、平面波ビーム画像生成ブロック２０１から出力された平面波ビーム画像をメモリに保存する。そして、その後出力される複数の平面波ビーム画像とメモリに保存された画像との合成を行い、その合成結果を推定演算ブロック２０２に複数の送信角度と共に出力する。なお、平面波ビーム画像の合成はコヒーレントであってもインコヒーレントであってもよく、その合成手法を用いた結果の平面波ビーム画像を学習の際に入力データとして使用していれば本実施形態の効果は得られる。
ステップＳ６２において、推定演算ブロック２０２から出力された推定画像のデータは、画像処理ブロック１０７へ入力される。画像処理ブロック１０７は、入力された推定画像のデータに対して輝度調整や補間、その他のフィルタを適用して、その結果得られる画像データを表示装置１０８に出力する。表示装置１０８は、画像処理ブロック１０７から出力される画像データを表示し、超音波診断装置１は本フローの処理を終了する。
図７Ａ～図７Ｃは表示装置１０８における画像の表示例を模式的に示したものである。図７Ａは、推定演算ブロック２０２から出力された推定画像を、表示装置１０８の表示領域７０１に表示した状態を示す。推定演算ブロック２０２から出力した推定画像は、受信した超音波を直接画像化したものではなく、推定が含まれているものであるため、推定された画像であることが表示領域７０１に表示される。図７Ａの例では、推定画像であることを示す「ＰＷＩ＋ＡＩ」が表示されている。また、表示領域７０１には、推定の基となる画像の代表的な特徴として、撮像条件である３方向（推定演算ブロック２０２に入力される画像が平面波ビームを３方向に送信して得られる平面波ビーム画像である）ことも表示される。なお、これらの表示は文字による表示でなくてもよく、例えば表示画像や表示
領域の外縁の色を変える、点滅させる、背景の色、彩度、模様を変化させるなどの手法であっても構わない。
図７Ｂは、推定演算ブロック２０２を動作させずに、平面波ビームを送信して得られる画像をそのまま表示領域７０１に表示した状態を示す。図７Ｂに示す例の画像は、受信信号処理ブロック１０６の平面波ビーム画像生成ブロック２０１が出力した平面波ビーム画像をそのまま画像処理ブロック１０７に出力することで得られる。また、平面波ビーム送信を行っているため、表示領域７０１に表示されている画像を、任意のタイミングで推定演算ブロック２０２が出力する推定画像への切り替えることも可能である。図７Ｂの例では、推定演算ブロック２０２が出力する推定画像への切り替えが可能であるが、現在は使用していないことを示す「ＰＷＩ（ＡＩ）」（「ＡＩ」には取り消し線が付されている）が表示されている。
図７Ｃは、平面波ビーム画像生成ブロック２０１が出力する平面波ビーム画像と推定演算ブロック２０２が出力する推定画像とを並べて表示領域７０１に表示した状態を示す。図７Ｃに示す例では、同時に取得した平面波ビーム送信による受信信号から２種の画像が生成される。これにより、使用者は推定演算ブロック２０２による画質の向上した推定画像だけでなく、元の平面波ビーム画像も同時に確認できるため、推定演算ブロック２０２の処理によって平面波ビーム画像から変化した画像部分を知ることができる。
本実施形態によれば、平面波ビーム送信による受信データの収集による高速で広範囲なデータ取得、つまり収束ビーム送信の場合よりも高いフレームレートで画像を提供できる。さらに、推定演算ブロック２０２の学習によって収束ビーム送信によって得られる画像の画質に近い高画質な画像を提供できる。したがって、超音波診断装置１は、従来の装置に比べてフレームレートおよびコントラストのより高い画像を提供可能である。
＜第２実施形態＞
次に、第２実施形態に係る超音波診断装置について説明する。超音波診断装置１の全体構成は第１実施形態（図１）と同じである。本実施形態では、送信する超音波ビームとして平面波ビームと収束ビームを用いる。平面波ビームの送信によって受信電圧信号を得て、受信電圧信号を受信信号処理ブロック１０６に入力するところは第１実施形態と同様である。また、本実施形態では、収束ビームの送信による受信電圧信号の取得も行う。送信電気回路１０４は、システム制御ブロック１０９からの指示に従い、被検体内で収束するように遅延を持たせた電圧信号を、プローブ接続部１０３を経由して超音波プローブ１０２の振動子１０１に与える。超音波プローブ１０２は、収束ビームが撮像領域の全域に亘って送信されるよう、位置を移動、つまり走査しながら収束ビームによる送受信を繰り返す。したがって、平面波ビームの送信と比較して、収束ビームの送信では、単位時間あたりに画像化できる撮像領域が狭い。
図８は、本実施形態における受信信号処理ブロック１０６を示す。受信信号処理ブロック１０６は、データ転送制御ブロック８０１、整相加算ブロック８０２、平面波ビーム画像生成処理ブロック８０３、推定演算ブロック８０４を有する。データ転送制御ブロック８０１は、システム制御ブロック１０９からの情報に従い、受信信号が収束ビームによるものか平面波ビームによるものかを判定し、データ転送先を変更する。受信信号が収束ビームによるものである場合は、データ転送制御ブロック８０１は、受信データを整相加算ブロック８０２に転送する。一方、受信信号が平面波ビームによるものである場合は、データ転送制御ブロック８０１は、受信データを平面波ビーム画像生成ブロック８０３に転送する。整相加算ブロック８０２と平面波ビーム画像生成ブロック８０３とはそれぞれ入力された受信データに対して、画像を生成するための処理を実行する。また、推定演算ブロック８０４は、平面波ビーム画像生成ブロック８０３からの平面波ビーム画像やシステ
ム制御ブロック１０９からの平面波ビームの送信角度などの情報を入力として、上述した学習済みの演算に従って画像を生成する。
図９Ａ～図９Ｃは、推定演算ブロック８０４における平面波ビーム画像からの推定画像の形成と収束ビーム画像の形成のタイミングの例を示している。図９Ａは、収束ビーム画像のみを用いて表示画像を更新する表示モードの例であり、図９Ｂおよび図９Ｃは、収束ビーム画像と推定画像の両方を用いて表示画像を更新する表示モードの例である。また、図１０は、図９Ｂおよび図９Ｃに示す表示モードにおける推定画像の形成と収束ビーム画像の形成の切り替え処理の例を示すフローチャートである。
図９Ａ～図９Ｃは、収束ビーム送信による整相加算と平面波ビーム送信による画像形成のタイミングを示した図である。図９Ａは収束ビーム送信によって画像を生成している場合のタイミングを例示している。撮像領域を収束ビームによって一通り走査し、画像（フレーム）を出力するまでにかかる時間をＢ１、Ｂ２、Ｂ３、Ｂ４で示している。ここでは４枚の収束ビーム画像が出力されることになる。
ここからは図１０に示したフローチャートに従って説明を行う。使用者からの指示、もしくは装置のデフォルト設定、もしくは診療科や使用者ＩＤなどによってこのフローチャートに示した制御モードに装置が切り替わる。なお、図１０の処理は、システム制御ブロック１０９の制御にしたがって、超音波診断装置１の各部１０１～１０８が動作することによって実現される。
ステップＳ１００では、収束ビーム画像の生成および表示を行う。具体的には、収束ビームによって観察領域を走査し、一通りの画像を１フレーム分生成し、生成した画像を表示装置１０８に表示する。その動作に必要な時間を図９ＢのＢ１で示している。なお、システム制御ブロック１０９はフレームメモリを有しており、受信信号処理ブロック１０６から出力される表示画像データを一時的に保存可能である。
ステップＳ１０１では、平面波ビームの送信によって受信した信号に対して平面波ビーム画像生成ブロック８０３と推定演算ブロック８０４による処理を行うことで、推定画像を生成する。この動作に必要な時間を図９ＢのＰ１で示している。
ステップＳ１０２では、システム制御ブロック１０９が、推定演算ブロック２０５によって生成された推定画像が所定の条件を満足しているか否かを評価する。この評価は、推定画像の信頼性（推定の精度）が高いか否かを判定するためであり、本実施形態では、フレームメモリに記憶されている直前の収束ビーム画像との相関が高いほど信頼性が高いとみなす。相関を評価するための指標はどのように設計してもよい。図９Ｂの例では、時間Ｐ１、Ｐ２、Ｐ３で生成された平面波ビーム画像それぞれと時間Ｂ１で生成された収束ビーム画像との相関が評価される。本実施形態では、例えば、推定画像と直前の表示画像のあいだのＳＳＤ（画素値の差分の二乗和）の逆数を用いて相関の強さを評価する。この相関が所定の閾値以上である場合、すなわち、直前の収束ビーム画像に比べて推定画像が大きく変化していない場合は、推定画像の妥当性ないし信頼性が高いとみなす。そして、ステップＳ１０３にて、システム制御ブロック１０９はこの推定画像を用いて表示画像を更新する。例えば、システム制御ブロック１０９は、直前の収束ビーム画像と今回の推定画像とを所定の重みで合成することによって、新たな表示画像を生成してもよい。あるいは、システム制御ブロック１０９は、今回の推定画像をそのまま新たな表示画像として採用してもよい（直前の収束ビーム画像の重みが０、推定画像の重みが１と捉えることもできる）。ステップＳ１０４では、ステップＳ１０３で生成された表示画像が表示装置１０８に表示される。
ステップＳ１０５では、システム制御ブロック１０９が、表示画像の更新に推定画像を連続で用いた回数が所定の回数Ｎ（本例ではＮ＝１０とする）に達したか否かを確認する。Ｎ回未満であれば、ステップＳ１０１に戻り、平面波ビーム画像を用いた推定画像が生成される（図９ＢのＢ２はこの動作にかかる時間を示している）。その後、ステップＳ１０２～Ｓ１０５の処理が繰り返される。
この処理を繰り返す中で、推定画像と直前の表示画像との相関が所定の閾値未満になった場合は、システム制御ブロック１０９は、その推定画像を表示に利用せず、新たな収束ビーム画像の生成および表示（ステップＳ１００）へと制御を切り替える。図９Ｂは、時間Ｐ３に得られた推定画像が直前の収束ビーム画像と相関が低かったために、時間Ｂ２において新たな収束ビーム画像の生成が行われた例を示している。一度収束ビーム画像を表示した後は、再び推定画像を生成する（図９ＢのＰ４はこの動作にかかる時間を示している）制御へ切り替える（ステップＳ１０１）。
また、ステップＳ１０５において、表示画像の更新に推定画像を連続で用いた回数がＮ回に達したと判定された場合、システム制御ブロック１０９は、推定画像の生成を止め、新たな収束ビーム画像の生成および表示（ステップＳ９０）へと制御を切り替える。図９Ｃは、推定画像の連続回数が１０回（Ｐ１～Ｐ１０）に達したため、時間Ｂ２において新たな収束ビーム画像の生成が行われた例である。
以上述べた制御によれば、１回の走査で得られた収束ビーム画像から生成した推定画像を表示画像の更新に用いるので、収束ビーム画像のみを用いて表示画像の更新を行うのに比べて、高いフレームレートでの画像表示が実現できる。図９Ａ（収束ビーム画像のみを用いる表示モード）と図９Ｂ（収束ビーム画像と推定画像を用いる表示モード）とを比較すれば明らかなように、後者の方が単位時間あたりに表示できるフレーム数が増加することがわかる。また、本実施形態では、推定画像の信頼性が低下した場合には、収束ビーム画像の生成および表示に切り替える制御を行うので、画質の低い画像や推定に失敗した画像などが表示される可能性を抑制することができる。また、本実施形態では、推定画像そのものを表示に用いるのではなく、直前の収束ビーム画像や直前の表示画像を推定画像で更新していく処理を行うので、全体として信頼性の高い画像表示を継続することができる。
なお、相関の算出においては、観察領域全体同士の相関を用いる必要はなく、観察領域内を分割しそれぞれの相関を算出した後、そのうちの一定割合の領域で相関が一定以上であるかどうかで判定してもよい。このような制御を行うことで、例えば心臓を撮像している際に弁が動いている領域の中の相関は下がったとしても、他の領域の相関は高いので、推定画像を用いた高いフレームレートの表示を継続することが可能となる。
また、図１０の処理では、相関の評価に用いる画像と表示に用いる画像を同じにしていたが、相関の評価と表示とで異なる画像を用いてもよい。例えば、相関の評価には観察領域の中の一部の領域（選択領域と呼ぶ）のみの画像を用い、選択領域の画像の評価にしたがって観察領域全体の画像の生成を制御してもよい。これにより撮像および画像処理の効率化を図ることができる。なお、選択領域は任意に設定してよく、例えば観察領域の１／ｎの領域（ｎは２以上の整数）や中央領域を機械的に選択領域に設定してもよいし、使用者に選択領域を設定させてもよい。
図１１は、選択領域の画像を相関の評価に用いる制御の一例を示している。ステップＳ１１０では、収束ビームによって選択領域のみを走査し、その選択領域の収束ビーム画像を生成する。この画像は表示には利用しない。ステップＳ１１１では、平面波ビーム画像を撮像し、その平面波ビーム画像から選択領域の推定画像を算出する。ステップＳ１１２
では、システム制御ブロック１０９が、選択領域の収束ビーム画像と選択領域の推定画像との相関を算出する。この相関が閾値未満の場合は、ステップＳ１１３にて観察領域全体の収束ビーム画像を生成し、表示する。その後はステップＳ１１１に戻る。他方、選択領域の収束ビーム画像と推定画像との相関が閾値以上である場合は、ステップＳ１１４にて観察領域全体の平面波ビーム画像を撮像し、その平面波ビーム画像から観察領域全体の推定画像を生成し表示する。推定画像の連続回数がＮ回に達するまでは、ステップＳ１１１～Ｓ１１４を繰り返し、Ｎ回に達した場合はステップＳ１１０に戻る（ステップＳ１１５）。このような制御を行うことで、相関の評価に用いるための画像（収束ビーム画像および推定画像）の取得に要する時間を大幅に短縮できるので、処理の効率を高めることができる。
次に撮像動作中に使用者から静止画像もしくは動画保存の指示が出た場合の制御について述べる。システム制御ブロック１０９は、静止画保存の指示を受けた場合に、指示を受けたタイミングに最も近い時刻に取得された収束ビーム画像および／または推定画像を保存するとよい。このとき、取得はしたが表示に利用されなかった画像は保存対象から除いてもよい。例えば図９Ｂに示したタイミングｔ１で静止画保存の指示がＧＵＩなどを通じてシステム制御ブロック１０９へと入力された場合、時間Ｂ１で取得した収束ビーム画像と、時間Ｐ１で取得した推定画像とが保存される。このとき、２つの画像を保存候補として使用者に提示し、実際に保存する画像を使用者に選択させてもよい。また例えばタイミングｔ２で静止画保存の指示が入力された場合、時間Ｂ２で取得した収束ビーム画像と、タイミングｔ２に一番近い時刻に取得され、かつ表示にも利用された推定画像である、時間Ｐ２で取得した推定画像が保存される。なお、時間Ｐ３で得られた推定画像は相関が閾値未満であり、表示に利用されなかったため、保存対象から除かれる。なお、これらの保存に関しては別途システムのオプションとして、収束ビーム画像のみ、推定画像のみを保存するように設定することも可能である。さらに、保存指示が出た時点で図１０や図１１のフローチャートに割り込みをかけ、収束ビーム画像を撮像する制御を行い、その画像を保存してもよい。
また、動画保存に関しては、収束ビーム画像と推定画像とを別々に保存してもよく、混合して保存してもよい。これらの切り替えについてもシステムのオプションとして設定できるようにすることも可能である。また、本実施形態の画像生成方法においては画像のフレームレートが制御によって変化するため、動画保存の際は、一定の時間間隔のデータになるように補間や処理を実施した後に一定のフレームレートの動画として保存してもよい。
また、本実施形態では適応的に画像の相関を見て収束ビーム画像と推定画像とを切り替える制御を示したが、これらの割合は固定でもよく、またＧＵＩから使用者がインタラクティブに割合を変更できるようにシステム制御ブロック１０９が制御してもよい。また、推定画像が連続している時に１つ以上離れた推定画像同士の相関が高い場合は、被検体がほぼ動いていないと判断し、自動的に収束ビーム画像へと切り替えてもよい。これによりほぼ動いていない被検体に対して、収束ビーム送信による画像を得られる。
＜その他の実施形態＞
上述した実施形態は本発明の具体例を示すものにすぎない。本発明の範囲は上述した実施形態の構成に限られることはなく、その要旨を変更しない範囲のさまざまな実施形態を採ることができる。
例えば、第１実施形態および第２実施形態においては、平面波ビーム画像を入力データ、推定画像を出力データとするモデルを利用したが、モデルの入出力は画像でなくてもよい。例えば、平面波ビーム送信により得られた受信データそのものを入力データとして用
いてもよく、また整相加算処理後の受信データを入力データとしても用いてもよい。また、正解データとして、収束ビーム送信による受信データそのもの、もしくは整相加算処理を行った受信データを用いてもよい。このようなモデルを用いても上述した実施形態と同様の作用効果を得ることができる。
また、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、１つの機器からなる装置に適用しても良い。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。かかる記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
１：超音波診断装置
１００：被検体
１０２：超音波プローブ
１０６：受信信号処理ブロック
２０１：平面波ビーム画像生成ブロック
２０２：推定演算ブロック

Claims (18)

  1. 被検体の観察領域に対して超音波を送受信する超音波探触子と、
    超音波の平面波ビームの送信により得られる画像データと、超音波の収束ビームの送信により得られる画像データとを含む学習データを用いて機械学習されたモデルを用いて、超音波の平面波ビームの送信により得られた画像データから、超音波の収束ビームに基づく画像データに相当する推定画像データを生成する推定画像生成部と、
    を有し、
    前記学習データにおける、前記超音波の収束ビームの送信により得られる画像データは、前記超音波の平面波ビームの送信により得られる画像データに対応する正解データであり、
    前記モデルは、前記超音波の収束ビームの送信により得られる画像データと、前記超音波の平面波ビームの送信により得られる画像データとの相関関係を、複数の学習データに基づいて機械学習したものである
    ことを特徴とする超音波診断装置。
  2. 前記学習データは、前記収束ビームの送信により得られる前記画像データを正解データとして含むことを特徴とする請求項１に記載の超音波診断装置。
  3. 前記平面波ビームの送信により得られる前記画像データおよび／または前記収束ビームの送信により得られる前記画像データは、ＲＦ（Radio Frequency）データを含むことを
    特徴とする請求項１または２に記載の超音波診断装置。
  4. 前記推定画像生成部は、前記平面波ビームによる複数回の送信のそれぞれで得られた複数の受信信号を合成した信号を用いて得られる画像データから前記推定画像データを生成する
    ことを特徴とする請求項１に記載の超音波診断装置。
  5. 前記超音波探触子により前記収束ビームの送信を行うことで得られる収束ビーム画像デ
    ータを生成する画像生成部をさらに有する
    ことを特徴とする請求項１～４のうちいずれか１項に記載の超音波診断装置。
  6. 表示装置に出力する表示画像の制御を行う制御部をさらに有し、
    前記制御部は、前記推定画像データを用いて前記表示画像を更新する表示モードを有する
    ことを特徴とする請求項５に記載の超音波診断装置。
  7. 前記表示モードは、前記推定画像データを用いずに前記収束ビーム画像データを用いて前記表示画像の更新を行う場合に比べて、高いフレームレートで前記表示画像の更新が可能であるモードを含む
    ことを特徴とする請求項６に記載の超音波診断装置。
  8. 前記表示モードは、前記推定画像データと前記収束ビーム画像データの両方を用いて前記表示画像を更新するモードを含み、
    前記制御部は、前記表示モードにおいて、前記推定画像生成部から取得された前記推定画像データが所定の条件を満足しない場合、および／または、前記推定画像データを用いた前記表示画像の更新の連続回数が所定の回数に達した場合に、前記収束ビーム画像データにより前記表示画像の更新を行う
    ことを特徴とする請求項６または７に記載の超音波診断装置。
  9. 前記制御部は、前記推定画像データと前記収束ビーム画像データとを並べて表示する表示モードを有する
    ことを特徴とする請求項６～８のうちいずれか１項に記載の超音波診断装置。
  10. 前記学習データに含まれる前記収束ビームの送信により得られる前記画像データは、前記超音波探触子による前記超音波の受信信号そのもののデータもしくは該受信信号を整相加算したデータである
    ことを特徴とする請求項１～９のうちいずれか１項に記載の超音波診断装置。
  11. 前記モデルは、ニューラルネットワークである
    ことを特徴とする請求項１～１０のうちいずれか１項に記載の超音波診断装置。
  12. 前記学習データには、前記平面波ビームの送信における前記平面波ビームの送信角度および／または送信数が含まれる
    ことを特徴とする請求項１～１１のうちいずれか１項に記載の超音波診断装置。
  13. 被検体の観察領域に対して超音波を送受信する超音波探触子と、
    超音波の平面波ビームの送信により得られる画像データと、超音波の収束ビームの送信により得られる画像データとを含む学習データを用いて機械学習されたモデルを用いて、超音波の平面波ビームの送信により得られた画像データから、超音波の収束ビームに基づく画像データに相当する推定画像データを生成する推定画像生成部と、
    前記推定画像データを用いて表示画像を更新する制御部と、
    を有し、
    前記推定画像生成部から取得された前記推定画像データが所定の条件を満足しない場合、または、前記推定画像データを用いた前記表示画像の更新の連続回数が所定の回数に達した場合に、前記制御部は、超音波の収束ビームに基づく画像データにより前記表示画像の更新を行う
    ことを特徴とする超音波診断装置。
  14. 請求項１～１３のうちいずれか１項に記載の超音波診断装置の推定画像生成部で用いられるモデルの機械学習を行う学習装置であって、
    前記平面波ビームの送信により画像データを入力データ、前記収束ビームの送信により得られる画像データを正解データ、として含む学習データを用いて、前記モデルの機械学習を行う
    ことを特徴とする学習装置。
  15. 前記入力データには、前記平面波ビームの送信における前記平面波ビームの送信角度および／または送信数が含まれる
    ことを特徴とする請求項１４に記載の学習装置。
  16. 超音波探触子によって被検体の観察領域に対して超音波を送受信する送受信ステップと、
    超音波の平面波ビームの送信により得られる画像データと、超音波の収束ビームの送信により得られる画像データとを含む学習データを用いて機械学習されたモデルを用いて、超音波の平面波ビームの送信により得られた画像データから、超音波の収束ビームに基づく画像データに相当する推定画像データを生成する推定画像生成ステップと、
    を有し、
    前記学習データにおける、前記超音波の収束ビームの送信により得られる画像データは、前記超音波の平面波ビームの送信により得られる画像データに対応する正解データであり、
    前記モデルは、前記超音波の収束ビームの送信により得られる画像データと、前記超音波の平面波ビームの送信により得られる画像データとの相関関係を、複数の学習データに基づいて機械学習したものである
    ことを特徴とする画像処理方法。
  17. 超音波探触子によって被検体の観察領域に対して超音波を送受信する送受信ステップと、
    超音波の平面波ビームの送信により得られる画像データと、超音波の収束ビームの送信により得られる画像データとを含む学習データを用いて機械学習されたモデルを用いて、超音波の平面波ビームの送信により得られた画像データから、超音波の収束ビームに基づく画像データに相当する推定画像データを生成する推定画像生成ステップと、
    を有し、
    前記推定画像生成ステップにより取得された前記推定画像データが所定の条件を満足しない場合、または、前記推定画像データを用いた表示画像の更新の連続回数が所定の回数に達した場合に、超音波の収束ビームに基づく画像データにより前記表示画像の更新を行う
    ことを特徴とする画像処理方法。
  18. 請求項１６または１７に記載の画像処理方法の各ステップをプロセッサに実行させるためのプログラム。
JP2020009941A 2020-01-24 2020-01-24 超音波診断装置、学習装置、画像処理方法およびプログラム Active JP7387461B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020009941A JP7387461B2 (ja) 2020-01-24 2020-01-24 超音波診断装置、学習装置、画像処理方法およびプログラム
US17/154,634 US11733382B2 (en) 2020-01-24 2021-01-21 Ultrasonic diagnostic apparatus, learning apparatus, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020009941A JP7387461B2 (ja) 2020-01-24 2020-01-24 超音波診断装置、学習装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021115212A JP2021115212A (ja) 2021-08-10
JP7387461B2 true JP7387461B2 (ja) 2023-11-28

Family

ID=76969553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020009941A Active JP7387461B2 (ja) 2020-01-24 2020-01-24 超音波診断装置、学習装置、画像処理方法およびプログラム

Country Status (2)

Country Link
US (1) US11733382B2 (ja)
JP (1) JP7387461B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011120869A (ja) 2009-12-14 2011-06-23 Medison Co Ltd 超音波３次元映像復元方法およびその超音波システム
US20170360409A1 (en) 2016-06-16 2017-12-21 Konica Minolta, Inc. Ultrasound signal processing device, ultrasound diagnostic device, and ultrasound signal processing method
WO2019060843A1 (en) 2017-09-22 2019-03-28 Nview Medical Inc. IMAGE RECONSTRUCTION USING MACHINE LEARNING REGULARIZERS
WO2019166332A1 (en) 2018-02-27 2019-09-06 Koninklijke Philips N.V. Ultrasound system with a neural network for producing images from undersampled ultrasound data

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2795722B2 (ja) * 1990-03-16 1998-09-10 株式会社リコー 超音波物体撮像装置
JP3642591B2 (ja) * 1994-11-29 2005-04-27 株式会社日立メディコ 画像処理装置
US9117439B2 (en) 2008-03-13 2015-08-25 Supersonic Imagine Method and apparatus for ultrasound synthetic imagining
JP6772112B2 (ja) 2017-07-31 2020-10-21 株式会社日立製作所 医用撮像装置及び医用画像処理方法
JP7301562B2 (ja) * 2019-03-14 2023-07-03 キヤノンメディカルシステムズ株式会社 医用画像処理装置、学習用データ作成装置および超音波診断装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011120869A (ja) 2009-12-14 2011-06-23 Medison Co Ltd 超音波３次元映像復元方法およびその超音波システム
US20170360409A1 (en) 2016-06-16 2017-12-21 Konica Minolta, Inc. Ultrasound signal processing device, ultrasound diagnostic device, and ultrasound signal processing method
JP2017221511A (ja) 2016-06-16 2017-12-21 コニカミノルタ株式会社 超音波信号処理装置、超音波診断装置、および、超音波信号処理方法
WO2019060843A1 (en) 2017-09-22 2019-03-28 Nview Medical Inc. IMAGE RECONSTRUCTION USING MACHINE LEARNING REGULARIZERS
WO2019166332A1 (en) 2018-02-27 2019-09-06 Koninklijke Philips N.V. Ultrasound system with a neural network for producing images from undersampled ultrasound data

Also Published As

Publication number Publication date
US20210228184A1 (en) 2021-07-29
US11733382B2 (en) 2023-08-22
JP2021115212A (ja) 2021-08-10

Similar Documents

Publication Publication Date Title
US11439368B2 (en) Acoustic wave processing device, signal processing method for acoustic wave processing device, and program
JP5134787B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5905856B2 (ja) 超音波検査装置
JP7370903B2 (ja) 超音波診断装置、学習装置、画像処理方法およびプログラム
US10231711B2 (en) Acoustic wave processing device, signal processing method for acoustic wave processing device, and program
US10980515B2 (en) Acoustic wave processing apparatus, signal processing method, and program for acoustic wave processing apparatus
JP2014140410A (ja) 超音波診断装置、超音波画像生成方法およびプログラム
JP5777604B2 (ja) 超音波診断装置、超音波画像生成方法およびプログラム
JP7387461B2 (ja) 超音波診断装置、学習装置、画像処理方法およびプログラム
JP2013244164A (ja) 超音波画像生成方法および超音波画像診断装置
JP5766175B2 (ja) 超音波診断装置、音速設定方法およびプログラム
JP7346314B2 (ja) 超音波診断装置、学習装置、画像処理方法及びプログラム
JP7419081B2 (ja) 超音波診断装置、画像処理方法、画像処理方法及びプログラム
JP2018089368A (ja) 超音波撮像装置及び超音波モニタリング装置
US11051789B2 (en) Ultrasound image diagnostic apparatus
JP7395367B2 (ja) 超音波診断装置、画像処理方法、学習装置及びプログラム
JP7052385B2 (ja) 超音波信号処理装置、超音波信号処理方法、および、超音波診断装置
US12016729B2 (en) Ultrasonic diagnostic apparatus, learning apparatus, and image processing method
JP2020069304A (ja) 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム
JP6008814B2 (ja) 画像解析システム、画像解析方法、画像解析プログラム、及び超音波診断装置
JP7455696B2 (ja) 超音波診断装置、学習装置、画像処理方法およびプログラム
JP2022018932A (ja) 超音波診断装置、超音波信号処理方法、及びプログラム
JP2004024560A (ja) 超音波診断装置
JP4291833B2 (ja) 超音波診断装置および超音波診断画像生成方法
JP2021065395A (ja) 超音波医用システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231115

R151 Written notification of patent or utility model registration

Ref document number: 7387461

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151