JP6722322B1 - Ultrasonic device and its control program - Google Patents
Ultrasonic device and its control program Download PDFInfo
- Publication number
- JP6722322B1 JP6722322B1 JP2019065365A JP2019065365A JP6722322B1 JP 6722322 B1 JP6722322 B1 JP 6722322B1 JP 2019065365 A JP2019065365 A JP 2019065365A JP 2019065365 A JP2019065365 A JP 2019065365A JP 6722322 B1 JP6722322 B1 JP 6722322B1
- Authority
- JP
- Japan
- Prior art keywords
- ultrasonic
- condition
- ultrasonic image
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 claims abstract description 40
- 230000006870 function Effects 0.000 claims abstract description 25
- 230000005540 biological transmission Effects 0.000 claims description 43
- 239000000523 sample Substances 0.000 claims description 23
- 230000035945 sensitivity Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 abstract description 18
- 238000010586 diagram Methods 0.000 abstract description 5
- 238000002604 ultrasonography Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 4
- 210000004003 subcutaneous fat Anatomy 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000002091 elastography Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
【課題】できるだけ手間をかけない手法で、学習済みモデルを構築するためのペア画像を多量に取得できる超音波装置を提供する。【解決手段】超音波診断装置のプロセッサが、第一の超音波画像のデータ及び画質が劣化した第二の超音波画像のデータを、機械学習の学習用データとして用いる１つのペアとして取得する機能を実行するよう構成され、この機能は、メモリから第一の条件を読み出した後、第一の超音波の送受信及びそれによって得られたエコー信号に基づく第一の超音波画像の作成を、第一の条件を用いて行ない、さらに第一の超音波画像を表示し記憶する第一の機能と、メモリから第二の条件を読み出した後、第二の超音波の送受信と及びそれによって得られたエコー信号に基づく第二の超音波画像の作成を、第二の条件を用いて行ない、さらに第二の超音波画像をメモリに記憶する第二の機能と、を含む。【選択図】図２PROBLEM TO BE SOLVED: To provide an ultrasonic device capable of acquiring a large number of pair images for constructing a learned model by a method with the least effort. A function of a processor of an ultrasonic diagnostic apparatus to acquire data of a first ultrasonic image and data of a second ultrasonic image whose image quality is deteriorated as one pair used as learning data for machine learning. This function, after reading the first condition from the memory, transmits and receives the first ultrasonic wave and creates a first ultrasonic image based on the echo signal obtained thereby. The first function of displaying and storing the first ultrasonic image by using the first condition and the second condition after reading the second condition from the memory And a second function of creating a second ultrasonic image based on the echo signal using the second condition and further storing the second ultrasonic image in the memory. [Selection diagram] Figure 2
Description
本発明は、被検体の超音波画像を取得する超音波装置及びその制御プログラムに関する。 The present invention relates to an ultrasonic device that acquires an ultrasonic image of a subject and a control program therefor.
超音波装置は、超音波プローブから被検体に対して超音波を送信し、そのエコー信号に基づく超音波画像を取得する。例えば、超音波装置の一例である超音波診断装置においては、超音波画像を用いて様々な診断が行われる。 The ultrasonic device transmits an ultrasonic wave to the subject from the ultrasonic probe and acquires an ultrasonic image based on the echo signal. For example, in an ultrasonic diagnostic apparatus which is an example of an ultrasonic apparatus, various diagnoses are performed using ultrasonic images.
超音波画像を取得するために用いられる条件には、例えば送信周波数、送信音圧、デプス（ｄｅｐｔｈ）、ゲイン、ダイナミックレンジなど様々な条件がある（例えば、特許文献１参照）。これらの条件は、できるだけ良好な画質の超音波画像が得られるように設定される。 There are various conditions such as the transmission frequency, the transmission sound pressure, the depth, the gain, and the dynamic range, which are used for acquiring the ultrasonic image (see, for example, Patent Document 1). These conditions are set so that an ultrasonic image with a quality as good as possible can be obtained.
ここで、ある被検体について良好な画質の超音波画像が取得された条件を用いて、別の被検体について超音波画像を取得した場合、画質が劣化することがある。例えば、皮下脂肪厚が厚くなるほど超音波の減衰が大きくなり、取得された超音波画像における特に深部領域のＳＮ比が低下する。従って、ある被検体について良好な画質の超音波画像が取得された条件を用いて、より皮下脂肪厚が厚い別の被検体について超音波画像を取得した場合、画質が劣化することがある。この場合、例えば操作者は超音波の送信周波数を低くして深部領域のＳＮ比が改善された超音波画像を取得する。 Here, when an ultrasonic image of another subject is acquired under the condition that an ultrasonic image of good image quality is obtained for a certain subject, the image quality may deteriorate. For example, the greater the subcutaneous fat thickness, the greater the attenuation of ultrasonic waves, and the lower the SN ratio of the acquired ultrasonic image, particularly in the deep region. Therefore, if an ultrasonic image is acquired for another subject having a thicker subcutaneous fat thickness under the condition that an ultrasonic image of good image quality is acquired for a certain subject, the image quality may deteriorate. In this case, for example, the operator lowers the transmission frequency of ultrasonic waves and acquires an ultrasonic image in which the SN ratio of the deep region is improved.
しかし、送信周波数を低くすると、超音波画像の空間分解能が悪化する。また、操作者は条件を変更する必要があり煩雑である。特に、操作に不慣れな操作者にとっては、困難を伴う場合もある。また、検査後に表示された超音波画像の画質が劣化している場合、改めて超音波画像を取得することはできない。そこで、本願発明者は、より良好な画質の超音波画像をより容易に取得するため、機械学習を用いた画質の向上手法について検討している。 However, if the transmission frequency is lowered, the spatial resolution of the ultrasonic image deteriorates. Further, the operator needs to change the conditions, which is complicated. In particular, it may be difficult for an operator who is unfamiliar with the operation. Moreover, when the image quality of the ultrasonic image displayed after the inspection is deteriorated, the ultrasonic image cannot be acquired again. Therefore, the inventor of the present application is studying a method of improving image quality using machine learning in order to more easily acquire an ultrasonic image with better image quality.
その一般的な原理について説明する。先ず、機械学習には，入力データと教師データが必要である。ここでは、入力データはノイズやアーチファクトなどが含まれた断層画像（以下「低画質画像」）であり、教師データは，低画質画像と同じ関心部位を撮像した画像であるが、ノイズやアーチファクトを含まない理想的な画像（以下「高画質画像」）である。低画質画像のデータと高画質画像のデータを用いて学習を行って学習済みモデルを構築した後、この学習済みモデルに、新たに得られた別の低画質画像を入力すれば、あたかも高画質画像で撮影したような仮想高画質画像が出力として得られることになる。このような手法によれば、条件の変更が行なわれずとも、より良好な画質の超音波画像を取得することができる。 The general principle will be described. First, machine learning requires input data and teacher data. Here, the input data is a tomographic image (hereinafter referred to as “low image quality image”) including noise and artifacts, and the teacher data is an image obtained by capturing the same region of interest as the low image quality image. It is an ideal image that is not included (hereinafter referred to as "high-quality image"). After learning by using the data of the low quality image and the data of the high quality image to build a learned model, if another newly obtained low quality image is input to this learned model, it is possible to obtain a high quality image. As a result, a virtual high quality image as if the image was taken is obtained as an output. According to such a method, it is possible to acquire an ultrasonic image with better image quality without changing the conditions.
さて、この機械学習には，学習の際に「低画質画像」と「高画質画像」のペアを可能な限り多量に取得することが望ましい。そこで、できるだけ手間をかけない手法で、学習済みモデルを構築するためのペア画像を多量に取得するかが課題である。 By the way, in this machine learning, it is desirable to acquire as many pairs of "low-quality images" and "high-quality images" as possible during learning. Therefore, it is an issue to acquire a large number of pair images for constructing a trained model by a method with the least effort.
上記課題を解決するためになされた一の観点の発明は、メモリ、ユーザインタフェース、プロセッサ、超音波プローブ及びディスプレイを備える超音波装置であって、前記メモリは、被検体の第一の超音波画像を取得するために用いられる第一の条件と、前記被検体において前記第一の超音波画像が取得された位置と同じ位置についての第二の超音波画像を取得するために用いられる第二の条件であって、前記第二の超音波画像が、前記第一の超音波画像よりも画質が劣化した画像となる条件である第二の条件が記憶されるよう構成され、前記ユーザインタフェースは、操作者の入力を受け付けるよう構成され、前記プロセッサは、前記ユーザインタフェースが前記操作者による入力を受け付けると、前記第一の超音波画像のデータ及び前記第二の超音波画像のデータを、機械学習の学習用データとして用いる１つのペアとして取得する機能を実行するよう構成され、前記機能は、前記メモリから前記第一の条件を読み出した後、前記超音波プローブによる第一の超音波の送受信と、該第一の超音波の送受信によって得られたエコー信号に基づく前記第一の超音波画像の作成を、前記第一の条件を用いて行ない、さらに前記第一の超音波画像を前記ディスプレイに表示し、なおかつ前記第一の超音波画像のデータを前記メモリに記憶する第一の機能と、前記メモリから前記第二の条件を読み出した後、前記超音波プローブによる第二の超音波の送受信と、該第二の超音波の送受信によって得られたエコー信号に基づく前記第二の超音波画像の作成を、前記第二の条件を用いて行ない、さらに前記第二の超音波画像のデータを前記メモリに記憶する第二の機能と、を含んでいる、超音波装置である。 One aspect of the invention made to solve the above problems is an ultrasonic device including a memory, a user interface, a processor, an ultrasonic probe, and a display, wherein the memory is a first ultrasonic image of a subject. The first condition used to acquire the second ultrasonic image used to acquire the second ultrasonic image for the same position as the position where the first ultrasonic image is acquired in the subject. In the condition, the second ultrasonic image is configured to store a second condition that is a condition in which the image quality is deteriorated compared to the first ultrasonic image, and the user interface is stored. When the user interface receives an input by the operator, the processor is configured to receive the input of the operator, and machine-learns the data of the first ultrasonic image and the data of the second ultrasonic image. Is configured to execute a function of acquiring as one pair to be used as learning data of, and the function reads and transmits the first ultrasonic wave by the ultrasonic probe after reading the first condition from the memory. , Creating the first ultrasonic image based on the echo signal obtained by transmitting and receiving the first ultrasonic wave using the first condition, and further displaying the first ultrasonic image on the display. A first function of displaying and storing the data of the first ultrasonic image in the memory, and transmitting and receiving a second ultrasonic wave by the ultrasonic probe after reading the second condition from the memory And, the creation of the second ultrasonic image based on the echo signal obtained by the transmission and reception of the second ultrasonic is performed using the second condition, further data of the second ultrasonic image An ultrasonic device including a second function of storing in the memory.
上記観点の発明によれば、ユーザインタフェースが操作者の入力を受け付けると、機械学習の学習用データとして用いられる１つのペアとして、ディスプレイに表示される第一の超音波画像のほか、第二の超音波画像が取得され、これら第一及び第二の超音波画像のデータが記憶される。第二の超音波画像は、前記第一の超音波画像よりも画質が劣化した画像となる条件である第二の条件を用いて取得された画像である。従って、例えば被検体の診断を目的として取得される第一の超音波画像を取得するついでに、これと機械学習の学習データとしてペアとなる第二の超音波画像も取得できる。これにより、できるだけ手間をかけずに、学習済みモデルを構築するためのペア画像を取得することができる。 According to the invention of the above aspect, when the user interface receives an input from the operator, the first ultrasonic image displayed on the display as one pair used as learning data for machine learning and the second ultrasonic image are displayed. An ultrasonic image is acquired and the data of these first and second ultrasonic images are stored. The second ultrasonic image is an image acquired using the second condition, which is a condition in which the image quality is lower than that of the first ultrasonic image. Therefore, for example, after acquiring the first ultrasonic image acquired for the purpose of diagnosing the subject, a second ultrasonic image forming a pair with this as the learning data for machine learning can be acquired. This makes it possible to acquire the paired images for constructing the trained model with the least effort.
以下、本発明の実施形態について図面を参照して説明する。以下の実施形態では、本発明に係る超音波装置の一例として、診断等を目的として被検体の超音波画像を表示する超音波診断装置について説明する。
（第一実施形態）
先ず、第一実施形態について説明する。図１に示す超音波診断装置１は、超音波プローブ２内に配列された素子２ａをドライブしてパルス超音波信号を被検体（図示せず）に放射する送信ビームフォーマ３および送信機４を含む。パルス超音波信号は、被検体内において反射して素子２ａに戻るエコーを生成する。エコーは、素子２ａによって電気信号に変換され、電気信号は、受信機５によって受信される。受信されたエコーを表す電気信号、すなわちエコー信号は、受信ビームフォーマ６に入力され、この受信ビームフォーマ６において受信ビームフォーミングが行われる。受信ビームフォーマ６は、受信ビームフォーミング後の超音波データを出力する。
Embodiments of the present invention will be described below with reference to the drawings. In the following embodiments, as an example of the ultrasonic apparatus according to the present invention, an ultrasonic diagnostic apparatus that displays an ultrasonic image of a subject for the purpose of diagnosis will be described.
(First embodiment)
First, the first embodiment will be described. The ultrasonic diagnostic apparatus 1 shown in FIG. 1 includes a transmission beamformer 3 and a transmitter 4 that drive elements 2a arranged in an ultrasonic probe 2 and emit a pulse ultrasonic signal to a subject (not shown). Including. The pulsed ultrasonic signal generates an echo that is reflected in the subject and returned to the element 2a. The echo is converted into an electric signal by the element 2a, and the electric signal is received by the receiver 5. An electric signal representing the received echo, that is, an echo signal is input to the reception beamformer 6, and reception beamforming is performed in the reception beamformer 6. The reception beam former 6 outputs ultrasonic wave data after reception beam forming.
受信ビームフォーマ６は、ハードウェアビームフォーマであってもソフトウェアビームフォーマであってもよい。受信ビームフォーマ６がソフトウェアビームフォーマである場合、受信ビームフォーマ６は、グラフィックス処理ユニット（ＧＰＵ）、マイクロプロセッサ、中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、または論理演算を実行することができる他の種類のプロセッサのうちの任意の１つまたは複数を含む１つまたは複数のプロセッサを備えることができる。受信ビームフォーマ６を構成するプロセッサは、後述のプロセッサ７とは別のプロセッサで構成されていてもよいし、プロセッサ７で構成されていてもよい。 The receive beamformer 6 may be a hardware beamformer or a software beamformer. If the receive beamformer 6 is a software beamformer, the receive beamformer 6 may perform a graphics processing unit (GPU), a microprocessor, a central processing unit (CPU), a digital signal processor (DSP), or a logical operation. May include one or more processors, including any one or more of other types of processors capable of The processor configuring the reception beamformer 6 may be configured by a processor different from the processor 7 described later, or may be configured by the processor 7.
超音波プローブ２は、送信ビームフォーミングおよび／または受信ビームフォーミングの全部または一部を行うための電気回路を含むことができる。例えば、送信ビームフォーマ３、送信機４、受信機５、および受信ビームフォーマ６の全部または一部は、超音波プローブ２内に設けられていてもよい。 The ultrasonic probe 2 can include an electric circuit for performing all or a part of the transmit beamforming and/or the receive beamforming. For example, all or a part of the transmission beamformer 3, the transmitter 4, the receiver 5, and the reception beamformer 6 may be provided in the ultrasonic probe 2.
超音波診断装置１は、送信ビームフォーマ３、送信機４、受信機５、および受信ビームフォーマ６を制御するためのプロセッサ７も含む。プロセッサ７は、超音波プローブ２と電子通信している。プロセッサ７は、超音波プローブ２を制御して超音波データを取得することができる。プロセッサ７は、素子２ａのどれがアクティブであるか、および超音波プローブ２から放射されるビームの形状を制御する。プロセッサ７はまた、ディスプレイ８とも電子通信しており、プロセッサ７は、超音波データを処理してディスプレイ８上に表示するための超音波画像にすることができる。「電子通信」という用語は、有線通信と無線通信の両方を含むように定義することができる。プロセッサ７は、一実施形態によれば中央処理装置（ＣＰＵ）を含むことができる。他の実施形態によれば、プロセッサ７は、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックスプロセッシングユニット（ＧＰＵ）、または他のタイプのプロセッサなど、処理機能を実行することができる他の電子構成要素を含むことができる。他の実施形態によれば、プロセッサ７は、処理機能を実行することができる複数の電子構成要素を含むことができる。例えばプロセッサ７は、中央処理装置、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、およびグラフィックスプロセッシングユニットを含む電子構成要素のリストから選択された２つ以上の電子構成要素を含むことができる。 The ultrasonic diagnostic apparatus 1 also includes a processor 7 for controlling the transmit beamformer 3, the transmitter 4, the receiver 5, and the receive beamformer 6. The processor 7 is in electronic communication with the ultrasound probe 2. The processor 7 can control the ultrasonic probe 2 to acquire ultrasonic data. The processor 7 controls which of the elements 2 a are active and the shape of the beam emitted from the ultrasound probe 2. Processor 7 is also in electronic communication with display 8, which can process the ultrasound data into an ultrasound image for display on display 8. The term "electronic communication" can be defined to include both wireline and wireless communication. The processor 7 may include a central processing unit (CPU) according to one embodiment. According to other embodiments, the processor 7 may perform other processing functions such as a digital signal processor, a field programmable gate array (FPGA), a graphics processing unit (GPU), or other type of processor. Electronic components can be included. According to other embodiments, the processor 7 may include multiple electronic components capable of performing processing functions. For example, the processor 7 may include two or more electronic components selected from a list of electronic components including a central processing unit, a digital signal processor, a field programmable gate array, and a graphics processing unit.
プロセッサ７は、ＲＦデータを復調し、ローデータ（ｒａｗ ｄａｔａ）を生成する複合復調器（図示せず）を含むこともできる。別の実施形態では、処理チェーンの早いうちに復調を実行することができる。 The processor 7 may also include a composite demodulator (not shown) that demodulates the RF data and produces raw data. In another embodiment, demodulation can be performed early in the processing chain.
プロセッサ７は、複数の選択可能な超音波モダリティに従った１つまたは複数の処理動作をデータに行うように構成されている。エコー信号が受信されるとき、データは走査セッション中にリアルタイムで処理することができる。この開示のために、「リアルタイム」という用語は、いかなる意図的な遅延もなく行われる手順を含むように定義される。 The processor 7 is configured to perform on the data one or more processing operations according to a plurality of selectable ultrasound modalities. When the echo signal is received, the data can be processed in real time during the scanning session. For the purposes of this disclosure, the term "real time" is defined to include procedures that occur without any intentional delay.
また、データは、超音波の走査中に一時的にバッファ（図示せず）に格納し、ライブ操作またはオフライン操作でリアルタイムではなく処理することができる。この開示において、「データ」という用語は、本開示においては、超音波装置を用いて取得される１つまたは複数のデータセットを指すように使用することができる。 Also, the data can be temporarily stored in a buffer (not shown) during ultrasound scanning and processed in real-time or off-line operation rather than real-time. In this disclosure, the term "data" may be used in this disclosure to refer to one or more data sets acquired with an ultrasound device.
超音波データは、プロセッサ７によって他のまたは異なるモード関連モジュール（例えば、Ｂモード、カラードップラ、Ｍモード、カラーＭモード、スペクトルドップラ、エラストグラフィ、ＴＶＩ、歪み、歪み速度、など）で処理して超音波画像のデータを作ることができる。例えば、１つまたは複数のモジュールが、Ｂモード、カラードップラ、Ｍモード、カラーＭモード、スペクトルドップラ、エラストグラフィ、ＴＶＩ、歪み、歪み速度、およびそれらの組合せ、などの超音波画像を生成することができる。画像ビームおよび／または画像フレームは保存され、データがメモリに取得された時を示すタイミング情報を記録することができる。前記モジュールは、例えば、画像フレームを座標ビーム空間から表示空間座標に変換するために走査変換演算を実行する走査変換モジュールを含むことができる。被検体に処置が実施されている間にメモリから画像フレームを読み取り、その画像フレームをリアルタイムで表示する映像プロセッサモジュールが設けられてもよい。映像プロセッサモジュールは画像フレームを画像メモリに保存することができ、超音波画像は画像メモリから読み取られディスプレイ８に表示される。 The ultrasound data may be processed by the processor 7 in other or different mode-related modules (eg, B mode, color Doppler, M mode, color M mode, spectral Doppler, elastography, TVI, distortion, strain rate, etc.). Ultrasonic image data can be created. For example, one or more modules generate ultrasound images of B-mode, color Doppler, M-mode, color M-mode, spectral Doppler, elastography, TVI, distortion, strain rate, and combinations thereof. You can The image beam and/or image frame may be saved and may record timing information indicating when the data was acquired in memory. The module may include, for example, a scan conversion module that performs scan conversion operations to convert an image frame from coordinate beam space to display space coordinates. A video processor module may be provided that reads the image frames from the memory while the procedure is being performed on the subject and displays the image frames in real time. The video processor module can store the image frames in the image memory and the ultrasound image is read from the image memory and displayed on the display 8.
プロセッサ７が複数のプロセッサを含む場合、プロセッサ７が担当する上述の処理タスクを、複数のプロセッサが担当してもよい。例えば、第１のプロセッサを使用して、ＲＦ信号を復調および間引きすることができ、第２のプロセッサを使用して、データをさらに処理した後、画像を表示することができる。 When the processor 7 includes a plurality of processors, a plurality of processors may be responsible for the above-described processing tasks that the processor 7 is responsible for. For example, a first processor can be used to demodulate and decimate an RF signal, and a second processor can be used to display an image after further processing the data.
また、例えば受信ビームフォーマ６がソフトウェアビームフォーマである場合、その処理機能は、単一のプロセッサで実行されてもよいし、複数のプロセッサで実行されてもよい。 Further, for example, when the reception beamformer 6 is a software beamformer, its processing function may be executed by a single processor or a plurality of processors.
ディスプレイ８は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。 The display 8 is an LED (Light Emitting Diode) display, an LCD (Liquid Crystal Display), an organic EL (Electro-Luminescence) display, or the like.
メモリ９は、任意の既知のデータ記憶媒体であり、非一過性の記憶媒体及び一過性の記憶媒体を含む。非一過性の記憶媒体は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ハードディスクドライブ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記憶媒体である。非一過性の記憶媒体は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などの可搬性の記憶媒体を含んでいてもよい。プロセッサ７によって実行されるプログラムは、非一過性の記憶媒体に記憶されている。 The memory 9 is any known data storage medium, including non-transitory storage media and transient storage media. The non-transitory storage medium is a non-volatile storage medium such as an HDD (Hard Disk Drive) or a ROM (Read Only Memory). The non-transitory storage medium may include a portable storage medium such as a CD (Compact Disk) or a DVD (Digital Versatile Disk). The program executed by the processor 7 is stored in a non-transitory storage medium.
また、メモリ９を構成する非一過性の記憶媒体には、被検体の第一の超音波画像を取得するために用いられる第一の条件と、被検体において第一の超音波画像が取得された位置と同じ位置についての第二の超音波画像を取得するために用いられる第二の条件が記憶されている。第二の条件は、第二の超音波画像が、第一の超音波画像よりも画質が劣化した画像となる条件である。第一の条件及び第二の条件の詳細については後述する。 The non-transitory storage medium forming the memory 9 has a first condition used to acquire a first ultrasonic image of the subject and a first ultrasonic image of the subject. The second condition used to acquire the second ultrasonic image for the same position as the recorded position is stored. The second condition is a condition in which the second ultrasonic image has an image quality deteriorated as compared with the first ultrasonic image. Details of the first condition and the second condition will be described later.
さらに、メモリ９を構成する非一過性の記憶媒体には、機械学習のアルゴリズムが記憶されている。 Furthermore, a machine learning algorithm is stored in the non-transitory storage medium that constitutes the memory 9.
一過性の記憶媒体は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性の記憶媒体である。 The transient storage medium is a volatile storage medium such as a RAM (Random Access Memory).
ユーザインタフェース１０は、超音波装置１の動作を制御するための操作者の入力を受け付けることができる。例えば、ユーザインタフェース１０は、ユーザーからの指示や情報の入力を受け付ける。ユーザインタフェース１０は、キーボード（ｋｅｙｂｏａｒｄ）、ハードキー（ｈａｒｄ ｋｅｙ）、トラックボール（ｔｒａｃｋｂａｌｌ）、ロータリーコントロール（ｒｏｔａｒｙ ｃｏｎｔｒｏｌ）及びソフトキー等を含んで構成されている。ユーザインタフェース１０は、ソフトキー等を表示するタッチスクリーンを含んでいてもよい。 The user interface 10 can receive an operator's input for controlling the operation of the ultrasonic apparatus 1. For example, the user interface 10 receives an instruction or information input from a user. The user interface 10 includes a keyboard, a hard key, a trackball, a rotary control, a softkey, and the like. The user interface 10 may include a touch screen that displays soft keys and the like.
次に、本例の超音波診断装置の作用について基づいて説明する。先ず、機械学習の学習用データの取得について、図２のフローチャートに基づいて説明する。 Next, the operation of the ultrasonic diagnostic apparatus of this example will be described. First, acquisition of learning data for machine learning will be described based on the flowchart of FIG.
先ずステップＳ１では、ユーザインタフェース１０が操作者の入力を受け付ける。ここでは、操作者は、超音波画像を表示させる指示を入力する。 First, in step S1, the user interface 10 receives an operator's input. Here, the operator inputs an instruction to display an ultrasonic image.
ステップＳ１において、ユーザインタフェース１０が操作者の入力を受け付けると、ステップＳ２以降において、プロセッサ７は、第一の超音波画像のデータ及び第二の超音波画像のデータを、機械学習の学習用データとして用いられる１つのペアとして取得する機能を実行する。具体的には、先ずステップＳ２では、プロセッサ７がメモリ９に記憶された第一の条件を読み出す。第一の条件は、第一の超音波の送受信の条件、第一の超音波の送受信によって得られたエコー信号の処理条件及び画像処理条件を含んでいる。 In step S1, when the user interface 10 receives an input from the operator, in step S2 and subsequent steps, the processor 7 converts the data of the first ultrasonic image and the data of the second ultrasonic image into learning data for machine learning. The function to acquire as one pair is used. Specifically, first, in step S2, the processor 7 reads the first condition stored in the memory 9. The first condition includes a condition for transmitting/receiving the first ultrasonic wave, a condition for processing an echo signal obtained by transmitting/receiving the first ultrasonic wave, and a condition for image processing.
次に、ステップＳ３では、プロセッサ７は、第一の超音波の送受信の条件を用いて超音波プローブ２による第一の超音波の送受信を行わせる。次に、ステップＳ４では、プロセッサ７は、第一の超音波の送受信によって得られたエコー信号に基づく第一の超音波画像の作成を、第一の条件を用いて行なう。また、プロセッサ７は、第一の超音波画像をディスプレイ８に表示させ、第一の超音波画像のデータをメモリ９に記憶する。ステップＳ１〜Ｓ４の機能は、本発明における第一の機能の実施の形態の一例である。 Next, in step S3, the processor 7 causes the ultrasonic probe 2 to transmit and receive the first ultrasonic wave using the conditions for transmitting and receiving the first ultrasonic wave. Next, in step S4, the processor 7 creates a first ultrasonic image based on the echo signal obtained by transmitting and receiving the first ultrasonic wave using the first condition. Further, the processor 7 displays the first ultrasonic image on the display 8 and stores the data of the first ultrasonic image in the memory 9. The functions of steps S1 to S4 are an example of the embodiment of the first function of the present invention.
例えば、第一の超音波画像は、操作者が被検体について診断を行なうために表示される。 For example, the first ultrasonic image is displayed for the operator to make a diagnosis on the subject.
次に、ステップＳ５では、プロセッサ７がメモリ９に記憶された第二の条件を読み出す。第二の条件は、第二の超音波の送受信の条件、第二の超音波の送受信によって得られたエコー信号の処理条件及び画像処理条件を含んでいる。 Next, in step S5, the processor 7 reads the second condition stored in the memory 9. The second condition includes a second ultrasonic wave transmission/reception condition, an echo signal processing condition obtained by the second ultrasonic wave transmission/reception, and an image processing condition.
ここで、第一の条件及び第二の条件について説明する。第一の条件は、被検体についての診断等を行なうために、出来るだけ良好な画質の第一の超音波画像を取得できるよう設定された条件である。一方、第二の条件は、第二の超音波画像が、第一の超音波画像よりも画質が劣化した画像となる条件である。例えば、第二の条件は、第二の超音波画像のＳＮ比が第一の超音波画像のＳＮ比よりも低下する条件を含んでいてもよい。また、第二の条件は、第二の超音波画像の深部感度が第一の超音波画像の深部感度よりも低下する条件を含んでいてもよい。 Here, the first condition and the second condition will be described. The first condition is a condition that is set so that the first ultrasonic image having the best possible image quality can be acquired in order to diagnose the subject. On the other hand, the second condition is a condition in which the image quality of the second ultrasonic image is lower than that of the first ultrasonic image. For example, the second condition may include a condition that the SN ratio of the second ultrasonic image is lower than the SN ratio of the first ultrasonic image. The second condition may include a condition that the depth sensitivity of the second ultrasonic image is lower than the depth sensitivity of the first ultrasonic image.
より具体的には、第一の条件及び第二の条件は、超音波の送信音圧を含んでいてもよい。この場合、第二の条件における第二の送信音圧は、第一の条件における第一の送信音圧よりも低い。 More specifically, the first condition and the second condition may include the transmission sound pressure of ultrasonic waves. In this case, the second transmission sound pressure under the second condition is lower than the first transmission sound pressure under the first condition.
また、第一の条件及び第二の条件は、超音波の送信周波数を含んでいてもよい。この場合、第二の条件における第二の送信周波数は、第一の条件における第一の送信周波数よりも高い。 Further, the first condition and the second condition may include the transmission frequency of ultrasonic waves. In this case, the second transmission frequency under the second condition is higher than the first transmission frequency under the first condition.
さらに、第一の条件及び第二の条件は、超音波の受信周波数帯域を含んでいてもよい。この場合、第二の条件における第二の受信周波数帯域は、第一の条件における第一の受信周波数帯域よりも狭帯域であり、なおかつ第二の受信周波数帯域における第二の中心周波数が第一の受信周波数帯域における第一の中心周波数よりも高い。 Furthermore, the first condition and the second condition may include a reception frequency band of ultrasonic waves. In this case, the second reception frequency band under the second condition is a narrower band than the first reception frequency band under the first condition, and the second center frequency in the second reception frequency band is the first Is higher than the first center frequency in the reception frequency band.
次に、ステップＳ６では、プロセッサ７は、第二の超音波の送受信の条件を用いて超音波プローブ２による第二の超音波の送受信を行わせる。例えば、プロセッサ７は、第一の条件における第一の送信音圧よりも低い第二の送信音圧で第二の超音波の送受信を行わせる。また、プロセッサ７は、第一の条件における第一の送信周波数よりも高い第二の送信周波数で第二の超音波の送受信を行わせてもよい。また、プロセッサ７は、第二の中心周波数を有する第二の受信周波数帯域で第二の超音波の送受信を行わせてもよい。第二の受信周波数帯域は、第一の条件における第一の受信周波数帯域よりも狭帯域であり、なおかつ第二の中心周波数は、第一の受信周波数帯域における第一の中心周波数よりも高い。 Next, in step S6, the processor 7 causes the ultrasonic probe 2 to transmit and receive the second ultrasonic wave using the condition of transmitting and receiving the second ultrasonic wave. For example, the processor 7 causes the second ultrasonic wave to be transmitted and received at the second transmission sound pressure lower than the first transmission sound pressure under the first condition. Further, the processor 7 may cause the second ultrasonic wave to be transmitted and received at a second transmission frequency higher than the first transmission frequency under the first condition. Further, the processor 7 may cause the second ultrasonic wave to be transmitted and received in the second reception frequency band having the second center frequency. The second reception frequency band is narrower than the first reception frequency band under the first condition, and the second center frequency is higher than the first center frequency in the first reception frequency band.
次に、ステップＳ７では、プロセッサ７は、第二の超音波の送受信によって得られたエコー信号に基づく第二の超音波画像の作成を、第二の条件を用いて行ない、第二の超音波画像のデータをメモリ９に記憶する。ステップＳ５〜Ｓ７の機能は、本発明における第二の機能の実施の形態の一例である。 Next, in step S7, the processor 7 creates a second ultrasonic image based on the echo signals obtained by transmitting and receiving the second ultrasonic wave, using the second condition, and the second ultrasonic wave is generated. The image data is stored in the memory 9. The functions of steps S5 to S7 are an example of the embodiment of the second function of the present invention.
ここで、図２のフローチャートにおいては、一フレーム分の第一の超音波画像が取得された後に、一フレーム分の第二の超音波画像が取得されるようになっている。ただし、本発明はこれに限定されるものではなく、例えば音線ごとに第一の超音波の送受信と第二の超音波の送受信とが交互に行なわれることにより、一フレーム分の第一及び第二の超音波画像が取得されてもよい。 Here, in the flowchart of FIG. 2, after the first ultrasonic image for one frame is acquired, the second ultrasonic image for one frame is acquired. However, the present invention is not limited to this, for example, the transmission and reception of the first ultrasonic wave and the transmission and reception of the second ultrasonic wave are alternately performed for each sound ray, so that the first and A second ultrasound image may be acquired.
以上のように、本例では、ユーザインタフェース１０が操作者の入力を受け付けると、機械学習の学習用データとして用いられる１つのペアとして、ディスプレイ８に表示される第一の超音波画像のほか、第二の超音波画像が取得され、これら第一及び第二の超音波画像のデータが記憶される。第二の超音波画像は、前記第一の超音波画像よりも画質が劣化した画像となる条件である第二の条件を用いて取得された画像である。従って、例えば被検体の診断を目的として取得される第一の超音波画像を取得するついでに、これと機械学習の学習用データとしてペアとなる第二の超音波画像も取得できる。これにより、できるだけ手間をかけずに、学習済みモデルを構築するためのペア画像を多量に取得することができる。 As described above, in the present example, when the user interface 10 receives an operator's input, in addition to the first ultrasonic image displayed on the display 8 as one pair used as learning data for machine learning, A second ultrasound image is acquired and the data for these first and second ultrasound images is stored. The second ultrasonic image is an image acquired using the second condition, which is a condition in which the image quality is lower than that of the first ultrasonic image. Therefore, for example, while acquiring the first ultrasonic image acquired for the purpose of diagnosing the subject, the second ultrasonic image forming a pair with this as the learning data for machine learning can also be acquired. As a result, it is possible to acquire a large number of pair images for constructing the learned model with the least effort.
以上のようにして第一の超音波画像及び第二の超音波画像が取得されると、プロセッサ７は、メモリ９に記憶された機械学習のアルゴリズムを読み出し、第一の超音波画像のデータ及び第二の超音波画像のデータを学習用データとして用いる機械学習を行なう。機械学習のアルゴリズムは、教師有学習である。この教師有学習において、第一の超音波画像は、正解のデータとして用いられる。 When the first ultrasonic image and the second ultrasonic image are acquired as described above, the processor 7 reads the machine learning algorithm stored in the memory 9, and the data of the first ultrasonic image and Machine learning is performed using the data of the second ultrasonic image as learning data. The machine learning algorithm is supervised learning. In this supervised learning, the first ultrasonic image is used as correct answer data.
機械学習の具体的なアルゴリズムとしては、例えば、下記の非特許文献１に記載されたアルゴリズムを用いてもよい。
非特許文献１：Kenji Suzuki, Junchi Liu et al. Neural Network Convolution (NNC) for Converting Ultra-Low-Dose to “Virtual” High-Dose CT Images. MLMI 2017: Machine Learning in Medical Imaging pp 334-343
As a specific algorithm for machine learning, for example, the algorithm described in Non-Patent Document 1 below may be used.
Non-Patent Document 1: Kenji Suzuki, Junchi Liu et al. Neural Network Convolution (NNC) for Converting Ultra-Low-Dose to “Virtual” High-Dose CT Images. MLMI 2017: Machine Learning in Medical Imaging pp 334-343.
機械学習は、学習用データとして用いられる第一の超音波画像のデータ及び第二の超音波画像のデータからなる１つのペアが取得されるたびに行われてもよいし、所要の数の複数のペアが取得されるたびに行なわれてもよい。 The machine learning may be performed each time one pair of the first ultrasonic image data and the second ultrasonic image data used as the learning data is acquired, or a required number of plural data may be acquired. May be performed each time a pair of is acquired.
本例によれば、診断等を行ないながら、機械学習の学習用データとして第一の超音波画像のデータとペアとなる第二の超音波画像を取得することができ、継続的に機械学習を行なうことができる。これにより、学習済みモデルの精度をより高めることができる。 According to this example, it is possible to acquire a second ultrasonic image that is paired with the data of the first ultrasonic image as the learning data for machine learning while performing diagnosis and the like, and continuously perform machine learning. Can be done. Thereby, the accuracy of the learned model can be further improved.
第一の超音波画像のデータ及び第二の超音波画像のデータを用いた機械学習によって得られた学習済みモデルは、メモリ９に記憶される。 The learned model obtained by machine learning using the data of the first ultrasonic image and the data of the second ultrasonic image is stored in the memory 9.
次に、機械学習によって得られた学習済みモデルを用いた超音波画像の画質改善について、図３のフローチャートを用いて説明する。先ず、ステップＳ１１においては、プロセッサ７は超音波プローブ２による超音波の送受信を行なわせ、得られたエコー信号に基づく超音波画像の作成を行なう。また、プロセッサ７は、得られた超音波画像をディスプレイ８に表示させる。 Next, the image quality improvement of the ultrasonic image using the learned model obtained by machine learning will be described with reference to the flowchart of FIG. First, in step S11, the processor 7 causes the ultrasonic probe 2 to transmit and receive ultrasonic waves, and creates an ultrasonic image based on the obtained echo signal. Further, the processor 7 causes the display 8 to display the obtained ultrasonic image.
ステップＳ１１において超音波画像を取得するために用いられる条件としては、例えば第一の条件が用いられてもよい。 As the condition used for acquiring the ultrasonic image in step S11, for example, the first condition may be used.
次に、ステップＳ１２においては、プロセッサ７は、ステップＳ１１において取得された超音波画像を、学習済みモデルを用いて変換する指示が、ユーザインタフェース１０において入力されたか否かを判定する。より詳細には、例えば操作者は、ステップＳ１１においてディスプレイ８に表示された超音波画像の画質に基づいて、変換の必要があるか否かを決める。操作者は、画質が劣化しており変換の必要があると決定した場合、ユーザインタフェース１０において変換を指示する入力を行なう。プロセッサ７は、この変換を指示する入力をユーザインタフェース１０が受け付けたか否かを判定する。 Next, in step S12, the processor 7 determines whether or not an instruction to convert the ultrasonic image acquired in step S11 using the learned model is input in the user interface 10. More specifically, for example, the operator determines whether or not conversion is necessary based on the image quality of the ultrasonic image displayed on the display 8 in step S11. When the operator determines that the image quality is deteriorated and needs to be converted, the operator inputs an instruction for conversion on the user interface 10. The processor 7 determines whether or not the user interface 10 has received an input instructing this conversion.
ここで、「変換」とは、画質がより劣化している超音波画像を、より良好な画質の超音波画像に変換することをいう。画質の良否は、例えばＳＮ比や深部感度などの観点で決定される。従って、本例の変換により、よりＳＮ比や深部感度が低い超音波画像が、よりＳＮ比や深部感度が高い超音波画像になる。 Here, “conversion” refers to converting an ultrasonic image having a further deteriorated image quality into an ultrasonic image having a better image quality. The quality of the image quality is determined, for example, from the viewpoint of the SN ratio and the depth sensitivity. Therefore, by the conversion of this example, an ultrasonic image having a lower SN ratio and deeper sensitivity becomes an ultrasonic image having a higher SN ratio and deeper sensitivity.
例えば、皮下脂肪厚が比較的厚くない被検体においては、第一の条件を用いて取得された超音波画像は、変換の必要がない比較的良好な画質である。一方、同じ第一の条件を用いても、皮下脂肪厚がより厚い被検体については、あたかも第二の条件を用いて取得されたような画質が劣化した超音波画像が取得される。このような画質が劣化した超音波画像が取得された場合、操作者はユーザインタフェース１０において変換を指示する入力を行なう。 For example, in a subject whose subcutaneous fat thickness is not relatively thick, the ultrasound image acquired using the first condition has a relatively good image quality that does not require conversion. On the other hand, even if the same first condition is used, for a subject having a thicker subcutaneous fat thickness, an ultrasonic image with deteriorated image quality as if it were acquired using the second condition is acquired. When such an ultrasonic image with deteriorated image quality is acquired, the operator inputs an instruction for conversion on the user interface 10.
また、不慣れな操作者が、良好な画質の超音波画像を取得することができるように条件を調整することができず、画質が劣化した超音波画像が取得された場合にも、操作者はユーザインタフェース１０において変換を指示する入力を行なう。 In addition, even if an inexperienced operator cannot adjust the conditions so that an ultrasonic image with good image quality can be acquired and an ultrasonic image with deteriorated image quality is acquired, the operator is Input for instructing conversion is performed on the user interface 10.
ステップＳ１２において、ユーザインタフェース１０が入力を受け付けたと判定された場合（ステップＳ１２において「ＹＥＳ」）、ステップＳ１３の処理へ移行する。ステップＳ１３では、プロセッサ７は、メモリ９に記憶された学習済みモデルを用いて、ステップＳ１１において得られた超音波画像の変換を行なう。より詳細には、ステップＳ１１において得られた超音波画像のデータが、学習済みモデルに入力され、出力として画質が向上した超音波画像が得られる。 When it is determined in step S12 that the user interface 10 has received the input (“YES” in step S12), the process proceeds to step S13. In step S13, the processor 7 uses the learned model stored in the memory 9 to convert the ultrasonic image obtained in step S11. More specifically, the ultrasonic image data obtained in step S11 is input to the learned model, and an ultrasonic image with improved image quality is obtained as an output.
次に、ステップＳ１４では、プロセッサ７は、ステップＳ１３において学習済みモデルの出力として得られた超音波画像を、ディスプレイ８に表示させる。ステップＳ１４において、変換後の超音波画像が表示された場合、及びステップＳ１２において、ユーザインタフェース１０が変換の入力を受け付けなかった場合（ステップＳ１２において「ＮＯ」）、処理が終了する。 Next, in step S14, the processor 7 causes the display 8 to display the ultrasonic image obtained as the output of the learned model in step S13. If the converted ultrasonic image is displayed in step S14, and if the user interface 10 does not accept the input of conversion in step S12 (“NO” in step S12), the process ends.
次に、第一実施形態の変形例について説明する。図４は、この変形例における機械学習の学習用データを取得するための処理を示すフローチャートである。図４におけるステップＳ１１〜Ｓ１３については、図２のフローチャートにおけるステップＳ１〜Ｓ３の処理と同一である。また、図４におけるステップＳ１６〜１８については、図２のフローチャートにおけるステップＳ５〜Ｓ７の処理と同一である。従って、ステップＳ１４、１５について説明する。 Next, a modified example of the first embodiment will be described. FIG. 4 is a flowchart showing a process for acquiring learning data for machine learning in this modified example. Steps S11 to S13 in FIG. 4 are the same as the steps S1 to S3 in the flowchart of FIG. Further, steps S16 to S18 in FIG. 4 are the same as the processes of steps S5 to S7 in the flowchart of FIG. Therefore, steps S14 and S15 will be described.
ステップＳ１４では、ステップＳ４と同様にして第一の超音波画像が作成され、ディスプレイ８に表示される。ステップＳ１５では、ステップＳ１４において表示された第一の超音波画像を記憶する指示の入力をユーザインタフェース１０が受け付ける。この入力は、操作者が行なう。ユーザインタフェース１０が第一の超音波画像を記憶する指示の入力を受け付けると、プロセッサ７は、第一の超音波画像のデータをメモリ９に記憶する。 In step S14, the first ultrasonic image is created and displayed on the display 8 as in step S4. In step S15, the user interface 10 receives an input of an instruction to store the first ultrasonic image displayed in step S14. This input is performed by the operator. When the user interface 10 receives the input of the instruction to store the first ultrasonic image, the processor 7 stores the data of the first ultrasonic image in the memory 9.
ちなみに、ステップＳ１５における入力が行なわれるまで、複数フレームの第一の超音波画像が取得され表示されてもよい。 Incidentally, the first ultrasonic images of a plurality of frames may be acquired and displayed until the input is performed in step S15.
ステップＳ１５においてユーザインタフェース１０が前記入力を受け付けると、プロセッサ７は、ステップＳ１６における第二の条件の読出しを行なう。 When the user interface 10 receives the input in step S15, the processor 7 reads the second condition in step S16.
（第二実施形態）
次に、第二実施形態について説明する。本例では、図５に示すシステム１００について説明する。第一実施形態においては、機械学習の学習用データの取得と、学習済みモデルの構築の両方が、超音波診断装置１において行なわれるが、第二実施形態においては、学習済みモデルの構築がサーバ１０１で行なわれる。以下、具体的に説明する。
(Second embodiment)
Next, a second embodiment will be described. In this example, the system 100 shown in FIG. 5 will be described. In the first embodiment, both the acquisition of the learning data for machine learning and the construction of the learned model are performed in the ultrasonic diagnostic apparatus 1, but in the second embodiment, the learning model is constructed by the server. Performed at 101. The details will be described below.
システム１００は、超音波診断装置２０として、複数の超音波診断装置２０Ａ、２０Ｂ、２０Ｃを有し、なおかつサーバ１０１及びネットワーク１０２を有している。超音波診断装置２０Ａ、２０Ｂ、２０Ｃは、ネットワーク１０２を介してサーバ１０１と接続されている。 The system 100 has a plurality of ultrasonic diagnostic apparatuses 20A, 20B, and 20C as the ultrasonic diagnostic apparatus 20, and also has a server 101 and a network 102. The ultrasonic diagnostic apparatuses 20A, 20B, and 20C are connected to the server 101 via the network 102.
超音波診断装置２０は、図６に示すように、ネットワーク１０２と接続され、このネットワーク１０２とデータの入出力を行なうネットワークインターフェース２１を有する。超音波診断装置２０におけるその他の構成は、第一実施形態の超音波診断装置１と同一である。 As shown in FIG. 6, the ultrasonic diagnostic apparatus 20 has a network interface 21 that is connected to the network 102 and inputs and outputs data to and from the network 102. The other configurations of the ultrasonic diagnostic apparatus 20 are the same as those of the ultrasonic diagnostic apparatus 1 of the first embodiment.
サーバ１０１は、公知の構成を備えている。図７には、サーバ１０１の本例における要部の構成が図示されており、プロセッサ１０３、メモリ１０４及びネットワークインターフェース１０５を備えている。本例では、機械学習のアルゴリズムは、超音波診断装置２０のメモリ９ではなく、サーバ１０１のメモリ１０４に記憶されている。 The server 101 has a known configuration. FIG. 7 illustrates the configuration of the main part of the server 101 in this example, which includes a processor 103, a memory 104, and a network interface 105. In the present example, the machine learning algorithm is stored in the memory 104 of the server 101 instead of the memory 9 of the ultrasonic diagnostic apparatus 20.
本例の作用について、図８のフローチャートに基づいて説明する。先ず、ステップＳ３１では、超音波診断装置２０にて第一の超音波画像のデータ及び第二の超音波画像のデータが取得される。第一の超音波画像のデータ及び第二の超音波画像のデータの取得は、超音波診断装置２０において、第一実施形態と同様に図２のフローチャートに沿って行なわれる。 The operation of this example will be described based on the flowchart of FIG. First, in step S31, the ultrasonic diagnostic apparatus 20 acquires the first ultrasonic image data and the second ultrasonic image data. The data of the first ultrasonic image and the data of the second ultrasonic image are acquired by the ultrasonic diagnostic apparatus 20 according to the flowchart of FIG. 2 as in the first embodiment.
次に、ステップＳ３２では、超音波診断装置２０のプロセッサ７は、ステップＳ３１において取得された第一の超音波画像のデータ及び第二の超音波画像のデータを、ネットワークインタフェース２１及びネットワーク１０２を介してサーバ１０１へ送信する。プロセッサ７は、第一の超音波画像のデータ及び第二の超音波画像のデータからなる１つのペアが取得されるたびにサーバ１０１への送信を行なってもよいし、所要の数の複数のペアが取得されるたびにサーバ１０１への送信を行なってもよい。 Next, in step S32, the processor 7 of the ultrasonic diagnostic apparatus 20 transmits the data of the first ultrasonic image and the data of the second ultrasonic image acquired in step S31 via the network interface 21 and the network 102. Transmitted to the server 101. The processor 7 may perform transmission to the server 101 each time one pair of data of the first ultrasonic image and data of the second ultrasonic image is acquired, or a required number of plural data may be transmitted. The transmission to the server 101 may be performed each time a pair is acquired.
次に、ステップＳ３３では、サーバ１０１のプロセッサ１０３は、メモリ１０４に記憶された機械学習のアルゴリズムを読み出して機械学習を行ない、学習済みモデルを構築する。プロセッサ１０３は、超音波診断装置２０から送信された第一の超音波画像のデータ及び第二の超音波画像のデータを学習用データとして用いて機械学習を行なう。本例においても、機械学習は、第一の超音波画像のデータ及び第二の超音波画像のデータからなる１つのペアが送信されるたびに行われてもよいし、所要の数の複数のペアが送信されるたびに行なわれてもよい。 Next, in step S33, the processor 103 of the server 101 reads the machine learning algorithm stored in the memory 104, performs machine learning, and constructs a learned model. The processor 103 performs machine learning using the first ultrasonic image data and the second ultrasonic image data transmitted from the ultrasonic diagnostic apparatus 20 as learning data. Also in this example, the machine learning may be performed every time one pair of the first ultrasonic image data and the second ultrasonic image data is transmitted, or a required number of plural data may be transmitted. It may be done each time a pair is sent.
本例では、サーバ１０１は、複数の超音波診断装置２０Ａ、２０Ｂ、２０Ｃから学習用データを取得して機械学習を行なうことができるので、より多くの学習用データを手間をかけずに取得することができる。 In this example, the server 101 can acquire learning data from a plurality of ultrasonic diagnostic apparatuses 20A, 20B, and 20C and perform machine learning, and thus acquire more learning data without trouble. be able to.
次に、ステップＳ３４では、サーバ１０１のプロセッサ１０３は、ステップＳ３３において構築された学習済みモデルをネットワークインタフェース１０５及びネットワーク１０２を介して超音波診断装置２０へ送信する。 Next, in step S34, the processor 103 of the server 101 transmits the learned model constructed in step S33 to the ultrasonic diagnostic apparatus 20 via the network interface 105 and the network 102.
本例では、サーバ１０１から送信された学習済みモデルを用いて、超音波診断装置２０において取得された超音波画像の画質改善のための変換が必要に応じて行なわれる。本例でも、超音波診断装置２０における画質改善は、図３のフローチャートに沿って行なわれる。 In this example, using the learned model transmitted from the server 101, conversion for improving the image quality of the ultrasonic image acquired by the ultrasonic diagnostic apparatus 20 is performed as necessary. Also in this example, the image quality improvement in the ultrasonic diagnostic apparatus 20 is performed according to the flowchart of FIG.
以上、本発明を前記実施形態によって説明したが、本発明はその主旨を変更しない範囲で種々変更実施可能なことはもちろんである。例えば、第二実施形態において、学習済みモデルを用いた超音波画像の変換が、サーバ１０１において行なわれてもよい。この場合、超音波診断装置２０において取得された超音波画像のデータが、サーバ１０１へ送信され、このデータについて学習済みモデルを用いた変換が行なわれる。変換後の超音波画像は、サーバ１０１から超音波診断装置２０へ送信され、ディスプレイ８に表示される。 Although the present invention has been described above with reference to the above-described embodiment, it is needless to say that the present invention can be variously modified and implemented without departing from the spirit of the invention. For example, in the second embodiment, the ultrasonic image conversion using the learned model may be performed in the server 101. In this case, the ultrasonic image data acquired by the ultrasonic diagnostic apparatus 20 is transmitted to the server 101, and this data is converted using the learned model. The converted ultrasonic image is transmitted from the server 101 to the ultrasonic diagnostic apparatus 20 and displayed on the display 8.
サーバ１０１は、ワークステーションで構成されていてもよく、学習済みモデルを用いた変換後の超音波画像はサーバ１０１のディスプレイ（図示省略）に表示されてもよい。この場合、超音波診断装置２０において取得された超音波画像の画質が劣化していても、改めて超音波画像を取得することなく、画質が改善された超音波画像をサーバ１０１上で表示することができる。 The server 101 may be configured by a workstation, and the converted ultrasonic image using the learned model may be displayed on the display (not shown) of the server 101. In this case, even if the image quality of the ultrasonic image acquired by the ultrasonic diagnostic apparatus 20 is deteriorated, the ultrasonic image with the improved image quality is displayed on the server 101 without acquiring the ultrasonic image again. You can
また、上記実施形態は、
メモリ、ユーザインタフェース、プロセッサ、超音波プローブ及びディスプレイを備える超音波装置の制御方法であって、
前記メモリは、被検体の第一の超音波画像を取得するために用いられる第一の条件と、前記被検体において前記第一の超音波画像が取得された位置と同じ位置についての第二の超音波画像を取得するために用いられる第二の条件であって、前記第二の超音波画像が、前記第一の超音波画像よりも画質が劣化した画像となる条件である第二の条件が記憶されるよう構成され、
前記ユーザインタフェースは、操作者の入力を受け付けるよう構成され、
前記制御方法は、前記プロセッサが、前記ユーザインタフェースが前記操作者による入力を受け付けると、前記第一の超音波画像のデータ及び前記第二の超音波画像のデータを、機械学習の学習用データとして用いる１つのペアとして取得する機能を実行する方法であって、
前記プロセッサは、
前記メモリから前記第一の条件を読み出し、
前記超音波プローブによる第一の超音波の送受信と、該第一の超音波の送受信によって得られたエコー信号に基づく前記第一の超音波画像の作成を、前記第一の条件を用いて行ない、
前記第一の超音波画像を前記ディスプレイに表示し、
前記第一の超音波画像のデータを前記メモリに記憶し、
前記メモリから前記第二の条件を読み出し、
前記超音波プローブによる第二の超音波の送受信と、該第二の超音波の送受信によって得られたエコー信号に基づく前記第二の超音波画像の作成を、前記第二の条件を用いて行ない、
前記第二の超音波画像のデータを前記メモリに記憶する、超音波装置の制御方法としてもよい。
In addition, the above-mentioned embodiment,
A method for controlling an ultrasonic device including a memory, a user interface, a processor, an ultrasonic probe, and a display,
The memory is a first condition used for acquiring a first ultrasonic image of the subject, and a second condition for the same position as the position where the first ultrasonic image is acquired in the subject. A second condition which is a second condition used for acquiring an ultrasonic image, wherein the second ultrasonic image is a condition in which the image quality is deteriorated as compared with the first ultrasonic image. Is configured to be stored,
The user interface is configured to accept operator input,
In the control method, the processor, when the user interface receives an input by the operator, sets the data of the first ultrasonic image and the data of the second ultrasonic image as learning data for machine learning. A method of executing a function to be acquired as one pair to be used,
The processor is
Reading the first condition from the memory,
Transmission and reception of the first ultrasonic wave by the ultrasonic probe, and creation of the first ultrasonic image based on the echo signal obtained by the transmission and reception of the first ultrasonic wave is performed using the first condition. ,
Displaying the first ultrasonic image on the display,
Storing the data of the first ultrasonic image in the memory,
Reading the second condition from the memory,
Transmission and reception of the second ultrasonic wave by the ultrasonic probe, and creation of the second ultrasonic image based on the echo signal obtained by the transmission and reception of the second ultrasonic wave is performed using the second condition. ,
A method of controlling the ultrasonic device may be one in which the data of the second ultrasonic image is stored in the memory.
１、２０ 超音波診断装置
２ 超音波プローブ
７ プロセッサ
８ ディスプレイ
９ メモリ
１０ ユーザインタフェース
１０１ サーバ
１０２ ネットワーク
１０３ プロセッサ
1, 20 Ultrasonic Diagnostic Device 2 Ultrasonic Probe 7 Processor 8 Display 9 Memory 10 User Interface 101 Server 102 Network 103 Processor
Claims (11)
前記メモリは、被検体の第一の超音波画像を取得するために用いられる第一の条件と、前記被検体において前記第一の超音波画像が取得された位置と同じ位置についての第二の超音波画像を取得するために用いられる第二の条件であって、前記第二の超音波画像が、前記第一の超音波画像よりも画質が劣化した画像となる条件である第二の条件が記憶されるよう構成され、
前記ユーザインタフェースは、操作者の入力を受け付けるよう構成され、
前記プロセッサは、前記ユーザインタフェースが前記操作者による入力を受け付けると、前記第一の超音波画像のデータ及び前記第二の超音波画像のデータを、機械学習の学習用データとして用いる１つのペアとして取得する機能を実行するよう構成され、
前記機能は、
前記メモリから前記第一の条件を読み出した後、前記超音波プローブによる第一の超音波の送受信と、該第一の超音波の送受信によって得られたエコー信号に基づく前記第一の超音波画像の作成を、前記第一の条件を用いて行ない、さらに前記第一の超音波画像を前記ディスプレイに表示し、なおかつ前記第一の超音波画像のデータを前記メモリに記憶する第一の機能と、
前記メモリから前記第二の条件を読み出した後、前記超音波プローブによる第二の超音波の送受信と、該第二の超音波の送受信によって得られたエコー信号に基づく前記第二の超音波画像の作成を、前記第二の条件を用いて行ない、さらに前記第二の超音波画像のデータを前記メモリに記憶する第二の機能と、を含んでいる、超音波装置。 An ultrasonic device comprising a memory, a user interface, a processor, an ultrasonic probe and a display,
The memory is a first condition used for acquiring a first ultrasonic image of the subject, and a second condition for the same position as the position where the first ultrasonic image is acquired in the subject. A second condition which is a second condition used for acquiring an ultrasonic image, wherein the second ultrasonic image is a condition in which the image quality is deteriorated as compared with the first ultrasonic image. Is configured to be stored,
The user interface is configured to accept operator input,
When the user interface receives an input from the operator, the processor forms one pair of the first ultrasonic image data and the second ultrasonic image data as learning data for machine learning. Is configured to perform the function to get,
The function is
After reading the first condition from the memory, transmission and reception of the first ultrasonic wave by the ultrasonic probe, and the first ultrasonic image based on the echo signal obtained by the transmission and reception of the first ultrasonic wave And the first function of displaying the first ultrasonic image on the display and storing the data of the first ultrasonic image in the memory. ,
After reading the second condition from the memory, transmission and reception of the second ultrasonic wave by the ultrasonic probe, and the second ultrasonic image based on the echo signal obtained by the transmission and reception of the second ultrasonic wave Is performed using the second condition, and a second function of storing the data of the second ultrasonic image in the memory is included.
前記第二の条件は、前記第二の超音波の送受信の条件、該第二の超音波の送受信によって得られたエコー信号の処理条件及び画像処理条件のうち少なくともいずれか一つを含む、請求項１に記載の超音波装置。 The first condition includes at least one of the first ultrasonic transmission/reception condition, an echo signal processing condition and an image processing condition obtained by the first ultrasonic transmission/reception,
The second condition includes at least one of a condition for transmitting and receiving the second ultrasonic wave, a condition for processing an echo signal obtained by transmitting and receiving the second ultrasonic wave, and an image processing condition. Item 1. The ultrasonic device according to item 1.
前記超音波装置のプロセッサは、前記第一の超音波画像のデータ及び前記第二の超音波画像のデータを前記ネットワークを介して前記サーバへ送信する制御を行ない、
前記サーバのプロセッサは、前記機械学習のアルゴリズムを読み出し、前記第一の超音波画像のデータ及び前記第二の超音波画像のデータを学習用データとして用いる機械学習を行なって、学習済みモデルを取得する、システム。 A system comprising the ultrasonic device according to any one of claims 1 to 7 and a server connected via a network, wherein the server includes a memory in which the machine learning algorithm is stored and a processor. Prepare,
The processor of the ultrasonic device performs control of transmitting the data of the first ultrasonic image and the data of the second ultrasonic image to the server via the network,
The processor of the server reads out the machine learning algorithm, performs machine learning using the first ultrasonic image data and the second ultrasonic image data as learning data, and acquires a learned model. Yes, the system.
前記メモリは、被検体の第一の超音波画像を取得するために用いられる第一の条件と、前記被検体において前記第一の超音波画像が取得された位置と同じ位置についての第二の超音波画像を取得するために用いられる第二の条件であって、前記第二の超音波画像が、前記第一の超音波画像よりも画質が劣化した画像となる条件である第二の条件が記憶されるよう構成され、
前記ユーザインタフェースは、操作者の入力を受け付けるよう構成されており、
前記制御プログラムは、前記ユーザインタフェースが前記操作者による入力を受け付けると、前記第一の超音波画像のデータ及び前記第二の超音波画像のデータを、機械学習の学習用データとして用いられる１つのペアとして取得する機能を前記プロセッサに実行させるよう構成され、
前記機能は、
前記メモリから前記第一の条件を読み出した後、前記超音波プローブによる第一の超音波の送受信と、該第一の超音波の送受信によって得られたエコー信号に基づく前記第一の超音波画像の作成を、前記第一の条件を用いて行ない、さらに前記第一の超音波画像を前記ディスプレイに表示し、なおかつ前記第一の超音波画像のデータを前記メモリに記憶する第一の機能と、
前記メモリから前記第二の条件を読み出した後、前記超音波プローブによる第二の超音波の送受信と、該第二の超音波の送受信によって得られたエコー信号に基づく前記第二の超音波画像の作成を、前記第二の条件を用いて行ない、さらに前記第二の超音波画像のデータを前記メモリに記憶する第二の機能と、を含んでいる、超音波装置の制御プログラム。 A control program for an ultrasonic device including a memory, a user interface, a processor, an ultrasonic probe, and a display,
The memory is a first condition used for acquiring a first ultrasonic image of the subject, and a second condition for the same position as the position where the first ultrasonic image is acquired in the subject. A second condition which is a second condition used for acquiring an ultrasonic image, wherein the second ultrasonic image is a condition in which the image quality is deteriorated as compared with the first ultrasonic image. Is configured to be stored,
The user interface is configured to accept operator input,
When the user interface receives an input from the operator, the control program uses the data of the first ultrasonic image and the data of the second ultrasonic image as one of learning data for machine learning. Configured to cause the processor to perform the function of obtaining as a pair,
The function is
After reading the first condition from the memory, transmission and reception of the first ultrasonic wave by the ultrasonic probe, and the first ultrasonic image based on the echo signal obtained by the transmission and reception of the first ultrasonic wave And the first function of displaying the first ultrasonic image on the display and storing the data of the first ultrasonic image in the memory. ,
After reading the second condition from the memory, transmission and reception of the second ultrasonic wave by the ultrasonic probe, and the second ultrasonic image based on the echo signal obtained by the transmission and reception of the second ultrasonic wave Is performed using the second condition, and a second function of storing the data of the second ultrasonic image in the memory, and a control program for the ultrasonic device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019065365A JP6722322B1 (en) | 2019-03-29 | 2019-03-29 | Ultrasonic device and its control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019065365A JP6722322B1 (en) | 2019-03-29 | 2019-03-29 | Ultrasonic device and its control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6722322B1 true JP6722322B1 (en) | 2020-07-15 |
| JP2020162802A JP2020162802A (en) | 2020-10-08 |
Family
ID=71523895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019065365A Active JP6722322B1 (en) | 2019-03-29 | 2019-03-29 | Ultrasonic device and its control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6722322B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7170602B2 (en) * | 2019-08-27 | 2022-11-14 | 富士フイルム富山化学株式会社 | LEARNING DATA CREATION DEVICE AND METHOD, AND MACHINE LEARNING DEVICE AND METHOD |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014069558A1 (en) * | 2012-10-31 | 2014-05-08 | 日立アロカメディカル株式会社 | Ultrasound diagnostic device |
| JP2015129987A (en) * | 2014-01-06 | 2015-07-16 | 国立大学法人三重大学 | System and method of forming medical high-resolution image |
| JP6772112B2 (en) * | 2017-07-31 | 2020-10-21 | 株式会社日立製作所 | Medical imaging device and medical image processing method |
-
2019
- 2019-03-29 JP JP2019065365A patent/JP6722322B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020162802A (en) | 2020-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180206825A1 (en) | Method and system for ultrasound data processing | |
| US20180028153A1 (en) | Ultrasound diagnostic apparatus and ultrasound imaging method | |
| US11593933B2 (en) | Systems and methods for ultrasound image quality determination | |
| US11568535B2 (en) | Medical image processing apparatus, ultrasound diagnosis apparatus, and trained model generating method | |
| US11727558B2 (en) | Methods and apparatuses for collection and visualization of ultrasound data | |
| US8870777B2 (en) | Ultrasound diagnostic apparatus | |
| JP2007313199A (en) | Ultrasonic diagnosis system, method for collecting ultrasonic images, and program for controlling this ultrasonic diagnosis system | |
| JP6722322B1 (en) | Ultrasonic device and its control program | |
| US10634774B2 (en) | Ultrasound diagnosis apparatus and medical image processing method | |
| CN111855824B (en) | Ultrasonic device and control method thereof | |
| US11896435B2 (en) | Ultrasound diagnostic apparatus and examination method | |
| US11690598B2 (en) | Ultrasound diagnostic apparatus and non-transitory storage medium | |
| JP2016517744A (en) | Image enlargement method and ultrasonic medical device | |
| US20220211353A1 (en) | Ultrasonic image display system and program for color doppler imaging | |
| JP7242618B2 (en) | Ultrasound image display system and its control program | |
| JP6983481B2 (en) | Medical imaging equipment, its control programs and systems | |
| JP6865810B1 (en) | Ultrasonic diagnostic equipment and its control program | |
| JP2019063483A (en) | Analysis device | |
| JP7102480B2 (en) | Ultrasonic image display device and its control program | |
| US20230118210A1 (en) | Ultrasound system, ultrasound probe, control method of ultrasound system, and control method of ultrasound probe | |
| US20230225710A1 (en) | Ultrasonic diagnostic apparatus and image processing apparatus | |
| US20230270410A1 (en) | Ultrasound diagnostic apparatus and control method for ultrasound diagnostic apparatus | |
| JP2021164572A (en) | Device and program | |
| JP2022070743A (en) | Ultrasonic image display system and control program thereof | |
| JP2021122294A (en) | Medical image capture apparatus, program for controlling the same, and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190530 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190719 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200619 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6722322 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |