JP7102181B2 - Analyst - Google Patents
Analyst Download PDFInfo
- Publication number
- JP7102181B2 JP7102181B2 JP2018049986A JP2018049986A JP7102181B2 JP 7102181 B2 JP7102181 B2 JP 7102181B2 JP 2018049986 A JP2018049986 A JP 2018049986A JP 2018049986 A JP2018049986 A JP 2018049986A JP 7102181 B2 JP7102181 B2 JP 7102181B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- image
- function
- result
- marker information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Description
本発明の実施形態は、解析装置に関する。 Embodiments of the present invention relate to an analyzer.
従来、超音波診断装置は、リアルタイムに生成する超音波画像や過去の超音波走査により生成した超音波画像を表示する。また、医用画像診断装置により生成された医用画像中の特徴的な部位を自動検出するＣＡＤ（Computer Aided Detection）機能が知られている。 Conventionally, an ultrasonic diagnostic apparatus displays an ultrasonic image generated in real time or an ultrasonic image generated by past ultrasonic scanning. Further, there is known a CAD (Computer Aided Detection) function that automatically detects a characteristic part in a medical image generated by a medical image diagnostic apparatus.
本発明が解決しようとする課題は、診断効率を向上させることができる解析装置を提供することである。 An object to be solved by the present invention is to provide an analysis device capable of improving diagnostic efficiency.
実施形態の解析装置は、取得部と、検索部と、検索結果合成部とを備える。取得部は、第１の画像と、前記第１の画像とは異なる第２の画像を取得する。検索部は、前記第１の画像を対象に第１の検索処理を実行することで、前記第１の画像における特徴部位を検索し、前記第２の画像を対象に、前記第１の検索処理とは異なる第２の検索処理を実行することで、前記第２の画像における特徴部位を検索する。検索結果合成部は、前記検索部による各検索結果を合成する。 The analysis device of the embodiment includes an acquisition unit, a search unit, and a search result synthesis unit. The acquisition unit acquires a first image and a second image different from the first image. The search unit searches for a feature portion in the first image by executing the first search process on the first image, and the first search process on the second image. By executing a second search process different from the above, the feature portion in the second image is searched. The search result synthesis unit synthesizes each search result by the search unit.
以下、図面を参照して、実施形態に係る解析装置を説明する。 Hereinafter, the analysis apparatus according to the embodiment will be described with reference to the drawings.
（第１の実施形態）
第１の実施形態では、解析装置の一例として、超音波診断装置について説明する。図１は、第１の実施形態に係る超音波診断装置１の構成例を示すブロック図である。図１に示すように、第１の実施形態に係る超音波診断装置１は、装置本体１００と、超音波プローブ１０１と、入力装置１０２と、ディスプレイ１０３とを備える。超音波プローブ１０１、入力装置１０２、及びディスプレイ１０３は、それぞれ装置本体１００に接続される。
(First Embodiment)
In the first embodiment, an ultrasonic diagnostic apparatus will be described as an example of the analysis apparatus. FIG. 1 is a block diagram showing a configuration example of the ultrasonic
超音波プローブ１０１は、複数の振動素子（圧電振動子）を有する。超音波プローブ１０１は、被検体Ｐの体表面に接触され、超音波の送受信（超音波走査）を行う。複数の振動素子は、後述する装置本体１００が有する送信回路１１０から供給される駆動信号に基づいて、超音波を発生させる。発生した超音波は、被検体Ｐ内の音響インピーダンスの不整合面で反射され、組織内の散乱体によって散乱された成分等を含む反射波信号（受信エコー）として複数の振動素子にて受信される。超音波プローブ１０１は、複数の振動素子にて受信した反射波信号を、送信回路１１０へ送る。 The ultrasonic probe 101 has a plurality of vibrating elements (piezoelectric vibrators). The ultrasonic probe 101 comes into contact with the body surface of the subject P to transmit and receive ultrasonic waves (ultrasonic scanning). The plurality of vibrating elements generate ultrasonic waves based on a drive signal supplied from a transmission circuit 110 included in the device main body 100, which will be described later. The generated ultrasonic waves are reflected by the mismatched surface of the acoustic impedance in the subject P, and are received by a plurality of vibrating elements as reflected wave signals (received echoes) including components scattered by scatterers in the tissue. To. The ultrasonic probe 101 sends the reflected wave signal received by the plurality of vibrating elements to the transmission circuit 110.
なお、本実施形態では、超音波プローブ１０１が、マトリクス状（格子状）に配列された複数の振動素子を有する２次元超音波プローブ（「２Ｄアレイプローブ」とも表記する）である場合を説明するが、これに限定されるものではない。例えば、超音波プローブ１０１は、所定方向に１次元で配列された複数の振動素子を有する１次元超音波プローブ（「１Ｄアレイプローブ」とも表記する）であってもよい。 In this embodiment, the case where the ultrasonic probe 101 is a two-dimensional ultrasonic probe (also referred to as “2D array probe”) having a plurality of vibrating elements arranged in a matrix (lattice) will be described. However, it is not limited to this. For example, the ultrasonic probe 101 may be a one-dimensional ultrasonic probe (also referred to as “1D array probe”) having a plurality of vibrating elements arranged one-dimensionally in a predetermined direction.
入力装置１０２は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等を有し、超音波診断装置１の操作者からの各種設定要求を受け付け、装置本体１００に対して受け付けた各種設定要求を転送する。また、例えば、入力装置１０２は、ＣＡＤ処理を実行する指示を操作者から受け付ける。
The input device 102 includes a mouse, a keyboard, a button, a panel switch, a touch command screen, a foot switch, a trackball, a joystick, and the like, and receives various setting requests from the operator of the ultrasonic
ディスプレイ１０３は、超音波診断装置１の操作者が入力装置１０２を用いて各種設定要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、装置本体１００において生成された超音波画像データ等を表示したりする。例えば、ディスプレイ１０３は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイ等によって構成される。また、ディスプレイ１０３のことをモニタと適宜称する。なお、ディスプレイ１０３は、表示部の一例である。
The display 103 displays a GUI (Graphical User Interface) for the operator of the ultrasonic
装置本体１００は、超音波プローブ１０１が受信した反射波信号に基づいて、超音波画像データを生成する装置である。図１に示すように、装置本体１００は、例えば、送信回路１１０と、受信回路１２０と、Ｂモード処理回路１３０と、ドプラ処理回路１４０と、画像生成回路１５０と、画像メモリ１６０と、記憶回路１７０と、処理回路１８０とを有する。送信回路１１０、受信回路１２０、Ｂモード処理回路１３０、ドプラ処理回路１４０、画像生成回路１５０、画像メモリ１６０、記憶回路１７０、及び処理回路１８０は、互いに通信可能に接続される。
The device main body 100 is a device that generates ultrasonic image data based on the reflected wave signal received by the ultrasonic probe 101. As shown in FIG. 1, the apparatus main body 100 includes, for example, a transmission circuit 110, a
送信回路１１０は、パルサ回路等を有する。パルサ回路は、所定のレート周波数（ＰＲＦ：Pulse Repetition Frequency）で、送信超音波を形成するためのレートパルスを繰り返し発生し、発生したレートパルスを超音波プローブ１０１に出力する。 The transmission circuit 110 includes a pulsar circuit and the like. The pulser circuit repeatedly generates a rate pulse for forming a transmission ultrasonic wave at a predetermined rate frequency (PRF: Pulse Repetition Frequency), and outputs the generated rate pulse to the ultrasonic probe 101.
また、送信回路１１０は、処理回路１８０による制御を受けて、パルサ回路が出力する駆動信号の振幅の値を出力する。また、送信回路１１０は、処理回路１８０による制御を受けて、超音波プローブ１０１に、超音波プローブ１０１から送信される超音波に対する遅延量を送信する。 Further, the transmission circuit 110 is controlled by the processing circuit 180 and outputs the value of the amplitude of the drive signal output by the pulsar circuit. Further, the transmission circuit 110 is controlled by the processing circuit 180 to transmit the delay amount with respect to the ultrasonic wave transmitted from the ultrasonic probe 101 to the ultrasonic probe 101.
受信回路１２０は、Ａ／Ｄ変換器及び受信ビームフォーマを有する。受信回路１２０は、超音波プローブ１０１から出力された反射波信号を受信すると、まず、Ａ／Ｄ変換器が、反射波信号をデジタルデータに変換し、受信ビームフォーマが、これらの各チャンネルからのデジタルデータに対し整相加算処理を行って反射波データを生成し、生成した反射波データをＢモード処理回路１３０及びドプラ処理回路１４０に送信する。
The receiving
Ｂモード処理回路１３０は、受信回路１２０から出力された反射波データを受信し、受信した反射波データに対して対数増幅、包絡線検波処理等を行って、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。
The B-
ドプラ処理回路１４０は、受信回路１２０から出力された反射波データを受信し、受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の移動体情報を多点について抽出したデータ（ドプラデータ）を生成する。
The
画像生成回路１５０は、Ｂモード処理回路１３０及びドプラ処理回路１４０が生成したデータから超音波画像データを生成する。画像生成回路１５０は、Ｂモード処理回路１３０が生成したＢモードデータから反射波の強度を輝度で表したＢモード画像データを生成する。また、画像生成回路１５０は、ドプラ処理回路１４０が生成したドプラデータから移動体情報を表すドプラ画像データを生成する。ドプラ画像データは、速度画像データ、分散画像データ、パワー画像データ、又は、これらを組み合わせた画像データである。ここで、例えば、画像生成回路１５０は、リアルタイムで時系列に生成した画像を、画像メモリ１６０に記憶させる。
The image generation circuit 150 generates ultrasonic image data from the data generated by the B
ここで、画像生成回路１５０は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用の超音波画像データを生成する。具体的には、画像生成回路１５０は、超音波プローブ１０１による超音波の走査形態に応じて座標変換を行うことで、表示用の超音波画像データを生成する。また、画像生成回路１５０は、スキャンコンバート以外に、種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）等を行う。また、画像生成回路１５０は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。 Here, the image generation circuit 150 generally converts (scan-converts) a scanning line signal string of ultrasonic scanning into a scanning line signal string of a video format typified by a television or the like, and ultrasonic waves for display. Generate image data. Specifically, the image generation circuit 150 generates ultrasonic image data for display by performing coordinate conversion according to the scanning form of ultrasonic waves by the ultrasonic probe 101. In addition to the scan conversion, the image generation circuit 150 also uses, for example, a plurality of image frames after the scan conversion to regenerate an image with an average value of brightness as various image processing (smoothing processing). , Perform image processing (edge enhancement processing) using a differential filter in the image. Further, the image generation circuit 150 synthesizes character information, scales, body marks, and the like of various parameters with the ultrasonic image data.
画像メモリ１６０は、画像生成回路１５０が生成した画像データ（Ｂモード画像データ、ドプラ画像データ等）を記憶するメモリである。また、画像メモリ１６０は、Ｂモード処理回路１３０及びドプラ処理回路１４０が生成したデータを記憶することも可能である。画像メモリ１６０が記憶するＢモードデータ及びドプラデータは、例えば、操作者が呼び出すことが可能となっており、画像生成回路１５０を経由して表示用の超音波画像データとなる。
The
記憶回路１７０は、超音波送受信、画像処理及び表示処理などを行うための制御プログラムや、診断情報（例えば、患者ＩＤ、医師の所見等）や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。また、記憶回路１７０は、必要に応じて、画像メモリ１６０が記憶する画像データの保管等にも使用される。また、記憶回路１７０が記憶するデータは、図示しない通信インターフェースを介して、外部装置へ転送することができる。
The
処理回路１８０は、超音波診断装置１の処理全体を制御する。具体的には、処理回路１８０は、入力装置１０２を介して操作者から入力された各種設定要求や、記憶回路１７０から読み込んだ各種制御プログラムおよび各種データに基づき、送信回路１１０、受信回路１２０、Ｂモード処理回路１３０、ドプラ処理回路１４０、画像生成回路１５０等の処理を制御する。また、処理回路１８０は、画像メモリ１６０が記憶する超音波画像データをディスプレイ１０３に表示させる。
The processing circuit 180 controls the entire processing of the ultrasonic
また、図１に示すように、処理回路１８０は、取得機能１８１、検索機能１８２、検索結果合成機能１８３、マーカ情報生成機能１８４及び表示制御機能１８５を実行する。ここで、例えば、図１に示す処理回路１８０の構成要素である取得機能１８１と、検索機能１８２と、検索結果合成機能１８３と、マーカ情報生成機能１８４と、表示制御機能１８５とが実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１７０に記録されている。処理回路１８０は、各プログラムを記憶回路１７０から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路１８０は、図１の処理回路１８０内に示された各機能を有することとなる。なお、取得機能１８１、検索機能１８２、検索結果合成機能１８３、マーカ情報生成機能１８４及び表示制御機能１８５の処理については、後述する。
Further, as shown in FIG. 1, the processing circuit 180 executes the acquisition function 181 and the search function 182, the search
なお、装置本体１００に内蔵される送信回路１１０、受信回路１２０、Ｂモード処理回路１３０、ドプラ処理回路１４０、画像生成回路１５０、及び処理回路１８０は、プロセッサ（ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、集積回路等）のハードウェアにより構成される。
The transmission circuit 110, the
このように構成される超音波診断装置１は、超音波走査によりリアルタイムに生成する超音波画像や過去の超音波走査により生成した超音波画像を表示する。ところで、取得した生体画像中の特徴的な部位を自動検出するＣＡＤ（Computer Aided Detection）機能がある。ここでＣＡＤ手法の一例として、１枚の入力画像に対して複数のＣＡＤ処理を行い、それぞれの処理の結果を合成して最終的な特徴部位の検出結果として表示する方法が考えられる。
The ultrasonic
しかしながら、この方法では、１枚の画像に対する計算量が多く処理に時間が長くなる。このため、この方法は、例えば、超音波診断装置でのリアルタイム処理には不向きである。また、単純に画像１枚あたりのＣＡＤ処理を減らすと、ＣＡＤの性能が低下する可能性がある。 However, in this method, the amount of calculation for one image is large and the processing time becomes long. Therefore, this method is not suitable for real-time processing in, for example, an ultrasonic diagnostic apparatus. Further, if the CAD processing per image is simply reduced, the CAD performance may be deteriorated.
そこで、第１の実施形態に係る超音波診断装置１は、ＣＡＤ処理を複数の入力画像に分散させ、各画像での結果を合成して、１枚の画像の最終的な検出結果として表示する。図２は、第１の実施形態を説明するための図である。図２では、４種類のＣＡＤ処理を４フレームの画像に分散させる場合を示す。
Therefore, the ultrasonic
図２に示す例では、Ｎ－２フレーム目の画像、Ｎ－１フレーム目の画像、Ｎフレーム目の画像、Ｎ＋１フレーム目の画像を用いて、Ｎフレーム目の画像の検出結果を取得する場合について説明する。例えば、第１の実施形態に係る超音波診断装置１は、Ｎ－２フレーム目の画像、Ｎ－１フレーム目の画像、Ｎフレーム目の画像、Ｎ＋１フレーム目の画像に対して、それぞれ手法の異なるＣＡＤ処理を実行する。
In the example shown in FIG. 2, the detection result of the image of the Nth frame is acquired by using the image of the N-2nd frame, the image of the N-1th frame, the image of the Nth frame, and the image of the N + 1th frame. Will be described. For example, the ultrasonic
より具体的には、第１の実施形態に係る超音波診断装置１は、Ｎ－２フレーム目の画像に対して手法Ａを用いたＣＡＤ処理を実行してＣＡＤ処理結果「Ｒｅｓｕｌｔ Ｎ－２」を得る。また、第１の実施形態に係る超音波診断装置１は、Ｎ－１フレーム目の画像に対して手法Ｂを用いたＣＡＤ処理を実行してＣＡＤ処理結果「Ｒｅｓｕｌｔ Ｎ－１」を得る。更に、第１の実施形態に係る超音波診断装置１は、Ｎフレーム目の画像に対して手法Ｃを用いたＣＡＤ処理を実行してＣＡＤ処理結果「Ｒｅｓｕｌｔ Ｎ」を得る。そして、第１の実施形態に係る超音波診断装置１は、Ｎ＋１フレーム目の画像に対して手法Ｄを用いたＣＡＤ処理を実行してＣＡＤ処理結果「Ｒｅｓｕｌｔ Ｎ＋１」を得る。
More specifically, the ultrasonic
なお、第１の実施形態に係る超音波診断装置１は、各ＣＡＤ処理において、例えば、操作者によって設定された検索範囲に対して、ＣＡＤ処理毎に設定された、検索窓と教師データと検索アルゴリズムとをパラメータとして用いて、検索範囲における特徴部位の検索処理を実行する。より具体的には、第１の実施形態に係る超音波診断装置１は、検索範囲内で検索窓を移動させ、各位置において、検索窓の画像情報を、教師データと検索アルゴリズムを用いて解析することで、各検索窓の画像情報が特徴部位に相当する情報である確率を計算する。なお、第１の実施形態に係る超音波診断装置１は、確率の代わりに、類似性の程度を表す別の指標を計算しても良い。また、検索窓とは、例えば教師データと比較する検索範囲内の領域の単位であり、教師データとは、例えば特徴部位の標本となる画像情報であり、検索アルゴリズムとは、検索窓の画像情報と教師データとの類似度を算出するためのアルゴリズムである。教師データは、例えば、過去に取得された医用画像における特徴部位の画像情報、又は過去に取得された複数の医用画像それぞれにおける特徴部位の画像情報を基に機械学習を行った結果として得られた情報であっても良い。また、検索アルゴリズムは、例えば、機械学習による学習済みネットワークを用いて、処理対象の画像において特徴部位に相当する画像情報を検索し、検索結果を出力するアルゴリズムである。
In each CAD process, the ultrasonic
続いて、第１の実施形態に係る超音波診断装置１は、各ＣＡＤ処理結果を合成する。例えば、第１の実施形態に係る超音波診断装置１は、「Ｒｅｓｕｌｔ Ｎ－２」、「Ｒｅｓｕｌｔ Ｎ－１」、「Ｒｅｓｕｌｔ Ｎ」及び「Ｒｅｓｕｌｔ Ｎ＋１」を合成して、Ｎフレーム目の画像の検出結果とする。そして、第１の実施形態に係る超音波診断装置１は、例えば図２に示すように、Ｎフレーム目の検出結果をディスプレイ１０３に表示させる。図２の例では、第１の実施形態に係る超音波診断装置１は、特徴部位として検出された領域に矩形で示すマーカ情報を重畳してディスプレイ１０３に表示させる。
Subsequently, the ultrasonic
このような解析処理は、処理回路１８０が取得機能１８１、検索機能１８２、検索結果合成機能１８３、マーカ情報生成機能１８４及び表示制御機能１８５を実行することによって実現される。例えば、第１の実施形態に係る取得機能１８１は、複数の入力画像を取得する。言い換えると、取得機能１８１は、第１の画像と、第１の画像とは異なる第２の画像を取得する。
Such analysis processing is realized by the processing circuit 180 executing the acquisition function 181 and the search function 182, the search
第１の実施形態に係る検索機能１８２は、複数の入力画像に対して異なる検索処理を実行する。すなわち、検索機能１８２は、第１の画像を対象に第１の検索処理を実行することで、第１の画像における特徴部位を検索し、第２の画像を対象に、第１の検索処理とは異なる第２の検索処理を実行することで、第２の画像における特徴部位を検索する。ここで、検索機能１８２は、第１の検索処理と第２の検索処理とで異なるパラメータを設定する。より具体的には、検索機能１８２は、パラメータとして検索処理対象の画像内に複数の検索窓を設定し、各検索窓について特徴部位である確率を計算する。 The search function 182 according to the first embodiment executes different search processes for a plurality of input images. That is, the search function 182 searches for a feature portion in the first image by executing the first search process on the first image, and performs the first search process on the second image. Searches for a feature portion in the second image by executing a different second search process. Here, the search function 182 sets different parameters for the first search process and the second search process. More specifically, the search function 182 sets a plurality of search windows in the image to be searched as parameters, and calculates the probability of being a feature portion for each search window.
第１の実施形態に係る検索結果合成機能１８３は、検索機能１８２による各検索結果を合成する。第１の実施形態に係るマーカ情報生成機能１８４は、検索結果合成機能１８３による合成結果に基づいて、マーカ情報を生成する。第１の実施形態に係る表示制御機能１８５は、医用画像をディスプレイ１０３に表示させ、マーカ情報に基づくマーカを、医用画像上に表示させる。
The search
図３は、第１の実施形態に係る処理回路１８０による解析処理の手順を示すフローチャートである。図３では、処理回路１８０の動作を説明するフローチャートを示し、各構成要素がフローチャートのどのステップに対応するかを説明する。ステップＳ１及びステップＳ７は、取得機能１８１により実現されるステップである。ステップＳ１では、取得機能１８１は、画像を取得する。例えば、取得機能１８１は、リアルタイムで時系列に生成される超音波画像のうち最新の画像を画像メモリ１６０から取得する。
FIG. 3 is a flowchart showing a procedure of analysis processing by the processing circuit 180 according to the first embodiment. FIG. 3 shows a flowchart explaining the operation of the processing circuit 180, and describes which step of the flowchart each component corresponds to. Step S1 and step S7 are steps realized by the acquisition function 181. In step S1, the acquisition function 181 acquires an image. For example, the acquisition function 181 acquires the latest image of the ultrasonic images generated in time series in real time from the
ステップＳ２及びステップＳ３は、検索機能１８２により実現されるステップである。ステップＳ２では、検索機能１８２は、パラメータを設定する。ここで、検索機能１８２は、所定の時間間隔毎に異なるパラメータを設定する。図３に示す例では、検索機能１８２は、最新の画像を取得する毎に異なるパラメータを設定するものとして説明する。言い換えると、検索機能１８２は、１フレーム毎にパラメータを変更する。なお、検索機能１８２は、例えば５秒毎等、時間を区切ってパラメータを変更してもよい。 Step S2 and step S3 are steps realized by the search function 182. In step S2, the search function 182 sets the parameters. Here, the search function 182 sets different parameters at predetermined time intervals. In the example shown in FIG. 3, the search function 182 is described as setting different parameters each time the latest image is acquired. In other words, the search function 182 changes the parameters for each frame. The search function 182 may change the parameters by dividing the time, for example, every 5 seconds.
例えば、検索機能１８２は、パラメータとして検索処理対象の画像内に複数の検索窓を設定する。ここで、検索機能１８２は、第１の方法、第２の方法、又はそれらを組み合わせた方法で、画像内に複数の検索窓を設定する。図４、図５及び図６は、第１の実施形態を説明するための図である。 For example, the search function 182 sets a plurality of search windows in the image to be searched as a parameter. Here, the search function 182 sets a plurality of search windows in the image by the first method, the second method, or a method in which they are combined. 4, 5 and 6 are diagrams for explaining the first embodiment.
より具体的には、第１の方法では、検索機能１８２は、第１の検索処理と第２の検索処理とで異なる大きさの検索窓を設定する。図４では、１フレーム毎に設定する検索窓を変更してサイズの異なる３つの検索窓を、検索窓４ａ、検索窓４ｂ及び検索窓４ｃの順で設定する場合について説明する。
More specifically, in the first method, the search function 182 sets search windows having different sizes for the first search process and the second search process. FIG. 4 describes a case where the search window set for each frame is changed and three search windows having different sizes are set in the order of the
例えば、検索機能１８２は、Ｎ－１フレーム目の画像に対して、検索窓４ａを設定している場合、検索機能１８２は、Ｎフレーム目の画像に対して、検索窓４ｂを設定する。なお、検索機能１８２は、Ｎ＋１フレーム目の画像に対して、検索窓４ｃを設定する。
For example, when the search function 182 sets the
別の例を挙げると、第１の方法では、検索機能１８２は、第１の検索処理と第２の検索処理とで相対的な大きさが異なる検索窓を設定する。即ち、検索機能１８２は、第１の検索処理における検索窓の第１の画像に対する相対的な大きさと、第２の検索処理における検索窓の第２の画像に対する相対的な大きさとが異なるように、第１の検索処理と第２の検索処理との検索窓を設定する。図５では、１フレーム毎に画像のサイズを変更して、サイズが同じ３つの検索窓を、検索窓５ａ、検索窓５ｂ及び検索窓５ｃの順で設定する場合について説明する。
To give another example, in the first method, the search function 182 sets search windows having different relative sizes between the first search process and the second search process. That is, in the search function 182, the size of the search window relative to the first image in the first search process is different from the size of the search window relative to the second image in the second search process. , Set a search window for the first search process and the second search process. FIG. 5 describes a case where the size of the image is changed for each frame and three search windows having the same size are set in the order of the
例えば、検索機能１８２は、Ｎ－１フレーム目の画像に対して、検索窓５ａを設定する。また、検索機能１８２は、Ｎフレーム目の画像をＮ－１フレーム目の画像よりも拡大し、検索窓５ａと同じサイズの検索窓５ｂを、Ｎフレーム目の画像に対して設定する。また、検索機能１８２は、Ｎ＋１フレーム目の画像をＮフレーム目の画像よりも拡大し、検索窓５ａ及び検索窓５ｂと同じサイズの検索窓５ｃを、Ｎ＋１フレーム目の画像に対して設定する。
For example, the search function 182 sets the
また、第２の方法では、検索機能１８２は、第１の検索処理と第２の検索処理とで異なる位置に検索窓を設定する。図６では、１種類の大きさの検索窓を用いて、１フレーム毎に設定する検索窓の位置を変更する場合について説明する。なお、第２の方法では、検索機能１８２は、各フレームに同じサイズの検索窓を設定する。 Further, in the second method, the search function 182 sets the search window at different positions in the first search process and the second search process. FIG. 6 describes a case where the position of the search window set for each frame is changed by using the search windows of one type of size. In the second method, the search function 182 sets a search window of the same size in each frame.
例えば、検索機能１８２は、Ｎ－２フレーム目の画像に対して、検索範囲の左上を検索の開始位置として検索窓を設定し、検索範囲の右下を検索の終了位置として検索範囲内で検索窓を移動させる。より具体的には、検索機能１８２は、検索範囲において開始位置の左上から右側に検索窓を重畳させる。例えば、図６では、検索窓が半分重畳するように、検索窓を右側に移動させる場合を示している。なお、図６では、重畳している検索窓を破線で示している。そして、検索機能１８２は、右側まで検索窓を移動させた場合、下側に検索窓を移動させて、左側から右側まで検索窓を移動させる。このようにして、検索機能１８２は、検索範囲において検索窓を移動させることで、検索範囲全体に検索窓を設定する。 For example, the search function 182 sets a search window with the upper left of the search range as the search start position and the lower right of the search range as the search end position for the image in the N-2th frame, and searches within the search range. Move the window. More specifically, the search function 182 superimposes the search window from the upper left to the right of the start position in the search range. For example, FIG. 6 shows a case where the search window is moved to the right so that the search windows are half overlapped. In FIG. 6, the superimposed search windows are shown by broken lines. Then, when the search window is moved to the right side, the search function 182 moves the search window to the lower side and moves the search window from the left side to the right side. In this way, the search function 182 sets the search window in the entire search range by moving the search window in the search range.
また、例えば、検索機能１８２は、Ｎ－１フレーム目の画像に対して、検索範囲の左上から右下側にずらした位置を検索の開始位置として検索窓を設定し、検索範囲の右下から左上側にずらした位置を検索の終了位置として検索範囲内で検索窓を移動させる。そして、検索機能１８２は、Ｎ－１フレーム目の画像の検索範囲において開始位置から終了位置まで検索窓を移動させることで検索窓を設定する。このように、Ｎ－１フレーム目の検索窓の設定位置が、Ｎ－２フレーム目の検索窓の設定値からずれることになる。この結果、Ｎ－１フレーム目では、Ｎ－２フレーム目とは異なる領域に検索窓を設定することが可能になる。 Further, for example, the search function 182 sets a search window as a search start position at a position shifted from the upper left to the lower right side of the search range with respect to the image in the N-1th frame, and from the lower right of the search range. Move the search window within the search range with the position shifted to the upper left as the end position of the search. Then, the search function 182 sets the search window by moving the search window from the start position to the end position in the search range of the image in the N-1th frame. In this way, the set position of the search window in the N-1 frame deviates from the set value of the search window in the N-2 frame. As a result, in the N-1th frame, the search window can be set in an area different from that in the N-2th frame.
そして、例えば、検索機能１８２は、Ｎフレーム目の画像に対して、Ｎ－１フレーム目の画像の開始位置から更に右下側にずらした位置を検索の開始位置として検索窓を設定し、Ｎ－１フレーム目の画像の終了位置から更に左上側にずらした位置を検索の終了位置として、検索範囲内で検索窓を移動させる。そして、検索機能１８２は、Ｎフレーム目の画像の検索範囲において開始位置から終了位置まで検索窓を移動させることで検索窓を設定する。このように、Ｎフレーム目の検索窓の設定位置が、Ｎ－１フレーム目の検索窓の設定値からずれることになる。この結果、Ｎフレーム目では、Ｎ－１フレーム目とは異なる領域に検索窓を設定することが可能になる。 Then, for example, the search function 182 sets the search window as the search start position at a position shifted further to the lower right from the start position of the image in the N-1th frame with respect to the image in the Nth frame, and N -Move the search window within the search range with the position shifted further to the upper left from the end position of the image in the 1st frame as the end position of the search. Then, the search function 182 sets the search window by moving the search window from the start position to the end position in the search range of the image at the Nth frame. In this way, the set position of the search window in the Nth frame deviates from the set value of the search window in the N-1th frame. As a result, in the Nth frame, the search window can be set in an area different from that in the N-1th frame.
なお、図６に示す例では、１種類の大きさの検索窓を用いて、検索範囲において検索の開始位置と終了位置との組み合わせを変更する場合について説明したが、実施形態はこれに限定されるものではない。例えば、検索範囲において検索の開始位置及び終了位置のいずれかを変更するようにしてもよい。また、検索の開始位置及び終了位置のいずれかを変更することに加えて、更に、大きさの異なる検索窓を用いてもよい。 In the example shown in FIG. 6, a case where the combination of the search start position and the search end position is changed in the search range using a search window of one type has been described, but the embodiment is limited to this. It's not something. For example, either the start position or the end position of the search may be changed in the search range. Further, in addition to changing either the start position or the end position of the search, search windows having different sizes may be used.
ステップＳ３では、検索機能１８２は、ＣＡＤ検索を実行する。例えば、検索機能１８２は、入力装置１０２を介して、ＣＡＤ処理を実行する指示を操作者から受け付けた場合、ステップＳ２で設定された各検索窓について特徴部位である確率を計算する。ここで言う特徴部位とは、例えば、腫瘍等の異常（悪性）部位である。なお、特徴部位は、正常（良性）部位であってもよい。例えば、正常（良性）部位とは、肝臓の血管腫（良性）である。 In step S3, the search function 182 executes a CAD search. For example, when the search function 182 receives an instruction to execute the CAD process from the operator via the input device 102, the search function 182 calculates the probability of being a feature portion for each search window set in step S2. The characteristic site referred to here is, for example, an abnormal (malignant) site such as a tumor. The characteristic site may be a normal (benign) site. For example, a normal (benign) site is a hemangioma (benign) of the liver.
例えば、検索機能１８２は、検索窓が設定された画像に対して、教師データと検索アルゴリズムとを用いて、各検索窓が特徴部位である確率を計算する。そして、検索機能１８２は、特徴部位である確率が所定の閾値以上である場合に、検索窓で囲まれた範囲を特徴部位として検出する。検索機能１８２は、画像に対する検索結果を例えば記憶回路１７０に記憶させる。
For example, the search function 182 calculates the probability that each search window is a feature part by using the teacher data and the search algorithm for the image for which the search window is set. Then, the search function 182 detects the range surrounded by the search window as the feature portion when the probability of being the feature portion is equal to or greater than a predetermined threshold value. The search function 182 stores the search result for the image in, for example, the
ステップＳ４は、検索結果合成機能１８３により実現されるステップである。ステップＳ４では、検索結果合成機能１８３は、合成処理を実行する。例えば、検索結果合成機能１８３は、検索機能１８２による各検索結果を合成する。図７は、第１の実施形態に係る検索結果合成機能１８３による処理手順を示すフローチャートであり、図８は、第１の実施形態に係る検索結果合成機能１８３の処理動作を説明するための図である。
Step S4 is a step realized by the search
図７では、検索結果合成機能１８３の動作を説明するフローチャートを示す。ステップＳ１１では、検索結果合成機能１８３は、所定数の画像に対する検索結果を取得する。例えば、検索結果合成機能１８３は、図８に示すように、Ｎ－２フレーム目の画像に対する検索結果と、Ｎ－１フレーム目の画像に対する検索結果と、Ｎフレーム目の画像に対する検索結果とを記憶回路１７０から取得する。なお、図８では、サイズが異なる検索窓８ａと検索窓８ｂとを用いて検索した結果を示す。また、図８では、Ｎ－２フレーム目の画像、Ｎ－１フレーム目の画像及びＮフレーム目の画像の３フレームの画像を用いてＮフレーム目の検索結果を合成する場合について説明する。
FIG. 7 shows a flowchart illustrating the operation of the search
より具体的には、図８に示す例では、検索結果合成機能１８３は、Ｎ－２フレーム目の画像の検索窓８ａに特徴部位が検出されており、Ｎ－１フレーム目の画像の検索窓８ｂに特徴部位が検出されており、Ｎフレーム目の画像の検索窓８ａに特徴部位が検出されている検索結果を取得する。なお、図８に示す検索窓８ａに検出されている特徴部位Ｔは、正しく検出された特徴部位であり、検索窓８ｂに検出されている特徴部位は、誤って検出された過検出の特徴部位であるものとする。
More specifically, in the example shown in FIG. 8, the search
ステップＳ１２では、検索結果合成機能１８３は、ステップ１１において取得した全ての画像に共通の検索結果を抽出する。例えば、図８に示す例では、Ｎ－２フレーム目の検索結果とＮフレーム目の検索結果とに共通の検索結果である特徴部位Ｔが検出されている。しかしながら、図８に示す例では、Ｎ－１フレーム目の検索結果には、特徴部位Ｔが検出されていない。すなわち、図８に示す例では、３フレームに共通の検索結果が存在しない。かかる場合、検索結果合成機能１８３は、Ｎフレーム目の検索結果には特徴部位が検出されなかったことを示す合成処理の結果を得る。このように、検索結果合成機能１８３は、第１の画像における特徴部位と、第２の画像における特徴部位とで共通する特徴部位を合成結果とする。これにより、検索結果合成機能１８３は、過検出を軽減することが可能になる。
In step S12, the search
なお、図７に示すステップＳ１２において、検索結果合成機能１８３は、全ての検索結果を抽出してもよい。かかる場合、検索結果合成機能１８３は、図８に示す例では、Ｎフレーム目の検索結果として検索窓８ａに検出されている特徴部位Ｔと検索窓８ｂに検出されている特徴部位とを合成処理の結果とする。すなわち、検索結果合成機能１８３は、第１の画像における特徴部位と、第２の画像における特徴部位とを合成結果とする。
In step S12 shown in FIG. 7, the search
図３に戻る。ステップＳ５では、マーカ情報生成機能１８４は、マーカ情報を生成する。例えば、マーカ情報生成機能１８４は、検索結果合成機能１８３による合成結果に基づいて、マーカ情報を生成する。ここで、マーカ情報は、検索窓に応じた形状を有する。例えば、マーカ情報生成機能１８４は、検索窓と同一の形状を有するマーカ情報を生成する。より具体的には、マーカ情報生成機能１８４は、図４や図８に示す検索窓と同一形状のマーカ情報を生成する。
Return to FIG. In step S5, the marker information generation function 184 generates marker information. For example, the marker information generation function 184 generates marker information based on the synthesis result by the search
また、マーカ情報生成機能１８４は、特徴部位である確率に応じて色分けしたマーカ情報を生成する。例えば、マーカ情報生成機能１８４は、合成処理の結果、特徴部位である確率が８０％以上であると検出された検索窓には優先度を「高」として、例えば、赤色のマーカ情報を生成する。また、例えば、マーカ情報生成機能１８４は、合成処理の結果、特徴部位である確率が６０％以上８０％未満であると検出された検索窓には優先度を「中」として、例えば、黄色のマーカ情報を生成する。また、例えば、マーカ情報生成機能１８４は、合成処理の結果、特徴部位である確率が４０％以上６０％未満であると検出された検索窓には優先度を「低」として、例えば、青色のマーカ情報を生成する。 Further, the marker information generation function 184 generates color-coded marker information according to the probability of being a feature portion. For example, the marker information generation function 184 sets the priority to "high" in the search window detected as a result of the synthesis process and the probability of being a feature portion is 80% or more, and generates, for example, red marker information. .. Further, for example, the marker information generation function 184 sets the priority to "medium" for the search window detected as a result of the synthesis processing that the probability of being a feature portion is 60% or more and less than 80%, for example, yellow. Generate marker information. Further, for example, the marker information generation function 184 sets the priority to "low" for the search window detected as a result of the synthesis processing that the probability of being a feature portion is 40% or more and less than 60%, for example, blue. Generate marker information.
ステップＳ６では、表示制御機能１８５は、合成処理の結果をディスプレイ１０３に表示させる。例えば、表示制御機能１８５は、医用画像をディスプレイ１０３に表示させ、マーカ情報に基づくマーカを、医用画像上に表示させる。なお、医用画像は、図８に示したＮ－２フレーム目の画像、Ｎ－１フレーム目の画像又はＮフレーム目の画像であってもよいし、他の医用画像であってもよい。ここで、合成処理の結果、複数の特徴部位が得られる場合がある。このような場合、複数のマーカ情報が生成される。また、複数のマーカ情報が生成されると、マーカ情報が重なる場合がある。そこで、表示制御機能１８５は、重畳するマーカ情報の形状の外枠のみをディスプレイ１０３に表示させる。図９及び図１０は、第１の実施形態を説明するための図である。 In step S6, the display control function 185 causes the display 103 to display the result of the synthesis process. For example, the display control function 185 causes the medical image to be displayed on the display 103, and the marker based on the marker information is displayed on the medical image. The medical image may be the image of the N-2nd frame, the image of the N-1th frame, the image of the Nth frame shown in FIG. 8, or another medical image. Here, as a result of the synthesis process, a plurality of characteristic sites may be obtained. In such a case, a plurality of marker information is generated. Further, when a plurality of marker information is generated, the marker information may overlap. Therefore, the display control function 185 causes the display 103 to display only the outer frame in the shape of the marker information to be superimposed. 9 and 10 are diagrams for explaining the first embodiment.
図９では、優先度に応じた３種類のマーカ情報が生成されている場合を示す（図９の９ａ）。また、図９では、４つのマーカ情報が異なる優先度の組み合わせで９種類生成される場合を示す（図９の９ｂ～９ｊの矢印の左側）。図９に示すように、表示制御機能１８５は、１枚の画像において複数のマーカ情報が生成される場合、重畳するマーカ情報の形状の外枠のみをディスプレイ１０３に表示させる（図９の９ｂ～９ｊの矢印の右側）。ここで、表示制御機能１８５は、例えば、重畳するマーカ情報の形状の外枠のみを、確率が最も高い色で色分けして表示させる。
FIG. 9 shows a case where three types of marker information according to the priority are generated (9a in FIG. 9). Further, FIG. 9 shows a case where nine types of four marker information are generated by combining different priorities (left side of
より具体的には、表示制御機能１８５は、重畳するマーカ情報の形状の外枠のみを、優先度の最も高いマーカ情報で色分けする。一例をあげると、表示制御機能１８５は、４つのマーカ情報の中で１つでも優先度が「高」であるマーカ情報が含まれている場合、マーカ情報の形状の外枠を優先度が「高」である「赤色」で示す（図９の９ｂ、９ｃ、９ｄ、９ｇ、９ｊ）。また、表示制御機能１８５は、４つのマーカ情報の中で優先度の最も高いマーカ情報が「中」である場合、マーカ情報の形状の外枠を優先度が「中」である「黄色」で示す（図９の９ｅ、９ｆ、９ｉ）。また、表示制御機能１８５は、４つのマーカ情報の中で優先度の最も高いマーカ情報が「低」である場合、マーカ情報の形状の外枠を優先度が「低」である「青色」で示す（図９の９ｈ）。 More specifically, the display control function 185 color-codes only the outer frame of the shape of the superimposed marker information with the marker information having the highest priority. As an example, when the display control function 185 includes marker information having a priority of "high" among the four marker information, the priority is "" in the outer frame of the shape of the marker information. It is indicated by "red" which is "high" (9b, 9c, 9d, 9g, 9j in FIG. 9). Further, the display control function 185 sets the outer frame of the shape of the marker information to "yellow", which has a priority of "medium", when the marker information having the highest priority among the four marker information is "medium". It is shown (9e, 9f, 9i of FIG. 9). Further, when the marker information having the highest priority among the four marker information is "low", the display control function 185 sets the outer frame of the shape of the marker information to "blue" having the priority "low". It is shown (9h in FIG. 9).
このように、表示制御機能１８５は、各フレームに対する合成処理の結果をディスプレイ１０３に表示させる。すなわち、表示制御機能１８５は、複数の優先度が混在したマーカ情報を表示するのではなく、最も優先度が高いマーカ情報を選択して、マーカ情報の形状の外枠を表示する。このようにして、表示制御機能１８５は、煩雑さを抑えた合成処理の結果をディスプレイ１０３に表示させる。これにより、例えば、操作者は、特徴部位である確率に応じて色分けされた合成処理の結果を閲覧することが可能になる。この結果、操作者は、例えば、ＣＡＤ処理の結果を容易に把握することが可能になる。 In this way, the display control function 185 causes the display 103 to display the result of the compositing process for each frame. That is, the display control function 185 does not display the marker information in which a plurality of priorities are mixed, but selects the marker information having the highest priority and displays the outer frame in the shape of the marker information. In this way, the display control function 185 causes the display 103 to display the result of the synthesis process with less complexity. This allows, for example, the operator to view the results of the color-coded synthesis process according to the probability of being a featured portion. As a result, the operator can easily grasp the result of the CAD process, for example.
なお、マーカ情報生成機能１８４は、特徴部位である確率に応じた色分けをせずにマーカ情報を生成してもよい。かかる場合、表示制御機能１８５は、重畳するマーカ情報の形状の外枠のみを表示させる。また、表示制御機能１８５は、最も優先度が高いマーカ情報を選択せずに、複数の優先度が混在したマーカ情報を表示するようにしてもよい。 The marker information generation function 184 may generate marker information without color-coding according to the probability of being a feature portion. In such a case, the display control function 185 displays only the outer frame in the shape of the marker information to be superimposed. Further, the display control function 185 may display the marker information in which a plurality of priorities are mixed without selecting the marker information having the highest priority.
更に、表示制御機能１８５は、マーカ情報の数の計測値を更にディスプレイ１０３に表示させてもよい。図１０では、優先度が「高」であるマーカ情報が１５個、優先度が「中」であるマーカ情報が０個、優先度が「低」であるマーカ情報が０個表示されている場合を示す。かかる場合、表示制御機能１８５は、図１０に示すように、優先度が「高」であることを示すマーカ情報に対応付けて１５、優先度が「中」であることを示すマーカ情報に対応付けて０、優先度が「低」であることを示すマーカ情報に対応付けて０を表示させる。これにより、例えば、操作者は、特徴部位である確率に応じた特徴部位の数を容易に把握することが可能になる。 Further, the display control function 185 may further display the measured value of the number of marker information on the display 103. In FIG. 10, when 15 marker information having a priority of “high”, 0 marker information having a priority of “medium”, and 0 marker information having a priority of “low” are displayed. Is shown. In such a case, as shown in FIG. 10, the display control function 185 corresponds to the marker information indicating that the priority is “high” 15 and corresponds to the marker information indicating that the priority is “medium”. Add 0, and display 0 in association with the marker information indicating that the priority is "low". As a result, for example, the operator can easily grasp the number of feature parts according to the probability of being a feature part.
図３に戻る。ステップＳ７では、取得機能１８１は、終了を受け付けたか否かを判定する。ここで、取得機能１８１は、終了を受け付けたと判定しなかった場合（ステップＳ７、Ｎｏ）、ステップＳ１に移行して画像を取得する。一方、取得機能１８１は、終了を受け付けたと判定した場合（ステップＳ７、Ｙｅｓ）、処理を終了する。 Return to FIG. In step S7, the acquisition function 181 determines whether or not the end has been accepted. Here, when the acquisition function 181 does not determine that the end has been accepted (step S7, No), the acquisition function 181 proceeds to step S1 to acquire an image. On the other hand, when it is determined that the acquisition function 181 has accepted the end (step S7, Yes), the acquisition function 181 ends the process.
このように、第１の実施形態に係る超音波診断装置１では、第１の画像を対象に第１の検索処理を実行することで、第１の画像における特徴部位を検索し、第２の画像を対象に、第１の検索処理とは異なる第２の検索処理を実行することで、第２の画像における特徴部位を検索する。そして、第１の実施形態に係る超音波診断装置１では、各検索結果を合成する。すなわち、第１の実施形態に係る超音波診断装置１は、ＣＡＤ処理を複数の入力画像に分散させ、各画像での結果を合成して、１枚の画像の最終的な検出結果として表示する。これにより、第１の実施形態に係る超音波診断装置１は、ＣＡＤ処理の性能を維持しながら、画像１枚あたりの計算量を抑えることができる。この結果、第１の実施形態に係る超音波診断装置１によれば、超音波走査時にリアルタイム性を保ちながらＣＡＤ処理を施すことができる。このようにして、第１の実施形態に係る超音波診断装置１は、診断効率を向上させることができる。
As described above, in the ultrasonic
（第１の実施形態の第１の変形例）
なお、上述した第１の実施形態では、検索結果合成機能１８３は、第１の画像における特徴部位と、第２の画像における特徴部位とで共通する特徴部位を合成結果とする場合について説明した。しかしながら、検索結果合成機能１８３による合成処理は、これに限定されるものではない。例えば、検索結果合成機能１８３は、第１の画像における特徴部位を、第２の画像にコピーするようにしてもよい。図１１は、第１の実施形態の第１の変形例に係る検索結果合成機能１８３による処理手順を示すフローチャートであり、図１２及び図１３は、第１の実施形態の第１の変形例に係る検索結果合成機能１８３の処理動作を説明するための図である。
(First modification of the first embodiment)
In the first embodiment described above, the case where the search
図１１では、検索結果合成機能１８３の動作を説明するフローチャートを示す。ステップＳ２１では、検索結果合成機能１８３は、所定数の画像に対する検索結果を取得する。例えば、検索結果合成機能１８３は、図１２に示すように、Ｎ－２フレーム目の画像に対する検索結果と、Ｎ－１フレーム目の画像に対する検索結果と、Ｎフレーム目の画像に対する検索結果とを記憶回路１７０から取得する。なお、図１２では、サイズが異なる検索窓１２ａと検索窓１２ｂとを用いて検索した結果を示す。また、図１２では、Ｎ－２フレーム目の画像、Ｎ－１フレーム目の画像及びＮフレーム目の画像の３フレームの画像を用いてＮフレーム目の検索結果を合成する場合について説明する。
FIG. 11 shows a flowchart illustrating the operation of the search
より具体的には、図１２に示す例では、検索結果合成機能１８３は、Ｎ－２フレーム目の画像の検索窓１２ａに特徴部位が検出されており、Ｎ－１フレーム目の画像の検索窓１２ｂに特徴部位が検出されており、Ｎフレーム目の画像の検索窓１２ａに特徴部位が検出されている検索結果を取得する。なお、図１２に示す検索窓１２ａに検出されている特徴部位Ｔは、正しく検出された特徴部位であり、検索窓１２ｂに検出されている特徴部位は、誤って検出された過検出の特徴部位であるものとする。
More specifically, in the example shown in FIG. 12, the search
ステップＳ２２では、検索結果合成機能１８３は、画像間で検索結果をコピーする。図１２に示す例では、１フレーム前の検索結果をコピーする場合について説明する。例えば、検索結果合成機能１８３は、Ｎ－２フレーム目の画像の検索窓１２ａにおける検索結果をＮ－１フレーム目の画像にコピーする。また、例えば、検索結果合成機能１８３は、Ｎ－１フレーム目の画像の検索窓１２ｂにおける検索結果をＮフレーム目の画像にコピーする。
In step S22, the search
ステップＳ２３では、検索結果合成機能１８３は、全ての画像に共通の検索結果を抽出する。例えば、図１３に示す例では、Ｎ－２フレーム目の検索結果とＮ－１フレーム目の検索結果とＮフレーム目の検索結果とに共通の検索結果である特徴部位Ｔが検出されている。かかる場合、検索結果合成機能１８３は、Ｎフレーム目の検索結果には特徴部位Ｔが検出されたことを示す合成処理の結果を得る。このように、検索結果合成機能１８３は、第１の画像における特徴部位を、第２の画像にコピーし、第１の画像における特徴部位と、第２の画像における特徴部位とで共通する特徴部位を合成結果とする。
In step S23, the search
このようにして第１の実施形態の第１の変形例では、第１の画像における特徴部位を、第２の画像にコピーし、第１の画像における特徴部位と、第２の画像における特徴部位とで共通する特徴部位を合成結果とする。これにより、第１の実施形態の第１の変形例によれば、過検出を低減できるとともに、特徴部位の見逃しを低減することが可能になる。 In this way, in the first modification of the first embodiment, the feature portion in the first image is copied to the second image, and the feature portion in the first image and the feature portion in the second image are copied. The characteristic sites common to and are used as the synthesis result. As a result, according to the first modification of the first embodiment, it is possible to reduce over-detection and reduce oversight of featured portions.
なお、検索結果合成機能１８３は、複数フレーム前又は１枚以上後のフレームの検索結果をコピーしてもよいし、複数のフレームに対して検索結果をコピーしてもよい。例えば、検索結果合成機能１８３は、２フレーム前の検索結果をコピーしてもよいし、Ｎ－２フレーム目の検索結果をＮ－１フレーム目とＮフレーム目とにコピーしてもよい。
The search
（第１の実施形態の第２の変形例）
また、例えば、検索結果合成機能１８３は、第１の画像における特徴部位である確率と、第２の画像における特徴部位である確率との統計値が所定の閾値以上である特徴部位を合成結果とするようにしてもよい。図１４は、第１の実施形態の第２の変形例に係る検索結果合成機能１８３による処理手順を示すフローチャートであり、図１５は、第１の実施形態の第２の変形例に係る検索結果合成機能１８３の処理動作を説明するための図である。
(Second variant of the first embodiment)
Further, for example, the search
図１４では、検索結果合成機能１８３の動作を説明するフローチャートを示す。ステップＳ３１では、検索結果合成機能１８３は、所定数の画像に対する検索結果を取得する。例えば、検索結果合成機能１８３は、図１５に示すように、Ｎ－２フレーム目の画像に対する検索結果と、Ｎ－１フレーム目の画像に対する検索結果と、Ｎフレーム目の画像に対する検索結果と、Ｎ＋１フレーム目の画像に対する検索結果とを記憶回路１７０から取得する。なお、図１５では、サイズが異なる検索窓１５ａと検索窓１５ｂとを用いて検索した結果を示す。また、図１５では、Ｎ－２フレーム目の画像、Ｎ－１フレーム目の画像、Ｎフレーム目の画像及びＮ＋１フレーム目の画像の４フレームの画像を用いてＮフレーム目の検索結果を合成する場合について説明する。
FIG. 14 shows a flowchart illustrating the operation of the search
ステップＳ３２では、検索結果合成機能１８３は、同一サイズの検索窓で検索窓内の画像情報が特徴部位に相当する情報である確率の平均値を算出する。例えば、検索結果合成機能１８３は、図１５に示すように、Ｎ－２フレーム目の画像の検索窓１５ａに特徴部位が検出されており、Ｎ－１フレーム目の画像の検索窓１５ｂに特徴部位が検出されており、Ｎフレーム目の画像の検索窓１５ａに特徴部位が検出されており、Ｎ＋１フレーム目の画像では何も検出されていない検索結果を取得する。なお、図１５に示す検索窓１５ａに検出されている特徴部位Ｔは、正しく検出された特徴部位であり、検索窓１５ｂに検出されている特徴部位は、誤って検出された過検出の特徴部位であるものとする。また、Ｎ＋１フレーム目の検索窓１５ｂは、Ｎ－１フレーム目の検出箇所に相当する位置を示している。
In step S32, the search
そして、検索結果合成機能１８３は、Ｎ－２フレーム目の画像の検索窓１５ａにおける特徴部位である確率と、Ｎフレーム目の画像の検索窓１５ａにおける特徴部位である確率との平均値を算出する。また、例えば、検索結果合成機能１８３は、図１５に示すように、Ｎ－１フレーム目の画像の検索窓１５ｂにおける特徴部位である確率と、Ｎ＋１フレーム目の画像の中でＮ－１フレーム目の画像で特徴部位が検出された箇所に該当する位置の検索窓１５ｂにおける特徴部位である確率との平均値を算出する。なお、検索結果合成機能１８３は、統計値として平均値を算出する場合について説明したが、実施形態はこれに限定されるものではない。例えば、検索結果合成機能１８３は、統計値として分散値を算出してもよい。
Then, the search
ステップＳ３３では、検索結果合成機能１８３は、ステップＳ３２で算出した平均値が閾値以上であるか否かを判定する。ここで、検索結果合成機能１８３は、平均値が閾値以上であると判定した場合（ステップＳ３３、Ｙｅｓ）、検索窓により検索された特徴部位を検索結果として抽出する（ステップＳ３４）。一方、検索結果合成機能１８３は、平均値が閾値以上であると判定しなかった場合（ステップＳ３３、Ｎｏ）、検索窓により検索された特徴部位を検索結果として抽出しない（ステップＳ３５）。
In step S33, the search
より具体的には、図１５に示す例では、検索結果合成機能１８３は、Ｎ－２フレーム目の画像の検索窓１５ａにおける特徴部位である確率と、Ｎフレーム目の画像の検索窓１５ａにおける特徴部位である確率との平均値が閾値以上であると判定する。そして、検索結果合成機能１８３は、Ｎフレームの合成結果として検索窓１５ａにおける特徴部位を抽出する。また、図１５に示す例では、検索結果合成機能１８３は、Ｎ－１フレーム目の画像の検索窓１５ｂにおける特徴部位である確率と、Ｎ＋１フレーム目の画像の検索窓１５ｂにおける特徴部位である確率との平均値が閾値未満であると判定する。そして、検索結果合成機能１８３は、Ｎフレームの合成結果として検索窓１５ｂにおける特徴部位を抽出しない。
More specifically, in the example shown in FIG. 15, the search
検索結果合成機能１８３は、ステップＳ３４又はステップＳ３５に続いて、全てのサイズの検索窓について判定したか否かを判定する（ステップＳ３６）。ここで、検索結果合成機能１８３は、全てのサイズの検索窓について判定したと判定しなかった場合（ステップＳ３６、Ｎｏ）、ステップＳ３２に移行する。一方、検索結果合成機能１８３は、全てのサイズの検索窓について判定したと判定した場合（ステップＳ３６、Ｙｅｓ）、処理を終了する。
Following step S34 or step S35, the search
このようにして、第１の実施形態に係る第２の変形例では、第１の画像における特徴部位である確率と、第２の画像における特徴部位である確率との統計値が所定の閾値以上である特徴部位を合成結果とする。これにより、第１の実施形態に係る第２の変形例によれば、過検出をより正確に低減できるとともに、特徴部位をより正確に検出することが可能になる。 In this way, in the second modification according to the first embodiment, the statistical values of the probability of being a feature part in the first image and the probability of being a feature part in the second image are equal to or greater than a predetermined threshold value. The characteristic site is the synthetic result. As a result, according to the second modification according to the first embodiment, over-detection can be reduced more accurately and the feature portion can be detected more accurately.
（第１の実施形態の第３の変形例）
上述した実施形態では、第１の画像における特徴部位と、第２の画像における特徴部位とで共通する特徴部位を合成結果とする場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、検索結果合成機能１８３は、第１の画像における特徴部位と、第２の画像における特徴部位とで少なくとも一部が共通する場合に、各特徴部位が占める部位を合成結果とすることとしてもよい。
(Third variant of the first embodiment)
In the above-described embodiment, the case where the feature portion common to the feature portion in the first image and the feature portion in the second image is used as the synthesis result has been described. However, the embodiment is not limited to this. For example, the search
図１６は、第１の実施形態の第３の変形例に係る検索結果合成機能１８３の処理動作を説明するための図である。図１６は、検索機能１８２により、各フレームの画像に対して異なる位置に同じ大きさの検索窓を設定して、検索が行われた結果を示す。例えば、検索結果合成機能１８３は、まず、Ｎ－２フレーム目の画像に対する検索結果と、Ｎ－１フレーム目の画像に対する検索結果と、Ｎフレーム目の画像に対する検索結果とを記憶回路１７０から取得する。
FIG. 16 is a diagram for explaining the processing operation of the search
ここで、図１６に斜線に示すように、Ｎ－２フレーム目の画像における特徴部位と、Ｎ－１フレーム目の画像における特徴部位と、Ｎフレーム目の画像における特徴部位とが、一部共通するように抽出される場合がある。かかる場合、検索結果合成機能１８３は、各フレームにおける特徴部位が占める部位を合成結果とする。即ち、検索結果合成機能１８３は、Ｎフレームの合成結果として、Ｎ－２フレーム目の画像における特徴部位と、Ｎ－１フレーム目の画像における特徴部位と、Ｎフレーム目の画像における特徴部位とを抽出する。更に、マーカ情報生成機能１８４は、検索結果合成機能１８３による合成結果に基づいて、マーカ情報を生成する。
Here, as shown by diagonal lines in FIG. 16, the feature portion in the image of the N-2nd frame, the feature portion in the image of the N-1th frame, and the feature portion in the image of the Nth frame are partially common. It may be extracted to do so. In such a case, the search
そして、表示制御機能１８５は、マーカ情報に基づくマーカを医用画像上に表示させる。例えば、図１６の合成結果に基づいてマーカ情報が生成された場合、表示制御機能１８５は、図１７に示すように、重畳するマーカ情報の形状の外枠のみをディスプレイ１０３に表示させる。なお、図１７は、第１の実施形態の第３の変形例に係る表示制御機能１８５の処理動作を説明するための図である。 Then, the display control function 185 displays a marker based on the marker information on the medical image. For example, when the marker information is generated based on the synthesis result of FIG. 16, the display control function 185 causes the display 103 to display only the outer frame of the shape of the superimposed marker information as shown in FIG. Note that FIG. 17 is a diagram for explaining the processing operation of the display control function 185 according to the third modification of the first embodiment.
これに対して、図１８や図１９に示すように、Ｎ－２フレーム目の画像における特徴部位と、Ｎ－１フレーム目の画像における特徴部位と、Ｎフレーム目の画像における特徴部位とが、共通部分を有さない場合がある。この場合、検索結果合成機能１８３は、Ｎフレームの合成結果として、Ｎ－２フレーム目の画像における特徴部位と、Ｎ－１フレーム目の画像における特徴部位と、Ｎフレーム目の画像における特徴部位とを抽出しない。従って、第１の実施形態に係る第３の変形例によれば、第１の検索処理と第２の検索処理とで異なる位置に検索窓が設定された場合においても過検出を低減できるとともに、特徴部位の見逃しを低減することが可能になる。なお、図１８及び図１９は、第１の実施形態の第３の変形例に係る検索結果合成機能１８３の処理動作を説明するための図である。
On the other hand, as shown in FIGS. 18 and 19, the feature portion in the image of the N-2nd frame, the feature portion in the image of the N-1th frame, and the feature portion in the image of the Nth frame are It may not have a common part. In this case, the search
更に、検索結果合成機能１８３は、第１の画像における特徴部位を第２の画像にコピーした上で、第１の画像における特徴部位と第２の画像における特徴部位とで少なくとも一部が共通する場合に、各特徴部位が占める部位を合成結果としてもよい。例えば、検索結果合成機能１８３は、図１８において、Ｎ－２フレーム目の画像における特徴部位をＮ－１フレーム目の画像にコピーする。かかる場合、検索結果合成機能１８３は、Ｎ－２フレーム目の画像における特徴部位と、Ｎ－１フレーム目の画像における特徴部位と、Ｎフレーム目の画像における特徴部位とが共通部分を有するものとして、各フレームにおける特徴部位が占める部位を合成結果とする。即ち、検索結果合成機能１８３は、Ｎフレームの合成結果として、Ｎ－２フレーム目の画像における特徴部位と、Ｎ－２フレーム目の画像からＮ－１フレーム目の画像にコピーされた特徴部位と、Ｎ－１フレーム目の画像における特徴部位と、Ｎフレーム目の画像における特徴部位とを抽出する。
Further, the search
一方で、図１９において、Ｎ－２フレーム目の画像における特徴部位をＮ－１フレーム目の画像にコピーする場合、各フレームの特徴部位は共通部分を有さない。この場合、検索結果合成機能１８３は、各フレームにおける特徴部位を合成結果として抽出しない。従って、第１の実施形態に係る第３の変形例によれば、第１の検索処理と第２の検索処理とで異なる位置に検索窓が設定された場合において、過検出を低減しつつも、特徴部位の見逃しをより低減することが可能になる。
On the other hand, in FIG. 19, when the feature portion in the image of the N-2nd frame is copied to the image of the N-1th frame, the feature portion of each frame has no common portion. In this case, the search
なお、図１６、図１８及び図１９においては、各フレームの画像に対して同じ大きさの検索窓が設定された場合の検索結果を示したが、実施形態はこれに限定されるものではない。例えば、検索結果合成機能１８３は、第１の画像及び第２の画像に対して異なる大きさの検索窓が設定された場合の検索結果を取得し、第１の画像における特徴部位と第２の画像における特徴部位とで少なくとも一部が共通する特徴部位を合成結果としてもよい。
Note that, in FIGS. 16, 18, and 19, search results are shown when search windows of the same size are set for the images of each frame, but the embodiment is not limited to this. .. For example, the search
また、検索結果合成機能１８３は、共通部分の面積に応じて、第１の画像における特徴部位と第２の画像における特徴部位とで少なくとも一部が共通する場合に、各特徴部位が占める部位を合成結果とするか否かを判定してもよい。例えば、図１６において、検索結果合成機能１８３は、Ｎフレーム目の画像に対して設定された検索窓の面積と、共通部分の面積との比を算出する。そして、検索結果合成機能１８３は、算出した比が閾値を超える場合に、Ｎフレームの合成結果として、Ｎ－２フレーム目の画像における特徴部位と、Ｎ－１フレーム目の画像における特徴部位と、Ｎフレーム目の画像における特徴部位とを抽出する。
Further, the search
（第１の実施形態の第４の変形例）
上述した実施形態では、表示制御機能１８５は、各フレームに対する合成処理の結果をディスプレイ１０３に表示させる場合について説明したが、実施形態はこれに限定されるものではない。例えば、表示制御機能１８５は、連続するフレーム間での合成処理の結果を考慮して、各フレームに対する合成処理の結果をディスプレイ１０３に表示させてもよい。言い換えると、表示制御機能１８５は、マーカ情報のうち、複数フレームに連続するマーカ情報のみをディスプレイ１０３に表示させる。図２０は、第１の実施形態の第４の変形例に係る表示制御機能１８５の処理動作を説明するための図である。
(Fourth variant of the first embodiment)
In the above-described embodiment, the display control function 185 has described the case where the result of the composition processing for each frame is displayed on the display 103, but the embodiment is not limited to this. For example, the display control function 185 may display the result of the composition processing for each frame on the display 103 in consideration of the result of the composition processing between consecutive frames. In other words, the display control function 185 causes the display 103 to display only the marker information that is continuous in a plurality of frames among the marker information. FIG. 20 is a diagram for explaining the processing operation of the display control function 185 according to the fourth modification of the first embodiment.
図２０では、優先度に応じた３種類のマーカ情報が生成されている場合を示す（図２０の２０ａ）。また、図２０では、Ｎ－２フレーム目の画像の合成結果と、Ｎ－１フレーム目の画像の合成結果と、Ｎフレーム目の画像の合成結果とを示す。図２０に示す例では、表示制御機能１８５は、３フレームに連続するマーカ情報のみをディスプレイ１０３に表示させる。すなわち、表示制御機能１８５は、Ｎ－２フレーム目の画像の合成結果と、Ｎ－１フレーム目の画像の合成結果と、Ｎフレーム目の画像の合成結果とを考慮して、Ｎフレーム目に対する合成処理の結果をディスプレイ１０３に表示させる。 FIG. 20 shows a case where three types of marker information according to the priority are generated (20a in FIG. 20). Further, FIG. 20 shows a composition result of the image of the N-2nd frame, a composition result of the image of the N-1th frame, and a composition result of the image of the Nth frame. In the example shown in FIG. 20, the display control function 185 causes the display 103 to display only the marker information continuous in three frames. That is, the display control function 185 considers the composite result of the image of the N-2nd frame, the composite result of the image of the N-1th frame, and the composite result of the image of the Nth frame with respect to the Nth frame. The result of the synthesis process is displayed on the display 103.
より具体的には、図２０に示すように、表示制御機能１８５は、連続する３フレームのいずれかにマーカ情報が生成されていないフレームが存在する場合、Ｎフレーム目に対する合成処理の結果として、マーカ情報を表示しないようにする（図２０の２０ｄ、２０ｇ、２０ｊ）。 More specifically, as shown in FIG. 20, when the display control function 185 has a frame in which the marker information is not generated in any of the three consecutive frames, the display control function 185 determines the result of the synthesis process for the Nth frame. The marker information is not displayed (20d, 20g, 20j in FIG. 20).
また、表示制御機能１８５は、連続する３フレームにマーカ情報が生成されている場合、Ｎフレーム目に対する合成処理の結果として、優先度の最も高いマーカ情報で色分けする。一例をあげると、表示制御機能１８５は、３フレームのマーカ情報の中で１つでも優先度が「高」であるマーカ情報が含まれている場合、マーカ情報の形状の外枠を優先度が「高」である「赤色」で示す（図２０の２０ｂ、２０ｃ）。また、表示制御機能１８５は、３フレームのマーカ情報の中で優先度の最も高いマーカ情報が「中」である場合、マーカ情報の形状の外枠を優先度が「中」である「黄色」で示す（図２０の２０ｅ、２０ｆ、２０ｉ）。また、表示制御機能１８５は、３フレームのマーカ情報の中で優先度の最も高いマーカ情報が「低」である場合、マーカ情報の形状の外枠を優先度が「低」である「青色」で示す（図２０の２０ｈ）。 Further, when the marker information is generated in three consecutive frames, the display control function 185 color-codes the marker information having the highest priority as a result of the synthesis processing for the Nth frame. As an example, when the display control function 185 includes marker information having a priority of "high" in the marker information of three frames, the priority is set to the outer frame of the shape of the marker information. It is indicated by "red" which is "high" (20b, 20c in FIG. 20). Further, the display control function 185 sets the outer frame of the shape of the marker information to "yellow", which has a priority of "medium", when the marker information having the highest priority among the marker information of three frames is "medium". (20e, 20f, 20i in FIG. 20). Further, in the display control function 185, when the marker information having the highest priority among the marker information of 3 frames is "low", the outer frame of the shape of the marker information is "blue" having a priority of "low". (20h in FIG. 20).
このようにして、第１の実施形態に係る第４の変形例では、連続するフレーム間での合成処理の結果を考慮して、各フレームに対する合成処理の結果をディスプレイ１０３に表示させる。これにより、複数のフレームに渡って検出された特徴部位を優先的にディスプレイ１０３に表示させ、さらに特徴部位である確率に応じて色分けされた合成処理の結果を閲覧することが可能になる。 In this way, in the fourth modification according to the first embodiment, the result of the compositing process for each frame is displayed on the display 103 in consideration of the result of the compositing process between consecutive frames. As a result, the feature portions detected over a plurality of frames can be preferentially displayed on the display 103, and the result of the synthesis process color-coded according to the probability of being the feature portions can be viewed.
（第１の実施形態の第５の変形例）
上述した実施形態では、表示制御機能１８５は、検索処理の対象とした医用画像上に、検索結果の合成処理の結果を表示させる場合について説明した。しかしながら、実施形態はこれに限定されるものではない。即ち、表示制御機能１８５は、検索処理の対象とした医用画像以外の他の医用画像上に、検索結果の合成処理の結果を表示させてもよい。例えば、マーカ情報生成機能１８４は、検索結果の合成処理の結果に基づいてマーカ情報を生成し、表示制御機能１８５は、マーカ情報に基づくマーカを、第１の画像及び第２の画像と画質が異なる医用画像上に表示させる。
(Fifth modification of the first embodiment)
In the above-described embodiment, the case where the display control function 185 displays the result of the synthesis processing of the search results on the medical image targeted for the search processing has been described. However, the embodiment is not limited to this. That is, the display control function 185 may display the result of the composition processing of the search result on the medical image other than the medical image targeted for the search processing. For example, the marker information generation function 184 generates marker information based on the result of the synthesis processing of the search results, and the display control function 185 uses the marker based on the marker information to obtain the image quality of the first image and the second image. Display on different medical images.
例えば、検索機能１８２は、図２１に示すように、ＳＣデータに基づく画像データＩ１を取得する。ここで、ＳＣデータとは、例えば、画像生成回路１５０により生成されたＢモード画像データである。画像データＩ１は、Ｂモード画像データそのものであってもよいし、Ｂモード画像データに対する画像処理後のデータであってもよい。次に、検索機能１８２は、図２１に示すように、画像データＩ１に対して検索処理（ＣＡＤ処理）を実行する。即ち、検索機能１８２は、画像データＩ１のうちの第１の画像に対して第１の検索処理を実行し、画像データＩ１のうちの第２の画像に対して第２の検索処理を実行する。なお、図２１は、第１の実施形態の第５の変形例に係る表示制御機能１８５の処理動作を説明するための図である。 For example, the search function 182 acquires image data I1 based on SC data, as shown in FIG. Here, the SC data is, for example, B-mode image data generated by the image generation circuit 150. The image data I1 may be the B-mode image data itself, or may be the data after image processing on the B-mode image data. Next, as shown in FIG. 21, the search function 182 executes a search process (CAD process) on the image data I1. That is, the search function 182 executes the first search process on the first image in the image data I1 and executes the second search process on the second image in the image data I1. .. Note that FIG. 21 is a diagram for explaining the processing operation of the display control function 185 according to the fifth modification of the first embodiment.
例えば、画像生成回路１５０は、検索処理の精度を向上するようにＢモード画像データに対して画像処理を行うことにより、画像データＩ１を生成する。具体的には、画像生成回路１５０は、教師データを生成する際に用いられた医用画像と同程度の画質となるように、Ｂモード画像データに対して、移動平均（平滑化）フィルタやガウシアンフィルタ、メディアンフィルタ、バンドパスフィルタ等の画像処理を行って、画像データＩ１を生成する。 For example, the image generation circuit 150 generates image data I1 by performing image processing on the B-mode image data so as to improve the accuracy of the search processing. Specifically, the image generation circuit 150 uses a moving average (smoothing) filter or Gaussian for the B-mode image data so that the image quality is similar to that of the medical image used when generating the teacher data. Image processing such as a filter, a median filter, and a band pass filter is performed to generate image data I1.
即ち、教師データを生成するための機械学習においては、まず、多数の医用画像における特徴部位の画像情報が、学習用データとして収集される。ここで、種々の画質の医用画像における特徴部位の画像情報を学習用データとして機械学習を行うことも考えられるが、種々の画質の医用画像をそれぞれ多数収集することは困難であるし、比較的多数収集される画質の医用画像によって、学習用データが偏るおそれもある。従って、通常、同程度の画質となるように画像処理が施された医用画像における特徴部位の画像情報を学習用データとして、機械学習が行われる。そして、画像生成回路１５０は、機械学習に用いられた医用画像と同程度の画質となるように画像データＩ１を生成することで、検索機能１８２による検索処理の精度を向上させることができる。 That is, in machine learning for generating teacher data, first, image information of a feature portion in a large number of medical images is collected as learning data. Here, it is conceivable to perform machine learning using the image information of the feature portion in the medical image of various image quality as learning data, but it is difficult to collect a large number of medical images of various image quality, and it is relatively relatively. The learning data may be biased due to the large number of collected medical images. Therefore, usually, machine learning is performed using the image information of the feature portion in the medical image that has been image-processed so as to have the same image quality as the learning data. Then, the image generation circuit 150 can improve the accuracy of the search process by the search function 182 by generating the image data I1 so that the image quality is similar to that of the medical image used for machine learning.
しかしながら、画像データＩ１が、操作者にとって観察しやすい画質となっているとは限らない。そこで、表示制御機能１８５は、検索処理（ＣＡＤ処理）の対象である画像データＩ１と画質が異なる画像データＩ２上に、検索結果の合成処理の結果を表示させる。 However, the image data I1 does not always have an image quality that is easy for the operator to observe. Therefore, the display control function 185 displays the result of the composition processing of the search results on the image data I2 whose image quality is different from that of the image data I1 which is the target of the search processing (CAD processing).
例えば、操作者は、入力装置１０２を介して、自らが観察をしやすくなるよう任意の画像処理を選択する。次に、画像生成回路１５０は、選択された画像処理をＢモード画像データに対して施すことにより、画像データＩ２を生成する。また、画像生成回路１５０は、選択された画像処理と異なる画像処理をＢモード画像データに対して施すことにより、画像データＩ１を生成する。例えば、画像生成回路１５０は、機械学習に用いられた医用画像と同程度の画質となるように、Ｂモード画像データに対して画像処理を行うことにより、画像データＩ１を生成する。 For example, the operator selects arbitrary image processing via the input device 102 so that he / she can easily observe the image. Next, the image generation circuit 150 generates the image data I2 by performing the selected image processing on the B mode image data. Further, the image generation circuit 150 generates image data I1 by performing image processing different from the selected image processing on the B mode image data. For example, the image generation circuit 150 generates image data I1 by performing image processing on the B-mode image data so that the image quality is similar to that of the medical image used for machine learning.
なお、異なる画像処理により画像データＩ１及び画像データＩ２を生成する場合について説明したが、実施形態はこれに限定されるものではない。例えば、画像生成回路１５０は、Ｂモード画像データに対して画像処理を施すことにより画像データＩ１及び画像データＩ２のいずれか一方を生成し、画像処理を施していない状態のＢモード画像データを他方の画像データとしてもよい。また、例えば、画像生成回路１５０は、画像データＩ１としてＢモード画像データを生成し、画像データＩ２としてＢモード画像データとドプラ画像データとの重畳画像を生成してもよい。 Although the case where the image data I1 and the image data I2 are generated by different image processing has been described, the embodiment is not limited to this. For example, the image generation circuit 150 generates either image data I1 or image data I2 by performing image processing on the B-mode image data, and generates the B-mode image data in a state where the image processing is not performed on the other. It may be used as the image data of. Further, for example, the image generation circuit 150 may generate B-mode image data as image data I1 and generate a superimposed image of B-mode image data and Doppler image data as image data I2.
そして、表示制御機能１８５は、画像データＩ１と画質が異なる画像データＩ２上に、検索結果の合成処理の結果を表示させる。例えば、マーカ情報生成機能１８４は、検索結果の合成処理の結果に基づいてマーカ情報を生成する。そして、表示制御機能１８５は、図２１に示すように、マーカ情報に基づくマーカを画像データＩ１と画質が異なる画像データＩ２に重畳した画像データＩ３を、ディスプレイ１０３に表示させる。 Then, the display control function 185 displays the result of the synthesis processing of the search results on the image data I2 whose image quality is different from that of the image data I1. For example, the marker information generation function 184 generates marker information based on the result of the synthesis processing of the search results. Then, as shown in FIG. 21, the display control function 185 causes the display 103 to display the image data I3 in which the marker based on the marker information is superimposed on the image data I2 whose image quality is different from that of the image data I1.
なお、機械学習に用いられる医用画像は、超音波画像データに限られるものではなく、超音波診断装置以外の他の医用画像診断装置により収集された医用画像（Ｘ線ＣＴ画像、Ｘ線画像、ＭＲＩ画像など）であってもよい。例えば、Ｘ線ＣＴ画像における特徴部位の画像情報を学習用データとして機械学習を行うことにより、教師データが生成されてもよい。 The medical images used for machine learning are not limited to ultrasonic image data, and medical images (X-ray CT image, X-ray image, etc.) collected by a medical image diagnostic device other than the ultrasonic diagnostic device. It may be an MRI image or the like). For example, teacher data may be generated by performing machine learning using the image information of the feature portion in the X-ray CT image as learning data.
この場合、画像生成回路１５０は、機械学習に用いられたＸ線ＣＴ画像と同程度の画質となるように、画像データＩ１を生成する。例えば、画像生成回路１５０は、Ｂモード画像データをディスプレイ１０３用に信号を座標変換してＳＣデータを生成し、ＳＣデータに対して、Ｘ線ＣＴ画像と同程度の画質となるように画像処理を実行する。具体的には、画像生成回路１５０は、ＳＣデータのエッジを強調するとともに、粒度を細かくするように画像処理を実行する。これにより、画像生成回路１５０は、機械学習に用いられたＸ線ＣＴ画像と同程度の画質となる画像データＩ１を生成して、検索機能１８２による検索処理の精度を向上させることができる。そして、表示制御機能１８５は、検索処理の対象とした画像データＩ１と画質が異なる画像データＩ２上に、検索結果の合成処理の結果を表示させる。 In this case, the image generation circuit 150 generates the image data I1 so that the image quality is similar to that of the X-ray CT image used for machine learning. For example, the image generation circuit 150 converts the signal of the B-mode image data for the display 103 into coordinates to generate SC data, and processes the SC data so that the image quality is comparable to that of the X-ray CT image. To execute. Specifically, the image generation circuit 150 emphasizes the edges of the SC data and executes image processing so as to make the particle size finer. As a result, the image generation circuit 150 can generate image data I1 having the same image quality as the X-ray CT image used for machine learning, and can improve the accuracy of the search process by the search function 182. Then, the display control function 185 displays the result of the composition processing of the search result on the image data I2 whose image quality is different from that of the image data I1 targeted for the search processing.
（第１の実施形態に係るその他の変形例）
また、上述した第１の実施形態では、検索機能１８２は、パラメータとして検索処理対象の画像内に複数の検索窓を設定するものとして説明したが、実施形態は、これに限定されるものではない。例えば、検索機能１８２は、パラメータとして異なる教師データを設定してもよい。かかる場合、検索機能１８２は、例えば、同一の検索窓と、同一の検索アルゴリズムとを用いて、所定の間隔で教師データを変更してＣＡＤ処理を実行する。
(Other modifications according to the first embodiment)
Further, in the first embodiment described above, the search function 182 has been described as setting a plurality of search windows in the image to be searched as a parameter, but the embodiment is not limited to this. .. For example, the search function 182 may set different teacher data as a parameter. In such a case, the search function 182 uses, for example, the same search window and the same search algorithm to change the teacher data at predetermined intervals and execute the CAD process.
また、例えば、検索機能１８２は、パラメータとして異なる検索アルゴリズムを設定してもよい。かかる場合、検索機能１８２は、例えば、同一の検索窓と、同一の教師データとを用いて、所定の間隔で検索アルゴリズムを変更してＣＡＤ処理を実行する。 Further, for example, the search function 182 may set a different search algorithm as a parameter. In such a case, the search function 182 executes the CAD process by changing the search algorithm at predetermined intervals using, for example, the same search window and the same teacher data.
また、例えば、検索機能１８２は、パラメータとして検索窓のサイズ、検索窓の位置、教師データ及び検索アルゴリズムのうちいずれかを任意に組み合わせてＣＡＤ処理を実行するようにしてもよい。 Further, for example, the search function 182 may execute the CAD process by arbitrarily combining any one of the size of the search window, the position of the search window, the teacher data, and the search algorithm as parameters.
また、検索機能１８２は、スキャン速度（２次元又は３次元のスキャン領域を機械的に揺動する速度、スキャン領域を電子的に揺動する速度、或いはプローブの移動速度）が所定の閾値以下の場合に、パラメータを変更する頻度を高くする。ここで、スキャン速度が所定の閾値以下の場合とは、操作者が走査の対象とする領域を注視するため、超音波プローブ１０１をゆっくりと移動させていると考えられる。そこで、検索機能１８２は、例えば、スキャン速度が所定の閾値より大きい場合には検索窓のサイズを同一にし、スキャン速度が所定の閾値以下の場合には検索窓のサイズを順次変更する。なお、検索機能１８２は、複数の閾値を用いて、パラメータを変更する頻度を設定するようにしてもよい。 Further, in the search function 182, the scan speed (the speed at which the two-dimensional or three-dimensional scan area is mechanically fluctuated, the speed at which the scan area is electronically fluctuated, or the moving speed of the probe) is equal to or less than a predetermined threshold value. In some cases, change the parameters more frequently. Here, when the scanning speed is equal to or less than a predetermined threshold value, it is considered that the ultrasonic probe 101 is slowly moved in order for the operator to gaze at the area to be scanned. Therefore, for example, the search function 182 makes the size of the search window the same when the scan speed is greater than the predetermined threshold value, and sequentially changes the size of the search window when the scan speed is equal to or less than the predetermined threshold value. The search function 182 may set the frequency of changing the parameters by using a plurality of threshold values.
また、検索機能１８２は、フレームレートが所定の閾値以上の場合に、パラメータを変更する頻度を高くする。ここで、フレームレートが所定の閾値以上の場合には、単位時間当たりのフレーム数が増加するので、ＣＡＤ処理を複数の入力画像に分散させやすい。そこで、検索機能１８２は、例えば、フレームレートが所定の閾値未満の場合には検索窓のサイズを同一にし、フレームレートが所定の閾値以上の場合には検索窓のサイズを順次変更する。なお、検索機能１８２は、複数の閾値を用いて、パラメータを変更する頻度を設定するようにしてもよい。 Further, the search function 182 increases the frequency of changing the parameters when the frame rate is equal to or higher than a predetermined threshold value. Here, when the frame rate is equal to or higher than a predetermined threshold value, the number of frames per unit time increases, so that the CAD processing can be easily distributed to a plurality of input images. Therefore, for example, the search function 182 makes the size of the search window the same when the frame rate is less than a predetermined threshold value, and sequentially changes the size of the search window when the frame rate is equal to or more than a predetermined threshold value. The search function 182 may set the frequency of changing the parameters by using a plurality of threshold values.
（第２の実施形態）
上述した第１の実施形態では、超音波診断装置１において、リアルタイムに生成される画像に対してＣＡＤ処理を実行する場合について説明した。ところで、超音波診断装置１では、リアルタイムにＣＡＤ処理を実行した結果を、超音波走査の終了後に観察することが望まれる場合がある。そこで、第２の実施形態では、超音波走査の終了後に、ＣＡＤ処理を実行した結果を観察する場合について説明する。
(Second embodiment)
In the first embodiment described above, a case where the ultrasonic
第２の実施形態に係る超音波診断装置の構成例は、表示制御機能１８５が付加的な機能を更に実行する点を除いて、図１に示す第１の実施形態に係る超音波診断装置１と同様である。例えば、第２の実施形態に係る表示制御機能１８５は、マーカ情報が含まれる画像を抽出して、所定の順序で表示させる。
In the configuration example of the ultrasonic diagnostic apparatus according to the second embodiment, the ultrasonic
図２２は、第２の実施形態に係る表示制御機能１８５による表示制御処理の手順を示すフローチャートであり、図２３は、第２の実施形態を説明するための図である。図２２では、表示制御機能１８５の動作を説明するフローチャートを示す。ステップＳ４１からステップＳ４５は、表示制御機能１８５により実現されるステップである。 FIG. 22 is a flowchart showing a procedure of display control processing by the display control function 185 according to the second embodiment, and FIG. 23 is a diagram for explaining the second embodiment. FIG. 22 shows a flowchart illustrating the operation of the display control function 185. Steps S41 to S45 are steps realized by the display control function 185.
ステップＳ４１では、表示制御機能１８５は、合成結果を取得する。例えば、表示制御機能１８５は、超音波走査により得られた画像のＣＡＤ処理の合成結果を記憶回路１７０から取得する。より具体的には、表示制御機能１８５は、図２３の（１）から図２３の（９）に示す合成結果を記憶回路１７０から取得する。
In step S41, the display control function 185 acquires the synthesis result. For example, the display control function 185 acquires the synthesis result of the CAD processing of the image obtained by ultrasonic scanning from the
ステップＳ４２では、表示制御機能１８５は、特徴部位が検出された画像を抽出する。例えば、表示制御機能１８５は、図２３に示す（１）から（９）の合成結果のうち、（２）、（４）、（５）、（６）、（８）及び（９）を特徴部位が検出された画像として抽出する。 In step S42, the display control function 185 extracts an image in which the feature portion is detected. For example, the display control function 185 is characterized by (2), (4), (5), (6), (8) and (9) among the synthesis results of (1) to (9) shown in FIG. The part is extracted as an image in which it is detected.
ステップＳ４３では、表示制御機能１８５は、シネ再生を受け付けたか否かを判定する。ここで、表示制御機能１８５は、入力装置１０２を介して、シネ再生を実行する指示を操作者から受け付けたと判定しなかった場合（ステップＳ４３、Ｎｏ）、ステップＳ４３の判定処理を繰り返す。一方、表示制御機能１８５は、入力装置１０２を介して、シネ再生を実行する指示を操作者から受け付けたと判定した場合（ステップＳ４３、Ｙｅｓ）、ステップＳ４４に移行する。 In step S43, the display control function 185 determines whether or not the cine reproduction is accepted. Here, when it is not determined that the display control function 185 has received the instruction to execute the cine reproduction from the operator via the input device 102 (steps S43, No), the determination process of step S43 is repeated. On the other hand, when it is determined that the display control function 185 has received the instruction to execute the cine reproduction from the operator via the input device 102 (step S43, Yes), the process proceeds to step S44.
ステップＳ４４では、表示制御機能１８５は、所定の順序で画像をディスプレイ１０３に表示させる。ここで、例えば、表示制御機能１８５は、操作者から画像の切り替えを受け付ける毎に所定の順序で画像を切り替えてシネ再生させてもよいし、所定の順序で画像を自動的にシネ再生させてもよい。より具体的には、表示制御機能１８５は、時系列で順序を決定する。かかる場合、表示制御機能１８５は、図２３に示す例では、（２）、（４）、（５）、（６）、（８）、（９）の順序で画像をディスプレイ１０３に表示させる。 In step S44, the display control function 185 causes the display 103 to display images in a predetermined order. Here, for example, the display control function 185 may switch the images in a predetermined order and perform cine reproduction each time the image is switched from the operator, or automatically cine-reproduce the images in a predetermined order. May be good. More specifically, the display control function 185 determines the order in chronological order. In such a case, the display control function 185 causes the display 103 to display images in the order of (2), (4), (5), (6), (8), and (9) in the example shown in FIG.
また、例えば、表示制御機能１８５は、連続性に応じて所定の順序を決定してもよい。かかる場合、表示制御機能１８５は、図２３に示す例では、（４）、（５）、（６）、（８）、（９）、（２）の順序で画像をディスプレイ１０３に表示させる。 Further, for example, the display control function 185 may determine a predetermined order according to the continuity. In such a case, the display control function 185 causes the display 103 to display images in the order of (4), (5), (6), (8), (9), and (2) in the example shown in FIG.
また、例えば、表示制御機能１８５は、マーカ情報の数に応じて所定の順序を決定してもよい。かかる場合、表示制御機能１８５は、図２３に示す例では、（２）、（８）、（９）、（４）、（５）、（６）の順序で画像をディスプレイ１０３に表示させる。 Further, for example, the display control function 185 may determine a predetermined order according to the number of marker information. In such a case, the display control function 185 causes the display 103 to display images in the order of (2), (8), (9), (4), (5), and (6) in the example shown in FIG.
また、例えば、表示制御機能１８５は、スキャン速度に応じて所定の順序を決定してもよい。例えば、スキャン速度が遅い場合には、操作者は、注視したい部位を走査している可能性がある。そこで、表示制御機能１８５は、スキャン速度がより遅いフレームを優先的にディスプレイ１０３に表示させる。 Further, for example, the display control function 185 may determine a predetermined order according to the scanning speed. For example, if the scanning speed is slow, the operator may be scanning the area to be watched. Therefore, the display control function 185 preferentially displays a frame having a slower scanning speed on the display 103.
ステップＳ４５では、表示制御機能１８５は、終了を受け付けたか否かを判定する。ここで、表示制御機能１８５は、終了を受け付けたと判定しなかった場合（ステップＳ４５、Ｎｏ）、ステップＳ４３に移行して判定処理を実行する。一方、表示制御機能１８５は、終了を受け付けたと判定した場合（ステップＳ４５、Ｙｅｓ）、処理を終了する。 In step S45, the display control function 185 determines whether or not the end has been accepted. Here, when the display control function 185 does not determine that the end has been accepted (step S45, No), the display control function 185 proceeds to step S43 and executes the determination process. On the other hand, when it is determined that the end is accepted (step S45, Yes), the display control function 185 ends the process.
上述したように、第２の実施形態では、マーカ情報が含まれる画像を抽出して、所定の順序で表示させる。これにより、第２の実施形態によれば、マーカ情報が出現するフレームを時系列に閲覧したり、マーカ情報が連続して出現するフレームやマーカ情報が多いフレームを優先的に閲覧したりすることが可能になる。 As described above, in the second embodiment, the images including the marker information are extracted and displayed in a predetermined order. As a result, according to the second embodiment, the frames in which the marker information appears are browsed in chronological order, and the frames in which the marker information appears continuously and the frames in which the marker information is abundant are preferentially browsed. Becomes possible.
なお、上述した第２の実施形態では、表示制御機能１８５は、特徴部位が検出された画像を抽出するものとして説明したが、実施形態はこれに限定されるものではない。例えば、表示制御機能１８５は、特徴部位が検出された画像を抽出せずに、ステップＳ４１で取得した合成結果を、例えば図２３の（１）から図２３の（９）の順でシネ再生させてもよい。 In the second embodiment described above, the display control function 185 has been described as extracting an image in which a feature portion is detected, but the embodiment is not limited to this. For example, the display control function 185 causes the composite result acquired in step S41 to be cine-reproduced in the order of (1) to 23 (9), for example, without extracting the image in which the feature portion is detected. You may.
（第２の実施形態の変形例）
上述した第２の実施形態では、ＣＡＤ処理を複数の入力画像に分散させ、各画像での結果を合成した結果をシネ再生させる場合について説明した。しかしながら、第２の実施形態で説明した表示制御処理は、ＣＡＤ処理を複数の入力画像に分散させない場合にも適用可能である。第２の実施形態の変形例に係る超音波診断装置の構成は、検索機能１８２が実行する機能の一部が異なる点を除いて、図１に示す超音波診断装置１の構成と同様である。
(Modified example of the second embodiment)
In the second embodiment described above, a case where the CAD processing is distributed over a plurality of input images and the result of synthesizing the results of each image is reproduced in a cine manner has been described. However, the display control process described in the second embodiment can be applied even when the CAD process is not distributed to a plurality of input images. The configuration of the ultrasonic diagnostic apparatus according to the modified example of the second embodiment is the same as the configuration of the ultrasonic
すなわち、第２の実施形態の変形例に係る取得機能１８１は、第１の画像と、第１の画像とは異なる第２の画像を取得する。そして、第２の実施形態の変形例に係る検索機能１８２は、第１の画像及び第２の画像を対象に、検索処理を実行することで、特徴部位を検索する。すなわち、第２の実施形態の変形例に係る検索機能１８２は、ＣＡＤ処理を複数の入力画像に分散させずに、第１の画像及び第２の画像で同一の検索処理を実行する。 That is, the acquisition function 181 according to the modified example of the second embodiment acquires the first image and the second image different from the first image. Then, the search function 182 according to the modified example of the second embodiment searches for the feature portion by executing the search process on the first image and the second image. That is, the search function 182 according to the modified example of the second embodiment executes the same search process on the first image and the second image without distributing the CAD process to a plurality of input images.
第２の実施形態の変形例に係る検索結果合成機能１８３は、検索機能１８２による各検索結果を合成する。第２の実施形態の変形例に係るマーカ情報生成機能１８４は、検索結果合成機能１８３による合成結果に基づいて、マーカ情報を生成する。第２の実施形態の変形例に係る表示制御機能１８５は、医用画像をディスプレイ１０３に表示させ、マーカ情報に基づくマーカを、医用画像上に表示させる。
The search
なお、かかる場合、第２の実施形態の変形例に係るマーカ情報生成機能１８４は、上述した第１の実施形態と同様の機能を有する。すなわち、第２の実施形態の変形例に係るマーカ情報生成機能１８４は、特徴部位である確率に応じて色分けしたマーカ情報を生成する。ここで、マーカ情報は、検索窓に応じた形状を有する。そして、第２の実施形態の変形例に係る表示制御機能１８５は、形状の外枠のみを表示させる。ここで、表示制御機能１８５は、形状の外枠のみを、確率が最も高い色で色分けして表示させる。また、表示制御機能１８５は、マーカ情報の数の計測値を更に表示させる。また、表示制御機能１８５は、マーカ情報に基づくマーカを、第１の画像及び第２の画像と画質が異なる医用画像上に表示させてもよい。 In such a case, the marker information generation function 184 according to the modified example of the second embodiment has the same function as that of the first embodiment described above. That is, the marker information generation function 184 according to the modified example of the second embodiment generates color-coded marker information according to the probability of being a feature portion. Here, the marker information has a shape corresponding to the search window. Then, the display control function 185 according to the modified example of the second embodiment displays only the outer frame of the shape. Here, the display control function 185 displays only the outer frame of the shape by color-coding with the color having the highest probability. Further, the display control function 185 further displays the measured value of the number of marker information. Further, the display control function 185 may display the marker based on the marker information on the first image and the medical image whose image quality is different from that of the second image.
更に、第２の実施形態の変形例に係る表示制御機能１８５は、マーカ情報が含まれる画像を抽出して、所定の順序で表示させる。例えば、表示制御機能１８５は、連続性に応じて所定の順序を決定する。或いは、表示制御機能１８５は、マーカ情報の数に応じて所定の順序を決定する。 Further, the display control function 185 according to the modified example of the second embodiment extracts images including marker information and displays them in a predetermined order. For example, the display control function 185 determines a predetermined order according to the continuity. Alternatively, the display control function 185 determines a predetermined order according to the number of marker information.
これにより、第２の実施形態に係る変形例では、ＣＡＤ処理を複数の入力画像に分散させない場合にも表示制御処理を実行することが可能になる。この結果、例えば、操作者は、特徴部位である確率に応じて色分けされた合成処理の結果を閲覧することが可能になる。また、例えば、操作者は、特徴部位である確率に応じた特徴部位の数を容易に把握することが可能になる。また、例えば、操作者は、マーカ情報が出現するフレームを時系列に閲覧したり、マーカ情報が連続して出現するフレームやマーカ情報が多いフレームを優先的に閲覧したりすることが可能になる。このようにして、第２の実施形態に係る変形例によれば、診断効率を向上させることができる。 As a result, in the modified example according to the second embodiment, the display control process can be executed even when the CAD process is not distributed to a plurality of input images. As a result, for example, the operator can view the result of the synthesis process color-coded according to the probability of being a feature portion. Further, for example, the operator can easily grasp the number of feature parts according to the probability of being a feature part. Further, for example, the operator can browse the frames in which the marker information appears in chronological order, or preferentially browse the frames in which the marker information appears continuously or the frames in which the marker information is abundant. .. In this way, according to the modified example according to the second embodiment, the diagnostic efficiency can be improved.
（その他の実施形態）
実施形態は、上述した実施形態に限られるものではない。
(Other embodiments)
The embodiment is not limited to the above-described embodiment.
上述した実施形態では、超音波診断装置を解析装置の一例として説明したが、実施形態はこれに限定されるものではない。例えば、医用画像処理装置を解析装置としてもよい。図２４は、その他の実施形態に係る医用画像処理装置２００の構成例を示すブロック図である。
In the above-described embodiment, the ultrasonic diagnostic apparatus has been described as an example of the analysis apparatus, but the embodiment is not limited thereto. For example, a medical image processing device may be used as an analysis device. FIG. 24 is a block diagram showing a configuration example of the medical
図２４に示すように、医用画像処理装置２００は、入力装置２０１と、ディスプレイ２０２と、記憶回路２１０と、処理回路２２０とを備える。入力装置２０１、ディスプレイ２０２、記憶回路２１０、処理回路２２０は、相互に通信可能に接続される。
As shown in FIG. 24, the medical
入力装置２０１は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等を有し、医用画像処理装置２００の操作者からの各種設定要求を受け付ける。入力装置２０１は、受け付けた各種設定要求を処理回路２２０へ出力する。
The
ディスプレイ２０２は、例えば超音波診断装置１によって生成された医用画像データを表示したり、操作者が入力装置２０１を用いて各種設定要求を入力するためのＧＵＩ（Graphical User Interface）を表示したりする。
The
記憶回路２１０は、ＧＵＩを表示するための各種のプログラムや、当該プログラムによって用いられる情報を記憶する。また、記憶回路２１０は、超音波診断装置１や他の医用画像診断装置によって生成された医用画像データを記憶する。
The
処理回路２２０は、医用画像処理装置２００の処理全体を制御する。例えば、図２４に示すように、処理回路２２０は、取得機能２２１、検索機能２２２、検索結果合成機能２２３、マーカ情報生成機能２２４及び表示制御機能２２５を実行する。ここで、例えば、図２４に示す処理回路２２０の構成要素である取得機能２２１、検索機能２２２、検索結果合成機能２２３、マーカ情報生成機能２２４及び表示制御機能２２５が実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路２１０に記録されている。処理回路２２０は、各プログラムを記憶回路２１０から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路２２０は、図２４の処理回路２２０内に示された各機能を有することとなる。
The
その他の実施形態に係る医用画像処理装置２００は、例えば、超音波診断装置１により生成された超音波画像を取得し、ＣＡＤ処理を複数の入力画像に分散させ、各画像での結果を合成して、１枚の画像の最終的な検出結果として表示する。このような解析処理は、処理回路２２０が取得機能２２１、検索機能２２２、検索結果合成機能２２３、マーカ情報生成機能２２４及び表示制御機能２２５を実行することによって実現される。
The medical
取得機能２２１は、第１の実施形態や第２の実施形態に係る取得機能１８１と同様の機能を実行する。検索機能２２２は、第１の実施形態や第２の実施形態に係る検索機能１８２と同様の機能を実行する。検索結果合成機能２２３は、第１の実施形態や第２の実施形態に係る検索結果合成機能１８３と同様の機能を実行する。マーカ情報生成機能２２４は、第１の実施形態や第２の実施形態に係るマーカ情報生成機能１８４と同様の機能を実行する。表示制御機能２２５は、第１の実施形態や第２の実施形態に係る表示制御機能１８５と同様の機能を実行する。
The
このように、その他の実施形態に係る医用画像処理装置２００は、第１の画像を対象に第１の検索処理を実行することで、第１の画像における特徴部位を検索し、第２の画像を対象に、第１の検索処理とは異なる第２の検索処理を実行することで、第２の画像における特徴部位を検索する。そして、その他の実施形態に係る医用画像処理装置２００では、各検索結果を合成する。これにより、その他の実施形態に係る医用画像処理装置２００は、ＣＡＤ処理の性能を維持しながら、画像１枚あたりの計算量を抑えることができる。
As described above, the medical
また、その他の実施形態に係る医用画像処理装置２００は、マーカ情報が含まれる画像を抽出して、所定の順序で表示させる。これにより、その他の実施形態に係る医用画像処理装置２００によれば、マーカ情報が出現するフレームを時系列に閲覧したり、マーカ情報が連続して出現するフレームやマーカ情報が多いフレームを優先的に閲覧したりすることが可能になる。このようにして、その他の実施形態に係る医用画像処理装置２００によれば、診断効率を向上させることができる。
Further, the medical
なお、上述した実施形態では、第１の画像と第２の画像は、生成された時刻（フレーム）が異なる画像として記載したが、これに限定されるものではない。例えば、第１の画像と第２の画像は、同時に取得された異なる領域の画像、異なる撮影日時で取得された同一被検体の画像（超音波画像とＸ線ＣＴ画像、超音波画像とＸ線画像、超音波画像とＭＲＩ画像、或いは、Ｘ線ＣＴ画像とＭＲＩ画像など）、別の被検体の画像、異なる撮像条件（超音波診断装置における超音波の周波数、超音波の音圧、異なるプローブ、Ｘ線ＣＴ装置やＸ線診断装置におけるＸ線のエネルギー、磁気共鳴イメージング装置における磁場強度など）で取得された画像、異なる画像処理が施された画像、同一の医用診断装置で取得された異なる種類の画像（Ｂモード画像、造影画像、エラストグラフィ画像、高精細モード画像など）であってもよい。 In the above-described embodiment, the first image and the second image are described as images having different generation times (frames), but the present invention is not limited to this. For example, the first image and the second image are images of different regions acquired at the same time, images of the same subject acquired at different shooting dates and times (ultrasonic image and X-ray CT image, ultrasonic image and X-ray). Images, ultrasound images and MRI images, or X-ray CT images and MRI images, images of different subjects, different imaging conditions (ultrasonography frequency in ultrasound diagnostic equipment, ultrasound sound pressure, different probes, etc.) , X-ray energy in X-ray CT equipment and X-ray diagnostic equipment, magnetic field strength in magnetic resonance imaging equipment, etc.), images with different image processing, different images acquired by the same medical diagnostic equipment It may be a type of image (B-mode image, contrast image, elastography image, high-definition mode image, etc.).
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。 The term "processor" used in the above description refers to, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an application specific integrated circuit (ASIC), or a programmable logic device (for example, an application specific integrated circuit). It means a circuit such as a simple programmable logic device (SPLD), a complex programmable logic device (CPLD), and a field programmable gate array (FPGA). The processor realizes the function by reading and executing the program stored in the storage circuit. Instead of storing the program in the storage circuit, the program may be directly embedded in the circuit of the processor. In this case, the processor realizes the function by reading and executing the program embedded in the circuit. It should be noted that each processor of the present embodiment is not limited to the case where each processor is configured as a single circuit, and a plurality of independent circuits may be combined to form one processor to realize its function. good. Further, the plurality of components in FIG. 1 may be integrated into one processor to realize the function.
上記の実施形態の説明において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。 In the description of the above-described embodiment, each component of each of the illustrated devices is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically dispersed / physically distributed in arbitrary units according to various loads and usage conditions. Can be integrated and configured. Further, each processing function performed by each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.
また、上記の実施形態で説明した画像解析方法は、予め用意された画像解析プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この画像解析プログラムは、インターネット等のネットワークを介して配布することができる。また、この画像解析プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。 Further, the image analysis method described in the above embodiment can be realized by executing an image analysis program prepared in advance on a computer such as a personal computer or a workstation. This image analysis program can be distributed via a network such as the Internet. Further, this image analysis program can also be executed by being recorded on a computer-readable recording medium such as a hard disk, flexible disk (FD), CD-ROM, MO, or DVD, and being read from the recording medium by the computer. ..
以上説明した少なくとも一つの実施形態によれば、診断効率を向上させることができる。 According to at least one embodiment described above, the diagnostic efficiency can be improved.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, as well as in the scope of the invention described in the claims and the equivalent scope thereof.
１ 超音波診断装置
１００ 装置本体
１８０ 処理回路
１８１ 取得機能
１８２ 検索機能
１８３ 検索結果合成機能
１８４ マーカ情報生成機能
１８５ 表示制御機能
1 Ultrasonic diagnostic device 100 Device body 180 Processing circuit 181 Acquisition function 182
Claims (26)
新たに取得された前記第１の画像を対象に第１の検索処理を実行することで、前記第１の画像における特徴部位を検索し、新たに取得された前記第２の画像を対象に、前記第１の検索処理とは異なる第２の検索処理を実行することで、前記第２の画像における特徴部位を検索する検索部と、
前記検索部による各検索結果を合成する検索結果合成部と、
を備えた解析装置。 The first image and the second image, which are time-series images acquired from the same part of the same subject by the same medical image diagnostic apparatus and are the latest images among the images generated in time-series in real time. And the acquisition department that sequentially acquires
By executing the first search process on the newly acquired first image, the feature portion in the first image is searched, and the newly acquired second image is targeted. By executing a second search process different from the first search process, a search unit that searches for a feature portion in the second image, and a search unit.
A search result synthesis unit that synthesizes each search result by the search unit,
Analytical device equipped with.
医用画像を表示部に表示させ、前記マーカ情報に基づくマーカを、前記医用画像上に表示させる表示制御部と、
を備えた請求項１～１６のいずれか１つに記載の解析装置。 A marker information generation unit that generates marker information based on the synthesis result of the search result synthesis unit,
A display control unit that displays a medical image on a display unit and displays a marker based on the marker information on the medical image.
The analysis apparatus according to any one of claims 1 to 16.
前記マーカ情報は、前記検索窓に応じた形状を有し、
前記表示制御部は、重畳するマーカ情報の前記形状の外枠のみを表示させる、請求項１７に記載の解析装置。 The search unit sets a plurality of search windows in the image to be searched, calculates the probability of being a feature part for each search window, and calculates the probability.
The marker information has a shape corresponding to the search window.
The analysis device according to claim 17, wherein the display control unit displays only the outer frame of the shape of the superimposed marker information.
前記表示制御部は、重畳するマーカ情報の前記形状の外枠のみを、前記確率が最も高い色で色分けして表示させる、請求項１９に記載の解析装置。 The marker information generation unit generates color-coded marker information according to the probability of being the feature portion.
The analysis device according to claim 19, wherein the display control unit displays only the outer frame of the shape of the superimposed marker information in the color having the highest probability.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017189080 | 2017-09-28 | ||
| JP2017189080 | 2017-09-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019063483A JP2019063483A (en) | 2019-04-25 |
| JP7102181B2 true JP7102181B2 (en) | 2022-07-19 |
Family
ID=66338612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018049986A Active JP7102181B2 (en) | 2017-09-28 | 2018-03-16 | Analyst |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7102181B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7483327B2 (en) | 2019-04-26 | 2024-05-15 | キヤノンメディカルシステムズ株式会社 | Ultrasound diagnostic equipment and analysis equipment |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004180932A (en) | 2002-12-03 | 2004-07-02 | Toshiba Corp | Computer aided diagnostic apparatus |
-
2018
- 2018-03-16 JP JP2018049986A patent/JP7102181B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004180932A (en) | 2002-12-03 | 2004-07-02 | Toshiba Corp | Computer aided diagnostic apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019063483A (en) | 2019-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7230255B2 (en) | Analysis device and analysis program | |
| JP6462340B2 (en) | Ultrasonic diagnostic apparatus, image processing apparatus, and image processing method | |
| US11672506B2 (en) | Ultrasound diagnosis apparatus and image processing apparatus | |
| JP6608232B2 (en) | Medical image diagnostic apparatus, medical image processing apparatus, and medical information display control method | |
| US10335118B2 (en) | Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image parallel display method | |
| US9489921B2 (en) | Method and apparatus for displaying plurality of different images of object | |
| US11701091B2 (en) | Ultrasound analysis apparatus and method for tissue elasticity and viscosity based on the hormonic signals | |
| JP6382050B2 (en) | Medical image diagnostic apparatus, image processing apparatus, image processing method, and image processing program | |
| JP7490840B2 (en) | Analysis device and analysis program | |
| JP2016093277A (en) | Medical image processing apparatus, ultrasonic diagnostic apparatus, medical image processing method and medical image processing program | |
| JP2023160986A (en) | Ultrasonic diagnostic device and analysis device | |
| JP5390149B2 (en) | Ultrasonic diagnostic apparatus, ultrasonic diagnostic support program, and image processing apparatus | |
| JP2019213859A (en) | Analyzer and program | |
| JP7102181B2 (en) | Analyst | |
| US11850101B2 (en) | Medical image diagnostic apparatus, medical image processing apparatus, and medical image processing method | |
| US20220273266A1 (en) | Ultrasound diagnosis apparatus and image processing apparatus | |
| US20210369247A1 (en) | Medical image diagnosis apparatus, medical image processing apparatus and medical image processing method | |
| WO2020149191A1 (en) | Image analyzing device | |
| KR20220040400A (en) | Ultrasound imaging system and method for generating an enhanced image | |
| JP7109986B2 (en) | Image processing device and ultrasonic diagnostic device | |
| US20200219228A1 (en) | Real-time regional enhancement imaging and display for ultrasound imaging | |
| JP5443781B2 (en) | Ultrasonic diagnostic equipment | |
| JP2020092936A (en) | Ultrasonic diagnostic device and ultrasonic diagnostic program | |
| JP7144184B2 (en) | Ultrasound diagnostic device, image processing device and image processing program | |
| JP2021186676A (en) | Ultrasonic diagnostic apparatus and image processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220706 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7102181 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |