JP6608307B2

JP6608307B2 - Ultrasonic diagnostic apparatus, image processing apparatus, and image processing program

Info

Publication number: JP6608307B2
Application number: JP2016032376A
Authority: JP
Inventors: グアンリ; 寛樹吉新; リーンイーンチェン; ヂェターン
Original assignee: Canon Medical Systems Corp
Current assignee: Canon Medical Systems Corp
Priority date: 2015-11-03
Filing date: 2016-02-23
Publication date: 2019-11-20
Anticipated expiration: 2036-02-23
Also published as: CN106923864A; CN106923864B; JP2017086851A

Description

実施形態は、超音波診断装置、画像処理装置及び画像処理プログラムに関する。 Embodiments relate to an ultrasonic diagnostic apparatus, an image processing apparatus, and an image processing program.

臨床の応用において、ＴＣＡ（Time Curve Analysis、時間曲線分析）は、超音波画像系列（シーケンス）における異常領域（腫瘍など）の定量的分析のための重要な手段である。しかし、周知のように、時間曲線分析において、観察者が興味を持っている腫瘍領域などの関心領域（ＲＯＩ、Region Of Interest）は、時間経過とともに取得した一列の超音波画像にて変化しつつ、ＲＯＩの動的トラッキングは、関心領域（例えば、腫瘍領域）のＴＣＡ結果を確実に取得するための重要なステップである。 In clinical applications, TCA (Time Curve Analysis) is an important tool for quantitative analysis of abnormal areas (such as tumors) in an ultrasound image sequence (sequence). However, as is well known, in time curve analysis, a region of interest (ROI, Region Of Interest) such as a tumor region in which an observer is interested is changing in a row of ultrasound images acquired over time. , ROI dynamic tracking is an important step to reliably obtain TCA results for a region of interest (eg, a tumor region).

ＲＯＩの動的トラッキングの精度を向上するために、特許文献１では、所定のフェーズ前後の画像情報（フレーム）を記憶回路から読み出して、中間の仮想フレームを取得し小領域画像（ＲＯＩ）を算出する案が提出されている。そのうち、ＲＯＩの移動位置の算出には、ブロックマッチング法などの画像に関する処理が用いられており、当該技術案によれば、関連性の低いＲＯＩをノイズなどの必要のない画像として判定し、対応した部位の輝度情報を減少することができる。 In order to improve the accuracy of ROI dynamic tracking, Patent Document 1 reads image information (frames) before and after a predetermined phase from a storage circuit, acquires an intermediate virtual frame, and calculates a small region image (ROI). A proposal to do so has been submitted. Among them, the ROI movement position is calculated using an image-related process such as a block matching method, and according to the technical proposal, the ROI having low relevance is determined as an image that does not require noise and the like. It is possible to reduce the luminance information of the selected part.

しかし、特許文献１の技術案では、所定のフェーズ前後の画像情報が不正確の場合について考慮されていない。例えば、サンプリング中にフレームの紛失、または超音波画像強度の段階的且つ劇烈な変化が既に発生している場合など、所定のフェーズ前後の２フレームは所望のＲＯＩが存在しないことがあり、当該前後２フレームに基づいて参照フレームを取得したとしても、この参照フレームに所望のＲＯＩがないので、後続の算出結果も不正確になり、ＲＯＩの精度の高い動的トラッキングを実現することは不可能となる。また、特許文献１では、ＲＯＩの移動位置の算出について、ブロックマッチング法が用いられているが、そのブロックマッチングは上述した方法による２領域間のみで施され、サンプリング中にフレームの紛失、または画像強度の大きな変化が既に発生している場合には、移動位置の差分値は同様に不正確になる。 However, in the technical proposal of Patent Document 1, no consideration is given to the case where the image information before and after the predetermined phase is inaccurate. For example, the desired ROI may not exist in two frames before and after a predetermined phase, such as when a frame is lost during sampling or when a gradual and dramatic change in ultrasonic image intensity has already occurred. Even if a reference frame is acquired based on two frames, there is no desired ROI in this reference frame, so subsequent calculation results are also inaccurate, and it is impossible to realize dynamic tracking with high ROI accuracy. Become. In Patent Document 1, the block matching method is used for calculating the movement position of the ROI. However, the block matching is performed only between two regions by the above-described method, and a frame is lost during sampling or an image If a large change in intensity has already occurred, the difference value of the movement position will be similarly incorrect.

特開２００８−２８９６３２号公報JP 2008-289632 A

本発明が解決しようとする課題は、関心領域の追跡精度を向上させることができる超音波診断装置、画像処理装置及び画像処理プログラムを提供することである。 The problem to be solved by the present invention is to provide an ultrasonic diagnostic apparatus, an image processing apparatus, and an image processing program capable of improving the tracking accuracy of a region of interest.

実施形態の超音波診断装置は、取得部と、参照フレーム生成部と、トラッキング処理部とを備える。取得部は、初期フレームを始点とした、超音波画像を表す複数のフレームを時系列に取得する。参照フレーム生成部は、現在フレームと当該現在フレームの直前フレームとの類似度比較を行い、比較結果を用いた初期フレーム及び直前フレームへの重みづけ処理に基づき、参照フレームを生成する。トラッキング処理部は、前記参照フレームと前記現在フレームとの間で、トラッキング処理を行う。 The ultrasonic diagnostic apparatus according to the embodiment includes an acquisition unit, a reference frame generation unit, and a tracking processing unit. The acquisition unit acquires a plurality of frames representing an ultrasonic image starting from the initial frame in time series. The reference frame generation unit compares the similarity between the current frame and the immediately preceding frame of the current frame, and generates a reference frame based on a weighting process for the initial frame and the immediately preceding frame using the comparison result. The tracking processing unit performs tracking processing between the reference frame and the current frame.

図１は、第１の実施形態に係る医用画像処理装置を表すブロック図である。FIG. 1 is a block diagram showing a medical image processing apparatus according to the first embodiment. 図２は、参照フレームの生成において直前フレームの関心領域を初期フレームの関心領域へ変位させる過程を説明するための図である。FIG. 2 is a diagram for explaining a process of displacing the region of interest of the immediately previous frame to the region of interest of the initial frame in generating the reference frame. 図３は、第１の実施形態に係る医用画像処理装置によるトラッキング処理の手順を示すフローチャートである。FIG. 3 is a flowchart showing a procedure of tracking processing by the medical image processing apparatus according to the first embodiment. 図４は、第２の実施形態に係る医用画像処理装置を表すブロック図である。FIG. 4 is a block diagram illustrating a medical image processing apparatus according to the second embodiment. 図５は、マッチング部により行う正方向マッチング及び逆方向マッチング、並びに、トラッキング結果判定部により行うトラッキング処理を説明するための図である。FIG. 5 is a diagram for explaining forward direction matching and backward direction matching performed by the matching unit, and tracking processing performed by the tracking result determination unit. 図６は、第２の実施形態に係る医用画像処理装置によるトラッキング処理の手順を示すフローチャートである。FIG. 6 is a flowchart illustrating a tracking processing procedure performed by the medical image processing apparatus according to the second embodiment. 図７は、従来技術に係る超音波画像輝度の大きな変化及びプローブの動きなどによるフレームの紛失を概略的に示す図である。FIG. 7 is a diagram schematically illustrating a loss of a frame due to a large change in ultrasonic image brightness and probe movement according to the related art. 図８は、ディスプレイに表示された超音波画像及びその関心領域を示す図である。FIG. 8 is a diagram showing an ultrasound image displayed on the display and its region of interest. 図９は、第１の実施形態に係る医用画像処理装置による全体処理の流れを示すフローチャートである。FIG. 9 is a flowchart showing the flow of overall processing by the medical image processing apparatus according to the first embodiment. 図１０は、第３の実施形態に係る超音波診断装置の構成例を示すブロック図である。FIG. 10 is a block diagram illustrating a configuration example of an ultrasonic diagnostic apparatus according to the third embodiment.

以下、図面を参照して、実施形態に係る超音波診断装置、画像処理装置及び画像処理プログラムを説明する。なお、実施形態は、以下の実施形態に限られるものではない。また、一つの実施形態に記載した内容は、原則として他の実施形態にも同様に適用される。また、下記の実施形態では、ＲＯＩ（Region Of Interest）として腫瘍領域をトラッキングすることを例に説明するが、実施形態の応用は腫瘍領域に限定されておらず、他の関心領域をトラッキングしてもよい。 Hereinafter, an ultrasonic diagnostic apparatus, an image processing apparatus, and an image processing program according to embodiments will be described with reference to the drawings. Note that the embodiments are not limited to the following embodiments. In addition, the contents described in one embodiment can be applied to other embodiments in principle as well. In the following embodiment, tracking of a tumor region as an example of ROI (Region Of Interest) will be described as an example. However, the application of the embodiment is not limited to a tumor region, and other regions of interest are tracked. Also good.

（第１の実施形態）
図１は第１の実施形態に係る医用画像処理装置を表すブロック図である。 (First embodiment)
FIG. 1 is a block diagram showing a medical image processing apparatus according to the first embodiment.

図１に示すように、医用画像処理装置１００は、取得回路１０１と、参照フレーム生成回路１０２と、トラッキング処理回路１０３と、を備える。なお、取得回路１０１のことを取得部とも言い、参照フレーム生成回路１０２のことを参照フレーム生成部とも言い、トラッキング処理回路１０３のことをトラッキング処理部とも言う。 As illustrated in FIG. 1, the medical image processing apparatus 100 includes an acquisition circuit 101, a reference frame generation circuit 102, and a tracking processing circuit 103. The acquisition circuit 101 is also referred to as an acquisition unit, the reference frame generation circuit 102 is also referred to as a reference frame generation unit, and the tracking processing circuit 103 is also referred to as a tracking processing unit.

このように構成される医用画像処理装置１００は、超音波診断装置により時系列に撮像された超音波画像である複数のフレームを、撮像された順に取得する。そして、医用画像処理装置１００は、例えば、腫瘍領域であるＲＯＩをトラッキングする場合、以下に示す画像処理方法を実行する。図９を用いて、医用画像処理装置１００による画像処理方法の全体処理の流れについて説明する。図９は、第１の実施形態に係る医用画像処理装置１００による画像処理方法の全体処理の流れを示すフローチャートである。 The medical image processing apparatus 100 configured as described above acquires a plurality of frames, which are ultrasonic images captured in time series by the ultrasonic diagnostic apparatus, in the order of imaging. For example, when tracking an ROI that is a tumor region, the medical image processing apparatus 100 executes the following image processing method. The overall processing flow of the image processing method performed by the medical image processing apparatus 100 will be described with reference to FIG. FIG. 9 is a flowchart showing the overall processing flow of the image processing method performed by the medical image processing apparatus 100 according to the first embodiment.

例えば、図９に示すように、医用画像処理装置１００は、最新のフレームを取得する（ステップＳ１）。例えば、医用画像処理装置１００は、超音波診断装置によりリアルタイムで撮像される超音波画像のうち最新のフレームを取得する。なお、医用画像処理装置１００は、超音波診断装置により撮像された超音波画像であって、所定の記憶部に記憶された超音波画像を撮像された順に取得してもよい。 For example, as shown in FIG. 9, the medical image processing apparatus 100 acquires the latest frame (step S1). For example, the medical image processing apparatus 100 acquires the latest frame from among ultrasonic images captured in real time by the ultrasonic diagnostic apparatus. Note that the medical image processing apparatus 100 may acquire ultrasonic images captured by the ultrasonic diagnostic apparatus and stored in a predetermined storage unit in the order in which the ultrasonic images are captured.

続いて、医用画像処理装置１００は、取得したフレームの総数が３以上であるか否かを判定する（ステップＳ２）。ここで、医用画像処理装置１００は、取得したフレームの総数が３以上であると判定しなかった場合（ステップＳ２、Ｎｏ）、ステップＳ１に移行し、最新のフレームを取得する。一方、医用画像処理装置１００は、取得したフレームの総数が３以上であると判定した場合（ステップＳ２、Ｙｅｓ）、トラッキング処理を実行する（ステップＳ３）。例えば、医用画像処理装置１００は、最新のフレームを取得するたびに参照フレームを生成し、参照フレームと最新のフレームとの間で、トラッキング処理を行う。なお、トラッキング処理の詳細については後述する。なお、「最新のフレーム」のことを「現在フレーム」とも言う。 Subsequently, the medical image processing apparatus 100 determines whether or not the total number of acquired frames is 3 or more (step S2). Here, when the medical image processing apparatus 100 does not determine that the total number of acquired frames is 3 or more (step S2, No), the medical image processing apparatus 100 proceeds to step S1 and acquires the latest frame. On the other hand, when the medical image processing apparatus 100 determines that the total number of acquired frames is 3 or more (step S2, Yes), the medical image processing apparatus 100 executes tracking processing (step S3). For example, the medical image processing apparatus 100 generates a reference frame every time the latest frame is acquired, and performs tracking processing between the reference frame and the latest frame. Details of the tracking process will be described later. The “latest frame” is also referred to as a “current frame”.

医用画像処理装置１００は、トラッキング処理の終了後、全てのフレームを処理したか否かを判定する（ステップＳ４）。ここで、医用画像処理装置１００は、全てのフレームを処理したと判定しなかった場合（ステップＳ４、Ｎｏ）、ステップＳ１に移行し、最新のフレームを取得する。一方、医用画像処理装置１００は、全てのフレームを処理したと判定した場合（ステップＳ４、Ｙｅｓ）、ＴＣＡ解析を実行する（ステップＳ５）。以下では、医用画像処理装置１００が有する各部によるトラッキング処理の詳細について説明する。 The medical image processing apparatus 100 determines whether or not all the frames have been processed after the tracking process is completed (step S4). Here, if the medical image processing apparatus 100 does not determine that all the frames have been processed (No in step S4), the medical image processing apparatus 100 proceeds to step S1 and acquires the latest frame. On the other hand, if the medical image processing apparatus 100 determines that all the frames have been processed (step S4, Yes), it performs TCA analysis (step S5). Hereinafter, details of tracking processing by each unit of the medical image processing apparatus 100 will be described.

取得回路１０１はプロセッサにより実現することができ、初期フレーム（Ｆｒａｍｅ_１）を始点とした、超音波画像を表す複数のフレームを時系列に取得する。超音波画像は、検査対象となる被検体を撮像してなるものである。実施形態では、時系列に取得する複数のフレームをＦｒａｍｅ_１（初期フレーム）、・・・、Ｆｒａｍｅ_ｉ−１（現在フレームの直前フレーム）、Ｆｒａｍｅ_ｉ（現在フレーム）で表し、但し、ｉ≧３とする。時系列に取得する超音波画像を表す各フレームは、後述のトラッキング処理を行い、トラッキング処理成功と判定された後、医用画像処理装置１００に対応する記憶回路（メモリ）に格納される。 The acquisition circuit 101 can be realized by a processor, and acquires a plurality of frames representing an ultrasonic image starting from an initial frame (Frame ₁ ) in time series. An ultrasound image is obtained by imaging a subject to be examined. In the embodiment, a plurality of frames acquired in time series are represented by Frame ₁ (initial frame),..., Frame _i-1 (frame immediately before the current frame), Frame _i (current frame), where i ≧ 3 And Each frame representing an ultrasound image acquired in time series is subjected to tracking processing to be described later, and after it is determined that the tracking processing is successful, it is stored in a storage circuit (memory) corresponding to the medical image processing apparatus 100.

実施形態中の初期フレームとして、撮像開始したばかりのフレームでもよいし、撮像開始してから一定時間後のフレームでもよいが、作業者が関心領域（腫瘍）を正確に選定できるようなフレームでなければならない。実施形態に係る関心領域とは、作業者が興味を持っており、且つ、医用画像処理装置１００の外部の表示装置（ディスプレイ）による観察を希望する目標領域をいう。関心領域を設定する手段として、初期フレームを選定した後、医用画像処理装置１００に対応する入力部を用い、人為的操作により関心領域をマーク付けることで、初期フレームに関心領域が設定されたようにすることができる。 The initial frame in the embodiment may be a frame that has just started imaging, or a frame that is a certain time after the start of imaging, but it must be a frame that allows the operator to accurately select a region of interest (tumor). I must. The region of interest according to the embodiment refers to a target region that the operator is interested in and desires to observe with a display device (display) outside the medical image processing apparatus 100. After selecting an initial frame as means for setting the region of interest, the region of interest is set in the initial frame by marking the region of interest by an artificial operation using the input unit corresponding to the medical image processing apparatus 100. Can be.

図８は、ディスプレイに表示された超音波画像及びその関心領域を示す図である。図８の右図及び図８の左図は、造影剤存在下で被検体を走査した同一の反射波データに基づく初期フレームの超音波画像である。図８の左図は、造影剤のみを映像化した超音波画像８ｂを示し、図８の右図は、図８の左図の背景のＢモードの超音波画像８ａを示す。作業者は、例えば、超音波画像８ａ或いは超音波画像８ｂを参照して、関心領域を設定する。より具体的には、超音波画像８ａにおいて関心領域８ｃを設定する。そして、医用画像処理装置１００は、関心領域８ｃの設定に連動して、超音波画像８ｂにおいて関心領域８ｃに対応する位置に関心領域８ｄを設定する。なお、作業者は、超音波画像８ｂにおいて関心領域８ｄを設定してもよい。かかる場合、医用画像処理装置１００は、関心領域８ｄの設定に連動して、超音波画像８ａにおいて関心領域８ｄに対応する位置に関心領域８ｃを設定する。このように、初期フレームは、関心領域が設定されたフレームである。 FIG. 8 is a diagram showing an ultrasound image displayed on the display and its region of interest. The right diagram in FIG. 8 and the left diagram in FIG. 8 are ultrasound images of an initial frame based on the same reflected wave data obtained by scanning the subject in the presence of the contrast agent. The left diagram in FIG. 8 shows an ultrasound image 8b obtained by imaging only the contrast agent, and the right diagram in FIG. 8 shows a B-mode ultrasound image 8a in the background of the left diagram in FIG. The worker sets a region of interest with reference to, for example, the ultrasonic image 8a or the ultrasonic image 8b. More specifically, the region of interest 8c is set in the ultrasonic image 8a. Then, in conjunction with the setting of the region of interest 8c, the medical image processing apparatus 100 sets the region of interest 8d at a position corresponding to the region of interest 8c in the ultrasonic image 8b. Note that the operator may set the region of interest 8d in the ultrasonic image 8b. In such a case, the medical image processing apparatus 100 sets the region of interest 8c at a position corresponding to the region of interest 8d in the ultrasonic image 8a in conjunction with the setting of the region of interest 8d. Thus, the initial frame is a frame in which a region of interest is set.

参照フレーム生成回路１０２は、プロセッサにより実現することができ、現在フレームと当該現在フレームの直前フレームとの類似度比較を行い、比較結果を用いた初期フレーム及び直前フレームへの重みづけ処理に基づき、参照フレームを生成する。例えば、参照フレーム生成回路１０２は、撮像した現在フレーム（Ｆｒａｍｅ_ｉ）とその直前フレーム（Ｆｒａｍｅ_ｉ−１）との類似度比較を行い、当該類似度に基づき初期フレーム及び直前フレームに重みを付与する。より具体的には、参照フレーム生成回路１０２は、類似度が高ければ、直前フレーム（Ｆｒａｍｅ_ｉ−１）の重みを増し、または、類似度が低ければ、初期フレーム（Ｆｒａｍｅ_１）の重みを増して、重みが付与された直前フレーム及び初期フレームを用い、参照フレーム（Ｆｒａｍｅ_ｒ）を生成する。なお、参照フレームの生成において、関心領域が設定された初期フレーム（Ｆｒａｍｅ_１）が用いられる。このため、生成する参照フレームには同様に、関心領域が設定され、腫瘍観察の際にディスプレイから関心領域を観察することができる。本実施形態の場合、例えば、図８を用いて上述したように、超音波画像において関心領域８ｃ及び関心領域８ｄが設定される。なお、参照フレームの生成について、後述の内容に詳しく説明する。 The reference frame generation circuit 102 can be realized by a processor, performs similarity comparison between the current frame and the immediately preceding frame of the current frame, and based on the weighting process to the initial frame and the immediately preceding frame using the comparison result, Generate a reference frame. For example, the reference frame generation circuit 102 compares the similarity between the captured current frame (Frame _i ) and the immediately preceding frame (Frame _i−1 ), and assigns weights to the initial frame and the immediately preceding frame based on the similarity. . More specifically, the reference frame generation circuit 102 increases the weight of the immediately preceding frame (Frame _i-1 ) if the similarity is high, or increases the weight of the initial frame (Frame ₁ ) if the similarity is low. Thus, the reference frame (Frame _r ) is generated using the immediately preceding frame and the initial frame to which the weight is given. Note that an initial frame (Frame ₁ ) in which a region of interest is set is used in generating a reference frame. For this reason, the region of interest is similarly set in the generated reference frame, and the region of interest can be observed from the display during tumor observation. In the case of the present embodiment, for example, as described above with reference to FIG. 8, the region of interest 8c and the region of interest 8d are set in the ultrasonic image. The generation of the reference frame will be described in detail later.

トラッキング処理回路１０３は、プロセッサにより実現することができ、参照フレームと現在フレームとの間と、現在フレームと直前フレームとの間とでトラッキング処理を行う。例えば、トラッキング処理回路１０３は、現在フレームを格納するか否かを判定するように、各フレーム間にトラッキング処理を行う。トラッキング処理は、いずれかのフレームの関心領域から別のフレームのマッチング領域をマッチングするマッチング処理と、いずれかのフレームの関心領域と別のフレームのマッチング領域との間の変化量と予め確定した閾値とを比較する比較判定処理と、を含む。 The tracking processing circuit 103 can be realized by a processor, and performs tracking processing between the reference frame and the current frame and between the current frame and the immediately preceding frame. For example, the tracking processing circuit 103 performs tracking processing between each frame so as to determine whether or not to store the current frame. The tracking process includes a matching process for matching a matching region of another frame from a region of interest of any frame, a change amount between the region of interest of one frame and the matching region of another frame, and a predetermined threshold value. And comparison determination processing for comparing.

従来の技術では、２フレームの間にマッチングを行うマッチング処理、及び、マッチング後の変化量と閾値とを比較する方法が開示されている。本実施形態に係るトラッキング処理回路１０３は、従来の技術に係る方法により、参照フレームと現在フレームとの間のみでマッチング処理を行い、マッチング後のフレーム間の変化量と閾値とを比較することにより現在フレームを格納するか否かを判定することができる。しかし、２フレーム間のみでマッチング処理を行って変化量と閾値との比較を行う場合、参照フレームが不正確であると、後続の処理による結果も不正確になることがあるので、現在フレームの信頼性を正確に判定することができない。 The conventional technique discloses a matching process for matching between two frames and a method for comparing the amount of change after matching with a threshold value. The tracking processing circuit 103 according to the present embodiment performs the matching process only between the reference frame and the current frame by the method according to the conventional technique, and compares the change amount between the frames after matching with the threshold value. It can be determined whether or not to store the current frame. However, when matching is performed between two frames and the amount of change is compared with the threshold, if the reference frame is inaccurate, the result of subsequent processing may also be inaccurate. Reliability cannot be accurately determined.

それに対し、本実施形態に係るトラッキング処理回路１０３が３フレーム間（参照フレーム（Ｆｒａｍｅ_ｒ）と現在フレーム（Ｆｒａｍｅ_ｉ）との間、及び、現在フレーム（Ｆｒａｍｅ_ｉ）と直前フレーム（Ｆｒａｍｅ_ｉ−１）との間）にマッチング及び閾値比較を行うことは好ましく、現在フレーム（Ｆｒａｍｅ_ｉ）と直前フレーム（Ｆｒａｍｅ_ｉ−１）にもマッチング及び閾値比較を行うことにより、現在フレームを格納するか否かをより正確に判定することができる。 In contrast, during the present embodiment according the tracking processing circuit 103 is between 3 frames (the reference frame (Frame _r) and the current frame (Frame _i), and the current frame (Frame _i) and the previous frame (Frame _i-1 Between the current frame (Frame _i ) and the previous frame (Frame _i-1 ), and whether or not to store the current frame. Can be determined more accurately.

（参照フレームの生成）
以下は、参照フレーム生成回路１０２による参照フレームの生成について具体的に説明する。 (Generate reference frame)
Hereinafter, the generation of the reference frame by the reference frame generation circuit 102 will be specifically described.

参照フレーム生成回路１０２は、類似度比較を行い、類似度が高ければ、直前フレームの重みを増し、類似度が低ければ、初期フレームの重みを増す処理を行って、重みづけ処理した初期フレーム及び直前フレームを加算することにより、参照フレームを生成する。 The reference frame generation circuit 102 performs similarity comparison, and if the similarity is high, increases the weight of the immediately preceding frame, and if the similarity is low, performs a process of increasing the weight of the initial frame, A reference frame is generated by adding the immediately preceding frame.

例えば、参照フレーム生成回路１０２は、参照フレームの生成において、まず、直前フレームの関心領域を初期フレームの関心領域に対し変位させ、そして、初期フレームと変位された直前フレームとにそれぞれ重みを付与することで、参照フレームを生成する。変位及び重みの付与について、後述の内容に詳しく説明する。 For example, in generating the reference frame, the reference frame generation circuit 102 first displaces the region of interest of the immediately preceding frame with respect to the region of interest of the initial frame, and assigns weights to the initial frame and the displaced immediately preceding frame, respectively. Thus, a reference frame is generated. Displacement and weighting will be described in detail below.

参照フレームの生成には、下記の式（１）が用いられる。すなわち、式（１）は、Ｆｒａｍｅ_ｒ＝ａ×Ｆｒａｍｅ_１＋ｂ×Ｔ（Ｆｒａｍｅ_ｉ−１）である。ここで、ａ，ｂ∈［０，１］とする。 The following equation (1) is used to generate the reference frame. That is, Equation (1) is a _{_{Frame r = a × Frame 1 +}} b × T (Frame i-1). Here, it is assumed that a, bε [0, 1].

式（１）では、Ｆｒａｍｅ_１は初期フレーム、Ｆｒａｍｅ_ｉ−１は現在フレームの直前フレーム、Ｔ（Ｆｒａｍｅ_ｉ−１）は直前フレーム中の関心領域の位置を初期フレーム中の関心領域の位置に対し変位させたもの、ａ，ｂはそれぞれ初期フレーム（Ｆｒａｍｅ_１）及び直前フレーム（Ｆｒａｍｅ_ｉ−１）の重み係数（以下、ａ，ｂをそれぞれ初期フレームの重みａ，直前フレームの重みｂという）、Ｆｒａｍｅ_ｒは生成される参照フレームを表しており、この参照フレームは、重みａが付与された初期フレームと、初期フレームに対し変位され且つ重みｂが付与された直前フレームとを加算することにより得られる。すなわち、参照フレーム生成回路１０２は、加算の前に、直前フレームの関心領域の位置を初期フレームの関心領域に対し変位させる。 In Equation (1), Frame ₁ is the initial frame, Frame _i-1 is the immediately preceding frame of the current frame, and T (Frame _i-1 ) is the position of the region of interest in the immediately preceding frame with respect to the region of interest in the initial frame. Displaced, a and b are weighting coefficients of the initial frame (Frame ₁ ) and the immediately preceding frame (Frame _i-1 ) (hereinafter, a and b are respectively referred to as initial frame weight a and immediately preceding frame weight b), Frame _r represents a reference frame to be generated, and this reference frame is obtained by adding the initial frame to which the weight a is given and the immediately preceding frame to which the weight b is given by being displaced with respect to the initial frame. It is done. That is, the reference frame generation circuit 102 displaces the position of the region of interest in the immediately preceding frame with respect to the region of interest in the initial frame before addition.

そして、式（１）におけるＴ（Ｆｒａｍｅ_ｉ−１）の変位（即ち、直前フレームの関心領域を初期フレームの関心領域に対し変位させたこと）について図２を参照して説明する。図２では、Ｆｒａｍｅ_１は記憶回路から読取られた初期フレーム、Ｆｒａｍｅ_ｉ−１は記憶回路から読取られた直前フレーム、Ｔ（Ｆｒａｍｅ_ｉ−１）は直前フレーム中の関心領域を初期フレーム中の関心領域に対し変位させた画像、Ｆｒａｍｅ_ｒは生成される参照フレームを表している。例えば、図２に示すように、初期フレーム（Ｆｒａｍｅ_１）には関心領域２ａが設定され、直前フレーム（Ｆｒａｍｅ_ｉ−１）には関心領域２ｂが設定される。 Then, the displacement of T (Frame _i- 1) in Equation (1) (that is, the region of interest in the immediately preceding frame is displaced from the region of interest in the initial frame) will be described with reference to FIG. In FIG. 2, Frame ₁ is the initial frame read from the storage circuit, Frame _i-1 is the immediately preceding frame read from the storage circuit, and T (Frame _i-1 ) is the region of interest in the immediately preceding frame. An image displaced with respect to the region, Frame _r , represents a generated reference frame. For example, as shown in FIG. 2, the region of interest 2a is set in the initial frame (Frame ₁ ), and the region of interest 2b is set in the immediately preceding frame (Frame _i-1 ).

超音波画像の収集過程は動的過程であるので、取得回路１０１が時系列に取得する複数のフレームのうち、関心領域の位置が完全に一致しないことがあり、２フレーム（初期フレーム、直前フレーム）中の関心領域の位置を合わせるために、いずれかのフレームの関心領域の位置を別のフレームに対し変位させる必要がある。本実施形態では、初期フレームが関心領域の存在を特定するための基準フレームとして機能するため、変位のときには、直前フレーム中の関心領域の位置を初期フレーム中の関心領域の位置に対し変位させる。より具体的には、参照フレーム生成回路１０２は、直前フレーム（Ｆｒａｍｅ_ｉ−１）における関心領域２ｂを、初期フレーム（Ｆｒａｍｅ_１）中の関心領域２ａに対し変位させる。すなわち、参照フレーム生成回路１０２は、直前フレーム（Ｆｒａｍｅ_ｉ−１）の関心領域２ｂを、Ｔ（Ｆｒａｍｅ_ｉ−１）における所望の目標位置２ｃに変位させる。なお、図２に示す例では、参照フレーム中には関心領域２ｄが設定される。この参照フレーム中の関心領域２ｄの位置は、初期フレーム中の関心領域２ａの位置に対応する。 Since the acquisition process of the ultrasonic image is a dynamic process, the position of the region of interest may not completely match among a plurality of frames acquired by the acquisition circuit 101 in time series. In order to align the region of interest in the middle), it is necessary to displace the region of interest in one frame relative to another frame. In this embodiment, since the initial frame functions as a reference frame for specifying the presence of the region of interest, the position of the region of interest in the immediately preceding frame is displaced with respect to the position of the region of interest in the initial frame at the time of displacement. More specifically, the reference frame generation circuit 102 displaces the region of interest 2b in the immediately preceding frame (Frame _i-1 ) with respect to the region of interest 2a in the initial frame (Frame ₁ ). That is, the reference frame generation circuit 102 displaces the region of interest 2b of the immediately preceding frame (Frame _i-1 ) to a desired target position 2c in T (Frame _i-1 ). In the example shown in FIG. 2, the region of interest 2d is set in the reference frame. The position of the region of interest 2d in the reference frame corresponds to the position of the region of interest 2a in the initial frame.

また、参照フレームの生成において、初期フレーム及び直前フレームにそれぞれ付与される重みａ，ｂは下記の式（２）で表される関係を満足し、即ち、重みｂが小さければ、重みａが大きくなり、重みｂが大きければ、重みａが小さくなる。ここで、式（２）は、ａ＝１−ｂである。 In the generation of the reference frame, the weights a and b given to the initial frame and the immediately preceding frame satisfy the relationship expressed by the following equation (2), that is, if the weight b is small, the weight a is large. If the weight b is large, the weight a is small. Here, Formula (2) is a = 1-b.

なお、式（２）では、重みｂが現在フレームと直前フレームの類似度によって決定され、下記の式（３）を満足する。ここで、式（３）は、ｂ＝０．５＊ＣＣ（ｉ−１，ｉ）である。 In equation (2), weight b is determined by the similarity between the current frame and the previous frame, and satisfies equation (3) below. Here, Formula (3) is b = 0.5 * CC (i-1, i).

式（３）では、ＣＣ（ｉ−１，ｉ）は現在フレーム（Ｆｒａｍｅ_ｉ）と直前フレーム（Ｆｒａｍｅ_ｉ−１）との類似度を表しており、当該類似度の算出方法として、従来の技術における算出方法を用いてもよい。ＣＣ（ｉ−１，ｉ）が現在フレーム（Ｆｒａｍｅ_ｉ）と直前フレーム（Ｆｒａｍｅ_ｉ−１）とに基づいて算出され、重みｂとＣＣ（ｉ−１，ｉ）との間には式（３）で表される関係があるため、重みｂは現在フレーム（Ｆｒａｍｅ_ｉ）と直前フレーム（Ｆｒａｍｅ_ｉ−１）とに対応付けられたパラメータである。 In Equation (3), CC (i−1, i) represents the similarity between the current frame (Frame _i ) and the immediately preceding frame (Frame _i−1 ). The calculation method in may be used. CC (i−1, i) is calculated based on the current frame (Frame _i ) and the immediately preceding frame (Frame _i−1 ), and an equation (3) is inserted between the weight b and CC (i−1, i). ), The weight b is a parameter associated with the current frame (Frame _i ) and the previous frame (Frame _i-1 ).

従って、式（２）及び式（３）における重みａ，ｂと類似度ＣＣ（ｉ−１，ｉ）との関係に基づいて、現在フレームと直前フレームとの類似度が高ければ、式１における直前フレームに大きな重みを付与し初期フレームに小さい重みを付与するのに対し、現在フレームと直前フレームとの類似度が低ければ、式１における直前フレームに小さい重みを付与し初期フレームに大きな重みを付与する。 Therefore, if the similarity between the current frame and the immediately preceding frame is high based on the relationship between the weights a and b and the similarity CC (i−1, i) in the equations (2) and (3), the equation 1 A large weight is given to the immediately preceding frame and a small weight is given to the initial frame. On the other hand, if the similarity between the current frame and the immediately preceding frame is low, a small weight is given to the immediately preceding frame in Equation 1 and a large weight is given to the initial frame. Give.

（参照フレームの生成による作用）
本実施形態に係る参照フレームは、初期フレーム、直前フレーム及び現在フレームに基づいて生成され、そのうち、初期フレームは関心領域が設定されたフレームである。初期フレームを含む三つのフレームを用い参照フレームを生成することにより、参照フレームにおける所望の関心領域の存在を確保し、超音波画像輝度の大きな変化またはフレームの紛失による誤検出を排除することができる。 (Operation by reference frame generation)
The reference frame according to the present embodiment is generated based on the initial frame, the immediately preceding frame, and the current frame, and the initial frame is a frame in which a region of interest is set. By generating a reference frame using three frames including the initial frame, it is possible to ensure the presence of a desired region of interest in the reference frame and eliminate false detection due to a large change in ultrasonic image brightness or frame loss. .

また、本実施形態に係る参照フレームの生成において、直前フレームと現在フレームとの類似度に応じて、初期フレーム及び直前フレームに異なる重みを適応的に付与し、直前フレームと現在フレームとの類似度が高ければ、直前フレームの重みを増し、直前フレームと現在フレームとの類似度が低ければ、初期フレームの重みを増すことで、参照フレームを生成する。この方法により、類似度が高ければ、現在フレームに似ている直前フレームの重みを増し、類似度が低ければ、関心領域の検出に失敗が発生したなどと判定して関心領域が設定された初期フレームの重みを増すことで、参照フレームにおける所望の関心領域の存在を保証し、超音波画像輝度の大きな変化またはフレームの紛失による誤検出を排除することができる。 In addition, in the generation of the reference frame according to the present embodiment, different weights are adaptively assigned to the initial frame and the immediately preceding frame according to the similarity between the immediately preceding frame and the current frame, and the similarity between the immediately preceding frame and the current frame is given. If is high, the weight of the immediately preceding frame is increased, and if the similarity between the immediately preceding frame and the current frame is low, the weight of the initial frame is increased to generate the reference frame. By this method, if the similarity is high, the weight of the immediately preceding frame that is similar to the current frame is increased. If the similarity is low, it is determined that the region of interest has failed in the detection of the region of interest. Increasing the frame weight ensures the presence of the desired region of interest in the reference frame and eliminates false detections due to large changes in ultrasound image brightness or frame loss.

以下、第１の実施形態に係る医用画像処理装置１００によるトラッキング処理の手順について、図３を参照して説明する。図３は、第１の実施形態に係る医用画像処理装置１００によるトラッキング処理の手順を示すフローチャートである。 Hereinafter, a tracking process procedure performed by the medical image processing apparatus 100 according to the first embodiment will be described with reference to FIG. FIG. 3 is a flowchart showing a procedure of tracking processing by the medical image processing apparatus 100 according to the first embodiment.

医用画像処理装置１００の取得回路１０１は、初期フレーム（Ｆｒａｍｅ_１）を始点とした、超音波画像を表す複数のフレームを時系列に取得する（ステップＳ１０１）。初期フレームに、観察者が興味を持っている部位である関心領域を含む。 The acquisition circuit 101 of the medical image processing apparatus 100 acquires a plurality of frames representing an ultrasonic image starting from the initial frame (Frame ₁ ) in time series (step S101). The initial frame includes a region of interest that is a region of interest to the observer.

ステップＳ１０２では、参照フレーム生成回路１０２は直前フレーム（Ｆｒａｍｅ_ｉ−１）中の関心領域を初期フレーム（Ｆｒａｍｅ_１）中の関心領域に対し変位させ、現在フレーム（Ｆｒａｍｅ_ｉ）と直前フレーム（Ｆｒａｍｅ_ｉ−１）との類似度比較を行い、現在フレーム（Ｆｒａｍｅ_ｉ）と直前フレーム（Ｆｒａｍｅ_ｉ−１）との類似度に基づき初期フレーム（Ｆｒａｍｅ_１）及び直前フレーム（Ｆｒａｍｅ_ｉ−１）に重みを付与し、類似度が高ければ、直前フレームの重みを増し、類似度が低ければ、初期フレームの重みを増して、それぞれ重みが付与された直前フレーム及び初期フレームを加算して参照フレーム（Ｆｒａｍｅ_ｒ）を生成する。類似度比較は、現在フレームの超音波画像及び直前フレームの超音波画像の全域で行う。 In step S102, the reference frame generation circuit 102 displaces the region of interest in the immediately preceding frame (Frame _i-1 ) with respect to the region of interest in the initial frame (Frame ₁ ), and the current frame (Frame _i ) and the immediately preceding frame (Frame _i). performs a similarity comparison between _-1), weighting the initial frame based on similarity (frame ₁₎ and the previous frame (frame _i-1) of the current frame and (frame _i) and the previous frame (frame _i-1) If the degree of similarity is high, the weight of the immediately preceding frame is increased. If the degree of similarity is low, the weight of the initial frame is increased, and the immediately preceding frame and the initial frame to which the weight is assigned are added to each other to add a reference frame (Frame _r ) Is generated. The similarity comparison is performed in the entire area of the ultrasonic image of the current frame and the ultrasonic image of the previous frame.

そして、トラッキング処理回路１０３は現在フレームが受け入れられるか否かを判定するために、各フレーム間でトラッキング処理を行う。受け入れられると判定されると現在フレームを格納し、受け入れられないと判定されると現在フレームを破棄する（ステップＳ１０３）。 Then, the tracking processing circuit 103 performs tracking processing between each frame in order to determine whether or not the current frame is accepted. If it is determined that the current frame is acceptable, the current frame is stored. If it is determined that the current frame is not acceptable, the current frame is discarded (step S103).

トラッキング処理は、いずれかのフレームの関心領域から別のフレームのマッチング領域をマッチングするマッチング処理と、いずれかのフレームの関心領域と別のフレームのマッチング領域との間の変化量と予め確定した閾値とを比較する比較判定処理と、を含む。 The tracking process includes a matching process for matching a matching region of another frame from a region of interest of any frame, a change amount between the region of interest of one frame and the matching region of another frame, and a predetermined threshold value. And comparison determination processing for comparing.

従来の技術では、二つのフレームの間にマッチングを行うマッチング処理、及び、マッチング後の変化量と閾値とを比較する方法が開示されている。ステップＳ１０３において、従来の技術に係る方法により、参照フレームと現在フレームとの間のみでマッチング処理を行い、マッチング後のフレーム間の変化量と閾値とを比較することにより現在フレームを格納するか否かを判定してもよい。しかし、二つのフレーム間のみでマッチング処理を行って変化量と閾値との比較を行う場合、参照フレームが不正確であると、後続の処理による結果も不正確になることがあるので、現在フレームを格納するか否かを正確に判定することができない。 In the prior art, a matching process for performing matching between two frames and a method for comparing the amount of change after matching with a threshold value are disclosed. In step S103, whether or not to store the current frame by performing matching processing only between the reference frame and the current frame and comparing the amount of change between the matched frames and a threshold value by the method according to the related art. It may be determined. However, when the matching process is performed only between two frames and the change amount is compared with the threshold value, if the reference frame is inaccurate, the result of the subsequent process may be inaccurate. It is not possible to accurately determine whether or not to store.

それに対し、第１の実施形態のステップＳ１０３では、トラッキング処理回路１０３は、三つのフレーム間（参照フレーム（Ｆｒａｍｅ_ｒ）と現在フレーム（Ｆｒａｍｅ_ｉ）との間、及び、現在フレーム（Ｆｒａｍｅ_ｉ）と直前フレーム（Ｆｒａｍｅ_ｉ−１）との間）で関心領域のマッチングを行う。そして、トラッキング処理回路１０３は、現在フレームにおける参照フレームとの間でマッチングされた領域と、参照フレームにおいて当該マッチングされた領域と対応する領域との間の第１の変化量を算出する。また、トラッキング処理回路１０３は、現在フレームにおける直前フレームとの間でマッチングされた領域と、直前フレームにおいて当該マッチングされた領域と対応する領域との間の第２の変化量を算出する。そして、トラッキング処理回路１０３は、算出した第１の変化量及び第２の変化量が同時に閾値未満の場合、トラッキング成功と判定し、算出した第１の変化量及び第２の変化量の少なくともいずれか一方が閾値以上の場合、トラッキング失敗と判定する。 On the other hand, in step S103 of the first embodiment, the tracking processing circuit 103 determines that there are three frames (between the reference frame (Frame _r ) and the current frame (Frame _i ), and the current frame (Frame _i )). The region of interest is matched in the previous frame (with frame _i-1 ). Then, the tracking processing circuit 103 calculates a first change amount between a region matched with the reference frame in the current frame and a region corresponding to the matched region in the reference frame. Further, the tracking processing circuit 103 calculates a second change amount between a region matched with the immediately preceding frame in the current frame and a region corresponding to the matched region in the immediately preceding frame. The tracking processing circuit 103 determines that tracking is successful when the calculated first change amount and the second change amount are simultaneously less than the threshold, and at least one of the calculated first change amount and the second change amount. If either one is greater than or equal to the threshold, it is determined that tracking has failed.

図７は、従来技術に係る超音波画像輝度の大きな変化及びプローブの動きなどによるフレームの紛失を概略的に示す図である。図７上段を用いて、超音波画像輝度の大きな変化によるフレームの紛失がある場合を説明し、図７下段を用いて、プローブの動きや被検体の体動などによるフレームの紛失がある場合を説明する。 FIG. 7 is a diagram schematically illustrating a loss of a frame due to a large change in ultrasonic image brightness and probe movement according to the related art. The upper part of FIG. 7 is used to explain the case where the frame is lost due to a large change in the intensity of the ultrasonic image, and the lower part of FIG. 7 is used to explain the case where the frame is lost due to the movement of the probe or the body movement of the subject. explain.

図７上段では、超音波画像７ａ、超音波画像７ｂ及び超音波画像７ｃを示す。図７上段に示す各超音波画像は、超音波画像７ａ、超音波画像７ｂ及び超音波画像７ｃの順で時系列に取得されるものとする。また、図７上段に示す例では、超音波画像７ａを初期フレームとし、初期フレームである超音波画像７ａにおいて関心領域７ｄが設定されるものとする。 In the upper part of FIG. 7, an ultrasonic image 7a, an ultrasonic image 7b, and an ultrasonic image 7c are shown. Each ultrasonic image shown in the upper part of FIG. 7 is acquired in time series in the order of the ultrasonic image 7a, the ultrasonic image 7b, and the ultrasonic image 7c. In the example shown in the upper part of FIG. 7, it is assumed that the ultrasound image 7 a is an initial frame, and the region of interest 7 d is set in the ultrasound image 7 a that is the initial frame.

ここで、ＴＣＡ解析では、例えば、造影剤が関心領域に取り込まれた後、関心領域から造影剤が排出されるまでの期間において、関心領域における時系列の造影剤濃度の変化が観察される。関心領域に造影剤が取り込まれる際には、超音波画像において急激な輝度の変化が生じる。例えば、超音波画像７ｂや超音波画像７ｃでは、超音波画像７ａに比べて輝度が急激に変化している。このような場合、従来技術に係る医用画像処理装置は、例えば、隣接する２フレーム間でのパターンマッチングでは、関心領域を正確に追跡することができない可能性がある。より具体的には、従来技術に係る医用画像処理装置は、超音波画像７ａとのパターンマッチングでは、超音波画像７ｂにおける関心領域７ｅを追跡できない。また、従来技術に係る医用画像処理装置は、関心領域を追跡できなかった超音波画像７ｂとのパターンマッチングでは、超音波画像７ｃにおける関心領域７ｆを追跡できない。このように、従来技術に係る医用画像処理装置によって関心領域を正確に追跡できない場合、超音波画像７ｂや超音波画像７ｃは、ＴＣＡ解析において所望されないフレームとなる。 Here, in the TCA analysis, for example, a time-series change in contrast agent concentration in the region of interest is observed in a period from when the contrast agent is taken into the region of interest until the contrast agent is discharged from the region of interest. When the contrast agent is taken into the region of interest, an abrupt brightness change occurs in the ultrasound image. For example, in the ultrasonic image 7b and the ultrasonic image 7c, the luminance changes abruptly as compared with the ultrasonic image 7a. In such a case, the medical image processing apparatus according to the related art may not be able to accurately track the region of interest by, for example, pattern matching between two adjacent frames. More specifically, the medical image processing apparatus according to the related art cannot track the region of interest 7e in the ultrasonic image 7b by pattern matching with the ultrasonic image 7a. In addition, the medical image processing apparatus according to the related art cannot track the region of interest 7f in the ultrasound image 7c by pattern matching with the ultrasound image 7b that could not track the region of interest. As described above, when the region of interest cannot be accurately tracked by the medical image processing apparatus according to the related art, the ultrasonic image 7b and the ultrasonic image 7c are undesired frames in the TCA analysis.

また、図７下段では、超音波画像７ｇ、超音波画像７ｈ及び超音波画像７ｉを示す。図７下段に示す各超音波画像は、超音波画像７ｇ、超音波画像７ｈ及び超音波画像７ｉの順で時系列に取得されるものとする。また、図７下段に示す例では、超音波画像７ｇを初期フレームとし、初期フレームである超音波画像７ｇにおいて関心領域７ｊが設定されるものとする。 In the lower part of FIG. 7, an ultrasonic image 7g, an ultrasonic image 7h, and an ultrasonic image 7i are shown. Each ultrasonic image shown in the lower part of FIG. 7 is acquired in time series in the order of the ultrasonic image 7g, the ultrasonic image 7h, and the ultrasonic image 7i. In the example shown in the lower part of FIG. 7, it is assumed that the ultrasound image 7g is an initial frame, and the region of interest 7j is set in the ultrasound image 7g that is the initial frame.

ここで、超音波走査中にプローブの移動や被検体の体動により撮像範囲が移動する場合がある。例えば、超音波画像７ｈや超音波画像７ｉでは、超音波画像７ｇに比べて撮像範囲が移動している。このような場合、従来技術に係る医用画像処理装置は、例えば、隣接する２フレーム間でのパターンマッチングでは、関心領域を正確に追跡することができない可能性がある。より具体的には、従来技術に係る医用画像処理装置は、超音波画像７ｇとのパターンマッチングでは、超音波画像７ｈにおける関心領域７ｋを追跡できない。また、従来技術に係る医用画像処理装置は、関心領域を追跡できなかった超音波画像７ｈとのパターンマッチングでは、超音波画像７ｉにおける関心領域７ｌを追跡できない。このように、従来技術に係る医用画像処理装置によって関心領域を正確に追跡できない場合、超音波画像７ｈや超音波画像７ｉは、ＴＣＡ解析において所望されないフレームとなる。 Here, the imaging range may move due to the movement of the probe or the body movement of the subject during the ultrasonic scanning. For example, in the ultrasonic image 7h and the ultrasonic image 7i, the imaging range is moved compared to the ultrasonic image 7g. In such a case, the medical image processing apparatus according to the related art may not be able to accurately track the region of interest by, for example, pattern matching between two adjacent frames. More specifically, the medical image processing apparatus according to the related art cannot track the region of interest 7k in the ultrasonic image 7h by pattern matching with the ultrasonic image 7g. In addition, the medical image processing apparatus according to the related art cannot track the region of interest 7l in the ultrasound image 7i by pattern matching with the ultrasound image 7h that could not track the region of interest. As described above, when the region of interest cannot be accurately tracked by the medical image processing apparatus according to the related art, the ultrasonic image 7h and the ultrasonic image 7i are undesired frames in the TCA analysis.

しかしながら、上述した画像処理方法によれば、図７に示すような所望されないフレームを破棄することができ、即ち、超音波画像輝度の大きな変化及びプローブの動きなどによる価値のない画像を排除することは可能となる。より具体的には、医用画像処理装置１００は、図７上段に示す超音波画像７ｂを破棄する。更に、医用画像処理装置１００は、参照フレームとのマッチング及び直前フレームである超音波画像７ｂとのマッチングにより、図７上段に示す超音波画像７ｃにおいて、正確に関心領域を追跡可能になる。これにより、医用画像処理装置１００は、超音波画像７ｃを保持することができる。また、医用画像処理装置１００は、図７下段に示す超音波画像７ｈを破棄する。更に、医用画像処理装置１００は、参照フレームとのマッチング及び直前フレームである超音波画像７ｈとのマッチングにより、図７下段に示す超音波画像７ｉにおいて、正確に関心領域を追跡可能になる。これにより、医用画像処理装置１００は、超音波画像７ｉを保持することができる。 However, according to the above-described image processing method, an undesired frame as shown in FIG. 7 can be discarded, that is, an image having no value due to a large change in the ultrasonic image brightness and the movement of the probe is excluded. Is possible. More specifically, the medical image processing apparatus 100 discards the ultrasonic image 7b shown in the upper part of FIG. Furthermore, the medical image processing apparatus 100 can accurately track the region of interest in the ultrasound image 7c shown in the upper part of FIG. 7 by matching with the reference frame and matching with the ultrasound image 7b as the immediately preceding frame. Thereby, the medical image processing apparatus 100 can hold the ultrasonic image 7c. Further, the medical image processing apparatus 100 discards the ultrasonic image 7h illustrated in the lower part of FIG. Furthermore, the medical image processing apparatus 100 can accurately track the region of interest in the ultrasound image 7i shown in the lower part of FIG. 7 by matching with the reference frame and matching with the ultrasound image 7h that is the immediately preceding frame. Thereby, the medical image processing apparatus 100 can hold the ultrasonic image 7i.

（変形例）
上述した実施形態では、重みａ，ｂが式２で表される関係を満足し、且つ、重みｂ及びＣＣ（ｉ−１，ｉ）が式３で表される関係を満足するとして説明したものであるが、また、重みａが重みｂと伴って変化することなく０以上の固定値となり、重みｂと類似度ＣＣ（ｉ−１，ｉ）との間で他の正の相関関係を満足するとしてもよい。 (Modification)
In the above-described embodiment, the weights a and b satisfy the relationship represented by Expression 2, and the weights b and CC (i−1, i) satisfy the relationship represented by Expression 3. However, the weight a does not change with the weight b, and becomes a fixed value of 0 or more, and other positive correlations are satisfied between the weight b and the similarity CC (i−1, i). You may do that.

重みａ，ｂとＣＣ（ｉ−１，ｉ）との間の関係は特に限定されておらず、現在フレームと直前フレームとの類似度が高ければ、直前フレームに大きな重みを付与し、現在フレームと直前フレームとの類似度が低ければ、直前フレームに小さい重みを付与するように満足すればよい。 The relationship between the weights a and b and CC (i−1, i) is not particularly limited. If the similarity between the current frame and the previous frame is high, a large weight is given to the previous frame, and the current frame If the similarity between the previous frame and the previous frame is low, it may be satisfied that a small weight is given to the previous frame.

（実施形態２）
第２の実施形態は第１の実施形態の変形例である。図４に示すように、第２の実施形態に係る医用画像処理装置２００は、第１の実施形態に係る医用画像処理装置１００の取得回路１０１及び参照フレーム生成回路１０２と同一の取得回路２０１及び参照フレーム生成回路２０２と、第１の実施形態に係るトラッキング処理回路１０３と異なるトラッキング処理回路２０３と、を備える。 (Embodiment 2)
The second embodiment is a modification of the first embodiment. As illustrated in FIG. 4, the medical image processing apparatus 200 according to the second embodiment includes an acquisition circuit 201 that is the same as the acquisition circuit 101 and the reference frame generation circuit 102 of the medical image processing apparatus 100 according to the first embodiment. A reference frame generation circuit 202 and a tracking processing circuit 203 different from the tracking processing circuit 103 according to the first embodiment are provided.

第２の実施形態に係るトラッキング処理回路２０３はマッチング回路２０４とトラッキング結果判定回路２０５とを備える。 The tracking processing circuit 203 according to the second embodiment includes a matching circuit 204 and a tracking result determination circuit 205.

図５はマッチング回路２０４により行う正方向マッチング及び逆方向マッチング、並びに、トラッキング結果判定回路２０５により行うトラッキング処理を説明するための図である。 FIG. 5 is a diagram for explaining forward direction matching and backward direction matching performed by the matching circuit 204 and tracking processing performed by the tracking result determination circuit 205.

図５の中図は、現在フレームの超音波画像５ａを示す。そして、図５の左図は、参照フレームの超音波画像５ｂを示し、図５の右図は、直前フレームの超音波画像５ｃを示す。また、図５の左図には、参照フレームの超音波画像５ｂにおいて設定された関心領域５ｅを示し、図５の右図には、直前フレームの超音波画像５ｃにおいて設定された関心領域５ｆを示す。 The middle diagram of FIG. 5 shows the ultrasound image 5a of the current frame. And the left figure of FIG. 5 shows the ultrasonic image 5b of the reference frame, and the right figure of FIG. 5 shows the ultrasonic image 5c of the immediately preceding frame. 5 shows the region of interest 5e set in the ultrasound image 5b of the reference frame, and the right diagram of FIG. 5 shows the region of interest 5f set in the ultrasound image 5c of the immediately preceding frame. Show.

図５に示すように、本実施形態に係るマッチング回路２０４は参照フレームと現在フレームとの間、および、現在フレームと直前フレームとの間でのマッチング双方で、他のフレームとしての参照フレーム及び直前フレームのうちのいずれかから現在フレームへ行うマッチングである正方向マッチング、及び、現在フレームから他のフレーム（参照フレーム、直前フレーム）へ行うマッチングである逆方向マッチングを行う。関心領域の信頼性という視点で、参照フレームが直前フレームよりも優れるため、参照フレームの関心領域（Ｂｌｏｃｋ_ｒ）に基づいて現在フレームのマッチング領域（Ｂｌｏｃｋ_ｉ）をマッチングすることが好ましい。 As shown in FIG. 5, the matching circuit 204 according to the present embodiment performs matching between the reference frame and the current frame, and between the current frame and the previous frame, and the reference frame and the previous frame as other frames. A forward direction matching that is a matching performed from any one of the frames to the current frame and a backward matching that is a matching performed from the current frame to another frame (reference frame or immediately preceding frame) are performed. Since the reference frame is superior to the immediately preceding frame from the viewpoint of the reliability of the region of interest, it is preferable to match the matching region (Block _i ) of the current frame based on the region of interest (Block _r ) of the reference frame.

逆方向マッチングは、正方向マッチングが行われ且つ現在フレームのマッチング領域（Ｂｌｏｃｋ_ｉ）が取得された後に行い、当該逆方向マッチングでは、現在フレーム中のマッチング領域（Ｂｌｏｃｋ_ｉ）に基づいて、参照フレーム及び直前フレームにおいて新たなマッチング領域（Ｂｌｏｃｋ_ｒ’、Ｂｌｏｃｋ_ｉ−１’）を更にマッチングする。 The backward matching is performed after the forward matching is performed and the matching area (Block _i ) of the current frame is acquired. In the backward matching, the reference frame is based on the matching area (Block _i ) in the current frame. In the immediately preceding frame, new matching regions (Block _r ′, Block _i−1 ′) are further matched.

異なるフレーム間での正方向マッチング及び逆方向マッチング時の、マッチング回路２０４への入力（入力情報）及びマッチング回路２０４からの出力（出力情報）は、以下に示す。 The input (input information) to the matching circuit 204 and the output (output information) from the matching circuit 204 at the time of forward direction matching and backward direction matching between different frames are shown below.

参照フレームの現在フレームへの正方向マッチングを行う場合、マッチング回路２０４は、超音波画像の全域を示す参照フレーム、現在フレーム、及び参照フレーム中の関心領域（Ｂｌｏｃｋ_ｒ）を用い、現在フレーム中のマッチング領域（Ｂｌｏｃｋ_ｉ）を生成する。より具体的には、マッチング回路２０４は、例えば、パターンマッチングを用い、参照フレームに設定された関心領域と類似する現在フレーム中の領域を検索する。図５に示す例では、マッチング回路２０４は、図５の中図に示す現在フレームの超音波画像５ａにおいて、マッチング領域５ｄを設定する。 When the forward matching of the reference frame to the current frame is performed, the matching circuit 204 uses the reference frame indicating the entire area of the ultrasound image, the current frame, and the region of interest (Block _r ) in the reference frame, and A matching area (Block _i ) is generated. More specifically, the matching circuit 204 searches for a region in the current frame similar to the region of interest set in the reference frame, for example, using pattern matching. In the example shown in FIG. 5, the matching circuit 204 sets the matching region 5d in the ultrasonic image 5a of the current frame shown in the middle diagram of FIG.

現在フレームの参照フレームへの逆方向マッチングを行う場合、マッチング回路２０４は、超音波画像の全域を示す参照フレーム、現在フレーム、及び現在フレーム中のマッチング領域（Ｂｌｏｃｋ_ｉ）を用い、参照フレーム中の新たなマッチング領域（Ｂｌｏｃｋ_ｒ’）を生成する。より具体的には、マッチング回路２０４は、例えば、正方向のマッチングで設定された現在フレーム中のマッチング領域と類似する参照フレーム中の領域を検索する。そして、マッチング回路２０４は、検索した参照フレーム中の領域を、新たなマッチング領域に設定する。 When performing backward matching to the reference frame of the current frame, the matching circuit 204 uses a reference frame indicating the entire region of the ultrasound image, the current frame, and a matching region (Block _i ) in the current frame, and A new matching area (Block _r ') is generated. More specifically, the matching circuit 204 searches for a region in the reference frame that is similar to the matching region in the current frame set by the positive direction matching, for example. Then, the matching circuit 204 sets the searched area in the reference frame as a new matching area.

直前フレームの現在フレームへの正方向トラッキングを行う場合、マッチング回路２０４は、超音波画像の全域を示す現在フレーム、直前フレーム、及び直前フレーム中の関心領域（Ｂｌｏｃｋ_ｉ−１）を用い、現在フレーム中のマッチング領域（Ｂｌｏｃｋ_ｉ）を生成する。上述したように、本実施形態では、参照フレーム中の関心領域を用い現在フレーム中のマッチング領域（Ｂｌｏｃｋ_ｉ）を生成することが好ましく、且つ、現在フレーム中のマッチング領域（Ｂｌｏｃｋ_ｉ）が既に取得されている場合、直前フレームの現在フレームへの正方向マッチングを省略することが好ましく、当該ステップを省略することにより、作業の効率を向上することができる。なお、直前フレーム中の関心領域は、この直前フレームが現在フレームであった際の参照フレームによりマッチング領域として設定された領域である。 When performing forward tracking of the immediately preceding frame to the current frame, the matching circuit 204 uses the current frame indicating the entire area of the ultrasound image, the immediately preceding frame, and the region of interest (Block _i-1 ) in the immediately preceding frame, and uses the current frame. A matching region (Block _i ) is generated. As described above, in the present embodiment, it is preferable to generate a matching area currently frame using a region of interest in the reference frame (Block _i), and the matching area of the current in the frame (Block _i) is already obtained In this case, it is preferable to omit the forward matching of the immediately preceding frame to the current frame, and the work efficiency can be improved by omitting the step. Note that the region of interest in the immediately preceding frame is a region set as a matching region by the reference frame when the immediately preceding frame is the current frame.

現在フレームの直前フレームへの逆方向トラッキングを行う場合、マッチング回路２０４は、超音波画像の全域を示す現在フレーム、直前フレーム、及び現在フレーム中のマッチング領域（Ｂｌｏｃｋ_ｉ）を用い、直前フレーム中の新たなマッチング領域（Ｂｌｏｃｋ_ｉ−１’）を生成する。より具体的には、マッチング回路２０４は、例えば、現在フレーム中のマッチング領域と類似する直前フレーム中の領域を検索する。そして、マッチング回路２０４は、検索した直前フレーム中の領域を、新たなマッチング領域に設定する。 When performing backward tracking to the immediately preceding frame of the current frame, the matching circuit 204 uses the current frame indicating the entire area of the ultrasound image, the immediately preceding frame, and the matching area (Block _i ) in the current frame, A new matching area (Block _i-1 ′) is generated. More specifically, the matching circuit 204 searches for a region in the immediately preceding frame that is similar to the matching region in the current frame, for example. Then, the matching circuit 204 sets the searched area in the immediately preceding frame as a new matching area.

続いて、トラッキング結果判定回路２０５は、現在フレームにおける参照フレームとの間でマッチングされた領域と、参照フレームにおいて当該マッチングされた領域と対応する領域との間の第１の変化量を算出する。例えば、トラッキング結果判定回路２０５は、参照フレームの現在フレームへの領域変化量と現在フレームの参照フレームへの領域変化量との間の差分値を第１の変化量として算出する。ここで、トラッキング結果判定回路２０５は、参照フレームと現在フレームとの間で正方向マッチングを行う場合、マッチングを行う前の参照フレームの関心領域を対応する領域とし、参照フレームと現在フレームとの間で逆方向マッチングを行う場合、現在フレームから逆方向マッチングを行った後の参照フレームのマッチング領域を対応する領域とする。 Subsequently, the tracking result determination circuit 205 calculates a first change amount between a region matched with the reference frame in the current frame and a region corresponding to the matched region in the reference frame. For example, the tracking result determination circuit 205 calculates a difference value between the region change amount of the reference frame to the current frame and the region change amount of the current frame to the reference frame as the first change amount. Here, when the tracking result determination circuit 205 performs the positive direction matching between the reference frame and the current frame, the region of interest of the reference frame before the matching is set as a corresponding region, and between the reference frame and the current frame. In the case of performing backward matching at, the matching region of the reference frame after performing backward matching from the current frame is set as the corresponding region.

また、トラッキング結果判定回路２０５は、現在フレームにおける直前フレームとの間でマッチングされた領域と、直前フレームにおいて当該マッチングされた領域と対応する領域との間の第２の変化量を算出する。例えば、トラッキング結果判定回路２０５は、直前フレームの現在フレームへの領域変化量と現在フレームの直前フレームへの領域変化量との間の差分値を第２の変化量として算出する。ここで、トラッキング結果判定回路２０５は、現在フレームと直前フレームとの間で正方向マッチングを行う場合、マッチングを行う前の直前フレームの関心領域を対応する領域とし、現在フレームと直前フレームとの間で逆方向マッチングを行う場合、現在フレームから逆方向マッチングを行った後の直前フレームのマッチング領域を対応する領域とする。 Further, the tracking result determination circuit 205 calculates a second change amount between the region matched with the immediately preceding frame in the current frame and the region corresponding to the matched region in the immediately preceding frame. For example, the tracking result determination circuit 205 calculates a difference value between the region change amount of the immediately preceding frame to the current frame and the region change amount of the current frame to the immediately preceding frame as the second change amount. Here, when the tracking result determination circuit 205 performs positive direction matching between the current frame and the immediately preceding frame, the region of interest of the immediately preceding frame before performing the matching is set as a corresponding region, and between the current frame and the immediately preceding frame. In the case of performing the backward matching in step 1, the matching area of the immediately preceding frame after the backward matching is performed from the current frame is set as the corresponding area.

より具体的には、トラッキング結果判定回路２０５は、正方向マッチングにより得られる現在フレームのマッチング領域（Ｂｌｏｃｋ_ｉ）に基づいて、現在フレームのマッチング領域（Ｂｌｏｃｋ_ｉ）と、参照フレーム中の関心領域（Ｂｌｏｃｋ_ｒ）及びメモリから読取られた直前フレーム中の関心領域（Ｂｌｏｃｋ_ｉ−１）との間の変化量（ＦＸ１，ＦＸ２）、並びに、現在フレーム中のマッチング領域（Ｂｌｏｃｋ_ｉ）と、参照フレームの新たなマッチング領域（Ｂｌｏｃｋ_ｒ’）及び直前フレーム中の新たなマッチング領域（Ｂｌｏｃｋ_ｉ−１’）との変化量（ＢＸ１，ＢＸ２）をそれぞれ算出する。ここで、変化量ＦＸ１は、例えば、参照フレーム中の関心領域（Ｂｌｏｃｋ_ｒ）から現在フレームのマッチング領域（Ｂｌｏｃｋ_ｉ）への変位ベクトルであり、変化量ＦＸ２は、例えば、直前フレーム中の関心領域（Ｂｌｏｃｋ_ｉ−１）から現在フレームのマッチング領域（Ｂｌｏｃｋ_ｉ）への変位ベクトルである。また、変化量ＢＸ１は、現在フレーム中のマッチング領域（Ｂｌｏｃｋ_ｉ）から参照フレームの新たなマッチング領域（Ｂｌｏｃｋ_ｒ’）への変位ベクトルであり、変化量ＢＸ２は、現在フレーム中のマッチング領域（Ｂｌｏｃｋ_ｉ）から直前フレーム中の新たなマッチング領域（Ｂｌｏｃｋ_ｉ−１’）への変位ベクトルである。そして、トラッキング結果判定回路２０５は、算出した第１の変化量及び第２の変化量が同時に閾値未満の場合、トラッキング成功と判定し、算出した第１の変化量及び第２の変化量の少なくともいずれか一方が閾値以上の場合、トラッキング失敗と判定する。すなわち、トラッキング結果判定回路２０５は、｜｜ＦＸ１｜−｜ＢＸ１｜｜及び｜｜ＦＸ２｜−｜ＢＸ２｜｜が同時に閾値未満であるか否かを判定する。ここで、トラッキング結果判定回路２０５は、同時に所定の閾値未満の場合、トラッキング成功と判定し、同時に所定の閾値未満ではない場合、トラッキング失敗と判定する。また、トラッキング処理回路２０３は、トラッキング結果判定回路２０５によってトラッキング失敗と判定された場合、現在フレームを破棄し、トラッキング結果判定回路２０５によってトラッキング成功と判定された場合、現在フレームを保持するリジェクション処理回路を備えるようにしてもよい。 More specifically, the tracking result determination circuit 205 determines the matching region (Block _i ) of the current frame and the region of interest (reference region (Block _i )) in the reference frame based on the matching region (Block _i ) of the current frame obtained by forward matching. The amount of change (FX1, FX2) between the Block _r ) and the region of interest (Block _i-1 ) in the previous frame read from the memory, and the matching region (Block _i ) in the current frame and the reference frame The amount of change (BX1, BX2) between the new matching region (Block _r ′) and the new matching region (Block _i−1 ′) in the immediately preceding frame is calculated. Here, the change amount FX1 is, for example, a displacement vector from the region of interest (Block _r ) in the reference frame to the matching region (Block _i ) of the current frame, and the amount of change FX2 is, for example, the region of interest in the immediately preceding frame. This is a displacement vector from (Block _i-1 ) to the matching region (Block _i ) of the current frame. The change amount BX1 is a displacement vector from the matching region (Block _i ) in the current frame to the new matching region (Block _r ′) in the reference frame, and the change amount BX2 is the matching region (Block in the current frame). _This is a displacement vector from _i ) to a new matching region (Block _i−1 ′) in the immediately preceding frame. The tracking result determination circuit 205 determines that tracking is successful when the calculated first change amount and the second change amount are simultaneously less than the threshold, and at least of the calculated first change amount and the second change amount. If either one is greater than or equal to the threshold, it is determined that tracking has failed. That is, the tracking result determination circuit 205 determines whether or not || FX1 |-| BX1 || and || FX2 |-| BX2 || Here, the tracking result determination circuit 205 determines that tracking is successful when it is less than the predetermined threshold at the same time, and determines tracking failure when it is not less than the predetermined threshold at the same time. The tracking processing circuit 203 discards the current frame when the tracking result determination circuit 205 determines that the tracking has failed, and rejects the current frame when the tracking result determination circuit 205 determines that the tracking is successful. A circuit may be provided.

図６は、第２の実施形態に係る医用画像処理装置２００によるトラッキング処理の手順を示すフローチャートである。 FIG. 6 is a flowchart showing a procedure of tracking processing by the medical image processing apparatus 200 according to the second embodiment.

本実施形態に係る医用画像処理装置２００の取得回路２０１は、初期フレーム（Ｆｒａｍｅ_１）を始点とした、超音波画像を表す複数のフレームを時系列に取得する（ステップＳ２０１）。初期フレームに、観察者が興味を持っている部位である関心領域を含む。 The acquisition circuit 201 of the medical image processing apparatus 200 according to the present embodiment acquires a plurality of frames representing an ultrasonic image starting from the initial frame (Frame ₁ ) in time series (step S201). The initial frame includes a region of interest that is a region of interest to the observer.

ステップＳ２０２では、参照フレーム生成回路２０２は、現在フレーム（Ｆｒａｍｅ_ｉ）と直前フレーム（Ｆｒａｍｅ_ｉ−１）との類似度比較を行い、現在フレーム（Ｆｒａｍｅ_ｉ）と直前フレーム（Ｆｒａｍｅ_ｉ−１）との類似度に基づき初期フレーム（Ｆｒａｍｅ_１）及び直前フレーム（Ｆｒａｍｅ_ｉ−１）に重みを付与し、類似度が高ければ、直前フレームの重みを増し、類似度が低ければ、初期フレームの重みを増して、それぞれ重みが付与された直前フレーム及び初期フレームを加算して参照フレーム（Ｆｒａｍｅ_ｒ）を生成する。類似度比較は、現在フレームの超音波画像及び直前フレームの超音波画像の全域で行う。 In step S202, the reference frame generating circuit 202 performs a similarity comparison of the current frame and (Frame _i) and the previous frame (Frame _i-1), the current frame (Frame _i) and the previous frame (Frame _i-1) The initial frame (Frame ₁ ) and the immediately preceding frame (Frame _i-1 ) are weighted based on the similarity, and if the similarity is high, the weight of the immediately preceding frame is increased. If the similarity is low, the weight of the initial frame is set. In addition, a reference frame (Frame _r ) is generated by adding the immediately preceding frame and the initial frame, each of which is assigned a weight. The similarity comparison is performed in the entire area of the ultrasonic image of the current frame and the ultrasonic image of the previous frame.

上述のステップＳ２０１及びステップＳ２０２は、第１の実施形態におけるステップＳ１０１及びステップＳ１０２と同一である。 Steps S201 and S202 described above are the same as steps S101 and S102 in the first embodiment.

実施形態２に係るトラッキング処理過程は更に、ステップＳ２０３〜ステップＳ２０９を含む。 The tracking process according to the second embodiment further includes steps S203 to S209.

ステップＳ２０３では、マッチング回路２０４はまず、参照フレーム（Ｆｒａｍｅ_ｒ）の現在フレーム（Ｆｒａｍｅ_１）への正方向マッチングを行う。即ち、参照フレーム（Ｆｒａｍｅ_ｒ）中の関心領域（Ｂｌｏｃｋ_ｒ）に基づき現在フレーム（Ｆｒａｍｅ_ｉ）中のマッチング領域（Ｂｌｏｃｋ_ｉ）をマッチングする。 In step S203, the matching circuit 204 first performs forward matching of the reference frame (Frame _r ) to the current frame (Frame ₁ ). That is, the matching region (Block _i ) in the current frame (Frame _i ) is matched based on the region of interest (Block _r ) in the reference frame (Frame _r ).

そして、ステップＳ２０４では、トラッキング結果判定回路２０５はそれぞれ参照フレーム（Ｆｒａｍｅ_ｒ）中の関心領域（Ｂｌｏｃｋ_ｒ）と現在フレーム（Ｆｒａｍｅ_ｉ）中のマッチング領域（Ｂｌｏｃｋ_ｉ）との差分値ＦＸ１、及び、現在フレーム（Ｆｒａｍｅ_ｉ）中のマッチング領域（Ｂｌｏｃｋ_ｉ）と直前フレーム（Ｆｒａｍｅ_ｉ−１）中の関心領域（Ｂｌｏｃｋ_ｉ−１）との差分値ＦＸ２を算出する。 In step S204, the difference value between the tracking result judgment circuit 205 respectively reference frame (Frame _r) in the region of interest (Block _r) and the current frame (Frame _i) in the matching area (Block _i) FX1 and, currently calculates a difference value FX2 of the frame (frame _i) in the matching area (Block _i) and the previous frame (frame _i-1) in the region of interest (Block _i-1).

次に、ステップＳ２０５では、マッチング回路２０４は現在フレーム（Ｆｒａｍｅ_ｉ）中のマッチング領域（Ｂｌｏｃｋ_ｉ）に基づき参照フレーム（Ｆｒａｍｅ_ｒ）中の新たなマッチング領域（Ｂｌｏｃｋ_ｒ’）、及び、直前フレーム（Ｆｒａｍｅ_ｉ−１）中の新たなマッチング領域（Ｂｌｏｃｋ_ｉ−１’）をマッチングする。 Next, in step S205, the matching circuit 204 determines a new matching region (Block _r ′) in the reference frame (Frame _r ) based on the matching region (Block _i ) in the current frame (Frame _i ), and the previous frame (Block _i ). Match a new matching area (Block _i-1 ′) in Frame _i−1 ).

続いて、ステップＳ２０６では、トラッキング結果判定回路２０５はそれぞれ現在フレーム（Ｆｒａｍｅ_ｉ）中のマッチング領域（Ｂｌｏｃｋ_ｉ）と、参照フレーム（Ｆｒａｍｅ_ｒ）中の新たなマッチング領域（Ｂｌｏｃｋ_ｒ’）及び直前フレーム（Ｆｒａｍｅ_ｉ−１）中の新たなマッチング領域（Ｂｌｏｃｋ_ｉ−１’）との差分値ＢＸ１及びＢＸ２を算出する。 Subsequently, in step S206, the tracking result determination circuit 205 respectively matches the matching region (Block _i ) in the current frame (Frame _i ), the new matching region (Block _r ') in the reference frame (Frame _r ), and the previous frame. Difference values BX1 and BX2 from the new matching region (Block _i-1 ′) in (Frame _i−1 ) are calculated.

本実施形態では、ステップＳ２０３、Ｓ２０４、Ｓ２０５、Ｓ２０６の順に進むが、マッチング回路２０４でのマッチングステップＳ２０３、Ｓ２０５を終了してから、トラッキング結果判定回路２０５による差分値算出ステップＳ２０４、Ｓ２０６を行っても良い。 In this embodiment, the process proceeds in the order of steps S203, S204, S205, and S206. After the matching steps S203 and S205 in the matching circuit 204 are completed, the difference value calculation steps S204 and S206 by the tracking result determination circuit 205 are performed. Also good.

その後、ステップＳ２０７では、トラッキング結果判定回路２０５は算出された変化量（ＦＸ１、ＦＸ２、ＢＸ１、ＢＸ２）のそれぞれに基づいて、参照フレームと現在フレームとの間で正方向マッチング及び逆方向マッチングを行うことにより得られる変化量（ＦＸ１，ＢＸ１）の間の差が予め確定した閾値未満であるか否かを判定し、現在フレームと直前フレームとの間の二つの変化量（そのうち、１つの変化量（ＦＸ２）が直前フレーム中の関心領域から現在フレームのマッチング領域を減算したものであり、別の変化量（ＢＸ２）が現在フレームから直前フレームへの逆方向マッチングにより得られたものである）の間の差が予め確定した閾値未満であるか否かを判定する。言い換えれば、ステップＳ２０７では、｜｜ＦＸ１｜−｜ＢＸ１｜｜及び｜｜ＦＸ２｜−｜ＢＸ２｜｜が同時に閾値未満であるか否かを判定する。変化量が閾値未満の場合、トラッキング成功と判定して現在フレームを格納し（ステップＳ２０９）、変化量が閾値以上の場合、トラッキング不成功と判定して現在フレームを破棄する（ステップＳ２０８）。 Thereafter, in step S207, the tracking result determination circuit 205 performs forward direction matching and backward direction matching between the reference frame and the current frame based on each of the calculated change amounts (FX1, FX2, BX1, BX2). It is determined whether or not the difference between the change amounts (FX1, BX1) obtained is less than a predetermined threshold, and two change amounts between the current frame and the immediately preceding frame (one change amount among them). (FX2) is obtained by subtracting the matching region of the current frame from the region of interest in the immediately preceding frame, and another change amount (BX2) is obtained by backward matching from the current frame to the immediately preceding frame) It is determined whether or not the difference between them is less than a predetermined threshold value. In other words, in step S207, it is determined whether or not || FX1 |-| BX1 || and || FX2 |-| BX2 || If the amount of change is less than the threshold, it is determined that tracking is successful and the current frame is stored (step S209). If the amount of change is greater than or equal to the threshold, it is determined that tracking is unsuccessful and the current frame is discarded (step S208).

比較例として、１対のトラッキング結果のみについて考慮し、即ち、｜｜ＦＸ１｜−｜ＢＸ１｜｜＜閾値または｜｜ＦＸ２｜−｜ＢＸ２｜｜＜閾値を満足するか否かということのみを判定すると仮設する場合について、以下のように説明する。第１対の変化量（ＦＸ１，ＢＸ１）のみについて考慮する場合、重みが付与された参照フレームが十分正確でなければ、第１対の変化量（ＦＸ１，ＢＸ１）に基づいて現在フレームのトラッキングが成功したか否かを正確に判定することができず、第２対の変化量（ＦＸ２，ＢＸ２）のみについて考慮する場合、記憶回路に格納された直前フレームのトラッキング結果が少しずれると、当該ずれは現在フレームのトラッキングの判定に影響を及ぼし、当該ずれが大きくなる。極端の場合、関心領域が直前フレーム及び現在フレームにおいて同時に消えたが両方の画像にちょうど同一の構造特徴があるならば、変化量がコンバージェンスになる（｜｜ＦＸ２｜−｜ＢＸ２｜｜が約０である）結果が同様に示されるが、ここでの現在フレームのトラッキングが実際に成功していない。 As a comparative example, only a pair of tracking results are considered, i.e., only whether || FX1 |-| BX1 || <threshold or || FX2 |-| BX2 || <threshold is satisfied. Then, the temporary case will be described as follows. When considering only the first amount of change (FX1, BX1), if the weighted reference frame is not sufficiently accurate, tracking of the current frame is performed based on the first amount of change (FX1, BX1). When it is impossible to accurately determine whether or not it is successful and only the second pair of change amounts (FX2, BX2) is considered, if the tracking result of the immediately preceding frame stored in the storage circuit slightly shifts, the shift Affects the tracking determination of the current frame, and the shift becomes large. In the extreme case, if the region of interest disappears simultaneously in the previous frame and the current frame, but both images have exactly the same structural features, the amount of change will converge (|| FX2 |-| BX2 || The results are shown as well, but the current frame tracking here is not really successful.

それに対し、本実施形態に係る医用画像処理装置２００は、｜｜ＦＸ１｜−｜ＢＸ１｜｜及び｜｜ＦＸ２｜−｜ＢＸ２｜｜が同時に閾値未満である場合に限って、トラッキング成功と判定し、さもなければ、トラッキング失敗と判定する。このような判定方法によれば、｜｜ＦＸ１｜−｜ＢＸ１｜｜または｜｜ＦＸ２｜−｜ＢＸ２｜｜のみを判定する場合に比べて、検出の精度を更に向上することができる。 On the other hand, the medical image processing apparatus 200 according to this embodiment determines that tracking is successful only when || FX1 |-| BX1 || and || FX2 |-| BX2 || Otherwise, it is determined that the tracking has failed. According to such a determination method, the detection accuracy can be further improved as compared with the case of determining only || FX1 |-| BX1 || or || FX2 |-| BX2 ||

処理過程では、上述した図７に示すような超音波画像輝度の大きな変化またはプローブの動きによるフレームの紛失が発生する際に、所望されない現在フレームを破棄することができ、即ち、超音波画像輝度の大きな変化及びプローブの動きなどによる価値のない画像を排除することは可能となる。 In the process, when a large change in the ultrasonic image luminance as shown in FIG. 7 or a loss of the frame due to the movement of the probe occurs, an undesired current frame can be discarded, that is, the ultrasonic image luminance. It is possible to eliminate a valueless image due to a large change in the movement of the probe and the movement of the probe.

（変形例）
実施形態２では、参照フレームの関心領域（Ｂｌｏｃｋ_ｒ）を用い現在フレーム中のマッチング領域（Ｂｌｏｃｋ_ｉ）を生成し、直前フレームの関心領域（Ｂｌｏｃｋ_ｉ−１）の現在フレーム中のマッチング領域（Ｂｌｏｃｋ_ｉ）へのマッチングを省略して変化量ＦＸ２を直接算出したものであるが、実施形態はこれに限られない。更に、直前フレームの関心領域（Ｂｌｏｃｋ_ｉ−１）に基づいて現在フレームのマッチング領域（Ｂｌｏｃｋ_ｉ）をマッチングし、参照フレームの関心領域（Ｂｌｏｃｋ_ｒ）の現在フレーム中のマッチング領域（Ｂｌｏｃｋ_ｉ）へのマッチングを省略して変化量ＦＸ１を直接算出してもよい。また、参照フレームの関心領域（Ｂｌｏｃｋ_ｒ）と直前フレームの関心領域（Ｂｌｏｃｋ_ｉ−１）をそれぞれ用い現在フレーム中のマッチング領域（Ｂｌｏｃｋ_ｉ）を２つ生成し、当該２つの現在フレーム中のマッチング領域（Ｂｌｏｃｋ_ｉ）に基づいてそれぞれの逆方向マッチングを行って各自のトラッキング処理を行い、マッチングされた２つのマッチング領域（Ｂｌｏｃｋ_ｉ）により得られた変化量が何れも閾値との関係を満足すれば、トラッキング成功と判定し、さもなければ、トラッキング失敗と判定するとしてもよい。 (Modification)
In the second embodiment, a matching region (Block _i ) in the current frame is generated using the region of interest (Block _r ) of the reference frame, and the matching region (Block _i ) in the current frame of the region of interest (Block _i−1 ) of the immediately preceding frame is generated. _Although the change amount FX2 is directly calculated by omitting the matching to _i ), the embodiment is not limited to this. Furthermore, matching the matching area of the current frame (Block _i) on the basis of the area of interest for the immediately prior frame (Block _i-1), of the reference frame ROI (Block _r) to the matching area of the current frame (Block _i) The change amount FX1 may be calculated directly without matching. Further, two matching regions (Block _i ) in the current frame are generated using the region of interest (Block _r ) of the reference frame and the region of interest (Block _i−1 ) of the immediately preceding frame, respectively, and matching in the two current frames is performed. Based on the region (Block _i ), the respective backward matching is performed and the respective tracking processing is performed, and the amount of change obtained by the two matched regions (Block _i ) satisfies the relationship with the threshold value. For example, it may be determined that the tracking has succeeded, or otherwise, it may be determined that the tracking has failed.

変形例では、現在フレーム中のマッチング領域（Ｂｌｏｃｋ_ｉ）を生成するための基準が実施形態２とは異なる以外に、その他の部分が実施形態２とは同一である。 In the modified example, the other parts are the same as those in the second embodiment except that the reference for generating the matching region (Block _i ) in the current frame is different from that in the second embodiment.

第１の実施形態、第２の実施形態及びそれらの変形例に係る医用画像処理装置によれば、現在フレーム、現在フレームの直前フレーム、及び関心領域が設定された初期フレームを用い参照フレームを生成し、生成した参照フレームと、現在フレーム及び現在フレームの直前フレームとの間で関心領域のトラッキングを行うことで、所望されない現在フレームを破棄することができ、超音波画像輝度の大きな変化及びプローブの動きなどによる価値のない画像（ノイズなど）を排除することは可能となる。 According to the medical image processing apparatus according to the first embodiment, the second embodiment, and the modifications thereof, the reference frame is generated using the current frame, the frame immediately before the current frame, and the initial frame in which the region of interest is set. In addition, by tracking the region of interest between the generated reference frame and the current frame and the frame immediately before the current frame, an undesired current frame can be discarded, It is possible to eliminate images (such as noise) that are not valuable due to movement or the like.

上述した第１の実施形態及び第２の実施形態に係る医用画像処理装置において、構成要件である取得回路、参照フレーム生成回路及びトラッキング処理回路により実現できる各処理機能は、コンピュータにより実行可能なプログラムの形態で記憶回路に格納されている。処理回路は、プログラムを記憶回路から読み出して実行することにより、各プログラムに対応する機能を実現するプロセッサである。言い換えれば、各プログラムを読み出した状態での処理回路は取得回路、参照フレーム生成回路及びトラッキング処理回路の機能を有する。また、上述したように、実施形態に係る医用画像処理装置における取得回路、参照フレーム生成回路及びトラッキング処理回路を単一の処理回路により実現する場合について説明したものであるが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサによりプログラムを実行して、取得回路、参照フレーム生成回路及びトラッキング処理回路の機能を実現するとしてもよい。 In the medical image processing apparatus according to the first embodiment and the second embodiment described above, each processing function that can be realized by the acquisition circuit, the reference frame generation circuit, and the tracking processing circuit, which are constituent elements, is a program executable by a computer. Is stored in the memory circuit. The processing circuit is a processor that realizes a function corresponding to each program by reading the program from the storage circuit and executing the program. In other words, the processing circuit in a state where each program is read has functions of an acquisition circuit, a reference frame generation circuit, and a tracking processing circuit. Further, as described above, the case where the acquisition circuit, the reference frame generation circuit, and the tracking processing circuit in the medical image processing apparatus according to the embodiment are realized by a single processing circuit has been described. The processing circuit may be configured by combining these, and the functions of the acquisition circuit, the reference frame generation circuit, and the tracking processing circuit may be realized by executing a program by each processor.

（第３の実施形態）
上述した実施形態では、医用画像処理装置１００において、超音波診断装置により撮像された超音波画像を取得して、画像処理方法を実行する場合について説明した。ところで、かかる画像処理方法は、超音波診断装置において実行されてもよいものである。そこで、第３の実施形態では、超音波診断装置において、上述した実施形態と同様の画像処理方法を実行する場合について説明する。 (Third embodiment)
In the above-described embodiment, the case where the medical image processing apparatus 100 acquires an ultrasonic image captured by the ultrasonic diagnostic apparatus and executes the image processing method has been described. By the way, such an image processing method may be executed in an ultrasonic diagnostic apparatus. Therefore, in the third embodiment, a case will be described in which an ultrasonic diagnostic apparatus executes an image processing method similar to that of the above-described embodiment.

図１０は、第３の実施形態に係る超音波診断装置３００の構成例を示すブロック図である。図１０に示すように、第３の実施形態に係る超音波診断装置３００は、超音波プローブ３１１と、入力装置３１２と、ディスプレイ３１３と、装置本体３２０とを備える。超音波プローブ３１１は、後述する装置本体３２０が備える送受信回路３２１と通信可能に接続される。また、入力装置３１２、及びディスプレイ３１３は、装置本体３２０が備える各種の回路と通信可能に接続される。 FIG. 10 is a block diagram illustrating a configuration example of an ultrasonic diagnostic apparatus 300 according to the third embodiment. As shown in FIG. 10, the ultrasonic diagnostic apparatus 300 according to the third embodiment includes an ultrasonic probe 311, an input apparatus 312, a display 313, and an apparatus main body 320. The ultrasonic probe 311 is communicably connected to a transmission / reception circuit 321 included in the apparatus main body 320 described later. The input device 312 and the display 313 are communicably connected to various circuits included in the device main body 320.

超音波プローブ３１１は、被検体Ｐの体表面に接触され、超音波の送受信を行う。例えば、超音波プローブ３１１は、複数の圧電振動子（振動子とも言う）を有する。これら複数の圧電振動子は、送受信回路３２１から供給される送信信号に基づいて、超音波を発生させる。発生した超音波は、被検体Ｐの体内組織において反射され、反射波信号として複数の圧電振動子にて受信される。超音波プローブ３１１は、複数の圧電振動子にて受信した反射波信号を、送受信回路３２１へ送る。 The ultrasonic probe 311 is in contact with the body surface of the subject P and transmits and receives ultrasonic waves. For example, the ultrasonic probe 311 includes a plurality of piezoelectric vibrators (also referred to as vibrators). The plurality of piezoelectric vibrators generate ultrasonic waves based on a transmission signal supplied from the transmission / reception circuit 321. The generated ultrasonic wave is reflected by the body tissue of the subject P and is received by a plurality of piezoelectric vibrators as a reflected wave signal. The ultrasonic probe 311 sends the reflected wave signal received by the plurality of piezoelectric vibrators to the transmission / reception circuit 321.

なお、第３の実施形態は、超音波プローブ３１１は、被検体Ｐ内の２次元領域を走査（２次元走査）する１Ｄアレイプローブであっても、被検体Ｐ内の３次元領域を走査（３次元走査）するメカニカル４Ｄプローブや２Ｄアレイプローブであっても適用可能である。 In the third embodiment, even if the ultrasonic probe 311 is a 1D array probe that scans a two-dimensional region in the subject P (two-dimensional scanning), the ultrasonic probe 311 scans the three-dimensional region in the subject P ( A mechanical 4D probe or a 2D array probe that performs three-dimensional scanning is also applicable.

入力装置３１２は、例えば、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等に対応する。入力装置３１２は、超音波診断装置３００の操作者からの各種設定要求を受け付け、受け付けた各種設定要求を装置本体３２０の各回路に対して適宜転送する。 The input device 312 corresponds to, for example, a mouse, a keyboard, a button, a panel switch, a touch command screen, a foot switch, a trackball, and a joystick. The input device 312 accepts various setting requests from the operator of the ultrasonic diagnostic apparatus 300 and appropriately transfers the received various setting requests to each circuit of the apparatus main body 320.

ディスプレイ３１３は、操作者が入力装置３１２を用いて各種設定要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、装置本体３２０において生成された超音波画像データに基づく画像（超音波画像）等を表示したりする。 The display 313 displays a GUI (Graphical User Interface) for an operator to input various setting requests using the input device 312, or an image (ultrasonic image) based on ultrasonic image data generated in the device main body 320. ) Etc.

装置本体３２０は、超音波プローブ３１１が受信した反射波信号に基づいて、超音波画像データを生成する装置である。図１０に示すように、装置本体３２０は、例えば、送受信回路３２１と、Ｂモード処理回路３２２と、ドプラ処理回路３２３と、画像生成回路３２４と、画像メモリ３２５と、記憶回路３２６と、処理回路３２７とを有する。送受信回路３２１、Ｂモード処理回路３２２、ドプラ処理回路３２３、画像生成回路３２４、画像メモリ３２５、記憶回路３２６、及び処理回路３２７は、互いに通信可能に接続される。 The apparatus main body 320 is an apparatus that generates ultrasonic image data based on the reflected wave signal received by the ultrasonic probe 311. As shown in FIG. 10, the apparatus main body 320 includes, for example, a transmission / reception circuit 321, a B-mode processing circuit 322, a Doppler processing circuit 323, an image generation circuit 324, an image memory 325, a storage circuit 326, and a processing circuit. 327. The transmission / reception circuit 321, the B mode processing circuit 322, the Doppler processing circuit 323, the image generation circuit 324, the image memory 325, the storage circuit 326, and the processing circuit 327 are connected to be communicable with each other.

送受信回路３２１は、超音波プローブ３１１による超音波の送受信を制御する。例えば、送受信回路３２１は、送信回路３２１ａと受信回路３２１ｂとを有し、後述する処理回路３２７の指示に基づいて、超音波プローブ３１１が行う超音波送受信を制御する。送信回路３２１ａは、送信波形データを作成し、作成した送信波形データから超音波プローブ３１１が超音波を送信するための送信信号を生成する。そして、送信回路３２１ａは、超音波プローブ３１１に送信信号を印加することで、超音波がビーム状に集束された超音波ビームを送信させる。また、受信回路３２１ｂは、超音波プローブ３１１が受信した反射波信号に所定の遅延時間を与えて加算処理を行うことで、反射波信号の受信指向性に応じた方向から反射成分が強調された反射波データを生成し、生成した反射波データをＢモード処理回路３２２及びドプラ処理回路３２３に送信する。 The transmission / reception circuit 321 controls transmission / reception of ultrasonic waves by the ultrasonic probe 311. For example, the transmission / reception circuit 321 includes a transmission circuit 321a and a reception circuit 321b, and controls ultrasonic transmission / reception performed by the ultrasonic probe 311 based on an instruction from the processing circuit 327 described later. The transmission circuit 321a generates transmission waveform data, and generates a transmission signal for the ultrasonic probe 311 to transmit ultrasonic waves from the generated transmission waveform data. The transmission circuit 321a applies a transmission signal to the ultrasonic probe 311 to transmit an ultrasonic beam in which the ultrasonic wave is focused in a beam shape. In addition, the reception circuit 321b adds a predetermined delay time to the reflected wave signal received by the ultrasonic probe 311 and performs addition processing, so that the reflected component is emphasized from the direction corresponding to the reception directivity of the reflected wave signal. The reflected wave data is generated, and the generated reflected wave data is transmitted to the B-mode processing circuit 322 and the Doppler processing circuit 323.

Ｂモード処理回路３２２は、受信回路３２１ｂが反射波信号から生成した反射波データに対して各種の信号処理を行う。Ｂモード処理回路３２２は、受信回路３２１ｂから受信した反射波データに対して、対数増幅、包絡線検波処理等を行って、サンプル点（観測点）ごとの信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。Ｂモード処理回路３２２は、生成したＢモードデータを画像生成回路３２４へ送る。 The B-mode processing circuit 322 performs various kinds of signal processing on the reflected wave data generated from the reflected wave signal by the receiving circuit 321b. The B-mode processing circuit 322 performs logarithmic amplification, envelope detection processing, etc. on the reflected wave data received from the receiving circuit 321b, and the signal intensity at each sample point (observation point) is expressed by brightness. Data (B-mode data) is generated. The B mode processing circuit 322 sends the generated B mode data to the image generation circuit 324.

また、Ｂモード処理回路３２２は、高調波成分を映像化するハーモニックイメージングを行なうための信号処理を行なう。ハーモニックイメージングとしては、コントラストハーモニックイメージング（ＣＨＩ：Contrast Harmonic Imaging）や組織ハーモニックイメージング（ＴＨＩ：Tissue Harmonic Imaging）が知られている。また、コントラストハーモニックイメージングや組織ハーモニックイメージングには、スキャン方式として、振幅変調、位相変調が知られている。 The B-mode processing circuit 322 performs signal processing for performing harmonic imaging that visualizes harmonic components. As harmonic imaging, contrast harmonic imaging (CHI: Contrast Harmonic Imaging) and tissue harmonic imaging (THI: Tissue Harmonic Imaging) are known. In contrast harmonic imaging and tissue harmonic imaging, amplitude modulation and phase modulation are known as scan methods.

ドプラ処理回路３２３は、受信回路３２１ｂが受信した反射波データより、移動体のドプラ効果に基づく運動情報を、走査領域内の各サンプル点で抽出したデータ（ドプラデータ）を生成する。具体的には、ドプラ処理回路３２３は、移動体の運動情報として、平均速度、分散値、パワー値等を各サンプル点で抽出したドプラデータを生成する。ここで、移動体とは、例えば、血流や、心壁等の組織、造影剤である。ドプラ処理回路３２３は、生成したドプラデータを画像生成回路３２４へ送る。 The Doppler processing circuit 323 generates data (Doppler data) obtained by extracting movement information based on the Doppler effect of the moving body at each sample point in the scanning region from the reflected wave data received by the receiving circuit 321b. Specifically, the Doppler processing circuit 323 generates Doppler data in which the average speed, the variance value, the power value, and the like are extracted at each sample point as the motion information of the moving body. Here, the moving body is, for example, a blood flow, a tissue such as a heart wall, or a contrast agent. The Doppler processing circuit 323 sends the generated Doppler data to the image generation circuit 324.

画像生成回路３２４は、Ｂモード処理回路３２２やドプラ処理回路３２３が生成したデータから超音波画像データを生成する。例えば、画像生成回路３２４は、Ｂモード処理回路３２２が生成したＢモードデータから、反射波の強度を輝度で表したＢモード画像データを生成する。また、画像生成回路３２４は、ドプラ処理回路３２３が生成したドプラデータから、移動体情報を表すドプラ画像データを生成する。このドプラ画像データは、速度画像データ、分散画像データ、パワー画像データ、又は、これらを組み合わせた画像データである。 The image generation circuit 324 generates ultrasonic image data from the data generated by the B mode processing circuit 322 and the Doppler processing circuit 323. For example, the image generation circuit 324 generates B-mode image data in which the intensity of the reflected wave is expressed by luminance from the B-mode data generated by the B-mode processing circuit 322. Further, the image generation circuit 324 generates Doppler image data representing moving body information from the Doppler data generated by the Doppler processing circuit 323. The Doppler image data is velocity image data, distributed image data, power image data, or image data obtained by combining these.

画像メモリ３２５は、Ｂモード処理回路３２２、ドプラ処理回路３２３、及び画像生成回路３２４により生成されたデータを記憶するメモリである。例えば、画像メモリ３２５は、画像生成回路３２４により生成された超音波画像データを、被検体Ｐの心電波形に対応付けて記憶する。なお、画像メモリ３２５に記憶されるデータ量が画像メモリ３２５の記憶容量を超過する場合には、古いデータから順に削除され、更新される。 The image memory 325 is a memory that stores data generated by the B-mode processing circuit 322, the Doppler processing circuit 323, and the image generation circuit 324. For example, the image memory 325 stores the ultrasound image data generated by the image generation circuit 324 in association with the electrocardiographic waveform of the subject P. If the amount of data stored in the image memory 325 exceeds the storage capacity of the image memory 325, the oldest data is deleted and updated in order.

記憶回路３２６は、各種データを記憶する記憶装置である。例えば、記憶回路３２６は、超音波送受信、画像処理及び表示処理を行うための制御プログラムや、診断情報（例えば、患者ＩＤ、医師の所見等）や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。また、記憶回路３２６に記憶されるデータは、図示しないインタフェース部を介して、外部装置へ転送することができる。 The storage circuit 326 is a storage device that stores various data. For example, the storage circuit 326 stores various data such as a control program for performing ultrasonic transmission / reception, image processing, and display processing, diagnostic information (for example, patient ID, doctor's findings, etc.), diagnostic protocol, and various body marks. Remember. Data stored in the storage circuit 326 can be transferred to an external device via an interface unit (not shown).

また、記憶回路３２６は、Ｂモード処理回路３２２、ドプラ処理回路３２３、及び画像生成回路３２４により生成されたデータを記憶する。例えば、記憶回路３２６は、操作者により指定された所定心拍分の超音波画像データを記憶する。なお、記憶回路３２６は、被検体Ｐを所定期間で走査して得られた複数の画像を記憶する記憶部の一例である。 The storage circuit 326 stores data generated by the B-mode processing circuit 322, the Doppler processing circuit 323, and the image generation circuit 324. For example, the storage circuit 326 stores ultrasonic image data for a predetermined heart rate designated by the operator. The storage circuit 326 is an example of a storage unit that stores a plurality of images obtained by scanning the subject P for a predetermined period.

処理回路３２７は、超音波診断装置３００の処理全体を制御する。具体的には、処理回路３２７は、入力装置３１２を介して操作者から入力された各種設定要求や、記憶回路３２６から読み込んだ各種制御プログラム及び各種データに基づいて、送受信回路３２１、Ｂモード処理回路３２２、ドプラ処理回路３２３、及び画像生成回路３２４等の処理を制御する。また、処理回路３２７は、画像メモリ３２５が記憶する超音波画像データをディスプレイ３１３に表示させる。 The processing circuit 327 controls the entire processing of the ultrasonic diagnostic apparatus 300. Specifically, the processing circuit 327 is based on various setting requests input from the operator via the input device 312, various control programs and various data read from the storage circuit 326, and the transmission / reception circuit 321, B-mode processing Controls the processing of the circuit 322, the Doppler processing circuit 323, the image generation circuit 324, and the like. In addition, the processing circuit 327 causes the display 313 to display ultrasonic image data stored in the image memory 325.

また、処理回路３２７は、図１０に示すように、取得機能３２７ａ、参照フレーム生成機能３２７ｂ及びトラッキング処理機能３２７ｃを実行する。ここで、例えば、図１０に示す処理回路３２７の構成要素である取得機能３２７ａ、参照フレーム生成機能３２７ｂ及びトラッキング処理機能３２７ｃが実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路３２６に記録されている。処理回路３２７は、各プログラムを記憶回路３２６から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路３２７は、図１０の処理回路３２７内に示された各機能を有することとなる。なお、取得機能３２７ａのことを取得部とも言い、参照フレーム生成機能３２７ｂのことを参照フレーム生成部とも言い、トラッキング処理機能３２７ｃのことをトラッキング処理部とも言う。なお、処理回路３２７が実行する各機能の詳細については後述する。 Further, as illustrated in FIG. 10, the processing circuit 327 executes an acquisition function 327a, a reference frame generation function 327b, and a tracking processing function 327c. Here, for example, each processing function executed by the acquisition function 327a, the reference frame generation function 327b, and the tracking processing function 327c, which are components of the processing circuit 327 shown in FIG. 10, is stored in the form of a program executable by a computer. 326. The processing circuit 327 is a processor that implements a function corresponding to each program by reading each program from the storage circuit 326 and executing the program. In other words, the processing circuit 327 in which each program is read has each function shown in the processing circuit 327 of FIG. The acquisition function 327a is also referred to as an acquisition unit, the reference frame generation function 327b is also referred to as a reference frame generation unit, and the tracking processing function 327c is also referred to as a tracking processing unit. Details of each function executed by the processing circuit 327 will be described later.

このように構成される超音波診断装置３００は、例えば、ＴＣＡ解析を行う場合、造影剤存在下で超音波走査を実行して、時系列に超音波画像を撮像する。そして、超音波診断装置３００は、時系列に撮像した超音波画像において、例えば、腫瘍領域であるＲＯＩをトラッキングする場合、以下に示す画像処理方法を実行する。なお、超音波診断装置３００が実行する画像処理方法は、超音波走査時にリアルタイムで取得した超音波画像を用いて実行されてもよく、或いは超音波走査後に所定の記憶部に格納された超音波画像を読み出して実行されてもよい。 For example, when performing TCA analysis, the ultrasonic diagnostic apparatus 300 configured as described above performs ultrasonic scanning in the presence of a contrast agent, and picks up ultrasonic images in time series. The ultrasound diagnostic apparatus 300 executes the following image processing method when tracking an ROI that is a tumor region in an ultrasound image captured in time series, for example. Note that the image processing method executed by the ultrasonic diagnostic apparatus 300 may be executed using an ultrasonic image acquired in real time during ultrasonic scanning, or ultrasonic waves stored in a predetermined storage unit after ultrasonic scanning. The image may be read and executed.

取得機能３２７ａは、第１の実施形態に係る取得回路１０１と同様の機能を実行する。例えば、取得機能３２７ａは、初期フレームを始点とした、超音波画像を表す複数のフレームを時系列に取得する。 The acquisition function 327a executes a function similar to that of the acquisition circuit 101 according to the first embodiment. For example, the acquisition function 327a acquires a plurality of frames representing an ultrasonic image starting from the initial frame in time series.

参照フレーム生成機能３２７ｂは、第１の実施形態に係る参照フレーム生成回路１０２と同様の機能を実行する。例えば、参照フレーム生成機能３２７ｂは、現在フレームと当該現在フレームの直前フレームとの類似度比較を行い、比較結果を用いた初期フレーム及び直前フレームへの重みづけ処理に基づき、参照フレームを生成する。 The reference frame generation function 327b performs the same function as the reference frame generation circuit 102 according to the first embodiment. For example, the reference frame generation function 327b performs similarity comparison between the current frame and the previous frame of the current frame, and generates a reference frame based on the weighting process for the initial frame and the previous frame using the comparison result.

トラッキング処理機能３２７ｃは、第１の実施形態に係るトラッキング処理回路１０３と同様の機能を実行する。例えば、トラッキング処理機能３２７ｃは、参照フレームと現在フレームとの間と、現在フレームと直前フレームとの間とでトラッキング処理を行う。 The tracking processing function 327c executes the same function as the tracking processing circuit 103 according to the first embodiment. For example, the tracking processing function 327c performs tracking processing between the reference frame and the current frame, and between the current frame and the previous frame.

（第３の実施形態に係る変形例）
また、上述した第３の実施形態では、第１の実施形態と同様に、超音波診断装置３００は、正方向マッチングのみを行うものとして説明したが、実施形態はこれに限定されるものではない。例えば、超音波診断装置３００は、第２の実施形態と同様に、正方向マッチング及び逆方向マッチングを行うようにしてもよい。 (Modification according to the third embodiment)
Further, in the third embodiment described above, as in the first embodiment, the ultrasonic diagnostic apparatus 300 has been described as performing only forward matching, but the embodiment is not limited thereto. . For example, the ultrasonic diagnostic apparatus 300 may perform forward direction matching and backward direction matching as in the second embodiment.

かかる場合、取得機能３２７ａは、第１の実施形態に係る取得回路１０１と同様の機能を実行する。また、参照フレーム生成機能３２７ｂは、第１の実施形態に係る参照フレーム生成回路１０２と同様の機能を実行する。そして、トラッキング処理機能３２７ｃは、第２の実施形態に係るトラッキング処理回路２０３と同様の機能を実行する。 In such a case, the acquisition function 327a executes a function similar to that of the acquisition circuit 101 according to the first embodiment. The reference frame generation function 327b performs the same function as the reference frame generation circuit 102 according to the first embodiment. The tracking processing function 327c performs the same function as the tracking processing circuit 203 according to the second embodiment.

例えば、トラッキング処理機能３２７ｃは、参照フレームと現在フレームとの間、および、現在フレームと直前フレームとの間でのマッチング双方で、他のフレームとしての参照フレーム及び直前フレームのうちのいずれか一方から現在フレームへ行うマッチングである正方向マッチング、及び、現在フレームから他のフレームへ行うマッチングである逆方向マッチングを行う。ここで、トラッキング処理機能３２７ｃは、参照フレームと現在フレームとの間で正方向マッチングを行う場合、マッチングを行う前の参照フレームの関心領域を対応する領域とし、現在フレームと直前フレームとの間で正方向マッチングを行う場合、マッチングを行う前の直前フレームの関心領域を対応する領域とする。また、トラッキング処理機能３２７ｃは、参照フレームと現在フレームとの間で逆方向マッチングを行う場合、現在フレームから逆方向マッチングを行った後の参照フレームのマッチング領域を対応する領域とし、現在フレームと直前フレームとの間で逆方向マッチングを行う場合、現在フレームから逆方向マッチングを行った後の直前フレームのマッチング領域を対応する領域とする。 For example, the tracking processing function 327c performs matching from either one of the reference frame and the previous frame as another frame in both matching between the reference frame and the current frame and between the current frame and the previous frame. A forward direction matching, which is a matching performed to the current frame, and a backward direction matching, which is a matching performed from the current frame to another frame, are performed. Here, when performing the forward direction matching between the reference frame and the current frame, the tracking processing function 327c sets the region of interest of the reference frame before matching as a corresponding region, and between the current frame and the immediately preceding frame. When performing positive direction matching, the region of interest of the immediately preceding frame before matching is set as a corresponding region. The tracking processing function 327c, when performing backward matching between the reference frame and the current frame, sets the matching region of the reference frame after performing backward matching from the current frame as a corresponding region, and immediately before the current frame. When performing backward matching with a frame, the matching area of the immediately preceding frame after backward matching from the current frame is set as the corresponding area.

（その他の実施形態）
実施形態は、上述した実施形態に限られるものではない。 (Other embodiments)
The embodiment is not limited to the above-described embodiment.

上述した実施形態では、現在フレームと参照フレーム及び現在フレームと直前フレームとの３つのフレーム間でトラッキングするものとして説明したが、実施形態はこれに限定されるものではない。例えば、現在フレームと参照フレームとの２つのフレーム間でトラッキング処理を実行するようにしてもよい。以下では、第２の実施形態に係る医用画像処理装置２００において、２つのフレーム間でのトラッキング処理を実行する場合について説明するが、２つのフレーム間でトラッキング処理は、第３の実施形態に係る超音波診断装置３００においても同様に実行可能である。 In the above-described embodiment, the tracking is performed between the current frame, the reference frame, and the current frame and the immediately preceding frame. However, the embodiment is not limited to this. For example, the tracking process may be executed between two frames of the current frame and the reference frame. In the following, the case where the tracking process between two frames is executed in the medical image processing apparatus 200 according to the second embodiment will be described, but the tracking process between two frames is related to the third embodiment. The ultrasonic diagnostic apparatus 300 can be similarly executed.

トラッキング処理回路２０３は、参照フレームと現在フレームとの間で、トラッキング処理を行う。例えば、トラッキング処理回路２０３のマッチング回路２０４は、参照フレームと前記現在フレームとの間で、マッチングを行う。 The tracking processing circuit 203 performs tracking processing between the reference frame and the current frame. For example, the matching circuit 204 of the tracking processing circuit 203 performs matching between a reference frame and the current frame.

ここで、トラッキング処理回路２０３のマッチング回路２０４は、参照フレームと現在フレームとの間において、参照フレームから現在フレームへ行うマッチングである正方向マッチング、及び、現在フレームから参照フレームへ行うマッチングである逆方向マッチングを行う。例えば、トラッキング処理回路２０３のマッチング回路２０４は、正方向マッチングにおいて、マッチングを行う前の参照フレームの関心領域を対応する領域とし、逆方向マッチングにおいて、現在フレームから逆方向マッチングを行った後の参照フレームのマッチング領域を対応する領域とする。 Here, the matching circuit 204 of the tracking processing circuit 203 is a forward matching that is a matching performed from the reference frame to the current frame and a matching that is performed from the current frame to the reference frame between the reference frame and the current frame. Do direction matching. For example, the matching circuit 204 of the tracking processing circuit 203 sets the region of interest of the reference frame before matching in the forward matching as a corresponding region, and the reference after performing backward matching from the current frame in backward matching. Let the matching region of the frame be the corresponding region.

そして、トラッキング処理回路２０３のトラッキング結果判定回路２０５は、現在フレームにおけるマッチングされた領域に基づいて、現在フレームにおけるマッチングされた領域と、参照フレームにおいてマッチングされた領域と対応する領域との間の変化量を算出する。ここで、トラッキング処理回路２０３のトラッキング結果判定回路２０５は、参照フレームの現在フレームへの領域変化量と現在フレームの参照フレームへの領域変化量との間の差分値を変化量として算出する。 The tracking result determination circuit 205 of the tracking processing circuit 203 then changes between the matched area in the current frame and the area corresponding to the matched area in the reference frame based on the matched area in the current frame. Calculate the amount. Here, the tracking result determination circuit 205 of the tracking processing circuit 203 calculates a difference value between the region change amount of the reference frame to the current frame and the region change amount of the current frame to the reference frame as the change amount.

続いて、トラッキング処理回路２０３のトラッキング結果判定回路２０５は、算出した変化量が閾値未満の場合、トラッキング成功と判定し、算出した変化量が閾値以上の場合、トラッキング失敗と判定する。 Subsequently, the tracking result determination circuit 205 of the tracking processing circuit 203 determines that tracking is successful when the calculated change amount is less than the threshold, and determines that tracking is failed when the calculated change amount is equal to or greater than the threshold.

また、トラッキング処理回路２０３は、トラッキング結果判定回路２０５によってトラッキング失敗と判定された場合、現在フレームを破棄し、トラッキング結果判定回路２０５によってトラッキング成功と判定された場合、現在フレームを保持するリジェクション処理回路を備えるようにしてもよい。 The tracking processing circuit 203 discards the current frame when the tracking result determination circuit 205 determines that the tracking has failed, and rejects the current frame when the tracking result determination circuit 205 determines that the tracking is successful. A circuit may be provided.

なお、上述した実施形態では、２つのフレーム間で正方向マッチング及び逆方向マッチングを行う場合について説明したが、実施形態はこれに限定されるものではない。例えば、トラッキング処理回路２０３は、２つのフレーム間で正方向マッチングのみ実行するようにしてもよい。 In the above-described embodiment, the case where the forward direction matching and the backward direction matching are performed between two frames has been described. However, the embodiment is not limited to this. For example, the tracking processing circuit 203 may execute only forward direction matching between two frames.

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１、図４、及び図１０における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。 The term “processor” used in the above description is, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an application specific integrated circuit (ASIC), a programmable logic device (for example, It means circuits such as a simple programmable logic device (SPLD), a complex programmable logic device (CPLD), and a field programmable gate array (FPGA). The processor implements a function by reading and executing a program stored in the storage circuit. Instead of storing the program in the storage circuit, the program may be directly incorporated in the processor circuit. In this case, the processor realizes the function by reading and executing the program incorporated in the circuit. Note that each processor of the present embodiment is not limited to being configured as a single circuit for each processor, but may be configured as a single processor by combining a plurality of independent circuits to realize the function. Good. Further, a plurality of components shown in FIGS. 1, 4 and 10 may be integrated into one processor to realize the function.

上記の実施形態の説明において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。 In the description of the above embodiment, each component of each illustrated apparatus is functionally conceptual and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or a part of the distribution / integration is functionally or physically distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. Further, all or a part of each processing function performed in each device may be realized by a CPU and a program that is analyzed and executed by the CPU, or may be realized as hardware by wired logic.

また、上記の実施形態で説明した制御方法は、予め用意された制御プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この制御プログラムは、インターネット等のネットワークを介して配布することができる。また、この制御プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。 Moreover, the control method demonstrated by said embodiment is realizable by executing the control program prepared beforehand by computers, such as a personal computer and a workstation. This control program can be distributed via a network such as the Internet. The control program can also be executed by being recorded on a computer-readable recording medium such as a hard disk, a flexible disk (FD), a CD-ROM, an MO, and a DVD and being read from the recording medium by the computer.

以上説明した少なくとも一つの実施形態によれば、関心領域を正確に追跡することができる。 According to at least one embodiment described above, the region of interest can be accurately tracked.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.

３００超音波診断装置
３２０装置本体
３２７処理回路
３２７ａ取得機能
３２７ｂ参照フレーム生成機能
３２７ｃトラッキング処理機能 300 Ultrasonic Diagnostic Device 320 Device Main Body 327 Processing Circuit 327a Acquisition Function 327b Reference Frame Generation Function 327c Tracking Processing Function

Claims

初期フレームを始点とした、超音波画像を表す複数のフレームを時系列に取得する取得部と、
現在フレームと当該現在フレームの直前フレームとの類似度比較を行い、比較結果を用いた前記初期フレーム及び前記直前フレームへの重みづけ処理に基づき、参照フレームを生成する参照フレーム生成部と、
前記参照フレームと前記現在フレームとの間で、トラッキング処理を行うトラッキング処理部と、
を備えた、超音波診断装置。 An acquisition unit that acquires, in time series, a plurality of frames representing an ultrasound image, starting from an initial frame;
A reference frame generation unit that performs similarity comparison between the current frame and the immediately preceding frame of the current frame, and generates a reference frame based on the weighting process to the initial frame and the immediately preceding frame using a comparison result;
A tracking processing unit that performs tracking processing between the reference frame and the current frame;
An ultrasonic diagnostic apparatus comprising:

前記参照フレーム生成部は、前記類似度比較を行い、類似度が高ければ、前記直前フレームの重みを増し、類似度が低ければ、前記初期フレームの重みを増す処理を行って、重みづけ処理した前記初期フレーム及び前記直前フレームを加算することにより、前記参照フレームを生成する、請求項１に記載の超音波診断装置。 The reference frame generation unit performs the weighting process by comparing the degree of similarity, increasing the weight of the immediately preceding frame if the degree of similarity is high, and increasing the weight of the initial frame if the degree of similarity is low The ultrasonic diagnostic apparatus according to claim 1, wherein the reference frame is generated by adding the initial frame and the immediately preceding frame.

前記初期フレームは、関心領域が設定されたフレームであり、
前記参照フレーム生成部は、前記加算の前に、前記直前フレームの関心領域の位置を前記初期フレームの関心領域に対し変位させる、請求項１又は２に記載の超音波診断装置。 The initial frame is a frame in which a region of interest is set,
The ultrasonic diagnostic apparatus according to claim 1, wherein the reference frame generation unit displaces the position of the region of interest of the immediately preceding frame with respect to the region of interest of the initial frame before the addition.

前記トラッキング処理部は、更に、前記現在フレームと前記直前フレームとの間で前記トラッキング処理を行う、請求項１〜３のいずれか一つに記載の超音波診断装置。 The ultrasonic diagnostic apparatus according to claim 1, wherein the tracking processing unit further performs the tracking processing between the current frame and the immediately preceding frame.

前記トラッキング処理部は、
前記参照フレームと前記現在フレームとの間、及び、前記現在フレームと前記直前フレームとの間で、マッチングを行うマッチング部と、
前記現在フレームにおける前記参照フレームとの間でマッチングされた領域と、前記参照フレームにおいて当該マッチングされた領域と対応する領域との間の第１の変化量を算出し、前記現在フレームにおける前記直前フレームとの間でマッチングされた領域と、前記直前フレームにおいて当該マッチングされた領域と対応する領域との間の第２の変化量を算出し、算出した前記第１の変化量及び前記第２の変化量が同時に閾値未満の場合、トラッキング成功と判定し、算出した前記第１の変化量及び前記第２の変化量の少なくともいずれか一方が前記閾値以上の場合、トラッキング失敗と判定するトラッキング結果判定部と
を備えた、請求項４に記載の超音波診断装置。 The tracking processing unit
A matching unit that performs matching between the reference frame and the current frame, and between the current frame and the immediately preceding frame;
Calculating a first change amount between a region matched with the reference frame in the current frame and a region corresponding to the matched region in the reference frame, and the immediately preceding frame in the current frame; And a second change amount between the region matched between and the region corresponding to the matched region in the immediately preceding frame is calculated, and the calculated first change amount and second change are calculated. Tracking result determination unit that determines that tracking is successful when the amount is less than the threshold value simultaneously, and determines that tracking has failed when at least one of the calculated first change amount and second change amount is equal to or greater than the threshold value The ultrasonic diagnostic apparatus according to claim 4, comprising:

前記マッチング部は、前記参照フレームと前記現在フレームとの間、および、前記現在フレームと前記直前フレームとの間でのマッチング双方で、他のフレームとしての前記参照フレーム及び前記直前フレームのうちのいずれか一方から前記現在フレームへ行うマッチングである正方向マッチング、及び、前記現在フレームから前記他のフレームへ行うマッチングである逆方向マッチングを行い、
前記トラッキング結果判定部は、前記参照フレームの前記現在フレームへの領域変化量と前記現在フレームの前記参照フレームへの領域変化量との間の差分値を前記第１の変化量として算出し、前記直前フレームの前記現在フレームへの領域変化量と前記現在フレームの前記直前フレームへの領域変化量との間の差分値を前記第２の変化量として算出する、請求項５に記載の超音波診断装置。 The matching unit may be any of the reference frame and the immediately preceding frame as another frame in both the matching between the reference frame and the current frame and the matching between the current frame and the immediately preceding frame. Performing forward direction matching, which is matching performed from one of the current frames to the current frame, and backward direction matching, which is matching performed from the current frame to the other frame,
The tracking result determination unit calculates a difference value between a region change amount of the reference frame to the current frame and a region change amount of the current frame to the reference frame as the first change amount, and The ultrasonic diagnosis according to claim 5, wherein a difference value between a region change amount of the immediately preceding frame to the current frame and a region change amount of the current frame to the immediately preceding frame is calculated as the second change amount. apparatus.

前記マッチング部は、
前記参照フレームと前記現在フレームとの間で前記正方向マッチングを行う場合、マッチングを行う前の前記参照フレームの関心領域を前記対応する領域とし、
前記現在フレームと前記直前フレームとの間で前記正方向マッチングを行う場合、マッチングを行う前の前記直前フレームの関心領域を前記対応する領域とし、
前記参照フレームと前記現在フレームとの間で前記逆方向マッチングを行う場合、前記現在フレームから前記逆方向マッチングを行った後の前記参照フレームのマッチング領域を前記対応する領域とし、
前記現在フレームと前記直前フレームとの間で前記逆方向マッチングを行う場合、前記現在フレームから前記逆方向マッチングを行った後の前記直前フレームのマッチング領域を前記対応する領域とする、請求項６に記載の超音波診断装置。 The matching unit is
When performing the forward matching between the reference frame and the current frame, the region of interest of the reference frame before performing the matching is the corresponding region,
When the forward direction matching is performed between the current frame and the immediately preceding frame, the region of interest of the immediately preceding frame before performing the matching is the corresponding region,
When performing the backward matching between the reference frame and the current frame, the matching region of the reference frame after performing the backward matching from the current frame is the corresponding region,
7. When the backward matching is performed between the current frame and the immediately preceding frame, the matching region of the immediately preceding frame after performing the backward matching from the current frame is set as the corresponding region. The ultrasonic diagnostic apparatus as described.

前記トラッキング処理部は、
前記参照フレームと前記現在フレームとの間で、マッチングを行うマッチング部と、
前記現在フレームにおけるマッチングされた領域に基づいて、前記現在フレームにおけるマッチングされた領域と、前記参照フレームにおいて前記マッチングされた領域と対応する領域との間の変化量を算出し、算出した変化量が閾値未満の場合、トラッキング成功と判定し、算出した変化量が閾値以上の場合、トラッキング失敗と判定するトラッキング結果判定部と
を備えた、請求項１〜３のいずれか一つに記載の超音波診断装置。 The tracking processing unit
A matching unit that performs matching between the reference frame and the current frame;
Based on the matched region in the current frame, a change amount between the matched region in the current frame and the region corresponding to the matched region in the reference frame is calculated, and the calculated change amount is The ultrasound according to any one of claims 1 to 3, further comprising: a tracking result determination unit that determines that tracking is successful when less than a threshold value, and that determines that tracking failure occurs when the calculated change amount is equal to or greater than the threshold value. Diagnostic device.

前記マッチング部は、前記参照フレームと前記現在フレームとの間において、前記参照フレームから前記現在フレームへ行うマッチングである正方向マッチング、及び、前記現在フレームから前記参照フレームへ行うマッチングである逆方向マッチングを行い、
前記トラッキング結果判定部は、前記参照フレームの前記現在フレームへの領域変化量と前記現在フレームの前記参照フレームへの領域変化量との間の差分値を前記変化量として算出する、請求項８に記載の超音波診断装置。 The matching unit includes forward matching that is matching performed from the reference frame to the current frame between the reference frame and the current frame, and backward matching that is matching performed from the current frame to the reference frame. And
The tracking result determination unit calculates a difference value between a region change amount of the reference frame to the current frame and a region change amount of the current frame to the reference frame as the change amount. The ultrasonic diagnostic apparatus as described.

前記マッチング部は、前記正方向マッチングにおいて、マッチングを行う前の前記参照フレームの関心領域を前記対応する領域とし、前記逆方向マッチングにおいて、前記現在フレームから前記逆方向マッチングを行った後の前記参照フレームのマッチング領域を前記対応する領域とする、請求項９に記載の超音波診断装置。 The matching unit sets the region of interest of the reference frame before matching in the forward matching as the corresponding region, and the reference after performing the backward matching from the current frame in the backward matching The ultrasonic diagnostic apparatus according to claim 9, wherein a matching region of a frame is the corresponding region.

前記トラッキング処理部は、更に、前記トラッキング結果判定部によってトラッキング失敗と判定された場合、前記現在フレームを破棄し、前記トラッキング結果判定部によってトラッキング成功と判定された場合、前記現在フレームを保持するリジェクション処理部を備えた、請求項５〜１０のいずれか一つに記載の超音波診断装置。 The tracking processing unit further discards the current frame when the tracking result determination unit determines that the tracking has failed, and rejects the current frame when the tracking result determination unit determines that tracking is successful. The ultrasonic diagnostic apparatus according to claim 5, further comprising an action processing unit.

初期フレームを始点とした、超音波画像を表す複数のフレームを時系列に取得する取得部と、
現在フレームと当該現在フレームの直前フレームとの類似度比較を行い、比較結果を用いた初期フレーム及び直前フレームへの重みづけ処理に基づき、参照フレームを生成する参照フレーム生成部と、
前記参照フレームと前記現在フレームとの間で、トラッキング処理を行うトラッキング処理部と、
を備えた、画像処理装置。 An acquisition unit that acquires, in time series, a plurality of frames representing an ultrasound image, starting from an initial frame;
A reference frame generation unit that performs similarity comparison between the current frame and the immediately preceding frame of the current frame, and generates a reference frame based on a weighting process to the initial frame and the immediately preceding frame using the comparison result;
A tracking processing unit that performs tracking processing between the reference frame and the current frame;
An image processing apparatus comprising:

初期フレームを始点とした、超音波画像を表す複数のフレームを時系列に取得し、
現在フレームと当該現在フレームの直前フレームとの類似度比較を行い、比較結果を用いた初期フレーム及び直前フレームへの重みづけ処理に基づき、参照フレームを生成し、
前記参照フレームと前記現在フレームとの間で、トラッキング処理を行う、
処理をコンピュータに実行させるための、画像処理プログラム。 A plurality of frames representing an ultrasound image starting from the initial frame are acquired in time series,
Compare the similarity between the current frame and the immediately preceding frame of the current frame, and generate a reference frame based on the weighting process to the initial frame and the immediately preceding frame using the comparison result,
A tracking process is performed between the reference frame and the current frame.
An image processing program for causing a computer to execute processing.