JP2021048913A - Image processing device, method and program - Google Patents

Image processing device, method and program Download PDF

Info

Publication number
JP2021048913A
JP2021048913A JP2019172020A JP2019172020A JP2021048913A JP 2021048913 A JP2021048913 A JP 2021048913A JP 2019172020 A JP2019172020 A JP 2019172020A JP 2019172020 A JP2019172020 A JP 2019172020A JP 2021048913 A JP2021048913 A JP 2021048913A
Authority
JP
Japan
Prior art keywords
image
frame
region
image processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019172020A
Other languages
Japanese (ja)
Other versions
JP7366665B2 (en
Inventor
尚実 豊原
Naomi Toyohara
尚実 豊原
知樹 濱上
Tomoki Hamagami
知樹 濱上
伸一 蓑原
Shinichi Minohara
伸一 蓑原
義章 下野
Yoshiaki Shimono
義章 下野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kanagawa Prefectural Hospital Organization
Yokohama National University NUC
Toshiba Energy Systems and Solutions Corp
Original Assignee
Kanagawa Prefectural Hospital Organization
Yokohama National University NUC
Toshiba Energy Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kanagawa Prefectural Hospital Organization, Yokohama National University NUC, Toshiba Energy Systems and Solutions Corp filed Critical Kanagawa Prefectural Hospital Organization
Priority to JP2019172020A priority Critical patent/JP7366665B2/en
Publication of JP2021048913A publication Critical patent/JP2021048913A/en
Application granted granted Critical
Publication of JP7366665B2 publication Critical patent/JP7366665B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Radiation-Therapy Devices (AREA)

Abstract

To provide a medical image processing technique which accurately detects the displacement of a feature portion from a moving image and improves the tracking accuracy of an area of interest that moves.SOLUTION: An image processing device 10A comprises: an acquisition unit 11 which acquires a frame 30 of a moving image 36 including feature areas 35 (35a, 35b, 35c) that can be expressed with a closed contour line and are displaced periodically; a specification unit 20 which specifies displacement areas 31 (31a, 31b, 31c) that contain the feature areas 35 for at least one period included in each frame 30; an extraction unit 12 which extracts the displacement areas 31 in each frame 30 as collation images 37 (371 to 375); a designation unit 15 which designates any one collation image 371 as a reference image 38; and a position output unit 17 which outputs position information (X, Y) of the feature areas 35 in the frame 30 on the basis of the relative displacement (x, y) calculated on the basis of the correlation between the reference image 38 and the collation images 37 (371 to 375).SELECTED DRAWING: Figure 1

Description

本発明の実施形態は、動きを持つ画像領域を追尾する、画像処理技術に関する。 An embodiment of the present invention relates to an image processing technique for tracking a moving image region.

重粒子線、Ｘ線、電子線等の放射線を患者に照射して腫瘍を治療する放射線治療では、この腫瘍を含むよう設定した関心領域に対し、放射線を正確に照射する必要がある。この関心領域が、患者の体動、呼吸、心臓の鼓動などに伴って移動する場合、放射線を正確に照射することが困難となる。 In radiation therapy for treating a tumor by irradiating a patient with radiation such as heavy particle beam, X-ray, or electron beam, it is necessary to accurately irradiate the area of interest set to include the tumor. When this area of interest moves with the patient's body movements, breathing, heartbeat, etc., it becomes difficult to accurately irradiate the radiation.

そこで、関心領域の近傍に金属製マーカーを挿入し、このマーカー位置をＸ線透視装置により検出し、治療放射線の照射を制御するマーカートラッキングが提案されている。また、このようなマーカーの挿入を不要とし、関心領域とは別個に設定した特徴部位を画像認識して、治療放射線の照射を制御するマーカーレストラッキングも提案されている。 Therefore, a marker tracking has been proposed in which a metal marker is inserted in the vicinity of the region of interest, the position of the marker is detected by an X-ray fluoroscope, and the irradiation of therapeutic radiation is controlled. In addition, markerless tracking has also been proposed in which the insertion of such a marker is not required, and a feature region set separately from the region of interest is image-recognized to control the irradiation of therapeutic radiation.

特許第３０５３３８９号公報Japanese Patent No. 3053389 特開２００８−８０１３１号公報Japanese Unexamined Patent Publication No. 2008-80131

上述したマーカートラッキングは、関心領域の動きがマーカーの動きと同期していることを前提として治療計画が立案される。しかし、例えば横隔膜周辺では、横隔膜の回転や併進運動の結果、関心領域の動きが必ずしもマーカーの動きに同期しない場合もある。また従来のマーカーレストラッキングでは、画像中の特徴部位の抽出が不明確だと関心領域の動きの事前予測が困難となり、治療計画の立案に支障をきたす場合がある。 In the marker tracking described above, the treatment plan is formulated on the premise that the movement of the region of interest is synchronized with the movement of the marker. However, for example, around the diaphragm, the movement of the region of interest may not always be synchronized with the movement of the marker as a result of the rotation or translational movement of the diaphragm. Further, in the conventional markerless tracking, if the extraction of the featured portion in the image is unclear, it becomes difficult to predict the movement of the region of interest in advance, which may hinder the formulation of the treatment plan.

本発明の実施形態はこのような事情を考慮してなされたもので、特徴部位の変位を動画から正確に検出し、動きを持つ関心領域の追尾精度の向上を図る医用画像処理技術を提供する。 An embodiment of the present invention has been made in consideration of such circumstances, and provides a medical image processing technique for accurately detecting the displacement of a featured portion from a moving image and improving the tracking accuracy of a region of interest having motion. ..

実施形態に係る画像処理装置は、閉じた輪郭線で表すことができ周期的に変位する特徴領域が含まれる動画のフレームを取得する取得部と、各々の前記フレームに含まれる少なくとも一周期分の前記特徴領域を包含する変位領域を特定する特定部と、各々の前記フレームにおける前記変位領域を照合画像として抽出する抽出部と、いずれか一つの前記照合画像を基準画像に指定する指定部と、前記基準画像と前記照合画像との相関性に基づき演算される相対変位に基づいて前記フレームにおける前記特徴領域の位置情報を出力する位置出力部と、を備えている。 The image processing apparatus according to the embodiment includes an acquisition unit that acquires a frame of a moving image including a feature region that can be represented by a closed contour line and is displaced periodically, and an acquisition unit for at least one cycle included in each of the frames. A specific unit that specifies a displacement region including the feature region, an extraction unit that extracts the displacement region in each frame as a collation image, and a designation unit that designates any one of the collation images as a reference image. It includes a position output unit that outputs position information of the feature region in the frame based on a relative displacement calculated based on the correlation between the reference image and the collation image.

本発明の実施形態により、特徴部位の変位を動画から正確に検出し、動きを持つ関心領域の追尾精度の向上を図る医用画像処理技術が提供される。 According to an embodiment of the present invention, there is provided a medical image processing technique for accurately detecting the displacement of a featured portion from a moving image and improving the tracking accuracy of a region of interest having motion.

本発明の第１実施形態に係る画像処理装置のブロック図。The block diagram of the image processing apparatus which concerns on 1st Embodiment of this invention. 各実施形態に係る画像処理装置で取得される動画のフレームを示す図。The figure which shows the frame of the moving image acquired by the image processing apparatus which concerns on each embodiment. 各々のフレームの変位領域から抽出された照合画像及び基準画像を示す図。The figure which shows the collation image and the reference image extracted from the displacement area of each frame. 各実施形態の演算部で採用される位相限定相関法の説明図。Explanatory drawing of the phase-limited correlation method adopted by the arithmetic unit of each embodiment. 第２実施形態に係る画像処理装置のブロック図。The block diagram of the image processing apparatus which concerns on 2nd Embodiment. （Ａ）〜（Ｆ）第２実施形態においてフレームに設定したタイル領域を拡張して変位領域を特定する方法の説明図。(A)-(F) Explanatory drawing of the method of expanding the tile area set in the frame in 2nd Embodiment and specifying a displacement area. （Ａ）前後するフレームにおいて注目するタイル領域の相関性が低い場合の類似度のピーク形状を示すグラフ、（Ｂ）相関性が高い場合の類似度のピーク形状を示すグラフ。(A) A graph showing the peak shape of similarity when the correlation of the tile region of interest in the preceding and following frames is low, and (B) a graph showing the peak shape of similarity when the correlation is high. 第３実施形態に係る画像処理装置のブロック図。The block diagram of the image processing apparatus which concerns on 3rd Embodiment. 第３実施形態において関心領域が描画されたフレームの説明図。The explanatory view of the frame in which the region of interest is drawn in 3rd Embodiment. 実施形態に係る画像処理方法及び画像処理プログラムの動作を示すフローチャート。The flowchart which shows the operation of the image processing method and the image processing program which concerns on embodiment.

（第１実施形態）
以下、本発明の実施形態を添付図面に基づいて説明する。図１は本発明の第１実施形態に係る画像処理装置１０Ａのブロック図である。図２は各実施形態に係る画像処理装置１０で取得される動画３６のフレーム３０を示す図である。図３は各々のフレーム３０の変位領域３１から抽出された照合画像３７1〜３７5及び基準画像３８を示す図である。 (First Embodiment)
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. FIG. 1 is a block diagram of the image processing apparatus 10A according to the first embodiment of the present invention. FIG. 2 is a diagram showing a frame 30 of a moving image 36 acquired by the image processing device 10 according to each embodiment. Figure 3 is a diagram showing a collation image 37 1-37 5 and the reference image 38 extracted from the displacement area 31 of each frame 30.

図１に示すように画像処理装置１０Ａ（１０）は、閉じた輪郭線で表すことができ周期的に変位する特徴領域３５（３５ａ，３５ｂ，３５ｃ）（図２）が含まれる動画３６のフレーム３０を取得する取得部１１と、各々のフレーム３０に含まれる少なくとも一周期分の特徴領域３５を包含する変位領域３１（３１ａ，３１ｂ，３１ｃ）（図２）を特定する特定部２０と、各々のフレーム３０における変位領域３１を照合画像３７（３７1〜３７5）（図３）として抽出する抽出部１２と、いずれか一つの照合画像３７1を基準画像３８に指定する指定部１５と、基準画像３８と照合画像３７（３７1〜３７5）との相関性に基づき演算される相対変位（ｘ，ｙ）（図４）に基づいてフレーム３０における特徴領域３５の位置情報（Ｘ，Ｙ）を出力する位置出力部１７と、を備えている。 As shown in FIG. 1, the image processing device 10A (10) is a frame of the moving image 36 including a feature region 35 (35a, 35b, 35c) (FIG. 2) that can be represented by a closed contour line and is displaced periodically. An acquisition unit 11 for acquiring 30 and a specific unit 20 for specifying displacement regions 31 (31a, 31b, 31c) (FIG. 2) including feature regions 35 for at least one cycle included in each frame 30, respectively. an extraction unit 12 that extracts an image of the displacement area 31 in the frame 30 matching 37 (37 1 to 37 5) (Fig. 3), a designation unit 15 for designating any one of a collation image 37 1 on the reference image 38, correlation based calculated the relative displacement between the reference image 38 and the collation image 37 (37 1 ~37 5) ( x, y) position information of the feature region 35 in the frame 30 on the basis of (Fig. 4) (X, Y ) Is output, and a position output unit 17 is provided.

図１に示すように画像処理装置１０Ａ（１０）は、さらに、フレーム３０に含まれる複数の特徴領域３５（３５ａ，３５ｂ，３５ｃ）の位置情報（Ｘ，Ｙ）を関心領域３２（図２）に変換する変換部１８と、この関心領域３２をフレーム３０に描画させる描画部１９と、を備えている。 As shown in FIG. 1, the image processing apparatus 10A (10) further obtains position information (X, Y) of a plurality of feature regions 35 (35a, 35b, 35c) included in the frame 30 in the region of interest 32 (FIG. 2). It is provided with a conversion unit 18 for converting to, and a drawing unit 19 for drawing the region of interest 32 on the frame 30.

取得部１１により取得される動画３６は、Ｘ線透視撮像機器５０により、患者５１を撮像してリアルタイムに生成される。この動画３６は、患者５１の呼吸周期の動きに対し、ブレのない静止画のフレーム３０が得られる程度に、充分に高速なフレームレートで撮像されるものとする。 The moving image 36 acquired by the acquisition unit 11 is generated in real time by imaging the patient 51 with the X-ray fluoroscopic imaging device 50. It is assumed that the moving image 36 is imaged at a frame rate sufficiently high enough to obtain a frame 30 of a still image without blurring with respect to the movement of the respiratory cycle of the patient 51.

このＸ線透視撮像機器５０は、患者５１を横臥させるベッド５２と、患者５１の病巣（関心領域３２）（図３）にＸ線がクロスするように配置される二対のＸ線発生部５５（５５ａ，５５ｂ）及びＸ線受像部５６（５６ａ，５６ｂ）と、から構成される。Ｘ線受像部５６は、Ｘ線の検出素子が２次元アレイ状に配置され、Ｘ線発生部５５から照射され患者５１を透過してそれぞれの検出素子に到達したＸ線のエネルギーの減衰量に応じ、透視像をリアルタイム出力する。そして、画像合成部５７は、Ｘ線受像部５６（５６ａ，５６ｂ）から出力された二つの透視像を入力して合成し、患者５１を予め定めた任意方向から透視した動画３６を出力する。 The X-ray fluoroscopic imaging device 50 includes a bed 52 on which the patient 51 lies down, and two pairs of X-ray generators 55 arranged so that X-rays cross the lesion (region of interest 32) (FIG. 3) of the patient 51. It is composed of (55a, 55b) and an X-ray image receiving unit 56 (56a, 56b). In the X-ray image receiving unit 56, X-ray detecting elements are arranged in a two-dimensional array, and the amount of attenuation of the X-ray energy that is irradiated from the X-ray generating unit 55, passes through the patient 51, and reaches each detection element. Correspondingly, the perspective image is output in real time. Then, the image synthesizing unit 57 inputs and synthesizes two fluoroscopic images output from the X-ray receiving unit 56 (56a, 56b), and outputs a moving image 36 in which the patient 51 is seen through from a predetermined arbitrary direction.

Ｘ線発生部５５（５５ａ，５５ｂ）の挟む位置又はＸ線受像部５６（５６ａ，５６ｂ）の挟む位置には、患者５１の病巣（関心領域３２）に対し、治療ビームを照射するビーム照射ポート（図示略）が配置されている。治療ビームとしては、高い運動エネルギーをもって流れる物質粒子（電子線、陽子線、重イオン線）や高エネルギーの電磁波（ガンマ線）が挙げられる。 A beam irradiation port that irradiates the lesion (region of interest 32) of the patient 51 at the position sandwiched by the X-ray generating section 55 (55a, 55b) or the position sandwiched by the X-ray receiving section 56 (56a, 56b). (Not shown) is arranged. Examples of the therapeutic beam include substance particles (electron beam, proton beam, heavy ion beam) flowing with high kinetic energy and high-energy electromagnetic wave (gamma ray).

ところで、Ｘ線透視撮像機器５０のＸ線発生部５５が出力するＸ線は、患者５１の被ばくを低減するためその強度が抑えられている。 By the way, the intensity of the X-rays output by the X-ray generating unit 55 of the fluoroscopic imaging apparatus 50 is suppressed in order to reduce the exposure of the patient 51.

このために、図２に示すように、動画３６のフレーム３０に写し出される病巣（関心領域３２）は、不鮮明である場合が多く、この病巣（関心領域３２）の変位を正確に追跡することが困難である。しかし、フレーム３０には、関心領域３２と同期して周期的に変位し、周囲とのコントラストが明確で閉じた輪郭線で表すことができる特徴領域３５（３５ａ，３５ｂ，３５ｃ）も写し出されている。この特徴領域３５は、臓器（例えば横隔膜）や骨の一部である他に、臓器と臓器との間隙部であったり、病巣近傍に埋め込んだ金属製のマーカーであったりする。また特徴領域３５は、関心領域３２の外部に位置する場合を例示しているが、関心領域３２の内部に位置する場合もある。 For this reason, as shown in FIG. 2, the lesion (region of interest 32) projected in the frame 30 of the moving image 36 is often unclear, and the displacement of this lesion (region of interest 32) can be accurately tracked. Have difficulty. However, the frame 30 also projects a feature region 35 (35a, 35b, 35c) that is periodically displaced in synchronization with the region of interest 32 and has a clear contrast with the surroundings and can be represented by a closed contour line. There is. The characteristic region 35 is a part of an organ (for example, the diaphragm) or a bone, a gap between the organs, or a metal marker embedded in the vicinity of the lesion. Further, although the feature region 35 exemplifies the case where it is located outside the region of interest 32, it may be located inside the region of interest 32.

このように、フレーム３０に鮮明に写し出される特徴領域３５の変位を追尾することにより、不鮮明に写し出される関心領域３２の変位を推測することができる。なお実施形態において動画３６は、Ｘ線透過の原理を利用して撮像されたものを例示しているが、これに限定されることはなく、核磁気共鳴、超音波エコー、可視光線反射、赤外線反射の原理を利用して撮像されたものも採用することができる。このため、関心領域３２は、体内の腫瘍や結石等に留まらず、皮膚表面等といった人体の表面の腫瘍等、動きを伴うものであればすべて対象となる。 By tracking the displacement of the feature region 35 clearly projected on the frame 30 in this way, the displacement of the interest region 32 clearly projected on the frame 30 can be estimated. In the embodiment, the moving image 36 exemplifies an image taken by using the principle of X-ray transmission, but the present invention is not limited to this, and is not limited to this, and is limited to nuclear magnetic resonance, ultrasonic echo, visible light reflection, and infrared rays. Those imaged using the principle of reflection can also be adopted. For this reason, the region of interest 32 is not limited to tumors and stones in the body, but is applicable to all tumors on the surface of the human body such as the skin surface and the like that accompany movement.

特定部２０（図１）は、取得部１１から動画３６を入力し、この動画３６を構成する各々のフレーム３０を解析し、コマ送りした際に周期的に変位する特徴領域３５を認定する。そして図２に示すように、周期的に変位する特徴領域３５（３５ａ，３５ｂ，３５ｃ）を全て包含する変位領域３１（３１ａ，３１ｂ，３１ｃ）を特定する。そしてフレーム３０で特定された変位領域３１の位置・大きさの情報が、抽出部３１に送られる。なお図２において、フレーム３０から三つの変位領域３１が特定されているが、一つである場合もあるし、それ以上である場合もある。 The specific unit 20 (FIG. 1) inputs the moving image 36 from the acquiring unit 11, analyzes each frame 30 constituting the moving image 36, and certifies the feature area 35 that is periodically displaced when the frame is advanced. Then, as shown in FIG. 2, the displacement region 31 (31a, 31b, 31c) including all the characteristic regions 35 (35a, 35b, 35c) that are displaced periodically is specified. Then, the information on the position and size of the displacement region 31 specified by the frame 30 is sent to the extraction unit 31. In FIG. 2, three displacement regions 31 are specified from the frame 30, but they may be one or more.

抽出部１２（図１）は、特定部２０から送られた変位領域３１の位置・大きさの情報に基づいて、取得部１１より入力したフレーム３０から照合画像３７（３７1〜３７5）（図３）を抽出する。そして、指定部１５により、いずれか一つの照合画像３７1が基準画像３８として指定される。なお実施形態において基準画像３８は、変位領域３１が特定された後、最初に取得された照合画像３７1を指定したが、特に限定されず、任意の照合画像３７が指定される。 Extraction unit 12 (FIG. 1) based on the position and size information of the displacement area 31 sent from the identifying unit 20, the collation from the frame 30, which is input from acquiring unit 11 image 37 (37 1 to 37 5) ( Figure 3) is extracted. Then, the designating section 15, any one of the collation image 37 1 is designated as a reference image 38. The reference image 38 in the embodiment noted, after the displacement area 31 is identified, initially was designated collation image 37 1 acquired is not particularly limited, any collation image 37 is designated.

指定された基準画像３８は、刻々と送られてくるフレーム３０から抽出される照合画像３７に、閉じた輪郭線で表される特徴領域３５が含まれている限り、変更されずに継続される。そして、特徴領域３５の輪郭線が照合画像３７から外れた場合は、変位領域３１の特定を再度やり直し、基準画像３８の指定も再度やり直される。 The designated reference image 38 continues unchanged as long as the collation image 37 extracted from the frame 30 sent every moment includes the feature area 35 represented by the closed contour line. .. Then, when the contour line of the feature region 35 deviates from the collation image 37, the displacement region 31 is specified again, and the reference image 38 is specified again.

演算部１６は、変位領域３１の変更がない限り指定された基準画像３８を基本的に一回だけ入力する。そして演算部１６は、その後、フレーム３０から連続的に抽出される照合画像３７（３７1〜３７5）を入力し、基準画像３８との相関性に基づき特徴領域３５（３５1〜３５5）の相対変位（ｘ，ｙ）を演算する。 The calculation unit 16 basically inputs the designated reference image 38 only once unless the displacement region 31 is changed. The arithmetic unit 16 is then continuously extracted from the frame 30 by entering the collation image 37 (37 1 to 37 5), the feature region 35 (35 1 to 35 5) based on the correlation with the reference image 38 Calculate the relative displacement (x, y) of.

図４は、演算部１６で採用される位相限定相関法（ＰＯＣ：Phase Only Correction）の説明図である。演算部１６に入力された基準画像３８及び照合画像３７の各々は、フーリエ変換により数学的に処理されると、振幅画像（濃淡情報）と位相画像（輪郭情報）とにそれぞれ分解される。このうち位相画像は、高周波成分に含まれる輪郭情報が強調されることにより、エッジ画像に類似した画像となる。 FIG. 4 is an explanatory diagram of a phase only correlation method (POC) adopted by the calculation unit 16. When each of the reference image 38 and the collation image 37 input to the calculation unit 16 is mathematically processed by the Fourier transform, they are decomposed into an amplitude image (shade information) and a phase image (contour information), respectively. Of these, the phase image becomes an image similar to the edge image by emphasizing the contour information contained in the high frequency component.

そして演算部１６は、基準画像３８の位相画像と照合画像３７の位相画像とを合成し、これを逆フーリエ変換して、位相限定相関関数（ＰＯＣ関数）を出力する。この位相限定相関関数（ＰＯＣ関数）は、相対変位（ｘ，ｙ）の座標と類似度Ｒとを組み合わせたデータの集合体である。このＰＯＣ関数のピークＰの波高値は対比する二つの画像の類似度を表し、この二つの画像が類似している場合、ピークＰは鋭く高い値を示す。 Then, the calculation unit 16 synthesizes the phase image of the reference image 38 and the phase image of the collation image 37, performs an inverse Fourier transform on the phase image, and outputs a phase-limited correlation function (POC function). This phase-limited correlation function (POC function) is a collection of data in which the coordinates of the relative displacement (x, y) and the similarity R are combined. The peak value of the peak P of this POC function represents the similarity between the two contrasting images, and when the two images are similar, the peak P shows a sharply high value.

基準画像３８と照合画像３７は、形状や大きさが同一の特徴領域３５が共通に写り込んでいるために、照合画像３７（３７1〜３７5）に由来する全てのピークＰ（Ｐ1〜Ｐ5）（図４）は、波高値が大きく鋭い形状を示している。さらにそれぞれのピークＰ（Ｐ1〜Ｐ5）の座標は、基準画像３８の特徴領域３５1から照合画像３７（３７1〜３７5）の特徴領域３５（３５1〜３５5）までの相対変位（ｘ，ｙ）に相当する。 Reference image 38 and the collation image 37, the shape and to the same characteristic region 35 is crowded-through to a common size, the collation image 37 (37 1 to 37 5) all peaks P derived from (P 1 ~ P 5) (Fig. 4), the peak value indicates a large sharp shape. Furthermore coordinates of each peak P (P 1 to P 5), the relative displacement from the characteristic region 35 1 of the reference image 38 to the feature region 35 of the collation image 37 (37 1 to 37 5) (35 1 to 35 5) Corresponds to (x, y).

なお、実施形態では位相限定相関法を用いて、基準画像３８と照合画像３７との相対変位（ｘ，ｙ）及び類似度Ｒを演算したが、これらの演算方法は特に限定されることなく、発明の実施時において公知の演算方法を採用することができる。 In the embodiment, the relative displacement (x, y) and the degree of similarity R between the reference image 38 and the collation image 37 are calculated by using the phase-limited correlation method, but these calculation methods are not particularly limited. A calculation method known at the time of carrying out the invention can be adopted.

位置出力部１７（図１）は、演算部１６から入力したピークＰの座標を、変位領域３１における特徴領域３５の相対変位（ｘ，ｙ）とみなす。そして、この相対変位（ｘ，ｙ）に、フレーム３０における変位領域３１の座標情報を加算して、フレーム３０における特徴領域３５の位置情報（Ｘ，Ｙ）を出力する。 The position output unit 17 (FIG. 1) regards the coordinates of the peak P input from the calculation unit 16 as the relative displacement (x, y) of the feature region 35 in the displacement region 31. Then, the coordinate information of the displacement region 31 in the frame 30 is added to the relative displacement (x, y), and the position information (X, Y) of the feature region 35 in the frame 30 is output.

変換部１８（図１）は、フレーム３０（図２）に含まれる複数の特徴領域３５（３５ａ，３５ｂ，３５ｃ）の位置情報（Ｘ，Ｙ）を関心領域３２に変換する。上述したようにＸ線透視撮像機器５０から取得する動画３６の解像度が低い場合、フレーム３０に写っている関心領域３２は、不鮮明である。そこで、Ｘ線透視撮像機器５０から動画３６を取得するのに先立って、より高解像度な撮像機器（例えば、Ｘ線ＣＴ装置等）で関心領域３２を立体動画撮像しておく。この立体動画撮像から再構成された平面動画には、関心領域３２が鮮明に描写されている。 The conversion unit 18 (FIG. 1) converts the position information (X, Y) of the plurality of feature regions 35 (35a, 35b, 35c) included in the frame 30 (FIG. 2) into the region of interest 32. As described above, when the resolution of the moving image 36 acquired from the X-ray fluoroscopic imaging device 50 is low, the region of interest 32 shown in the frame 30 is unclear. Therefore, prior to acquiring the moving image 36 from the X-ray fluoroscopic imaging device 50, the region of interest 32 is imaged in 3D with a higher resolution imaging device (for example, an X-ray CT apparatus or the like). The region of interest 32 is clearly depicted in the planar moving image reconstructed from this stereoscopic moving image imaging.

そこで、この立体動画撮像から再構成された平面動画において、特徴領域３５（３５ａ，３５ｂ，３５ｃ）の位置情報（Ｘ，Ｙ）と関心領域３２の位置・形状情報との関係を予め学習して記憶しておく。そして変換部１８は、位置出力部１７から入力した特徴領域３５（３５ａ，３５ｂ，３５ｃ）の位置情報（Ｘ，Ｙ）を、学習により関連付けした関心領域３２に変換する。描画部１９は、変換部１８で変換された関心領域３２を、フレーム３０に追加して画面表示する。 Therefore, in the planar moving image reconstructed from this stereoscopic moving image imaging, the relationship between the position information (X, Y) of the feature area 35 (35a, 35b, 35c) and the position / shape information of the interest area 32 is learned in advance. Remember. Then, the conversion unit 18 converts the position information (X, Y) of the feature areas 35 (35a, 35b, 35c) input from the position output unit 17 into the area of interest 32 associated by learning. The drawing unit 19 adds the region of interest 32 converted by the conversion unit 18 to the frame 30 and displays it on the screen.

（第２実施形態）
次に図５を参照して本発明における第２実施形態について説明する。図５は第２実施形態に係る画像処理装置１０Ｂのブロック図である。なお、図５において図１と共通の構成又は機能を有する部分は、同一符号で示し、重複する説明を省略する。画像処理装置１０Ｂ（１０）は、動画３６のフレーム３０を取得する取得部１１と、変位領域３１の特定部２０と、照合画像３７の抽出部１２と、基準画像３８の指定部１５と、特徴領域３５の位置情報（Ｘ，Ｙ）を出力する位置出力部１７と、を備えている。 (Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to FIG. FIG. 5 is a block diagram of the image processing device 10B according to the second embodiment. In FIG. 5, parts having the same configuration or function as those in FIG. 1 are indicated by the same reference numerals, and duplicate description will be omitted. The image processing device 10B (10) features an acquisition unit 11 for acquiring the frame 30 of the moving image 36, a specific unit 20 for the displacement region 31, an extraction unit 12 for the collation image 37, and a designation unit 15 for the reference image 38. It includes a position output unit 17 that outputs position information (X, Y) of the area 35.

そして画像処理装置１０Ｂの特定部２０は、フレーム３０にタイル領域３９（図６）を設定する設定部２１と、動きが前後するフレーム３０において注目するタイル領域３９の相関性に基づき演算される類似度Ｒが閾値ｍより小さいタイル領域３９を拡張する拡張部２５と、拡張したことにより類似度Ｒが閾値ｍを超えたタイル領域３９を変位領域３１に決定する決定部２６と、を有している。 Then, the specific unit 20 of the image processing device 10B is similar to the setting unit 21 that sets the tile area 39 (FIG. 6) in the frame 30 and is calculated based on the correlation between the tile area 39 of interest in the frame 30 that moves back and forth. It has an expansion unit 25 that expands a tile region 39 whose degree R is smaller than the threshold value m, and a determination unit 26 that determines a tile region 39 whose similarity R exceeds the threshold value m as a displacement region 31 due to the expansion. There is.

図６（Ａ）〜（Ｆ）は第２実施形態においてフレーム３０に設定したタイル領域３９（３９1，３９2，３９3，３９4，３９5）を拡張して変位領域３１を特定する方法の説明図である。図７（Ａ）は前後するフレーム３０において注目するタイル領域３９の相関性が低い場合の類似度ＲのピークＰの形状を示すグラフである。図７（Ｂ）は相関性が高い場合の類似度ＲのピークＰの形状を示すグラフである。 FIG 6 (A) ~ (F) tile region 39 set on the frame 30 in the second embodiment (39 1, 39 2, 39 3, 39 4, 39 5) a method of extension to identify the displacement area 31 It is explanatory drawing of. FIG. 7A is a graph showing the shape of the peak P of the similarity R when the correlation between the tile regions 39 of interest in the preceding and following frames 30 is low. FIG. 7B is a graph showing the shape of the peak P of the similarity R when the correlation is high.

図６（Ａ）に示すように、取得部１１（図５）から設定部２１に、特徴領域３５1の写り込んだ一枚目のフレーム３０1が入力すると、このフレーム３０1に、単位サイズのタイル領域３９1が割り振られる。なお、図６（Ａ）においてタイル領域３９1は、互いに外接するように割り振られているが、互いに一部領域が重複するように割り振られる場合もある。そして、各々のタイル領域３９1によりフレーム３０1から抽出された分割画像は、指定部１５（図５）により基準画像として演算部１６に送られる。 As shown in FIG. 6 (A), the setting unit 21 from the acquisition unit 11 (FIG. 5), the frame 30 1 of the fancy-through of the first sheet, wherein the region 35 1 is input, to the frame 30 1, unit size 1 are assigned the tile area 39. Incidentally, the tile area 39 1 in FIG. 6 (A) have been allocated to circumscribe each other, there is a case where a partial area is allocated to overlap each other. Then, divided image extracted by each tile region 39 1 from the frame 30 1 is sent to the arithmetic unit 16 as a reference image by the designation unit 15 (FIG. 5).

次に図６（Ｂ）に示すように、特徴領域３５2の写り込んだ二枚目のフレーム３０2が設定部２１（図５）に入力すると、タイル領域３９1により抽出されたフレーム３０2の分割画像は、照合画像として演算部１６に送られる。この演算部１６は、動きが前後するフレーム３０1とフレーム３０2において、注目するタイル領域３９1の相関性を演算する。 Next, as shown in FIG. 6 (B), the frame 30 2 of handsome yelling-through characteristic region 35 2 is inputted to the setting unit 21 (FIG. 5), a frame 30, which is extracted by the tile area 39 1 2 The divided image of is sent to the calculation unit 16 as a collation image. The calculation unit 16, motion in the frame 30 1 and the frame 30 2 to front and rear, calculates a tile region 39 1 of the correlation of interest.

図６（Ｂ）に示すように、変位した特徴領域３５1，３５2に位置するタイル領域３９1は画像が変化しているので、演算部１６からは、図７（Ａ）に示すように、類似度Ｒが閾値ｍよりも小さい波高値のピークＰが出力される。判定部２２（図５）は、全てのタイル領域３９1に対して類似度Ｒの判定を行い、閾値ｍよりも小さいものについては拡張部２５で拡張したタイル領域３９2にする。そして、判定部２２は、図７（Ｂ）に示すように、閾値ｍよりも大きい波高値のピークＰを持つものについては、タイル領域３９1を消滅させ、以降演算の対象にしない。 As shown in FIG. 6 (B), the displacement and characteristic region 35 1, 35 tile area 39 1 which is located 2 image has changed, from the operation part 16, as shown in FIG. 7 (A) , The peak P of the peak value whose similarity R is smaller than the threshold value m is output. Determining unit 22 (FIG. 5), a determination of the similarity R for all tile areas 39 1, the smaller than the threshold value m is the tile area 39 2 extended with the extended portion 25. Then, the determination unit 22, as shown in FIG. 7 (B), for those having a peak P of greater peak value than the threshold value m, the tile region 39 1 is extinguished, not subject to operation later.

図６（Ｃ）〜図６（Ｄ）についても、同じように、動きが前後するフレーム３０n，３０n+1において注目するタイル領域３９nの相関性が演算される。そして、図７（Ａ）に示すように、このタイル領域３９nの類似度Ｒが閾値ｍより小さいものについては拡張したタイル領域３９n+1にする。そして、図６（Ｅ）に示すように、拡張した結果、図７（Ｂ）のように類似度Ｒが閾値ｍを超えたタイル領域３９5は、図６（Ｆ）に示すように、変位領域３１に決定される。 Similarly, in FIGS. 6 (C) to 6 (D), the correlation of the tile region 39 n of interest is calculated in the frames 30 n and 30 n + 1 in which the movement moves back and forth. Then, as shown in FIG. 7A, if the similarity R of the tile area 39 n is smaller than the threshold value m, the expanded tile area 39 n + 1 is set. Then, as shown in FIG. 6 (E), extended result, tile area 39 5 of similarity R exceeds the threshold value m as shown in FIG. 7 (B), as shown in FIG. 6 (F), displaced Area 31 is determined.

特定部２０で変位領域３１が決定された後は、第１実施形態で既に説明したように、連続的に取得されるフレーム３０から特徴領域３５（３５ａ，３５ｂ，３５ｃ）の相対位置（ｘ、ｙ）を演算し、その位置情報（Ｘ，Ｙ）を出力する。第２実施形態によれば、演算部１６を用いて、変位領域３１の決定から特徴領域３５の位置情報（Ｘ，Ｙ）の出力までをシームレスに行うことができる。 After the displacement region 31 is determined by the specific unit 20, as already described in the first embodiment, the relative positions (x, 35c) of the feature regions 35 (35a, 35b, 35c) from the frame 30 that are continuously acquired y) is calculated and the position information (X, Y) is output. According to the second embodiment, the calculation unit 16 can be used to seamlessly perform from the determination of the displacement region 31 to the output of the position information (X, Y) of the feature region 35.

（第３実施形態）
次に図８を参照して本発明における第３実施形態について説明する。図８は第３実施形態に係る画像処理装置１０Ｃのブロック図である。図９は第３実施形態において関心領域３２が描画されたフレーム３０の説明図である。なお、図８において図１と共通の構成又は機能を有する部分は、同一符号で示し、重複する説明を省略する。 (Third Embodiment)
Next, a third embodiment of the present invention will be described with reference to FIG. FIG. 8 is a block diagram of the image processing device 10C according to the third embodiment. FIG. 9 is an explanatory diagram of the frame 30 in which the region of interest 32 is drawn in the third embodiment. In FIG. 8, parts having the same configuration or function as those in FIG. 1 are indicated by the same reference numerals, and duplicate description will be omitted.

画像処理装置１０Ｃ（１０）は、動画３６のフレーム３０を取得する取得部１１と、変位領域３１の特定部２０と、照合画像３７の抽出部１２と、基準画像３８の指定部１５と、特徴領域３５の位置情報（Ｘ，Ｙ）を出力する位置出力部１７と、を備えている。 The image processing device 10C (10) features an acquisition unit 11 for acquiring the frame 30 of the moving image 36, a specific unit 20 for the displacement region 31, an extraction unit 12 for the collation image 37, and a designation unit 15 for the reference image 38. It includes a position output unit 17 that outputs position information (X, Y) of the area 35.

さらに画像処理装置１０Ｃは、Ｘ線透視撮像機器５０の動画３６よりも高解像撮像された参照動画の参照フレーム４０を取得する取得部４１と、この参照フレーム４０に描画されている関心領域（図示略）の画像を切り取って参照フレーム４０に描画されている特徴領域の位置情報に関連付けて保存する保存部４５とを備えている。 Further, the image processing device 10C includes an acquisition unit 41 that acquires a reference frame 40 of a reference moving image that has been imaged with a higher resolution than the moving image 36 of the X-ray fluoroscopic imaging device 50, and an area of interest drawn on the reference frame 40 ( It is provided with a storage unit 45 that cuts out an image (not shown) and stores it in association with the position information of the feature area drawn on the reference frame 40.

変換部１８は、フレーム３０の複数の特徴領域３５（３５ａ，３５ｂ，３５ｃ）の位置情報（Ｘ，Ｙ）を、位置出力部１７から入力する。そして変換部１８は、この位置情報（Ｘ，Ｙ）に対応する参照フレーム４０の関心領域の画像を保存部４５から取り出す。これにより、図９に示すように描画部１９は、フレーム３０に参照フレーム４０の鮮明な関心領域３２を重畳して描画させる。 The conversion unit 18 inputs the position information (X, Y) of the plurality of feature areas 35 (35a, 35b, 35c) of the frame 30 from the position output unit 17. Then, the conversion unit 18 takes out the image of the region of interest of the reference frame 40 corresponding to the position information (X, Y) from the storage unit 45. As a result, as shown in FIG. 9, the drawing unit 19 superimposes and draws the clear area of interest 32 of the reference frame 40 on the frame 30.

Ｘ線透視撮像機器５０よりも高解像撮像できる機器としては、Ｘ線ＣＴ装置が挙げられるが、特に限定されない。また一般に、高解像撮像機器は、低解像撮像機器よりも動画のフレームレートが小さく、前後するフレームの撮像のインターバルが長い。 An X-ray CT apparatus can be mentioned as an apparatus capable of taking a higher resolution image than the X-ray fluoroscopic imaging apparatus 50, but the apparatus is not particularly limited. Further, in general, a high-resolution imaging device has a smaller frame rate of moving images than a low-resolution imaging device, and has a long imaging interval between frames before and after.

そこで画像処理装置１０Ｃは、実際に撮像された参照フレーム４０に基づいて、インターバル期間中に仮想される参照フレームを生成する仮想生成部４２を備えている。そして、仮想した参照フレームに描画されている関心領域の画像、及び特徴領域の位置情報も保存部４５に保存される。これにより、高速で撮像されるＸ線透視撮像機器５０の動画３６と同じインターバルで参照フレームを得ることができる。 Therefore, the image processing device 10C includes a virtual generation unit 42 that generates a reference frame that is virtualized during the interval period based on the reference frame 40 that is actually captured. Then, the image of the region of interest drawn in the virtual reference frame and the position information of the feature region are also stored in the storage unit 45. As a result, reference frames can be obtained at the same intervals as the moving image 36 of the X-ray fluoroscopic imaging device 50, which is imaged at high speed.

図１０のフローチャートを参照して、実施形態に係る画像処理方法及び画像処理プログラムの動作を示す（適宜、図２参照）。まず、特徴領域３５（３５ａ，３５ｂ，３５ｃ）が含まれる動画３６のフレーム３０を取得する（Ｓ１１）。次に、各々のフレーム３０に含まれる少なくとも一周期分の特徴領域３５を包含する変位領域３１（３１ａ，３１ｂ，３１ｃ）を特定する（Ｓ１２ Ｙｅｓ）。 The operation of the image processing method and the image processing program according to the embodiment is shown with reference to the flowchart of FIG. 10 (see FIG. 2 as appropriate). First, the frame 30 of the moving image 36 including the feature area 35 (35a, 35b, 35c) is acquired (S11). Next, the displacement regions 31 (31a, 31b, 31c) including the feature regions 35 for at least one cycle included in each frame 30 are specified (S12 Yes).

具体的には、最初（ｎ＝１）に取得したフレーム３０1に単位サイズのタイル領域３９1（図９）が設定される（Ｓ１３ Ｎｏ，Ｓ１４）。そして次（ｎ→ｎ＋１，Ｓ１１）に取得された動きが前後するフレーム３０n+1，３０nにおいて、注目するタイル領域３９に対し相関性に基づく演算を行う（Ｓ１３ Ｙｅｓ，Ｓ１５）。そして、演算された類似度Ｒが閾値ｍより小さい場合（Ｓ１６ Ｎｏ）、タイル領域３９を拡張する（Ｓ１７）。 Specifically, the first (n = 1) to the frame 30 1 of the unit size acquired tile region 39 1 (FIG. 9) is set (S13 No, S14). Then, in the frames 30 n + 1 , 30 n in which the movements acquired next (n → n + 1, S11) move back and forth, a calculation based on the correlation is performed on the tile region 39 of interest (S13 Yes, S15). Then, when the calculated similarity R is smaller than the threshold value m (S16 No), the tile area 39 is expanded (S17).

さらに次のフレーム３０を取得して（ｎ→ｎ＋１，Ｓ１１）、相関性の演算を繰り返し、演算された類似度Ｒが閾値ｍを超えたところで（Ｓ１６ Ｙｅｓ）、そのときのタイル領域３９を変位領域３１に決定する（Ｓ１８）。そして、決定した変位領域３１における照合画像３７を抽出し（Ｓ１９）、基準画像３８に指定する（Ｓ２０）。 Further, the next frame 30 is acquired (n → n + 1, S11), the correlation calculation is repeated, and when the calculated similarity R exceeds the threshold value m (S16 Yes), the tile area 39 at that time is displaced. The region 31 is determined (S18). Then, the collation image 37 in the determined displacement region 31 is extracted (S19) and designated as the reference image 38 (S20).

そして、次（ｎ→ｎ＋１，Ｓ１１）に取得されるフレーム３０から抽出した照合画像３７に対し（Ｓ１２ Ｎｏ，Ｓ２１）、基準画像３８との相関性を演算する（Ｓ２２）。この演算から得られた相対変位（ｘ，ｙ）に基づいてフレーム３０における特徴領域３５の位置情報（Ｘ，Ｙ）を出力する（Ｓ２３）。 Then, the correlation with the reference image 38 is calculated for the collated image 37 extracted from the frame 30 acquired next (n → n + 1, S11) (S12 No, S21) (S22). Based on the relative displacement (x, y) obtained from this calculation, the position information (X, Y) of the feature region 35 in the frame 30 is output (S23).

そして、複数の特徴領域３５（３５ａ，３５ｂ，３５ｃ）の位置情報（Ｘ，Ｙ）から変換した関心領域３２をフレーム３０に描画させる（Ｓ２４）。そして治療ビームが照射されるまで、上述した（Ｓ１１）〜（Ｓ２４）のフローが繰り返される（Ｓ２５ Ｎｏ Ｙｅｓ ＥＮＤ）。 Then, the interest region 32 converted from the position information (X, Y) of the plurality of feature regions 35 (35a, 35b, 35c) is drawn in the frame 30 (S24). Then, the flow of (S11) to (S24) described above is repeated until the treatment beam is irradiated (S25 No Yes END).

以上述べた少なくともひとつの実施形態の画像処理装置によれば、動画のフレームに含まれる一周期分の特徴領域を包含する変位領域を特定し、演算により画像相関性を定量的に評価する。これにより、この特徴部位の変位を正確に検出し、動きを持つ関心領域の追尾精度を向上させることが可能となる。 According to the image processing apparatus of at least one embodiment described above, the displacement region including the feature region for one cycle included in the frame of the moving image is specified, and the image correlation is quantitatively evaluated by calculation. This makes it possible to accurately detect the displacement of this characteristic portion and improve the tracking accuracy of the region of interest having motion.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。また、画像処理装置の構成要素は、コンピュータのプロセッサで実現することも可能であり、画像処理プログラムにより動作させることが可能である。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, changes, and combinations can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, as well as in the scope of the invention described in the claims and the equivalent scope thereof. Further, the components of the image processing device can be realized by a computer processor, and can be operated by an image processing program.

以上説明した画像処理装置は、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、又はＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスやキーボードなどの入力装置と、通信Ｉ／Ｆとを、備えており、通常のコンピュータを利用したハードウェア構成で実現できる。 The image processing device described above includes a control device in which processors such as a dedicated chip, FPGA (Field Programmable Gate Array), GPU (Graphics Processing Unit), or CPU (Central Processing Unit) are highly integrated, and a ROM (Read). Storage devices such as Only Memory) and RAM (Random Access Memory), external storage devices such as HDD (Hard Disk Drive) and SSD (Solid State Drive), display devices such as displays, and input devices such as mice and keyboards. And a communication I / F, which can be realized by a hardware configuration using a normal computer.

また画像処理装置で実行されるプログラムは、ＲＯＭ等に予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供するようにしてもよい。 Further, the program executed by the image processing device is provided by incorporating it into a ROM or the like in advance. Alternatively, the program is provided as a file in an installable or executable format stored on a computer-readable storage medium such as a CD-ROM, CD-R, memory card, DVD, or flexible disk (FD). You may try to do it.

また、本実施形態に係る画像処理装置で実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしてもよい。また、装置は、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワーク又は専用線で相互に接続し、組み合わせて構成することもできる。 Further, the program executed by the image processing device according to the present embodiment may be stored on a computer connected to a network such as the Internet, downloaded via the network, and provided. In addition, the device can also be configured by connecting separate modules that independently exhibit the functions of the components to each other via a network or a dedicated line and combining them.

１０（１０Ａ，１０Ｂ，１０Ｃ）…画像処理装置、１１…取得部、１２…抽出部、１５…指定部、１６…演算部、１７…位置出力部、１８…変換部、１９…描画部、２０…特定部、２１…設定部、２２…判定部、２５…拡張部、２６…決定部、３０…フレーム、３１…抽出部、３１…変位領域、３２…関心領域、３５…特徴領域、３６…動画、３７…照合画像、３８…基準画像、３９…タイル領域、４０…参照フレーム、４１…取得部、４２…仮想生成部、４５…保存部、５０…Ｘ線透視撮像機器、５１…患者、５２…ベッド、５５（５５ａ，５５ｂ）…Ｘ線発生部、５６（５６ａ，５６ｂ）…Ｘ線受像部、５７…画像合成部、Ｒ…類似度、ｍ…閾値、Ｐ…ピーク。 10 (10A, 10B, 10C) ... Image processing device, 11 ... Acquisition unit, 12 ... Extraction unit, 15 ... Designation unit, 16 ... Calculation unit, 17 ... Position output unit, 18 ... Conversion unit, 19 ... Drawing unit, 20 ... Specific part, 21 ... Setting part, 22 ... Judgment part, 25 ... Expansion part, 26 ... Decision part, 30 ... Frame, 31 ... Extraction part, 31 ... Displacement area, 32 ... Interest area, 35 ... Feature area, 36 ... Video, 37 ... collation image, 38 ... reference image, 39 ... tile area, 40 ... reference frame, 41 ... acquisition unit, 42 ... virtual generation unit, 45 ... storage unit, 50 ... X-ray fluoroscopic imaging device, 51 ... patient, 52 ... Bed, 55 (55a, 55b) ... X-ray generating part, 56 (56a, 56b) ... X-ray receiving part, 57 ... Image compositing part, R ... Similarity, m ... Threshold, P ... Peak.

Claims (11)

閉じた輪郭線で表すことができ周期的に変位する特徴領域が含まれる動画のフレームを取得する取得部と、
各々の前記フレームに含まれる少なくとも一周期分の前記特徴領域を包含する変位領域を特定する特定部と、
各々の前記フレームにおける前記変位領域を照合画像として抽出する抽出部と、
いずれか一つの前記照合画像を基準画像に指定する指定部と、
前記基準画像と前記照合画像との相関性に基づき演算される相対変位に基づいて前記フレームにおける前記特徴領域の位置情報を出力する位置出力部と、を備える画像処理装置。 An acquisition unit that acquires a moving image frame that includes a feature area that can be represented by a closed contour and is displaced periodically.
A specific portion that specifies a displacement region that includes the characteristic region for at least one cycle included in each frame, and a specific portion that specifies the displacement region.
An extraction unit that extracts the displacement region in each of the frames as a collation image,
A designated part that designates any one of the collated images as a reference image, and
An image processing device including a position output unit that outputs position information of the feature region in the frame based on a relative displacement calculated based on the correlation between the reference image and the collation image. 請求項１に記載の画像処理装置において、
前記特定部は、
前記フレームにタイル領域を設定する設定部と、
動きが前後する前記フレームにおいて、注目する前記タイル領域の相関性に基づき演算される類似度が閾値より小さい前記タイル領域を拡張する拡張部と、
前記拡張したことにより前記類似度が前記閾値を超えた前記タイル領域を前記変位領域に決定する決定部と、を有する画像処理装置。 In the image processing apparatus according to claim 1,
The specific part is
A setting unit that sets the tile area in the frame,
In the frame in which the movement moves back and forth, an extension portion that expands the tile area whose similarity calculated based on the correlation of the tile area of interest is smaller than the threshold value, and
An image processing apparatus having a determination unit that determines the tile region whose similarity exceeds the threshold value as the displacement region due to the expansion. 請求項１又は請求項２に記載の画像処理装置において、
前記フレームに含まれる複数の前記特徴領域の前記位置情報を関心領域に変換する変換部と、
前記関心領域を前記フレームに描画させる描画部と、を備える画像処理装置。 In the image processing apparatus according to claim 1 or 2.
A conversion unit that converts the position information of a plurality of the feature regions included in the frame into an interest region, and
An image processing device including a drawing unit for drawing the region of interest on the frame. 請求項３に記載の画像処理装置において、
前記動画よりも高解像撮像された参照動画の参照フレームに描画されている前記関心領域の画像を切り取って、前記参照フレームの前記特徴領域の前記位置情報に関連付けて保存する保存部を備え、
前記描画部は、前記フレームの複数の前記特徴領域の前記位置情報に対応する前記参照フレームの前記関心領域の画像を、前記フレームに重畳して描画させる画像処理装置。 In the image processing apparatus according to claim 3,
A storage unit is provided that cuts out an image of the region of interest drawn in a reference frame of a reference video imaged with a higher resolution than the moving image and saves the image in association with the position information of the feature region of the reference frame.
The drawing unit is an image processing device that superimposes and draws an image of the region of interest of the reference frame corresponding to the position information of the plurality of the feature regions of the frame on the frame. 請求項４に記載の画像処理装置において、
実際に撮像された前記参照フレームに基づいて、撮像のインターバル期間において仮想される前記参照フレームを生成する仮想生成部を備え、
前記保存部は、仮想した前記参照フレームに描画されている前記関心領域の画像、及び前記特徴領域の前記位置情報も保存する画像処理装置。 In the image processing apparatus according to claim 4,
A virtual generation unit that generates the reference frame that is virtualized during the imaging interval period based on the reference frame that is actually imaged is provided.
The storage unit is an image processing device that stores an image of the region of interest drawn on the virtual reference frame and the position information of the feature region. 請求項１から請求項５のいずれか１項に記載の画像処理装置において、
前記演算は、位相限定相関法が採用される画像処理装置。 In the image processing apparatus according to any one of claims 1 to 5.
The calculation is an image processing apparatus that employs a phase-limited correlation method. 請求項１から請求項６のいずれか１項に記載の画像処理装置において、
前記動画は、Ｘ線透過、核磁気共鳴、超音波エコー、可視光線反射、赤外線反射のうち少なくとも一つを利用して撮像されたものである画像処理装置。 The image processing apparatus according to any one of claims 1 to 6.
The moving image is an image processing apparatus that is captured by using at least one of X-ray transmission, nuclear magnetic resonance, ultrasonic echo, visible light reflection, and infrared reflection. 請求項１から請求項７のいずれか１項に記載の画像処理装置において、
前記特徴領域は、前記動画の撮像領域に設置されたマーカー、骨の一部及び横隔膜のいずれかである画像処理装置。 In the image processing apparatus according to any one of claims 1 to 7.
The feature area is an image processing device that is either a marker, a part of a bone, or a diaphragm installed in the image pickup area of the moving image. 請求項３に記載の画像処理装置において、
前記特徴領域の位置情報と前記関心領域の位置・形状情報との関係を予め学習して記憶しておく記憶部を備え、
前記変換部は、入力した前記特徴領域の前記位置情報を、前記学習により関連付けした前記関心領域に変換する画像処理装置。 In the image processing apparatus according to claim 3,
It is provided with a storage unit that learns and stores the relationship between the position information of the feature area and the position / shape information of the area of interest in advance.
The conversion unit is an image processing device that converts the input position information of the feature area into the area of interest associated with the learning. 閉じた輪郭線で表すことができ周期的に変位する特徴領域が含まれる動画のフレームを取得するステップと、
各々の前記フレームに含まれる少なくとも一周期分の前記特徴領域を包含する変位領域を特定するステップと、
各々の前記フレームにおける前記変位領域を照合画像として抽出するステップと、
いずれか一つの前記照合画像を基準画像に指定するステップと、
前記基準画像と前記照合画像との相関性に基づき演算される相対変位に基づいて前記フレームにおける前記特徴領域の位置情報を出力するステップと、を含む画像処理方法。 The step of getting a video frame that contains a feature area that can be represented by a closed contour and is displaced periodically,
A step of identifying a displacement region including the characteristic region for at least one cycle included in each frame, and
A step of extracting the displacement region in each of the frames as a collation image, and
A step of designating any one of the collated images as a reference image, and
An image processing method including a step of outputting position information of the feature region in the frame based on a relative displacement calculated based on the correlation between the reference image and the collated image. コンピュータに。
閉じた輪郭線で表すことができ周期的に変位する特徴領域が含まれる動画のフレームを取得するステップ、
各々の前記フレームに含まれる少なくとも一周期分の前記特徴領域を包含する変位領域を特定するステップ、
各々の前記フレームにおける前記変位領域を照合画像として抽出するステップ、
いずれか一つの前記照合画像を基準画像に指定するステップ、
前記基準画像と前記照合画像との相関性に基づき演算される相対変位に基づいて前記フレームにおける前記特徴領域の位置情報を出力するステップ、を実行させる画像処理プログラム。 To the computer.
A step to get a frame of a video that contains a feature area that can be represented by a closed contour and is displaced periodically,
A step of identifying a displacement region including the characteristic region for at least one cycle included in each of the frames.
A step of extracting the displacement region in each of the frames as a collation image,
A step of designating any one of the collated images as a reference image,
An image processing program that executes a step of outputting position information of the feature region in the frame based on a relative displacement calculated based on the correlation between the reference image and the collated image.
JP2019172020A 2019-09-20 2019-09-20 Image processing device, method and program Active JP7366665B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019172020A JP7366665B2 (en) 2019-09-20 2019-09-20 Image processing device, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019172020A JP7366665B2 (en) 2019-09-20 2019-09-20 Image processing device, method and program

Publications (2)

Publication Number Publication Date
JP2021048913A true JP2021048913A (en) 2021-04-01
JP7366665B2 JP7366665B2 (en) 2023-10-23

Family

ID=75156181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019172020A Active JP7366665B2 (en) 2019-09-20 2019-09-20 Image processing device, method and program

Country Status (1)

Country Link
JP (1) JP7366665B2 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004112027A (en) 2002-09-13 2004-04-08 Mitsubishi Electric Corp Image collating unit
JP2016116659A (en) 2014-12-19 2016-06-30 株式会社東芝 Medical image processing device, treatment system, medical image processing method, and medical image processing program

Also Published As

Publication number Publication date
JP7366665B2 (en) 2023-10-23

Similar Documents

Publication Publication Date Title
KR102070714B1 (en) Object positioning apparatus, object positioning method, object positioning program, and radiation therapy system
JP6467654B2 (en) Medical image processing apparatus, method, program, and radiotherapy apparatus
JP4842820B2 (en) Apparatus and method for processing X-ray images
EP1664996B1 (en) Systems for gating medical procedures
JP5296315B2 (en) Apparatus and method for tracking a moving object and monitoring its position
JP4647360B2 (en) DIFFERENTIAL IMAGE CREATION DEVICE, DIFFERENTIAL IMAGE CREATION METHOD, AND PROGRAM THEREOF
JP6442243B2 (en) Method and apparatus for artifact reduction in computer tomography image reconstruction
JP2010246883A (en) Patient positioning system
JP2017144000A (en) Medical image processing apparatus, method, and program, and radiotherapeutic apparatus
US11410317B2 (en) Frameless anatomy-based 2D/3D image registration
US20230097849A1 (en) Creation method of trained model, image generation method, and image processing device
JP5495886B2 (en) Patient positioning system
KR102106535B1 (en) Method, apparatus and system for generating model representing deformation of shape and location of organ in respiration cycle
KR101909125B1 (en) Method for computer-aided diagnosis and computer-aided diagnosis apparatus thereof
JP6829437B2 (en) In vivo motion tracking device
JP7366665B2 (en) Image processing device, method and program
JP2021041090A (en) Medical image processing device, x-ray image processing system and generation method of learning model
JP7292721B2 (en) Target contour estimator and therapy device
WO2024070093A1 (en) Irradiation position verification assisting device, irradiation position verification assisting method, and irradiation position verification assisting program
WO2019202841A1 (en) Radiographic image processing device, radiographic image processing method, and program
JP2021019931A (en) Image processing device, method, and program
Siddique Active Imag Guidance

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231011

R150 Certificate of patent or registration of utility model

Ref document number: 7366665

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150