JP7273416B2 - Image processing device, image processing method and image processing program - Google Patents

Image processing device, image processing method and image processing program Download PDF

Info

Publication number
JP7273416B2
JP7273416B2 JP2020517052A JP2020517052A JP7273416B2 JP 7273416 B2 JP7273416 B2 JP 7273416B2 JP 2020517052 A JP2020517052 A JP 2020517052A JP 2020517052 A JP2020517052 A JP 2020517052A JP 7273416 B2 JP7273416 B2 JP 7273416B2
Authority
JP
Japan
Prior art keywords
image
simulated
luminance
output
state quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020517052A
Other languages
Japanese (ja)
Other versions
JPWO2019212016A1 (en
Inventor
経康 本間
慶 市地
雅大 新藤
典大 杉田
誠 吉澤
良尋 ▲高▼井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
Original Assignee
Tohoku University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC filed Critical Tohoku University NUC
Publication of JPWO2019212016A1 publication Critical patent/JPWO2019212016A1/en
Application granted granted Critical
Publication of JP7273416B2 publication Critical patent/JP7273416B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、画像処理装置，画像処理方法および画像処理プログラムに関する。 The present invention relates to an image processing device, an image processing method, and an image processing program.

従来、複数の異なる時点で撮影された画像から、着目する対象物を抽出する技術が開発されている。この技術を透視画像に適用することも提案されている。
たとえば、移動する対象物が背景に重畳された透視画像から、対象物の輝度成分を抽出する手法が検討されている。この手法では、下記の工程Ｘ，Ｙが実施される（特許文献１参照）。
・工程Ｘ：透視画像における輝度の出現頻度に基づく混合分布モデルの推定
・工程Ｙ：混合分布モデルのうち期待値が最小の分布モデルに対応する成分を背景として除去2. Description of the Related Art Conventionally, techniques have been developed for extracting an object of interest from images captured at a plurality of different times. It has also been proposed to apply this technique to perspective images.
For example, a method of extracting the luminance component of an object from a perspective image in which a moving object is superimposed on the background is being studied. In this method, the following steps X and Y are performed (see Patent Document 1).
・Process X: Estimation of mixture distribution model based on appearance frequency of luminance in fluoroscopic image ・Process Y: Removal of components corresponding to distribution model with minimum expected value among mixture distribution models as background

WO2016/157457号パンフレットWO2016/157457 pamphlet

しかしながら、上述したように期待値の小さい確率分布を除去する画像処理では、対象物のうち背景と重畳しつづける画像輝度成分が除去されるおそれがある。あるいは、移動量の小さい対象物や輝度の小さい対象物の画像輝度成分も除去されるおそれがある。また、対象物と同一ないしほとんど同一の移動を伴う非対象物は、対象物と明確に区別することができず、除去できないおそれがある。
よって、透視画像からの対象物の抽出性能を高めるうえで、改善の余地がある。However, in the image processing for removing probability distributions with small expected values as described above, there is a possibility that the image luminance component of the object, which continues to overlap with the background, is removed. Alternatively, the image luminance component of an object with a small amount of movement or an object with a small luminance may also be removed. In addition, non-objects that move in the same or almost the same way as the object cannot be clearly distinguished from the object and may not be removed.
Therefore, there is room for improvement in enhancing the performance of extracting objects from fluoroscopic images.

本発明は、上記のような課題に鑑みて創案されたものであり、透視画像からの対象物の抽出性能を向上させることを目的の一つとする。なお、この目的に限らず、後述する「発明を実施するための形態」に示す各構成から導き出される作用および効果であって、従来の技術では得られない作用および効果を奏することも、本件の他の目的として位置付けることができる。 The present invention was invented in view of the above problems, and one of its objects is to improve the performance of extracting an object from a fluoroscopic image. In addition to this purpose, it is also possible to achieve actions and effects that are derived from each configuration shown in the "Mode for Carrying Out the Invention" described later and that cannot be obtained with conventional techniques. It can be positioned as another purpose.

（１）ここで開示する画像処理装置は、取得部と構築部と抽出部とを備える。
前記取得部は、対象物と前記対象物以外の非対象物とを含む複数の物体のそれぞれに由来する輝度の重畳された透視画像を実出力として模擬した模擬出力と、前記対象物に由来する輝度と前記非対象物に由来する輝度との重畳パターンを実状態量として模擬した模擬状態量とを取得する。
前記構築部は、前記取得部で取得された前記模擬出力および前記模擬状態量に基づいて、確率的に遷移する観測不能な状態量から観測可能な出力が確率的に発生する確率的状態空間モデルを構築する。
前記抽出部は、前記構築部で構築された前記確率的状態空間モデルと前記透視画像とに基づいて、確率的に尤もらしい前記実状態量の最尤推定量を推定し、当該最尤推定量から前記対象物に由来する輝度を前記対象物として抽出する。(1) An image processing apparatus disclosed herein includes an acquisition unit, a construction unit, and an extraction unit.
The acquisition unit provides a simulated output obtained by simulating, as an actual output, a fluoroscopic image superimposed with luminance derived from each of a plurality of objects including a target and non-targets other than the target, and a simulated output derived from the target. A simulated state quantity obtained by simulating a superimposed pattern of the luminance and the luminance derived from the non-object as a real state quantity is acquired.
The constructing unit is a stochastic state space model in which an observable output is stochastically generated from an unobservable state quantity that stochastically transitions based on the simulated output and the simulated state quantity obtained by the obtaining unit. to build.
The extraction unit estimates a probabilistic maximum likelihood estimator of the real state quantity based on the probabilistic state space model constructed by the construction unit and the perspective image, and estimates the maximum likelihood estimator. , the brightness derived from the object is extracted as the object.

（２）ここで開示する画像処理方法は、取得工程と構築工程と抽出工程とを備える。
前記取得工程は、対象物と前記対象物以外の非対象物とを含む複数の物体のそれぞれに由来する輝度の重畳された透視画像を実出力として模擬した模擬出力と、前記対象物に由来する輝度と前記非対象物に由来する輝度との重畳パターンを実状態量として模擬した模擬状態量とを取得する。
前記構築工程は、前記取得工程で取得された前記模擬出力および前記模擬状態量に基づいて、確率的に遷移する観測不能な状態量から観測可能な出力が確率的に発生する確率的状態空間モデルを構築する。
前記抽出工程は、前記構築工程で構築された確率的状態空間モデルと前記透視画像とに基づいて、尤もらしい前記実状態量の最尤推定量を推定し、当該最尤推定量から前記対象物に由来する輝度を前記対象物として抽出する。(2) The image processing method disclosed herein includes an acquisition step, a construction step, and an extraction step.
In the obtaining step, a simulated output obtained by simulating, as an actual output, a fluoroscopic image superimposed with luminance derived from each of a plurality of objects including a target object and a non-target object other than the target object, and a simulated output obtained from the target object A simulated state quantity obtained by simulating a superimposed pattern of the luminance and the luminance derived from the non-object as a real state quantity is obtained.
The constructing step is a probabilistic state space model in which an observable output is stochastically generated from an unobservable state quantity that stochastically transitions based on the simulated output and the simulated state quantity obtained in the obtaining step. to build.
The extracting step estimates a plausible maximum likelihood estimator of the real state quantity based on the probabilistic state space model constructed in the constructing step and the perspective image, and from the maximum likelihood estimator, the object is extracted as the object.

（３）ここで開示する画像処理プログラムは、対象物と前記対象物以外の非対象物とを含む複数の物体のそれぞれに由来する輝度の重畳された透視画像を実出力として模擬した模擬出力と、前記対象物に由来する輝度と前記非対象物に由来する輝度との重畳パターンを実状態量として模擬した模擬状態量とを取得する。その後、取得された前記模擬出力および前記模擬状態量に基づいて、確率的に遷移する観測不能な状態量から観測可能な出力が確率的に発生する確率的状態空間モデルを構築する。そして、構築された確率的状態空間モデルと前記透視画像とに基づいて、確率的に尤もらしい前記実状態量の最尤推定量を推定し、当該最尤推定量から前記対象物に由来する輝度を前記対象物として抽出する処理をコンピュータに実行させる。 (3) The image processing program disclosed herein is a simulated output obtained by simulating, as an actual output, a fluoroscopic image in which brightnesses derived from each of a plurality of objects including a target object and non-target objects other than the target object are superimposed. and a simulated state quantity obtained by simulating, as a real state quantity, a superimposed pattern of the luminance derived from the object and the luminance derived from the non-object. After that, based on the obtained simulated output and simulated state quantity, a probabilistic state space model is constructed in which an observable output is stochastically generated from an unobservable state quantity that stochastically transitions. Then, based on the constructed probabilistic state space model and the perspective image, a probabilistically plausible maximum likelihood estimator of the real state quantity is estimated, and the brightness derived from the object is estimated from the maximum likelihood estimator. is executed by the computer as the target object.

本発明によれば、透視画像からの対象物の抽出性能を向上させることができる。 According to the present invention, it is possible to improve the performance of extracting an object from a fluoroscopic image.

隠れマルコフモデル（確率的状態空間モデル）を説明する図である。It is a figure explaining a hidden Markov model (probabilistic state space model). 放射線照射システムを示す模式図である。1 is a schematic diagram showing a radiation irradiation system; FIG. 制御装置のハードウェア構成を示す模式図である。It is a schematic diagram which shows the hardware constitutions of a control apparatus. 制御装置のソフトウェア構成を示す模式図である。It is a schematic diagram which shows the software configuration of a control apparatus. 画像処理手順を示すフローチャートである。4 is a flow chart showing an image processing procedure; 抽出された対象物を評価するための画像である。It is an image for evaluating the extracted object. 抽出された対象物のテクスチャ類似度に関する評価用のグラフである。It is a graph for evaluation regarding the texture similarity of the extracted object. 抽出された対象物の重心位置に関する評価用のグラフである。It is a graph for evaluation regarding the barycentric position of the extracted object.

実施形態としての画像処理装置，画像処理方法および画像処理プログラムを説明する。
本願の発明者らは、実際に得られた透視画像（以下「実透視画像Ｉ」と称する）に予め構築した確率的状態空間モデルを適用し、実透視画像Ｉに隠れた状態量（以下「実状態量」と称する）を解釈する手法を見出した。すなわち、構築した確率的状態空間モデルの出力として実透視画像Ｉを出力する尤もらしい実状態量（最尤推定量）を推定する手法である。この手法により、実透視画像Ｉにおいて着目する対象物の抽出性能が向上するとの知見を得た。An image processing apparatus, an image processing method, and an image processing program as embodiments will be described.
The inventors of the present application applied a probabilistic state space model constructed in advance to an actually obtained perspective image (hereinafter referred to as "actual perspective image I") to obtain a state quantity hidden in the actual perspective image I (hereinafter referred to as " We have found a method for interpreting the actual state quantity. That is, it is a method of estimating a likely real state quantity (maximum likelihood estimator) for outputting the real perspective image I as an output of the constructed probabilistic state space model. The inventors have found that this method improves the performance of extracting the object of interest in the real fluoroscopic image I.

さらに、実透視画像Ｉにおいて重畳して表れる透視方向の成分を透視方向のレイヤごとに分離可能な手法で表現された別の透視画像（以下「模擬透視画像Ｄ」と称する）を構築材料に用いることを見出した。言い換えれば、実透視画像Ｉだけでは観測不能な実状態量に見当をつける材料として、模擬透視画像Ｄとこの模擬透視画像Ｄとして出力される隠れた状態量（以下「模擬状態量」という）とを用いることを見出した。これらの模擬透視画像Ｄおよび模擬状態量を用いて、実透視画像Ｉが出力されうる確率的状態空間モデルを予め構築できるとの知見を得た。 Furthermore, another fluoroscopic image (hereinafter referred to as “simulated fluoroscopic image D”) expressed by a method capable of separating fluoroscopic components that appear superimposed in the actual fluoroscopic image I for each layer in the fluoroscopic direction is used as a building material. I found out. In other words, the simulated fluoroscopic image D and the hidden state quantity output as the simulated fluoroscopic image D (hereinafter referred to as the “simulated state quantity”) are used as materials for estimating the actual state quantity that cannot be observed only with the actual fluoroscopic image I. was found to use It has been found that a probabilistic state space model capable of outputting a real perspective image I can be constructed in advance using the simulated perspective image D and the simulated state quantity.

したがって、詳細を後述する実施形態では、下記の三工程が実施されることにより、実透視画像Ｉから対象物が精度よく抽出される。
・工程１：模擬透視画像Ｄおよび模擬状態量の模擬データを取得する
・工程２：取得された模擬データから確率的状態空間モデルを予め構築する
・工程３：構築された確率的状態空間モデルで実透視画像Ｉの実状態量を推定するTherefore, in the embodiment, the details of which will be described later, the target object is accurately extracted from the actual fluoroscopic image I by performing the following three steps.
・Step 1: Acquire simulated fluoroscopic image D and simulated data of simulated state quantities ・Step 2: Pre-construct a probabilistic state space model from the acquired simulated data ・Step 3: With the constructed probabilistic state space model Estimating the real state quantity of the real fluoroscopic image I

下記の実施形態では、対象物として、実透視画像Ｉで透視される範囲内で変位する移動体を例示する。具体的には、肺の腫瘍を例に挙げる。呼吸にともなう肺の膨縮に応じて、肺の腫瘍は変位する。本画像処理手法では、対象物の抽出性能が向上することから、腫瘍の追跡性能を向上させることができるとも言える。
なお、本画像処理手法は、対象物が移動していない場合にも、上記の工程を実施することで対象物が抽出可能であることから、対象物の静止位置の計測性能を向上させることができるとも言える。
そのほか、本実施形態では、方向の基準としてＸ軸，Ｙ軸およびＺ軸を有する直交座標系を用いる。In the following embodiments, a moving object that is displaced within a range that is seen through by the actual fluoroscopic image I will be exemplified as the object. A specific example is lung tumors. Lung tumors are displaced according to the expansion and contraction of the lungs associated with respiration. In this image processing method, since the performance of extracting the object is improved, it can be said that the tumor tracking performance can be improved.
This image processing method can extract the target object by performing the above steps even if the target object is not moving. It can be said that it is possible.
In addition, in this embodiment, an orthogonal coordinate system having X, Y, and Z axes is used as a directional reference.

まず、本画像処理手法に用いる要素技術に関し、透視画像および確率的状態空間モデルのそれぞれを説明する。
〈透視画像〉
透視画像とは、所定の三次元空間（ＸＹＺ空間）を透視した画像である。
この透視画像は、複数の物体のそれぞれに由来する輝度（すなわち「輝度成分」）の重畳された画像である。なお、輝度は、「０」を含む正の整数（自然数）の値をとる。First, concerning elemental technologies used in this image processing method, perspective images and probabilistic state space models will be explained.
<Perspective image>
A fluoroscopic image is an image obtained by seeing through a predetermined three-dimensional space (XYZ space).
This fluoroscopic image is an image in which luminances (that is, “luminance components”) derived from each of a plurality of objects are superimposed. Note that the luminance takes a value of a positive integer (natural number) including "0".

ここでいう「複数の物体」には、画像処理によって抽出する対象物と、この対象物を除く非対象物とが含まれる。対象物として腫瘍に着目すると、腫瘍以外の骨や軟部組織といったさまざまな物体は、非対象物であり、背景とも言える。なお、対象物として骨や軟部組織に着目すれば、これら以外の物体が非対象物となる。
上記のように複数の物体を対象物および非対象物に大別して捉えれば、透視画像は、対象物に由来する輝度と、非対象物に由来する輝度とが重畳された画像と表現することができる。The "plurality of objects" referred to here include a target object extracted by image processing and non-target objects other than this target object. Focusing on the tumor as the object, various objects other than the tumor, such as bones and soft tissues, are non-objects and can be said to be the background. Note that when focusing on bones and soft tissues as objects, objects other than these are non-objects.
If a plurality of objects are roughly classified into objects and non-objects as described above, a perspective image can be expressed as an image in which the luminance derived from the object and the luminance originating from the non-object are superimposed. can.

また、本画像処理手法では、実透視画像Ｉおよび模擬透視画像Ｄの二種を透視画像に用いる。
実透視画像Ｉとしては、ＸＹ平面に射影された「レントゲン画像」（Ｘ線の透視画像，「Radiograph」とも称される）が挙げられる。このように実透視画像Ｉが実際に観測されるのに対し、実透視画像Ｉを模擬したシミュレーション画像が模擬透視画像Ｄである。模擬透視画像Ｄとしては、実透視画像Ｉで透視する三次元空間のボリュームデータをＺ方向（レントゲン画像の透視方向）に空間積分した画像が挙げられる。Further, in this image processing method, two types of fluoroscopic images, the actual fluoroscopic image I and the simulated fluoroscopic image D, are used.
An example of the real fluoroscopic image I is a "roentgen image" (a fluoroscopic image of X-rays, also called a "radiograph") projected onto the XY plane. While the actual perspective image I is actually observed in this way, the simulated perspective image D is a simulated image simulating the actual perspective image I. FIG. As the simulated fluoroscopic image D, there is an image obtained by spatially integrating the volume data of the three-dimensional space fluoroscopically viewed with the actual fluoroscopic image I in the Z direction (the fluoroscopic direction of the X-ray image).

さらに、本画像処理手法で用いる透視画像は、複数の異なる時点でそれぞれに撮影された画像であり、経時的な情報を含む。具体的に言えば、レントゲン画像の動画を構成するコマ（フレーム）のそれぞれが実透視画像Ｉに用いられる。また、複数の異なる呼吸位相でそれぞれに撮影されたＣＴ（いわゆる４ＤＣＴ）画像データに基づく模擬透視画像Ｄが用いられる。 Furthermore, the fluoroscopic images used in this image processing method are images taken at different points in time and contain information over time. Specifically, each frame that constitutes a moving image of an X-ray image is used for the actual fluoroscopic image I. Also, a simulated fluoroscopic image D based on CT (so-called 4DCT) image data captured in a plurality of different respiratory phases is used.

――実透視画像――
実透視画像Ｉは、透視対象の三次元空間を透視する方向に直交する二次元に射影された画像である。ここでは、透視方向がＺ方向であり、ＸＹ平面に画像が射影される実透視画像Ｉを例に挙げて説明する。
実透視画像Ｉは、Ｘ方向に並ぶ複数の画素からなる行と、Ｙ方向に並ぶ複数の画素からなる列とから構成される。これらの行列をなす画素のそれぞれにおいて、対象物に由来する第一輝度ｌ1と非対象物に由来する第二輝度ｌ2との重畳した出力輝度ｉが観測される。--Actual perspective image--
The actual perspective image I is an image projected two-dimensionally perpendicular to the perspective direction of the three-dimensional space of the perspective object. Here, the perspective direction is the Z direction, and an actual perspective image I projected onto the XY plane will be described as an example.
The actual fluoroscopic image I is composed of rows of a plurality of pixels arranged in the X direction and columns of a plurality of pixels arranged in the Y direction. In each of the pixels forming these matrices, the superimposed output luminance i of the first luminance l 1 originating from the object and the second luminance l 2 originating from the non-object is observed.

第一輝度ｌ1は、対象物だけを透視した第一レイヤ画像Ｌ1を構成する画素の輝度である。言い換えれば、実透視画像Ｉを構成する全画素の第一輝度ｌ1からなる集合が第一レイヤ画像Ｌ1である。
同様に、第二輝度ｌ2は、非対象物だけを透視した第二レイヤ画像Ｌ2を構成する画素の輝度である。実透視画像Ｉを構成する全画素の第二輝度ｌ2からなる集合が第二レイヤ画像Ｌ2である。The first luminance l 1 is the luminance of the pixels forming the first layer image L 1 in which only the object is seen through. In other words, the first layer image L 1 is a set of the first luminances l 1 of all the pixels forming the real perspective image I.
Similarly, the second luminance l 2 is the luminance of the pixels forming the second layer image L 2 in which only the non-object is seen through. A second layer image L 2 is a set of the second luminances l 2 of all the pixels forming the real fluoroscopic image I.

そして、第一レイヤ画像Ｌ1および第二レイヤ画像Ｌ2の重畳された画像が実透視画像Ｉである。
上記した実透視画像Ｉとレイヤ画像Ｌ1，Ｌ2との関係を敷衍すれば、つぎの数式１（数１）で表現される。An actual perspective image I is an image in which the first layer image L 1 and the second layer image L 2 are superimposed.
The relationship between the actual perspective image I and the layer images L 1 and L 2 described above can be expressed by the following Equation 1 (equation 1).

Figure 0007273416000001
Figure 0007273416000001

数式１において、「ｘ」は画像Ｉ，Ｌnにおける画素の行を表し、「ｙ」は画像Ｉ，Ｌnにおける画素の列を表す。すなわち、ＸＹ平面における位置が「ｘ」および「ｙ」で表される。
また、数式１における「Ｎ」は、レイヤ画像Ｌnの層数を表す。ここでは、「Ｎ＝２」（二層）のレイヤを例示する。In Equation 1, "x" represents a row of pixels in image I, Ln and "y" represents a column of pixels in image I, Ln . That is, positions on the XY plane are represented by "x" and "y".
Also, "N" in Equation 1 represents the number of layers of the layer image Ln . Here, a layer of "N=2" (two layers) is exemplified.

さらに、数式１における「ｔ」は、画像Ｉ，Ｌnの時間成分を表す。具体的には、画像Ｉ，Ｌnの撮影された時点が「ｔ」で表される。
画像Ｉ，Ｌnに時間成分「ｔ」が含まれることから、画像Ｉ，Ｌnの各画素に対応する輝度ｉ，ｌnにも時間成分「ｔ」が含まれる。そのため、輝度ｉ，ｌnは、画像Ｉ，Ｌnの撮影期間における輝度の時系列である。平たく言えば、輝度ｉ，ｌnは、その画素がなしたことのある輝度を列挙したものである。Furthermore, "t" in Equation 1 represents the time component of the images I and Ln . Specifically, the time at which the images I and Ln were captured is represented by "t".
Since the images I and Ln contain the time component "t", the luminance i and ln corresponding to each pixel of the images I and Ln also contain the time component "t". Therefore, the luminances i and ln are the time series of the luminance during the shooting period of the images I and Ln . In layman's terms, the luminances i and l n are a list of luminances that the pixel has ever made.

ここで、実透視画像Ｉにおいて対象物の移動領域に含まれる一つの画素に着目し、この着目画素における輝度ｉ，ｌ1，ｌ2を説明する。具体的には、以下に示す輝度ｉ，ｌ1，ｌ2を例に挙げる。
・第一輝度ｌ1 ：輝度が「０」または「１」になる（ｌ1∈{0,1}）
・第二輝度ｌ2 ：輝度が「１」または「２」になる（ｌ2∈{1,2}）
・出力輝度ｉ ：輝度が「１」，「２」または「３」になる（ｉ∈{1,2,3}）Focusing on one pixel included in the movement area of the object in the real perspective image I, the luminances i, l 1 , and l 2 of this pixel of interest will be described. Specifically, luminances i, l 1 , and l 2 shown below are taken as examples.
・First luminance l 1 : luminance becomes “0” or “1” (l 1 ∈{0,1})
・Second luminance l 2 : luminance becomes “1” or “2” (l 2 ε{1,2})
・Output brightness i : brightness becomes “1”, “2” or “3” (i∈{1,2,3})

第一輝度ｌ1は、着目画素に対応する位置に対象物が存在しているときに輝度が「１」である。一方、着目画素に対応する位置に対象物が存在していないときには輝度が「０」である。
第二輝度ｌ2は、着目画素に対応する位置に骨や軟部組織が重畳して存在しているときに輝度が「２」であり、着目画素に対応する位置に骨または軟部組織のみが存在しているときに輝度が「１」である。なお、着目画素に対応する位置に存在する物体の厚み（三次元的な形状）や密度に応じて、輝度の値は異なる。たとえば、厚みの大きい物体の輝度は大きい値をとり、密度の小さい物体の輝度は小さい値をとる。The first luminance l 1 is "1" when the object exists at the position corresponding to the pixel of interest. On the other hand, when there is no object at the position corresponding to the pixel of interest, the luminance is "0".
The second luminance l 2 is "2" when bones and soft tissue are superimposed at the position corresponding to the pixel of interest, and only bone or soft tissue exists at the position corresponding to the pixel of interest. The brightness is "1" when Note that the luminance value differs depending on the thickness (three-dimensional shape) and density of the object present at the position corresponding to the pixel of interest. For example, an object with a large thickness takes a large luminance value, and an object with a small density takes a small luminance value.

ここでは、着目画素に対応する位置には非対象物が必ず存在しているものとしている。そのため、第二輝度ｌ2の輝度が「０」となることはないものとして扱う。
第一輝度ｌ1に対応する第一レイヤ画像Ｌ1では、変位する対象物に対応する領域の輝度が「１」であり、輝度が「１」の領域が変位する。Here, it is assumed that a non-object always exists at the position corresponding to the pixel of interest. Therefore, it is assumed that the luminance of the second luminance l2 never becomes "0".
In the first layer image L 1 corresponding to the first luminance l 1 , the luminance of the area corresponding to the object to be displaced is "1", and the area having the luminance of "1" is displaced.

第一輝度ｌ1および第二輝度ｌ2の重畳された輝度が出力輝度ｉである。同様に、第一レイヤ画像Ｌ1および第二レイヤ画像Ｌ2の重畳された画像が実透視画像Ｉである。
たとえば、以下に示す四つのパターンＡ～Ｄのように、輝度ｌ1，ｌ2が組み合わされて重畳し、これらの組み合わせで出力輝度ｉが出力される。
・パターンＡ：第一輝度ｌ1が「０」かつ第二輝度ｌ2が「１」，出力輝度ｉが「１」
・パターンＢ：第一輝度ｌ1が「０」かつ第二輝度ｌ2が「２」，出力輝度ｉが「２」
・パターンＣ：第一輝度ｌ1が「１」かつ第二輝度ｌ2が「１」，出力輝度ｉが「２」
・パターンＤ：第一輝度ｌ1が「１」かつ第二輝度ｌ2が「２」，出力輝度ｉが「３」The superimposed luminance of the first luminance l 1 and the second luminance l 2 is the output luminance i. Similarly, the superimposed image of the first layer image L 1 and the second layer image L 2 is the actual perspective image I.
For example, the luminances l 1 and l 2 are combined and superimposed as in the following four patterns A to D, and the output luminance i is output by combining these.
・Pattern A: The first luminance l 1 is “0”, the second luminance l 2 is “1”, and the output luminance i is “1”
・Pattern B: The first luminance l 1 is “0”, the second luminance l 2 is “2”, and the output luminance i is “2”
・Pattern C: The first luminance l 1 is “1”, the second luminance l 2 is “1”, and the output luminance i is “2”
・Pattern D: The first luminance l 1 is “1”, the second luminance l 2 is “2”, and the output luminance i is “3”

パターンＡ～Ｄに示すように、第一輝度ｌ1と第二輝度ｌ2とを加算（重畳）した輝度が出力輝度ｉである。
パターンＡ，Ｄでは、第一輝度ｌ1および第二輝度ｌ2の組み合わせと出力輝度ｉとの対応関係が一対一に定まる。
一方、パターンＢ，Ｃの場合には、出力輝度ｉが「２」となる第一輝度ｌ1および第二輝度ｌ2の組み合わせが二通り存在する。As shown in patterns A to D, the luminance obtained by adding (superimposing) the first luminance l 1 and the second luminance l 2 is the output luminance i.
In patterns A and D, a one-to-one correspondence relationship between the combination of the first luminance l 1 and the second luminance l 2 and the output luminance i is determined.
On the other hand, in the case of patterns B and C, there are two combinations of the first luminance l 1 and the second luminance l 2 with the output luminance i being "2".

そのため、パターンＢ，Ｃにおける輝度ｌ1，ｌ2の重畳パターンは、出力輝度ｉのみからは直接観測することができない。すなわち、出力輝度ｉが「２」と観測された情報だけでは、パターンＢのように非対象物だけに由来する輝度なのか、パターンＣのように対象物と非対象物とが重畳した輝度なのかが判別不能である。
上記のように観測不能な輝度の重畳パターン（いわば「隠れた内部状態」）を推定するために、本画像処理手法では、つぎに説明する模擬透視画像Ｄを用いている。Therefore, the superimposed patterns of the luminances l 1 and l 2 in the patterns B and C cannot be directly observed only from the output luminance i. In other words, only the information in which the output luminance i is observed to be "2" indicates whether the luminance is derived only from the non-target object as in pattern B, or the luminance in which the target object and the non-object object are superimposed as in pattern C. It is impossible to determine whether
In order to estimate the superimposed pattern of unobservable brightness (so-called “hidden internal state”) as described above, the present image processing method uses a simulated perspective image D, which will be described below.

――模擬透視画像――
模擬透視画像Ｄは、上述した実透視画像Ｉとは別の透視画像であり、実透視画像Ｉで透視された三次元空間をＸＹ平面に射影した透視画像を模擬したシミュレーション画像である。--Simulated fluoroscopic image--
The simulated fluoroscopic image D is a fluoroscopic image different from the actual fluoroscopic image I described above, and is a simulation image that simulates the fluoroscopic image obtained by projecting the three-dimensional space seen through the actual fluoroscopic image I onto the XY plane.

この模擬透視画像Ｄは、実透視画像Ｉで透視された三次元空間においてＸＺ平面に沿う断面であって複数の異なるＹ方向位置ごとのＣＴ（Computed Tomography）画像からなるボリュームデータから生成される。すなわち、実透視画像Ｉで透視された三次元空間に対応する複数のＣＴ画像（断層画像）によって、ボリュームデータが構成される。
たとえば、下記の数式２（数２）に示すように、ＤＲＲ（Digitally Reconstructed Radiograph）と称される模擬透視画像Ｄが得られる。この数式２は、左辺のＤＲＲ（ｘ，ｙ）が模擬透視画像Ｄを表し、右辺のＣＴ（ｘ，ｙ，ｚ）がボリュームデータを表し、このボリュームデータをＺ方向（実透視画像Ｉの透視方向）に空間積分することで模擬透視画像Ｄが得られることを表す。This simulated fluoroscopic image D is generated from volume data consisting of CT (Computed Tomography) images at a plurality of different Y-direction positions in a three-dimensional space fluoroscopically viewed with the actual fluoroscopic image I, which is a section along the XZ plane. That is, a plurality of CT images (tomographic images) corresponding to the three-dimensional space seen through by the actual fluoroscopy image I constitute volume data.
For example, a simulated fluoroscopic image D called a DRR (Digitally Reconstructed Radiograph) is obtained as shown in Equation 2 below. In Equation 2, DRR (x, y) on the left side represents the simulated fluoroscopic image D, CT (x, y, z) on the right side represents volume data, and this volume data is expressed in the Z direction (perspective of the actual fluoroscopic image I). direction) to obtain a simulated fluoroscopic image D.

Figure 0007273416000002
Figure 0007273416000002

ボリュームデータを構成するＣＴ画像は、ＸＺ平面の断層画像であることから、模擬透視画像ＤにおけるＺ方向の輝度の重なりが記録されている。言い換えれば、ボリュームデータは、対象物に由来する輝度と非対象物に由来する輝度との重畳パターンを内包している。
そのため、以下に示す三種のボリュームデータから、それぞれに対応する模擬透視画像Ｄが得られる。
・第一部分ボリュームデータ：対象物だけに対応
・第二部分ボリュームデータ：非対象物だけに対応
・全体ボリュームデータ ：対象物および非対象物の双方を含むSince the CT images forming the volume data are tomographic images on the XZ plane, overlapping of brightness in the Z direction in the simulated fluoroscopic image D is recorded. In other words, the volume data includes a superimposed pattern of luminance derived from the object and luminance derived from the non-object.
Therefore, the simulated fluoroscopic image D corresponding to each of the three types of volume data shown below is obtained.
・First partial volume data: Corresponds only to the target object ・Second partial volume data: Corresponds only to the non-target object ・Whole volume data: Includes both the target object and the non-target object

第一部分ボリュームデータは、実透視画像Ｉで透視される三次元領域のうち対象物に対応する領域における複数の第一部分ＣＴ画像（第一断層部分画像）から構成される。この第一部分ボリュームデータをＺ方向に空間積分することで、対象物だけに対応する第一部分模擬透視画像Ｄ1（以下「第一部分画像Ｄ1」と略称する）が得られる。この第一部分画像Ｄ1は、上述した第一レイヤ画像Ｌ1に対応する。The first partial volume data is composed of a plurality of first partial CT images (first tomographic partial images) in a region corresponding to the target object in the three-dimensional region viewed through the actual fluoroscopic image I. By spatially integrating this first partial volume data in the Z direction, a first partial simulated fluoroscopic image D 1 (hereinafter abbreviated as “first partial image D 1 ”) corresponding only to the object is obtained. This first partial image D 1 corresponds to the above-described first layer image L 1 .

同様に、第二部分ボリュームデータは、実透視画像Ｉで透視される三次元領域のうち非対象物に対応する領域における複数の第二部分ＣＴ画像（第二断層部分画像）から構成される。この第二部分ボリュームデータをＺ方向に空間積分することで、非対象物だけに対応する第二部分模擬透視画像Ｄ2（以下「第二部分画像Ｄ2」と略称する）が得られる。この第二部分画像Ｄ2は、上述した第二レイヤ画像Ｌ2に対応する。Similarly, the second partial volume data is composed of a plurality of second partial CT images (second tomographic partial images) in regions corresponding to non-objects in the three-dimensional region viewed in the actual fluoroscopic image I. By spatially integrating this second partial volume data in the Z direction, a second partial simulated fluoroscopic image D 2 (hereinafter abbreviated as “second partial image D 2 ”) corresponding only to the non-object is obtained. This second partial image D2 corresponds to the second layer image L2 described above.

全体ボリュームデータは、実透視画像Ｉで透視される三次元領域の全体（すなわち対象物および非対象物の双方を含む領域）における複数の全体ＣＴ画像（断層画像）から構成される。この全体ボリュームデータをＺ方向に空間積分することで、対象物および非対象物を含む全体模擬透視画像Ｄ0（以下「全体画像Ｄ0」と略称する）が得られる。この全体画像Ｄ0は、上述した実透視画像Ｉに対応する。
上記の第一部分画像Ｄ1，第二部分画像Ｄ2および全体画像Ｄ0は、つぎに説明する確率的状態空間モデルを構築する材料に用いられる。The whole volume data is composed of a plurality of whole CT images (tomographic images) in the whole three-dimensional area (that is, the area including both the target object and the non-target object) to be viewed through the actual fluoroscopic image I. By spatially integrating this entire volume data in the Z direction, an overall simulated fluoroscopic image D 0 (hereinafter abbreviated as “whole image D 0 ”) including the object and the non-object is obtained. This entire image D 0 corresponds to the actual perspective image I described above.
The first partial image D 1 , the second partial image D 2 and the entire image D 0 are used as materials for constructing the probabilistic state space model described below.

〈確率的状態空間モデル〉
確率的状態空間モデルとは、状態空間モデルの一種であり、確率的に遷移する「状態量」に応じて、出力が確率的に発生する確率モデルである。
この確率的状態空間モデルを表現する手法には、隠れマルコフモデルをはじめ、カルマンフィルタや粒子フィルタなどが含まれる。ここでは、確率的状態空間モデルの一例として隠れマルコフモデルを挙げる。<Probabilistic state space model>
A stochastic state space model is a type of state space model, and is a stochastic model in which an output is stochastically generated according to a "state quantity" that stochastically transitions.
Techniques for expressing this stochastic state space model include hidden Markov models, Kalman filters, particle filters, and the like. Here, a hidden Markov model is taken as an example of a stochastic state space model.

「隠れマルコフモデル」は、マルコフ過程に従って遷移する状態量（「内部状態」や単に「状態」などとも称される）を持ち、状態量のそれぞれに応じて出力が確率的に出力される確率モデルである。
「マルコフ過程」とは、ある状態量の出現確率がその直前の状態量によって決定される確率過程をいう。A Hidden Markov Model is a probabilistic model that has state quantities (also called “internal states” or simply “states”) that transition according to the Markov process, and outputs stochastically according to each state quantity. is.
A "Markov process" is a stochastic process in which the probability of occurrence of a state quantity is determined by the state quantity immediately before it.

以下、図１を参照して、隠れマルコフモデルを説明する。
隠れマルコフモデルは、上記の通り、観測不能な状態量Ｓ（図１ではＳ1～ＳNからなるＮ個の状態列Ｓnを例示する）と、観測可能な出力Ｏ（図１ではＯ1～ＯKからなるＫ個の出力列Ｏkを例示する）とを有する。
各状態量Ｓnは遷移確率ＴＰで遷移し、各状態量Ｓnから出力確率ＯＰで各出力Ｏkを出力する。たとえば、第一の状態量Ｓ1から第二の状態量Ｓ2へは遷移確率ＴＰ12で遷移し、第二の状態量Ｓ2から第三の出力Ｏ3を出力確率ＯＰ23で出力する。The Hidden Markov Model will be described below with reference to FIG.
As described above, the Hidden Markov Model has an unobservable state quantity S (FIG. 1 exemplifies N state sequences S n consisting of S 1 to S N ) and an observable output O (O 1 in FIG. 1). . . . . . . .
Each state quantity S n transitions with a transition probability TP, and each output O k is output from each state quantity S n with an output probability OP. For example, the first state quantity S 1 transitions to the second state quantity S 2 with a transition probability TP 12 , and the second state quantity S 2 outputs a third output O 3 with an output probability OP 23 .

これらの確率ＴＰ，ＯＰは、バウムウェルチアルゴリズム（Baum-Welch algorithm）によって推定可能である。このようにバウムウェルチアルゴリズムを用いて構築された隠れマルコフモデルからは、観測された出力を解釈する公知のアルゴリズムによって、確率的に尤もらしい状態量が推定可能である。たとえば、ビタビアルゴリズム（Viterbi algorithm）によって、実透視画像Ｉとして出力される輝度ｌ1，ｌ2の重畳パターン（すなわち実状態量）が推定可能である。These probabilities TP and OP can be estimated by the Baum-Welch algorithm. From the Hidden Markov Model constructed using the Baum-Welch algorithm in this way, a probabilistically plausible state quantity can be estimated by a known algorithm for interpreting the observed output. For example, a Viterbi algorithm can be used to estimate the superimposed pattern of the luminances l 1 and l 2 output as the real perspective image I (that is, the real state quantity).

上記のように、本画像処理手法では、状態量Ｓnと輝度の重畳パターンとを紐付け、出力Ｏkと透視画像における輝度とを紐付けて、隠れマルコフモデルを活用する。
たとえば、下記の表１に概略を示すように、状態量Ｓ1～Ｓ4とパターンＡ～Ｄの第一輝度ｌ1および第二輝度ｌ2とを紐付け、出力Ｏ1～Ｏ3とパターンＡ～Ｄの出力輝度ｉとを紐付けて隠れマルコフモデルを捉える。As described above, in this image processing method, the state quantity S n is associated with the superimposed pattern of luminance, and the output O k is associated with the luminance in the perspective image to utilize the hidden Markov model.
For example, as outlined in Table 1 below, the state quantities S 1 to S 4 are associated with the first luminance l 1 and the second luminance l 2 of the patterns A to D, and the outputs O 1 to O 3 and the pattern The Hidden Markov Model is captured by linking the output luminance i of A to D.

Figure 0007273416000003
Figure 0007273416000003

具体的には、第一輝度ｌ1の集合した第一レイヤ画像Ｌ1の時系列と第二輝度ｌ2の集合した第二レイヤ画像Ｌ2の時系列とに分離可能なデータセットが状態量Ｓnに紐付けられる。実透視画像Ｉのレイヤ画像Ｌ1，Ｌ2は、直接観測不能であり、推定される対象である。一方、出力Ｏkには、第一レイヤ画像Ｌ1の時系列と第二レイヤ画像Ｌ2の時系列とが一体不可分のデータセットが紐付けられる。
模擬透視画像Ｄの部分画像Ｄ1，Ｄ2は、レイヤ画像Ｌ1，Ｌ2に対応するうえにシミュレーションで得られることから、上記の状態量Ｓnに設定される。Specifically, a data set that can be separated into a time series of a first layer image L 1 that is a set of first luminance l 1 and a time series of a second layer image L 2 that is a set of second luminance l 2 is a state quantity. It is associated with S n . The layer images L 1 and L 2 of the real perspective image I are not directly observable and are objects to be estimated. On the other hand, the output O k is associated with a data set in which the time series of the first layer image L 1 and the time series of the second layer image L 2 are inseparable.
Since the partial images D 1 and D 2 of the simulated perspective image D correspond to the layer images L 1 and L 2 and are obtained by simulation, they are set to the above state quantity S n .

上記の表１に示すように、輝度ｌ1，ｌ2および出力輝度ｉの対応関係と同様に、出力Ｏ1，Ｏ3には状態量Ｓ1，Ｓ4が一対一に紐付けられるが、出力Ｏ2には状態量Ｓ2，Ｓ3の二つが紐付けられる。言い換えれば、第一の出力Ｏ1は必ず第一の状態量Ｓ1から出力され、第三の出力Ｏ3は必ず第四の状態量Ｓ4から出力される。これに対し、第二の出力Ｏ2は第二の状態量Ｓ2または第三の状態量Ｓ3から確率的に出力される。As shown in Table 1 above, state quantities S 1 and S 4 are linked one-to-one to outputs O 1 and O 3 in the same way as the corresponding relationship between luminance l 1 and l 2 and output luminance i. Two state quantities S 2 and S 3 are linked to the output O 2 . In other words, the first output O1 is always output from the first state quantity S1 , and the third output O3 is always output from the fourth state quantity S4 . On the other hand, the second output O 2 is stochastically output from the second state quantity S 2 or the third state quantity S 3 .

［Ｉ．一実施形態］
つぎに、上述した要素技術を用いて、実透視画像Ｉから対象物を抽出する画像処理手法を述べる。なお、本画像処理手法は、画像処理装置によって実施される。画像処理装置は、画像処理プログラムを実行することで、画像処理方法が実施され、本手法で画像が処理される構成を例示する。[I. one embodiment]
Next, an image processing method for extracting a target object from the real fluoroscopic image I using the elemental techniques described above will be described. Note that this image processing technique is implemented by an image processing apparatus. An image processing apparatus executes an image processing program to implement an image processing method, and exemplifies a configuration in which an image is processed by this method.

［１．放射線照射システム］
画像処理装置は、放射線照射システムの少なくとも一部に設けられる。
この放射線照射システムは、入力系，制御系，出力系の構成に大別される。
入力系の構成は、画像処理に必要な情報を検出する。ここでは、透視画像を撮影する機器が入力系の構成として設けられ、撮影された透視画像が制御系の構成に入力される。[1. Radiation irradiation system]
The image processing device is provided in at least part of the radiation exposure system.
This radiation irradiation system is roughly divided into an input system, a control system, and an output system.
The configuration of the input system detects information necessary for image processing. Here, a device for capturing a fluoroscopic image is provided as a configuration of the input system, and the captured fluoroscopic image is input to the configuration of the control system.

制御系の構成は、入力系の構成から入力された画像を処理する。ここでは、処理された画像に基づいて、制御系の構成から出力系の構成に制御信号が出力される。
出力系の構成は、制御系の構成から出力された制御信号によって作動する。
なお、画像処理装置の最小構成は、制御系の構成のみである。画像処理装置の最大構成は、入力系の構成，制御系の構成および出力系の構成である。画像処理装置は、入力系の構成および制御系の構成であってもよいし、制御系の構成および出力系の構成であってもよい。The configuration of the control system processes the image input from the configuration of the input system. Here, a control signal is output from the configuration of the control system to the configuration of the output system based on the processed image.
The configuration of the output system operates according to the control signal output from the configuration of the control system.
Note that the minimum configuration of the image processing apparatus is only the configuration of the control system. The maximum configuration of an image processing apparatus is the configuration of an input system, the configuration of a control system, and the configuration of an output system. The image processing apparatus may have an input system configuration and a control system configuration, or may have a control system configuration and an output system configuration.

図２に示すように、放射線照射システム１０には、入力系の構成として二種の撮影装置１が設けられ、制御系の構成として制御装置２（コンピュータ）が設けられ、出力系の構成として放射線照射装置９が設けられている。
撮影装置１および放射線照射装置９のそれぞれは、情報が入出力可能に制御装置２と接続されている。具体的には、撮影装置１から制御装置２に対して情報を入力できるように接続され、制御装置２から放射線照射装置９に対して情報を出力できるように接続される。
すなわち、本実施形態の画像処置装置では、撮影装置１の検出情報に基づく制御の主体が制御装置２であり、制御装置２による制御の対象が放射線照射装置９である。As shown in FIG. 2, the radiation irradiation system 10 is provided with two types of imaging devices 1 as an input system configuration, a control device 2 (computer) as a control system configuration, and a radiation exposure system as an output system configuration. An irradiation device 9 is provided.
Each of the imaging device 1 and the radiation irradiation device 9 is connected to the control device 2 so that information can be input/output. Specifically, the imaging device 1 is connected to the control device 2 so as to input information, and the control device 2 is connected to be able to output information to the radiation irradiation device 9 .
That is, in the image processing apparatus of the present embodiment, the control device 2 is the subject of control based on the detection information of the imaging device 1 , and the radiation irradiation device 9 is controlled by the control device 2 .

［１．１．入力系］
撮影装置１は、透視画像を撮影する装置である。ここでは、レントゲン装置１Ａ（透視装置）およびＣＴ装置１Ｂの二種が撮影装置１として設けられている。
レントゲン装置１Ａは、上記の実透視画像Ｉを撮影する装置である。
ＣＴ装置１Ｂは、上記のＣＴ画像を撮影する装置である。[1.1. Input system]
The photographing device 1 is a device for photographing a fluoroscopic image. Here, two types of imaging devices 1, ie, an X-ray device 1A (fluoroscopic device) and a CT device 1B are provided.
The X-ray device 1A is a device that captures the actual fluoroscopic image I described above.
The CT apparatus 1B is an apparatus for capturing the above CT images.

〈レントゲン装置〉
レントゲン装置１Ａは、所定の撮影周期ごとに生体を撮影する。このレントゲン装置１Ａは、生体のうち所定の三次元空間に対してＸ線を照射し、照射方向をＺ軸とした所定の三次元空間のＸＹ平面に射影された画像のシーケンス（すなわち動画）を撮影する。<X-ray device>
The X-ray device 1A images a living body at predetermined imaging intervals. This X-ray apparatus 1A irradiates a predetermined three-dimensional space in a living body with X-rays, and generates a sequence of images (that is, moving images) projected onto the XY plane of the predetermined three-dimensional space with the irradiation direction as the Z axis. to shoot.

なお、生体の内部には、腫瘍が存在するものとする。この生体には、腫瘍以外の骨や軟部組織といった他の生体組織も内部に存在する。これらの生体組織（複数の物品）がレントゲン装置１Ａで撮影される。
レントゲン装置１Ａで撮影された実透視画像Ｉでは、Ｘ線の透過率が高いほど小さい輝度をなす。たとえば、肺癌の腫瘍は、Ｘ線の透過率が高く輝度が低いため、実透視画像Ｉにおいて薄暗い不明瞭な画素列として撮影され、専門医であっても有無や視認が困難な場合がある。It is assumed that a tumor exists inside the living body. In addition to tumors, other living tissues such as bones and soft tissues also exist inside this living body. These living tissues (a plurality of articles) are imaged by the X-ray device 1A.
In the real fluoroscopic image I captured by the X-ray apparatus 1A, the higher the X-ray transmittance, the lower the brightness. For example, a lung cancer tumor has a high X-ray transmittance and a low brightness, so it is photographed as a dim and unclear pixel row in the real fluoroscopic image I, and even a medical specialist may find it difficult to see whether or not the tumor is visible.

〈ＣＴ装置〉
ＣＴ装置１Ｂは、レントゲン装置１Ａで透視する所定の三次元空間に対して異なるＹ方向位置ごとにＸＺ平面の断層画像を撮影する。これらの断層画像は、所定の三次元空間を表すボリュームデータを構成する。
このＣＴ装置１Ｂは、異なる呼吸位相ごとに生体を撮影する。このようにして、所定の三次元空間の画像が経時的に撮影される。<CT device>
The CT apparatus 1B captures XZ-plane tomographic images at different Y-direction positions in a predetermined three-dimensional space viewed by the X-ray apparatus 1A. These tomographic images constitute volume data representing a predetermined three-dimensional space.
This CT apparatus 1B images a living body for each different respiratory phase. In this way, images of a given three-dimensional space are captured over time.

［１．２．制御系］
制御装置２は、ＣＴ装置１Ｂから入力された画像（ボリュームデータ）を用いて、レントゲン装置１Ａから入力された実透視画像Ｉを処理する装置である。
この制御装置２は、実透視画像Ｉから対象物を抽出する画像処置制御を担う電子制御装置である。[1.2. control system]
The control device 2 is a device that processes the actual fluoroscopic image I input from the X-ray device 1A using the image (volume data) input from the CT device 1B.
The control device 2 is an electronic control device that performs image processing control for extracting a target object from the real fluoroscopy image I. FIG.

〈ハードウェア構成〉
制御装置２には、図３に示すように、ハードウェア構成として、処理装置２Ａおよび記憶装置２Ｂが設けられる。
処理装置２Ａは、記憶装置２Ｂに記憶されたプログラムを実行することにより、本画像処置手法を実現する。この処理装置２Ａには、ＣＰＵ（Central Processing Unit）が用いられる。ただし、ＤＳＰ（Digital Signal Processor）やプログラム可能な論理回路装置（PLD；Programmable Logic Device）を処理装置２Ａに用いてもよい。<Hardware configuration>
As shown in FIG. 3, the control device 2 is provided with a processing device 2A and a storage device 2B as a hardware configuration.
The processing device 2A realizes this image processing method by executing the program stored in the storage device 2B. A CPU (Central Processing Unit) is used for the processing device 2A. However, a DSP (Digital Signal Processor) or a programmable logic device (PLD) may be used for the processing device 2A.

記憶装置２Ｂは、情報を読み書き可能に記憶するメモリである。この記憶装置２Ｂとしては、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory），ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）といったさまざまな公知の記憶媒体が挙げられる。
なお、制御装置２は、ＬＳＩ（large scale integrated circuit）デバイスや組み込みの電子デバイスとして構成されてもよい。The storage device 2B is a memory that stores information in a readable and writable manner. Examples of the storage device 2B include various known storage media such as ROM (Read Only Memory), RAM (Random Access Memory), HDD (Hard Disk Drive), and SSD (Solid State Drive).
Note that the control device 2 may be configured as an LSI (large scale integrated circuit) device or a built-in electronic device.

〈ソフトウェア構成〉
上記のハードウェア構成を備えた制御装置２は、図４に示すように、画像を処理する基本的なソフトウェア構成として、以下に示す三つの機能要素を有する。
・取得部３：隠れマルコフモデルの構築材料を取得する
・構築部４：取得された構築材料から隠れマルコフモデルを構築する
・抽出部５：構築された隠れマルコフモデルを用いて実透視画像Ｉから対象物を抽出する<Software configuration>
As shown in FIG. 4, the control device 2 having the above hardware configuration has the following three functional elements as a basic software configuration for processing images.
・Acquisition unit 3: Acquires construction materials for the hidden Markov model ・Construction unit 4: Constructs a Hidden Markov model from the acquired construction materials ・Extraction unit 5: Uses the constructed Hidden Markov model to obtain a real perspective image I Extract object

取得部３は、以下に示す二つの機能要素に細別される。
・第一取得部３１：全体ボリュームデータから全体画像Ｄ0を取得する
・第二取得部３２：部分ボリュームデータから部分画像Ｄ1，Ｄ2を取得する
また、構築部４は、以下に示す二つの機能要素に細別される。
・ノード構築部４１：状態量Ｓおよび出力Ｏを設定する
・リンク構築部４２：確率ＴＰ，ＯＰを推定するThe acquisition unit 3 is subdivided into the following two functional elements.
・First acquisition unit 31: acquires the entire image D 0 from the entire volume data ・Second acquisition unit 32: acquires the partial images D 1 and D 2 from the partial volume data It is subdivided into one functional element.
・Node constructing unit 41: Sets state quantity S and output O ・Link constructing unit 42: Estimates probabilities TP and OP

この制御装置２は、画像処理に関する付加的なソフトウェア構成として、以下に示す二つの機能要素も有する。
・ 補正部６ ：模擬透視画像を補正する
・照射制御部７：放射線照射装置９を制御する
以下、制御装置２の各機能要素を説明する。This control device 2 also has the following two functional elements as an additional software configuration for image processing.
• Correction unit 6: corrects the simulated fluoroscopic image • Irradiation control unit 7: controls the radiation irradiation device 9 Each functional element of the control device 2 will be described below.

――取得部――
取得部３は、隠れマルコフモデルの構築材料として、ＣＴ装置１Ｂからの情報を取得する。具体的には、対象物および非対象物を含む領域の全体ＣＴ画像から構成された全体ボリュームデータと、対象物および非対象物のそれぞれに対応する二種の部分ボリュームデータとを取得する。
この取得部３では、三次元のボリュームデータをＤＲＲ手法で二次元の全体画像に変換する。具体的には、第一取得部３１が全体ボリュームデータを全体画像Ｄ0に変換し、第二取得部３２が二種の部分ボリュームデータを二種の部分画像Ｄ1，Ｄ2に変換する。--Acquisition Department--
The acquisition unit 3 acquires information from the CT apparatus 1B as materials for constructing the Hidden Markov Model. Specifically, the entire volume data composed of the entire CT image of the area including the target and non-target and two types of partial volume data respectively corresponding to the target and non-target are acquired.
This acquisition unit 3 converts the three-dimensional volume data into a two-dimensional whole image by the DRR technique. Specifically, the first acquisition unit 31 converts the entire volume data into the entire image D 0 , and the second acquisition unit 32 converts two types of partial volume data into two types of partial images D 1 and D 2 .

第一取得部３１は、観測可能な実際の出力（以下「実出力」と略称する）である実透視画像Ｉとして模擬した全体画像Ｄ0を模擬出力として取得する。
第二取得部３２は、変換した部分画像Ｄ1，Ｄ2に基づいて対象物および非対象物のそれぞれに由来する輝度の重畳パターンを内包する模擬状態量を取得する。言い換えれば、第一レイヤ画像Ｌ1として模擬した第一部分画像Ｄ1と、第二レイヤ画像Ｌ1として模擬した第二部分画像Ｄ2とから模擬状態量を取得する。The first acquisition unit 31 acquires, as a simulated output, an entire image D 0 simulated as an actual fluoroscopic image I, which is an observable actual output (hereinafter abbreviated as “actual output”).
The second acquisition unit 32 acquires simulated state quantities including superimposed patterns of luminance derived from the target object and the non-target object based on the converted partial images D 1 and D 2 . In other words, the simulated state quantity is obtained from the first partial image D 1 simulated as the first layer image L 1 and the second partial image D 2 simulated as the second layer image L 1 .

――補正部――
ところで、レントゲン装置１ＡとＣＴ装置１Ｂとは異なる装置であることから、各装置１Ａ，１Ｂの内部で異なる処理の施された画像が出力される場合がある。そのため、同じ透視対象を撮影したにもかかわらず、撮影された透視画像Ｉ,Ｄの輝度分布（見た目では「濃度分布」）も相異する場合がある。
このように輝度分布が異なる場合には、実透視画像Ｉに対する模擬透視画像Ｄのシミュレーション精度が確保されず、本画像処理精度の律速となるおそれがある。特に、模擬透視画像における対象物の輝度が小さい場合には、その対象物が他の暗部と判別不能となり、対象物を抽出する精度の低下を招く。--Correction part--
By the way, since the X-ray apparatus 1A and the CT apparatus 1B are different apparatuses, there are cases where images that have undergone different processing inside the apparatuses 1A and 1B are output. Therefore, even though the same fluoroscopic object is photographed, the photographed fluoroscopic images I and D may have different luminance distributions (“density distributions” in appearance).
If the luminance distributions are different in this way, the simulation accuracy of the simulated fluoroscopic image D with respect to the actual fluoroscopic image I cannot be ensured, which may limit the accuracy of the actual image processing. In particular, when the brightness of an object in the simulated fluoroscopic image is low, the object cannot be distinguished from other dark areas, resulting in a decrease in the accuracy of extracting the object.

そこで、本制御装置２には、実透視画像Ｉの輝度に合わせて、模擬透視画像Ｄにおける輝度を補正する補正部６が配備されている。
この補正部６は、模擬透視画像Ｄの輝度と実透視画像Ｉの輝度との対応関係を近似した関数で模擬透視画像の輝度を補正している。この近似関数の一例としては、下記の数式３（数３）が挙げられる。Therefore, the controller 2 is provided with a correction unit 6 that corrects the luminance of the simulated fluoroscopic image D in accordance with the luminance of the actual fluoroscopic image I. FIG.
The correction unit 6 corrects the luminance of the simulated fluoroscopic image with a function that approximates the correspondence relationship between the luminance of the simulated fluoroscopic image D and the luminance of the actual fluoroscopic image I. An example of this approximation function is Equation 3 below.

Figure 0007273416000004
Figure 0007273416000004

上記の数式３は、補正前の模擬透視画像Ｄ（数式３では「ＤＲＲ」と表される）を関数とした近似関数によって、補正された模擬透視画像Ｄ′（数式３では「ＤＲＲ′」と表される）が得られることを表す。
たとえば、補正前の模擬透視画像Ｄにおける輝度が実透視画像Ｉの輝度よりも相対的に高い側に分布している場合には、上記した近似関数の外挿方向が輝度の小さい側に設定される。Equation 3 above is a simulated fluoroscopic image D′ (“DRR′” in Equation 3) corrected by an approximation function using the simulated fluoroscopic image D before correction (“DRR” in Equation 3) as a function. ) is obtained.
For example, when the brightness of the simulated perspective image D before correction is distributed on the side of relatively higher brightness than the brightness of the actual perspective image I, the extrapolation direction of the above-described approximation function is set to the lower brightness side. be.

上記の輝度補正は、補正前の全体画像Ｄ0，第一部分画像Ｄ1および第二部分画像Ｄ2に対してそれぞれに実施され、補正後の全体画像Ｄ0′，第一部分画像Ｄ1′および第二部分画像Ｄ2′が得られる。
補正部６が設けられる場合には、第一取得部３１によって補正後の全体画像Ｄ0′が模擬出力として取得され、第二取得部３２によって第一部分画像Ｄ1′および第二部分画像Ｄ2′に基づく模擬状態量が取得される。これら三種の全体画像Ｄ0′，第一部分画像Ｄ1′および第二部分画像Ｄ2′は、つぎに説明する構築部４による隠れマルコフモデルの構築材料に用いられる。The luminance correction described above is performed on the uncorrected whole image D 0 , the first partial image D 1 and the second partial image D 2 respectively, and the corrected whole image D 0 ', the first partial image D 1 ' and A second partial image D 2 ' is obtained.
When the correction unit 6 is provided, the first acquisition unit 31 acquires the corrected whole image D 0 ' as a simulated output, and the second acquisition unit 32 acquires the first partial image D 1 ' and the second partial image D 2 . ' is acquired. These three kinds of whole image D 0 ', first partial image D 1 ' and second partial image D 2 ' are used as materials for constructing a hidden Markov model by the constructing unit 4 which will be described below.

――構築部――
構築部４は、取得部３で取得された模擬出力および模擬状態量に基づいて、隠れマルコフモデルを構築する。
この構築部４は、隠れマルコフモデルを二段階に構築する。一段階目は、ノード構築部４１によって状態量Ｓおよび出力Ｏを設定する構築段階である。二段階目は、リンク構築部４２によって確率ＴＰ，ＯＰを推定する構築段階である。--Construction Department--
The construction unit 4 constructs a hidden Markov model based on the simulated output and the simulated state quantity acquired by the acquisition unit 3 .
This construction unit 4 constructs the Hidden Markov Model in two stages. The first stage is a construction stage in which the state quantity S and the output O are set by the node construction unit 41 . The second stage is a construction stage in which the link construction unit 42 estimates the probabilities TP and OP.

ノード構築部４１は、第一取得部３１で取得された全体画像Ｄ0′を出力Ｏとして設定し、第二取得部３２で取得された部分画像Ｄ1′，Ｄ2′の重畳パターンを状態量Ｓとして設定する。このようにして、隠れマルコフモデルの大枠が構築される。
リンク構築部４２は、ノード構築部４１で設定された状態量Ｓおよび出力Ｏに基づいて確率ＴＰ，ＯＰを推定し、隠れマルコフモデルの構築を完成させる。The node constructing unit 41 sets the entire image D 0 ′ acquired by the first acquiring unit 31 as the output O, and the superimposed pattern of the partial images D 1 ′ and D 2 ′ acquired by the second acquiring unit 32 as a state. Set as the quantity S. In this way, a framework of Hidden Markov Models is constructed.
The link construction unit 42 estimates the probabilities TP and OP based on the state quantity S and the output O set by the node construction unit 41, and completes construction of the hidden Markov model.

具体的には、設定された状態量Ｓおよび出力Ｏのほか、実出力としての実透視画像Ｉを訓練データに用いて確率ＴＰ，ＯＰを推定する。確率ＴＰ，ＯＰの推定手法としては、バウムウェルチアルゴリズムが挙げられる。なお、確率ＴＰ，ＯＰの推定に訓練データは必須ではない。
上記の構築部４で構築された隠れマルコフモデルは、つぎに説明する抽出部５による対象物の抽出に用いられる。Specifically, the probabilities TP and OP are estimated using the set state quantity S and the output O as well as the actual fluoroscopic image I as the actual output as training data. A method for estimating the probabilities TP and OP includes the Baum-Welch algorithm. Note that training data is not essential for estimating the probabilities TP and OP.
The Hidden Markov Models constructed by the construction unit 4 are used for extraction of objects by the extraction unit 5 described below.

――抽出部――
抽出部５は、構築部４で構築された隠れマルコフモデルと実透視画像Ｉとに基づいて、対象物に由来する輝度を抽出する。この抽出部５による対象物の抽出では、実状態量の推定と、推定された実状態量をなす輝度の分離とが実施される。
実状態量の推定では、構築された隠れマルコフモデルで実出力の実透視画像Ｉを解釈することにより、実透視画像Ｉを出力する確率的に尤もらしい実状態量を推定する。実状態量の推定手法としては、ビタビアルゴリズム（出力方向とは逆方向に状態量を推定することから「ビタビ復号」とも称される）が挙げられる。--Extraction part--
The extraction unit 5 extracts the brightness derived from the object based on the hidden Markov model constructed by the construction unit 4 and the real perspective image I. In the extraction of the target object by the extraction unit 5, estimation of the actual state quantity and separation of luminance forming the estimated actual state quantity are performed.
In estimating the real state quantity, by interpreting the real output real perspective image I with the constructed hidden Markov model, the probabilistically likely real state quantity for outputting the real perspective image I is estimated. As a method for estimating the actual state quantity, the Viterbi algorithm (also called "Viterbi decoding" because the state quantity is estimated in the direction opposite to the output direction) can be used.

実推定量をなす輝度の分離では、構築された隠れマルコフモデルの状態量に内包される輝度の重畳パターンから、対象物に由来する輝度を取り出す。このように取り出された輝度を対象物として抽出する。対象物として抽出された輝度のみを表示すれば、実透視画像Ｉから対象物のみの画像が抽出される。
上記のように実透視画像Ｉから抽出された対象物の位置情報は、つぎに説明する照射制御部７の制御に用いられる。In the separation of luminance that constitutes an actual estimator, the luminance derived from the object is extracted from the superimposed pattern of luminance included in the state quantity of the constructed Hidden Markov Model. The brightness extracted in this way is extracted as an object. If only the brightness extracted as the object is displayed, the image of only the object is extracted from the real perspective image I.
The positional information of the object extracted from the actual fluoroscopy image I as described above is used for controlling the irradiation control unit 7, which will be described below.

――照射制御部――
照射制御部７は、抽出部５によって得られた対象物の位置に基づいて、放射線照射装置９の制御信号を生成する。たとえば、対象物を死滅させるためには、対象物の位置に放射線を照射させる制御信号を生成する。反対に、対象物の被ばくを避けるためには、対象物以外の位置に放射線を照射させる制御信号を生成する。
このように生成された制御信号によって、つぎに説明する放射線照射装置９の作動が制御される。--Irradiation control section--
The irradiation control unit 7 generates a control signal for the radiation irradiation device 9 based on the position of the object obtained by the extraction unit 5 . For example, to kill an object, a control signal is generated that causes the location of the object to be irradiated. Conversely, in order to avoid radiation exposure of the target, a control signal is generated to irradiate radiation to positions other than the target.
The control signal generated in this manner controls the operation of the radiation irradiation device 9, which will be described below.

［１．３．出力系］
放射線照射装置９は、放射線を生体に照射する装置である。
この放射線照射装置９は、制御装置２から出力された制御信号に応じて放射線を照射する。たとえば、対象物としての腫瘍に放射線を照射すれば、生体を治療することができる。あるいは、対象物以外に放射線が照射すれば、対象物への被ばくが回避される。[1.3. Output system]
The radiation irradiation device 9 is a device that irradiates a living body with radiation.
This radiation irradiation device 9 irradiates radiation according to a control signal output from the control device 2 . For example, a living body can be treated by irradiating a tumor as an object with radiation. Alternatively, exposure to the target can be avoided by irradiating the radiation to other than the target.

［２．フローチャート］
つぎに、図５のフローチャートを参照して、上記の画像処理に関する手順を説明する。ここでは、制御装置２で実施される画像処理の手順を説明する。
この手順は、実透視画像Ｉが制御装置２に入力されたもとで、所定の制御周期で繰り返し実施される。
なお、以下に述べる手順では、制御装置２に設けられた機能要素のそれぞれにおいて、その名称のうち「部」を「工程」に置換した工程が実施される。たとえば、取得部３において取得工程が実施され、構築部４において構築工程が実施される。[2. flowchart]
Next, referring to the flow chart of FIG. 5, the procedure for the above image processing will be described. Here, the procedure of image processing performed by the control device 2 will be described.
This procedure is repeated at a predetermined control cycle after the actual fluoroscopic image I is input to the control device 2 .
In the procedure described below, in each of the functional elements provided in the control device 2, the process is performed by replacing the "part" in the name with the "process". For example, the acquisition unit 3 performs the acquisition process, and the construction unit 4 performs the construction process.

はじめに、実透視画像Ｉの輝度に合わせて模擬透視画像Ｄの輝度を補正する補正工程（ステップＳ１０）を実施する。補正工程では、模擬透視画像Ｄの全体画像Ｄ0，第一部分画像Ｄ1および第二部分画像Ｄ2に対してそれぞれに輝度を補正する。
ついで、補正工程で補正された模擬透視画像Ｄ′を取得する取得工程（ステップＳ２０）を実施する。First, a correction step (step S10) of correcting the luminance of the simulated fluoroscopic image D in accordance with the luminance of the actual fluoroscopic image I is performed. In the correction step, the brightness of the entire image D 0 , the first partial image D 1 and the second partial image D 2 of the simulated fluoroscopic image D is corrected.
Next, an acquisition step (step S20) of acquiring the simulated fluoroscopic image D' corrected in the correction step is performed.

この取得工程では、模擬透視画像Ｄ′のうち全体画像Ｄ0′を模擬出力として取得する第一取得工程（ステップＳ２２）と、模擬透視画像Ｄ′のうち部分画像Ｄ1′，Ｄ2′から模擬状態量を取得する第二取得工程（ステップＳ２４）とを実施する。
なお、第一取得工程および第二取得工程は、実施順が任意である。たとえば、第二取得工程の後に第一取得工程を実施してもよいし、第一取得工程および第二取得工程を並列的に実施してもよい。In this acquisition step, the first acquisition step (step S22) of acquiring the entire image D 0 ' out of the simulated fluoroscopic image D' as a simulated output, and the partial images D 1 ' and D 2 ' out of the simulated fluoroscopic image D'. A second acquisition step (step S24) of acquiring the simulated state quantity is performed.
Note that the first acquisition step and the second acquisition step can be performed in any order. For example, the first obtaining step may be performed after the second obtaining step, or the first obtaining step and the second obtaining step may be performed in parallel.

ついで、取得工程で取得された模擬出力および模擬状態量に基づいて、隠れマルコフモデルを構築する構築工程（ステップＳ３０）を実施する。
この構築工程では、ノード構築工程（ステップＳ３２）の後にリンク構築工程（ステップＳ３４）を実施する。ノード構築工程では、全体画像Ｄ0′を出力Ｏとして設定し、部分画像Ｄ1′，Ｄ2′の重畳パターンを状態量Ｓとして設定する。リンク構築工程では、設定された状態量Ｓおよび出力Ｏに基づいて確率ＴＰ，ＯＰを推定する。Next, a construction step (step S30) of constructing a Hidden Markov Model is performed based on the simulated output and simulated state quantity obtained in the obtaining step.
In this building process, the link building process (step S34) is performed after the node building process (step S32). In the node construction step, the entire image D 0 ' is set as the output O, and the superimposition pattern of the partial images D 1 ' and D 2 ' is set as the state quantity S. In the link construction step, the probabilities TP and OP are estimated based on the state quantity S and the output O that have been set.

その後、構築工程で構築された隠れマルコフモデルと実透視画像Ｉとに基づいて、対象物を抽出する抽出工程（ステップＳ４０）を実施する。この抽出工程では、隠れマルコフモデルと実透視画像Ｉとに基づいて確率的に尤もらしい実推定量を推定した後に、推定された実推定量から対象物に由来する輝度を対象物として抽出する。
それから、抽出工程で得られた対象物の位置に基づいて、放射線照射装置９の制御信号を生成する照射制御工程（ステップＳ５０）を実施する。照射制御工程で生成された制御信号が出力されると、その制御信号に応じて放射線照射装置９が作動する。
そして、本制御周期を終了する。Thereafter, based on the Hidden Markov Model constructed in the construction step and the real perspective image I, an extraction step (step S40) of extracting the object is performed. In this extraction step, after estimating a probabilistically plausible real estimator based on the hidden Markov model and the real perspective image I, the luminance derived from the object is extracted as the object from the estimated real estimator.
Then, an irradiation control step (step S50) of generating a control signal for the radiation irradiation device 9 is performed based on the position of the object obtained in the extraction step. When the control signal generated in the irradiation control step is output, the radiation irradiation device 9 operates according to the control signal.
Then, this control cycle ends.

［３．作用および効果］
本実施形態の放射線照射システム１０は、上述のように構成されるため、以下のような作用および効果を得ることができる。
（１）画像処理装置によれば、隠れマルコフモデルを模擬出力および模擬状態量に基づいて予め構築し、構築された隠れマルコフモデルと実透視画像Ｉとに基づいて推定された確率的に尤もらしい実推定量から対象物を抽出する。そのため、実透視画像Ｉからの対象物の抽出性能を向上させることができる。
たとえば、従来技術のように期待値の小さい確率分布を除去する画像処理と比較して、背景と重畳しつづける部分の存在する対象物，移動量の小さい対象物や輝度の小さい対象物の画像を実透視画像Ｉから精度よく抽出することができる。また、対象物の移動と非対象物の移動とに区別がつかない場合にも、対象物の画像を選択的に抽出することができる。[3. Action and effect]
Since the radiation irradiation system 10 of this embodiment is configured as described above, it is possible to obtain the following actions and effects.
(1) According to the image processing apparatus, a hidden Markov model is constructed in advance based on the simulated output and the simulated state quantity, and a probabilistically plausible model estimated based on the constructed hidden Markov model and the real perspective image I Extract objects from real estimators. Therefore, the performance of extracting the object from the real perspective image I can be improved.
For example, compared to conventional image processing that removes probability distributions with small expected values, images of objects that continue to overlap with the background, objects with a small amount of movement, and objects with low brightness can be processed. It can be extracted from the real fluoroscopic image I with high accuracy. In addition, even when the movement of the target object and the movement of the non-target object are indistinguishable, the image of the target object can be selectively extracted.

（２）さらに、ＣＴ画像のボリュームデータを実透視画像Ｉの透視方向に空間積分した模擬透視画像Ｄを用いる。詳細には、全体画像Ｄ0を模擬出力として取得するうえに、部分画像Ｄ1，Ｄ2に基づいて模擬状態量を取得する。このことから、観測不能な実状態量に対応する模擬状態量を取得することができる。よって、実透視画像Ｉを出力するような隠れマルコフモデルを予め構築することができる。
たとえば、肺に腫瘍をもつ患者を治療する際には、腫瘍のＣＴ画像を予め撮影することが一般的である。このことから、患者の実質的な負担を加重することなく、腫瘍の抽出精度を高めることができる。(2) Furthermore, a simulated fluoroscopic image D obtained by spatially integrating the volume data of the CT image in the fluoroscopic direction of the actual fluoroscopic image I is used. Specifically, in addition to obtaining the entire image D 0 as a simulated output, simulated state quantities are obtained based on the partial images D 1 and D 2 . From this, it is possible to acquire the simulated state quantity corresponding to the unobservable real state quantity. Therefore, a hidden Markov model that outputs the real perspective image I can be constructed in advance.
For example, when treating a patient with a tumor in the lung, it is common to take CT images of the tumor beforehand. As a result, the accuracy of tumor extraction can be increased without increasing the substantial burden on the patient.

（３）また、実透視画像Ｉの輝度に合わせて模擬透視画像Ｄの輝度を補正した模擬透視画像Ｄ′を得ている。このような補正により、実透視画像Ｉに対する模擬透視画像Ｄ′の模擬精度が向上する。すなわち、実出力に対する模擬出力の模擬精度が向上し、実状態量に対応する模擬状態量の信頼性が高まる。よって、対象物の抽出性能向上に資する。 (3) Also, a simulated fluoroscopic image D' in which the luminance of the simulated fluoroscopic image D is corrected in accordance with the luminance of the actual fluoroscopic image I is obtained. By such correction, the simulation accuracy of the simulated fluoroscopic image D' with respect to the actual fluoroscopic image I is improved. That is, the simulation accuracy of the simulated output with respect to the actual output is improved, and the reliability of the simulated state quantity corresponding to the actual state quantity is enhanced. Therefore, it contributes to the improvement of the object extraction performance.

（４）さらに、補正前の模擬透視画像Ｄにおける輝度が実透視画像Ｉの輝度よりも相対的に高い側に分布している場合には、模擬透視画像Ｄの補正に用いる近似関数の外挿方向が輝度の小さい側に設定される。そのため、補正前の模擬透視画像Ｄにおける対象物の輝度が実透視画像Ｉにおける対象物の輝度よりも小さい場合であっても、補正後の模擬透視画像Ｄ′における対象物の輝度が実透視画像Ｉにおける対象物の輝度と同等の大きさに補正され、対象物を抽出する精度の確保に寄与する。 (4) Furthermore, when the brightness of the simulated fluoroscopic image D before correction is distributed on the relatively higher side than the brightness of the actual fluoroscopic image I, extrapolation of the approximate function used for correction of the simulated fluoroscopic image D The direction is set to the less bright side. Therefore, even if the brightness of the object in the simulated fluoroscopic image D before correction is lower than the brightness of the target in the actual fluoroscopic image I, the brightness of the object in the simulated fluoroscopic image D′ after correction is lower than that of the actual fluoroscopic image. It is corrected to have the same magnitude as the brightness of the object in I, and contributes to ensuring accuracy in extracting the object.

（５）そのほか、模擬出力および模擬状態量から出力および状態量を設定したうえで、実透視画像Ｉを訓練データに用いて状態量の遷移確率および出力の出力確率を設定する。このことから、実透視画像Ｉを出力する隠れマルコフモデルを精度よく構築することができる。
なお、画像処理方法および画像処理プログラムは、画像処理装置と同様の作用および効果を得ることができる。(5) In addition, after setting the output and the state quantity from the simulated output and the simulated state quantity, the transition probability of the state quantity and the output probability of the output are set using the real perspective image I as training data. From this, a hidden Markov model for outputting the real perspective image I can be constructed with high accuracy.
Note that the image processing method and the image processing program can obtain the same actions and effects as those of the image processing apparatus.

［ＩＩ．評価］
つぎに、本画像処理手法による対象物の抽出性能を評価する。
ここでは、「テクスチャ類似度」と「対象物の重心位置」との二種の観点から、対象物の抽出性能を検証する。[II. evaluation]
Next, we evaluate the object extraction performance of this image processing method.
Here, the object extraction performance is verified from the two viewpoints of "texture similarity" and "center of gravity of the object".

〈テクスチャ類似度〉
まず、図６を参照し、抽出した対象物のテクスチャ類似度に関して評価する。
実透視画像（原画像）は、対象物および非対象物を含むファントム（人体模型）のレントゲン装置による撮影を模擬した画像である。真値は、ファントムから対象物だけを取り出したもののレントゲン装置による撮影を模擬した画像である。<Texture similarity>
First, referring to FIG. 6, the texture similarity of the extracted object is evaluated.
A real fluoroscopy image (original image) is an image that simulates imaging of a phantom (human body model) including an object and a non-object by an X-ray device. The true value is an image simulating an image taken by an X-ray device of only the object extracted from the phantom.

比較手法（図６では「ＧＭＭ」と記す）は、特許文献（WO2016/157457号パンフレット）に記載された混合分布モデルで実透視画像から対象物を抽出した画像である。本手法（図６では「ＨＭＭ」と記す）は、一実施形態で上述した画像処理手法で実透視画像から対象物を抽出した画像である。
比較手法は、対象物の真値と比較して対象物以外（非対象物）の輝度が多く含まれている。これに対し、本手法は、対象物の真値と比較してほぼ同様の画像が抽出されている。A comparison method (denoted as “GMM” in FIG. 6) is an image obtained by extracting an object from a real fluoroscopic image using a mixture distribution model described in the patent document (WO2016/157457 pamphlet). This method (denoted as “HMM” in FIG. 6) is an image obtained by extracting a target object from a real fluoroscopic image by the image processing method described above in one embodiment.
The comparison method includes more brightness of non-objects (non-objects) compared to the true value of the object. On the other hand, according to this method, almost the same image is extracted as compared with the true value of the object.

つづいて、図７を参照し、抽出した対象物のテクスチャ類似度に関して評価する。
ここでは、下記の数式４（数４）を相互相関係数ＣＣ（ｔ）に用いた。Next, with reference to FIG. 7, the texture similarity of the extracted object is evaluated.
Here, the following Equation 4 (Equation 4) is used for the cross-correlation coefficient CC(t).

Figure 0007273416000005
Figure 0007273416000005

図７には、真値に対する相互相関係数を縦軸（ＣＣ）に示し、時間成分を横軸（ｔ）に示す。この図７に示されるように、本手法（図７では「ＨＭＭ」と記す）のほうが比較手法（図７では「ＧＭＭ」と記す）よりも相互相関係数が高いことが見て取れる。そのため、本手法によれば、対象物の抽出性能が向上することがわかった。
上記の相互相関係数に関し、下記の表２に示すように、真値に対する相互相関係数（平均±標準偏差）に関して、比較手法よりも本手法のほうが高いことがわかった。In FIG. 7, the cross-correlation coefficient with respect to the true value is shown on the vertical axis (CC), and the time component is shown on the horizontal axis (t). As shown in FIG. 7, it can be seen that the present method (denoted as "HMM" in FIG. 7) has a higher cross-correlation coefficient than the comparison method (denoted as "GMM" in FIG. 7). Therefore, according to this technique, it turned out that the extraction performance of a target object improves.
Regarding the above cross-correlation coefficients, as shown in Table 2 below, it was found that the cross-correlation coefficients (mean±standard deviation) with respect to true values were higher in this method than in the comparative method.

Figure 0007273416000006
Figure 0007273416000006

〈対象物の重心位置〉
つづいて、図８を参照し、抽出した対象物の重心位置に関して評価する。
なお、重心位置に関し、実透視画像（図８では「ＲＡＷ」と記す）および比較手法（図８では「ＧＭＭ」と記す）においてはテンプレートマッチング（相互相関）を用いており、本手法（図８では「ＨＭＭ」と記す）においては大津法で二値画像に変換した後の重心を用いている。ここでは、下記の数式５（数５）を真値の重心位置に対するユークリッド距離誤差に用いた。<Center of gravity position of object>
Next, referring to FIG. 8, the position of the center of gravity of the extracted object is evaluated.
Regarding the position of the center of gravity, template matching (cross-correlation) is used in the actual fluoroscopic image (denoted as "RAW" in FIG. 8) and the comparison method (denoted as "GMM" in FIG. 8). (referred to as "HMM" in ) uses the center of gravity after conversion into a binary image by the Otsu method. Here, the following Equation 5 (Equation 5) is used for the Euclidean distance error with respect to the position of the center of gravity of the true value.

Figure 0007273416000007
Figure 0007273416000007

図８には、ユークリッド距離誤差を縦軸（||ｅ(ｔ)||2）に示し、時間成分を横軸（ｔ）に示す。この図８に示されるように、実透視画像や比較手法よりも本手法のほうが、重心位置のユークリッド距離誤差が小さいことが見て取れる。そのため、本手法によれば、テクスチャ類似度だけでなく重心位置の評価観点からも、対象物の抽出性能が向上することがわかった。
上記のユークリッド距離誤差に関し、下記の表３に示すように、真値に対するユークリッド距離誤差（平均±標準偏差）に関して、実透視画像や比較手法よりも本手法のほうが小さいことがわかった。In FIG. 8, the Euclidean distance error is shown on the vertical axis (||e(t)|| 2 ) and the time component is shown on the horizontal axis (t). As shown in FIG. 8, it can be seen that the Euclidean distance error of the center-of-gravity position is smaller in this method than in the real fluoroscopic image and the comparison method. Therefore, according to this method, it was found that the extraction performance of the target object is improved not only from the viewpoint of the evaluation of the texture similarity but also from the viewpoint of the evaluation of the position of the center of gravity.
Regarding the above Euclidean distance error, as shown in Table 3 below, it was found that the Euclidean distance error (mean±standard deviation) with respect to the true value is smaller in this method than in the actual fluoroscopic image and the comparison method.

Figure 0007273416000008
Figure 0007273416000008

［ＩＩＩ．その他］
上述した実施形態はあくまでも例示に過ぎず、この実施形態で明示しない種々の変形や技術の適用を排除する意図はない。本実施形態の各構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができる。また、必要に応じて取捨選択することができ、適宜組み合わせることもできる。[III. others]
The above-described embodiment is merely an example, and there is no intention to exclude various modifications and application of techniques not explicitly described in this embodiment. Each configuration of this embodiment can be modified in various ways without departing from the gist thereof. In addition, they can be selected as necessary, and can be combined as appropriate.

たとえば、模擬透視画像は、少なくとも一枚が撮影されればよい。この場合には、撮影された一枚の模擬透視画像とは異なる呼吸位相の仮想的な模擬透視画像を公知の手法で生成し、複数の模擬透視画像を得ることができる。
あるいは、模擬透視画像は、ＣＴ画像のボリュームセットを空間積分した画像に限らず、少なくとも実透視画像を模擬した画像であればよい。原理的には、実透視画像の撮影対象とは異なる生体や模型といった他の対象を模擬透視画像の撮影対象とすることも可能である。For example, at least one simulated fluoroscopic image may be captured. In this case, a plurality of simulated fluoroscopic images can be obtained by generating a virtual simulated fluoroscopic image in a respiratory phase different from that of the single photographed simulated fluoroscopic image by a known technique.
Alternatively, the simulated fluoroscopic image is not limited to an image obtained by spatially integrating a volume set of CT images, and may be an image simulating at least an actual fluoroscopic image. In principle, it is possible to use a simulated fluoroscopic image to capture an object other than the actual fluoroscopic image, such as a living body or a model.

また、補正部は、取得部によって補正後の画像が取得可能な構成であれば、制御装置に限らず任意の箇所に配置することができる。たとえば、ＣＴ装置の内部に補正部が設けられてもよい。
一方、補正部を省略してもよい。なお、模擬透視画像の輝度分布と実透視画像の輝度分布とが対応する場合には、そもそも補正部は不要である。Moreover, the correcting unit can be arranged at any location, not limited to the control device, as long as the acquiring unit can acquire an image after correction. For example, a corrector may be provided inside the CT apparatus.
On the other hand, the corrector may be omitted. Note that if the luminance distribution of the simulated fluoroscopic image and the luminance distribution of the actual fluoroscopic image correspond to each other, the corrector is not necessary in the first place.

また、照射制御部を省略してもよい。たとえば、実透視画像から対象物を抽出した画像を表示する処理だけを実施してもよい。一方、実透視画像から対象物を抽出する画像処理までは実施するが、抽出した対象物の画像を表示する処理を省略して、放射線の照射だけを制御してもよい。
なお、本画像処理手法は、透視対象を生体に限るものではなく、透視範囲内で移動する対象物が内部に存在する物体に対して有効である。Also, the irradiation control unit may be omitted. For example, only the process of displaying an image obtained by extracting the object from the real fluoroscopy image may be performed. On the other hand, although the image processing for extracting the object from the real fluoroscopy image is performed, the processing for displaying the image of the extracted object may be omitted, and only radiation irradiation may be controlled.
Note that this image processing method is not limited to a living body as a fluoroscopy target, but is effective for an object in which there is an object that moves within the fluoroscopy range.

１ 撮影装置
１Ａ レントゲン装置
１Ｂ ＣＴ装置
２ 制御装置
２Ａ 処理装置
２Ｂ 記憶装置
３ 取得部
３１ 第一取得部
３２ 第二取得部
４ 構築部
４１ ノード構築部
４２ リンク構築部
５ 抽出部
６ 補正部
７ 照射制御部
９ 放射線照射装置
１０ 放射線照射システム
Ｄ 模擬透視画像
Ｄ0 全体画像（全体模擬透視画像）
Ｄ1 第一部分画像（第一部分模擬透視画像）
Ｄ2 第二部分画像（第二部分模擬透視画像）
Ｉ 実透視画像
ｉ 出力輝度
Ｌ1 第一レイヤ画像
ｌ1 第一輝度
Ｌ2 第二レイヤ画像
ｌ2 第二輝度
Ｏ 出力
Ｓ 状態量1 Imaging device 1A X-ray device 1B CT device 2 Control device 2A Processing device 2B Storage device 3 Acquisition unit 31 First acquisition unit 32 Second acquisition unit 4 Construction unit 41 Node construction unit 42 Link construction unit 5 Extraction unit 6 Correction unit 7 Irradiation Control unit 9 Radiation irradiation device 10 Radiation irradiation system D Simulated fluoroscopic image D0 whole image (whole simulated fluoroscopic image)
D 1 first partial image (first partial simulated fluoroscopic image)
D2 second partial image (second partial simulated fluoroscopic image)
I Actual perspective image i Output luminance L1 First layer image l1 First luminance L2 Second layer image l2 Second luminance O Output S State quantity

Claims (9)

対象物と前記対象物以外の非対象物とを含む複数の物体のそれぞれに由来する輝度の重畳された透視画像を実出力として模擬した模擬出力と、前記対象物に由来する輝度と前記非対象物に由来する輝度との重畳パターンを実状態量として模擬した模擬状態量とを取得する取得部と、
前記取得部で取得された前記模擬出力および前記模擬状態量に基づいて、確率的に遷移する観測不能な状態量から観測可能な出力が確率的に発生する確率的状態空間モデルを構築する構築部と、
前記構築部で構築された前記確率的状態空間モデルと前記透視画像とに基づいて、確率的に尤もらしい前記実状態量の最尤推定量を推定し、当該最尤推定量から前記対象物に由来する輝度を前記対象物として抽出する抽出部と、
を備えた画像処理装置。A simulated output obtained by simulating a fluoroscopic image superimposed with luminance derived from each of a plurality of objects including a target object and a non-target object other than the target object as an actual output, and the brightness derived from the target object and the non-target object an acquisition unit that acquires a simulated state quantity obtained by simulating a superimposed pattern with luminance derived from an object as a real state quantity;
A constructing unit for constructing a probabilistic state space model in which an observable output is stochastically generated from an unobservable state quantity that stochastically transitions based on the simulated output and the simulated state quantity obtained by the obtaining unit. and,
estimating a probabilistic maximum likelihood estimator of the real state quantity based on the probabilistic state space model constructed by the construction unit and the perspective image; an extraction unit that extracts the derived luminance as the object;
An image processing device with 前記取得部は、前記透視画像で透視された三次元領域における複数の断層画像を前記透視画像の透視方向に空間積分した模擬透視画像に基づいて、前記模擬出力および前記模擬状態量を取得する
請求項１に記載された画像処理装置。wherein the acquisition unit acquires the simulated output and the simulated state quantity based on a simulated fluoroscopic image obtained by spatially integrating a plurality of tomographic images in a three-dimensional region fluoroscopically viewed with the fluoroscopic image in a fluoroscopic direction of the fluoroscopic image. Item 1. The image processing apparatus according to Item 1. 前記取得部は、
前記複数の断層画像の全体を前記透視方向に空間積分した全体画像を前記模擬出力として取得する第一取得部と、
前記複数の断層画像のうち前記対象物に対応する複数の第一断層部分画像を前記透視方向に空間積分した第一部分画像を前記対象物に由来する輝度の第一レイヤ画像として取得し、前記複数の断層画像のうち前記非対象物に対応する複数の第二断層部分画像を前記透視方向に空間積分した第二部分画像を前記非対象物に由来する輝度の第二レイヤ画像として取得し、前記第一レイヤ画像および前記第二レイヤ画像に基づいて前記模擬状態量を取得する第二取得部と
を有する請求項２に記載された画像処理装置。The acquisition unit
a first acquisition unit that acquires, as the simulated output, an entire image obtained by spatially integrating the entirety of the plurality of tomographic images in the fluoroscopic direction;
acquiring a first partial image obtained by spatially integrating a plurality of first tomographic partial images corresponding to the object among the plurality of tomographic images in the perspective direction as a first layer image of luminance derived from the object; acquiring a second partial image obtained by spatially integrating a plurality of second tomographic partial images corresponding to the non-object among the tomographic images in the perspective direction as a second layer image of luminance derived from the non-object, 3. The image processing apparatus according to claim 2, further comprising a second acquisition unit that acquires the simulated state quantity based on the first layer image and the second layer image. 前記透視画像の輝度に合わせて、前記模擬透視画像の輝度を補正する補正部を備え、
前記取得部は、前記補正部で輝度の補正された前記模擬透視画像に基づいて、前記模擬出力と前記模擬状態量とを取得する
請求項２または３に記載された画像処理装置。A correction unit that corrects the luminance of the simulated fluoroscopic image according to the luminance of the fluoroscopic image,
4. The image processing apparatus according to claim 2, wherein the acquiring unit acquires the simulated output and the simulated state quantity based on the simulated fluoroscopic image whose brightness has been corrected by the correction unit. 前記補正部は、前記模擬透視画像の輝度と前記透視画像の輝度との対応関係を近似した関数を前記模擬透視画像の輝度が小さい側に外挿して、前記模擬透視画像の輝度を補正する
請求項４に記載された画像処理装置。wherein the correcting unit corrects the luminance of the simulated fluoroscopic image by extrapolating a function approximating the corresponding relationship between the luminance of the simulated fluoroscopic image and the luminance of the fluoroscopic image to the side where the luminance of the simulated fluoroscopic image is small. Item 5. The image processing apparatus according to item 4. 前記構築部は、
前記取得部で取得された前記模擬出力および前記模擬状態量から前記確率的状態空間モデルの前記出力および前記状態量を設定するノード構築部と、
前記ノード構築部で設定された前記出力に対応する前記実出力を訓練データに用いて、前記状態量の遷移確率と前記出力を出力する出力確率とを推定するリンク構築部と
を有する請求項１～５の何れか１項に記載された画像処理装置。The construction unit
a node constructing unit that sets the output and the state quantity of the stochastic state space model from the simulated output and the simulated state quantity obtained by the obtaining unit;
2. A link construction unit for estimating a transition probability of said state quantity and an output probability of outputting said output by using said actual output corresponding to said output set by said node construction unit as training data. 6. The image processing device according to any one of 1 to 5. 前記構築部は、前記確率的状態空間モデルとして隠れマルコフモデルを構築する
請求項１～６の何れか１項に記載された画像処理装置。The image processing device according to any one of claims 1 to 6, wherein the construction unit constructs a hidden Markov model as the probabilistic state space model. 対象物と前記対象物以外の非対象物とを含む複数の物体のそれぞれに由来する輝度の重畳された透視画像を実出力として模擬した模擬出力と、前記対象物に由来する輝度と前記非対象物に由来する輝度との重畳パターンを実状態量として模擬した模擬状態量とを取得する取得工程と、
前記取得工程で取得された前記模擬出力および前記模擬状態量に基づいて、確率的に遷移する観測不能な状態量から観測可能な出力が確率的に発生する確率的状態空間モデルを構築する構築工程と、
前記構築工程で構築された確率的状態空間モデルと前記透視画像とに基づいて、確率的に尤もらしい前記実状態量の最尤推定量を推定し、当該最尤推定量から前記対象物に由来する輝度を前記対象物として抽出する抽出工程と、
を備えた画像処理方法。A simulated output obtained by simulating a fluoroscopic image superimposed with luminance derived from each of a plurality of objects including a target object and a non-target object other than the target object as an actual output, and the brightness derived from the target object and the non-target object an acquisition step of acquiring a simulated state quantity in which a superimposed pattern with luminance derived from an object is simulated as a real state quantity;
A construction step of constructing a probabilistic state space model in which an observable output is stochastically generated from an unobservable state quantity that stochastically transitions based on the simulated output and the simulated state quantity obtained in the obtaining step. and,
Based on the probabilistic state space model constructed in the construction step and the perspective image, a probabilistic maximum likelihood estimator of the real state quantity is estimated, and the maximum likelihood estimator derived from the object is derived from the maximum likelihood estimator. an extraction step of extracting the brightness to be the object as the object;
An image processing method comprising 対象物と前記対象物以外の非対象物とを含む複数の物体のそれぞれに由来する輝度の重畳された透視画像を実出力として模擬した模擬出力と、前記対象物に由来する輝度と前記非対象物に由来する輝度との重畳パターンを実状態量として模擬した模擬状態量とを取得し、
取得された前記模擬出力および前記模擬状態量に基づいて、確率的に遷移する観測不能な状態量から観測可能な出力が確率的に発生する確率的状態空間モデルを構築し、
構築された確率的状態空間モデルと前記透視画像とに基づいて、確率的に尤もらしい前記実状態量の最尤推定量を推定し、当該最尤推定量から前記対象物に由来する輝度を前記対象物として抽出する
処理をコンピュータに実行させる画像処理プログラム。A simulated output obtained by simulating a fluoroscopic image superimposed with luminance derived from each of a plurality of objects including a target object and a non-target object other than the target object as an actual output, and the brightness derived from the target object and the non-target object Acquiring a simulated state quantity that simulates a superimposed pattern with luminance derived from an object as a real state quantity,
constructing a probabilistic state space model in which an observable output is stochastically generated from an unobservable state quantity that stochastically transitions based on the obtained simulated output and the simulated state quantity;
Based on the constructed probabilistic state space model and the perspective image, a stochastically plausible maximum likelihood estimator of the real state quantity is estimated, and the brightness derived from the object is calculated from the maximum likelihood estimator. An image processing program that causes a computer to execute a process of extracting an object.
JP2020517052A 2018-05-01 2019-04-23 Image processing device, image processing method and image processing program Active JP7273416B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018088462 2018-05-01
JP2018088462 2018-05-01
PCT/JP2019/017226 WO2019212016A1 (en) 2018-05-01 2019-04-23 Image processing device, image processing method, and image processing program

Publications (2)

Publication Number Publication Date
JPWO2019212016A1 JPWO2019212016A1 (en) 2021-05-13
JP7273416B2 true JP7273416B2 (en) 2023-05-15

Family

ID=68386417

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020517052A Active JP7273416B2 (en) 2018-05-01 2019-04-23 Image processing device, image processing method and image processing program

Country Status (2)

Country Link
JP (1) JP7273416B2 (en)
WO (1) WO2019212016A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7454435B2 (en) 2020-04-15 2024-03-22 キヤノンメディカルシステムズ株式会社 Medical image processing device and medical image processing method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031404A1 (en) 2006-08-04 2008-02-07 Siemens Corporate Research, Inc. Four-dimensional (4d) image verification in respiratory gated radiation therapy
JP2010512915A (en) 2006-12-22 2010-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Imaging system and imaging method for imaging an object
WO2013094186A1 (en) 2011-12-18 2013-06-27 国立大学法人京都大学 Motion-tracking x-ray ct image processing method and motion-tracking x-ray ct image processing device
JP2016501557A (en) 2012-10-12 2016-01-21 インテュイティブ サージカル オペレーションズ， インコーポレイテッド Positioning of medical devices in bifurcated anatomical structures
JP2018501017A (en) 2015-01-07 2018-01-18 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Repetitive digital subtraction imaging for embolization procedures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031404A1 (en) 2006-08-04 2008-02-07 Siemens Corporate Research, Inc. Four-dimensional (4d) image verification in respiratory gated radiation therapy
JP2010512915A (en) 2006-12-22 2010-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Imaging system and imaging method for imaging an object
WO2013094186A1 (en) 2011-12-18 2013-06-27 国立大学法人京都大学 Motion-tracking x-ray ct image processing method and motion-tracking x-ray ct image processing device
JP2016501557A (en) 2012-10-12 2016-01-21 インテュイティブ サージカル オペレーションズ， インコーポレイテッド Positioning of medical devices in bifurcated anatomical structures
JP2018501017A (en) 2015-01-07 2018-01-18 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Repetitive digital subtraction imaging for embolization procedures

Also Published As

Publication number Publication date
JPWO2019212016A1 (en) 2021-05-13
WO2019212016A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
US8597211B2 (en) Determination of indicator body parts and pre-indicator trajectories
JP5797352B1 (en) Method for tracking a three-dimensional object
JP5491174B2 (en) Deformable registration of images for image-guided radiation therapy
JP4647360B2 (en) DIFFERENTIAL IMAGE CREATION DEVICE, DIFFERENTIAL IMAGE CREATION METHOD, AND PROGRAM THEREOF
US7978886B2 (en) System and method for anatomy based reconstruction
JP5797197B2 (en) Signal processing apparatus, signal processing program, and computer-readable recording medium on which signal processing program is recorded
JP6656910B2 (en) Medical image processing device, medical image diagnostic device, and medical image processing program
WO2013166299A1 (en) Intelligent algorithms for tracking three-dimensional skeletal movement from radiographic image sequences
US20160136458A1 (en) Apparatus, method, and program for processing medical image, and radiotherapy apparatus
KR102579039B1 (en) Medical image processing devices, treatment systems, and medical image processing programs
Baka et al. Statistical shape model-based femur kinematics from biplane fluoroscopy
WO2020075531A1 (en) Image creation device, image creation method, and method for creating learned model
CN114025658A (en) System and method for motion adaptation device guidance using vascular roadmaps
WO2016110420A1 (en) Digital subtraction angiography
WO2011133606A2 (en) Real-time volumetric image reconstruction and 3d tumor localization based on a single x-ray projection image for lung cancer radiotherapy
JP5495886B2 (en) Patient positioning system
Brost et al. Constrained registration for motion compensation in atrial fibrillation ablation procedures
CN115209808A (en) Learning model creation method, image generation method, and image processing device
JP7273416B2 (en) Image processing device, image processing method and image processing program
JP2021142146A (en) Medical image processing device, medical device, treatment system, medical image processing method, and program
JP2007014435A (en) Image processing device, method and program
Deligianni et al. Non-rigid 2d-3d registration with catheter tip em tracking for patient specific bronchoscope simulation
TWI708214B (en) Medical image processing apparatus, medical image processing method, and program
EP3776478B1 (en) Tomographic x-ray image reconstruction
Rizqie et al. 3D coordinate reconstruction from 2D X-ray images for guided lung biopsy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230421

R150 Certificate of patent or registration of utility model

Ref document number: 7273416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150