JP2007296341A - System and method for determining distal end of catheter with x-ray base - Google Patents
System and method for determining distal end of catheter with x-ray base Download PDFInfo
- Publication number
- JP2007296341A JP2007296341A JP2007118722A JP2007118722A JP2007296341A JP 2007296341 A JP2007296341 A JP 2007296341A JP 2007118722 A JP2007118722 A JP 2007118722A JP 2007118722 A JP2007118722 A JP 2007118722A JP 2007296341 A JP2007296341 A JP 2007296341A
- Authority
- JP
- Japan
- Prior art keywords
- image
- catheter
- pixel
- pixels
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本願は、２００６年４月２７日に提出されたBalda, et al.による米国仮出願第６０／７９５６５８号の『X-Ray Based Catheter Tip Localization』の優先権を請求するものである。該文献の内容は、参照によって本願の開示内容に含まれるものとする。 This application claims priority to "X-Ray Based Catheter Tip Localization" of US Provisional Application No. 60/79658, filed April 27, 2006 by Balda, et al. The content of this document is included in the disclosure content of the present application by reference.
本願の開示内容は、カテーテル先端を２つの透視画像から３次元で検出および位置決定するためのアルゴリズムに関する。 The present disclosure relates to an algorithm for detecting and locating a catheter tip in three dimensions from two fluoroscopic images.
カテーテル位置決定は、心臓関連のアプリケーションにおいてポピュラーな技術となっている。伝統的には、カテーテルの操作は第一に、プロシージャ中に取得された２次元のＸ線画像である透視画像に基づいている。蛍光透視法は、蛍光透視装置を使用することによって患者の内部構造のリアルタイム画像を得るために医師が通常使用する撮像技術である。典型的な蛍光透視装置にはＸ線源とモニタとが含まれており、これらの間に患者が配置され、このような典型的な蛍光透視装置はＸ線画像インテンシファイアおよびＣＣＤビデオカメラに結合されている。透視画像は、コンピュータ断層撮影画像（ＣＴ）や磁気共鳴（ＭＲ）画像ほど多くの解剖学的情報を提供せず、奥行情報も提供しない。１つの透視画像を見ただけでは、カテーテル先端の正確な３Ｄ位置を知ることはできない。したがって、透視画像を使用して操作するためには、解剖学の知識と透視画像の解釈の経験が必要である。 Catheter positioning has become a popular technique in heart related applications. Traditionally, catheter manipulation is primarily based on fluoroscopic images, which are two-dimensional X-ray images acquired during the procedure. Fluoroscopy is an imaging technique commonly used by physicians to obtain real-time images of a patient's internal structure by using a fluoroscope. A typical fluoroscopic device includes an x-ray source and a monitor between which a patient is placed, such a typical fluoroscopic device in an x-ray image intensifier and a CCD video camera. Are combined. A fluoroscopic image does not provide as much anatomical information as a computed tomography image (CT) or magnetic resonance (MR) image, nor does it provide depth information. It is not possible to know the exact 3D position of the catheter tip only by looking at one perspective image. Therefore, to operate using a fluoroscopic image, knowledge of anatomy and experience of interpretation of the fluoroscopic image are required.
カテーテル位置決定技術によって、蛍光透視装置に結合されたコンピュータ支援式の操作システムは、３Ｄ空間において先端がどこにあるかを知ることができる。３Ｄのカテーテル先端位置の情報は、幾つかのアプリケーションで有用である。たとえば、３Ｄ ＤｙｎａＣＴ装置から取得されたデータによってカテーテル先端位置を直接可視化することができる。この３Ｄ ＤｙｎａＣＴ装置は、血管造影コンピュータ断層撮影を行って血管造影撮像中にＣＴ状の画像を供給することができる。各画像ボリュームがレジストレーションされる場合には、先端をＣＴデータまたはＭＲデータのボリュームレンダリングとともに表示することもできる。ＣＴ心臓データまたはＭＲ心臓データをセグメンテーションすると、個々の心室で先端を見ることができる。心臓内部において仮想的な遠近カメラからのフライスルー観察を可視化する内視鏡観察、またはクリッピングビューを使用することができる。 With the catheter positioning technique, a computer-aided operating system coupled to the fluoroscope can know where the tip is in 3D space. 3D catheter tip position information is useful in some applications. For example, the catheter tip position can be directly visualized by data acquired from a 3D DynaCT device. The 3D DynaCT apparatus can perform angiographic computed tomography and supply CT-like images during angiographic imaging. If each image volume is registered, the tip can be displayed with volume rendering of CT data or MR data. When CT heart data or MR heart data is segmented, the tip can be seen in individual ventricles. Endoscopic observations that visualize fly-through observations from virtual perspective cameras inside the heart, or clipping views can be used.
電気生理学的にマッピングをする目的で３Ｄカテーテル座標を使用し、個々の心室ごとの幾何学的マップを生成することができる。このような目的には、心室壁上の３Ｄ位置サンプルを得る目的も含むことができる。この位置は、シェルを構築することによって心室壁を近似するのに使用することができる。このようにして医師は、シェルが構築された後に自身がどこにいるかを大まかに把握する。その他に、心室壁上の１つの場所において電圧およびレイテンシーを測定し、医師が切除を適用するための最短区間を見つけることができるようにする目的がある。付加的に３Ｄカテーテル座標によって、３Ｄボリューム内で遠隔コントロールシステムを使用して自動操作を行うことができる。遠隔コントロールシステムは、所望の目的位置に移動するのに適切な力を加えるため、３Ｄ位置のフィードバックを得る必要がある。 Using 3D catheter coordinates for electrophysiological mapping purposes, a geometric map for each individual ventricle can be generated. Such objectives can also include the objective of obtaining 3D position samples on the ventricular wall. This position can be used to approximate the ventricular wall by constructing a shell. In this way, the doctor roughly knows where he is after the shell is built. Another purpose is to measure the voltage and latency at one location on the ventricular wall so that the physician can find the shortest interval for applying the ablation. In addition, with 3D catheter coordinates, automatic operation can be performed using a remote control system within the 3D volume. The remote control system needs to obtain 3D position feedback in order to apply the appropriate force to move to the desired destination position.
カテーテルを位置決定する既存の技術は磁場または電場をベースとしており、特別かつ高価なカテーテルを必要とする。正規のカテーテルのみを使用する２つのＸ線画像により、カテーテル位置を決定することができる。図１に、透視画像において先端を透過する射線の交点から３Ｄ先端位置をどのように計算するかが図解されている。２つのＸ線源１１，１２がＸ線１３，１４を放出し、先端１６を有するカテーテル１５を含むボリューム領域１０を透過させる。これらのＸ線源によって形成された画像は、図に示されているようにモニタ１７，１８に表示され、ここでは検出器を配置することがある。これらのモニタは、各Ｘ線源によって観察されるのと同様のカテーテルの２Ｄ投影像を表示する。このようにして、透視画像での先端検出が、３Ｄカテーテル位置決定システムの実現を補助する。 Existing techniques for locating catheters are based on magnetic or electric fields and require special and expensive catheters. With two x-ray images using only a regular catheter, the catheter position can be determined. FIG. 1 illustrates how the 3D tip position is calculated from the intersection of rays that pass through the tip in a fluoroscopic image. Two X-ray sources 11, 12 emit X-rays 13, 14 and pass through a volume region 10 including a catheter 15 having a tip 16. Images formed by these X-ray sources are displayed on the monitors 17 and 18 as shown in the figure, and a detector may be disposed here. These monitors display a 2D projection image of the catheter similar to that observed by each x-ray source. In this way, tip detection in fluoroscopic images assists in the realization of a 3D catheter position determination system.
本発明の課題は、カテーテルの３Ｄ位置を検出する方法を改善することである。 The object of the present invention is to improve the method of detecting the 3D position of a catheter.
前記課題は、
異なる観察角度から取得されたカテーテルの２次元のＸ線透視画像の系列の対を供給し、各Ｘ線透視画像は、ピクセルの２Ｄグリッドで定義された複数の強度を有するステップと、
画像強度ヒストグラム勾配を閾値比較することによって相応の画像の対において１つまたは複数のカテーテル領域をセグメンテーションするステップと、
これらのピクセルのうちでカテーテル領域内部にあるピクセルを除去してカテーテル輪郭を生成するステップと、
該カテーテル輪郭をカテーテルの２Ｄテンプレートにマッチングし、複数の候補カテーテル先端ピクセルを選択するステップと、
該画像の対における該候補カテーテル先端ピクセルのうち少なくとも幾つかのカテーテル先端ピクセルを、カテーテル先端の３Ｄテンプレートの２Ｄ投影像にマッチングし、最も一致する候補ピクセルをカテーテル先端として選択するステップと、
該カテーテル先端の３Ｄ位置を２つの射線の交点から検出し、該２つの射線のうち１つは、該画像の対のうち１つの画像において選択されたピクセルから投射し、該２つの射線のうち他方は、該画像の対の他方の画像にある関連のピクセルから投射するステップ
とを有する方法によって解決される。
The problem is
Providing a pair of two-dimensional fluoroscopic image series of catheters acquired from different viewing angles, each fluoroscopic image having a plurality of intensities defined by a 2D grid of pixels;
Segmenting one or more catheter regions in corresponding image pairs by threshold comparison of image intensity histogram gradients;
Removing a pixel within the catheter region of these pixels to generate a catheter contour;
Matching the catheter contour to a 2D template of the catheter and selecting a plurality of candidate catheter tip pixels;
Matching at least some catheter tip pixels of the candidate catheter tip pixels in the image pair to a 2D projection image of a 3D template of the catheter tip and selecting the best matching candidate pixel as the catheter tip;
The 3D position of the catheter tip is detected from the intersection of two rays, one of the two rays projecting from a selected pixel in one image of the pair of images, and of the two rays The other is solved by a method comprising projecting from related pixels in the other image of the image pair.
本願で記載された本発明の実施例は一般的に、３Ｄ空間においてバイプレーンＸ線画像を使用してカテーテル先端を位置決定するための方法およびシステムを含む。本発明の１つの実施形態によるアルゴリズムは、透視画像対においてカテーテル先端を迅速に検出して３Ｄ空間における先端位置を再構築するために、クラシファイアカスケードを基礎としている。最初に、単純なクラシファイアを適用して、多くの背景ピクセルを迅速に消去する。前記の単純なクラシファイアが適正な候補を選択できなかった場合には、次に複雑なクラシファイアを少数のピクセルに適用する。ここでは、２つのテンプレートマッチングステップがある。第１のテンプレートマッチングステップは、少数の最良候補ピクセルを選択するために固定的な２Ｄテンプレートを使用する。第２のテンプレートマッチングステップは、画像面への３Ｄテンプレートの投影像である動的な２Ｄテンプレートを使用する。本発明の１つの実施形態によるアルゴリズムは、画像ノイズに対してロバストである。前処理ステップによって画像ノイズを抑圧し、一時的なフィルタリングによって、動く構造体を強調する。このような３Ｄテンプレートマッチングステップは、検出外れを消去するためにエピ極制約を使用する。本発明の１つの実施形態によるアルゴリズムでは、カテーテル先端の異なる勾配を処理することができる。２つの画像面におけるカテーテル先端の外観は、３Ｄ空間内のカテーテル先端の方向に依存する。３Ｄテンプレートマッチングステップでは、Ｃアームの幾何学的な設定にしたがって２つの画像面に対してカスタマイズされたテンプレートを使用する。本発明の１つの実施形態によるアルゴリズムは、画像内に別のカテーテルが存在していても、一義的にカテーテル先端を検出することができる。２Ｄテンプレートおよび３Ｄテンプレートは双方とも、カテーテル仕様を使用して構築される。カテーテル輪郭は前処理ステップで検出され、カテーテル先端は輪郭ピクセルから見つける。この検出プロセスは、アルゴリズムが輪郭内部のピクセルを棄却して輪郭ピクセルのみに焦点を当てると、より効率的になる。カテーテル位置決定は、カテーテル先端を術前の画像と融合してカテーテルの案内に使用する場合の介入的な撮像において適用される。 Embodiments of the invention described herein generally include methods and systems for locating a catheter tip using biplane x-ray images in 3D space. The algorithm according to one embodiment of the present invention is based on a classifier cascade to quickly detect a catheter tip in a perspective image pair and reconstruct the tip position in 3D space. First, a simple classifier is applied to quickly erase many background pixels. If the simple classifier fails to select a suitable candidate, then the complex classifier is applied to a small number of pixels. Here, there are two template matching steps. The first template matching step uses a fixed 2D template to select a small number of best candidate pixels. The second template matching step uses a dynamic 2D template that is a projection image of the 3D template onto the image plane. The algorithm according to one embodiment of the present invention is robust against image noise. Image noise is suppressed by a preprocessing step, and moving structures are emphasized by temporary filtering. Such a 3D template matching step uses epipolar constraints to eliminate misdetections. An algorithm according to one embodiment of the invention can handle different gradients of the catheter tip. The appearance of the catheter tip in the two image planes depends on the direction of the catheter tip in 3D space. The 3D template matching step uses customized templates for the two image planes according to the C-arm geometry settings. The algorithm according to one embodiment of the present invention can uniquely detect the catheter tip even if another catheter is present in the image. Both 2D and 3D templates are built using catheter specifications. The catheter contour is detected in a preprocessing step and the catheter tip is found from the contour pixel. This detection process becomes more efficient when the algorithm rejects pixels inside the contour and focuses only on the contour pixels. Catheter positioning is applied in interventional imaging where the catheter tip is fused with pre-operative images and used to guide the catheter.
本発明の１つの側面では、カテーテル先端を３次元空間で位置決定する次のような方法を提供する。すなわち、
異なる観察角度から取得されたカテーテルの２次元のＸ線透視画像の系列の対を供給し、各Ｘ線透視画像は、ピクセルの２Ｄグリッドで定義された複数の強度を有するステップと、
画像強度ヒストグラム勾配を閾値比較することによって相応の画像の対において１つまたは複数のカテーテル領域をセグメンテーションするステップと、
これらのピクセルのうちでカテーテル領域内部にあるピクセルを除去してカテーテル輪郭を生成するステップと、
該カテーテル輪郭をカテーテルの２Ｄテンプレートにマッチングし、複数の候補カテーテル先端ピクセルを選択するステップと、
該画像の対における該候補カテーテル先端ピクセルのうち少なくとも幾つかのカテーテル先端ピクセルを、カテーテル先端の３Ｄテンプレートの２Ｄ投影像にマッチングし、最も一致する候補ピクセルをカテーテル先端として選択するステップと、
該カテーテル先端の３Ｄ位置を２つの射線の交点から検出し、該２つの射線のうち１つは、該画像の対のうち１つの画像において選択されたピクセルから投射し、該２つの射線のうち他方は、該画像の対の他方の画像にある関連のピクセルから投射するステップ
とを有する方法を提供する。
In one aspect of the present invention, the following method for locating the catheter tip in three-dimensional space is provided. That is,
Providing a pair of two-dimensional fluoroscopic image series of catheters acquired from different viewing angles, each fluoroscopic image having a plurality of intensities defined by a 2D grid of pixels;
Segmenting one or more catheter regions in corresponding image pairs by threshold comparison of image intensity histogram gradients;
Removing a pixel within the catheter region of these pixels to generate a catheter contour;
Matching the catheter contour to a 2D template of the catheter and selecting a plurality of candidate catheter tip pixels;
Matching at least some catheter tip pixels of the candidate catheter tip pixels in the image pair to a 2D projection image of a 3D template of the catheter tip and selecting the best matching candidate pixel as the catheter tip;
The 3D position of the catheter tip is detected from the intersection of two rays, one of the two rays projecting from a selected pixel in one image of the pair of images, and of the two rays The other having a step of projecting from the associated pixels in the other image of the image pair.
本発明の別の側面によれば、本方法は画像のサイズを標準化し、画像系列の対の各画像において画像背景を均質にする。 According to another aspect of the invention, the method normalizes the size of the image and homogenizes the image background in each image of the image sequence pair.
本発明の別の側面では、前記背景の均質化において、平均的なイメージを前記画像系列のうち１つの画像系列の第１のブラー付き画像として初期化し、該平均的なイメージを、該画像系列に含まれるすべての画像にわたって、Ｍｎ＝α・Ｍｎ−１＋（１−α）・Ｉｎにしたがって更新し、Ｅｎ＝Ｉｎ＋ｍｉｎ（Ｉｎ−Ｍｎ，０）から強調イメージＥｎを計算する。ここでは、Ｉｎはｎ番目の画像であり、Ｍｎはｎ番目の平均的イメージであり、αは重みづけ係数である。 In another aspect of the present invention, in the background homogenization, an average image is initialized as a first blurred image of one of the image sequences, and the average image is converted into the image sequence. over all images included in, M n = α · M n -1 + is updated in accordance with (1-α) · I n , E n = I n + min (I n -M n, 0) sensitized image from E Calculate n . Here, In is the nth image, Mn is the nth average image, and α is a weighting factor.
本発明の別の側面では、前記背景の均質化においてバンドパスフィルタをイメージに適用する。 In another aspect of the invention, a bandpass filter is applied to the image in the background homogenization.
本発明の別の側面では、本方法では各カテーテル輪郭に沿った垂線方向を推定する。 In another aspect of the invention, the method estimates a normal direction along each catheter profile.
本発明の別の側面では、各カテーテル輪郭を２Ｄカテーテルテンプレートにマッチングする際には、該カテーテル輪郭周辺のイメージの領域を２値化し、該２Ｄカテーテルテンプレートを、カテーテル輪郭に沿った推定垂線方向にしたがって方向決定し、２Ｄテンプレート内の各ピクセルと２値化されたイメージ領域内でオーバーラップするピクセルとが同じである場合にはスコアを増加し、これら２つのピクセルが異なる場合にはスコアを減少することにより、これら２つのピクセルの相互相関を計算し、最良の相互相関スコアを有するピクセルを選択する。 In another aspect of the present invention, when matching each catheter contour to a 2D catheter template, the region of the image around the catheter contour is binarized, and the 2D catheter template is placed in an estimated normal direction along the catheter contour. Therefore, determine the direction and increase the score if each pixel in the 2D template and the overlapping pixels in the binarized image area are the same, decrease the score if the two pixels are different To calculate the cross-correlation of these two pixels and select the pixel with the best cross-correlation score.
本発明の別の側面では、２Ｄテンプレートを推定垂線方向に近い方向で適用する。 In another aspect of the invention, the 2D template is applied in a direction close to the estimated normal direction.
本発明の別の側面では、候補カテーテル先端ピクセルを３Ｄカテーテルテンプレートの２Ｄ投影像にマッチングする際に、該３Ｄカテーテルテンプレートの複数の事前計算された２Ｄ投影像を、該画像のうち１つの画像に含まれる該候補ピクセルと、他方の画像に含まれ該候補ピクセルに関連するピクセルとに適用し、２Ｄ投影像に含まれる各ピクセルと候補先端領域に含まれるオーバーラップするピクセルとが同じである場合にはスコアを増加し、これら２つのピクセルが異なる場合にはスコアを減少して、これら２つのピクセル間の相互相関を計算し、最良の相互相関スコアを有するピクセルをカテーテル先端として選択する。 In another aspect of the invention, when matching candidate catheter tip pixels to a 2D projection image of a 3D catheter template, a plurality of pre-computed 2D projection images of the 3D catheter template are combined into one of the images. When the candidate pixel included is applied to the pixel related to the candidate pixel included in the other image, and each pixel included in the 2D projection image and the overlapping pixel included in the candidate tip region are the same Increase the score and decrease the score if the two pixels are different to calculate the cross-correlation between the two pixels and select the pixel with the best cross-correlation score as the catheter tip.
本発明の別の側面では、他方の画像における候補ピクセルのエピ極線周辺の領域を探索することにより、候補ピクセルに関連する他方の画像に含まれるピクセルを見つける。 In another aspect of the present invention, a pixel in the other image associated with the candidate pixel is found by searching a region around the epipolar line of the candidate pixel in the other image.
本発明の別の側面では、３Ｄカテーテルテンプレートの２Ｄ投影像を事前計算するために、該３Ｄカテーテルテンプレートを−ｙからｙまでの第１の角度によって１８０°回転し、該３Ｄカテーテルテンプレートを−ｚから開始する第２の角度によって３６０°回転し、該２Ｄ投影像をルックアップテーブルに記憶する。 In another aspect of the invention, to pre-compute a 2D projection image of a 3D catheter template, the 3D catheter template is rotated 180 ° by a first angle from -y to y, and the 3D catheter template is -z Rotate 360 ° by the second angle starting from and store the 2D projection image in a look-up table.
本発明の別の側面では、１つの画像における候補ピクセルに関して、最良の相互相関スコアを有する２Ｄ投影像の第１の角度および第２の角度を検出し、該１つの画像の座標系を他方の画像の座標系に変換して、該他方の画像に関して２Ｄ投影像の相応の第１の角度および第２の角度を検出する。 In another aspect of the invention, for a candidate pixel in one image, the first and second angles of the 2D projection image having the best cross-correlation score are detected, and the coordinate system of the one image is Converting to the image coordinate system, the corresponding first angle and second angle of the 2D projection image with respect to the other image are detected.
本発明の別の側面では、検出された前記カテーテル先端を、ボリューム再構成または多断面再構成でレンダリングされた画像に融合する。 In another aspect of the invention, the detected catheter tip is fused to an image rendered with volume reconstruction or multi-section reconstruction.
本発明の別の側面では、２つの射線が交差していない場合、相互に最接近する場所におけるこれら２つの射線間の中間点を３Ｄ先端位置として選択する。 In another aspect of the invention, if the two rays are not intersecting, the midpoint between these two rays at the location closest to each other is selected as the 3D tip position.
本発明の別の側面では、カテーテル先端を３次元空間で位置決定する次のような方法を提案する。すなわち、異なる観察角度から取得されたカテーテルの処理される２次元のＸ線透視画像の対を供給し、該画像はこの時点で、該カテーテルをセグメンテーションするために既に処理されており、該カテーテル周辺のイメージの領域を２値化し、２Ｄカテーテルテンプレートを該カテーテルの推定垂線方向にしたがって方向決定し、２Ｄテンプレートに含まれる各ピクセルと２値化された該イメージに含まれるオーバーラップするピクセルとが同じである場合にはスコアを増加し、これら２つのピクセルが異なる場合にはスコアを減少することにより、これら２つのピクセルの相互相関を計算し、最高の相互相関スコアを有するピクセルを候補カテーテル先端ピクセルとして選択し、３Ｄカテーテルテンプレートの事前計算された複数の２Ｄ投影像を、該画像のうち一方の画像における候補ピクセルと他方の画像に含まれ該候補ピクセルに関連するピクセルとに適用し、２Ｄ投影像に含まれる各ピクセルと候補先端領域に含まれるオーバーラップするピクセルとの間の相互相関を計算し、最良の相互相関スコアを有するピクセルをカテーテル先端ピクセルとして選択し、該カテーテル先端の３Ｄ位置を、該２つの画像それぞれにおける該カテーテルの２Ｄ位置から検出する方法を提案する。 In another aspect of the present invention, the following method for positioning the catheter tip in a three-dimensional space is proposed. That is, it provides a pair of processed two-dimensional fluoroscopic images of a catheter acquired from different viewing angles, which images have already been processed to segment the catheter at this point, The image area is binarized, the 2D catheter template is oriented according to the estimated normal direction of the catheter, and each pixel included in the 2D template is the same as the overlapping pixel included in the binarized image. Calculate the cross-correlation of these two pixels by increasing the score if they are different and decreasing the score if the two pixels are different, and select the pixel with the highest cross-correlation score as the candidate catheter tip pixel Select as a pre-computed 2D of 3D catheter template The image is applied to a candidate pixel in one of the images and a pixel included in the other image and related to the candidate pixel, and each pixel included in the 2D projection image overlaps a candidate tip region. Method of calculating cross-correlation between pixels, selecting the pixel with the best cross-correlation score as the catheter tip pixel and detecting the 3D position of the catheter tip from the 2D position of the catheter in each of the two images Propose.
本発明の別の側面では各画像を画像系列から取得し、各画像は、ピクセルの２Ｄグリッド上で定義された複数の強度を有する。 In another aspect of the invention, each image is obtained from an image sequence, each image having a plurality of intensities defined on a 2D grid of pixels.
本発明の別の側面では、各画像を前処理して該画像のサイズを標準化し、系列対の各画像における画像背景を均質化する。 In another aspect of the invention, each image is preprocessed to standardize the size of the image and to homogenize the image background in each image in the sequence pair.
本発明の別の側面では、カテーテルのセグメンテーション時に画像強度ヒストグラム勾配を閾値比較する。 In another aspect of the invention, the image intensity histogram gradient is thresholded during catheter segmentation.
本発明の別の側面では、カテーテル領域内部のピクセルを除去してカテーテル輪郭を生成する。 In another aspect of the invention, pixels within the catheter region are removed to generate a catheter contour.
本発明の別の側面では、カテーテル先端の３Ｄ位置を検出する際に、前記画像対のうち一方の画像において選択されたピクセルから投射された射線と、該画像対のうち他方における関連のピクセルから投射された射線との交点を見つける。 In another aspect of the invention, in detecting the 3D position of the catheter tip, the ray projected from the selected pixel in one image of the image pair and the associated pixel in the other of the image pair. Find the intersection with the projected ray.
本発明の別の側面では、コンピュータによって読み出し可能なプログラム記憶装置を提供する。このプログラム記憶装置は、カテーテル先端を３次元空間で位置決定する方法を実施するようにコンピュータによって実行可能な命令のプログラムを実装する。 In another aspect of the present invention, a computer readable program storage device is provided. The program storage device implements a program of instructions executable by a computer to implement a method for locating a catheter tip in three-dimensional space.
本願で記載された本発明の実施例は一般的に、２次元透視画像から３次元でカテーテル先端を検出および位置決定するための方法およびシステムを含む。このことにしたがって、本発明は種々に変更および修正することができるが、ここでは、本発明の特定の実施形態を例として図面に示し、以下で詳細に説明する。しかしながら、本発明は開示された特定の形態に限定されるものではなく、逆に、本発明の思想および範囲の中に入るすべての変更形態、等価形態、および択一的形態を包摂するものであることを理解すべきである。 Embodiments of the invention described herein generally include methods and systems for detecting and locating a catheter tip in three dimensions from a two-dimensional perspective image. Accordingly, while the invention is susceptible to various changes and modifications, specific embodiments thereof are shown by way of example in the drawings and are described in detail below. However, the invention is not limited to the particular forms disclosed, but conversely encompasses all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. It should be understood.
ここで使用されているような「画像」ないし「イメージ」という用語は、離散的な画像要素（たとえば２Ｄ画像におけるピクセル、３Ｄ画像におけるボクセル）から成る多次元データを指す。画像は、例えば、コンピュータ断層撮影、磁気共鳴撮像法、超音波、または、当業者に知られている他の任意の医用画像システムにより収集された被験者の医用画像であってよい。画像はまた、例えば、リモートセンシングシステム、電子顕微鏡などのような非医療関連のものから提供されるものであってもよい。画像はＲ３からＲまでの関数と見なすこともできるが、本発明の方法はこのような画像に限定されるものではなく、２Ｄピクチャまたは３Ｄボリュームなどの任意の次元の画像に適用することができる。２次元画像または３次元画像では、画像の領域は典型的には、２次元または３次元の方形アレイであり、各ピクセルまたはボクセルは２つまたは３つの相互に直交する軸を基準として指定することができる。本願で使用される「デジタル」および「デジタル化される」という用語は適切には、デジタル取得システムを介して取得されたデジタル形式またはデジタル化された形式、またはアナログ画像からの変換によって取得されたデジタル形式またはデジタル化された形式の画像またはボリュームを指す。 The term “image” or “image” as used herein refers to multidimensional data made up of discrete image elements (eg, pixels in 2D images, voxels in 3D images). The image may be, for example, a medical image of a subject collected by computed tomography, magnetic resonance imaging, ultrasound, or any other medical imaging system known to those skilled in the art. The images may also be provided from non-medical things such as remote sensing systems, electron microscopes, etc. Although an image can also be viewed as a function from R3 to R, the method of the present invention is not limited to such an image and can be applied to images of any dimension such as a 2D picture or 3D volume. . For 2D or 3D images, the region of the image is typically a 2D or 3D square array, and each pixel or voxel is specified with respect to two or three mutually orthogonal axes. Can do. The terms “digital” and “digitized” as used herein are suitably obtained in digital form or digitized form obtained via a digital acquisition system, or by conversion from an analog image. Refers to an image or volume in digital form or digitized form.
図２は、本発明の１つの実施形態によるカテーテル位置決定のためのシステムの一例のブロック図である。この図を参照すると、オンライン蛍光透視装置２１から取得された透視画像系列の対２２が入力される。透視画像系列のデータは、ＤＩＣＯＭフォーマットとすることもできる。追跡アルゴリズム２３が、２Ｄ透視画像系列においてカテーテル先端を検出し、ビルトインされた２Ｄテンプレートおよび３Ｄテンプレートのライブラリ２４を使用してカテーテル先端の３Ｄ位置および３Ｄ方向を求める。追跡ソフトウェアは複数の透視画像対をバッチ処理し、各対の検出結果はファイルで記憶することができる。別個のイメージ融合コンポーネント２５を使用して、この検出結果を可視化することができる。この融合コンポーネントはプラグインとして具現化することができ、透視画像系列対と相応の結果ファイルをロードし、このカテーテル先端を、たとえばＤＹＮＡ ＣＴデータ、ＣＴデータまたはＭＲデータ等であるボリュームデータ２６の３Ｄボリュームレンダリング表示およびＭＰＲ表示とともに表示することができる。 FIG. 2 is a block diagram of an example system for catheter position determination according to one embodiment of the present invention. Referring to this figure, a pair 22 of fluoroscopic image series acquired from the online fluoroscopic apparatus 21 is input. The data of the fluoroscopic image series can be in DICOM format. A tracking algorithm 23 detects the catheter tip in the 2D fluoroscopic image sequence and uses the built-in 2D template and 3D template library 24 to determine the 3D position and 3D orientation of the catheter tip. The tracking software can batch process a plurality of fluoroscopic image pairs, and the detection results of each pair can be stored in a file. A separate image fusion component 25 can be used to visualize the detection results. This fusion component can be embodied as a plug-in, loading a pair of fluoroscopic image sequences and corresponding result files, and the catheter tip into 3D of volume data 26, for example DYNA CT data, CT data or MR data. It can be displayed together with a volume rendering display and an MPR display.
本発明の１つの実施形態によるカテーテル検出アルゴリズムは、縮退された決定ツリーの構造に類似するカスケーディング構造を有する。カテーテル先端は透視画像のうちわずかな部分でしかないので、適切なアルゴリズムによって背景ピクセルを迅速に棄却しなければならない。このことを実現するためには、可能性のある先端候補に対してはＴ（真）を返すかまたは非カテーテルピクセルに対してＦ（偽）を返すクラシファイアの系列を使用する。簡単なクラシファイアを使用してピクセルの大部分を棄却した後により複雑なクラシファイアを呼び出すことにより、誤った肯定率を低くする。 The catheter detection algorithm according to one embodiment of the present invention has a cascading structure that is similar to the structure of a degenerate decision tree. Since the catheter tip is only a small part of the fluoroscopic image, the background pixels must be quickly discarded by an appropriate algorithm. To accomplish this, use a classifier series that returns T (true) for possible tip candidates or F (false) for non-catheter pixels. Reduce false positive rates by calling a more complex classifier after rejecting the majority of pixels using a simple classifier.
本発明の１つの実施形態による検出カスケードの一例の構造が、図３に示されている。初期のクラシファイア３１が、非常に小さい処理によって多数の否定的ピクセルを消去する。次のレイヤ３２，３３，３４がさらに否定的ピクセルを消去するが、ここではさらなる計算が必要とされる。このカスケード構造は、いずれの各々の画像内でも、否定的なピクセルが圧倒的に大部分であるという事実を反映している。このカスケードは、ごく早期の段階で可能な限り多くの否定的ピクセルを棄却することを目的とする。 An example structure of a detection cascade according to one embodiment of the invention is shown in FIG. The initial classifier 31 erases a large number of negative pixels with very little processing. The next layer 32, 33, 34 further erases the negative pixels, but here further calculations are required. This cascade structure reflects the fact that negative pixels are overwhelmingly predominant in any individual image. This cascade aims to reject as many negative pixels as possible in the very early stages.
図４は、本発明の１つの実施形態によるカテーテル追跡のための検出カスケードの一例のフローチャートである。この図に示されているように、この実施形態による方法は５段階に分けることができる。この図を参照すると、第１段階４１は前処理段階である。この段階では、所与の透視画像対の場合、各透視画像のサイズを標準化して背景を均質にする。次の段階４２はカテーテル領域選択である。対応する画像の１つの対では、カテーテル本体のピクセルを単純な閾値比較によってセグメンテーションする。このことにより、平均的には、画像に含まれるピクセルのうち９６％以上が除去される。カテーテル輪郭は画像系列対の各画像においてセグメンテーションされ、カテーテル本体の外側境界が抽出され、次の処理までに残るピクセルは約２％だけである。候補を選択するために、段階４３で２次元テンプレートマッチングが行われる。各２Ｄ画像からの候補のリストから、カテーテル先端に一致する２Ｄテンプレートを適用することにより、画像系列対の各画像においてそれぞれ４つのトップ候補ピクセルを選択する。段階４４で、３Ｄテンプレートマッチングを実施する。画像対のうち１つの画像のトップの４候補を、３Ｄテンプレートの２Ｄ投影像の系列と比較し、最も一致する２Ｄ投影像において、他方の画像に含まれる対応するピクセルを、エピ極線に沿って探索する。最も一致するものが、カテーテル先端であると見なされる。この一致によって、各２Ｄ画像面においてそれぞれ１つのピクセルのみが得られる。２Ｄ画像対において検出されたピクセルから、画像対におけるカテーテル先端の３Ｄ位置および３Ｄ方向を段階４５で、バイプレーンＣアームジオメトリから計算することができる。画像系列における相応の画像対それぞれに関して３Ｄ先端を位置決定することにより、カテーテル先端が動いた場合に該カテーテル先端を３Ｄ追跡することができる。上記の各段階の詳細を、以下で説明する。 FIG. 4 is a flowchart of an example detection cascade for catheter tracking according to one embodiment of the present invention. As shown in this figure, the method according to this embodiment can be divided into five stages. Referring to this figure, the first stage 41 is a preprocessing stage. At this stage, for a given perspective image pair, the size of each perspective image is standardized to make the background uniform. The next step 42 is catheter area selection. In one pair of corresponding images, the catheter body pixels are segmented by a simple threshold comparison. As a result, on average, 96% or more of the pixels included in the image are removed. The catheter contour is segmented in each image in the image sequence pair, the outer boundary of the catheter body is extracted, and only about 2% of pixels remain until the next process. In order to select a candidate, a two-dimensional template matching is performed in step 43. From the list of candidates from each 2D image, four top candidate pixels are selected in each image of the image series pair by applying a 2D template that matches the catheter tip. In step 44, 3D template matching is performed. The top four candidates of one image of the image pair are compared with the series of 2D projection images of the 3D template, and the corresponding pixel included in the other image is matched along the epipolar line in the most matching 2D projection image. To explore. The best match is considered to be the catheter tip. This match results in only one pixel in each 2D image plane. From the pixels detected in the 2D image pair, the 3D position and 3D orientation of the catheter tip in the image pair can be calculated in step 45 from the biplane C-arm geometry. By locating the 3D tip for each corresponding image pair in the image sequence, the catheter tip can be tracked in 3D as the catheter tip moves. Details of each of the above steps are described below.
図１５に、ステップ４４で言及したエピ極線が示されている。エピ極線は、第１の画像に含まれるピクセル１５３と２つの画像の光学的中心１５１，１５２とによって定義された面の交線によって形成された第２の画像における線１５８である。光学的中心１５１を有する第１の画像のピクセルｐ１１５３の場合、該光学的中心１５１が観察する３Ｄ点１５７は、遠端へ無限に延在する線１５５上にあり、第２の画像では相応の点１５４から延在する線１５６上にも存在する。このエピ極線の意味は、画像２で観察した場合、ｐ１で観察された３Ｄ点が該エピ極線上にあるはずであるということである。このことはエピ極定数として知られている。したがって、ｐ１に相応する第２の画像上の点から探索する場合には、画像全体を探索する代わりにエピ極線のみを探索すればよい。 FIG. 15 shows the epipolar line referred to in step 44. The epipolar line is the line 158 in the second image formed by the intersection of the planes defined by the pixels 153 contained in the first image and the optical centers 151, 152 of the two images. For pixel p 1 153 of the first image with optical center 151, the 3D point 157 that optical center 151 observes is on line 155 that extends indefinitely to the far end, and in the second image There is also a line 156 extending from the corresponding point 154. The meaning of this epipolar line is that when observed in image 2, the 3D point observed at p 1 should be on the epipolar line. This is known as the epipolar constant. Therefore, in the case of searching from a point on the second image corresponding to p 1 it may be only the search epipolar instead of searching the entire image.
前処理：第１の段階４１で、２つの透視画像系列がＤＩＣＯＭファイルから読み出されるか、またはオンライン装置から読み出される。本発明の１つの実施形態では、画像は８ビットグレースケールフォーマットに変換され、ＤＩＣＯＭ画像は、ＤＩＣＯＭヘッダから得られたコリメータ設定にしたがってトリミングされる。８ビットフォーマットは一例であり、他のサイズのビットフォーマットも本発明の実施形態の範囲内である。トリミングされた画像は、以下のファクタによってスケーリングされる。 Pre-processing: In the first stage 41, the two fluoroscopic image sequences are read from the DICOM file or read from the online device. In one embodiment of the invention, the image is converted to an 8-bit grayscale format and the DICOM image is cropped according to the collimator settings obtained from the DICOM header. The 8-bit format is an example, and other size bit formats are within the scope of embodiments of the present invention. The cropped image is scaled by the following factors:
ｓｃａｌｅ＝ＳＩＤｒｅｆ／ＳＩＤ×ｐ／ｐｒｅｆ×０．５
ここでは、ＳＩＤはＸ線源から画像面までの距離であり、ｐは画像面上のピクセル間隔であり、ＳＩＤｒｅｆおよびｐｒｅｆは基準パラメータである。ＳＩＤ値およびｐ値が異なると、カテーテル先端のサイズは、異なる透視画像上では異なって見える。後続のテンプレートマッチングを簡略化して、必要とされる標準的なテンプレートを１つだけにするために、画像サイズをＳＩＤおよびｐにしたがって標準化する。本発明の１つの実施形態による標準的なテンプレートは、ステップ４４において、基準パラメータＳＩＤｒｅｆ＝１０５０ｍｍおよびｐｒｅｆ＝０．１８４ｍｍを使用して生成される。ここでは本来の画像サイズは１０２４×１０２４ピクセルであるが、本発明の別の実施形態では、異なる画像サイズをサポートすることができる。処理時間を短縮すると同時に、検出率に及ぼされる影響を低減するためには、画像を０．５倍にサイズ変更する。
scale = SID ref / SID × p / p ref × 0.5
Here, SID is the distance from the X-ray source to the image plane, p is the pixel spacing on the image plane, and SID ref and p ref are reference parameters. For different SID and p values, the size of the catheter tip appears different on different fluoroscopic images. In order to simplify subsequent template matching so that only one standard template is needed, the image size is standardized according to SID and p. A standard template according to one embodiment of the invention is generated at step 44 using the reference parameters SID ref = 1050 mm and p ref = 0.184 mm. Although the original image size here is 1024 × 1024 pixels, other embodiments of the invention can support different image sizes. In order to reduce the processing time and reduce the influence on the detection rate, the image is resized by 0.5 times.
本発明の１つの実施形態では、前処理において一時的な強調を行う。この一時的な強調は、画像対の系列において動く暗い構造体を強調すると同時に、他の構造体を未変更に維持する。このことは、図５（ａ）〜（ｂ）に示されている。左側の図５（ａ）は本来のイメージであり、右側の図５（ｂ）は一時的に強調されたイメージである。重みづけされた平均的イメージＭｎが、１つの系列に含まれるすべてのフレームにおいて更新される。初めは、この平均的なイメージＭ１は単に、系列Ｉ１に含まれる第１のフレームのブラー付きのイメージである。強調されたイメージは、本来のイメージより高輝度というわけではない。ピクセルが平均的イメージより暗い場合、本来のイメージからこの強度差が減算される。強調の一例は、次のように実施される：
Ｍｎ＝α・Ｍｎ−１＋（１−α）×Ｉｎ
Ｍ１＝ｂｌｕｒ（Ｉ１）
Ｅｎ＝Ｉｎ＋ｍｉｎ（Ｉｎ−Ｍｎ，０）
ここではα＝０．８であり、Ｅｎは強調されたイメージである。ファントム系列を使用した実験、すなわち、非人間のファントムオブジェクトの透視画像系列を使用した実験から、一時的な強調によって検出率はわずかに改善される。というのも、動くカテーテル先端が強調されるからである。
In one embodiment of the invention, temporary enhancement is performed in the preprocessing. This temporary enhancement enhances dark structures that move in the sequence of image pairs while keeping other structures unchanged. This is illustrated in FIGS. 5 (a)-(b). FIG. 5A on the left is an original image, and FIG. 5B on the right is a temporarily emphasized image. The weighted average image M n is updated in all frames included in one sequence. Initially, this average image M 1 is simply a blurred image of the first frame contained in sequence I 1 . The enhanced image is not brighter than the original image. If the pixel is darker than the average image, this intensity difference is subtracted from the original image. An example of emphasis is implemented as follows:
M n = α · M n−1 + (1−α) × I n
M 1 = blur (I 1 )
E n = I n + min (I n −M n , 0)
Here, α = 0.8, and En is an enhanced image. From experiments using phantom sequences, ie experiments using perspective image sequences of non-human phantom objects, the detection rate is slightly improved by temporary enhancement. This is because the moving catheter tip is emphasized.
別の前処理技術に、バンドパスフィルタリングがある。ハイパス特性が強いバンドパスフィルタを適用することにより、背景と強調されたエッジとの間の差を除去してカテーテルの検出を容易にすることができる。２つのローパスフィルタの差から構築されたバンドパスフィルタが、実験的に良好なパフォーマンスを有することが実証されている。図６（ａ）〜（ｂ）において、左側の図６（ａ）では本来の透視画像が示されており、右側の図６（ｂ）ではバンドパスフィルタリングされた結果が示されている。この結果は、より均質な背景を有する。この画像フィルタは、良好なパフォーマンスを実現するために周波数領域で具現化することができる。 Another preprocessing technique is bandpass filtering. By applying a bandpass filter with strong high-pass characteristics, the difference between the background and the emphasized edge can be removed to facilitate catheter detection. A bandpass filter constructed from the difference between two lowpass filters has been experimentally demonstrated to have good performance. 6A and 6B, the original fluoroscopic image is shown in FIG. 6A on the left side, and the result of bandpass filtering is shown in FIG. 6B on the right side. This result has a more homogeneous background. This image filter can be embodied in the frequency domain to achieve good performance.
カテーテル領域選択：ステップ４２において、候補カテーテル領域を閾値比較によってセグメンテーションする。その際には、カテーテルがバンドパスフィルタ済みのイメージより暗く見えることを前提とする。図７（ａ）〜（ｅ）は、本発明の１つの実施形態による候補ピクセルの選択段階を示す。バンドパスフィルタリングされたイメージの一例が図７（ａ）に示されており、該イメージの強度ヒストグラムが図７（ｂ）に示されている。図７（ｂ）に示されたフィルタリング済みのイメージのヒストグラムでは、カテーテルと背景との明確な分離は確認できず、単純な通常の分布が確認できる。したがって、前景を背景から分離する標準的な分離法は成功しないようである。選択されるピクセルの数に基づいて閾値を見つけることは、カテーテルがイメージを占有するパーセンテージに影響されやすい。本発明の１つの実施形態では、ヒストグラムの勾配を分析することによって閾値を選択することができる。図７（ｃ）は、図７（ｂ）のヒストグラムの勾配のグラフである。５〜３０ピクセル／強度の範囲が、閾値を選択するのに適していることが判明している。図７（ｃ）の勾配では、約１５の勾配値に相応して、約１００の閾値が選択される。図７（ｄ）は、白色の領域が３つのカテーテルと何らかの背景ノイズを含む閾値イメージを示している。１５ピクセルより小さいサイズの領域は除去される。 Catheter region selection: In step 42, candidate catheter regions are segmented by threshold comparison. This assumes that the catheter appears darker than the bandpass filtered image. 7 (a)-(e) illustrate candidate pixel selection steps according to one embodiment of the present invention. An example of a bandpass filtered image is shown in FIG. 7 (a), and an intensity histogram of the image is shown in FIG. 7 (b). In the histogram of the filtered image shown in FIG. 7B, a clear separation between the catheter and the background cannot be confirmed, and a simple normal distribution can be confirmed. Therefore, standard separation methods that separate the foreground from the background do not appear to be successful. Finding a threshold based on the number of pixels selected is sensitive to the percentage that the catheter occupies the image. In one embodiment of the invention, the threshold can be selected by analyzing the slope of the histogram. FIG. 7C is a graph of the gradient of the histogram of FIG. A range of 5-30 pixels / intensity has been found suitable for selecting a threshold. In the gradient of FIG. 7 (c), a threshold of about 100 is selected corresponding to a gradient value of about 15. FIG. 7D shows a threshold image in which the white area includes three catheters and some background noise. Areas with a size smaller than 15 pixels are removed.
閾値比較を適用した後、候補カテーテル領域のサイズをさらに縮小するために、内部のピクセルを除去して境界輪郭を生成することができる。というのもカテーテル先端は、選択された領域の境界線に近接しているはずであるからだ。図７（ｅ）は、図７（ｄ）から生成された輪郭を示しており、これらの輪郭は次に、２Ｄテンプレートマッチングによって分析される。 After applying threshold comparison, in order to further reduce the size of the candidate catheter region, internal pixels can be removed to generate a boundary contour. This is because the catheter tip should be close to the border of the selected area. FIG. 7 (e) shows the contours generated from FIG. 7 (d), which are then analyzed by 2D template matching.
次のステップで実施される２Ｄテンプレートマッチングを高速化するために、輪郭の垂線方向もこのステップで推定する。図８（ａ）〜（ｃ）は、本発明の１つの実施形態による、２次元テンプレートマッチングに使用される垂線方向を示したものである。図８（ａ）に示されているように、２Ｄイメージ上のカテーテル先端方向が未知である場合、２Ｄテンプレート８１を０°〜３６０°回転して、可能性のあるすべての方向を各輪郭ピクセルごとに検査しなければならない。図８（ａ）には、８つの異なる方向が示されている。各輪郭ピクセルで垂線方向が推定される。このことは、図８（ｂ）において矢印によって示されている。この方向探索は、垂線方向近傍の範囲内に制限することができる。テンプレートマッチングは、推定された垂線方向の近傍に適用するだけでよい。図８（ｃ）は、候補カテーテル先端の垂線に関して３方向でテストされるテンプレート８２を示している。 In order to speed up the 2D template matching performed in the next step, the perpendicular direction of the contour is also estimated in this step. FIGS. 8A to 8C show the normal direction used for two-dimensional template matching according to one embodiment of the present invention. As shown in FIG. 8 (a), if the catheter tip direction on the 2D image is unknown, the 2D template 81 is rotated from 0 ° to 360 ° to show all possible directions for each contour pixel. Must be inspected every time. FIG. 8 (a) shows eight different directions. The normal direction is estimated at each contour pixel. This is indicated by an arrow in FIG. This direction search can be limited to a range in the vicinity of the perpendicular direction. Template matching need only be applied in the vicinity of the estimated normal direction. FIG. 8 (c) shows a template 82 that is tested in three directions with respect to the normal of the candidate catheter tip.
２Ｄテンプレートマッチング：２Ｄテンプレートは、カテーテルが画像面に対して平行である場合に構築される。最良の一致を見つけるためには、ステップ４３で２Ｄテンプレートマッチングを各輪郭ピクセルにおいて実施する。こうするためには、推定された輪郭垂線方向の近傍において数個の方向を検査する。透視画像の線量と撮像される解剖学的構造とに依存して、２Ｄイメージにおけるカテーテル先端とその周辺の背景は、異なる強度値を有することが多い。このことによって、２Ｄテンプレートマッチングが、異なる透視画像系列にわたって比較可能なマッチングスコアを生成するのが困難になる。本発明の１つの実施形態では、イメージの１つのピクセルに関するイメージパッチを２値化することによってマッチングを簡略化する。この２値化は、バンドパスフィルタリングされたイメージに適用される。 2D template matching: 2D templates are constructed when the catheter is parallel to the image plane. To find the best match, 2D template matching is performed on each contour pixel in step 43. In order to do this, several directions are examined in the vicinity of the estimated contour normal direction. Depending on the dose of the fluoroscopic image and the anatomical structure being imaged, the background of the catheter tip and its surroundings in a 2D image often have different intensity values. This makes it difficult for 2D template matching to generate matching scores that can be compared across different fluoroscopic image sequences. In one embodiment of the present invention, matching is simplified by binarizing the image patch for one pixel of the image. This binarization is applied to the bandpass filtered image.
イメージパッチを２値化するための最適な局所的閾値を見つけるための手法例に、大津法（Otsu's method）がある。大津法は、クラス間分散
を最大化することによって、２つのガウシアンを分離する最適な閾値ｔ＊を選択する。
は以下のように定義される。
An example of a method for finding an optimum local threshold for binarizing an image patch is the Otsu's method. Otsu method is distributed between classes
By choosing, we choose the optimal threshold t * that separates the two Gaussians.
Is defined as follows:
ここでは、μＴは画像全体の平均強度であり、μ１は１つの区画の平均強度であり、μ２は別の区画の平均強度であり、ω１は第１の区画の相対的な重みであり、ω２は第２の区画の相対的な重みである。図９は、大津法によって２値化された結果に最も近いカテーテル先端近傍のイメージパッチの例を示す。 Here, mu T is the mean intensity of the entire image, mu 1 is the average intensity of one compartment, the mu 2 is the mean intensity of the different compartments, the omega 1 relative weight of the first compartment Ω 2 is the relative weight of the second section. FIG. 9 shows an example of an image patch near the tip of the catheter that is closest to the result binarized by the Otsu method.
図１０に示された形状１００である２Ｄテンプレートが、その先端を中心として回転される。このことは図中で矢印１１０によって示されている。特定の事前決定された方向で、たとえば１５°の回転角度ごとに、２Ｄテンプレートと、２値化されたイメージパッチにおいて該２Ｄテンプレートに重なるピクセルとの間で相互相関が計算される。詳細には、２Ｄテンプレートに含まれるピクセルと、２値化されたイメージパッチに含まれる該２Ｄテンプレートに重なるピクセルとにおいて、２つのピクセルが同じ（黒色または白色）である場合に１を増分し、２つのピクセルが異なる場合には１を減分することにより、テンプレートマッチングスコアを計算する。 A 2D template having the shape 100 shown in FIG. 10 is rotated around its tip. This is indicated by arrow 110 in the figure. A cross-correlation is calculated between the 2D template and pixels that overlap the 2D template in the binarized image patch in a certain predetermined direction, for example, every 15 ° rotation angle. Specifically, in a pixel included in the 2D template and a pixel overlapping the 2D template included in the binarized image patch, if the two pixels are the same (black or white), increment 1; A template matching score is calculated by decrementing 1 if the two pixels are different.
各画像面において、最高の相互相関を有する候補ピクセルが４つずつ選択される。カテーテルが３Ｄで傾斜している場合、その先端は２Ｄテンプレートと非常に異なって見える場合がある。この場合、相互相関スコアは低くなるため、先端は前記４つの候補ピクセルのいずれにも存在しない可能性がある。しかし大抵は、先端は少なくとも１つの画像面では垂直に見え、両平面に所属する８つの候補ピクセルに存在する。傾斜したカテーテルの検出は、次のステップで説明する３Ｄテンプレートマッチングによって処理することができる。動きまたは画像ノイズに起因してカテーテルがブラーを有する場合、正確なカテーテル先端は前記候補ピクセルには存在しない可能性がある。図１１（ａ）〜（ｂ）は４つの先端候補の選択を示す。図１１（ａ）は複数の候補ピクセルを示しており、これらは、輪郭から外側を指す矢印によって示されている。図１１（ｂ）は、最高の相互相関スコアを有するピクセルに相応する４つの矢印のみを示している。 For each image plane, four candidate pixels with the highest cross-correlation are selected. If the catheter is tilted in 3D, its tip may look very different from the 2D template. In this case, since the cross-correlation score is low, there is a possibility that the tip does not exist in any of the four candidate pixels. Most often, however, the tip appears vertical in at least one image plane and is present in eight candidate pixels belonging to both planes. The detection of tilted catheters can be handled by 3D template matching as described in the next step. If the catheter has blur due to motion or image noise, the exact catheter tip may not be present in the candidate pixel. FIGS. 11A to 11B show selection of four tip candidates. FIG. 11A shows a plurality of candidate pixels, which are indicated by arrows pointing outward from the contour. FIG. 11 (b) shows only four arrows corresponding to the pixel with the highest cross-correlation score.
３Ｄテンプレートマッチング：多くの場合、カテーテル先端の２Ｄ投影像はしばしば、２Ｄテンプレートと異なって見える。しかし、投影ジオメトリにしたがえば、１つの画像面におけるカテーテル先端の形状は、別の画像面における形状に関連づけられる。２Ｄテンプレートマッチングは、このような関係を考慮しない。ステップ４４の３Ｄテンプレートマッチングステップでは、３Ｄテンプレートを空間的に回転して２つの画像面に投影することにより、２つの２Ｄテンプレートを生成する。これら２つのカスタマイズされた２Ｄテンプレートは、２Ｄテンプレートマッチングステップで選択されたトップ候補のうちで最良の一致を見つけるのに使用される。 3D template matching: In many cases, the 2D projection image of the catheter tip often looks different from the 2D template. However, according to the projection geometry, the shape of the catheter tip in one image plane is related to the shape in another image plane. 2D template matching does not consider such a relationship. In the 3D template matching step of Step 44, two 2D templates are generated by spatially rotating the 3D template and projecting it onto two image planes. These two customized 2D templates are used to find the best match among the top candidates selected in the 2D template matching step.
３Ｄテンプレートは、透視画像がロードまたは処理される前に事前計算することができる。３Ｄテンプレートはまず、たとえば切除先端の直径、長さ等であるカテーテル仕様に基づいて構築されるか、または、前処理ステップに関して説明したような画像基準パラメータに基づいて構築されるか、または電極間の距離に基づいて構築される。またこのテンプレート構築では、透視画像上の２Ｄ投影像に、仕様に無い特徴が現れる可能性があることも考慮しなければならない。図１２（ａ）〜（ｃ）に、本発明の実施形態による３Ｄのテンプレートの構築イメージが示されている。図１２（ａ）は透視画像におけるカテーテルの２Ｄ投影像を示しており、図１２（ｂ）は、仕様にある通りのカテーテルを示している。図１２（ａ）に示された、切除先端と第２の電極との間の細い部分の長さおよび直径は仕様にない場合がある。図１２（ｃ）は、この情報を含む３Ｄカテーテルテンプレートを示す。 The 3D template can be precomputed before the perspective image is loaded or processed. The 3D template is first constructed based on catheter specifications, such as the diameter, length, etc. of the ablation tip, or is constructed based on image reference parameters as described for the preprocessing step, or between the electrodes. Constructed based on the distance. In addition, in this template construction, it is necessary to take into consideration that features that are not in the specification may appear in the 2D projection image on the perspective image. FIGS. 12A to 12C show 3D template construction images according to the embodiment of the present invention. FIG. 12A shows a 2D projection image of the catheter in a fluoroscopic image, and FIG. 12B shows the catheter as in the specification. The length and diameter of the thin portion between the cutting tip and the second electrode shown in FIG. 12A may not be in the specification. FIG. 12 (c) shows a 3D catheter template containing this information.
この３Ｄテンプレートから、２Ｄテンプレートの系列が生成される。透視画像系列が予め取得される場合、この透視画像系列がロードされた後に前記テンプレートは生成される。というのも、３Ｄテンプレートマッチングを行うために２つの画像を関連づけるのに使用される取得角度は、ＤＩＣＯＭヘッダ情報から得られるからである。画像がオンラインによってリアルタイムで取得される場合、取得角度は、画像が取得される前に既知になる。これらの２Ｄテンプレートは事前計算され、生成アルゴリズムは各時点で投影像を計算する代わりに、特定の３Ｄ方向に対応する２Ｄテンプレートを要求する。２Ｄテンプレートを事前計算するためには、３Ｄテンプレートを回転して球面座標でサンプリングする。 From this 3D template, a series of 2D templates is generated. When a fluoroscopic image sequence is acquired in advance, the template is generated after the fluoroscopic image sequence is loaded. This is because the acquisition angle used to associate two images to perform 3D template matching is obtained from DICOM header information. If the image is acquired online in real time, the acquisition angle is known before the image is acquired. These 2D templates are pre-computed and the generation algorithm requires a 2D template corresponding to a specific 3D direction instead of calculating a projected image at each time point. To pre-calculate the 2D template, the 3D template is rotated and sampled with spherical coordinates.
図１３（ａ）〜（ｂ）に、３Ｄテンプレートの投影ジオメトリが示されている。図１３（ａ）は、テーブル上のファントム患者１３１に対して、１つの画像面に関して設けられたＣアームシステムを示している。１次角度αおよび２次角度γが０である場合、Ｘ線源管１３０はテーブルの下方にあり、Ｘ線を上方向に放射する。方向矢印１３２によって示された世界座標系における所与の３Ｄ位置はアイソセンタと称され、画像面上の該３Ｄ位置の投影像は以下のように表される：
行列
は、変換の系列の組み合わせである。
line; queue; procession; parade
Is a combination of series of transformations.
ここではＴｄは、局所的な座標系をアイソセンタからＸ線源まで移動する並進行列であり、ｙ軸上のＳＯＤの距離は以下の通りである：
Ｒｘは、前記局所的な座標系をｘ軸を中心として９０°回転する行列である。
Ｒｚは、前記局所的な座標系をｚ軸を中心として１８０°回転する行列である。
Ｐは投影行列である。
ＳＩＤはｘ線源から画像面までの距離であり、ｐはピクセル間隔であり、ｏｘおよびｏｙは、アイソセンタを透過するＸ線を表すピクセル位置である。 SID is the distance to the image plane from the x-ray source, p is the pixel spacing, o x and o y are the pixel location representing the X-rays transmitted through the isocenter.
画像面Ａは、任意の角度であるαおよびγによる回転Ｒ（α，γ）によって得られる。ここではＲ（α，γ）は以下の通りである：
全体の変換は、以下のように記述することができる：
平面Ａでは、
In plane A,
ここではＴＡ→Ｂは、平面Ａの３Ｄ座標系から平面Ｂへの４×４変換であり、これによってアイソセンタシフトが補償される。 Here TA → B is a 4 × 4 transformation from the 3D coordinate system of plane A to plane B, which compensates for isocenter shift.
ＡおよびＢの座標系間の関係は未知であるため、最小２乗法を使用してこの関係を計算することができる。平面Ａに所属する２つの画像におけるランドマークの投影行列およびピクセル位置では、平面Ａの座標系における該ランドマークの３Ｄ位置は、｛ｐｉ｝、 ｉ＝１，２，．．．，Ｎによって構築および表現される。ここでは、Ｎはランドマークの数である。平面Ｂでも同様に、平面Ｂの座標系における前記ランドマークの３Ｄ位置は｛ｐ′ｉ｝によって表される。平面ＡおよびＢの座標系の剛体変換によって、｛ｐｉ｝を｛ｐ′ｉ｝に射影する。 Since the relationship between the A and B coordinate systems is unknown, the least squares method can be used to calculate this relationship. For the landmark projection matrices and pixel positions in the two images belonging to plane A, the 3D position of the landmark in the plane A coordinate system is { pi }, i = 1, 2,. . . , N. Here, N is the number of landmarks. Similarly, in the plane B, the 3D position of the landmark in the coordinate system of the plane B is represented by {p ′ i }. Project {p i } to {p ′ i } by rigid body transformation of the coordinate system of planes A and B.
ｐ’ｉ＝Ｒｐｉ＋Ｔ＋ｎｉ，
Ｒは３×３の回転行列であり、Ｔは３×１の並進ベクトルであり、ｎｉは３×１のノイズベクトルである。最小２乗の問題によって、ＲおよびＴを求めることができる。最小化すべき関数例に、以下のものがある：
R is a rotation matrix of 3 × 3, T is the translation vector 3 × 1, n i is the noise vector of 3 × 1. R and T can be determined by the least squares problem. Examples of functions that should be minimized include:
係数ｗｉは、それぞれの対応に対する重みである。これがＲおよびＴに対して求められた後、行列ＴＡ→Ｂを構築することができる。 The coefficient w i is a weight for each correspondence. After this is determined for R and T, the matrix TA → B can be constructed.
最小２乗は、以下のようにして求められる。まず、｛ｐｉ｝および｛ｐ′ｉ｝の重心として
を定義する。これらは、以下の数式によって計算される：
Define These are calculated by the following formula:
上付文字ｔは行列転位を表す。次に、Ｈ、Ｈ＝ＵＤＶｔの特異値分解を見つける。ここでは、ＵおよびＶは３×３の直交行列であり、Ｄは対角行列である。その後、Ｒ＝ＶＵｔとしてＲを計算し、行列式｜Ｒ｜を計算する。｜Ｒ｜＝１である場合、回転行列は正しく計算されることになる。｜Ｒ｜＝−１である場合、Ｒは鏡面変換（mirrored transformation）である。特異値のうち１つ、たとえばλ３が０である場合、回転行列に対する正しい解はＲ＝Ｖ′Ｕｔとなるべきである。ここではＶ′は、Ｖの第３列の符号を変えることによって得られる。Ｈの特異値のうちどれも０でない場合、適切な解を得ることはできず、より良好な解を見つけるためにさらに別のデータが必要である。解が存在すると仮定すると、Ｔは
スクリーンに示される画像は、ｕ軸の方向に鏡面変換されることに留意されたい。鏡面変換されたスクリーンの座標は、以下の通りである。
図１３（ｂ）に、サンプリングプロセスのジオメトリが示されている。このサンプリングプロセス中に、ｘｙ平面において−ｙから開始して角度ｒｏｌｌをサンプリングし、ｙで終了し、角度ｐｉｔｃｈを−ｚから３６０°回転する。本発明の限定的でない１つの実施形態では、ｒｏｌｌに関して０°〜１８０°において３６個のサンプルが存在する。本発明の限定的でない別の実施形態では赤道上で、ピッチが約１５°ごとにサンプリングされ、ｙ軸および−ｙ軸上で２つの極に近づくほどサンプリングレートが低減される。特定の方向で各サンプルごとに、角度ｒｏｌｌおよびｐｉｔｃｈを、３Ｄ方向と３Ｄテンプレートの投影像とともに記憶する。 FIG. 13 (b) shows the geometry of the sampling process. During this sampling process, the angle roll is sampled starting at -y in the xy plane, ending at y, and the angle pitch is rotated 360 ° from -z. In one non-limiting embodiment of the present invention, there are 36 samples from 0 ° to 180 ° with respect to roll. In another non-limiting embodiment of the present invention, on the equator, the pitch is sampled approximately every 15 °, and the sampling rate decreases as it approaches two poles on the y-axis and the −y-axis. For each sample in a particular direction, the angle roll and pitch are stored along with the 3D direction and 3D template projection.
実際のテンプレートマッチングプロセス時には、画像面Ａのサンプルの所与のｒｏｌｌおよびｐｉｔｃｈに対して、画像面Ｂの相応のｒｏｌｌおよびｐｉｔｃｈを求めることができる。画像面Ａのサンプルは、双方向ルックアップテーブルを使用して、画像面Ｂのサンプルに関連づけされる。画像面Ａの方向（ｄｘ，ｄｙ，ｄｚ）に対しては、以下の数式を使用して画像面Ｂにおけるｒｏｌｌおよびｐｉｔｃｈを計算することができる。 During the actual template matching process, for a given roll and pitch of a sample of image plane A, the corresponding roll and pitch of image plane B can be determined. The image plane A samples are associated with the image plane B samples using a bidirectional look-up table. For the direction of the image plane A (d x , dy , d z ), the roll and pitch in the image plane B can be calculated using the following equations:
まず（ｄｘ，ｄｙ，ｄｚ）を世界座標系に変換する。 First, (d x , dy , d z ) is converted into the world coordinate system.
ｄｘｗ＝ｄｘ
ｄｙｗ＝−ｄｚ
ｄｚｗ＝−ｄｙ
その後、（ｄｘｗ，ｄｙｗ，ｄｚｗ）を画像面Ｂの座標系１３３に変換する。
d xw = d x
d yw = −d z
d zw = −d y
Thereafter, (d xw , d yw , d zw ) is converted into the coordinate system 133 of the image plane B.
（ｄ′ｘｗ，ｄ′ｙｗ，ｄ′ｚｗ）＝ＲＡ→Ｂ×（ｄｘｗ，ｄｙｗ，ｄｚｗ），
ＲＡ→Ｂは、上記から画像面Ａを画像面Ｂに変換する３×３の回転行列である。
(D ′ xw , d ′ yw , d ′ zw ) = R A → B × (d xw , d yw , d zw ),
R A → B is a 3 × 3 rotation matrix for converting the image plane A to the image plane B from the above.
最後に（ｄ′ｘｗ，ｄ′ｙｗ，ｄ′ｚｗ）を、３Ｄテンプレート投影ジオメトリによって定義された座標系に変換する。 Finally, (d ′ xw , d ′ yw , d ′ zw ) is transformed into the coordinate system defined by the 3D template projection geometry.
ｄ′ｘ＝ｄ′ｘｗ
ｄ′ｙ＝−ｄ′ｚｗ
ｄ′ｚ＝−ｄ′ｙｗ
画像面Ｂにおける角度は、以下の数式によって得られる。
d ′ x = d ′ xw
d ′ y = −d ′ zw
d ′ z = −d ′ yw
The angle in the image plane B is obtained by the following mathematical formula.
ｒｏｌｌ′＝ｃｏｓ−１（−ｄ′ｙ）
ｐｉｔｃｈ′＝ｔａｎ−１（−ｄ′ｘ／ｄ′ｚ）
roll ′ = cos −1 (−d ′ y )
pitch ′ = tan −1 (−d ′ x / d ′ z )
本発明の１つの実施形態では、先行の２Ｄテンプレートマッチングから得られた８つの候補のうち４つのトップ候補に対して、３Ｄテンプレートマッチングを施す。この候補数は一例であって本発明を限定するものではなく、本発明の別の実施形態では異なる数の候補に対してテンプレートマッチングを施すことができる。各候補ピクセルは、他方の画像において対応するピクセルを有する。このピクセルは、候補ピクセルのエピ極線周辺の領域を走査することによって見つけることができる。１つの画像面からの候補を４つずつとすることもできる。図１４（ａ）〜（ｂ）に、エピ極線に沿って、陰影の帯状部分によって限定された輪郭ピクセルにおいて、対応するピクセルをどのように探索するかが示されている。図１４（ａ）は２つの候補ピクセルを示しており、図１４（ｂ）は、エピ極線に集中しており各候補ピクセルに対応する相応の陰影の帯状部分を示している。本発明の１つの実施形態では、帯状部分の幅は本来の分解能では３０ピクセルであり、これは、トリミングおよびサイズ変更された画像における約１５ピクセルに相応する。 In one embodiment of the present invention, 3D template matching is performed on four top candidates among the eight candidates obtained from the preceding 2D template matching. This number of candidates is an example, and does not limit the present invention. In another embodiment of the present invention, template matching can be performed on a different number of candidates. Each candidate pixel has a corresponding pixel in the other image. This pixel can be found by scanning the area around the epipolar line of the candidate pixel. Four candidates from one image plane can also be used. FIGS. 14A to 14B show how to search for a corresponding pixel in the contour pixel defined by the shaded band along the epipolar line. FIG. 14 (a) shows two candidate pixels, and FIG. 14 (b) shows a corresponding shaded band-like portion concentrated on the epipolar line and corresponding to each candidate pixel. In one embodiment of the invention, the width of the band is 30 pixels at its native resolution, which corresponds to about 15 pixels in the cropped and resized image.
各候補ピクセルと、他方の画像面において対応するピクセルとに対し、異なる方向から投影されたテンプレートを使用してテンプレートマッチングを行う。事前計算されたルックアップテーブルに含まれるすべてのテンプレート対を使用する。候補ピクセルが最高のテンプレートマッチングスコアを有する場合、この候補ピクセルをカテーテル先端であると見なす。最高スコアに達したテンプレートから、カテーテル先端の３Ｄ方向が求められる。 Template matching is performed on each candidate pixel and the corresponding pixel on the other image plane using templates projected from different directions. Use all template pairs included in the precomputed lookup table. If a candidate pixel has the highest template matching score, it is considered to be the catheter tip. The 3D direction of the catheter tip is determined from the template that has reached the highest score.
３Ｄ再構築：ステップ４５において先端の３Ｄ位置を求める。図１６に、カテーテル先端の３Ｄ位置の計算が示されている。ここで図１６を参照すると、カテーテル先端を両画像１６１，１６２において検出した後、各平面内のピクセルから無限に延在する２つの射線１６３，１６４の交点１６５から、該カテーテル先端の３Ｄ位置を求めることができる。較正エラーおよび検出エラーに起因して、これらの射線は画像１６６に示されているように、３Ｄ空間において正確に交差しない。本発明の１つの実施形態では、カテーテル位置を、２つの射線が最接近する場所の該２つの射線間の中間点１６７として定義する。 3D reconstruction: In step 45, the 3D position of the tip is determined. FIG. 16 shows the calculation of the 3D position of the catheter tip. Referring now to FIG. 16, after detecting the catheter tip in both images 161, 162, the 3D position of the catheter tip is determined from the intersection 165 of two rays 163, 164 extending infinitely from the pixels in each plane. Can be sought. Due to calibration and detection errors, these rays do not intersect exactly in 3D space, as shown in image 166. In one embodiment of the invention, the catheter position is defined as the midpoint 167 between the two rays where the two rays are closest.
画像融合：検出されたカテーテル先端を、３ＤボリュームおよびＭＰＲレンダリングと融合することができる。図１７に、ＤｙｎａＣＴデータとの画像統合例が示されている。上方の２つの観察面は、バイプレーン透視画像を示している。矢印１７１，１７２はカテーテル先端の２Ｄ方向を示しており、矢印の基点はカテーテル先端にある。下方の左側の表示面は、カテーテル先端とＭＲＰ画像とを重ね合わせたものである。下方の右側の表示面は、カテーテル先端の３ＤモデルをＤｙｎａＣＴデータのボリュームレンダリングと一緒に表示している。ここでは、対象物はＤｙｎａＣＴ再構築と透視画像取得との間に動かないので、画像レジストレーションは必要ないことを前提とする。対象物が動くのは、３Ｄボリュームが術前のＣＴデータまたはＭＲデータから取得される場合に起こるが、対象物が動いた場合には画像レジストレーションを実施して、画像融合を行えるようにしなければならない。 Image fusion: The detected catheter tip can be fused with 3D volume and MPR rendering. FIG. 17 shows an example of image integration with DynaCT data. The upper two observation planes show biplane perspective images. Arrows 171 and 172 indicate the 2D direction of the catheter tip, and the base point of the arrow is at the catheter tip. The lower left display surface is a superposition of the catheter tip and the MRP image. The lower right display surface displays a 3D model of the catheter tip with volume rendering of DynaCT data. Here, it is assumed that image registration is not necessary because the object does not move between DynaCT reconstruction and fluoroscopic image acquisition. The object moves when the 3D volume is acquired from pre-operative CT or MR data, but if the object moves, image registration must be performed to enable image fusion. I must.
本発明の別の実施形態によるアルゴリズムを、モノプレーンシステムに適用することができる。単一平面を１つの角度で１回位置決定することにより、上記の方法を使用してカテーテルを３Ｄで検出することができる。この場合、モノプレーン装置が２つの異なる角度から画像を取得する間、カテーテルを定常位置に維持しなければならない。 An algorithm according to another embodiment of the invention can be applied to a monoplane system. By positioning a single plane once at an angle, the catheter can be detected in 3D using the method described above. In this case, the catheter must be kept in a steady position while the monoplane device acquires images from two different angles.
本願の開示内容で記載されたパラメータは、特定のテスト用の画像で有用であることに留意すべきである。これらのパラメータは一例であって本発明を限定するものではなく、本発明の別の実施形態では、異なる画像サイズおよびコントラストを有する異なる画像に対してパラメータ値を調整することができる。 It should be noted that the parameters described in the present disclosure are useful for specific test images. These parameters are examples and do not limit the invention, and in other embodiments of the invention, the parameter values can be adjusted for different images having different image sizes and contrasts.
システム構成：本発明の実施形態は、種々の形態のハードウェア、ソフトウェア、ファームウェア、特殊用途の処理で実現でき、またこれらの組み合わせで実現できることを理解すべきである。１つの実施形態では、本発明をコンピュータ可読プログラム記憶装置上に実装されたアプリケーションプログラムとしてソフトウェアで具現化することもできる。このアプリケーションプログラムは任意の適切なアーキテクチャを持つマシンにアップロードし、該マシンによって実行することができる。 System Configuration: It should be understood that embodiments of the present invention can be implemented in various forms of hardware, software, firmware, special purpose processing, or combinations thereof. In one embodiment, the present invention can also be embodied in software as an application program implemented on a computer readable program storage device. This application program can be uploaded to and executed by a machine with any suitable architecture.
図１８は、本発明の１つの実施形態による、カテーテル先端位置決定方法を実施するためのコンピュータシステム例のブロック図である。ここで図１８を参照すると、本発明を実施するためのコンピュータシステム１８１は、とりわけ中央処理ユニット（ＣＰＵ）１８２と、メモリ１８３と、入出力（Ｉ／Ｏ）インタフェース１８４とを有する。コンピュータシステム１８１は全般的に、Ｉ／Ｏインタフェース１８４を介してディスプレイ１８５および種々の入力装置１８６、例えばマウスやキーボードと接続されている。補助回路としては、キャッシュ、電源、クロック回路、及び通信バスのような回路を含んでいてよい。メモリ１８３はランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、ディスク駆動装置、テープ駆動装置等またはそれらの組み合わせを含みうる。本発明をメモリ１８３に記憶されているルーチン１８７として実現し、信号ソース１８８からの信号を処理するＣＰＵ１８２によって実行することができる。また、計算装置１８１は汎用コンピュータシステムであるが、本発明のルーチン１８７を実行する場合には特定用途向けコンピュータシステムにもなる。 FIG. 18 is a block diagram of an example computer system for implementing a catheter tip position determination method according to one embodiment of the present invention. Referring now to FIG. 18, a computer system 181 for implementing the present invention includes, among other things, a central processing unit (CPU) 182, a memory 183, and an input / output (I / O) interface 184. The computer system 181 is generally connected to a display 185 and various input devices 186 such as a mouse and keyboard via an I / O interface 184. The auxiliary circuit may include a circuit such as a cache, a power supply, a clock circuit, and a communication bus. Memory 183 may include random access memory (RAM), read only memory (ROM), disk drive, tape drive, etc., or combinations thereof. The present invention can be implemented as a routine 187 stored in memory 183 and executed by CPU 182 that processes signals from signal source 188. Further, although the computing device 181 is a general-purpose computer system, when the routine 187 of the present invention is executed, the computer 181 also becomes a computer system for specific applications.
コンピュータシステム１８１はオペレーティングシステムおよびマイクロ命令コードも有する。本明細書に記載された様々なプロセスや機能はマイクロ命令コードの一部であってもよいし、オペレーティングシステムを介して実行されるアプリケーションプログラム（またはこれらの組合せ）の一部であってもよい。加えて、他の様々な周辺機器を、付加的なデータ記憶装置や印刷装置のようなコンピュータプラットフォームに接続してもよい。 Computer system 181 also has an operating system and microinstruction code. The various processes and functions described herein may be part of the microinstruction code or part of an application program (or combination thereof) that is executed via the operating system. . In addition, various other peripheral devices may be connected to the computer platform such as an additional data storage device and a printing device.
さらに、構成要素であるシステムコンポーネントと添付図面に描かれた方法ステップのうちのいくつかはソフトウェアとして実施することができるので、システムコンポーネント（又はプロセスステップ）間の実際の接続は本発明のプログラムの仕方に応じて異なりうる。本明細書において開示されている本発明の思想が提供されれば、当業者であれば本発明の実施形態またはコンフィギュレーションと類似するものを推考できる。 Further, since some of the component system components and method steps depicted in the accompanying drawings can be implemented as software, the actual connection between system components (or process steps) is It can vary depending on how you do it. If the idea of the present invention disclosed in the present specification is provided, those skilled in the art can deduce similarities to the embodiments or configurations of the present invention.
有利な実施形態を参照して本発明を詳細に説明してきたが、当業者には、添付された請求項において示されている本発明の思想及び範囲から逸脱することなく、本発明に対して様々な変更及び置き換えを為しうることが理解されるであろう。 Although the invention has been described in detail with reference to advantageous embodiments, those skilled in the art will recognize the invention without departing from the spirit and scope of the invention as set forth in the appended claims. It will be understood that various changes and substitutions can be made.
１０ ボリューム領域
１１，１２ Ｘ線源
１３，１４ Ｘ線
１５ カテーテル
１６ カテーテル先端
１７，１８ モニタ
１３０ Ｘ線源管
１３１ ファントム患者
１３２ アイソセンタ
１５１，１５２ 光学的中心
１６１，１６２ 画像
１６７ ２つの射線間の中間点
10 volume region 11,12 X-ray source 13,14 X-ray 15 catheter 16 catheter tip 17,18 monitor 130 X-ray source tube 131 phantom patient 132 isocenter 151,152 optical center 161,162 image 167 intermediate between two rays point
Claims (32)
異なる観察角度から取得されたカテーテルの２次元のＸ線透視画像の系列の対を供給し、各Ｘ線透視画像は、ピクセルの２Ｄグリッドで定義された複数の強度を有するステップと、
画像強度ヒストグラム勾配を閾値比較することによって相応の画像の対において１つまたは複数のカテーテル領域をセグメンテーションするステップと、
これらのピクセルのうちでカテーテル領域の内部にあるピクセルを除去してカテーテル輪郭を生成するステップと、
該カテーテル輪郭をカテーテルの２Ｄテンプレートにマッチングし、複数の候補カテーテル先端ピクセルを選択するステップと、
該画像の対における該候補カテーテル先端ピクセルのうち少なくとも幾つかの候補カテーテル先端ピクセルを、カテーテル先端の３Ｄテンプレートの２Ｄ投影像にマッチングし、最も一致する候補カテーテル先端ピクセルをカテーテル先端として選択するステップと、
該カテーテル先端の３Ｄ位置を２つの射線の交点から検出し、該２つの射線のうち１つは、該画像の対のうち１つの画像において選択されたピクセルから投射し、他方の射線は、該画像の対の他方の画像にある関連のピクセルから投射するステップ
とを有することを特徴とする方法。 In a method for locating a catheter tip in a three-dimensional space,
Providing a pair of two-dimensional fluoroscopic image series of catheters acquired from different viewing angles, each fluoroscopic image having a plurality of intensities defined by a 2D grid of pixels;
Segmenting one or more catheter regions in corresponding image pairs by threshold comparison of image intensity histogram gradients;
Removing a pixel within the catheter region of these pixels to generate a catheter contour;
Matching the catheter contour to a 2D template of the catheter and selecting a plurality of candidate catheter tip pixels;
Matching at least some candidate catheter tip pixels of the candidate catheter tip pixels in the image pair to a 2D projection image of a 3D template of the catheter tip and selecting the best matching candidate catheter tip pixel as the catheter tip; ,
The 3D position of the catheter tip is detected from the intersection of two rays, one of the two rays projecting from a selected pixel in one image of the image pair, and the other ray is the Projecting from related pixels in the other image of the image pair.
平均的イメージを、前記画像系列のうち１つの画像系列のブラー付きの第１の画像として初期化し、
該平均的イメージを、該画像系列におけるすべての画像にわたって、
Ｍｎ＝α・Ｍｎ−１＋（１−α）・Ｉｎ
にしたがって更新し、
ここではＩｎはｎ番目の画像であり、Ｍｎはｎ番目の平均的イメージであり、αは重みづけ係数であり、
強調されたイメージＥｎを、Ｅｎ＝Ｉｎ＋ｍｉｎ（Ｉｎ−Ｍｎ，０）から計算する、請求項２記載の方法。 When homogenizing the image background,
Initializing an average image as a blurred first image of one of the image sequences;
The average image over all images in the image sequence,
M n = α · M n−1 + (1−α) · I n
Update according to
Here is the I n the n-th image, M n is the n-th average image, alpha is a weighting factor,
Enhanced image E n, calculated from E n = I n + min ( I n -M n, 0), The method of claim 2 wherein.
該カテーテル輪郭周辺のイメージの領域を２値化し、
該２Ｄカテーテルテンプレートを、カテーテル輪郭に沿った推定垂線方向にしたがって方向決定し、
該２Ｄカテーテルテンプレート内の各ピクセルと２値化されたイメージ領域内でオーバーラップするピクセルとが同じである場合には相互相関スコアを増加し、両ピクセルが異なる場合には相互相関スコアを減少することにより、両ピクセルの相互相関を計算し、最良の相互相関スコアを有するピクセルを選択する、請求項５記載の方法。 When matching each catheter profile to a 2D catheter template,
Binarize the image area around the catheter contour;
Directing the 2D catheter template according to an estimated normal direction along the catheter contour;
Increase the cross-correlation score if each pixel in the 2D catheter template is the same as the overlapping pixel in the binarized image region and decrease the cross-correlation score if both pixels are different 6. The method of claim 5, wherein the cross-correlation of both pixels is calculated to select the pixel with the best cross-correlation score.
前記３Ｄカテーテルテンプレートの事前計算された複数の２Ｄ投影像を、前記画像のうち１つの画像における該候補カテーテル先端ピクセルと、他方の画像に存在し該候補カテーテル先端ピクセルに対応するピクセルとに適用し、
該２Ｄ投影像における各ピクセルと候補カテーテル先端領域に存在しオーバーラップするピクセルとが同じである場合、相互相関スコアを増加し、両ピクセルが異なる場合には相互相関スコアを減少することにより、両ピクセル間の相互相関を計算し、最良の相互相関スコアを有するピクセルを前記カテーテル先端として選択する、請求項１記載の方法。 In matching candidate catheter tip pixels to a 2D projection image of a 3D catheter template,
Applying a plurality of pre-computed 2D projection images of the 3D catheter template to the candidate catheter tip pixel in one of the images and to a pixel present in the other image and corresponding to the candidate catheter tip pixel; ,
If each pixel in the 2D projection image is the same as the overlapping pixel that exists in the candidate catheter tip region, the cross-correlation score is increased. The method of claim 1, wherein cross-correlation between pixels is calculated and the pixel with the best cross-correlation score is selected as the catheter tip.
該３Ｄカテーテルテンプレートを−ｙからｙまでの第１の角度によって１８０°回転し、
該３Ｄカテーテルテンプレートを−ｚから開始する第２の角度によって３６０°回転し、該２Ｄ投影像をルックアップテーブルに記憶する、請求項８記載の方法。 In order to pre-calculate a 2D projection image of the 3D catheter template,
Rotating the 3D catheter template 180 ° by a first angle from -y to y;
9. The method of claim 8, wherein the 3D catheter template is rotated 360 [deg.] By a second angle starting from -z and the 2D projection image is stored in a look-up table.
該１つの画像の座標系を前記他方の画像の座標系に変換することにより、該他方の画像に関する該２Ｄ投影像の対応する第１の角度および第２の角度を求める、請求項１０記載の方法。 Determining the first and second angles of the 2D projection image by the best cross-correlation score of the candidate pixels in one image;
The corresponding first angle and second angle of the 2D projection image with respect to the other image are obtained by converting the coordinate system of the one image into the coordinate system of the other image. Method.
異なる観察角度から取得されたカテーテルの処理された２次元のＸ線透視画像の対を供給し、該Ｘ線透視画像はそれぞれこの時点では、該カテーテルをセグメンテーションするために既に処理されているステップと、
該カテーテル周辺のイメージ領域を２値化し、２Ｄカテーテルテンプレートを該カテーテルの推定垂線方向にしたがって方向決定するステップと、
２Ｄテンプレートに含まれる各ピクセルと２値化された該イメージ領域に含まれるオーバーラップするピクセルとが同じである場合には相互相関スコアを増加し、両ピクセルが異なる場合には相互相関スコアを減少することにより、両ピクセルの相互相関を計算し、最良の相互相関スコアを有するピクセルを候補カテーテル先端ピクセルとして選択するステップと、
３Ｄカテーテルテンプレートの事前計算された複数の２Ｄ投影像を、該画像のうち一方の画像における候補ピクセルと他方の画像に含まれ該候補ピクセルに関連するピクセルとに適用するステップと、
２Ｄ投影像に含まれる各ピクセルと候補先端領域に含まれるオーバーラップするピクセルとの間の相互相関を計算し、最良の相互相関スコアを有するピクセルをカテーテル先端ピクセルとして選択するステップと、
該カテーテル先端の３Ｄ位置を、該２つの画像それぞれにおける該カテーテルの２Ｄ位置から検出するステップ
とを有することを特徴とする方法。 In a method for locating a catheter tip in a three-dimensional space,
Providing a pair of processed two-dimensional fluoroscopic images of the catheter acquired from different viewing angles, each of the fluoroscopic images being already processed to segment the catheter at this point; ,
Binarizing the image area around the catheter and directing a 2D catheter template according to the estimated normal direction of the catheter;
Increase the cross-correlation score if each pixel included in the 2D template is the same as the overlapping pixel included in the binarized image area, decrease the cross-correlation score if both pixels are different Calculating the cross-correlation of both pixels and selecting the pixel with the best cross-correlation score as the candidate catheter tip pixel;
Applying a plurality of pre-computed 2D projection images of a 3D catheter template to candidate pixels in one of the images and to pixels associated with the candidate pixel in the other image;
Calculating a cross-correlation between each pixel included in the 2D projection image and an overlapping pixel included in the candidate tip region and selecting the pixel having the best cross-correlation score as the catheter tip pixel;
Detecting the 3D position of the catheter tip from the 2D position of the catheter in each of the two images.
各画像には、ピクセルの２Ｄグリッド上で定義された複数の強度が含まれる、請求項１４記載の方法。 Acquire each image from the image series,
The method of claim 14, wherein each image includes a plurality of intensities defined on a 2D grid of pixels.
前記画像対の１つの画像における選択されたピクセルから投射された射線と、該画像対の他方の画像において対応するピクセルから投射された射線との交点を見つける、請求項１４記載の方法。 Detecting the 3D position of the catheter tip,
The method of claim 14, wherein an intersection of a ray projected from a selected pixel in one image of the image pair and a ray projected from a corresponding pixel in the other image of the image pair is found.
カテーテル先端を３次元空間で位置決定する方法のステップを実施するための、コンピュータによって実行可能な命令のプログラムを実装し、
該方法は、
異なる観察角度から取得されたカテーテルの２次元のＸ線透視画像の系列の対を供給し、各Ｘ線透視画像は、ピクセルの２Ｄグリッドで定義された複数の強度を有するステップと、
画像強度ヒストグラム勾配を閾値比較することによって相応の画像の対において１つまたは複数のカテーテル領域をセグメンテーションするステップと、
カテーテル領域内部にあるピクセルを除去してカテーテル輪郭を生成するステップと、
該カテーテル輪郭をカテーテルの２Ｄテンプレートにマッチングし、複数の候補カテーテル先端ピクセルを選択するステップと、
該画像の対における該候補カテーテル先端ピクセルのうち少なくとも幾つかの候補カテーテル先端ピクセルを、カテーテル先端の３Ｄテンプレートの２Ｄ投影像にマッチングし、最も一致する候補ピクセルをカテーテル先端として選択するステップと、
該カテーテル先端の３Ｄ位置を２つの射線の交点から検出し、該２つの射線のうち１つは、該画像の対のうち１つの画像において選択されたピクセルから投射する、他方の射線は、該画像の対の他方の画像にある関連のピクセルから投射するステップ
とを有することを特徴とする、コンピュータ読み出し可能なプログラム記憶装置。 In a computer readable program storage device,
Implementing a computer-executable program of instructions for performing the steps of the method of locating the catheter tip in three-dimensional space;
The method
Providing a series of two-dimensional fluoroscopic image series of catheters acquired from different viewing angles, each fluoroscopic image having a plurality of intensities defined by a 2D grid of pixels;
Segmenting one or more catheter regions in corresponding image pairs by threshold comparison of image intensity histogram gradients;
Removing pixels within the catheter region to generate a catheter contour;
Matching the catheter contour to a 2D template of the catheter and selecting a plurality of candidate catheter tip pixels;
Matching at least some candidate catheter tip pixels of the candidate catheter tip pixels in the image pair to a 2D projection image of a 3D template of the catheter tip and selecting the best matching candidate pixel as a catheter tip;
The 3D position of the catheter tip is detected from the intersection of two rays, one of the two rays projecting from a selected pixel in one image of the image pair, the other ray is the Projecting from an associated pixel in the other image of the image pair.
平均的イメージを、前記画像系列のうち１つの画像系列のブラー付きの第１の画像として初期化し、
該平均的イメージを、該画像系列におけるすべての画像にわたって、
Ｍｎ＝α・Ｍｎ−１＋（１−α）・Ｉｎ
にしたがって更新し、
ここではＩｎはｎ番目の画像であり、Ｍｎはｎ番目の平均的イメージであり、αは重みづけ係数であり、
強調されたイメージＥｎを、Ｅｎ＝Ｉｎ＋ｍｉｎ（Ｉｎ−Ｍｎ，０）から計算する、請求項２１記載のコンピュータ読み出し可能なプログラム記憶装置。 When homogenizing the image background,
Initializing an average image as a blurred first image of one of the image sequences;
The average image over all images in the image sequence,
M n = α · M n−1 + (1−α) · I n
Update according to
Here is the I n the n-th image, M n is the n-th average image, alpha is a weighting factor,
An enhanced image E n, E n = I n + min (I n -M n, 0) is calculated from the computer-readable program storage device of claim 21.
該カテーテル輪郭周辺のイメージ領域を２値化し、
該２Ｄカテーテルテンプレートを、カテーテル輪郭に沿った推定垂線方向にしたがって方向決定し、
２Ｄテンプレート内の各ピクセルと２値化された該イメージ領域内でオーバーラップするピクセルとが同じである場合には相互相関スコアを増加し、両ピクセルが異なる場合には相互相関スコアを減少することにより、両ピクセルの相互相関を計算し、最良の相互相関スコアを有するピクセルを選択する、請求項２４記載のコンピュータ読み出し可能なプログラム記憶装置。 When matching each catheter profile to a 2D catheter template,
Binarize the image area around the catheter contour;
Directing the 2D catheter template according to an estimated normal direction along the catheter contour;
Increase the cross-correlation score if each pixel in the 2D template is the same as the overlapping pixel in the binarized image region, and decrease the cross-correlation score if both pixels are different 25. The computer readable program storage device of claim 24, wherein: calculating a cross-correlation of both pixels and selecting a pixel having the best cross-correlation score.
前記３Ｄカテーテルテンプレートの事前計算された複数の２Ｄ投影像を、前記画像のうち１つの画像における該候補カテーテル先端ピクセルと、他方の画像に存在し該候補カテーテル先端ピクセルに対応するピクセルとに適用し、
該２Ｄ投影像における各ピクセルと候補カテーテル先端領域に存在しオーバーラップするピクセルとが同じである場合、相互相関スコアを増加し、両ピクセルが異なる場合には相互相関スコアを減少することにより、両ピクセル間の相互相関を計算し、最良の相互相関スコアを有するピクセルを前記カテーテル先端として選択する、請求項２０記載のコンピュータ読み出し可能なプログラム記憶装置。 In matching candidate catheter tip pixels to a 2D projection image of a 3D catheter template,
Applying a plurality of pre-computed 2D projection images of the 3D catheter template to the candidate catheter tip pixel in one of the images and to a pixel present in the other image and corresponding to the candidate catheter tip pixel; ,
If each pixel in the 2D projection image is the same as the overlapping pixel that exists in the candidate catheter tip region, the cross-correlation score is increased. 21. The computer readable program storage device of claim 20, wherein the cross correlation between pixels is calculated and the pixel with the best cross correlation score is selected as the catheter tip.
該１つの画像の座標系を前記他方の画像の座標系に変換することにより、該他方の画像に関する該２Ｄ投影像の対応する第１の角度および第２の角度を求める、請求項２９記載のコンピュータ読み出し可能なプログラム記憶装置。 In the method, the first and second angles of the 2D projection image are determined by the best cross-correlation score of the candidate pixels in one image;
30. The corresponding first angle and second angle of the 2D projection image with respect to the other image are determined by transforming the coordinate system of the one image into the coordinate system of the other image. Computer readable program storage device.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US79565806A | 2006-04-27 | 2006-04-27 | |
| US78900607A | 2007-04-23 | 2007-04-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007296341A true JP2007296341A (en) | 2007-11-15 |
Family
ID=38766323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007118722A Pending JP2007296341A (en) | 2006-04-27 | 2007-04-27 | System and method for determining distal end of catheter with x-ray base |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007296341A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102607424A (en) * | 2012-03-14 | 2012-07-25 | 董建增 | Photoelectric detection device for conduit movement |
| JP2015504721A (en) * | 2012-01-03 | 2015-02-16 | コーニンクレッカ フィリップス エヌ ヴェ | Position determination device |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0795478A (en) * | 1993-09-21 | 1995-04-07 | Toshiba Corp | X-ray fluoroscopic system |
| JPH1185961A (en) * | 1997-09-12 | 1999-03-30 | Toshiba Corp | Image processor and image processing method |
| JP2000003454A (en) * | 1998-04-14 | 2000-01-07 | General Electric Co <Ge> | Method and device for identifying structure image component |
| JP2000167072A (en) * | 1998-12-03 | 2000-06-20 | Mitsubishi Electric Corp | Moving body tracing radiation device |
| JP2004259043A (en) * | 2003-02-26 | 2004-09-16 | Toyota Motor Corp | Direction detection device and direction detection method |
| JP2005174555A (en) * | 2003-12-05 | 2005-06-30 | Hitachi High-Technologies Corp | Scanning electron microscope |
| JP2005244389A (en) * | 2004-02-25 | 2005-09-08 | Oki Electric Ind Co Ltd | Medium watermark distinction device |
-
2007
- 2007-04-27 JP JP2007118722A patent/JP2007296341A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0795478A (en) * | 1993-09-21 | 1995-04-07 | Toshiba Corp | X-ray fluoroscopic system |
| JPH1185961A (en) * | 1997-09-12 | 1999-03-30 | Toshiba Corp | Image processor and image processing method |
| JP2000003454A (en) * | 1998-04-14 | 2000-01-07 | General Electric Co <Ge> | Method and device for identifying structure image component |
| JP2000167072A (en) * | 1998-12-03 | 2000-06-20 | Mitsubishi Electric Corp | Moving body tracing radiation device |
| JP2004259043A (en) * | 2003-02-26 | 2004-09-16 | Toyota Motor Corp | Direction detection device and direction detection method |
| JP2005174555A (en) * | 2003-12-05 | 2005-06-30 | Hitachi High-Technologies Corp | Scanning electron microscope |
| JP2005244389A (en) * | 2004-02-25 | 2005-09-08 | Oki Electric Ind Co Ltd | Medium watermark distinction device |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015504721A (en) * | 2012-01-03 | 2015-02-16 | コーニンクレッカ フィリップス エヌ ヴェ | Position determination device |
| US10842409B2 (en) | 2012-01-03 | 2020-11-24 | Koninklijke Philips N.V. | Position determining apparatus and associated method |
| CN102607424A (en) * | 2012-03-14 | 2012-07-25 | 董建增 | Photoelectric detection device for conduit movement |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9155470B2 (en) | Method and system for model based fusion on pre-operative computed tomography and intra-operative fluoroscopy using transesophageal echocardiography | |
| US9687204B2 (en) | Method and system for registration of ultrasound and physiological models to X-ray fluoroscopic images | |
| US10542955B2 (en) | Method and apparatus for medical image registration | |
| JP5643304B2 (en) | Computer-aided lung nodule detection system and method and chest image segmentation system and method in chest tomosynthesis imaging | |
| US7477776B2 (en) | Method and apparatus for determining a plane of symmetry of a three-dimensional object | |
| CN109124662B (en) | Rib center line detection device and method | |
| Liu et al. | An augmented reality system for image guidance of transcatheter procedures for structural heart disease | |
| JP6918528B2 (en) | Medical image processing equipment and medical image processing program | |
| US20130190602A1 (en) | 2d3d registration for mr-x ray fusion utilizing one acquisition of mr data | |
| US20200405397A1 (en) | Augmented reality guidance system for cardiac interventional surgery | |
| JP2009119133A (en) | Image processing apparatus, image processing method, and program | |
| JP2009268699A (en) | Fluoroscopic apparatus, moving image processing method, program and storage medium | |
| JP2014121593A (en) | Image processor, image processing method and x-ray diagnostic device | |
| US9763636B2 (en) | Method and system for spine position detection | |
| JP4463817B2 (en) | Method and system for automatically orienting local images of vasculature | |
| US9672600B2 (en) | Clavicle suppression in radiographic images | |
| JP2011160962A (en) | Medical image display device, medical image display method, and its program | |
| JP4416823B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2007159933A (en) | Image display method, program and apparatus | |
| US9582892B2 (en) | Radiation imaging apparatus, radiation imaging method, and program | |
| US9286688B2 (en) | Automatic segmentation of articulated structures | |
| US10896501B2 (en) | Rib developed image generation apparatus using a core line, method, and program | |
| JP2007296341A (en) | System and method for determining distal end of catheter with x-ray base | |
| KR20210066074A (en) | 3D anatomical landmark detection method and apparatus | |
| WO2015111308A1 (en) | Three-dimensional medical image display control device, operation method thereof, and three-dimensional medical image display control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100422 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20101227 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20101228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120315 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20120330 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120405 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120703 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120706 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120803 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120808 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130208 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130507 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130510 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130805 |