JP2009028319A - Method for improving quality of ivr image - Google Patents
Method for improving quality of ivr image Download PDFInfo
- Publication number
- JP2009028319A JP2009028319A JP2007195693A JP2007195693A JP2009028319A JP 2009028319 A JP2009028319 A JP 2009028319A JP 2007195693 A JP2007195693 A JP 2007195693A JP 2007195693 A JP2007195693 A JP 2007195693A JP 2009028319 A JP2009028319 A JP 2009028319A
- Authority
- JP
- Japan
- Prior art keywords
- image
- ivr
- ica
- images
- ivr image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000006870 function Effects 0.000 claims description 56
- 238000012880 independent component analysis Methods 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000002697 interventional radiology Methods 0.000 abstract description 121
- 230000002792 vascular Effects 0.000 abstract description 5
- 239000008280 blood Substances 0.000 abstract 1
- 210000004369 blood Anatomy 0.000 abstract 1
- 239000013598 vector Substances 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 238000011866 long-term treatment Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 231100000216 vascular lesion Toxicity 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、IVR(Interventional Radiology)画像の画質を改善する方法に関するものである。 The present invention relates to a method for improving the quality of an IVR (Interventional Radiology) image.
IVRは、画像診断的介入治療法または放射線診断技術を応用した治療法とも呼ばれ、近年、血管系病変の治療等において果たす役割は増大しており、今後も、非常に有効な治療手段としてより一層発展することが期待されている。そして、この治療法を支える重要な要素の1つとして、放射線の透視の際の画質向上に関する技術がある。 IVR is also called imaging diagnostic intervention therapy or therapy applying radiodiagnosis technology. In recent years, IVR has played an increasing role in the treatment of vascular lesions and the like, and will continue to be a very effective treatment tool in the future. Further development is expected. As one of the important elements that support this treatment method, there is a technique related to image quality improvement at the time of radiation fluoroscopy.
IVRにおいては、長時間の治療による患者の放射線被爆を最小限に抑えるため、通常の放射線撮影時の数十分の一程度の強度の放射線が照射され、透視画像が取得される。このため、放射線量の不足によって、粒子性のノイズ(量子ノイズ)が、着目対象であるガイドワイヤ、カテーテルおよび血管系の視認性を悪くしている。
そして、IVRでは、放射線による透視画像中においてガイドワイヤ、カテーテルおよび血管系等の線状の陰影が、良好な信号対雑音比(S/N比)で観察できることが極めて重要となっている。
In IVR, in order to minimize the radiation exposure of a patient due to a long-term treatment, radiation of about several tenths of the intensity during normal radiography is irradiated and a fluoroscopic image is acquired. For this reason, due to the lack of radiation dose, particulate noise (quantum noise) deteriorates the visibility of the guide wire, catheter and vascular system that are the subject of attention.
In IVR, it is extremely important that a linear shadow such as a guide wire, a catheter, and a vascular system can be observed with a good signal-to-noise ratio (S / N ratio) in a fluoroscopic image by radiation.
そこで、ガイドワイヤ、カテーテルおよび血管系等の線状の陰影を強調すると同時に、背景のノイズを除去する手法が必要とされる。この場合、従来のノイズ除去法においては、フーリエ変換やwavelet変換等が用いられており、フーリエ変換やwavelet変換では、三角関数やwavelet関数が基底関数として用いられ、ノイズを除去すべき対象画像は、これらの基底関数に基づいて成分分解される。そして、各成分についてフィルタリングがなされ、対象画像からノイズが除去される。ところで、三角関数およびwavelet関数は、いずれも、その関数形が予め数学的に決められていて、画像に基づいて導出されたものではなく、画像の処理に適した基底関数とはいえない。このため、フーリエ変換やwavelet変換等によっては、元の画像の信号成分を失うことなくノイズのみを除去することが困難であり、十分に満足のいくノイズ除去処理ができなかった(例えば、非特許文献1参照)。
また、血管等の画像信号を強調するフィルタとして、多重スケール(Multi-scale)フィルタがあるが、背景にある骨等の画像が見えにくくなったり、ノイズが強調されてしまったりするという問題があった(例えば、非特許文献2参照)。
すなわち、従来技術においては、IVR画像中のノイズ除去と線状陰影の強調とを同時に達成し得る手法はこれまでに存在しなかった。
Therefore, there is a need for a technique that enhances linear shadows such as guide wires, catheters, and vascular systems, and at the same time removes background noise. In this case, in the conventional noise removal method, Fourier transform, wavelet transform, etc. are used. In Fourier transform or wavelet transform, a trigonometric function or wavelet function is used as a basis function, and the target image from which noise is to be removed is The components are decomposed based on these basis functions. Then, filtering is performed for each component, and noise is removed from the target image. By the way, as for the trigonometric function and the wavelet function, the function forms of both are mathematically determined in advance and are not derived based on the image, and cannot be said to be a basis function suitable for image processing. For this reason, it is difficult to remove only noise without losing the signal component of the original image by Fourier transform, wavelet transform, etc., and sufficiently satisfactory noise removal processing has not been achieved (for example, non-patent) Reference 1).
In addition, there is a multi-scale filter as a filter that enhances image signals such as blood vessels, but there is a problem that images such as bones in the background are difficult to see and noise is emphasized. (For example, refer nonpatent literature 2).
That is, in the prior art, there has never been a method that can simultaneously achieve noise removal and enhancement of linear shadows in an IVR image.
したがって、本発明の課題は、IVR画像について、ノイズを除去すると同時に、着目対象であるガイドワイヤや血管系等の線状の陰影を強調することができる方法を提供することにある。 Accordingly, an object of the present invention is to provide a method capable of removing noise from an IVR image and at the same time enhancing a linear shadow such as a guide wire or a vascular system as a target of interest.
上記課題を解決するため、本発明は、(a)画質改善すべき元のIVR画像に対しICA・Shrinkageフィルタ処理を行い、ノイズ信号を除去した第1のIVR画像を生成するステップと、(b)前記第1のIVR画像に対し多重スケールフィルタ処理を行い、その画像中の線状陰影の信号を強調した第2のIVR画像を生成するステップと、(c)前記第2のIVR画像のコントラストを反転させた後、前記第1および第2のIVR画像を合成して画質の改善されたIVR画像を生成するステップと、を有することを特徴とするIVR画像の画質改善法を構成したものである。 In order to solve the above-described problems, the present invention includes: (a) performing an ICA / Shrinkage filter process on an original IVR image to be improved in image quality to generate a first IVR image from which a noise signal is removed; ) Performing a multi-scale filter process on the first IVR image to generate a second IVR image in which a signal of a linear shadow in the image is emphasized; and (c) contrast of the second IVR image. And then, synthesizing the first and second IVR images to generate an IVR image with improved image quality, and constituting a method for improving the image quality of the IVR image. is there.
上記構成において、必要に応じて、前記ステップ(c)において前記第1および第2の画像を合成するとき、それぞれの画像に重み係数を付与することもできる。 In the above configuration, if necessary, when the first and second images are combined in step (c), a weighting coefficient can be given to each image.
上記課題を解決するため、また、本発明は、(a’)画質改善すべき同一の元のIVR画像を2つ用意し、(b’)一方の前記元のIVR画像に対しICA・Shrinkageフィルタ処理を行い、ノイズ信号を除去した第1のIVR画像を生成するとともに、他方の前記元のIVR画像に対し多重スケールフィルタ処理を行い、その画像中の線状陰影の信号を強調した第2のIVR画像を生成するステップと、(c’)前記第2のIVR画像のコントラストを反転させた後、前記第1および第2のIVR画像を合成して、画質の改善されたIVR画像を生成するステップと、を有することを特徴とするIVR画像の画質改善法を構成したものである。 In order to solve the above problems, the present invention also provides (a ′) two identical original IVR images to be improved in image quality, and (b ′) an ICA / Shrinkage filter for one original IVR image. The first IVR image from which the noise signal is removed is generated, and a multi-scale filter process is performed on the other original IVR image to emphasize the signal of the linear shadow in the image. Generating an IVR image; and (c ′) inverting the contrast of the second IVR image and then combining the first and second IVR images to generate an IVR image with improved image quality. A method for improving the image quality of an IVR image.
上記構成において、必要に応じて、前記ステップ(c’)において前記第1および第2の画像を合成するとき、それぞれの画像に重み係数を付与することもできる。 In the above configuration, if necessary, when the first and second images are combined in the step (c ′), a weighting coefficient can be given to each image.
また、本発明の好ましい実施例によれば、前記ICA・Shrinkageフィルタ処理は、(i)予め与えられた複数のサンプル画像から、独立成分分析(ICA)によって、前記サンプル画像の特徴を統計的に表す基底関数の組を抽出するステップと、(ii)前記IVR画像をICA変換して、前記IVR画像を前記基底関数の線形和の形に成分分解するステップと、(iii)前記IVR画像を前記ICA変換したときの各変換係数を、Shrinkage関数によってフィルタ処理して前記IVR画像に含まれるノイズ成分を除去するステップと、(iv)前記フィルタ処理した後の各変換係数を用いてICA逆変換を行い、ノイズの除去されたIVR画像を得るステップと、からなっている。 According to a preferred embodiment of the present invention, the ICA / Shrinkage filter processing statistically analyzes the characteristics of the sample image from (i) a plurality of sample images given in advance by independent component analysis (ICA). Extracting a set of representing basis functions; (ii) subjecting the IVR image to ICA transformation to decompose the IVR image into a linear sum of the basis functions; and (iii) converting the IVR image to the Filtering each transform coefficient when the ICA transform is performed using a Shrinkage function to remove a noise component included in the IVR image; and (iv) performing an ICA inverse transform using each transform coefficient after the filter process. Performing a noise-removed IVR image.
この場合、前記ステップ(iii)において、前記Shrinkage関数として、ポアッソンノイズに対するクロスバリデーション(cross-validation)法に基づくShrinkage関数を用いることが好ましく、また、前記ステップ(i)において、前記サンプル画像を、前記IVR画像に類似する対象物について前記IVR画像の取得時と近似した条件下で取得したデジタル画像に基づいて作成することが好ましい。 In this case, it is preferable to use a Shrinkage function based on a cross-validation method against Poisson noise as the Shrinkage function in the step (iii), and in the step (i), the sample image is It is preferable to create an object similar to the IVR image based on a digital image acquired under conditions similar to those at the time of acquisition of the IVR image.
本発明の別の好ましい実施例によれば、前記多重スケールフィルタ処理は、
(i)強調すべき線状陰影の幅に対応するスケールsをもつガウス関数G(x,y)を生成するステップと、
(ii)G(x,y)のx方向の微分∂G(x,y)/∂x(=Gx(x,y))およびy方向の微分∂G(x,y)/∂y(=Gy(x,y))を求め、さらに、Gx(x,y)のx方向の微分∂2G(x,y)/∂x2(=Gxx(x,y))およびy方向の微分∂2G(x,y)/∂x∂y(=Gxy(x,y))と、Gy(x,y)のx方向の微分∂2G(x,y)/∂y∂x(=Gyx(x,y))およびy方向の微分∂2G(x,y)/∂y2(=Gyy(x,y))とを求めるステップと、
(iii)前記IVR画像の各画素値L(x,y)の微分∂2L(x,y)/∂x2(=Lxx(x,y))、∂2L(x,y)/∂x∂y(=Lxy(x,y))、∂2L(x,y)/∂y∂x(=Lyx(x,y))および∂2L(x,y)/∂y2(=Lyy(x,y))を、
Lxx(x,y)=sγL(x,y)×Gxx(x,y)、
Lxy(x,y)=sγL(x,y)×Gxy(x,y)、
Lyx(x,y)=sγL(x,y)×Gyx(x,y)、
Lyy(x,y)=sγL(x,y)×Gyy(x,y)、
ここで、γは任意の定数である、
によって求めるステップと、
(iv)前記IVR画像の各画素の位置におけるヘッセ行列Hを
(v)前記ヘッセ行列Hの2つの固有値λ1、λ2(|λ1|<|λ2|)および対応する固有ベクトルν1、ν2を求め、
(vi)前記IVR画像の各画素値を、
によって求めるステップと、
(vii)前記ガウス関数G(x,y)のスケールsの値を変更して、前記ステップ(ii)〜(vi)を繰り返すステップと、
(viii)前記ステップ(ii)〜(vii)を所定の回数繰り返した後、得られたIs(x,y)を用いて、
(I) generating a Gaussian function G (x, y) having a scale s corresponding to the width of the linear shadow to be enhanced;
(Ii) G (x, y) x-direction differential ∂G (x, y) / ∂x (= G x (x, y)) and y-direction differential ∂G (x, y) / ∂y ( = G y (x, y)), and further, the derivative of G x (x, y) in the x direction ∂ 2 G (x, y) / ∂x 2 (= G xx (x, y)) and y Direction differential ∂ 2 G (x, y) / ∂ x ∂ y (= G xy (x, y)) and G y (x, y) in the x direction ∂ 2 G (x, y) / ∂ determining y∂x (= G yx (x, y)) and y-direction differential ∂ 2 G (x, y) / ∂ y 2 (= G yy (x, y));
(Iii) Differentiating each pixel value L (x, y) of the IVR image ∂ 2 L (x, y) / ∂ x 2 (= L xx (x, y)), ∂ 2 L (x, y) / ∂x∂y (= L xy (x, y)), ∂ 2 L (x, y) / ∂y∂x (= L yx (x, y)) and ∂ 2 L (x, y) / ∂y 2 (= L yy (x, y))
L xx (x, y) = s γ L (x, y) × G xx (x, y),
L xy (x, y) = s γ L (x, y) × G xy (x, y),
L yx (x, y) = s γ L (x, y) × G yx (x, y),
L yy (x, y) = s γ L (x, y) × G yy (x, y),
Where γ is an arbitrary constant.
The steps you seek by
(Iv) a Hessian matrix H at each pixel position of the IVR image.
(V) Obtain two eigenvalues λ 1 , λ 2 (| λ 1 | <| λ 2 |) and corresponding eigenvectors ν 1 , ν 2 of the Hessian matrix H,
(Vi) Each pixel value of the IVR image is
The steps you seek by
(Vii) changing the value of the scale s of the Gaussian function G (x, y) and repeating the steps (ii) to (vi);
(Viii) After repeating the steps (ii) to (vii) a predetermined number of times, using the obtained I s (x, y),
本発明によれば、ICA・Shrinkageフィルタ処理と多重スケールフィルタ処理を組み合わせたことにより、IVR画像中のエッジ部分などの細部がぼけることなく、画像全体に分散する量子ノイズの低減を図ることができるとともに、画像中の血管、ガイドワイヤやカテーテル等の直線状の陰影部分を強調することができる。 According to the present invention, by combining ICA / Shrinkage filter processing and multi-scale filter processing, it is possible to reduce quantum noise dispersed throughout the image without blurring details such as edge portions in the IVR image. At the same time, it is possible to emphasize linear shadow portions such as blood vessels, guide wires and catheters in the image.
以下、添付図面を参照して、本発明の好ましい実施例について説明する。図1は、本発明の1実施例によるIVR画像の画質改善法のフロー図である。図1を参照して、本発明によれば、まず、画質改善すべき元のIVR画像(図1のS1)に対しICA・Shrinkageフィルタ処理がなされ(図1のS2)、ノイズ信号が除去された第1のIVR画像が生成される(図1のS3)。 Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. FIG. 1 is a flowchart of a method for improving the quality of an IVR image according to an embodiment of the present invention. Referring to FIG. 1, according to the present invention, first, an ICA / Shrinkage filter process is performed on an original IVR image (S1 in FIG. 1) whose image quality should be improved (S2 in FIG. 1), and a noise signal is removed. A first IVR image is generated (S3 in FIG. 1).
図2は、ICA・Shrinkageフィルタ処理のフロー図である。以下、図2を参照して、ICA・Shrinkageフィルタ処理について説明する。まず、予め与えられたサンプル画像から、独立成分分析(ICA)法によって、サンプル画像の特徴を統計的に表す基底関数の組が抽出される(図2のS20、S21)。サンプル画像としては、画質を改善すべきIVR画像により適合した基底関数の組を得るべく、当該IVR画像に類似する別のIVR画像が用いられる。また、ICA法によるサンプル画像からの基底関数の抽出は統計的になされるので、できるだけ多数のサンプル画像を用いることが、IVR画像により適合した基底関数の組を得るうえで好ましい。 FIG. 2 is a flowchart of ICA / Shrinkage filter processing. The ICA / Shrinkage filter processing will be described below with reference to FIG. First, a set of basis functions that statistically represent the characteristics of a sample image is extracted from a sample image given in advance by an independent component analysis (ICA) method (S20 and S21 in FIG. 2). As the sample image, another IVR image similar to the IVR image is used in order to obtain a set of basis functions more suitable for the IVR image whose image quality should be improved. In addition, since the basis functions are extracted statistically from the sample images by the ICA method, it is preferable to use as many sample images as possible in order to obtain a set of basis functions more suitable for the IVR images.
ICA法を用いてサンプル画像から基底関数の組を抽出する方法を次に説明する。
ICA法によれば、サンプル画像[x1↑,x2↑,・・・,xN↑](文字の後ろに「↑」の記号を付した場合はベクトル表示であることを表す。以下同様。)は、基底関数[a1↑,a2↑,・・・,aM↑]の線形和で表され、その結合係数sは統計的に独立である。これを数式で表すと次のようになる。
A method for extracting a set of basis functions from a sample image using the ICA method will be described next.
According to the ICA method, the sample image [x 1 ↑, x 2 ↑,..., X N ↑] (If the symbol “↑” is added after the character, it represents a vector display. .) Is expressed by a linear sum of basis functions [a 1 ↑, a 2 ↑,..., A M ↑], and the coupling coefficient s is statistically independent. This is expressed by the following formula.
(1)式を行列式として表すと、
X↑=A↑・S↑ (2)
となる。
サンプル画像セット行列X↑のみから、基底関数と特徴ベクトルを求めることは、一種のブラインドソース分離問題とみなせるので、ICA法を用いて解くことができる。
ICAでは、あるn×mの分離行列W↑を用いて、
Y↑=W↑・X↑ (3)
においてY↑を計算し、Y↑の各成分が互いに統計的に独立となるようなW↑を求める。
W↑を求めるに当たり、Y↑の各成分が独立か否かを判定する評価基準として、相互情報量(Kullback-Leibler divergence)または高次統計量(kurtosis)等が既に提案されている。この実施例では、Bell & Senjowskyが提案した相互情報量の最大化による手法を用いる。
When (1) is expressed as a determinant,
X ↑ = A ↑ ・ S ↑ (2)
It becomes.
Obtaining basis functions and feature vectors from only the sample image set matrix X ↑ can be regarded as a kind of blind source separation problem, and can be solved using the ICA method.
In ICA, using a certain n × m separation matrix W ↑,
Y ↑ = W ↑ ・ X ↑ (3)
Y ↑ is calculated, and W ↑ is obtained so that the components of Y ↑ are statistically independent from each other.
In obtaining W ↑, mutual information (Kullback-Leibler divergence) or higher-order statistics (kurtosis) have already been proposed as evaluation criteria for determining whether or not each component of Y ↑ is independent. In this embodiment, the method based on the mutual information maximization proposed by Bell & Senjowsky is used.
今、分離信号[y1,y2,・・・,yn]が互いに独立であるとき、各成分yiの同時分布密度関数p(y↑)=P(y1,y2,・・・,yn)は、各成分yiの周辺密度関数p(yi)の積で表される。すなわち、 Now, the separation signal [y 1, y 2, ··· , y n] when are independent from each other, joint distribution density function p (y ↑) of each component y i = P (y 1, y 2, ·· , Y n ) is represented by the product of the peripheral density functions p (y i ) of each component y i . That is,
divergence (D)は次のように書き換えられる。
Divergence (D) can be rewritten as follows.
一般に、W↑を解析的に求めることはできず、(9)式のDを最小にするW↑を求めるには、下記の自然勾配法が用いられる。
W↑の変化分は、(7)式で与えられる。通常の最急降下法に比べると、収束がよく、計算も簡単である。
Generally, W ↑ cannot be obtained analytically, and the following natural gradient method is used to obtain W ↑ that minimizes D in equation (9).
The change in W ↑ is given by equation (7). Compared with the normal steepest descent method, the convergence is better and the calculation is easier.
こうして、この実施例では、対象となるIVR画像とは別の4枚のIVR画像を用い、ICA法によって基底関数の組を抽出した。
まず、これら4枚のIVR画像(各々128画素×128画素のサイズを有する)から任意に8画素×8画素の大きさのパッチ12,000個を切り出し、基底関数の組を学習によって抽出するためのサンプル画像とした。この場合、サンプル画像を形成するパッチのサイズは特に限定されないが、抽出される基底関数の組が、画質を改善すべきIVR画像の空間的特徴を最もよく反映し得るようなパッチのサイズを設定することが好ましい。
Thus, in this example, a set of basis functions was extracted by the ICA method using four IVR images different from the target IVR image.
First, in order to extract 12,000 patches of 8 × 8 pixels arbitrarily from these four IVR images (each having a size of 128 × 128 pixels), and to extract a set of basis functions by learning Sample images of In this case, the size of the patch forming the sample image is not particularly limited, but the patch size is set so that the set of basis functions to be extracted can best reflect the spatial characteristics of the IVR image whose image quality should be improved. It is preferable to do.
そして、各サンプル画像を64×1の1次元ベクトルに展開し、行列X↑の列ベクトルとする。それによって、64×12,000のサンプル画像セット行列X↑が得られる。行列X↑の行の数はサンプル画像のパッチの個数を表し、列の数はサンプル画像の数を表す。
(12)式を用いてW↑を学習すると、64×64の行列W↑が求められ、このときのW↑の各列が基底関数となる。この実施例では、基底関数の数は64となる。
Then, each sample image is expanded into a 64 × 1 one-dimensional vector to be a column vector of the matrix X ↑. As a result, a 64 × 12,000 sample image set matrix X ↑ is obtained. The number of rows in the matrix X ↑ represents the number of patches in the sample image, and the number of columns represents the number of sample images.
When W ↑ is learned using equation (12), a 64 × 64 matrix W ↑ is obtained, and each column of W ↑ at this time becomes a basis function. In this embodiment, the number of basis functions is 64.
再び図2を参照して、次に、IVR画像が、上で求めた基底関数の組を用いてICA変換され、基底関数の線形和の形に成分分解される(図2のS22、S23)。これを数式で表すと次のようになる。 Referring to FIG. 2 again, next, the IVR image is ICA-transformed using the basis function set obtained above, and component-resolved into a linear sum of basis functions (S22 and S23 in FIG. 2). . This is expressed by the following formula.
ここで、P↑はIVR画像であり、[a0↑,a1↑,・・・,aN−1↑]は基底関数であり、[s0,s1,・・・,sN−1]はICA変換の変換係数である。 Here, P ↑ is an IVR image, [a 0 ↑, a 1 ↑,..., A N−1 ↑] is a basis function, and [s 0 , s 1 ,. 1 ] is a conversion coefficient of ICA conversion.
そして、IVR画像をICA変換したときの各変換係数が、Shrinkage関数によってフィルタ処理され、IVR画像に含まれるノイズ成分が除去される(図2のS24)。この実施例では、Shrinkage関数として、 Then, each conversion coefficient when the ICA conversion is performed on the IVR image is filtered by the Shrinkage function, and the noise component included in the IVR image is removed (S24 in FIG. 2). In this example, the Shrinkage function is
この関数g(s↑)は、ポアッソンノイズに対するクロスバリデーション(cross-validation )法に基づくShrinkage関数であり、ポアッソンノイズの除去に最適である。なお、Shrinkage関数の関数形はこれに限定されるものではなく、例えば、次式で表されるような公知の適当な関数形を用いることができる。
さらに、フィルタ処理後の各変換係数を用いてICA逆変換が行われ、ノイズ成分の除去されたIVR画像(第1のIVR画像)が得られる(図2のS25、S26)。これを式で表すと次のようになる。 Further, ICA inverse transform is performed using each transform coefficient after the filter processing, and an IVR image (first IVR image) from which noise components are removed is obtained (S25 and S26 in FIG. 2). This is expressed as follows.
ここで、P(ハット)は第1のIVR画像であり、[a0↑,a1↑,・・・,aN−1↑]は基底関数であり、[s0(ハット),s1(ハット),・・・,sN−1(ハット)]はフィルタ処理後の変換係数である。 Here, P (hat) is the first IVR image, [a 0 ↑, a 1 ↑,..., A N−1 ↑] are basis functions, and [s 0 (hat), s 1 (Hat),..., S N-1 (hat)] is a conversion coefficient after filtering.
図5は、この実施例で用いた元のIVR画像を示したものであり、図6は、図5のIVR画像に対しICA・Shrinkageフィルタ処理を行って得られた第1のIVR画像を示したものである。図5および図6のIVR画像の比較から、ICA・Shrinkageフィルタ処理によって、画像中の縞模様のような構造的なノイズがかなり除去されており、処理前のIVR画像を劣化させることなく、ノイズ成分を除去できることがわかる。 FIG. 5 shows an original IVR image used in this embodiment, and FIG. 6 shows a first IVR image obtained by performing ICA / Shrinkage filter processing on the IVR image of FIG. It is a thing. From the comparison of the IVR images in FIG. 5 and FIG. 6, structural noise such as stripes in the image is considerably removed by the ICA / Shrinkage filter processing, and the noise is not degraded without deteriorating the IVR image before processing. It can be seen that the components can be removed.
なお、上記実施例では、対象IVR画像をICA変換した後、変換係数をShrinkage関数によってフィルタ処理することでノイズ成分を除去するようにしたが、このフィルタ処理を行うとともに、IVR画像における分解された画像部分のうち、目視によりノイズを含んでいると認識された画像部分を除去するようにしてもよい。 In the above embodiment, after the ICA conversion is performed on the target IVR image, the noise component is removed by filtering the conversion coefficient using the Shrinkage function. However, the filtering process is performed and the IVR image is decomposed. You may make it remove the image part recognized to contain noise visually by the image part.
ICA・Shrinkageフィルタ処理によれば、複数のサンプル画像から独立成分分析(ICA)によって学習、抽出した基底関数に基づき、元のIVR画像をICA変換し、変換係数をShrinkage関数によってフィルタ処理することでノイズ成分を除去した後、ICA逆変換によって第1のIVR画像を得るようにしたので、元の画像の信号成分を失うことなくノイズ成分を除去することができる。 According to the ICA / Shrinkage filter processing, the original IVR image is ICA-transformed based on the basis function learned and extracted from a plurality of sample images by independent component analysis (ICA), and the conversion coefficient is filtered by the Shrinkage function. After removing the noise component, the first IVR image is obtained by ICA inverse transformation, so that the noise component can be removed without losing the signal component of the original image.
再び図1を参照して、本発明によれば、次に、第1のIVR画像に対し多重スケール(Multi-scale)フィルタ処理がなされ(図1のS4)、その画像中の線状陰影の信号を強調した第2のIVR画像が生成される(図1のS5)。図3には、多重スケールフィルタ処理のフロー図が示してある。 Referring again to FIG. 1, according to the present invention, the first IVR image is then subjected to multi-scale filtering (S4 in FIG. 1), and the linear shadow in the image is detected. A second IVR image in which the signal is enhanced is generated (S5 in FIG. 1). FIG. 3 shows a flowchart of the multiscale filter processing.
図3を参照して、多重スケールフィルタ処理において、まず、強調すべき線状陰影の幅に対応するスケールsをもつガウス関数G(x,y)が生成される(図3のS30)。すなわち、ガウス関数Gのスケールsの大きさに応じて、IVR画像中の強調される線状の陰影部分の幅が決定される。 Referring to FIG. 3, in the multi-scale filter processing, first, a Gaussian function G (x, y) having a scale s corresponding to the width of the linear shadow to be emphasized is generated (S30 in FIG. 3). That is, the width of the line-shaped shadow portion to be emphasized in the IVR image is determined according to the scale s of the Gaussian function G.
次に、G(x,y)のx方向の微分∂G(x,y)/∂x(=Gx(x,y))およびy方向の微分∂G(x,y)/∂y(=Gy(x,y))が求められ、さらに、Gx(x,y)のx方向の微分∂2G(x,y)/∂x2(=Gxx(x,y))およびy方向の微分∂2G(x,y)/∂x∂y(=Gxy(x,y))と、Gy(x,y)のx方向の微分∂2G(x,y)/∂y∂x(=Gyx(x,y))およびy方向の微分∂2G(x,y)/∂y2(=Gyy(x,y))が求められる(図3のS31)。 Then, G (x, y) x-direction differential ∂G (x, y) of / ∂x (= G x (x , y)) and the y-direction differential ∂G (x, y) / ∂y ( = G y (x, y)), and the derivative of G x (x, y) in the x direction ∂ 2 G (x, y) / ∂x 2 (= G xx (x, y)) and y direction differential 方向2 G (x, y) / ∂ x ∂ y (= G xy (x, y)) and G y (x, y) x direction differential ∂ 2 G (x, y) / ∂y∂x (= G yx (x, y)) and y-direction differential ∂ 2 G (x, y) / ∂y 2 (= G yy (x, y)) are obtained (S31 in FIG. 3). .
そして、第1のIVR画像の各画素値L(x,y)の微分∂2L(x,y)/∂x2(=Lxx(x,y))、∂2L(x,y)/∂x∂y(=Lxy(x,y))、∂2L(x,y)/∂y∂x(=Lyx(x,y))および∂2L(x,y)/∂y2(=Lyy(x,y))が、
Lxx(x,y)=sγL(x,y)×Gxx(x,y)、
Lxy(x,y)=sγL(x,y)×Gxy(x,y)、
Lyx(x,y)=sγL(x,y)×Gyx(x,y)、
Lyy(x,y)=sγL(x,y)×Gyy(x,y)、
ここで、γは任意の定数である、
によって求められる(図3のS32)。
Then, the differential ∂ 2 L (x, y) / ∂ x 2 (= L xx (x, y)), ∂ 2 L (x, y) of each pixel value L (x, y) of the first IVR image / ∂x∂y (= L xy (x, y)), ∂ 2 L (x, y) / ∂y∂x (= L yx (x, y)) and ∂ 2 L (x, y) / ∂ y 2 (= L yy (x, y)) is
L xx (x, y) = s γ L (x, y) × G xx (x, y),
L xy (x, y) = s γ L (x, y) × G xy (x, y),
L yx (x, y) = s γ L (x, y) × G yx (x, y),
L yy (x, y) = s γ L (x, y) × G yy (x, y),
Where γ is an arbitrary constant.
(S32 in FIG. 3).
さらに、第1のIVR画像の各画素の位置におけるヘッセ行列Hが
そして、
によって求められる(図3のS35)。この式において、βの値を大きくすればするほど画像は明るくなり、cの値を大きくすればするほど画像は暗くなる。
And
(S35 in FIG. 3). In this equation, the larger the value of β, the brighter the image, and the larger the value of c, the darker the image.
次に、ガウス関数G(x,y)のスケールsが変更され、図3のステップS30〜S35が繰り返される。そして、すべてのsについて計算が完了したとき、得られたIs(x,y)を用いて、
再び図1を参照して、本発明の方法によれば、さらに、得られた第2のIVR画像のコントラストが反転せしめられ、その画像と第1のIVR画像が合成され(図1のS6)、画質の改善されたIVR画像が生成される(図1のS7)。なお、第1および第2のIVR画像の合成に際し、必要に応じて、各画像に重み係数が付与される。 Referring to FIG. 1 again, according to the method of the present invention, the contrast of the obtained second IVR image is further inverted, and the image and the first IVR image are synthesized (S6 in FIG. 1). Then, an IVR image with improved image quality is generated (S7 in FIG. 1). Note that, when the first and second IVR images are combined, a weighting coefficient is given to each image as necessary.
図7は、図6のIVR画像(第1のIVR画像)に対し多重スケールフィルタ処理を行って得られた第2のIVR画像を示したものである。また、図8は、図7のIVR画像(第2のIVR画像)のコントラストを反転させた画像と、図6のIVR画像(第1のIVR画像)を合成して得られた、画質の改善されたIVR画像を示したものである。この場合、第1のIVR画像の割合を1とし、コントラスト反転した第2のIVR画像の割合を0.1として両画像を合成し、得られた画像を1.1で割っている。
図5および図8のIVR画像の比較から、本発明による画質改善法によれば、IVR画像におけるノイズ除去と線状陰影の強調を同時に達成することができることがわかる。
FIG. 7 shows a second IVR image obtained by performing multiscale filter processing on the IVR image (first IVR image) of FIG. FIG. 8 shows an improvement in image quality obtained by combining the image obtained by inverting the contrast of the IVR image (second IVR image) in FIG. 7 and the IVR image (first IVR image) in FIG. The IVR image obtained is shown. In this case, the ratio of the first IVR image is set to 1, the ratio of the contrast-inverted second IVR image is set to 0.1, and both images are combined, and the obtained image is divided by 1.1.
From the comparison of the IVR images in FIG. 5 and FIG. 8, it can be seen that the image quality improvement method according to the present invention can simultaneously achieve noise removal and linear shadow enhancement in the IVR image.
上記実施例では、IVR画像が静止画像である場合について説明してきたが、本発明の方法は、IVR画像が動画像である場合にも適用可能である。この場合には、動画像を1フレーム毎の画像に分解し、分離した画像毎に上記と同様の処理を行い、処理後の各画像を再合成すればよい。 In the above embodiment, the case where the IVR image is a still image has been described. However, the method of the present invention can also be applied to the case where the IVR image is a moving image. In this case, the moving image is decomposed into images for each frame, the same processing as described above is performed for each separated image, and the processed images are recombined.
図4は、本発明の別の実施例によるIVR画像の画質改善法のフロー図である。図4を参照して、この実施例では、画質改善すべき同一の元のIVR画像が2つ用意される(図4のS10)。そして、一方の元のIVR画像に対しICA・Shrinkageフィルタ処理がなされ、ノイズ信号が除去された第1のIVR画像が生成される一方(図4のS11、S12)、他方の元のIVR画像に対し多重スケールフィルタ処理がなされ、その画像中の線状陰影の信号が強調された第2のIVR画像が生成される(図4のS13、S14)。 FIG. 4 is a flowchart of a method for improving the quality of an IVR image according to another embodiment of the present invention. Referring to FIG. 4, in this embodiment, two identical original IVR images to be improved in image quality are prepared (S10 in FIG. 4). Then, ICA / Shrinkage filter processing is performed on one original IVR image, and a first IVR image from which a noise signal is removed is generated (S11 and S12 in FIG. 4), while the other original IVR image On the other hand, multiscale filter processing is performed to generate a second IVR image in which the linear shadow signal in the image is enhanced (S13 and S14 in FIG. 4).
そして、第2のIVR画像のコントラストが反転せしめられ(図4のS15)、その画像と第1のIVR画像とが合成され(図4のS16)、画質の改善されたIVR画像が生成される(図4のS17)。なお、第1および第2のIVR画像の合成の際に、必要に応じて、各画像に重み係数が付与され得る。
この実施例の場合にも、図1の実施例の場合と同様の効果が得られる。
Then, the contrast of the second IVR image is inverted (S15 in FIG. 4), the image and the first IVR image are combined (S16 in FIG. 4), and an IVR image with improved image quality is generated. (S17 in FIG. 4). Note that, when the first and second IVR images are combined, a weighting factor can be given to each image as necessary.
Also in this embodiment, the same effect as in the embodiment of FIG. 1 can be obtained.
Claims (8)
(b)前記第1のIVR画像に対し多重スケールフィルタ処理を行い、その画像中の線状陰影の信号を強調した第2のIVR画像を生成するステップと、
(c)前記第2のIVR画像のコントラストを反転させた後、前記第1および第2のIVR画像を合成して、画質の改善されたIVR画像を生成するステップと、を有することを特徴とするIVR画像の画質改善法。 (A) performing an ICA / Shrinkage filter process on the original IVR image to be improved in image quality to generate a first IVR image from which a noise signal has been removed;
(B) performing a multi-scale filter process on the first IVR image to generate a second IVR image in which a signal of a linear shadow in the image is enhanced;
(C) reversing the contrast of the second IVR image, and then synthesizing the first and second IVR images to generate an IVR image with improved image quality. To improve the quality of IVR images.
(b’)一方の前記元のIVR画像に対しICA・Shrinkageフィルタ処理を行い、ノイズ信号を除去した第1のIVR画像を生成するとともに、他方の前記元のIVR画像に対し多重スケールフィルタ処理を行い、その画像中の線状陰影の信号を強調した第2のIVR画像を生成するステップと、
(c’)前記第2のIVR画像のコントラストを反転させた後、前記第1および第2のIVR画像を合成して画質の改善されたIVR画像を生成するステップと、を有することを特徴とするIVR画像の画質改善法。 (A ′) Prepare two identical original IVR images to be improved in image quality,
(B ′) ICA / Shrinkage filter processing is performed on one original IVR image to generate a first IVR image from which a noise signal is removed, and multi-scale filter processing is performed on the other original IVR image. Generating a second IVR image with enhanced linear shading signals in the image;
(C ′) reversing the contrast of the second IVR image, and then synthesizing the first and second IVR images to generate an IVR image with improved image quality. To improve the quality of IVR images.
(i)予め与えられた複数のサンプル画像から、独立成分分析(ICA)によって、前記サンプル画像の特徴を統計的に表す基底関数の組を抽出するステップと、
(ii)前記IVR画像をICA変換して、前記IVR画像を前記基底関数の線形和の形に成分分解するステップと、
(iii)前記IVR画像を前記ICA変換したときの各変換係数を、Shrinkage関数によってフィルタ処理して前記IVR画像に含まれるノイズ成分を除去するステップと、
(iv)前記フィルタ処理した後の各変換係数を用いてICA逆変換を行い、ノイズの除去されたIVR画像を得るステップと、からなることを特徴とする請求項1〜請求項4のいずれかに記載のIVR画像の画質改善法。 The ICA / Shrinkage filter process is:
(I) extracting a set of basis functions that statistically represent the characteristics of the sample image from a plurality of sample images given in advance by independent component analysis (ICA);
(Ii) performing ICA conversion on the IVR image and decomposing the IVR image into a linear sum of the basis functions;
(Iii) filtering each transformation coefficient when the IVR image is ICA transformed by a Shrinkage function to remove noise components included in the IVR image;
(Iv) performing an ICA inverse transform using each transform coefficient after the filtering process to obtain an IVR image from which noise has been removed, and comprising the steps of: A method for improving the image quality of an IVR image described in 1.
(i)強調すべき線状陰影の幅に対応するスケールsをもつガウス関数G(x,y)を生成するステップと、
(ii)G(x,y)のx方向の微分∂G(x,y)/∂x(=Gx(x,y))およびy方向の微分∂G(x,y)/∂y(=Gy(x,y))を求め、さらに、Gx(x,y)のx方向の微分∂2G(x,y)/∂x2(=Gxx(x,y))およびy方向の微分∂2G(x,y)/∂x∂y(=Gxy(x,y))と、Gy(x,y)のx方向の微分∂2G(x,y)/∂y∂x(=Gyx(x,y))およびy方向の微分∂2G(x,y)/∂y2(=Gyy(x,y))とを求めるステップと、
(iii)前記IVR画像の各画素値L(x,y)の微分∂2L(x,y)/∂x2(=Lxx(x,y))、∂2L(x,y)/∂x∂y(=Lxy(x,y))、∂2L(x,y)/∂y∂x(=Lyx(x,y))および∂2L(x,y)/∂y2(=Lyy(x,y))を、
Lxx(x,y)=sγL(x,y)×Gxx(x,y)、
Lxy(x,y)=sγL(x,y)×Gxy(x,y)、
Lyx(x,y)=sγL(x,y)×Gyx(x,y)、
Lyy(x,y)=sγL(x,y)×Gyy(x,y)、
ここで、γは任意の定数である、
によって求めるステップと、
(iv)前記IVR画像の各画素の位置におけるヘッセ行列Hを
により求めるステップと、
(v)前記ヘッセ行列Hの2つの固有値λ1、λ2(|λ1|<|λ2|)および対応する固有ベクトルν1、ν2を求め、
(vi)前記IVR画像の各画素値を、
によって求めるステップと、
(vii)前記ガウス関数G(x,y)のスケールsの値を変更して、前記ステップ(ii)〜(vi)を繰り返すステップと、
(viii)前記ステップ(ii)〜(vii)を所定の回数繰り返した後、得られたIs(x,y)を用いて、
(I) generating a Gaussian function G (x, y) having a scale s corresponding to the width of the linear shadow to be enhanced;
(Ii) G (x, y) x-direction differential ∂G (x, y) / ∂x (= G x (x, y)) and y-direction differential ∂G (x, y) / ∂y ( = G y (x, y)), and further, the derivative of G x (x, y) in the x direction ∂ 2 G (x, y) / ∂x 2 (= G xx (x, y)) and y Direction differential ∂ 2 G (x, y) / ∂ x ∂ y (= G xy (x, y)) and G y (x, y) in the x direction ∂ 2 G (x, y) / ∂ determining y∂x (= G yx (x, y)) and y-direction differential ∂ 2 G (x, y) / ∂ y 2 (= G yy (x, y));
(Iii) Differentiating each pixel value L (x, y) of the IVR image ∂ 2 L (x, y) / ∂ x 2 (= L xx (x, y)), ∂ 2 L (x, y) / ∂x∂y (= L xy (x, y)), ∂ 2 L (x, y) / ∂y∂x (= L yx (x, y)) and ∂ 2 L (x, y) / ∂y 2 (= L yy (x, y))
L xx (x, y) = s γ L (x, y) × G xx (x, y),
L xy (x, y) = s γ L (x, y) × G xy (x, y),
L yx (x, y) = s γ L (x, y) × G yx (x, y),
L yy (x, y) = s γ L (x, y) × G yy (x, y),
Where γ is an arbitrary constant.
The steps you seek by
(Iv) a Hessian matrix H at each pixel position of the IVR image.
A step to obtain by
(V) Obtain two eigenvalues λ 1 , λ 2 (| λ 1 | <| λ 2 |) and corresponding eigenvectors ν 1 , ν 2 of the Hessian matrix H,
(Vi) Each pixel value of the IVR image is
The steps you seek by
(Vii) changing the value of the scale s of the Gaussian function G (x, y) and repeating the steps (ii) to (vi);
(Viii) After repeating the steps (ii) to (vii) a predetermined number of times, using the obtained I s (x, y),
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007195693A JP2009028319A (en) | 2007-07-27 | 2007-07-27 | Method for improving quality of ivr image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007195693A JP2009028319A (en) | 2007-07-27 | 2007-07-27 | Method for improving quality of ivr image |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009028319A true JP2009028319A (en) | 2009-02-12 |
Family
ID=40399522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007195693A Pending JP2009028319A (en) | 2007-07-27 | 2007-07-27 | Method for improving quality of ivr image |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009028319A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012100734A (en) * | 2010-11-08 | 2012-05-31 | Toshiba Corp | Image processor, x-ray diagnostic apparatus using the same, and image processing method |
KR102686707B1 (en) | 2021-12-24 | 2024-07-19 | 한국과학기술원 | Ghost Image Acquisition Method and Electronic Device Using The Same |
-
2007
- 2007-07-27 JP JP2007195693A patent/JP2009028319A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012100734A (en) * | 2010-11-08 | 2012-05-31 | Toshiba Corp | Image processor, x-ray diagnostic apparatus using the same, and image processing method |
KR102686707B1 (en) | 2021-12-24 | 2024-07-19 | 한국과학기술원 | Ghost Image Acquisition Method and Electronic Device Using The Same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Naimi et al. | Medical image denoising using dual tree complex thresholding wavelet transform and Wiener filter | |
US8842936B2 (en) | Method, apparatus, and program for aligning images | |
Wang et al. | Multiscale penalized weighted least-squares sinogram restoration for low-dose X-ray computed tomography | |
JP2001057677A (en) | Image processing method, system and recording medium | |
Ahmed et al. | Medical image denoising system based on stacked convolutional autoencoder for enhancing 2-dimensional gel electrophoresis noise reduction | |
Arif et al. | Maximizing information of multimodality brain image fusion using curvelet transform with genetic algorithm | |
Tomic et al. | Adaptive spatio-temporal denoising of fluoroscopic X-ray sequences | |
KR20200025598A (en) | Apparatus and Method for Fusing Using Weighted Least Squares Filter and Sparse Respresentation | |
JP2000224421A (en) | Image processing method and device and recording medium | |
JP2008123370A (en) | Image quality improvement method for digital image using independent component analysis (ica) | |
KR102357350B1 (en) | Statistical image restoration for low-dose ct image using deep learning | |
Diwakar et al. | Inter-and intra-scale dependencies-based CT image denoising in curvelet domain | |
CN109523488A (en) | A kind of radioscopic image noise-reduction method carrying out blind source separating in Anscombe transform domain based on image sequence | |
CN112734663A (en) | Profile wave transformation medical CT image noise reduction method based on self-adaptive threshold | |
Hosseinian et al. | Assessment of restoration methods of X-ray images with emphasis on medical photogrammetric usage | |
Jin et al. | Low-dose CT image restoration based on noise prior regression network | |
JP2009028319A (en) | Method for improving quality of ivr image | |
Zhang et al. | Adaptive typhoon cloud image enhancement using genetic algorithm and non-linear gain operation in undecimated wavelet domain | |
Trung et al. | Low-dose CT image denoising using image decomposition and sparse representation | |
Won et al. | Low-dose CT denoising using octave convolution with high and low frequency bands | |
Nayak et al. | DMF-Net: a deep multi-level semantic fusion network for high-resolution chest CT and X-ray image de-noising | |
CN114450710A (en) | Method and apparatus for noise reduction | |
Zhao et al. | Scanner-dependent threshold estimation of wavelet denoising for small-animal PET | |
CN111489314A (en) | Image enhancement method and device and terminal equipment | |
Sehgal et al. | CT Image Denoising Using Bilateral Filter and Method Noise Thresholding in Shearlet Domain |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100106 |