JP2005270635A - Method for processing image and device for processing image - Google Patents
Method for processing image and device for processing image Download PDFInfo
- Publication number
- JP2005270635A JP2005270635A JP2005009381A JP2005009381A JP2005270635A JP 2005270635 A JP2005270635 A JP 2005270635A JP 2005009381 A JP2005009381 A JP 2005009381A JP 2005009381 A JP2005009381 A JP 2005009381A JP 2005270635 A JP2005270635 A JP 2005270635A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- difference
- region
- alignment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000013598 vector Substances 0.000 claims abstract description 28
- 238000003672 processing method Methods 0.000 claims description 18
- 230000003902 lesion Effects 0.000 claims description 13
- 230000002123 temporal effect Effects 0.000 claims description 13
- 238000003745 diagnosis Methods 0.000 claims description 11
- 239000003550 marker Substances 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 16
- 238000004195 computer-aided diagnosis Methods 0.000 description 8
- 238000002591 computed tomography Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 210000000038 chest Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 4
- 210000000683 abdominal cavity Anatomy 0.000 description 2
- 238000011976 chest X-ray Methods 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 210000001370 mediastinum Anatomy 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Abstract
Description
本発明は、単純Ｘ線画像等の画像を基に被写体の経時変化を抽出する画像処理方法及び処理装置に関するものである。 The present invention relates to an image processing method and a processing apparatus that extract changes with time of a subject based on an image such as a simple X-ray image.
近年の医療画像分野においては、ＣＡＤ（コンピュータ支援診断：Computer Aided Diagnosis）の研究が活発に行われており、単純Ｘ線、ＣＴ（Computer Tomography）などの画像をコンピュータにより解析し、病変部分の疑いがある部分を検出することで、疾病の早期発見に貢献することが期待されている。 In recent years, in the field of medical imaging, CAD (Computer Aided Diagnosis) has been actively researched, and images of simple X-rays, CT (Computer Tomography), etc. are analyzed by a computer to suspect a lesion. It is expected to contribute to early detection of diseases by detecting certain parts.
ＣＡＤには、対象とする画像の種類や検出対象により様々な種類が考えられているが、その中に同一部位を撮影した画像の差分を求めることにより、経時変化を強調した画像を得る経時差分方式によるものが注目されている。 Various types of CAD are considered depending on the type of image to be detected and the detection target. By obtaining a difference between images obtained by photographing the same part in the CAD, a time-dependent difference that obtains an image that emphasizes temporal changes is obtained. The method is attracting attention.
この経時差分ＣＡＤにおいては、例えば時間的に異なる時点で撮影された１組の胸部単純Ｘ線画像を入力し、画像解析を行ってそれぞれの画像において解剖学的に同一となる位置を求め、現在又は過去の何れか一方の画像を変形し、画素毎の差分処理を行う。経時差分ＣＡＤは時間間隔をおいて撮影された画像間の変化を、正常な解剖学的構造を除去した差分画像として表示できるため、病変部の変化の様子を観察することに適している。 In this time-difference CAD, for example, a set of chest X-ray images taken at different points in time are input, and image analysis is performed to obtain anatomically identical positions in the respective images. Alternatively, any one of the past images is deformed, and the difference processing for each pixel is performed. The temporal difference CAD is suitable for observing the state of change in a lesion because a change between images taken at time intervals can be displayed as a difference image from which a normal anatomical structure is removed.
このような経時差分ＣＡＤの手法に関しては、例えば特許文献１等に開示されており、図７はこの特許文献１に開示されている経時差分の処理工程を示している。
Such a time-dependent difference CAD method is disclosed in, for example,
図７では、２０４８×２０４８の解像度を持つ現在及び過去画像を工程Ｐ１において所定の解像度変換手法により、例えば５１２×５１２及び１２８×１２８の大きさに画素数を減じ、更に工程Ｐ２において１２８×１２８の画像に対して、ガウシアンフィルタにより高周波成分をカットすることで、画像の概要を表す縮小画像を生成する。 In FIG. 7, the current and past images having a resolution of 2048 × 2048 are reduced in the number of pixels to, for example, 512 × 512 and 128 × 128 by a predetermined resolution conversion method in step P1, and further 128 × 128 in step P2. A high-frequency component is cut by using a Gaussian filter to generate a reduced image representing the outline of the image.
１２８×１２８の２つの縮小画像に対して、画像間の全体的な位置ずれを表すグローバルシフトベクトルを求める。更に、工程Ｐ４においてグローバルシフトベクトルが表す２つの画像間の位置関係に基づいて、５１２×５１２の解像度を持つ各画像に関心領域（ＲＯＩ：Region Of Interest）を設定して、各画像において対応する関心領域毎にマッチングを行って、更に詳細なシフトベクトルを求め、これを二次元多項式で補間して、任意の位置のシフトベクトルが計算可能なパラメータを求め、このパラメータを用いて何れか一方の画像を変形して差分を求め差分画像を出力する。 For two 128 × 128 reduced images, a global shift vector representing the overall positional deviation between the images is obtained. Furthermore, based on the positional relationship between the two images represented by the global shift vector in step P4, a region of interest (ROI) is set for each image having a resolution of 512 × 512, and each image corresponds. Matching is performed for each region of interest to obtain a more detailed shift vector, and this is interpolated with a two-dimensional polynomial to obtain a parameter capable of calculating a shift vector at an arbitrary position. The image is transformed to obtain a difference and a difference image is output.
このようにして、被写体の撮像時における姿勢の違い等に起因する画像上の位置ずれを補正し、次の差分処理を行う際に縮小画像を用いて全体的なずれを求めるという２段階補正を行うことで、より精度の高い位置補正を行っている。 In this way, a two-stage correction is performed in which a positional deviation on the image due to a difference in posture at the time of imaging of the subject is corrected, and an overall deviation is obtained using a reduced image when performing the next difference processing. By performing this, position correction with higher accuracy is performed.
しかし、原理的に２つの画像の差分処理を行っているために、元々病変部が存在しており、それが変化していない場合には、差分画像上には全くこの病変部による差信号は得られない。従って、何らかの方法により既に病変の存在が確認されている場合において、その情報が経時差分処理において用いられないことは、誤判断に結びつく可能性がある。 However, in principle, since the difference processing of two images is performed, the lesion part originally exists, and if it has not changed, the difference signal due to this lesion part is not displayed on the difference image at all. I can't get it. Therefore, when the presence of a lesion has already been confirmed by some method, the fact that the information is not used in the time-difference processing may lead to an erroneous determination.
また、既に病変部の存在が確認されており、その後の経過観察に差分画像が用いられている場合に、前述した差分処理において病変部分の変化がより詳細に観察可能な精度の高い差分処理画像が得られることが望ましい。 In addition, when the presence of a lesion is already confirmed and a difference image is used for the subsequent follow-up observation, the difference processing image with high accuracy that enables the change of the lesion to be observed in more detail in the difference processing described above. Is desirable.
従来においては、患者に関する過去の診断情報を有していても、経時差分処理に用いられなかったため、診断精度を落とす場合があり、それに対する種々の対策が望まれている。 Conventionally, even if the patient has past diagnosis information about the patient, it has not been used for the time difference processing, and thus the diagnosis accuracy may be lowered, and various countermeasures are desired.
本発明の目的は、前述した問題点に鑑み、効果的な経時差分処理を行う画像処理方法及び処理装置を提供することにある。 In view of the above-described problems, an object of the present invention is to provide an image processing method and a processing apparatus that perform effective temporal difference processing.
上記目的を達成するための本発明に係る画像処理方法は、第１の画像データ及び第２の画像データの少なくとも何れか一方に関する領域情報に基づいて経時差分処理を行う画像処理方法であって、前記領域情報を用いて前記第１の画像データと第２の画像データとの位置合わせを行う位置合わせ工程と、位置合わせ後の前記第１の画像データと第２の画像データとの差分処理を行う差分処理工程とを備えることを特徴とする。 An image processing method according to the present invention for achieving the above object is an image processing method for performing temporal difference processing based on region information relating to at least one of first image data and second image data, An alignment process for aligning the first image data and the second image data using the region information, and a difference process between the first image data and the second image data after the alignment. And a differential processing step to be performed.
また、本発明に係るプログラムは、第１の画像データ及び第２の画像データの少なくとも何れか一方に関する領域情報に基づいて経時差分処理を行う画像処理方法をコンピュータで実行するためのプログラムであって、前記領域情報を用いて前記第１の画像データと第２の画像データとの位置合わせを行う位置合わせ工程と、位置合わせ後の前記第１の画像データと第２の画像データとの差分処理を行う差分処理工程とをコンピュータに実行させる。 Further, a program according to the present invention is a program for causing a computer to execute an image processing method for performing temporal difference processing based on region information relating to at least one of first image data and second image data. , An alignment process for aligning the first image data and the second image data using the region information, and a difference process between the first image data and the second image data after the alignment And causing the computer to execute a differential processing step of performing
更に、本発明に係るコンピュータ可読記憶媒体は、第１の画像データ及び第２の画像データの少なくとも何れか一方に関する領域情報に基づいて経時差分処理を行う画像処理方法をコンピュータで実行するためのプログラムを記録したコンピュータ読み取り可能なコンピュータ可読記憶媒体であって、前記領域情報を用いて前記第１の画像データと第２の画像データとの位置合わせを行う位置合わせ工程と、位置合わせ後の前記第１の画像データと第２の画像データとの差分処理を行う差分処理工程とをコンピュータに実行させるためのプログラムを記録しコンピュータ読み取りを可能とする。 Furthermore, a computer-readable storage medium according to the present invention is a program for executing on a computer an image processing method for performing temporal difference processing based on region information relating to at least one of first image data and second image data. A computer-readable computer-readable storage medium having recorded therein, an alignment step of aligning the first image data and the second image data using the region information, and the alignment after the alignment A computer-readable program is recorded by recording a program for causing a computer to execute a difference processing step for performing a difference process between the first image data and the second image data.
本発明に係る画像処理装置は、第１の画像データ及び第２の画像データの少なくとも何れか一方に関する領域情報に基づいて経時差分処理を行う画像処理装置であって、前記領域情報を用いて前記第１の画像データと第２の画像データとの位置合わせを行う位置合わせ手段と、位置合わせ後の前記第１の画像データと第２の画像データとの差分処理を行う差分処理手段とを備えたことを特徴とする。 An image processing apparatus according to the present invention is an image processing apparatus that performs temporal difference processing based on area information related to at least one of first image data and second image data, and uses the area information to Alignment means for aligning the first image data and the second image data, and difference processing means for performing difference processing between the first image data and the second image data after alignment. It is characterized by that.
本発明に係る画像処理方法及び処理装置によれば、画像効果的な経時差分処理を行うことができる。 According to the image processing method and the processing apparatus according to the present invention, it is possible to perform image effective temporal difference processing.
本発明を図１〜図６に図示の実施例に基づいて詳細に説明する。 The present invention will be described in detail based on the embodiment shown in FIGS.
図１は実施例１の画像処理システムのブロック回路構成図である。医療画像を取得するための撮像部１の出力は、画像を記憶する例えばハードディスク、光磁気ディスク等から成る蓄積型の記憶装置である保存部２、及び画像入力部３に接続され、画像入力部３の出力は差分処理部４、表示制御部５、及びＣＲＴモニタ、液晶ディスプレイ、或いはプリンタ等から成る表示部６に順次に接続されている。また、保存部２の出力は画像入力部３、診断情報入力部７に接続され、診断情報入力部７の出力は差分処理部４、表示制御部５に接続されている。
FIG. 1 is a block circuit configuration diagram of the image processing system according to the first embodiment. The output of the
撮像部１は診断に用いられる画像を新たに生成する撮像装置であり、例えばＸ線撮像装置等のモダリティである。本実施例においては、撮像部１は胸部を対象とした単純Ｘ線撮像装置とするが、他の撮像装置であっても本発明の適用が可能である。
The
撮像部１で生成された現在画像Ｉｃは、保存部２及び画像入力部３に出力される。ただし、必ずしも撮像装置に直結されている必要はなく、ネットワークを介して画像の伝送が可能な画像サーバであってもよい。また、撮像部１から出力されるデータは現在画像Ｉｃだけではなく、撮影の日付、患者氏名、患者のＩＤ番号、生年月日、所見等の付帯情報Ｄｃも同時に出力される。
The current image Ic generated by the
画像入力部３は撮像部１から撮影された画像を入力する一方で、保存部２から同一患者の過去に撮影された過去画像Ｉｐ及び付帯情報Ｄｐを入力する。本実施例においては、同一患者の過去に撮影された過去画像Ｉｐが、保存部２に保存されているものとして説明する。ただし、現在画像Ｉｃ及び付帯情報Ｄｃが撮像部１から入力されることに限定されるものではなく、現在画像Ｉｃ及び付帯情報Ｄｃも保存部２から入力されてもよい。
The
また、保存部２から出力された過去画像Ｉｐの付帯情報Ｄｐは診断情報入力部７にも出力される。ここで、付帯情報Ｄｐに含まれる所見が有所見の場合に、本実施例においては付帯情報Ｄｐに関心領域が含まれているものとする。ここで、関心領域ＲＯＩは過去画像Ｉｐにおける病変部分の位置を現す座標値であり、例えば図２に示すように、病変部分を含む矩形状のｘ１、ｘ２、ｙ１、ｙ２として定義されているものとする。診断情報入力部７はこの関心領域ＲＯＩの座標値を差分処理部４に出力する。
Further, the incidental information Dp of the past image Ip output from the
一方、画像入力部３は現在画像Ｉｃ及び過去画像Ｉｐを差分処理部４に出力する。差分処理部４は従来技術の項において説明したように、基本的に図７に示す処理により、２つの画像の差分画像を生成して出力するが、本実施例では図７における工程Ｐ４に対応する差分処理において、関心領域の情報が用いられる。
On the other hand, the
図３は現在画像Ｉｃに対して胸郭を関心領域（ＲＯＩ：Region Of Interest）として設定した画像の説明図であり、図中の各点は関心領域に対して均等な間隔で置かれた代表点を示している。 FIG. 3 is an explanatory diagram of an image in which the rib cage is set as a region of interest (ROI) with respect to the current image Ic, and each point in the diagram is a representative point placed at an equal interval with respect to the region of interest. Is shown.
図４は差分処理の基本フローチャート図である。ステップＳ１１において、現在画像Ｉｃの代表点ごとに複数のマッチングＲＯＩｍｃを設定する。ここで、ＲＯＩｍｃは各代表点を中心とした一定範囲の領域であり、例えば画素２１×２１の方形領域とする。なお、これらのマッチングＲＯＩは、図７における工程Ｐ３において求められたグローバルシフトベクトルを考慮し、胸郭である各ＲＯＩが２つの画像において略一致している状態で設定される。 FIG. 4 is a basic flowchart of the difference process. In step S11, a plurality of matching ROImc is set for each representative point of the current image Ic. Here, ROImc is an area of a certain range centered on each representative point, and is, for example, a rectangular area of pixels 21 × 21. Note that these matching ROIs are set in a state where each ROI that is a rib cage substantially matches in two images in consideration of the global shift vector obtained in step P3 in FIG.
次に、ステップＳ１２において各対応するマッチングＲＯＩｍｃ毎にマッチング処理が行われ、現在画像Ｉｃ上の各代表点の位置に対する過去画像Ｉｐ上の対応点が計算される。このときのマッチング処理としては、相互相関係数が最大値となる位置を求めるなどの公知の方法が用いられる。 Next, matching processing is performed for each corresponding matching ROImc in step S12, and corresponding points on the past image Ip with respect to the position of each representative point on the current image Ic are calculated. As the matching process at this time, a known method such as obtaining a position where the cross-correlation coefficient becomes the maximum value is used.
具体的には、代表点を中心とする方形領域と最も相互相関係数が最大となる領域を算出し、算出した領域の中心点を対応点とするものである。これにより、現在画像Ｉｃ上の代表点（ｘｉ，ｙｉ）を過去画像Ｉｐ上の対応点（ｘｉ'，ｙｉ'）に変換するシフトベクトル（Δｘｉ，Δｙｉ）が求められる。 Specifically, a square region centered on the representative point and a region having the largest cross-correlation coefficient are calculated, and the center point of the calculated region is used as a corresponding point. Thereby, the shift vector (Δxi, Δyi) for converting the representative point (xi, yi) on the current image Ic to the corresponding point (xi ′, yi ′) on the past image Ip is obtained.
続いて、ステップＳ１３においては、ステップＳ１２において求められた代表点、対応点間におけるシフトベクトル（Δｘｉ，Δｙｉ）に対して二次元のフィッティングを行うが、このフィッティングには例えば二次元の多項式近似が用いられる。具体的には、式（１）のＳｘを最小とする係数Ｃｎを算出するものである。最小二乗法により多項式の係数が計算されるが、ここで、計算の際に各シフトベクトルに対して重み係数ｗｉを用いて重み付けを行い、フィッティングにおける寄与の度合いを調整する。 Subsequently, in step S13, two-dimensional fitting is performed on the shift vector (Δxi, Δyi) between the representative point and the corresponding point obtained in step S12. For this fitting, for example, a two-dimensional polynomial approximation is performed. Used. Specifically, the coefficient Cn that minimizes Sx in Expression (1) is calculated. The coefficient of the polynomial is calculated by the least square method. Here, weighting is performed on each shift vector using the weighting coefficient wi at the time of calculation, and the degree of contribution in the fitting is adjusted.
即ち、現在画像ＩｃのマッチングＲＯＩｍｃが先に診断情報入力部から差分処理部４に入力された関心領域に含まれるか、その一部がオーバーラップしている場合には、そのシフトベクトルに対しては他のシフトベクトルに対して小さな重み付けが与えられる。例えば、関心領域にかかるシフトベクトルに対しては重み係数として０．５を与え、その他のシフトベクトルに対しては、１等の値を与えればよい。
That is, if the matching ROImc of the current image Ic is included in the region of interest previously input from the diagnostic information input unit to the
このようにして得られたフィッティング係数に基づいて、ステップＳ１４において現在画像Ｉｃが変形される。即ち、現在画像ＩｃのＸ座標（ｘｉ）は、過去画像ＩｐのＸ座標（ｘｉ'）に移動する。 Based on the fitting coefficient obtained in this way, the current image Ic is deformed in step S14. That is, the X coordinate (xi) of the current image Ic moves to the X coordinate (xi ′) of the past image Ip.
同様に、各座標点のＹ方向のシフトベクトルも計算される。 Similarly, the shift vector in the Y direction of each coordinate point is also calculated.
このように、二次元多項式補間は最小自乗誤差法などにより、入力された二次元データを利用し、各多項式項の係数を求めて、入力された二次元データを近似する。二次元多項式による補間は、対応点全体領域を渡って係数を求めるので、入力された二次元データを滑らかに補間でき、データに潜んでいるノイズも或る程度抑制できる。そのため、対応点シフトベクトルを補間する際に、二次元多項式補間を用いることが多い。 As described above, the two-dimensional polynomial interpolation uses the input two-dimensional data by the least square error method or the like to obtain the coefficient of each polynomial term and approximate the input two-dimensional data. In the interpolation by the two-dimensional polynomial, the coefficient is obtained across the entire region of the corresponding points, so that the input two-dimensional data can be smoothly interpolated, and the noise hidden in the data can be suppressed to some extent. Therefore, two-dimensional polynomial interpolation is often used when interpolating corresponding point shift vectors.
次に、変形された現在画像Ｉｃは、ステップＳ１５において過去画像Ｉｐとの差分処理が行われ、差分画像が出力され表示制御部５に対して出力される。表示制御部５は差分画像、現在画像Ｉｃ、過去画像Ｉｐ及びそれらの付帯情報を所定の配置に構成して表示部６に出力する。
Next, the deformed current image Ic is subjected to difference processing with the past image Ip in step S <b> 15, and a difference image is output and output to the
このように、本実施例では差分処理部４においてシフトベクトルのフィッティングを行う際に、別途に保存部２から入力した過去の診断情報における関心領域に基づいて、この関心領域のシフトベクトルをその他のシフトベクトルに対して、より小さな重み付けを行って画像を変形し差分画像を生成する。これによって、正常な構造の信号成分はより減弱されることなり、過去の診断により決定される関心領域に対しては、変化がより強調された差分画像が生成される。
As described above, in this embodiment, when the
更に、これに加えて画素値の平均値の大きさに応じて重み付けを変更することもできる。胸部Ｘ線画像においては、縦隔及び腹腔部分の輝度レベルは平均的に高い値を持ち、コントラストが低いために、十分なマッチング精度が得られないことがある。従って、関心領域には含まれず、かつ高輝度レベルの領域に属するシフトベクトルに対しては、低い重み付けを与えるようにすればよい。 In addition to this, the weighting can be changed according to the average value of the pixel values. In a chest X-ray image, the luminance levels of the mediastinum and abdominal cavity have high values on average, and the contrast is low, so that sufficient matching accuracy may not be obtained. Therefore, a low weight may be given to shift vectors that are not included in the region of interest and belong to the region of high luminance level.
一方、縦隔、腹腔の領域であっても、それが関心領域に含まれるシフトベクトルに関しては、低い重み付けを与えないようにすれば、診断上重要な部分に対する必要以上の画質低下を防止することができる。 On the other hand, even in the mediastinum and abdominal cavity areas, if the shift vector included in the region of interest is not given low weighting, it will prevent unnecessary deterioration of image quality in diagnostically important parts. Can do.
上述の実施例１においては、過去の診断情報から得られた関心領域に基づいてシフトベクトルを求めるマッチング時の重み付けを制御したが、マッチングを行う際の処理方法を変更してもよい。 In the above-described first embodiment, the weighting at the time of matching for obtaining the shift vector is controlled based on the region of interest obtained from the past diagnosis information. However, the processing method at the time of matching may be changed.
実施例２においては、現在画像Ｉｃ及び過去画像Ｉｐに複数のマッチングを設定し、マッチングを行う際の画素間隔を変更する。即ち、マッチング尺度として相互相関係数を用いた場合に、位置（ａ，ｂ）における相互相関係数Ｃ（ａ，ｂ）は次式で計算される。ただし、Ｉｐ（ａ，ｂ）は過去画像Ｉｐの位置（ａ，ｂ）に設定されたマッチングＲＯＩｍｐの画像データ、Ｉｃは現在画像Ｉｃに設定された対応領域の画像データである。 In the second embodiment, a plurality of matching is set for the current image Ic and the past image Ip, and the pixel interval for performing matching is changed. That is, when the cross-correlation coefficient is used as a matching measure, the cross-correlation coefficient C (a, b) at the position (a, b) is calculated by the following equation. However, Ip (a, b) is the image data of the matching ROImp set at the position (a, b) of the past image Ip, and Ic is the image data of the corresponding region set in the current image Ic.
ここで、現在画像Ｉｃは画像処理のマッチング技術においては屡々テンプレートと呼ばれる。実施例１においては、式（３）で相互相関係数Ｃ（ａ，ｂ）を計算する際に、このテンプレートを１画素ずつ移動して相互相関係数Ｃ（ａ，ｂ）を計算する。 Here, the current image Ic is often called a template in the image processing matching technique. In the first embodiment, when calculating the cross-correlation coefficient C (a, b) using Equation (3), the template is moved pixel by pixel to calculate the cross-correlation coefficient C (a, b).
本実施例２においては、診断情報入力部７から得られた関心領域に基づいて、マッチングの際の座標が関心領域の内部に位置しない場合は、１画素ずつテンプレートを移動する。しかし、座標が関心領域の内部に位置する場合は、１画素よりも大きい値、例えば２画素単位でテンプレートを移動する。
In the second embodiment, based on the region of interest obtained from the diagnostic
これにより、関心領域では若干マッチングの精度が低下する可能性があるが、全体的には処理の速度を向上させ、関心領域以外に関してはより精度の高いマッチングを行うことができる。 Thereby, although there is a possibility that the matching accuracy slightly decreases in the region of interest, overall processing speed can be improved, and more accurate matching can be performed in regions other than the region of interest.
実施例１、２においては、過去の診断情報の関心領域に基づいて適応的な処理を行ったが、他の処理において用いることも可能である。 In the first and second embodiments, adaptive processing is performed based on the region of interest of past diagnostic information, but it can also be used in other processing.
図５は実施例３における差分処理のフローチャート図である。このフローチャート図において、ステップＳ１５の差分計算までは図４と同様であるが、ステップＳ１６以下において生成された差分画像の画質を次のように評価する。 FIG. 5 is a flowchart of difference processing in the third embodiment. In this flowchart, the processing up to the difference calculation in step S15 is the same as in FIG. 4, but the image quality of the difference image generated in step S16 and subsequent steps is evaluated as follows.
即ち、ステップＳ１６において、差分画像中の肺野領域に対応する部分に対してサンプル領域を設定する。図６（ａ）は差分画像に対して２つのサンプル領域ＲＯＩｓｒ及びＲＯＩｓｌの設定例である。これらのサンプル領域は過去画像Ｉｐから抽出された肺野領域の中央に設定されるが、肺野抽出の方法としては公知の方法によることができるため、詳細な説明は省略する。 That is, in step S16, a sample region is set for a portion corresponding to the lung field region in the difference image. FIG. 6A shows an example of setting two sample regions ROIsr and ROIsl for the difference image. These sample regions are set at the center of the lung field region extracted from the past image Ip, but a detailed description thereof is omitted because the lung field extraction method can be a known method.
なお図６においては、２個所のサンプル領域が設定されているが、必ずしも２個所である必要はなく、肺野内の診断上重要な位置に任意の数が設定される。ただし、本実施例３において、サンプル領域は図６（ｂ）に示すように、診断情報入力部７から得られた関心領域に重ならない位置に設定されるものとする。
In FIG. 6, two sample regions are set, but it is not always necessary to have two locations, and an arbitrary number is set at a position important for diagnosis in the lung field. However, in the third embodiment, the sample region is set to a position that does not overlap the region of interest obtained from the diagnostic
次に、ステップＳ１７において各サンプル領域内の差分画像の画素分布が解析され、分布が所定の閾値以上の場合にステップＳ１８に進み、そうでない場合には差分画像を出力して処理を終了する。画素分布の解析方法としては、画素値のヒストグラム幅や分散を用いることができる。 Next, in step S17, the pixel distribution of the difference image in each sample region is analyzed. If the distribution is equal to or greater than a predetermined threshold, the process proceeds to step S18. If not, the difference image is output and the process is terminated. As a method for analyzing the pixel distribution, a histogram width or variance of pixel values can be used.
ステップＳ１８においては、先にステップＳ１３においてフィッティング係数を計算する際に用いたシフトベクトルを新たに選択し、再びステップＳ１３に戻りフィッティング係数が計算される。 In step S18, the shift vector previously used in calculating the fitting coefficient in step S13 is newly selected, and the process returns to step S13 again to calculate the fitting coefficient.
このとき、先に画素分布が所定の大きさを超えたサンプル領域に属するシフトベクトルは、再びステップＳ１３においてフィッティング係数が計算される際に用いられないように、ステップＳ１８においてシフトベクトルが選択されている。 At this time, the shift vector is selected in step S18 so that the shift vector belonging to the sample region whose pixel distribution has exceeded the predetermined size is not used again when the fitting coefficient is calculated in step S13. Yes.
これにより、局所的な外乱要因で画像が歪み、当該部分のシフトベクトルに誤差が多く含まれる場合にこれを除外し、全体的な位置合わせに及ぼす影響を抑制することができるが、関心領域に関してはサンプル領域に含めないことにより、常にフィッティングの対象とすることができる。 As a result, if the image is distorted due to local disturbance factors and the shift vector of the part contains many errors, this can be excluded and the influence on the overall alignment can be suppressed. Is not included in the sample area, it can always be a fitting target.
従って、経過観察等において関心領域の部分に局所的な変化が生じている場合であっても、この部分についてはできるだけ正確な差分画像を生成することが可能となる。 Therefore, even if a local change occurs in the region of interest during follow-up observation, it is possible to generate a differential image as accurate as possible for this portion.
上述の実施例１〜３においては、差分画像処理の工程において過去の診断情報に基づいた処理が行われたが、生成された差分画像を表示する際に表示形態を切換えてもよい。 In the above-described first to third embodiments, processing based on past diagnosis information is performed in the differential image processing step. However, the display form may be switched when displaying the generated differential image.
実施例４においては、図１において診断情報入力部７からの診断情報は表示制御部５に出力される。表示制御部５は差分処理部４から入力した差分画像を表示部６に出力する際に、診断情報入力部７から入力した関心領域の位置にマーカを重ね合わせて出力する。
In the fourth embodiment, the diagnostic information from the diagnostic
差分処理においては、処理対象となる画像の対応する部分間で変化がないと、それは差分画像上には現れない。従って、何らかの病変が過去から引き続き存在したとしても、十分に注意を払わなければ誤判断に繋がる可能性がある。しかし、別に入力した過去の診断情報から関心領域を抽出して重ね合わせることにより、このような誤判断を防止することが可能となる。 In difference processing, if there is no change between corresponding portions of an image to be processed, it does not appear on the difference image. Therefore, even if some kind of lesion continues to exist from the past, it may lead to misjudgment if sufficient attention is not paid. However, it is possible to prevent such erroneous determination by extracting a region of interest from past diagnostic information separately input and superimposing it.
実施例４においては、差分画像の関心領域にマーカを追加表示したが、過去の診断情報において無所見であった場合には、それを示すようにしてもよい。即ち、表示制御部５は診断情報入力部７から関心領域に関する情報が入力されなかった場合は、差分画像に対してマーカを重ね合わせる代りに、無所見であることを示す表示を表示部６に出力する。表示の方法としては、ウィンドウシステムをベースとした場合には、小ウィンドウの追加表示や、ウィンドウ内に過去の所見の有無を示すランプ状の表示を行ってもよい。
In the fourth embodiment, the marker is additionally displayed in the region of interest of the difference image. However, when there is no finding in the past diagnosis information, it may be indicated. That is, when the information related to the region of interest is not input from the diagnostic
上述の実施例においては、対象患者の付帯情報Ｄｐは過去画像Ｉｐに対応するものとして説明した。しかし、これは必ずしも対応しなくともよく、例えば対象患者の過去のＣＴ撮影結果に対する付帯情報Ｄｐを使用して、過去画像Ｉｐにおいて関心領域ＲＯＩを決定することもできる。 In the above-described embodiment, the incidental information Dp of the target patient has been described as corresponding to the past image Ip. However, this does not necessarily correspond to the region of interest ROI in the past image Ip by using the incidental information Dp with respect to the past CT imaging result of the target patient, for example.
ＣＴ画像の付帯情報Ｄｐから単純Ｘ線画像上での関心領域ＲＯＩを決定する方法を説明すると、近年のマルチスライスＣＴによれば、等方性画像（Isotropic）を得ることができ、この等方性画像からはＲＡＹＳＵＭ処理により単純Ｘ線画像と同等の得られることは周知である。ＲＡＹＳＵＭ処理は、等方性画像が形成する三次元ボリュームデータを空間上の一点から投影する処理である。 The method of determining the region of interest ROI on the simple X-ray image from the incidental information Dp of the CT image will be described. According to the recent multi-slice CT, an isotropic image (Isotropic) can be obtained. It is well known that a sex image can be obtained equivalent to a simple X-ray image by RAYSUM processing. The RAYSUM process is a process for projecting the three-dimensional volume data formed by the isotropic image from one point in space.
その際に、三次元ボリュームデータ中にマークされた関心領域ＲＯＩも同時に投影することが可能である。ＣＴ画像において、関心領域ＲＯＩを示すマークはスライス画像毎に設定されるからである。このようにして作成されたＲＡＹＳＵＭ画像と関心領域ＲＯＩの関係は図２と同様である。 At that time, the region of interest ROI marked in the three-dimensional volume data can also be projected at the same time. This is because, in the CT image, a mark indicating the region of interest ROI is set for each slice image. The relationship between the RAYSUM image created in this way and the region of interest ROI is the same as in FIG.
ＣＴ画像と単純Ｘ線画像を例にとって説明したが、ＭＲＩ画像やＰＥＴ画像と単純Ｘ線画像であっても同様の手順で、異なるモダリティによる付帯情報Ｄｐを利用することができる。ＣＴ画像の付帯情報Ｄｐを利用して、単純Ｘ線画像における経時差分をすることの利点は被曝線量の低減にある。ＣＴ撮影は撮影線量が多く、頻回の経過観察には適さないため、被曝線量の小さい単純Ｘ線画像を使用して経過観察することが、対被曝効果の面で有利である。 Although a CT image and a simple X-ray image have been described as examples, incidental information Dp with different modalities can be used in the same procedure even with an MRI image, a PET image, and a simple X-ray image. An advantage of using the incidental information Dp of the CT image to make a temporal difference in the simple X-ray image is to reduce the exposure dose. Since CT imaging has a large imaging dose and is not suitable for frequent follow-up, it is advantageous in terms of exposure effect to follow-up using a simple X-ray image with a small exposure dose.
なお、上述の実施例１〜６において、保存部２に画像と共に保存されている診断情報は、次の何れかの方法によることができる。即ち、医師が画像を観察して入力を行った読影レポートを基に関心領域ＲＯＩを決定することができる。この場合に、関心領域の位置は読影レポート内に手動で設定され、所定のタグと共に保存される。一方、画像内の関心領域がコンピュータによる画像解析手法により、自動的に検出されたものであってもよい。
In the first to sixth embodiments described above, the diagnostic information stored together with the image in the
更に、上述の画像解析手法に関しては、１枚の画像から病変部分を自動的に検出するＣＡＤによるものであってもよいし、１組の画像から得られた差分画像に対して画像解析により病変部分を検出するものであってもよい。 Further, the above-described image analysis method may be based on CAD that automatically detects a lesion portion from one image, or a lesion image obtained by image analysis on a difference image obtained from a set of images. The part may be detected.
更に、本発明は上記の実施例を実現するためのシステム、装置及び方法のみに限定されるものではなく、上記システム又は装置内のＣ工程ＰＵやＭ工程ＰＵのコンピュータに、実施例を実現するためのソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システム或いは装置のコンピュータが各種デバイスを動作させることにより、上述の実施例を実現する場合も本発明の範疇に含まれる。 Further, the present invention is not limited only to the system, apparatus, and method for realizing the above-described embodiment, and the embodiment is realized in a computer of a C process PU and an M process PU in the system or apparatus. The case where the above-described embodiment is realized by supplying a program code of software for the above-described operation and causing the computer of the system or apparatus to operate various devices according to the program code is also included in the scope of the present invention.
また、この場合にソフトウエアのプログラムコード自体が実施例の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的にはプログラムコードを格納した記憶媒体は本発明の範疇に含まれる。 In this case, the software program code itself realizes the functions of the embodiment, and the program code itself and means for supplying the program code to the computer, specifically, the program code are stored. The storage medium is included in the category of the present invention.
このようなプログラムコードを格納する記憶媒体としては、例えばフロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。 As a storage medium for storing such a program code, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
またコンピュータが供給されたプログラムコードのみに従って各種デバイスを制御することにより、実施例の機能が実現される場合だけではなく、プログラムコードがコンピュータ上で稼働しているＯＳ（オペレーティングシステム）、或いは他のアプリケーションソフト等と共働して実施例を実行する場合にも、このようなプログラムコードは本発明の範疇に含まれる。 In addition to the case where the functions of the embodiments are realized by controlling various devices according to only the program code supplied by the computer, the OS (operating system) on which the program code is running on the computer, or other Such program code is also included in the scope of the present invention when the embodiment is executed in cooperation with application software or the like.
更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後に、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣ工程ＰＵ等が実際の処理の一部又は全部を行い、その処理によって実施例が実現される場合も本発明の範疇に含まれる。 Further, after the supplied program code is stored in the memory of the function expansion board of the computer or the function expansion unit connected to the computer, the program code is stored in the function expansion board or function storage unit based on the instruction of the program code. The case where the provided C process PU or the like performs part or all of the actual processing and the embodiment is realized by the processing is also included in the scope of the present invention.
１ 撮像部
２ 保存部
３ 画像入力部
４ 差分処理部
５ 表示制御部
６ 表示部
７ 診断情報入力部
DESCRIPTION OF
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005009381A JP2005270635A (en) | 2004-02-23 | 2005-01-17 | Method for processing image and device for processing image |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004046482 | 2004-02-23 | ||
| JP2005009381A JP2005270635A (en) | 2004-02-23 | 2005-01-17 | Method for processing image and device for processing image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005270635A true JP2005270635A (en) | 2005-10-06 |
Family
ID=35170888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005009381A Pending JP2005270635A (en) | 2004-02-23 | 2005-01-17 | Method for processing image and device for processing image |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005270635A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007260398A (en) * | 2006-03-29 | 2007-10-11 | Siemens Ag | Method for reducing stepwise artifact in computer tomographic displaying of heart and memory medium |
| WO2009050962A1 (en) * | 2007-10-18 | 2009-04-23 | Canon Kabushiki Kaisha | Diagnosis support device, method for controlling diagnosis support device, and its program |
| JP2010063667A (en) * | 2008-09-11 | 2010-03-25 | Hitachi Medical Corp | Diagnostic image support system and program |
| JP2012133679A (en) * | 2010-12-22 | 2012-07-12 | Fujitsu Ltd | Image collation program, image collation method, and image collation device |
| JP2013010009A (en) * | 2012-10-03 | 2013-01-17 | Canon Inc | Diagnosis support apparatus, method for controlling diagnosis support apparatus, and program of the same |
-
2005
- 2005-01-17 JP JP2005009381A patent/JP2005270635A/en active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007260398A (en) * | 2006-03-29 | 2007-10-11 | Siemens Ag | Method for reducing stepwise artifact in computer tomographic displaying of heart and memory medium |
| US8892187B2 (en) | 2006-03-29 | 2014-11-18 | Siemens Aktiengesellschaft | Method for reducing step artifacts in a cardio CT representation |
| WO2009050962A1 (en) * | 2007-10-18 | 2009-04-23 | Canon Kabushiki Kaisha | Diagnosis support device, method for controlling diagnosis support device, and its program |
| JP2009095550A (en) * | 2007-10-18 | 2009-05-07 | Canon Inc | Diagnosis support apparatus, method for controlling diagnosis support apparatus, and program of the same |
| KR101216259B1 (en) | 2007-10-18 | 2012-12-28 | 캐논 가부시끼가이샤 | Diagnosis support device, method for controlling diagnosis support device, and diagnosis support system |
| US9852269B2 (en) | 2007-10-18 | 2017-12-26 | Canon Kabushiki Kaisha | Diagnosis support apparatus, method of controlling diagnosis support apparatus, and program therefor |
| US10297352B2 (en) | 2007-10-18 | 2019-05-21 | Canon Kabushiki Kaisha | Diagnosis support apparatus, method of controlling diagnosis support apparatus, and program therefor |
| JP2010063667A (en) * | 2008-09-11 | 2010-03-25 | Hitachi Medical Corp | Diagnostic image support system and program |
| JP2012133679A (en) * | 2010-12-22 | 2012-07-12 | Fujitsu Ltd | Image collation program, image collation method, and image collation device |
| JP2013010009A (en) * | 2012-10-03 | 2013-01-17 | Canon Inc | Diagnosis support apparatus, method for controlling diagnosis support apparatus, and program of the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9990744B2 (en) | Image registration device, image registration method, and image registration program | |
| JP5643304B2 (en) | Computer-aided lung nodule detection system and method and chest image segmentation system and method in chest tomosynthesis imaging | |
| JP4744883B2 (en) | Image alignment method and medical image data processing apparatus | |
| US9953423B2 (en) | Image processing apparatus, image processing method, and storage medium for image processing based on priority | |
| US7406187B2 (en) | Method and system for processing an image | |
| JP4640845B2 (en) | Image processing apparatus and program thereof | |
| WO2013018575A1 (en) | Image diagnostic device and image correction method | |
| EP2591459B1 (en) | Automatic point-wise validation of respiratory motion estimation | |
| EP3201876B1 (en) | Medical image processing apparatus, medical image processing method | |
| US20180064409A1 (en) | Simultaneously displaying medical images | |
| US7689018B2 (en) | Anomaly detection in volume data structure information | |
| US8306354B2 (en) | Image processing apparatus, method, and program | |
| US20070092124A1 (en) | System for and method of displaying subtraction image and computer program for the system | |
| JP2005270635A (en) | Method for processing image and device for processing image | |
| KR102254365B1 (en) | Medical image processing method | |
| EP3721412B1 (en) | Registration of static pre-procedural planning data to dynamic intra-procedural segmentation data | |
| US10413364B1 (en) | Internal organ localization of a subject for providing assistance during surgery | |
| JP6642048B2 (en) | Medical image display system, medical image display program, and medical image display method | |
| JP2005136594A (en) | Image processing apparatus and control method thereof | |
| US10299864B1 (en) | Co-localization of multiple internal organs based on images obtained during surgery | |
| Iakovidis et al. | Robust model-based detection of the lung field boundaries in portable chest radiographs supported by selective thresholding | |
| JP2005223776A (en) | Image processor and method therefor, and storage medium | |
| EP4128145B1 (en) | Combining angiographic information with fluoroscopic images | |
| US20220309684A1 (en) | Dynamic image control apparatus, non-transitory computer readable storage medium storing control program, and image display system | |
| JP2010075327A (en) | Diagnostic imaging support apparatus, diagnostic imaging support method, and program |