JP2011024763A - Image processing method and image processor - Google Patents

Image processing method and image processor Download PDF

Info

Publication number
JP2011024763A
JP2011024763A JP2009173093A JP2009173093A JP2011024763A JP 2011024763 A JP2011024763 A JP 2011024763A JP 2009173093 A JP2009173093 A JP 2009173093A JP 2009173093 A JP2009173093 A JP 2009173093A JP 2011024763 A JP2011024763 A JP 2011024763A
Authority
JP
Japan
Prior art keywords
image
alignment
divided
image processing
displacement vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009173093A
Other languages
Japanese (ja)
Inventor
Hajime Sasaki
元 佐々木
Kumiko Seto
久美子 瀬戸
Masayuki Ota
雅之 太田
Shuntaro Yui
俊太郎 由井
Takuya Kamiyama
卓也 神山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2009173093A priority Critical patent/JP2011024763A/en
Publication of JP2011024763A publication Critical patent/JP2011024763A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To achieve highly accurate positioning without being limited by a target region or by the kind of an image diagnostic apparatus in the positioning by nonrigid deformation of a first image and a second image. <P>SOLUTION: After the comprehensive positioning (10002) of the whole first image and second image to optimize a predetermined index to the matching degree is performed, the first image and second image are divided into a plurality of segments by a predetermined method (10005), and the positioning (10006) to optimize the index to the matching degree is performed in respective corresponding divided segments. The second image is subjected to the nonrigid deformation (10007) by a predetermined method based on the result of positioning in the divided segments. The divided segments are further divided into a plurality of segments (10010), and the process of positioning to optimize the index to the matching degree in respective corresponding segments is repeated till the matching degree satisfies a predetermined condition (10009). <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、医療分野における画像処理技術、特に、第一の画像と第二の画像を位置合せする画像処理技術に関する。   The present invention relates to an image processing technique in the medical field, and more particularly to an image processing technique for aligning a first image and a second image.

医療分野において、X線コンピュータ断層撮影(Computer Tomography:CT)装置や、核磁気共鳴撮影(Magnetic Resonance Imaging:MRI)装置、陽電子放射断層撮影(Positron emission tomography:PET)装置や、単一光子放射断層撮影(Single photon emission computed tomography:SPECT)装置など、様々な種類の画像診断装置による三次元画像が診断や経過観察に活用されている。X線CT装置は一般に歪みが少なく、空間分解能の高い画像を得ることができるが、軟部組織の組織学的変化があまり反映されない。一方、MRI装置は軟部組織を高いコントラストで描出できる。また、PET装置やSPECT装置は代謝レベルなどの生理的な情報を画像化することができるため機能画像と呼ばれるが、X線CT装置やMRI装置などと比較して臓器形態を明瞭に描出できない。このように、各種の画像診断装置は夫々が長所と短所を併せ持つ。   In the medical field, X-ray computer tomography (CT), nuclear magnetic resonance imaging (MRI), positron emission tomography (PET), single photon emission tomography Three-dimensional images obtained by various types of image diagnostic apparatuses such as a single photon emission computed tomography (SPECT) apparatus are used for diagnosis and follow-up observation. An X-ray CT apparatus generally has little distortion and can obtain an image with high spatial resolution, but the histological change of soft tissue is not so reflected. On the other hand, the MRI apparatus can depict soft tissue with high contrast. In addition, PET and SPECT devices are called functional images because they can image physiological information such as metabolic levels. However, organ forms cannot be clearly depicted as compared to X-ray CT devices and MRI devices. Thus, each type of diagnostic imaging apparatus has both advantages and disadvantages.

従って、複数種類の画像を位置合せすることは、夫々の短所を補い合うと共に、夫々の長所を活用することができるため、診断や経過観察に有用である。例えば、X線CT装置の画像とPET装置の画像を位置合せすることによって、腫瘍の位置がどの臓器のどの部分であるかを正確に判定することが可能になる。   Accordingly, aligning a plurality of types of images is useful for diagnosis and follow-up observation because it can compensate for each disadvantage and utilize each advantage. For example, by aligning the image of the X-ray CT apparatus and the image of the PET apparatus, it is possible to accurately determine which part of which organ the position of the tumor is.

また、同一種類の画像であっても、異なる時点で撮影した画像を位置合せすることは診断や経過観察に有用である。例えば、造影剤の注入前後の画像を位置合せすることによって血管や病変を特異的に判定できるし、治療前後の画像を位置合せすることによって治療効果を判定できる。   In addition, even for images of the same type, it is useful for diagnosis and follow-up observation to align images taken at different times. For example, blood vessels and lesions can be specifically determined by aligning images before and after contrast agent injection, and therapeutic effects can be determined by aligning images before and after treatment.

以上に述べたような画像の位置合せを診断や経過観察に有効に活用するためには、画像が正確に位置合せされる必要がある。しかし、体積と形状が変化しない剛体の平行移動と回転移動で位置合せを行っても、画像の歪みや臓器の変形などの影響により、正確な位置合せを実現することは困難である。そこで、一方の画像を歪ませたり変形させたりする非剛体変形を行うことによって、細部まで正確な位置合せを行うことが可能になる。   In order to effectively use the image alignment as described above for diagnosis and follow-up observation, it is necessary to accurately align the images. However, even if alignment is performed by translation and rotation of a rigid body whose volume and shape do not change, it is difficult to achieve accurate alignment due to the effects of image distortion and organ deformation. Therefore, by performing non-rigid deformation that distorts or deforms one of the images, it is possible to perform accurate alignment to the details.

特許文献1には、操作者が画像変形ツールを利用して、手動で画像を変形させる方法が記載されている。   Patent Document 1 describes a method in which an operator manually deforms an image using an image deformation tool.

また、特許文献2には、各画像で対応する複数の点の組を手動または自動で抽出して、それら対応する点がすべて一致するように一方の画像を変形させる方法が記載されている。特許文献2には、対応点の抽出方法は具体的に記載されていないが、特許文献3には、対応点を自動で抽出する方法として、血管や気管の分岐点を特徴点として抽出し、構造を解析して対応付けを行う方法が提案されている。   Patent Document 2 describes a method of extracting a set of a plurality of points corresponding to each image manually or automatically and deforming one image so that all the corresponding points match. Patent Document 2 does not specifically describe a method of extracting corresponding points, but Patent Document 3 extracts a branch point of a blood vessel or trachea as a feature point as a method of automatically extracting corresponding points. A method of analyzing the structure and performing association has been proposed.

さらに、特許文献4には、呼吸運動や心臓運動などの生理学的臓器モデルを作成し、臓器モデルと画像の対応付けを行うことによって、画像同士の位置合せを行う方法が記載されている。   Furthermore, Patent Document 4 describes a method of aligning images by creating a physiological organ model such as respiratory motion and heart motion and associating the organ model with the image.

特表2008−520267号公報Special table 2008-520267 gazette 特表2007−516744号公報Special table 2007-516744 gazette 特開2006−314643号公報JP 2006-314463 A 特表2005−528974号公報JP 2005-528974 A

しかし、特許文献1に記載の方法は、手間と時間がかかる上に、位置合せの精度が操作者の主観に影響されるという課題を有する。   However, the method described in Patent Document 1 has a problem that it takes time and effort and the accuracy of alignment is influenced by the subjectivity of the operator.

また、特許文献2に記載の方法は、対応点の抽出方法は明記されていないが、対応点を手動で抽出する場合は特許文献1と同様に、作業に手間と時間がかかる上に、位置合せの精度が操作者の主観に影響されるという課題を有する。特許文献3では対応点を自動で抽出する方法が記載されているが、対象部位や画像診断装置の種類が制限される。   The method described in Patent Document 2 does not specify a method for extracting corresponding points. However, in the case of manually extracting corresponding points, as in Patent Document 1, it takes time and effort to work, There is a problem that the accuracy of the alignment is affected by the subjectivity of the operator. Although Patent Document 3 describes a method of automatically extracting corresponding points, the types of target parts and image diagnostic apparatuses are limited.

さらに、特許文献4に記載の方法も、すべての臓器のモデルを正確に作成することが困難であるだけでなく、画像と臓器モデルの位置合せをする場合にも特許文献2や特許文献3に記載されているような特徴点の対応付けが必要となるため、同様の課題を有する。   Furthermore, the method described in Patent Document 4 not only makes it difficult to accurately create models of all organs, but also in Patent Document 2 and Patent Document 3 when aligning images and organ models. Since it is necessary to associate feature points as described, there is a similar problem.

本発明は、上述した従来の課題を解消し、第一の画像と第二の画像を非剛体的に変形させる位置合せにおいて、対象部位や画像診断装置の種類にも制限されない、高精度、高速な位置合せを実現する画像処理方法および装置を提供することを目的とする。   The present invention solves the above-described conventional problems, and in the alignment for deforming the first image and the second image in a non-rigid manner, the present invention is not limited to the target part or the type of the image diagnostic apparatus, and has high accuracy and high speed. An object of the present invention is to provide an image processing method and apparatus that realizes accurate alignment.

上記目的を達成するため、本発明においては、第一の画像と第二の画像の全体に対して、一致度に関する予め定められた指標を最適化する大局的な位置合せを行った後、第一の画像と第二の画像を予め定められた方法で複数の領域に分割し、夫々対応する分割された領域で一致度に関する指標を最適化する位置合せを行うステップを有し、分割された領域での位置合せの結果をもとに第二の画像を予め定められた方法で非剛体的に変形させて位置合せを行う画像処理方法を提供する。   In order to achieve the above object, in the present invention, after performing global alignment for optimizing a predetermined index related to the degree of coincidence with respect to the entire first image and second image, The first image and the second image are divided into a plurality of regions by a predetermined method, and each of the corresponding divided regions has a step of performing alignment for optimizing the index related to the degree of coincidence. Provided is an image processing method for performing alignment by deforming a second image non-rigidly by a predetermined method based on a result of alignment in a region.

また、分割した領域での位置合せの結果をもとに第二の画像を非剛体的に変形させて位置合せを行った後、分割した領域を予め定められた方法でさらに複数の領域に細分割し、夫々対応する細分割した領域で一致度に関する指標を最適化する位置合せを行うステップを有しており、一致度が予め定められた条件を満たすまで、分割と位置合せのステップを繰り返して位置合せを行う画像処理方法を提供する。   In addition, after the second image is deformed non-rigidly based on the result of alignment in the divided areas, the divided areas are further divided into a plurality of areas by a predetermined method. It has a step of performing alignment and optimizing the index regarding the degree of matching in the corresponding subdivided areas, and repeats the steps of division and alignment until the degree of matching satisfies a predetermined condition An image processing method for performing alignment is provided.

さらに、第一の画像と第二の画像を複数の領域に分割する際に、予め定められた方法で画像の特徴的な部分が領域に含まれるように分割する画像処理方法を提供する。   Furthermore, an image processing method is provided that divides a first image and a second image into a plurality of regions so that a characteristic part of the image is included in the region by a predetermined method.

またさらに、分割した領域での位置合せの結果をもとに、領域内の各画素における変位ベクトルを算出し、周辺領域における変位ベクトルの影響を加味した予め定められた方法で各画素における変位ベクトルの再計算を行い、この再計算した結果の変位ベクトルに従って第二の画像の非剛体変形を行う画像処理方法を提供する。   Furthermore, based on the result of alignment in the divided area, a displacement vector at each pixel in the area is calculated, and the displacement vector at each pixel is calculated in a predetermined method that takes into account the influence of the displacement vector in the surrounding area. An image processing method for performing non-rigid deformation of the second image according to the recalculated displacement vector is provided.

さらにまた、上記の目的を達成するため、本発明は、第一の画像と第二の画像の位置合せを行う演算処理部を有する画像処理装置であって、この演算処理部は、二つの画像の一致度に関する予め定められた指標を最適化する位置合せを行う剛***置合せ機能と、第一の画像と第二の画像を予め定められた方法で複数の領域に分割する領域分割機能と、分割された領域での位置合せの結果をもとに第一の画像と第二の画像の一方を非剛体的に変形させて位置合せを行う非剛体変形機能を実行可能であり、第一の画像と第二の画像の全体に対して剛***置合せ機能による位置合せを実行した後に、夫々対応する分割された領域で剛***置合せ機能を実行し、分割された領域での位置合せ結果をもとに、非剛体変形機能を実行して、第一の画像と第二の画像の一方を非剛体的に変形させて位置合せを行う構成の画像処理装置を提供する。   Furthermore, in order to achieve the above object, the present invention is an image processing apparatus having an arithmetic processing unit for aligning the first image and the second image, and the arithmetic processing unit includes two images. A rigid body alignment function that performs alignment to optimize a predetermined index related to the degree of coincidence, and an area division function that divides the first image and the second image into a plurality of areas by a predetermined method, Based on the result of alignment in the divided areas, it is possible to execute a non-rigid deformation function that performs alignment by deforming one of the first image and the second image in a non-rigid manner. After executing the alignment by the rigid alignment function for the entire image and the second image, execute the rigid alignment function for the corresponding divided areas, and obtain the alignment results for the divided areas. And performing a non-rigid body deformation function to While non-rigidly deforming the image to provide an arrangement image processing apparatus for performing aligned.

また、本発明の演算処理部が、非剛体変形機能による位置合せを実行後、領域分割機能により、分割した領域をさらに複数の領域に細分割し、細分割した領域各々で剛***置合せ機能による位置合せを実行し、一致度が予め定められた条件を満たすまでこの細分割と位置合せを繰り返し実行する構成の画像処理装置を提供する。   In addition, after executing the alignment by the non-rigid body deforming function, the arithmetic processing unit of the present invention further subdivides the divided area into a plurality of areas by the area dividing function, and the rigid body aligning function in each of the subdivided areas. Provided is an image processing apparatus configured to execute alignment and repeatedly execute the subdivision and alignment until the degree of coincidence satisfies a predetermined condition.

さらに、本発明は、上記の演算処理部が、全体に対する剛***置合せ機能の実行後、一致度が予め定められた条件を満たす場合、処理をそのまま終了する構成の画像処理装置を提供する。   Furthermore, the present invention provides an image processing apparatus configured to terminate the processing as it is when the arithmetic processing unit performs a rigid body alignment function on the whole and the degree of coincidence satisfies a predetermined condition.

なお、本明細書において、剛体とは、その周囲及び内部の点の相互の位置が変わらない物体又は平面のことを示すものとし、非剛体とは、剛体ではない物体又は平面のことを示すものとする。また、非剛体変形とは、物体又は平面を、その表面及び内部の点の相互の位置が変わるような変形を示すものとする。   In this specification, a rigid body indicates an object or plane in which the positions of the surrounding and internal points do not change, and a non-rigid body indicates an object or plane that is not a rigid body. And Further, non-rigid deformation refers to deformation in which an object or a plane changes its position between the surface and internal points.

本発明によれば、第一の画像と第二の画像を非剛体的に変形させる位置合せにおいて、対象部位や画像診断装置の種類にも制限されない高精度の位置合せを実現することが可能となる。   According to the present invention, it is possible to realize high-precision alignment that is not limited by the target part or the type of diagnostic imaging apparatus in the alignment that deforms the first image and the second image non-rigidly. Become.

また、対応点を自動または手動で抽出する処理が不要であるため高速化が可能となり、さらに手動で対応付ける手間や、自動で対応点を抽出した際に誤って抽出したり対応づけたりするリスクがない。   In addition, there is no need for automatic or manual extraction of corresponding points, which makes it possible to increase the speed.In addition, there is a risk of manually extracting corresponding points, and the risk of erroneous extraction or association when corresponding points are automatically extracted. Absent.

さらに、臓器モデルの作成が不要であるため、様々な部位に対する位置合せが容易に可能となる。また、分割した各領域における位置合せの処理を並列化できるため、複数の計算機や複数の演算処理装置、複数演算を並列に実行できる処理ユニットを使用して並列演算を行うことによって、さらに高速な位置合せを実現することが可能となる。   Furthermore, since it is not necessary to create an organ model, it is possible to easily align various parts. In addition, since the alignment process in each divided area can be parallelized, by using a plurality of computers, a plurality of arithmetic processing devices, and a processing unit capable of executing a plurality of operations in parallel, it is possible to perform parallel operations faster. It is possible to realize alignment.

第1の実施例に係わる、画像の位置合せ処理の流れ図である。6 is a flowchart of image alignment processing according to the first embodiment. 第1の実施例に係わる、画像処理装置の構成図である。1 is a configuration diagram of an image processing apparatus according to a first embodiment. 第1の実施例に係わる、画像処理装置のハードウェア構成図である。1 is a hardware configuration diagram of an image processing apparatus according to a first embodiment. 第1の実施例に係わる、画像の模式図を使った画像の位置合せ処理の流れの説明図である。It is explanatory drawing of the flow of the position alignment process using the schematic diagram of an image concerning the 1st Example. 第2の実施例に係わる、非剛体変形処理を説明する図である。It is a figure explaining the non-rigid body deformation | transformation process concerning a 2nd Example.

以下、図面を参照して、本発明の実施例を説明する。なお、以下の説明において画像処理装置を構成する各機能要素ブロックを、「手段」、「部」、「機能」と称する。例えば、「剛***置合せ手段」「剛***置合せ部」、「剛***置合せ機能」などである。   Embodiments of the present invention will be described below with reference to the drawings. In the following description, each functional element block constituting the image processing apparatus is referred to as “means”, “part”, and “function”. For example, “rigid body alignment means”, “rigid body alignment unit”, “rigid body alignment function”, and the like.

また、上述した通り、以下説明において、剛体とは、その周囲及び内部の点の相互の位置が変わらない物体又は平面のことを示すものとし、非剛体とは、剛体ではない物体又は平面のことを示すものとする。また、非剛体変形とは、物体又は平面を、その表面及び内部の点の相互の位置が変わるように変形するものを言う。   In addition, as described above, in the following description, a rigid body indicates an object or plane in which the positions of the surrounding and internal points do not change, and a non-rigid body is an object or plane that is not a rigid body. It shall be shown. Non-rigid deformation refers to deformation of an object or plane so that the positions of its surface and internal points change.

第1の実施例における画像処理装置の構成を、図2に示す。図2に示された画像処理装置1は、中央処理部(Central Processing Unit:CPU)などの処理部である演算処理部11、記憶部12、表示部13、入力部14、通信部15を有する。演算処理部11は、二つの画像の一致度に関する予め定められた指標を最適化する剛***置合せを行う剛***置合せ手段111と、前記第一の画像と前記第二の画像を予め定められた方法で複数の領域に分割する領域分割手段112と、前記分割された領域での位置合せの結果をもとに前記第一の画像と前記第二の画像の一方を非剛体的に変形させて位置合せを行う非剛体変形手段113とを備える。   The configuration of the image processing apparatus in the first embodiment is shown in FIG. The image processing apparatus 1 illustrated in FIG. 2 includes an arithmetic processing unit 11 that is a processing unit such as a central processing unit (CPU), a storage unit 12, a display unit 13, an input unit 14, and a communication unit 15. . The arithmetic processing unit 11 has a rigid body alignment unit 111 that performs rigid body alignment that optimizes a predetermined index related to the degree of coincidence between two images, and the first image and the second image are predetermined. Region dividing means 112 for dividing the image into a plurality of regions, and non-rigidly deforming one of the first image and the second image based on the result of alignment in the divided regions. Non-rigid deformation means 113 for performing alignment.

本実施例における画像処理装置のハードウェア構成を、図3に示す。画像処理装置1は、中央処理部(CPU)101、メモリ102、ハードディスク103、液晶ディスプレイ104、キーボード105、マウス106、通信装置107を有する。演算処理部11は、CPU101とメモリ102において、所定のプログラムが展開及び起動することで各種の処理を実現することができる。記憶部12は、メモリ102とハードディスク103などで実現することができる。表示部13は、液晶ディスプレイ104などで実現することができる。入力部14は、キーボード105とマウス106で実現することができるが、ペンタブレットなどを使用してもよい。通信部15を実現する通信装置107は、図示を省略したローカルエリアネットワーク等の病院内ネットワークを介して、医療画像を蓄積する画像サーバや各種画像診断装置と接続する。   FIG. 3 shows the hardware configuration of the image processing apparatus in this embodiment. The image processing apparatus 1 includes a central processing unit (CPU) 101, a memory 102, a hard disk 103, a liquid crystal display 104, a keyboard 105, a mouse 106, and a communication device 107. The arithmetic processing unit 11 can implement various processes by developing and starting a predetermined program in the CPU 101 and the memory 102. The storage unit 12 can be realized by the memory 102 and the hard disk 103. The display unit 13 can be realized by the liquid crystal display 104 or the like. The input unit 14 can be realized by the keyboard 105 and the mouse 106, but a pen tablet or the like may be used. The communication device 107 that realizes the communication unit 15 is connected to an image server that accumulates medical images and various image diagnostic devices via a hospital network such as a local area network (not shown).

なお、演算処理部11は、複数の演算ユニットが並列して各種演算を実行できるCPU101を使用して実現してもよいし、複数のCPU101が連携して各種演算を並列に実行する構成にして実現してもよいし、通信装置107で接続された複数の画像処理装置が連携して各種演算を並列に実行する構成にして実現してもよい。   Note that the arithmetic processing unit 11 may be realized by using a CPU 101 in which a plurality of arithmetic units can execute various arithmetic operations in parallel, or a configuration in which a plurality of CPUs 101 cooperate to execute various arithmetic operations in parallel. It may be realized, or may be realized by a configuration in which a plurality of image processing apparatuses connected by the communication device 107 cooperate to execute various calculations in parallel.

本実施例におけるCPU101による画像の位置合せ処理を、図1に示す処理手順を用いて説明する。また、例として二次元画像の模式図を使った説明を図4に示す。   Image registration processing by the CPU 101 in this embodiment will be described using the processing procedure shown in FIG. FIG. 4 shows an explanation using a schematic diagram of a two-dimensional image as an example.

処理手順のプログラムである剛***置合せ手段111、領域分割手段112、非剛体変形手段113と処理対象となる画像とは記憶部12に記憶されている。演算処理部11は位置合せ処理を行うとき、記憶部12から記憶された処理手順と画像を読み出して演算処理を実行する。   A rigid body aligning unit 111, a region dividing unit 112, a non-rigid body deforming unit 113 and an image to be processed, which are processing procedure programs, are stored in the storage unit 12. When performing the alignment process, the arithmetic processing unit 11 reads the processing procedure and the image stored from the storage unit 12 and executes the arithmetic processing.

まず、演算処理部11は、記憶部12から第一の画像(画像Aとする)と第二の画像(画像Bとする)を読み出す(ステップ10001)。画像A及び画像Bは二次元画像同士でも、三次元画像同士でもよい。以下の位置合せ処理で、演算処理部11は画像Bを画像Aへ位置合せする処理を行うものとする。   First, the arithmetic processing unit 11 reads a first image (referred to as image A) and a second image (referred to as image B) from the storage unit 12 (step 10001). Image A and image B may be two-dimensional images or three-dimensional images. In the following alignment processing, the arithmetic processing unit 11 performs processing for aligning the image B with the image A.

次に、演算処理部11で実行されるプログラムで実現される剛***置合せ手段111は、画像全体に関して画像Bを画像Aに合わせる剛***置合せを行う(ステップ10002)。本ステップでは、予め定められた画像の一致度に関する指標を、一致度が最大になるように画像Bを平行移動および回転移動することによって位置合せを行う。画像の一致度に関する指標は、相互相関関数や相互情報量を用いる。相互相関関数を用いて一致度を算出する方法は、例えば、特開2004−326245号公報に記載されている。また、相互情報量を用いて一致度を算出する方法は、例えば、特開2007−159933号公報に記載されている。さらに、一致度が最大になるように画像Bを平行移動及び回転移動する方法は、種々の公知の最適化アルゴリズムを用いて実現することができる。例えば、シンプレックス法やパウエル法に代表される直接探索法、最急降下法(最大勾配法)や共役勾配法に代表される勾配法(山登り法)を用いて行うことができる。   Next, the rigid body alignment unit 111 realized by a program executed by the arithmetic processing unit 11 performs rigid body alignment for aligning the image B with the image A with respect to the entire image (step 10002). In this step, a predetermined index relating to the degree of coincidence of the image is aligned by translating and rotating the image B so that the degree of coincidence is maximized. A cross-correlation function or a mutual information amount is used as an index related to the degree of coincidence of images. A method for calculating the degree of coincidence using the cross-correlation function is described in, for example, Japanese Patent Application Laid-Open No. 2004-326245. A method of calculating the degree of coincidence using the mutual information amount is described in, for example, Japanese Patent Application Laid-Open No. 2007-159933. Furthermore, the method of translating and rotating the image B so that the degree of coincidence is maximized can be realized using various known optimization algorithms. For example, the direct search method represented by the simplex method or the Powell method, the steepest descent method (maximum gradient method), or the gradient method represented by the conjugate gradient method (mountain climbing method) can be used.

次に、演算処理部11は、画像Aと画像Bの全体としての一致度を算出する(ステップ10003)。本ステップでは、ステップ10002で使用した一致度の指標と同じものを使用することが好ましい。   Next, the arithmetic processing unit 11 calculates the degree of coincidence of the image A and the image B as a whole (step 10003). In this step, it is preferable to use the same index of coincidence used in step 10002.

次に、演算処理部11は、ステップ10003で算出した画像Aと画像Bの一致度が十分大きいかどうかを判定する(ステップ10004)。本ステップでは、予め定めておいた閾値を前記一致度が上回るかどうかで判定してもよい。   Next, the arithmetic processing unit 11 determines whether or not the degree of coincidence between the image A and the image B calculated in step 10003 is sufficiently large (step 10004). In this step, determination may be made based on whether the degree of coincidence exceeds a predetermined threshold.

次に、演算処理部11における領域分割手段112は、予め定められた方法で画像A及び画像Bを複数の領域に分割する(ステップ10005)。例えば、二次元画像の場合には上下対称に2分割すると共に左右対称に2分割し、結果として均等に4分割する方法を使うことができる。また、三次元画像の場合にはさらに奥行方向にも2分割し、結果として均等に8分割する方法を使うことができる。なお、画素数の都合で完全に均等な分割ができない場合には、各次元で1画素程度の画素数の変動があってもよい。   Next, the area dividing unit 112 in the arithmetic processing unit 11 divides the image A and the image B into a plurality of areas by a predetermined method (step 10005). For example, in the case of a two-dimensional image, it is possible to use a method in which the image is divided into two symmetrically in the vertical direction and two in the left-right symmetrical manner, and as a result equally divided into four. Further, in the case of a three-dimensional image, it is possible to use a method of further dividing into two in the depth direction and, as a result, equally dividing into eight. Note that if the division is not completely uniform due to the number of pixels, the number of pixels may vary by about one pixel in each dimension.

次に、演算処理部11における剛***置合せ手段111は、夫々対応する前記分割された領域に対して剛***置合せを行う(ステップ10006)。すなわち、画像Aにおける分割された領域Aiに対応する画像Biに関して、画像Aiと画像Biとの画像の一致度が最大になるように画像Biを平行移動及び回転移動する。本ステップにおける剛***置合せの方法は、ステップ10002と全く同じ方式を使うことが好ましい。   Next, the rigid body alignment means 111 in the arithmetic processing unit 11 performs rigid body alignment for the corresponding divided areas (step 10006). That is, with respect to the image Bi corresponding to the divided area Ai in the image A, the image Bi is translated and rotated so that the degree of coincidence between the image Ai and the image Bi is maximized. The rigid body alignment method in this step is preferably the same method as in step 10002.

次に、演算処理部11における非剛体変形手段113は、画像Bにおける各分割領域における剛***置合せの結果に基づいて、画像B全体を非剛体変形させる(ステップ10007)。具体的には、各分割領域における剛***置合せの結果、領域内の各画素がどの位置に移動するかを示す変位ベクトルを夫々算出し、周辺領域における変位ベクトルに応じて予め定められた方法で各画素における変位ベクトルの再計算を行い、前記再計算した結果の変位ベクトルに従って第二の画像の非剛体変形を行う。   Next, the non-rigid body deforming means 113 in the arithmetic processing unit 11 deforms the entire image B in a non-rigid body based on the result of the rigid body alignment in each divided region in the image B (step 10007). Specifically, as a result of the rigid body alignment in each divided region, a displacement vector indicating to which position each pixel in the region moves is calculated, and a method determined in advance according to the displacement vector in the surrounding region. Recalculation of the displacement vector in each pixel is performed, and non-rigid deformation of the second image is performed in accordance with the displacement vector resulting from the recalculation.

次に、演算処理部11は、画像Aと画像Bの全体としての一致度を算出する(ステップ10008)。本ステップでは、ステップ10002及びステップ10006で使用した一致度の指標と同じものを使用することが好ましい。   Next, the arithmetic processing unit 11 calculates the degree of coincidence of the image A and the image B as a whole (step 10008). In this step, it is preferable to use the same index of coincidence used in steps 10002 and 10006.

次に、演算処理部11は、ステップ10008で算出した画像Aと画像Bの一致度が十分大きいかどうかを判定する(ステップ10009)。本ステップでは、予め定めておいた閾値を前記一致度が上回るかどうかで判定してもよいし、予め定めておいた閾値を前記一致度の増加率が下回るかどうかで判定してもよい。   Next, the arithmetic processing unit 11 determines whether or not the degree of coincidence between the image A and the image B calculated in step 10008 is sufficiently large (step 10009). In this step, it may be determined whether or not the degree of coincidence exceeds a predetermined threshold, or may be determined based on whether or not the rate of increase of the degree of coincidence falls below a predetermined threshold.

ステップ10009で、画像Aと画像Bが十分一致していると判定された場合には、位置合せの処理は終了する。   If it is determined in step 10009 that the image A and the image B sufficiently match, the alignment process ends.

ステップ10009で、画像Aと画像Bが十分一致していると判定されなかった場合には、演算処理部11における領域分割手段112が、予め定められた方法により画像Aと画像Bをさらに細かく分割する(ステップ10010)。なお、図1の処理フローでステップ10009、10010から10006〜ステップ10007を分割位置合せステップを呼ぶ場合がある。   If it is not determined in step 10009 that the images A and B are sufficiently coincident with each other, the area dividing unit 112 in the arithmetic processing unit 11 further divides the images A and B more finely by a predetermined method. (Step 10010). In the processing flow of FIG. 1, steps 10009 and 10010 to 10006 to step 10007 may be called division alignment steps.

二次元画像の例で説明すると、ステップ10005で実施した均等な4分割を破棄して、左右方向に三等分、上下方向に三等分する均等な9分割を実施してもよい。或いは、ステップ10005で均等に4分割した領域の夫々をさらに均等に4分割する16分割を実施してもよい。さらに、均等に細分割するのではなく、ステップ10005で均等に4分割した領域の中で、領域内での画像の一致度が十分大きくない領域のみを細分割してもよい。三次元画像の場合の処理も、二次元処理と類似した方法で実施される。ここでも、画素数の都合で完全に均等な分割ができない場合には、各次元で1画素程度の画素数の変動があってもよい。   In the example of a two-dimensional image, the equivalent four divisions performed in step 10005 may be discarded, and the equal nine divisions may be performed by dividing them into three equal parts in the left-right direction and three equal parts in the vertical direction. Or you may implement 16 division which divides each of the area | region equally divided into 4 by step 10005 into 4 more equally. Furthermore, instead of subdividing evenly, only a region where the degree of coincidence of images within the region is not sufficiently large may be subdivided among the regions equally divided into four in step 10005. Processing in the case of a three-dimensional image is also performed in a manner similar to two-dimensional processing. Again, if the division is not completely uniform due to the number of pixels, the number of pixels may vary by about one pixel in each dimension.

上記のように画像を細分割した後、演算処理部11はステップ10006以降を再度実施する。すなわち、ステップ10010及びステップ10006乃至ステップ10009が、画像Aと画像Bが十分一致していると判定されるまで繰り返される。前記繰り返しの回数が予め定められた値を超えても画像Aと画像Bが十分一致しているという判定に至らない場合には、演算処理部11はその旨を表示手段13に表示し、位置合せの処理を終了する。   After subdividing the image as described above, the arithmetic processing unit 11 performs Step 10006 and the subsequent steps again. That is, Step 10010 and Steps 10006 to 10009 are repeated until it is determined that the image A and the image B sufficiently match. If it is not determined that the image A and the image B sufficiently match even if the number of repetitions exceeds a predetermined value, the arithmetic processing unit 11 displays that fact on the display means 13 and displays the position. The matching process is terminated.

以上に示した実施例1によれば、第一の画像と第二の画像を非剛体的に変形させる位置合せにおいて、高速かつ高精度で、対象部位や画像診断装置の種類にも制限されない位置合せを実現することが可能となる。また、対応点を自動または手動で抽出する処理が不要であるため、手動で対応付ける手間や、自動で対応点を抽出した際に誤って抽出したり対応づけたりするリスクがない。さらに、臓器モデルの作成が不要であるため、様々な部位に対する位置合せが容易に可能となる。また、分割した各領域における位置合せの処理を並列化できるため、複数の計算機や複数の演算処理装置、複数演算を並列に実行できる処理ユニットを使用して並列演算を行うことによって、さらに高速な位置合せを実現することが可能となる。   According to the first embodiment described above, in the alignment for deforming the first image and the second image in a non-rigid manner, the position is not restricted by the type of the target part or the image diagnostic apparatus at high speed and high accuracy. It is possible to realize matching. In addition, since there is no need to automatically or manually extract the corresponding points, there is no risk of manually extracting the corresponding points, and there is no risk of erroneous extraction or association when the corresponding points are automatically extracted. Furthermore, since it is not necessary to create an organ model, it is possible to easily align various parts. In addition, since the alignment process in each divided area can be parallelized, by using a plurality of computers, a plurality of arithmetic processing devices, and a processing unit capable of executing a plurality of operations in parallel, it is possible to perform parallel operations faster. It is possible to realize alignment.

次に、ステップ10007において、画像Bにおける各分割領域における剛***置合せの結果に基づいて、画像B全体を非剛体変形させる方法の一例を説明する。本実施例では、画像A及び画像Bは共に二次元画像とする。ステップ10006において各分割領域における剛***置合せをした結果、領域内の各画素がそれぞれどの位置に移動するかは、各画素におけるx軸横方向の移動量xとy軸方向の移動量yで示される変位ベクトルのベクトル場として表現することができる。各分割領域では独立して剛***置合せを行うため、変位ベクトル場の通りに各画素を移動させると、隣接領域の境界付近では移動後の画像が重なる領域や、画像のない空白の領域などが発生してしまう。したがって、隣接領域間で各画素が滑らかにつながるように、以下に例示する方法で変位ベクトルの再計算を行う。図5に描かれているのは、注目領域20とその領域の中心点200、注目画素2000である。注目画素2000における変位ベクトルは(xo、yo)である。中心点200から見て注目画素2000と同じ側に隣接する隣接領域21、隣接領域22に関して、隣接領域21において注目画素とx軸上の位置が等しい隣接境界上の画素2001における変位ベクトルを(xp、yp)、隣接領域22において注目画素とy軸上の位置が等しい隣接境界上の画素2002における変位ベクトルを(xq、yq)、隣接領域21及び22の両方に隣接し、注目領域20とは頂点同士で接触している周辺領域23の前記頂点に接している画素2003における変位ベクトルを(xr、yr)とする。本実施形態では、注目画素2000における変位ベクトルを、隣接領域21及び22、周辺領域23における画素2001、2002、2003における変位ベクトルの影響を考慮して、再計算した結果(x1、y1)をもとに画像Bの非剛体変換を行う。注目領域20の中心点200から境界までのx軸方向の距離をrx、y軸方向の距離をryとし、注目画素2000から隣接領域における画素2001、2002までの対応する辺同士の距離を夫々dx、dyとすると、(x1、y1)は、   Next, an example of a method for non-rigidly deforming the entire image B based on the result of rigid body alignment in each divided region in the image B in step 10007 will be described. In this embodiment, both the image A and the image B are two-dimensional images. As a result of the rigid body alignment in each divided area in step 10006, the position to which each pixel in the area moves is indicated by the movement amount x in the x-axis lateral direction and the movement amount y in the y-axis direction in each pixel. It can be expressed as a vector field of displacement vectors. Since the rigid body alignment is performed independently in each divided area, if each pixel is moved according to the displacement vector field, the area where the moved images overlap in the vicinity of the boundary of the adjacent area, or a blank area without an image, etc. Will occur. Therefore, the displacement vector is recalculated by the method exemplified below so that each pixel is smoothly connected between adjacent regions. What is depicted in FIG. 5 is a region of interest 20, a center point 200 of that region, and a pixel of interest 2000. The displacement vector at the pixel of interest 2000 is (xo, yo). With respect to the adjacent region 21 and adjacent region 22 adjacent to the same side as the target pixel 2000 when viewed from the center point 200, the displacement vector at the pixel 2001 on the adjacent boundary where the position on the x axis is equal to the target pixel in the adjacent region 21 , Yp), the displacement vector at the pixel 2002 on the adjacent boundary whose position on the y-axis is the same as the target pixel in the adjacent region 22 is (xq, yq), adjacent to both the adjacent regions 21 and 22, Let (xr, yr) be the displacement vector in the pixel 2003 in contact with the vertex of the peripheral area 23 in contact with the vertex. In this embodiment, the displacement vector in the target pixel 2000 is recalculated in consideration of the influence of the displacement vectors in the pixels 2001, 2002, and 2003 in the adjacent regions 21 and 22 and the peripheral region 23 (x1, y1). And non-rigid transformation of image B. The distance in the x-axis direction from the center point 200 to the boundary of the attention area 20 is rx, the distance in the y-axis direction is ry, and the distance between corresponding sides from the attention pixel 2000 to the pixels 2001 and 2002 in the adjacent area is dx. , Dy, (x1, y1) is

Figure 2011024763
Figure 2011024763

に示す算出式によって算出される。 It is calculated by the calculation formula shown in FIG.

また、注目領域20が画像の外周に位置しており、隣接領域21、22および周辺領域23のいずれか或いはすべてに相当する領域が存在しない場合には、画素2001、2002、2003のうち存在しない領域に該当するものの変位ベクトルを(0、0)として上記と同様に計算する。   Further, when the attention area 20 is located on the outer periphery of the image and there is no area corresponding to any or all of the adjacent areas 21 and 22 and the peripheral area 23, none of the pixels 2001, 2002, and 2003 exist. The displacement vector corresponding to the region is calculated as (0, 0) in the same manner as described above.

上記のように算出した各画素の変位ベクトルに基づいて、夫々の画素を移動することによって、画像Bの非剛体変換を実施する。   Based on the displacement vector of each pixel calculated as described above, non-rigid transformation of the image B is performed by moving each pixel.

なお、変位ベクトルの値は整数値とは限らず、移動後の位置が必ずしも格子点にならないことが多い。その結果を用いて格子点である画素の値を求めるには、種々の公知のリサンプリングアルゴリズムを用いて実現することができる。例えば、最も近い画素の値を割り当てる最近傍法や、2×2の周辺4画素の値を使用して共一次関数によって出力値を計算するバイリニア法、画素と画素の間を三次の多項式で表したスプライン曲面で補完するバイキュービック法などを使用することができる。   Note that the value of the displacement vector is not necessarily an integer value, and the position after movement is not necessarily a lattice point in many cases. In order to obtain the value of the pixel that is the lattice point using the result, various known resampling algorithms can be used. For example, the nearest neighbor method that assigns the value of the nearest pixel, the bilinear method that calculates the output value by a bilinear function using the values of 2 × 2 neighboring pixels, and the inter-pixel polynomial is expressed by a cubic polynomial. A bicubic method for complementing with a spline curved surface can be used.

以上に示した実施例2によれば、各分割領域における剛***置合せの結果、画像の重なりや空白が生じたとしても、上記の再計算により滑らかな非剛体変形を行うことが可能になる。   According to the second embodiment described above, smooth non-rigid deformation can be performed by the above-described recalculation even if overlapping or blank images occur as a result of rigid body alignment in each divided region.

また、ステップ1005において、画像A及び画像Bを複数の領域に分割する際に、均等分割ではなく、予め定められた方法で画像の特徴的な部分が前記領域に含まれるように分割してもよい。例えば、体表や臓器の周辺部、主要血管など画面上で識別できる特徴点が分割後の領域に必ず含まれるよう、手動または自動で画像を分割する。手動の場合は操作者が表示手段13に表示された画像を見ながら入力手段14、例えばマウス等で分割線を指定するものとする。また、自動の場合は画像処理を用いて、濃度が局所的に変化している部分を輪郭として抽出し、その輪郭部分がすべての領域に含まれるように画像を分割する処理等を実施する。さらに、撮影部位の情報を用いて、部位毎に予め定めておいた、その部位の臓器の知識に基づいた領域分割の方法を記憶部12から読み出して使用してもよい。   In step 1005, when the image A and the image B are divided into a plurality of areas, the image A and the image B may be divided so that a characteristic part of the image is included in the area by a predetermined method instead of the equal division. Good. For example, the image is divided manually or automatically so that feature points that can be identified on the screen, such as the body surface, the peripheral part of the organ, and the main blood vessels, are always included in the divided area. In the case of manual operation, the operator designates a dividing line with the input means 14, for example, a mouse or the like while viewing the image displayed on the display means 13. In the case of automatic processing, image processing is used to extract a portion where the density is locally changed as a contour, and processing for dividing the image so that the contour portion is included in all regions is performed. Furthermore, a method of dividing an area based on knowledge of the organ of the part, which is predetermined for each part using the information on the imaging part, may be read from the storage unit 12 and used.

以上に示した実施例3によれば、分割後のすべての領域に画像の特徴的な部分が含まれるようになるため、より正確な位置合せが可能になる。   According to the third embodiment described above, a characteristic part of the image is included in all the regions after the division, so that more accurate alignment is possible.

本発明は、医療分野における画像処理技術に係る。特に、第一の画像と第二の画像を位置合せする画像処理方法、および画像処理装置として有用である。   The present invention relates to an image processing technique in the medical field. In particular, it is useful as an image processing method and an image processing apparatus for aligning a first image and a second image.

1…画像処理装置
11…演算処理部
111…剛***置合せ手段
112…領域分割手段
113…非剛体変形手段
12…記憶部
13…表示部
14…入力部
15…通信部
101…中央処理部(CPU)
102…メモリ
103…ハードディスク
104…液晶ディスプレイ
105…キーボード
106…マウス
107…通信装置
10001…画像Aと画像Bを読み込むステップ
10002…画像Aに画像Bを剛***置合せするステップ
10003…画像Aと画像Bの一致度を算出するステップ
10004…画像Aと画像Bが十分一致しているかを判定するステップ
10005…画像Aと画像Bを領域分割するステップ
10006…分割領域Aiに分割領域Biを剛***置合せするステップ
10007…10006の結果をもとに画像Bを非剛体変形させるステップ
10008…画像Aと画像Bの一致度を算出するステップ
10009…画像Aと画像Bが十分一致しているかを判定するステップ
10010…画像Aと画像Bをさらに細かく分割するステップ
20…画像Bにおける注目領域
200…注目領域20の中心点
2000…注目領域20における注目画素
21…画像Bの隣接領域の一つ
2100…隣接領域21における画素の一つ
22…画像Bの隣接領域の一つ
2200…隣接領域22における画素の一つ
23…画像Bの周辺領域の一つ
2300…周辺領域23における画素の一つ。
DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus 11 ... Arithmetic processing part 111 ... Rigid body aligning means 112 ... Area division means 113 ... Non-rigid body deformation means 12 ... Storage part 13 ... Display part 14 ... Input part 15 ... Communication part 101 ... Central processing part (CPU) )
DESCRIPTION OF SYMBOLS 102 ... Memory 103 ... Hard disk 104 ... Liquid crystal display 105 ... Keyboard 106 ... Mouse 107 ... Communication apparatus 10001 ... Step to read image A and image B 10002 ... Step to rigidly align image B with image A 10003 ... Image A and image B Step of calculating the degree of coincidence 10004... Step of determining whether the image A and the image B sufficiently match. Step 10005 Step of dividing the region of the image A and image B 10006... Rigidly align the divided region Bi to the divided region Ai. Step 10007... Non-rigid deformation of image B based on the result of 10006 10008. Step of calculating coincidence between image A and image B. 10009. Step of determining whether image A and image B are sufficiently coincident. ... More detailed image A and image B Step 20: Region of interest in image B 200 ... Center point of region of interest 20 2000 ... Pixel of interest in region of interest 20 21 ... One of adjacent regions of image B 2100 ... One of pixels in adjacent region 21 22 ... Image B One of the adjacent areas 2200 ... One of the pixels in the adjacent area 22 23 ... One of the peripheral areas of the image B 2300 ... One of the pixels in the peripheral area 23

Claims (15)

画像処理装置における、第一の画像に第二の画像を位置合せする画像処理方法であって、
前記第一の画像と前記第二の画像の全体に対して、一致度に関する予め定められた指標を最適化する位置合せを行い、
前記第一の画像と前記第二の画像を予め定められた方法で複数の領域に分割し、夫々対応する前記分割した領域で前記一致度に関する指標を最適化する位置合せを行い、
前記分割した領域での位置合せの結果をもとに前記第二の画像を予め定められた方法で非剛体的に変形させて位置合せを行う、
ことを特徴とする画像処理方法。
An image processing method for aligning a second image with a first image in an image processing apparatus,
Perform alignment for optimizing a predetermined index regarding the degree of coincidence for the entire first image and the second image,
The first image and the second image are divided into a plurality of regions by a predetermined method, and alignment is performed to optimize the index related to the degree of coincidence in the corresponding divided regions,
Based on the result of alignment in the divided area, the second image is non-rigidly deformed by a predetermined method to perform alignment.
An image processing method.
請求項1に記載の画像処理方法であって、
前記分割した領域での位置合せの結果をもとに前記第二の画像を非剛体的に変形させて位置合せを行った後、
前記分割した領域を予め定められた方法でさらに複数の領域に分割し、夫々対応する領域で前記一致度に関する指標を最適化する位置合せを行う分割位置合せステップを有しており、前記一致度が予め定められた条件を満たすまで、前記分割位置合せステップを繰り返して位置合せを行う、
ことを特徴とする画像処理方法。
The image processing method according to claim 1,
After performing alignment by deforming the second image non-rigidly based on the result of alignment in the divided areas,
A division alignment step of dividing the divided region into a plurality of regions by a predetermined method and performing alignment for optimizing the index related to the degree of matching in each corresponding region, Until the predetermined condition is satisfied, the division alignment step is repeated to perform alignment.
An image processing method.
請求項1に記載の画像処理方法であって、
前記第一の画像と第二の画像を複数の領域に分割する際に、予め定められた方法で画像の特徴的な部分が前記分割した領域に含まれるように分割する、
ことを特徴とする画像処理方法。
The image processing method according to claim 1,
When dividing the first image and the second image into a plurality of regions, the image is divided by a predetermined method so that a characteristic part of the image is included in the divided regions.
An image processing method.
請求項1に記載の画像処理方法であって、
前記分割した領域での位置合せの結果をもとに、前記分割した領域内の各画素における変位ベクトルを算出し、周辺領域における前記変位ベクトルの影響を加味した予め定められた方法で各画素における変位ベクトルの再計算を行い、再計算した結果の前記変位ベクトルに従って前記第二の画像の非剛体変形を行う、
ことを特徴とする画像処理方法。
The image processing method according to claim 1,
Based on the result of alignment in the divided area, a displacement vector at each pixel in the divided area is calculated, and a predetermined method that takes into account the influence of the displacement vector in the peripheral area is used to calculate the displacement vector at each pixel. Recalculate the displacement vector, and perform non-rigid deformation of the second image according to the displacement vector of the recalculated result,
An image processing method.
請求項2に記載の画像処理方法であって、
前記第一の画像と第二の画像を複数の領域に分割する際に、予め定められた方法で画像の特徴的な部分が前記分割した領域に含まれるように分割する、
ことを特徴とする画像処理方法。
The image processing method according to claim 2,
When dividing the first image and the second image into a plurality of regions, the image is divided by a predetermined method so that a characteristic part of the image is included in the divided regions.
An image processing method.
請求項2に記載の画像処理方法であって、
前記分割した領域での位置合せの結果をもとに、前記分割した領域内の各画素における変位ベクトルを算出し、周辺領域における前記変位ベクトルの影響を加味した予め定められた方法で各画素における変位ベクトルの再計算を行い、再計算した結果の前記変位ベクトルに従って前記第二の画像の非剛体変形を行う、
ことを特徴とする画像処理方法。
The image processing method according to claim 2,
Based on the result of alignment in the divided area, a displacement vector at each pixel in the divided area is calculated, and a predetermined method that takes into account the influence of the displacement vector in the peripheral area is used to calculate the displacement vector at each pixel. Recalculate the displacement vector, and perform non-rigid deformation of the second image according to the displacement vector of the recalculated result,
An image processing method.
第一の画像と第二の画像を保存するための記憶部と、前記第一の画像と前記第二の画像の位置合せを行う処理部とを有する画像処理装置であって、
前記処理部は、二つの画像の一致度に関する予め定められた指標を最適化する位置合せを行う剛***置合せ部と、前記第一の画像と前記第二の画像を予め定められた方法で複数の領域に分割する領域分割部と、前記分割した領域での位置合せの結果をもとに前記第一の画像と前記第二の画像の一方を非剛体的に変形させて位置合せを行う非剛体変形部を備え、
前記処理部は、前記第一の画像と前記第二の画像の全体に対して初期位置合せを行った後に、夫々対応する前記分割した領域で前記一致度に関する指標を最適化する位置合せを行い、前記分割した領域での位置合せ結果をもとに前記第一の画像と前記第二の画像の一方を非剛体的に変形させて位置合せを行う、
ことを特徴とする画像処理装置。
An image processing apparatus having a storage unit for storing a first image and a second image, and a processing unit for aligning the first image and the second image,
The processing unit includes a rigid body alignment unit that performs alignment for optimizing a predetermined index related to the degree of coincidence between two images, and a plurality of the first image and the second image by a predetermined method. A non-rigid deforming one of the first image and the second image based on the result of alignment in the divided area With a rigid deformation part,
The processing unit performs initial alignment for the entire first image and the second image, and then performs alignment for optimizing the index related to the degree of coincidence in each of the corresponding divided regions. , One of the first image and the second image is non-rigidly deformed based on the alignment result in the divided area, and alignment is performed.
An image processing apparatus.
請求項7に記載の画像処理装置であって、
前記演算処理部は、前記分割した領域での位置合せの結果をもとに前記第二の画像を非剛体的に変形させて位置合せを行った後、前記領域分割部が前記分割した領域を予め定められた方法でさらに複数の領域に分割し、前記剛***置合せ部が夫々対応する領域で位置合せを行い、前記一致度が予め定められた条件を満たすまで分割と位置合せを繰り返す、
ことを特徴とする画像処理装置。
The image processing apparatus according to claim 7,
The arithmetic processing unit performs alignment by deforming the second image non-rigidly based on the result of alignment in the divided regions, and then the region dividing unit converts the divided regions. Further dividing into a plurality of regions by a predetermined method, the rigid body alignment unit performs alignment in the corresponding regions, and repeats the division and alignment until the degree of coincidence satisfies a predetermined condition,
An image processing apparatus.
請求項7に記載の画像処理装置であって、
前記処理部の前記領域分割部は、前記第一の画像と第二の画像を複数の領域に分割する際に、予め定められた方法で画像の特徴的な部分が前記分割した領域に含まれるように分割する、
ことを特徴とする画像処理装置。
The image processing apparatus according to claim 7,
When dividing the first image and the second image into a plurality of regions, the region dividing unit of the processing unit includes a characteristic portion of the image in the divided region by a predetermined method. To divide like,
An image processing apparatus.
請求項7に記載の画像処理装置であって、
前記処理部の前記非剛体変形部は、前記分割した領域での位置合せの結果をもとに、領域内の各画素における変位ベクトルを算出し、周辺領域における変位ベクトルの影響を加味した予め定められた方法で各画素における変位ベクトルの再計算を行い、前記再計算した結果の変位ベクトルに従って第二の画像の非剛体変形を行う、
ことを特徴とする画像処理装置。
The image processing apparatus according to claim 7,
The non-rigid body deforming unit of the processing unit calculates a displacement vector at each pixel in the region based on the result of alignment in the divided region, and determines in advance the influence of the displacement vector in the surrounding region. Recalculate the displacement vector in each pixel by the method, and perform non-rigid deformation of the second image according to the displacement vector of the recalculated result,
An image processing apparatus.
請求項8に記載の画像処理装置であって、
前記処理部の前記領域分割部は、前記第一の画像と第二の画像を複数の領域に分割する際に、予め定められた方法で画像の特徴的な部分が前記領域に含まれるように分割する、
ことを特徴とする画像処理装置。
The image processing apparatus according to claim 8,
When the region dividing unit of the processing unit divides the first image and the second image into a plurality of regions, a characteristic part of the image is included in the region by a predetermined method. To divide,
An image processing apparatus.
請求項8に記載の画像処理装置であって、
前記処理部の前記非剛体変形部は、前記分割した領域での位置合せの結果をもとに、領域内の各画素における変位ベクトルを算出し、周辺領域における変位ベクトルの影響を加味した予め定められた方法で各画素における変位ベクトルの再計算を行い、前記再計算した結果の変位ベクトルに従って第二の画像の非剛体変形を行う、
ことを特徴とする画像処理装置。
The image processing apparatus according to claim 8,
The non-rigid body deforming unit of the processing unit calculates a displacement vector at each pixel in the region based on the result of alignment in the divided region, and determines in advance the influence of the displacement vector in the surrounding region. Recalculate the displacement vector in each pixel by the method, and perform non-rigid deformation of the second image according to the displacement vector of the recalculated result,
An image processing apparatus.
第一の画像と第二の画像の位置合せを行う画像処理装置であって、
前記第一の画像と前記第二の画像を保存するための記憶部と、
前記第一の画像と前記第二の画像の位置合せを行う処理部とを備え、
前記処理部は、前記第一の画像と前記第二の画像の一致度に関する指標により位置合せを行う剛***置合せ機能と、
前記第一の画像と前記第二の画像を複数の領域に分割する領域分割機能と、
前記領域分割機能により分割した領域での前記剛***置合せ機能による位置合せの結果に基づき、前記第一の画像と前記第二の画像の一方を非剛体的に変形させて位置合せを行う非剛体変形機能とを実行可能であり、
前記処理部は、前記剛***置合せ機能により、前記第一の画像と前記第二の画像に対して位置合せを実行後に、前記領域分割機能により分割した領域各々で前記剛***置合せ機能を実行し、前記分割した領域での位置合せ結果をもとに前記非剛体変形機能により、前記第一の画像と前記第二の画像の一方を非剛体的に変形させて位置合せを実行する、
ことを特徴とする画像処理装置。
An image processing apparatus for aligning a first image and a second image,
A storage unit for storing the first image and the second image;
A processing unit for aligning the first image and the second image;
The processing unit includes a rigid body alignment function for performing alignment based on an index related to the degree of coincidence between the first image and the second image;
A region dividing function for dividing the first image and the second image into a plurality of regions;
A non-rigid body that performs alignment by non-rigidly deforming one of the first image and the second image based on a result of alignment by the rigid-body alignment function in an area divided by the area dividing function Can perform transformation functions,
The processing unit executes the rigid body alignment function in each of the regions divided by the region division function after performing alignment on the first image and the second image by the rigid body alignment function. The non-rigid deformation function is used to perform alignment by deforming one of the first image and the second image non-rigidly based on the alignment results in the divided areas.
An image processing apparatus.
請求項13に記載の画像処理装置であって、
前記処理部は、前記非剛体変形機能による位置合せを実行後、前記領域分割機能により、前記分割した領域をさらに複数の領域に細分割し、前記剛***置合せ機能により細分割した領域各々で前記剛***置合せ機能を実行し、前記一致度が予め定められた条件を満たすまで細分割と位置合せを繰り返す、
ことを特徴とする画像処理装置。
The image processing apparatus according to claim 13,
The processing unit performs the alignment by the non-rigid body deformation function, and further subdivides the divided area into a plurality of areas by the area dividing function, and subdivides each of the areas subdivided by the rigid body alignment function. Execute a rigid body alignment function and repeat subdivision and alignment until the degree of coincidence satisfies a predetermined condition;
An image processing apparatus.
請求項13に記載の画像処理装置であって、
前記処理部は、前記剛***置合せ機能の実行後、前記一致度が予め定められた条件を満たす場合、処理を終了する、
ことを特徴とする画像処理装置。
The image processing apparatus according to claim 13,
The processing unit ends the processing when the degree of coincidence satisfies a predetermined condition after execution of the rigid body alignment function.
An image processing apparatus.
JP2009173093A 2009-07-24 2009-07-24 Image processing method and image processor Pending JP2011024763A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009173093A JP2011024763A (en) 2009-07-24 2009-07-24 Image processing method and image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009173093A JP2011024763A (en) 2009-07-24 2009-07-24 Image processing method and image processor

Publications (1)

Publication Number Publication Date
JP2011024763A true JP2011024763A (en) 2011-02-10

Family

ID=43634230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009173093A Pending JP2011024763A (en) 2009-07-24 2009-07-24 Image processing method and image processor

Country Status (1)

Country Link
JP (1) JP2011024763A (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013146541A (en) * 2011-12-20 2013-08-01 Fujifilm Corp Image processing device, image processing method, and image processing program
JP2013180153A (en) * 2012-03-05 2013-09-12 Fujifilm Corp Medical image display device and medical image display method, and medical image display program
WO2013133368A1 (en) 2012-03-07 2013-09-12 オリンパス株式会社 Image processing device, program, and image processing method
WO2013157354A1 (en) 2012-04-18 2013-10-24 オリンパス株式会社 Image processing device, program, and image processing method
WO2014050638A1 (en) 2012-09-27 2014-04-03 オリンパス株式会社 Image processing device, program, and image processing method
WO2014050637A1 (en) 2012-09-27 2014-04-03 オリンパス株式会社 Image processing device, program, and image processing method
JP2014108349A (en) * 2012-12-04 2014-06-12 Toshiba Corp Image alignment device, image segmentation device, medical image apparatus, image alignment method, and image segmentation method
JP2015512312A (en) * 2012-04-03 2015-04-27 イントラセンスIntrasense Topology-preserving ROI remapping method between medical images
JP2016104121A (en) * 2014-11-25 2016-06-09 株式会社東芝 Medical image processing apparatus and medical image processing method
US9547794B2 (en) 2012-03-08 2017-01-17 Olympus Corporation Image processing device, information storage device, and image processing method
US9552533B2 (en) 2013-03-05 2017-01-24 Toshiba Medical Systems Corporation Image registration apparatus and method
JP2018022334A (en) * 2016-08-03 2018-02-08 キヤノン株式会社 Image processor and image processing method
CN111970965A (en) * 2018-03-27 2020-11-20 夏普株式会社 Model setting device, non-contact blood pressure measurement device, model setting method, model setting program, and recording medium
JP2020198096A (en) * 2019-05-31 2020-12-10 三菱電機株式会社 Robust image registration for multiple rigid transformed images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005009242A1 (en) * 2003-07-28 2005-02-03 Hitachi Medical Corporation Medical image processing device and method
WO2005059831A1 (en) * 2003-12-11 2005-06-30 Philips Intellectual Property & Standards Gmbh Elastic image registration
JP2007021193A (en) * 2005-06-15 2007-02-01 Toshiba Corp Image processing apparatus and program
JP2007152118A (en) * 2005-12-07 2007-06-21 Siemens Ag Proper correlating method of position of two object medical image data sets
JP2007319676A (en) * 2006-06-02 2007-12-13 General Electric Co <Ge> System and method for geometry driven registration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005009242A1 (en) * 2003-07-28 2005-02-03 Hitachi Medical Corporation Medical image processing device and method
WO2005059831A1 (en) * 2003-12-11 2005-06-30 Philips Intellectual Property & Standards Gmbh Elastic image registration
JP2007021193A (en) * 2005-06-15 2007-02-01 Toshiba Corp Image processing apparatus and program
JP2007152118A (en) * 2005-12-07 2007-06-21 Siemens Ag Proper correlating method of position of two object medical image data sets
JP2007319676A (en) * 2006-06-02 2007-12-13 General Electric Co <Ge> System and method for geometry driven registration

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9183628B2 (en) 2011-12-20 2015-11-10 Fujifilm Corporation Image processing apparatus, image processing method, and image processing program
JP2013146541A (en) * 2011-12-20 2013-08-01 Fujifilm Corp Image processing device, image processing method, and image processing program
JP2013180153A (en) * 2012-03-05 2013-09-12 Fujifilm Corp Medical image display device and medical image display method, and medical image display program
WO2013132801A1 (en) * 2012-03-05 2013-09-12 富士フイルム株式会社 Medical image display device and medical image display method as well as medical image display program
US9119599B2 (en) 2012-03-05 2015-09-01 Fujifilm Corporation Medical image display apparatus, medical image display method and non-transitory computer-readable recording medium having stored therein medical image display program
WO2013133368A1 (en) 2012-03-07 2013-09-12 オリンパス株式会社 Image processing device, program, and image processing method
US9576362B2 (en) 2012-03-07 2017-02-21 Olympus Corporation Image processing device, information storage device, and processing method to acquire a summary image sequence
US9672619B2 (en) 2012-03-08 2017-06-06 Olympus Corporation Image processing device, information storage device, and image processing method
US9547794B2 (en) 2012-03-08 2017-01-17 Olympus Corporation Image processing device, information storage device, and image processing method
JP2015512312A (en) * 2012-04-03 2015-04-27 イントラセンスIntrasense Topology-preserving ROI remapping method between medical images
US9740939B2 (en) 2012-04-18 2017-08-22 Olympus Corporation Image processing device, information storage device, and image processing method
WO2013157354A1 (en) 2012-04-18 2013-10-24 オリンパス株式会社 Image processing device, program, and image processing method
US10037468B2 (en) 2012-04-18 2018-07-31 Olympus Corporation Image processing device, information storage device, and image processing method
WO2014050637A1 (en) 2012-09-27 2014-04-03 オリンパス株式会社 Image processing device, program, and image processing method
US9652835B2 (en) 2012-09-27 2017-05-16 Olympus Corporation Image processing device, information storage device, and image processing method
WO2014050638A1 (en) 2012-09-27 2014-04-03 オリンパス株式会社 Image processing device, program, and image processing method
US9684849B2 (en) 2012-09-27 2017-06-20 Olympus Corporation Image processing device, information storage device, and image processing method
JP2014108349A (en) * 2012-12-04 2014-06-12 Toshiba Corp Image alignment device, image segmentation device, medical image apparatus, image alignment method, and image segmentation method
US9552533B2 (en) 2013-03-05 2017-01-24 Toshiba Medical Systems Corporation Image registration apparatus and method
JP2016104121A (en) * 2014-11-25 2016-06-09 株式会社東芝 Medical image processing apparatus and medical image processing method
JP2018022334A (en) * 2016-08-03 2018-02-08 キヤノン株式会社 Image processor and image processing method
CN111970965A (en) * 2018-03-27 2020-11-20 夏普株式会社 Model setting device, non-contact blood pressure measurement device, model setting method, model setting program, and recording medium
CN111970965B (en) * 2018-03-27 2024-03-26 夏普株式会社 Model setting device, noncontact blood pressure measurement device, model setting method, and recording medium
JP2020198096A (en) * 2019-05-31 2020-12-10 三菱電機株式会社 Robust image registration for multiple rigid transformed images
JP7267233B2 (en) 2019-05-31 2023-05-01 三菱電機株式会社 Robust Image Registration for Multiple Rigid Transformed Images

Similar Documents

Publication Publication Date Title
JP2011024763A (en) Image processing method and image processor
JP6312898B2 (en) Information processing apparatus, information processing method, and program
US9251585B2 (en) Coregistration and analysis of multi-modal images obtained in different geometries
JP5335280B2 (en) Alignment processing apparatus, alignment method, program, and storage medium
US7813535B2 (en) System and method for fused PET-CT visualization for heart unfolding
US9741131B2 (en) Anatomy aware articulated registration for image segmentation
US20130222383A1 (en) Medical image display device and medical image display method
CN101248461A (en) Image processing method, image processing program, and image processing device
JP2007054636A (en) Method for positioning a pair of images and program storing apparatus for executing above method by realizing program comprised of command executed by computer
JP2007516744A (en) Elastic image alignment
US20180064409A1 (en) Simultaneously displaying medical images
JP5194138B2 (en) Image diagnosis support apparatus, operation method thereof, and image diagnosis support program
Hachaj et al. Visualization of perfusion abnormalities with GPU-based volume rendering
RU2606000C2 (en) Tnm classification using image overlays
CN114596311A (en) Blood vessel function evaluation method and blood vessel function evaluation device based on blood vessel image
KR101028798B1 (en) Method for detection of hepatic tumors using registration of multi-phase liver CT images
JP2012085833A (en) Image processing system for three-dimensional medical image data, image processing method for the same, and program
Krüger et al. Simulation of mammographic breast compression in 3D MR images using ICP-based B-spline deformation for multimodality breast cancer diagnosis
US20160157726A1 (en) Projection image generating device, method and program
JP2017189394A (en) Information processing apparatus and information processing system
EP3695380B1 (en) Hypersurface reconstruction of microscope view
JP6632361B2 (en) Image processing apparatus, image processing system, image processing method, and program.
Cheirsilp et al. Deformable image registration for multimodal lung-cancer staging
JP7048760B2 (en) Area modifiers, methods and programs
JP5706933B2 (en) Processing apparatus, processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140107