KR101467346B1 - Magnetic resonance imaging registration and composition method - Google Patents
Magnetic resonance imaging registration and composition method Download PDFInfo
- Publication number
- KR101467346B1 KR101467346B1 KR1020130104316A KR20130104316A KR101467346B1 KR 101467346 B1 KR101467346 B1 KR 101467346B1 KR 1020130104316 A KR1020130104316 A KR 1020130104316A KR 20130104316 A KR20130104316 A KR 20130104316A KR 101467346 B1 KR101467346 B1 KR 101467346B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- stitching
- point
- images
- setting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 146
- 238000002595 magnetic resonance imaging Methods 0.000 title claims description 34
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims description 73
- 239000011159 matrix material Substances 0.000 claims description 54
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 27
- 210000000115 thoracic cavity Anatomy 0.000 claims description 25
- 238000002156 mixing Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 17
- 238000013519 translation Methods 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 238000010008 shearing Methods 0.000 claims description 7
- 238000001308 synthesis method Methods 0.000 claims description 7
- 210000004705 lumbosacral region Anatomy 0.000 claims description 6
- 238000011049 filling Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000638 stimulation Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 abstract description 16
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 3
- 230000004936 stimulating effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
Description
본 발명은 영상화 대상을 횡 방향 또는 종 방향으로 움직여, 자기공명영상기기 중심에서 영상을 분할획득하고, 이를 접합하여 관심영역을 확대함과 동시에 위치정보 및 크기정보 왜곡이 없는 단면영상을 구성하게 하며, GUI기반으로 이루어진, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법에 관한 것이다.The present invention moves the object to be imaged horizontally or longitudinally, divides and acquires images from the center of the MRI apparatus, and enlarges the region of interest by joining the images to form a sectional image without distortion of position information and size information And GUI-based MRI matching and synthesis methods for image region extension.
MRI는 영상의 경사자계 비선형성으로 인한 기하학적 영상 왜곡이 생기는데, 이로인해, MRI를 방사선 치료에 임상 적용하는 데 걸림돌이 되고 있다. MRI results in geometric image distortion due to gradient nonlinearity of the image, making it difficult to clinically apply MRI to radiotherapy.
종래에 폐쇄형 자기공명영상기기에서 관심영역 내 종 방향으로 환자 테이블 움직임을 통해 제한된 관심영역을 극복하여 인체의 전체(whole body)영상화가 가능하도록 하는 기술이 다수 제안되었다. 이들 대부분의 종래의 방법은 전문가가 아니면 사용하기 어렵게 이루어져 있다.A number of techniques have been proposed to enable whole body imaging of a human body by overcoming a limited area of interest through patient table movement in a longitudinal direction in a region of interest in a closed MRI apparatus. Most of these conventional methods are difficult to use unless they are experts.
또한, 종래기술은 부분적으로 획득한 자기공명영상의 스티칭을 자동적으로 수행하는 알고리즘으로 구성되어 있으며 이는 영상의 움직임이 있는 경우 상대적으로 정합에 불리하다. 즉, 영상의 움직임이 있는 경우 종래의 정합 및 합성방법을 사용하면 영상의 움직임을 인지하지 못한 채 단순히 위아래 방향으로 정합 및 합성을 한다. In addition, the prior art is made up of an algorithm for automatically performing stitching of a partially acquired magnetic resonance image, which is disadvantageous in terms of relative registration when there is movement of an image. That is, when there is motion of an image, matching and synthesis are performed in the upward and downward directions without recognizing the movement of the image using the conventional matching and synthesizing method.
따라서, 겹쳐지는 부분의 포인트 설정에 있어서, 사용자에 의해 설정되어 추출하고 이를 기준으로 정합 및 합성을 수행하여 보다 정확성을 높이는 것이 요망된다.Therefore, it is desirable to set the points of the overlapped portions to be set by the user and extract and perform matching and compositing on the basis of the extracted points, thereby improving the accuracy.
또한 사용자에 의해 포인트를 지정하는 번거로움을 피하기 위하여 두 영상간에 특징점을 추출하는 알고리즘을 적용하여 자동으로 영상의 특징점을 추출하며, 화면에 표시된 추출된 포인트들을 사용자가 선택적으로 선정하여 정합 및 합성을 수행하도록 하여, 보다 편리하면서 보다 정확성을 높이는 것이 요망된다.In addition, in order to avoid the hassle of specifying points by the user, the algorithm extracts the feature points from the two images and automatically extracts the feature points of the images. The user selects the extracted points on the screen, So that it is more convenient and more accurate.
또한, 알고리즘 구현의 접근성 및 편의성을 위하여 GUI 기반의 알고리즘 구현 방법으로 이루어지는 것이 요망된다.In addition, it is desirable to implement GUI-based algorithm implementation method for accessibility and convenience of algorithm implementation.
동 발명자들은 국내 특허출원 제10-2013-0016157호 '개방형 자기공명영상기기에서 자장중심자기공명영상화 방법'을 기 출원한 바 있으며, 이 발명은, 관심영역 내 기하학적 왜곡이 적은 영역을 왜곡자유영역으로 설정한 뒤, 영상화 대상을 횡 방향으로 움직여, 자기공명영상기기 중심에서 영상을 왜곡자유영역단위로 분할획득하고, 이를 접합하여 관심영역을 확대함과 동시에 위치정보 및 크기정보 왜곡이 없는 단면영상을 구성하는, 개방형 자기공명영상기기에서 자장중심자기공명영상화 방법에 관한 것이었다.The inventors of the present invention filed a patent application 10-2013-0016157 entitled " Magnetic resonance imaging method in an open type magnetic resonance imaging apparatus ", and the present invention is applied to a method in which a region having a small geometric distortion in a region of interest is called a distortion free region , The image is shifted horizontally by moving the object to be imaged horizontally, and the image is divided and acquired in units of the distortion free region at the center of the MRI apparatus, and the region of interest is enlarged by joining the images. At the same time, Centered magnetic resonance imaging method in an open MRI apparatus.
본 발명은, 폐쇄형 자기공명영상기기에서 영상화 대상을 횡 방향 또는 종 방향으로 움직여, 자기공명영상기기 중심에서 영상을 왜곡자유영역단위로 분할획득하고, 이를 접합하여 관심영역을 확대함과 동시에 위치정보 및 크기정보 왜곡이 없는 단면영상을 구성한다.In the closed magnetic resonance imaging apparatus, the object to be imaged is moved in the lateral direction or the longitudinal direction to divide and acquire the image at the center of the magnetic resonance imaging apparatus, Information and size information Consists of cross-sectional images without distortion.
본 발명이 이루고자 하는 기술적 과제는, 영상화 대상을 횡 방향 또는 종 방향으로 움직여, 자기공명영상기기 중심에서 영상을 분할획득하고, 이를 접합하여 관심영역을 확대함과 동시에 위치정보 및 크기정보 왜곡이 없는 단면영상을 구성하게 하며, GUI기반으로 이루어진, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The object of the present invention is to provide a magnetic resonance imaging apparatus and a magnetic resonance imaging apparatus which are capable of moving an object to be imaged horizontally or longitudinally, And to provide a method of matching and synthesizing a magnetic resonance image for enlarging an image region, which is based on a GUI.
본 발명이 이루고자 하는 다른 기술적 과제는, 사용자에 의하여 겹쳐지는 부분의 포인트를 설정하여 추출하고, 이를 기준으로 자동적으로 정합 및 합성을 수행하도록 이루어져, 영상의 움직임이 있는 경우에도 높은 정확성을 얻을 수 있는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법을 제공하는 것이다.According to another aspect of the present invention, there is provided an image processing method including: setting and extracting points of overlapping parts by a user and automatically performing matching and combining based on the extracted points; , And a method of matching and synthesizing a magnetic resonance image for enlarging an image region.
본 발명이 이루고자 하는 다른 기술적 과제는, 두 영상간에 특징점을 추출하는 알고리즘을 적용하여 자동으로 영상의 특징점을 추출하며, 화면에 표시된 추출된 포인트들을 사용자가 선택적으로 선정하여, 정합 및 합성을 수행하도록 하여, 보다 편리하면서 보다 정확성을 높이도록 이루어진, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법을 제공하는 것이다.According to another aspect of the present invention, there is provided a method for extracting feature points of an image automatically by applying an algorithm for extracting feature points between two images, and a user may selectively select extracted points displayed on the screen to perform matching and compositing And a method of matching and synthesizing a magnetic resonance image for enlarging an image area, which is made more convenient and more accurate.
상기 과제를 해결하기 위해, 본 발명의 영상영역확장을 위한 자기공명영상 정합 및 합성 방법은, 자기공명(MR) 영상시스템에서, MR자극선부의 중심에 위치된 영상화 대상을 횡 방향 또는 종 방향으로 움직여서 영상을 부위별로 분할획득하되, 동일한 관심영역의 크기를 기준으로, 겹쳐지는 부분이 발생하도록 분할획득되며, 분할획득된 부위별 영상들을 연산처리부에서 수신하는, 자기공명 영상획득 단계; 연산처리부에 수신된 각 부위별 영상에서 기준영상을 설정하는, 각 부위별 영상에서 기준영상 설정 단계; 기준영상과 스티칭하고자 하는 영상을 스티칭하기 위한 특징점을 추출하는, 포인트 지정방식이, 사용자에 의한 포인트 지정방식 설정모드인지, 자동 특징점 추출에 의한 포인트 지정방식 설정모드인지를, 명령입력부로부터 연산처리부가 수신하는 포인트 지정방식 설정단계; 기준영상과 스티칭하고자 하는 영상을 스티칭을 수행하되, 포인트 지정방식 설정단계에서 설정된 포인트 지정방식에 따라 특징점의 포인트들을 지정하고, 상기 포인트들을 이용하여, 영상의 스티칭을 수행하는, 영상 스티칭 단계; 영상 스티칭 단계 후에, 자기공명 영상획득 단계에서 연산처리부에서 수신한 부위별 영상 전부가 스티칭이 행하여졌는지 판단하여, 부위별 영상 전부가 스티칭이 행하여진 것이 아니라면, 영상 스티칭 단계에서 스티칭된 영상을 기준영상으로 하고, 포인트 지정방식 설정단계로 가는, 스티칭 종료여부 판단단계; 스티칭 종료여부 판단단계에서, 부위별 영상 전부가 스티칭이 행하여진 것이라면, 영상 스티칭이 완료된 영상을 저장하고 출력하는, 저장 및 화면출력단계;를 포함하여 이루어진 것을 특징으로 한다.According to an aspect of the present invention, there is provided a magnetic resonance image matching and synthesizing method for expanding an image region, comprising the steps of: A magnetic resonance image acquiring step of dividing and acquiring an image so as to generate an overlapping part based on the size of the same area of interest and receiving images of the divided and acquired parts in an operation processing part; A reference image setting step of setting a reference image for each site image received by the operation processing unit in an image for each site; Whether the point designation mode for extracting the feature point for stitching the reference image and the image to be stitched is the point designation mode setting mode by the user or the point designation mode setting mode by the automatic feature point extraction, A point designation method setting step of receiving; An image stitching step of stitching a reference image and an image to be stitched, designating points of a feature point according to a point designation method set in a point designation method setting step, and stitching an image using the points; After the image stitching step, it is determined whether or not stitching has been performed on all of the images received by the arithmetic processing unit in the magnetic resonance image acquiring step. If the stitching has not been performed on all the images of each site, Determining whether the stitching is finished or not; And storing and outputting an image in which the image stitching is completed if the stitching has been performed on all of the images in each stitch in the stitching end determination step.
본 발명의 영상영역확장을 위한 자기공명영상 정합 및 합성 방법은, 자기공명(MR) 영상시스템에서, MR자극선부의 중심에 위치된 영상화 대상을, 영상화 대상의 장축방향으로 움직여서, 영상을 경추, 흉추, 요추의 부위별로 분할획득하되, 동일한 관심영역의 크기를 기준으로, 겹쳐지는 부분이 발생하도록 분할획득되며, 분할획득된 부위별 영상들을 연산처리부에서 수신하는, 자기공명 영상획득 단계; 연산처리부에 수신된 각 부위별 영상에서 경추 또는 흉추 중의 하나의 부위별 영상을 기준영상을 설정하고, 기준영상과 스티칭하고자 하는 영상으로서, 경추 또는 흉추 중의 다른 하나의 부위별 영상을 설정하는, 제1 기준영상 설정 단계; 제1 기준영상 설정 단계 후, 기준영상과 스티칭하고자 하는 영상을 스티칭하기 위한 특징점을 추출하는, 포인트 지정방식이, 사용자에 의한 포인트 지정방식 설정모드인지, 자동 특징점 추출에 의한 포인트 지정방식 설정모드인지를, 명령입력부로부터 연산처리부가 수신하는 제1 포인트 지정방식 설정단계; 기준영상과 스티칭하고자 하는 영상을 스티칭을 수행하되, 포인트 지정방식 설정단계에서 설정된 포인트 지정방식에 따라 특징점의 포인트들을 지정하고, 상기 포인트들을 이용하여, 영상의 스티칭을 수행하여, 경추의 부위별 영상과 흉추의 부위별 영상을 스티칭한 영상을 획득하는, 제1영상 스티칭 단계; 제1영상 스티칭 단계에서 획득된, 경추의 부위별 영상과 흉추의 부위별 영상을 스티칭한 영상을, 기준영상으로 하고, 스티칭하고자 하는 영상을 요추의 부위별 영상으로 설정하는, 제2 기준영상 설정 단계; 제2 기준영상 설정 단계 후, 기준영상과 스티칭하고자 하는 영상을 스티칭하기 위한 특징점을 추출하는, 포인트 지정방식이, 사용자에 의한 포인트 지정방식 설정모드인지, 자동 특징점 추출에 의한 포인트 지정방식 설정모드인지를, 명령입력부로부터 연산처리부가 수신하는 제2 포인트 지정방식 설정단계; 기준영상과 스티칭하고자 하는 영상을 스티칭을 수행하되, 포인트 지정방식 설정단계에서 설정된 포인트 지정방식에 따라 특징점의 포인트들을 지정하고, 상기 포인트들을 이용하여, 영상의 스티칭을 수행하여, 경추의 부위별 영상과 흉추의 부위별 영상과 요추의 부위별 영상을 스티칭한 영상을 획득하는, 제2영상 스티칭 단계; 제2영상 스티칭 단계 후에, 경추의 부위별 영상과 흉추의 부위별 영상과 요추의 부위별 영상을 스티칭한 영상을 저장하고 출력하는, 저장 및 화면출력단계;를 포함하여 이루어진 것을 특징으로 한다.The magnetic resonance image matching and synthesizing method for expanding the image region of the present invention is a method of aligning and synthesizing images by moving an imaging object located at the center of an MR stimulation head portion in a longitudinal direction of an imaging object in a magnetic resonance imaging system, A thoracic spine, and a lumbar region, the divided images being divided and acquired so as to generate an overlapping portion based on the size of the same region of interest; A reference image is set as an image of one part of the cervical vertebra or thoracic vertebrae in an image of each part received in the operation processing part, and an image of another part of the cervical vertebra or thoracic vertebra as an image to be stitched with the reference image is set 1 reference image setting step; After the first reference image setting step, a point designation method for extracting a feature point for stitching a reference image and an image to be stitched is performed by a point designation mode setting mode by a user or a point designation mode setting mode by automatic feature point extraction A first point designation method setting step of receiving an operation processing unit from an instruction input unit; Stitching the reference image and the image to be stitched, designating points of the feature point according to the point designation method set in the point designation method setting step, stitching the image using the points, A first image stitching step of acquiring an image stitched by an image of a part of the thoracic vertebrae; A second reference image setting step of setting an image obtained by stitching the cervical region of the cervical region and an image of the thoracic region obtained in the first image stitching step as a reference image and an image to be stitched as an image of a lumbar region, step; After the second reference image setting step, a point designation method for extracting a feature point for stitching an image to be stitched with the reference image is performed by a point designation mode setting mode by a user or a point designation mode setting mode by automatic feature point extraction A second point designation method setting step of receiving an operation processing unit from an instruction input unit; Stitching the reference image and the image to be stitched, designating points of the feature point according to the point designation method set in the point designation method setting step, stitching the image using the points, A second image stitching step of acquiring an image obtained by stitching an image of the thoracic region and an image of the lumbar region; And storing and outputting an image obtained by stitching an image of each part of the cervical vertebrae, a part of the thoracic vertebrae, and a part of the lumbar vertebrae after the second image stitching step.
저장 및 화면출력단계에서 저장되는 영상은 DICOM 저장방식 또는 JPEG 저장방식으로 저장되는 것을 특징으로 한다.And the image stored in the storage and display step is stored in the DICOM storage method or the JPEG storage method.
사용자에 의한 포인트 지정방식은, GUI 기반의 명령입력부에서, 기준영상과 스티칭하기 위한 영상을 화면에 디스플레이한 상태에서 겹쳐진 부분을 사용자가 시각적으로 확인하면서, 기준영상의 특징점을 지정하고, 스티칭하기 위한 영상에서, 상기 기준영상의 특징점에 대응되는 특징점을 지정하여, 기준영상과 스티칭하기 위한 영상에 지정된 특징점들을 명령입력부로부터 연산처리부가 수신하도록 이루어진 다.The point specifying method by the user is a GUI-based instruction inputting section in which a user visually confirms the overlapped portion while displaying an image for stitching with the reference image on the screen, specifies the minutiae point of the reference image, The feature point corresponding to the feature point of the reference image is designated in the image and the feature point designated in the image for stitching with the reference image is received from the instruction input unit.
자동 특징점 추출에 의한 포인트 지정방식은, 입력영상 I(x, y)에 분산 σ를 갖는 가우시안(Gaussian) 필터를 적용한 각 스케일(scale)에 해당하는 차이 영상과의 컨볼루션(convolution) 계산을 통하여 영상을 재구성하되, DoG(가우시안의 차)영상은 The point designation method by automatic feature point extraction is a method of calculating a convolution between a input image I (x, y) and a difference image corresponding to each scale to which a Gaussian filter having a variance? Reconstruct the image, but DoG (Gaussian's car)
(단, D(x, y, σ)은 DoG 영상을 의미하며, G(x, y, kσ)는 k번째 스케일에 해당하는 가우시안 필터링 영상을 나타내고, I(x, y)는 입력영상을 나타냄)(X, y, k) denotes a Gaussian filtered image corresponding to the k-th scale, and I (x, y) denotes an input image. )
으로 나타내며, 가우시안 필터를 적용하여 획득한 영상을, σ가 2배가 될 때마다 영상을 1/2로 다운샘플링하여, 순차적으로 크기를 다운 샘플링을 하여 피라미드식 구조의 영상트리를 형성하며, 획득한 DoG 값에서 극대값과 극소값을 구하고, 극대값과 극소값의 샘플포인트의 위치를 기준으로, 상, 하, 좌, 우로 이웃한 픽셀을 비교하여 특징점들을 추출한다., The image obtained by applying the Gaussian filter is down-sampled by 1/2 every time the sigma is doubled, and sequentially downsized to form an image tree of a pyramidal structure. The maximum and minimum values are obtained from the DoG value, and the feature points are extracted by comparing the pixels adjacent to the upper, lower, left, and right sides based on the positions of the sample points of the maximum value and the minimum value.
자동 특징점 추출에 의한 포인트 지정방식에 의해 추출된 특징점들을, 기준영상과 스티칭하기 위한 영상 각각에 디스플레이하며, 자동 특징점 추출에 의한 포인트 지정방식에 의해 추출된 특징점들을 바탕으로 사용자가 원하는 포인트들을 재설정한다.The feature points extracted by the point designation method by the automatic feature point extraction are displayed on each of the images for stitching with the reference image and the user re-sets the desired points based on the extracted feature points by the point designation method by the automatic feature point extraction .
영상 스티칭 단계의 영상 블렌딩과정에서, 기준영상과 스티칭하기 위한 영상의 두 영상을 혼합하되, 두 영상간의 겹쳐진 영역(Q)은 In the image blending process of the image stitching step, the reference image and the image for stitching are mixed, and the overlapped area (Q) between the two images is
(단, f(x)는 선형블렌딩 함수로서 겹쳐진 영역의 투명도를 정의하며, I1 과 I2는 인접한 두 영상에서 겹쳐진 각 영역임)(Where f (x) defines the transparency of the overlapping region as a linear blending function, and I1 and I2 are the overlapping regions in the adjacent two images)
에 의해 구하여지며, f(x)는 , And f (x) is obtained by
(단, 파라미터 p는 블렌딩 형태의 곡률이고 a는 양의 실수임)(Where parameter p is the curvature of the blended form and a is a positive real number)
에 의해 구하여 지며, 파라미터 p는 2이다., And the parameter p is 2.
영상 블렌딩과정을 수행 후, 공간변환함수(transformation function)를 적용하는 공간변환 과정을 수행하며, 공간변환함수는 After performing the image blending process, a spatial transformation process is performed to apply a transformation function, and the spatial transformation function
(단, T는 아핀변환, x와 b는 벡터를 나타내고 A는 행렬형태의 아핀변환군을 나타냄)(Where T denotes an affine transformation, x and b denote a vector, and A denotes a matrix-type affine transformation group)
아핀변환(affine transformation) 행렬을 적용하되, 아핀변환군은 4가지의 변환형태로 평행이동(translation), 회전(rotation), 확대/축소(scaling), 찌그러짐(shearing)을 나타낸다.The affine transformation matrix is applied, and the affine transformation group represents translation, rotation, scaling, and shearing in four types of transformations.
아핀변환군이 평행이동(translation)의 변환형태로 표현되었을때, 아핀변환군 행렬은When the affine transform group is expressed as a translation form of translation, the affine transform group matrix
(단, x1, x2, x3는 기준벡터의 위치를 나타내고, q1, q2, q3가 포함된 행렬은 변환 행렬(변환 매트릭스)을 나타냄)(Where x1, x2 and x3 represent the position of the reference vector, and the matrix including q1, q2 and q3 represents a transformation matrix (transformation matrix)
로 나타내진다..
아핀변환군이, 회전(rotation)의 변환형태로서, X축, Y축, Z축의 3축의 회전의 변환형태로 표현되었을때 When the affine transformation group is a transformation type of rotation and is expressed by a transformation type of rotation of three axes of X axis, Y axis, and Z axis
(단, x1, x2, x3는 기준벡터의 위치를 나타내고, q4, q5, q6이 포함된 행렬은 변환 행렬(변환 매트릭스)을 나타냄)(Where x1, x2, and x3 represent the positions of the reference vectors, and the matrix including q4, q5, and q6 represents the transformation matrix (transformation matrix)
로 나타내진다..
아핀변환군이 확대/축소(scaling)의 변환형태로 표현되었을때, When the affine transform group is expressed as a transformation type of scaling,
(단, x1, x2, x3는 기준벡터의 위치를 나타내고, q7, q8, q9가 포함된 행렬은 변환 행렬(변환 매트릭스)을 나타냄)(Where x1, x2, x3 represent the position of the reference vector, and the matrix including q7, q8, q9 represents the transformation matrix (transformation matrix)
로 나타내진다..
아핀변환군이 찌그러짐(shearing)의 변환형태로 표현되었을때, When the affine transform group is expressed as a shearing transform form,
(단, x1, x2, x3는 기준벡터의 위치를 나타내고, q10, q11, q12가 포함된 행렬은 변환 행렬(변환 매트릭스)을 나타냄)(Where x1, x2, x3 represent the position of the reference vector, and the matrix including q10, q11, q12 represents a transformation matrix (transformation matrix)
로 나타내진다..
공간변환 과정 후, 영상신호의 공간변환에 따라 발생한, 영상의 경계면에서의 신호소실 부분에 대하여, ‘0’의 값으로 채우는 제로패딩(zero-padding)방법, 또는, 주변값을 기준으로 복사하여 채우는 방법을 사용하는 영상패딩(padding) 과정을 거친다.A zero-padding method of filling a zero-padded portion of a signal loss at an image boundary, which occurs in accordance with the spatial transformation of a video signal after the spatial transformation, The image is padded using a filling method.
명령입력부는, GUI 화면 상에, 자동 특징점 추출에 의한 포인트 지정방식을 적용할 것인지 여부를 설정하는 설정부를 구비한다.The command input section has a setting section for setting whether or not to apply the point specifying method by automatic feature point extraction on the GUI screen.
명령입력부는, GUI 화면 상에, 스티칭이 완료된 영상을, DICOM 영상으로 저장할 것인지를 설정하는 설정부와, JPEG 영상으로 저장할 것인지를 설정하는 설정부를 구비한다.The command input unit includes a setting unit for setting whether to store the stitched image as a DICOM image on the GUI screen and a setting unit for setting whether to store the stitched image as a JPEG image.
명령입력부는, GUI 화면 상에, 스티칭이 완료된 영상을 디스플레이 하는 윈도우를 구비하되, 스크롤바를 이용하여, 스티칭이 완료된 영상의 좌측 또는 우측의 영상을 볼 수 있도록 이루어진다.The command input unit has a window for displaying a stitched image on a GUI screen so that a left or right image of a stitched image can be viewed using a scroll bar.
본 발명의 자기공명영상 정합 및 합성 방법에 대한 컴퓨터 프로그램 소스를 저장한 기록매체를 특징으로 한다.And a recording medium storing a computer program source for the magnetic resonance image matching and synthesizing method of the present invention.
본 발명의 영상영역확장을 위한 자기공명영상 정합 및 합성 방법에 의하면, 영상화 대상을 횡 방향(인체의 단축방향) 또는 종 방향(인체의 장축방향)으로 움직여, 자기공명영상기기 중심에서 영상을 분할획득하고, 이를 접합하여 관심영역을 확대함과 동시에 위치정보 및 크기정보 왜곡이 없는 단면영상을 구성하게 하며, GUI기반으로 이루어져, 종래의 위아래 방향으로만 정합 및 합성하던 것에 비해, 영상의 움직임이 있는 경우에도 정확성이 높은 결과를 얻을 수 있으며, 초보자라도 손쉽게 사용할 수 있도록 이루어진다.According to the magnetic resonance image matching and synthesis method for expanding the image region of the present invention, the imaging object is moved in the lateral direction (short axis direction of the human body) or longitudinal direction (the long axis direction of the human body) Dimensional image with no distortions of positional information and size information, and is GUI-based. In contrast to the conventional method of matching and composing in the up and down direction, Even if you are a beginner, you can use it easily.
특히, 본 발명에서는 GUI 기반의 알고리즘 구현 방법을 사용하여, 본 발명의 알고리즘 구현의 접근성 및 편의성을 높였다.In particular, the present invention uses the GUI-based algorithm implementation method to improve the accessibility and convenience of the algorithm implementation of the present invention.
또한 본 발명은, 사용자에 의하여 겹쳐지는 부분의 포인트를 설정하여 추출하고, 이를 기준으로 자동적으로 정합 및 합성을 수행하도록 이루어져, 영상의 움직임이 있는 경우에도 높은 정확성을 얻을 수 있다.In addition, according to the present invention, points of overlapping portions are set and extracted by a user, and matching and compositing are automatically performed on the basis of the extracted points. Thus, high accuracy can be obtained even in the presence of motion of an image.
즉, 종래기술은 부분적으로 획득한 자기공명영상의 스티칭을 자동적으로 수행하는 알고리즘으로 구성되어 있으며 이는 영상의 움직임이 있는 경우 상대적으로 본 발명보다 정합에 불리한 조건을 가질 수 있다. 영상의 움직임이 있는 경우 기존의 정합 및 합성방법을 사용하면 영상의 움직임을 인지하지 못한 채 단순히 위아래 방향으로 정합 및 합성을 하지만, 본 발명의 경우 사용자에 의하여 겹쳐지는 부분의 포인트를 설정하여 추출하고 이를 기준으로 정합 및 합성을 수행하기 때문에 상대적으로 정확성이 높다.That is, the prior art is configured with an algorithm that automatically performs stitching of a partially acquired magnetic resonance image, which may have a disadvantage in terms of registration than in the present invention when there is motion of the image. In the case of motion of an image, matching and compositing are performed simply in the upward and downward directions without recognizing the motion of the image by using the existing matching and synthesizing method. In the present invention, the point of the overlapping part is set by the user and extracted This is relatively accurate because the matching and synthesis are performed based on this.
또한 본 발명은, 두 영상간에 특징점을 추출하는 알고리즘을 적용하여 자동으로 영상의 특징점을 추출하며, 화면에 표시된 추출된 포인트들을 사용자가 선택적으로 선정하여, 정합 및 합성을 수행하도록 하여, 보다 편리하면서 보다 정확성을 높이도록 이루어져 있다.In addition, the present invention extracts feature points of an image automatically by applying an algorithm for extracting feature points between two images, allows a user to selectively select extracted points displayed on the screen, and performs matching and compositing, So as to improve accuracy.
즉, 본 발명은, 사용자에 의해 포인트를 지정하는 번거로움을 피하기 위하여 두 영상간에 특징점을 추출하는 알고리즘을 적용하여 자동으로 영상의 특징점을 추출할 수 있도록 하였으며 화면에 표시된 추출된 포인트들을 바탕으로 정합 및 합성을 동일하게 수행할 수 있도록 하였다.That is, in order to avoid the hassle of specifying a point by the user, the present invention can automatically extract the feature points of the image by applying an algorithm for extracting feature points between the two images. Based on the extracted points displayed on the screen, And synthesis can be performed in the same manner.
본 발명은, 자기공명영상 장비의 송신코일과 수신코일의 영상영역증가에 의한 물리적 한계성을 보완하여 영상획득에 강점을 나타낼 수 있으며, 환자의 진단 및 치료와 지속적인 관리의 측면에서 보다 전체적이고 종합적이며 정확한 영상진단정보를 제공할 수 있으며, 자기공명영상 시스템을 이용한 넓은 영상영역의 확보는 향후 미래첨단의료 융복합 영상 구현의 토대 마련 및 진단치료기술의 정확성 확보를 위한 기반기술이 될 수 있다. 또한, 본 발명은 개방형 또는 ?쇄용 MRI 장비에 적용 가능하다.The present invention can enhance the image acquisition by complementing the physical limitation due to the increase of the image area of the transmission coil and the reception coil of the magnetic resonance imaging apparatus and is more comprehensive and comprehensive in terms of diagnosis, It is possible to provide accurate image diagnosis information, and securing a wide image area using a magnetic resonance imaging system can be a base technology for laying the foundation of the future advanced medical complex imaging and securing the accuracy of the diagnosis and treatment technology. Further, the present invention is applicable to an open type or a chain type MRI apparatus.
도 1은 본 발명의 영상영역확장을 위한 자기공명영상 정합 및 합성 방법을 적용하는 자기공명(MR) 영상시스템의 구성을 개략적으로 설명하는 블럭도이다.
도 2는 본 발명의 영상영역확장을 위한 자기공명영상 정합 및 합성 방법의 개략적인 흐름도이다.
도 3은 블랜딩 비율을 나타내는 그래프이다. 즉, 도 3은 수학식 3의 Q 함수를 통해 결정되는 그래프의 단면을 나타낸다.
도 4는 도 2의 각부분별 자기공명 영상획득 및 확인단계에서, 여러 단면의 각 부분별 단면영상을 획득한 결과의 일예이다.
도 5는 도 2의 각 부분별 획득된 영상의 스티칭을 위한 기준영상 선택 단계에서, 각 부분별 영상이 여러 단면으로 구성되었을 경우 기준영상을 설정하는 과정을 도식으로 나타낸 예이다
도 6은 2개의 영상에서 포인트 설정의 일예로, 즉, 겹쳐지는 부분에서의 각 포인트의 위치별 일대일 대응 관계에 대한 결과도식의 예이다.
도 7은 영상의 블렌딩 과정을 표현한 영상의 예이다.
도 8은 본 발명에서, 경추, 흉추, 요추의 자기공명영상 정합 및 합성을 위한, 그래픽 유저 인터페이스(GUI) 화면의 일예이다.FIG. 1 is a block diagram schematically illustrating the configuration of a magnetic resonance (MR) imaging system to which a magnetic resonance image matching and synthesizing method for expanding an image region of the present invention is applied.
2 is a schematic flowchart of a method of matching and synthesizing a magnetic resonance image for expanding an image region of the present invention.
3 is a graph showing the blending ratio. That is, FIG. 3 shows a cross section of a graph determined through the Q function of Equation (3).
FIG. 4 is an example of a result obtained by obtaining cross-sectional images of various sections of various sections in the step of acquiring and confirming the MRI images of FIG.
FIG. 5 is a diagram illustrating a process of setting a reference image when a reference image is selected for stitching an image obtained by each component in FIG.
Figure 6 is an example of a result plot for one-to-one correspondence by position of each point in the overlapping portion, i.e., an example of point setting in two images.
7 is an example of an image expressing a blending process of an image.
8 is an example of a graphical user interface (GUI) screen for magnetic resonance image matching and synthesis of the cervical vertebra, thoracic vertebra, and lumbar vertebrae in the present invention.
이하, 본 발명의 영상영역확장을 위한 자기공명영상 정합 및 합성 방법을 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, a method of matching and synthesizing a magnetic resonance image for enlarging an image region of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 영상영역확장을 위한 자기공명영상 정합 및 합성 방법을 적용하는 자기공명(MR) 영상시스템의 구성을 개략적으로 설명하는 블럭도로, 자기공명(MR) 자극선부(20), 경사 코일구동부(210), RF 코일구동부(230), 데이터 획득부(250), 시퀀스 제어부(270), 연산처리부(310), 디스플레이부(330), 명령입력부(350)를 포함하여 구성된다.FIG. 1 is a block diagram schematically illustrating the configuration of a magnetic resonance (MR) imaging system to which a magnetic resonance image matching and synthesizing method for expanding the image region of the present invention is applied, a magnetic resonance (MR) A RF
자기공명(MR) 영상시스템은 원통형으로 이루어진 MR자극선부(20)의 중앙 공간(40) 내에 환자(피험자)(5)가 위치되게 된다. 환자(5)는 침대지지대위에 장착된 침대상판(크래들)(19)위에 누운상태에서, 침대상판(19)이 이동하여, MR자극선부(20)의 중앙 통공인 촬상공간 내에 환자가 위치되게 된다.In the MR imaging system, the patient (subject) 5 is placed in the
자기공명(MR) 영상시스템은 촬상공간을 가로질러 균일한 정전 자기장(이하 B0 자기장이라 함)을 제공하기 위하여, MR자극선부(20)는, 원통형으로 이루어진 주 자석부(11)를 구비하며, 주 자석부(11)의 내측에 위치되며 원통형으로 이루어진 경사 코일부(12)를 구비하고, 경사 코일부(12)의 내측에 위치되며, 원통형으로 이루어진 RF 코일부(16)를 구비한다. 경사 코일부(12)는 X-축, Y-축, 및 Z-축을 나타내는 3개의 경사코일이 포함된다. 경사 코일부(12)에 파워를 공급하여, 전류가 통하게 되면 지정된 방향으로 경사진 자기장을 발생시킨다. In order to provide a uniform electrostatic magnetic field (hereinafter referred to as B0 magnetic field) across the imaging space, the MR stimulating
MR자극선부(20)는 주 자석부(11), 경사 코일부(12), RF 코일부(16) 및 수신 코일부(17)를 포함한다. 주 자석부(11), 경사 코일부(12) 및 RF 코일부(16)는 실질적으로 가운데 통공을 형성하고 있는 원통 형상을 하며, 동일 한 중심축을 공유한다. 침대상판(크래들)(19) 상에 놓인 촬영 대상(환자 또는 피검체)이 이송 수단에 의해 촬상공간으로 이동된다.The MR
주 자석부(11)는 촬상공간에 정자장을 생성한다. 정자장의 방향은 피검체의 몸축 방향과 실질적으로 직교하는 수직 자장을 생성한다. 주 자석부(11)는 영구 자석이나 초전도 자석(마그네트) 또는 저항성 자석으로 형성될 수도 있다.The
경사 코일부(12)는, 서로 수직인 3개의 축, 즉 X-축, Y-축, 및 Z-축(다시말해, 슬라이스축과 주파수축 및 위상축)을 따라 정자장 세기가 그래디언트를 가지는데 이용되는 3개의 경사 자장을 생성한다. 3개의 경사 자장의 생성을 위해, 경사 코일부(12)는 3개의 경사 코일을 포함한다.The
RF 코일부(16)는 피검체로 소정 주파수의 RF 펄스를 인가한다.The
수신 코일부(17)는 RF 펄스의 인가로 여기되는 정자장 공간에 놓이는 피검체에서의 스핀에 의해 발생된 전자파, 즉 자기공명 신호를 수신한다. 수신 코일부(17)에 의해 수신된 신호는 데이터 획득부(250)로 전달된다.The receiving
경사 코일구동부(210)는 경사 코일부(12)에 접속되고, 경사 코일부(12)에 구동 신호를 인가하여 경사 자장을 발생시킨다. 경사 코일구동부(210)는 경사 코일부(12)에 포함된 3개의 경사코일(13, 14, 15)(31, 34, 35)과 관련된 3개의 구동 회로인 X축경사 코일구동부(211), Y축경사 코일구동부(213) 및 Z축경사 코일구동부(215)를 포함한다. 여기서, X축경사 자장은 슬라이스축의 방향에 대응하는 경사 자장으로서 슬라이스 경사 자장(slice selection gradient; GS)이라고 칭할 수 있고, Y축경사 자장은 주파수축의 방향에 대응하는 경사 자장으로서 주파수 경사 자장(frequency encoding gradient; GF 또는 리딩 인코딩 경사 자장)이라고 칭할 수 있으며, Z축경사 자장은 위상축의 방향에 대응하는 경사 자장을 위상 인코딩 경사 자장(phase encoding gradient; GP)이라고 칭할 수 있다.The gradient
RF 코일구동부(230)는 RF 코일부(16)에 접속되어 있다. RF 코일구동부(230)는 RF 코일부(16)에 구동 신호를 송신하여 RF 펄스를 인가한다. RF 코일부(16)는 정자장 공간에서, 촬영 피검체 내에 스핀을 여기하는데 이용되는 고주파 자장을 형성한다. 고주파 자장을 형성하는 것을 RF 여기 신호의 송신이라고 말하고, RF 여기 신호를 RF 펄스라고 한다.The RF
여기된 스핀에 의해 발생된 전자파, 즉 자기 공명(MR) 신호는 수신 코일부(17)에 의해 수신된다. 수신 코일부(17)에는 데이터 획득부(250)가 접속되어 있다.An electromagnetic wave, i.e., a magnetic resonance (MR) signal generated by the excited spins is received by the receiving
데이터 획득부(250)는 수신 코일부(17)가 수신한 에코(MR 수신 신호)를 디지털 데이터의 형태로 획득하여 연산처리부(310)로 전달한다. 데이터 획득부(250)는 수신 코일부(17)를 통해 획득한 MR 신호는, 주파수 도메인, 예를 들면 푸리에 공간에서 정의된 신호이다. 그 방향이 위상축 방향 및 주파수축 방향에 대응하는 경사자장이 인가되어, 2개의 축을 따라 MR 신호의 소스의 분포를 인코딩한다. The
시퀀스 제어부(270)는 경사 코일구동부(210)와 RF 코일구동부(230)에 각각 접속되어 있다. 시퀀스 제어부(270)는 펄스 시퀀스를 계산 및 제어하고 메모리(미도시)를 포함하는 하나의 컴퓨터로 구현될 수 있다. 시퀀스 제어부(270)에 제공될 명령을 기술하는 프로그램 및 다양한 종류의 데이터가 메모리에 저장된다. The
연산처리부(310)는 시퀀스 제어부(270)에 포함된 펄스 시퀀스 계산 및 제어와는 다른 신호 계산 및 제어를 수행하며, 메모리를 포함하는 또하나의 컴퓨터(300)로 구성될 수 있다. 상기 메모리는 연산처리부(310)에 제공된 명령을 기술하는 프로그램 및 다양한 종류의 데이터를 저장한다.The
연산처리부(310)는 데이터 획득부로부터 수신한 자기공명 신호를 푸리에 변환(FT)하여 자기공명의 영상을 획득한다. 피험자가 누워있는 채로 테이블의 수직 상, 하 방향의 움직임을 통하여 영상을 획득하되, 각 부분별 획득되는 영상은 동일한 관심영역의 크기를 기준으로 획득되며 겹쳐지는 부분이 발생하도록 영상을 획득한다. 연산처리부(310)는 획득된 영상에서 영상의 왜곡 발생이 없는지 유무를 판단하고, 각 부분별 획득된 영상의 신호차이가 크게 발생하는지의 유무를 판단한다.The
연산처리부(310)는 인체내 장축방향을 기준으로 각 부분별 획득된 영상이 단일한 단면(single slice)의 영상으로 획득되어졌는지, 여러 단면(multi slice)의 영상으로 획득되어졌는지를 판단하고, 각 부분별 영상이 단일한 단면으로 구성되었을 경우 이를 기준영상으로 사용하고, 각 부분별 영상이 여러 단면으로 구성되었을 경우 인체의 가장 중심부위를 포함하는 각 부분별 단면 영상들을 기준영상으로 사용한다.The
즉, 연산처리부(310)는 기준영상을 읽어들이고, 후술되는 포인트지정 방식 설정에 따라, 지정된 방식으로 포인트가 설정되면, 선택된 각 부분별 기준영상을 바탕으로 영상의 스티칭을 수행한다. 각 부분별 기준영상이 모두 스티칭이 완료되면 영상스티칭이 완료된 영상을 저장하고 화면에 출력한다.That is, the
본 발명에서, 피검자, 즉 영상화 대상을 횡 또는 종 방향으로 이동시켜, 자기공명영상기기 중심에서 영상을 분할 단위영역(왜곡자유영역단위)로 분할획득하고, 이를 접합하여 관심영역을 확대함과 동시에 위치정보 및 크기정보 왜곡이 없는 단면영상을 구한다. 연산처리부(310)는, 데이터 획득부(250)가 획득하는 데이터를 메모리에 저장하며, 연산처리부(310)에서 출력된 영상은 디스플레이부(330)로 출력된다.In the present invention, a subject, that is, a subject to be imaged is moved in the lateral or longitudinal direction to divide and acquire an image at the center of the magnetic resonance imaging apparatus into a divided unit area (distortion free area unit) The position information and the size information are obtained. The
디스플레이부(330)는 연산처리부(310)로부터 전송된 재구성 화상 및 각종의 정보를 디스플레이한다.The
명령입력부(350)는 GUI 화면을 포함하는 키보드 등으로 실현된다. 명령입력부(미도시)는, GUI 화면을 통해 사용자에 의해서 조작되어 펄스 시퀀스 데이터베이스(PSD)에 기록된 다양한 종류의 명령 또는 정보가 연산처리부(310)에 전달된다. The command input unit 350 is realized by a keyboard or the like including a GUI screen. The command input unit (not shown) is transmitted to the
또한, 명령입력부(350)는 영상정합 및 접합방식의 설정으로, 사용자에 의한 포인트 지정방식 설정모드, 자동 특징점 추출에 의한 포인트 지정방식 설정모드를 구비한다.In addition, the command inputting unit 350 includes a point designation mode setting mode by the user and a point designation mode setting mode by automatic feature point extraction by setting the image registration and joining method.
도 2는 본 발명의 영상영역확장을 위한 자기공명영상 정합 및 합성 방법의 개략적인 흐름도이다. 2 is a schematic flowchart of a method of matching and synthesizing a magnetic resonance image for expanding an image region of the present invention.
자기공명 영상획득 및 확인단계로, 자기공명(MR) 영상시스템을 이용하여, 인체내 장축방향의 구조적인 영상을 획득하기 위해 폐쇄형 자기공명영상장비에 피험자가 누워있는 채로 침대상판(19)의 수직 상, 하 방향(즉, 피험자의 장축방향)의 움직임을 통하여 영상을 획득하되, 각 부분별 획득되는 영상은 동일한 관심영역의 크기를 기준으로 획득되며 겹쳐지는 부분이 발생하도록 영상을 획득하며, 연산처리부(310)는 영상의 왜곡 발생이 없이 획득되었는지 유무를 판단하고, 각 부분별 획득된 영상의 신호차이가 기설정된 기준보다 크게 발생하는지의 유무를 판단하여, 크다면 다시 영상을 획득한다(S110). 여기서, 각 부분별 획득되는 영상의 겹쳐지는 정도는 사용자에 의해서 조절될 수 있으며, 각 부분별 획득되는 영상은 인체의 가운데 부분을 중심으로 좌.우 방향으로 몇 개의 단면을 분할하여 획득할 수 있다.In order to acquire a structural image in the longitudinal direction of a human body using a magnetic resonance (MR) imaging system, a subject is placed in a closed magnetic resonance imaging apparatus, An image is acquired through a movement in a vertical direction and a downward direction (i.e., a direction of the subject's long axis), the images acquired for each part are acquired based on the size of the same area of interest, The
각 부분별 획득된 영상의 스티칭을 위한 기준영상 설정 단계로, 인체내 장축방향을 기준으로 각 부분별 획득된 영상이 단일한 단면(single slice)의 영상으로 획득되어졌는지, 여러 단면(multi slice)의 영상으로 획득되어졌는지를 판단하고, 각 부분별 영상이 단일한 단면으로 구성되었을 경우 이를 기준영상으로 사용하고, 각 부분별 영상이 여러 단면으로 구성되었을 경우 인체의 가장 중심부위를 포함하는 각 부분별 단면 영상들을 기준영상으로 사용한다(S120). 각 부분별 영상이 여러 단면으로 구성되었을 경우 기준영상을 사용자의 선택에 의해 설정되어질 수 있으며, 컴퓨터에 의해 설정될 수 있다.In the reference image setting step for stitching the acquired images for each part, it is determined whether the image obtained for each part based on the long axis direction in the human body is acquired as a single slice image, If the image of each part is composed of a single section, it is used as a reference image. When each part of the image is composed of several sections, each part including the most central part of the human body The cross-sectional images are used as reference images (S120). When each part image is composed of several sections, the reference image can be set by the user's choice and can be set by the computer.
포인트 지정방식 설정단계로, 선택된 각 부분별 기준영상을 바탕으로 영상의 스티칭을 수행하기 위해서, 스티칭하고자 하는 2개의 영상에서 포인트를 설정을, 사용자에 의한 포인트 지정방식 설정모드로 할 것인지, 자동 특징점 추출에 의한 포인트 지정방식 설정모드로 할 것인지를 사용자가 명령입력부(350)를 통해 설정하고, 연산처리부(310)는 명령입력부(350)로부터 포인트 지정방식 설정모드를 수신한다(S130).In order to perform stitching of an image on the basis of a reference image for each selected portion in a point designation mode setting step, it is determined whether to set a point on two images to be stitched, a point designation mode setting mode by a user, The
각 부분별 획득된 영상의 스티칭 단계로, 선택된 각 부분별 기준영상을 바탕으로 영상의 스티칭을 수행하되, 포인트 지정방식 설정단계(S120)에서 설정된 포인트 지정방식에 따라 포인트들을 지정하고, 상기 포인트들을 이용하여, 영상의 스티칭을 수행한다(S140). Stitching the image based on the reference image of each selected part in the stitching step of the acquired image for each part, designating points according to the point designation method set in the point designation method setting step (S120) The image is stitched (S140).
스티칭 종료여부 판단단계로, 선택된 각 부분별 기준영상을 바탕으로 영상의 스티칭을 수행하며, 각 부위별 영상이 모두 스티칭이 행하여 졌는지를 판단하여 그렇지 않다면, 기준영상과 스티칭이 행하여진 영상을 기준영상으로 하고, 포인트 지정방식 설정단계로 되돌아 간다(S150). 이는 자기공명 영상획득 및 확인단계에서 분할획득된 영상 수에 따라 카운터를 세트하고, 각 부분별 획득된 영상의 스티칭 단계를 수행시 상기 카운터를 하나씩 감소시켜, 각 부위별 영상이 모두 스티칭이 행하여 졌는지를 판단할 수 있다.In the stitching end determination step, stitching of the image is performed based on the selected reference image for each part, and it is determined whether or not stitching has been performed for each part of the image. If not, , And returns to the point designation mode setting step (S150). The counter is set according to the number of divided images obtained in the magnetic resonance image acquisition and confirmation step, and the counter is decremented by one when performing the stitching step of the acquired image for each part, Can be determined.
즉, 부분별 획득된 영상이 2개의 단면영상을 구비한 경우는, 이 영상의 스티칭 단계를 한번 수행하지만, 여러 개의 단면영상(3개 이상)을 스티칭하는 경우에는 이 영상의 스티칭 단계를 점진적으로 반복 수행한다. 여러 개의 단면영상(3개 이상)을 스티칭하는 경우 인체의 상, 하 방향을 기준으로 순차적으로 수행하며, 하나의 예로서 3개의 영상의 경우 제1영상과, 제2영상의 스티칭을 수행한 후 생성된 결과영상과 제3영상의 스티칭을 다시 수행하여 최종적으로 3개의 영상을 스티칭한 결과를 획득한다.That is, in the case where the image obtained by the partial image has two sectional images, the image is stitched once, but when stitching several sectional images (three or more), the stitching step of the image is progressively Repeat this. In the case of stitching several sectional images (three or more), the upper and lower directions of the human body are sequentially performed. As one example, in the case of three images, stitching of the first image and the second image is performed The resultant image and the third image are stitched again to finally obtain the result of stitching the three images.
저장 및 화면출력(미리보기)단계로, 영상스티칭이 완료된 영상을 저장하고 출력한다(S160). 영상을 저장하는 것은 의료용 디지털 영상 및 통신 표준을 따르는 DICOM 저장방식과 JPEG 압축방식을 사용하는 JPEG 저장방식으로 구분하여 저장가능하고, 완료된 영상을 확인하기 위하여 디스플레이창을 통하여 영상이 출력된다.
In step S160, the video image stitched is stored and output in the storage and screen output (preview) steps. The image can be stored separately by the DICOM storage method conforming to the medical digital image and communication standard and the JPEG storing method using the JPEG compression method, and the image is outputted through the display window to confirm the completed image.
이하, 본 발명의 영상영역확장을 위한 자기공명영상 정합 및 합성 과정을 보다 구체적으로 설명한다.Hereinafter, the magnetic resonance image registration and synthesis process for expanding the image region of the present invention will be described in more detail.
본 발명에서 영상 스티칭 과정은 포인트 설정을 기반으로 수행하며, 포인트 설정은 각 부분별 영상의 겹쳐지는 부분에서 서로의 영상에서 동일한 지점의 위치를 찾는 과정이며, 이렇게 설정된 포인트의 해당 위치를 바탕으로 두 영상간에 스티칭을 수행하게 된다.In the present invention, the image stitching process is performed based on a point setting, and a point setting process is a process of finding a position of the same point in each of the images in the overlapping portions of the images of the respective portions. Stitching is performed between images.
예를들어, 제1영상과 제2영상의 2개의 영상을 기준으로 고려하면, 겹쳐지는 부분에서의 포인트 설정은 다음과 같은 방법으로 수행된다.For example, considering two images of the first image and the second image as references, the point setting in the overlapping portion is performed in the following manner.
두 영상간의 겹쳐지는 부분에서, 제1영상에서 제1포인트, 즉 제1영상의 제1포인트(예로, 도 6의 ①) 위치를 지정하고, 제2영상에서 제1영상의 제1포인트 위치와 동일한 지점에 대한 포인트, 즉 제2영상의 제1포인트(예로, 도 6의 ①') 위치를 지정한다.In the overlapping portion between the two images, the first point in the first image, i.e., the first point (e.g., (1) in Fig. 6) of the first image is designated, The position of the same point, that is, the position of the first point of the second image (for example, (1 ' in Fig. 6).
두 영상간의 겹쳐지는 부분에서, 제1영상에서 제2포인트, 즉 제1영상의 제2포인트(예로, 도 6의 ②) 위치를 지정하고, 제2영상에서 제1영상의 제2포인트 위치와 동일한 지점에 대한 포인트, 즉 제2영상의 제2포인트(예로, 도 6의 ②') 위치를 지정한다.In the overlapping portion between the two images, the position of the second point in the first image, i.e., the second point of the first image (e.g., (2) in Fig. 6) The position of the same point, that is, the position of the second point of the second image (e.g., (2) 'in FIG. 6).
두 영상간의 겹쳐지는 부분에서, 제1영상에서 제3포인트, 즉 제1영상의 제3포인트(예로, 도 6의 ③) 위치를 지정하고, 제2영상에서 제1영상의 제3포인트 위치와 동일한 지점에 대한 포인트, 즉 제2영상의 제3포인트(예로, 도 6의 ③') 위치를 지정한다.In the overlapping portion between the two images, the position of the third point in the first image, that is, the third point of the first image (for example, ③ in FIG. 6) is designated and the position of the third point A position for the same point, that is, a position of the third point of the second image (for example, ③ 'in FIG. 6).
이와같이, 두 영상의 스티칭 과정에 있어서 최소한 3쌍(①-①', ②-②', ③-③')의 포인트 위치 지정이 필요하다. In this way, at least three pairs (①-① ', ②-②', ③-③ ') need to be specified in the stitching process of two images.
영상간의 포인트 위치설정은 사용자의 설정에 의해서 두 가지 방법으로 수행가능한되, 그 중 하나는 사용자에 의한 메뉴얼(manual)적인 포인트 설정방법이고, 다른 하나는 자동(automatic) 특징추출에 의한 포인트 설정방법이 있다.One of them is a manual point setting method by a user and the other is a point setting method by an automatic feature extraction method. .
사용자에 의한 매뉴얼 포인트 설정방법은, 사용자가 두 영상을 화면에 디스플레이한 상태에서 겹쳐진 부분을 시각적으로 확인하면서 해당 포인트 쌍을 지정해 주는 방법이다.The manual point setting method by the user is a method of specifying a pair of points by visually confirming the overlapped portion while the user displays two images on the screen.
자동 특징추출에 의한 포인트 설정방법은, 디지털 영상의 특징점 추출방식을 이용하여 포인트를 자동으로 추출한다.A point setting method by automatic feature extraction automatically extracts points using a feature point extraction method of a digital image.
특징점 추출방법은 입력영상 I(x, y)에 분산 σ(시그마)를 갖는 가우시안(Gaussian) 필터를 적용한 각 스케일(scale)에 해당하는 차이 영상과의 컨볼루션(convolution) 계산을 통하여 영상을 재구성하며, 이 차이 영상을 DoG(Difference-of-Gaussian, 가우시안의 차)영상으로 정의하며 수학식1로 표현될 수 있다. The feature point extraction method reconstructs the image through convolution calculation between the input image I (x, y) and the difference image corresponding to each scale to which a Gaussian filter having a variance sigma (sigma) is applied, , And this difference image is defined as DoG (Difference-of-Gaussian, Gaussian difference) image and can be expressed by Equation (1).
일반적으로 가우시안 필터에서 σ는 0에서 1 사이의 값을 가진다.
Generally, in Gaussian filter, σ has a value between 0 and 1.
수학식1에서 D(x, y, σ)은 DoG 영상을 의미하며 G(x, y, kσ)는 k번째 스케일에 해당하는 가우시안 필터링 영상을 나타내고 I(x, y)는 입력영상을 나타내며 가우시안 필터링 영상차이와의 컨볼루션 관계를 나타내고 있다.In
수학식2는 가우시안 필터링을 수행하기 위한 연산과정을 나타내고 있으며 2차원 가우시안 필터링을 위하여 (x, y)의 크기를 설정하며, σ 을 통한 필터의 반치폭을 결정한다. Equation (2) represents an operation process for performing Gaussian filtering. For the two-dimensional Gaussian filtering, the size of (x, y) is set and the half width of the filter is determined by?.
가우시안 필터를 적용하여 획득한 영상을 순차적으로 크기를 다운 샘플링을 시키며 변화시키며 피라미드식 구조의 영상트리를 획득하고 영상의 크기는 (가로/2, 세로/2)로 점진적으로 변화시킨다.The image obtained by applying the Gaussian filter is sequentially downsampled and changed, and the image tree of the pyramidal structure is obtained, and the size of the image is gradually changed to (width / 2, length / 2).
σ가 2배가 될 때마다 영상을 1/2로 다운샘플링하며 반복하는 과정을 수행한다. 즉, 영상을 1/2로 다운샘플링하여, 영상의 크기를 줄어든다.Each time σ doubles, the image is down-sampled and then repeated. That is, the image is downsampled to 1/2 and the size of the image is reduced.
획득한 DoG 값은 영상의 블러링 정도의 차이를 나타내며 이때의 극대값과 극소값은 영상에서 특징점으로 추출하기 용이한 지점이므로 해당 위치의 샘플포인트의 위치를 기준으로 상, 하, 좌, 우로 이웃한 픽셀을 비교하여 값을 추출한다. 이는, 상기 해당 위치의 샘플포인트의 위치의 절대치 값을 자승한 값이, 상, 하, 좌, 우로 이웃한 각 픽셀의 위치의 자승의 값을 더한 값을 루트한 값보다 크다는 것에 근거한다.The acquired DoG value indicates the difference in degree of blurring of the image. Since the maximum value and the minimum value at this time are points that are easy to extract from the image as feature points, the positions of the sample points at the corresponding positions are referred to as upper, lower, left, And extracts the value. This is based on the fact that the value obtained by squaring the absolute value of the position of the sample point at the corresponding position is larger than the value obtained by adding the value of the square of the position of each pixel adjacent to the upper, lower, left, and right sides.
추출된 값들에 대하여 재 보정을 수행하며 이는 낮은 대조도(contrast)나 에지(edge) 정보를 포함하는 위치에 대해 일정한 역치값(threshold)을 사용하여 보정하는 방법을 이용한다.Recalculation is performed on the extracted values, which uses a method of calibrating using a certain threshold value for a position including low contrast or edge information.
자동 특징추출에 의한 포인트 설정 결과는 두 영상에서 화면에 디스플레이하여 사용자가 확인할 수 있도록 하며, 화면에 표현된 자동으로 추출된 지점을 바탕으로 사용자가 다시 원하는 포인트들을 교차설정한다.The result of the point setting by automatic feature extraction is displayed on the screen in two images so that the user can check it, and the user sets again the desired points based on the automatically extracted point displayed on the screen.
사용자에 의한 메뉴얼(manual)적인 포인트 설정 혹은 자동(automatic) 특징추출에 의한 포인트 설정을 통해 추출된 포인트들의 위치는 저장되며, 이는 영상의 스티칭을 위하여 사용된다.The positions of the points extracted through user manual point setting or automatic point extraction are stored and used for image stitching.
저장된 포인트들을 바탕으로 영상간의 스티칭 과정을 수행하며, 여러단면 영상을 획득하여 영상 스티칭을 수행하는 경우, 기준영상을 바탕으로 설정되어 저장된 포인트들은 여러 단면영상들에 동일한 위치로서 설정되어 다음의 과정(블렌딩, 공간변환, 패딩)이 각 단면 영상별로 수행되어 최종적인 결과들을 도출한다.In the case of performing image stitching by acquiring a plurality of sectional images, the points set and stored based on the reference image are set as the same positions in several sectional images, Blending, spatial transform, padding) is performed for each cross-sectional image to derive final results.
스티칭 과정은 영상의 블렌딩 과정을 수행한 후 영상의 결합을 위한 공간변환 함수(transformation function)의 적용과 영상 패딩(padding) 방법을 통하여 최종적으로 스티칭 과정을 완료한다.The stitching process completes the stitching process through the application of a transformation function for combining images and an image padding method after performing an image blending process.
영상 블렌딩은 정합되는 영상간의 경계면에서 부드러운 영상강도를 갖도록 하는 과정으로, 영상의 블렌딩을 위한 과정은 다음과 같은 단계로 수행된다.Image blending is a process of having a smooth image intensity at the interface between the matched images, and the process of blending the images is performed in the following steps.
인체 내 데이터 획득의 경우 영상의 겹쳐지는 해당 부분에 대하여 디지털 픽셀들의 신호레벨(signal level)이 균일하지 않으며, 이를 위한 스무딩(smooting)과정을 적용하기 위하여 다음과 같은 수학식 3의 함수(Q)를 사용한다.In the case of data acquisition in the human body, the signal level of the digital pixels is not uniform with respect to the overlapping portion of the image, and in order to apply a smoothing process to the digital pixel, the function Q of Equation (3) Lt; / RTI >
수학식 3에서 I1 및 I2 는 두 영상에서 겹쳐지는 영역을 나타내며, f(x)는 블렌딩 함수이며 p는 블렌딩 정도를 결정하는 파라미터(블렌딩 형태의 곡률)이고, a는 양의 실수이다. 본 발명에서는 p는 기준값 2로 정의되어 사용될 수 있다.In Equation (3), I1 and I2 denote regions overlapping in two images, f (x) is a blending function, p is a parameter (curvature of blending form) determining the degree of blending, and a is a positive real number. In the present invention, p can be defined and used as a
도 3은 블랜딩 비율을 나타내는 그래프이다. 즉, 도 3은 수학식 3의 Q 함수를 통해 결정되는 그래프의 단면을 나타낸다. 도 3의 수직축은 블렌딩 정도를 나타내고, 도 3의 수평축은 좌표를 나타내며, 도 3은 상술된 f(x) = axp에 의해 구하여진다.3 is a graph showing the blending ratio. That is, FIG. 3 shows a cross section of a graph determined through the Q function of Equation (3). The vertical axis in Fig. 3 represents the degree of blending, the horizontal axis in Fig. 3 represents the coordinates, and Fig. 3 is obtained by f (x) = ax p described above.
겹쳐지는 영상에 해당 함수를 적용하여 픽셀값의 스무딩(smooting)을 수행한다.The function is applied to the overlapping image to perform smoothing of pixel values.
영상블렌딩을 수행한 두 영상간의 스티칭은 다음단계인 공간변환함수(transformation function)의 적용과 영상 패딩(padding)을 수행하여 최종결과를 획득한다.The stitching between two images that have been subjected to image blending is performed by applying the next step, a transformation function, and performing image padding to obtain the final result.
공간변환함수(transformation function)의 적용은 아핀변환(affine transformation) 행렬을 적용하는데, 아핀변환은 하나의 벡터공간을 다른 벡터공간으로 대응시키는 변환방법으로 선형변환과 평행이동 변환의 합성으로 이루어지며 다음과 같은 수식으로 나타낼 수 있다.The affine transformation matrix is applied to the application of the transformation function. The affine transformation is a transformation method in which one vector space is mapped to another vector space, which is a combination of a linear transformation and a parallel translation transformation. And so on.
T는 아핀변환, x와 b는 벡터를 나타내고 A는 행렬형태의 아핀변환군을 나타낸다. 아핀변환군은 4가지의 변환형태로 표현가능하며 평행이동(translation), 회전(rotation), 확대/축소(scaling), 찌그러짐(shearing)으로 나타낸다.T is affine transformation, x and b are vectors, and A is affine transformation group in matrix form. The affine transform group can be expressed in four types of transformations and is represented by translation, rotation, scaling, and shearing.
우선, 아핀변환군이 평행이동(translation)의 변환형태로 표현되었을때, 수학식 5와 같은 아핀변환군 행렬로 나타낼 수 있다.First, when the affine transformation group is expressed as a transformation type of translation, it can be expressed as an affine transformation group matrix as shown in Equation (5).
수학식 5는 평행이동(translation)에 관한 아핀변환군 행렬을 나타내며, 여기서, x1, x2, x3는 기준벡터의 위치를 나타내고, q1, q2, q3가 포함된 행렬은 변환 행렬(변환 매트릭스)을 나타낸다. 즉, x1좌표를 평행이동한 정도가 q1이고, x1좌표를 이동한 결과가 y1이다.Equation (5) represents the affine transformation group matrix and translation (translation), wherein, x 1, x 2, x 3 is a matrix comprising a represents the position of the
아핀변환군이, 회전(rotation)의 변환형태로 표현되었을때, 다시말해, X축, Y축, Z축의 3축의 회전의 변환형태로 표현되었을때 수학식 6과 같은 아핀변환군 행렬로 나타낼 수 있다.When the affine transformation group is represented by a transformation type of rotation, that is, when it is represented by a transformation type of rotation of three axes of X axis, Y axis, and Z axis, it can be represented by an affine transformation group matrix as shown in Equation (6) have.
수학식 6은 3축의 회전(rotation)에 관한 아핀변환군 행렬을 나타내며, 여기서, x1, x2, x3는 기준벡터의 위치를 나타내고, q4, q5, q6이 포함된 행렬은 변환 행렬(변환 매트릭스)을 나타낸다. 즉, 수학식 6은 어느 축을 기준으로 회전할 것인가를 나태내며, cos(q4) 등으로 이루어진 행렬 부분은 회전 각도를 나타낸다.Equation (6) represents an affine transform group matrix related to rotation of three axes, where x 1 , x 2 , and x 3 denote the positions of reference vectors, and matrices including q 4 , q 5 , and q 6 Represents a transformation matrix (transformation matrix). That is, Equation (6) expresses which axis to rotate based on, and a matrix portion including cos (q 4 ) represents a rotation angle.
아핀변환군이 확대/축소(scaling)의 변환형태로 표현되었을때, 수학식 7과 같은 아핀변환군 행렬로 나타낼 수 있다.When the affine transform group is expressed as a transformation type of scaling, it can be expressed as an affine transformation group matrix as shown in Equation (7).
즉, 수학식 7은 확대/축소(scaling)에 관한 아핀변환군 행렬을 나타내며, x1, x2, x3는 기준벡터의 위치를 나타내고, q7, q8, q9가 포함된 행렬은 변환 행렬(변환 매트릭스)을 나타낸다. q7, q8, q9 등으로 확대, 축소의 정도를 나타낸다.That is, Equation (7) represents an affine transform group matrix related to scaling, x 1 , x 2 , and x 3 denote positions of reference vectors, and a matrix including q 7 , q 8 , and q 9 Represents a transformation matrix (transformation matrix). q 7 , q 8 , q 9 , and so on.
아핀변환군이 찌그러짐(shearing)의 변환형태로 표현되었을때, 수학식 8과 같은 아핀변환군 행렬로 나타낼 수 있다.When the affine transform group is expressed as a transform form of shearing, it can be expressed as an affine transform group matrix as shown in Equation (8).
수학식 8은 찌그러짐(shearing)에 관한 아핀변환군 행렬을 나타내며, x1, x2, x3는 기준벡터의 위치를 나타내고, q10, q11, q12가 포함된 행렬은 변환 행렬(변환 매트릭스)을 나타낸다. 즉, q10, q11, q12등으로 찌그러짐(왜곡)의 정도를 나타낸다.(8) represents an affine transform group matrix related to shearing, x 1 , x 2 , and x 3 denote positions of reference vectors, and a matrix including q 10 , q 11 , and q 12 is a transformation matrix Matrix). That is, q 10 , q 11 , q 12, etc. indicate the degree of distortion (distortion).
아핀변환은 12개의 변환 파라미터(q1 내지 q12)를 가지며, 3차원 영상의 형태를 기준으로 기술된다.The affine transformation has twelve transformation parameters q1 to q12 and is described based on the shape of the three-dimensional image.
영상패딩(padding) 방법은 영상신호의 공간변환에 있어서 영상의 경계면에서의 신호소실 부분(영상정보가 존재하지 않는 부분)에 대하여 ‘0’의 값으로 채우는 제로패딩(zero-padding)방법과, 주변값을 기준으로 복사하여 사용하는 방법을 사용한다.The image padding method includes a zero-padding method of filling a value of '0' with respect to a signal loss part (a part where image information does not exist) at a boundary of an image in a spatial transformation of a video signal, The method of copying and using the peripheral value is used.
블렌딩이 수행된 각 영상간에 아핀변환과 패딩방법의 적용을 통하여 최종적으로 스티칭 된 영상을 획득할 수 있다.Finally, the stitched image can be obtained by applying the affine transformation and the padding method between each blended image.
다음은, 저장 및 화면출력(미리보기) 단계(도 2의 S160)에서, 영상스티칭이 완료된 영상을 저장한다. 영상을 저장하는 것은 의료용 디지털 영상 및 통신 표준을 따르는 DICOM 저장방식과 JPEG 압축방식을 사용하는 JPEG 저장방식으로 구분하여 저장가능하고, 완료된 영상을 확인하기 위하여 디스플레이창을 통하여 영상이 출력된다.Next, at the storing and screen output (preview) step (S160 in Fig. 2), the image in which the image stitching is completed is stored. The image can be stored separately by the DICOM storage method conforming to the medical digital image and communication standard and the JPEG storing method using the JPEG compression method, and the image is outputted through the display window to confirm the completed image.
GUI 화면의 일측에 각 부위별 영상을 디스플레이하여, 기준영상을 설정하게 하고, 설정된 기준영상을 저장할 수 있게 하며, 또한 차후 저장된 기준영상을 읽어들여 디스플레이 가능하게 한다. 특히 사용자는 디스플레이된 각 부위별 영상을 통하여, 영상의 왜곡정도를 확인할 수 있다.The image of each part is displayed on one side of the GUI screen, the reference image is set, the set reference image can be stored, and the reference image stored later can be read and displayed. In particular, the user can check the degree of distortion of the image through the displayed image of each part.
GUI 화면의 중간부에는 포인트 지정방식 설정 및 영상 스티칭 수행부를 구비하여, 사용자에 의한 포인트 지정방식 설정모드를 사용자가 선택하거나, 자동 특징점 추출에 의한 포인트 지정방식 설정모드를 선택할 수 있게 한다. 즉, 각 부위별 영상에서, 자동 특징점 추출에 의한 포인트 지정방식을 적용할 것인지 여부를 설정하고, 이에 따라 포인트 지정방식 설정되어, 포인트를 지정하게 되고 영상 스티칭을 수행하게 된다.In the middle portion of the GUI screen, a point designation mode setting unit and an image stitching execution unit are provided so that the user can select a point designation mode setting mode by the user or a point designation mode setting mode by automatic feature point extraction. That is, it is set whether or not to apply the point designation method by automatic feature point extraction in the image of each site, and the point designation method is set according to this, and the point is designated and the image stitching is performed.
그리고, GUI 화면상에서, 기준영상의 포인트를 기준으로 여러 단면 영상들의 경우, 모든 단면 영상들에 동일하게 적용하여 스티칭을 수행하게 할 것인지 여부를 설정한다.In the case of several sectional images based on the point of the reference image on the GUI screen, it is set whether to perform stitching by applying the same to all the sectional images.
또한 GUI 화면상에서, 각 부위별 기준영상의 스티칭 영상 미리보기 윈도우 및 스티칭된 영상 미리보기(Stitched Images Preview) 버튼을 구비하여 스티칭된 영상을 디스플레이할 수 있으며, GUI 화면상에 저장 형식 설정부를 구비하여, 스티칭이 완료되면 DICOM 영상 또는 JPEG 영상으로 저장하게 한다.In addition, a stitched image preview window and a stitched image preview button of a reference image for each part can be displayed on a GUI screen to display a stitched image, and a storage format setting unit is provided on a GUI screen , And when the stitching is completed, it is stored as a DICOM image or a JPEG image.
또한 GUI 화면상에 전체 단면 영상의 최종 스티칭 영상 미리보기 윈도우를 구비하며, 최종 스티칭 영상 미리보기 윈도우는 스크롤바를 이용하여, 영상단면의 좌측 또는 우측의 영상을 볼 수 있다.Also, a final stitching image preview window of the entire cross-sectional image is provided on the GUI screen, and the final stitching image preview window can see the left or right image of the cross-section of the image using a scroll bar.
도 4는 도 2의 각부분별 자기공명 영상획득 및 확인단계에서, 여러 단면의 각 부분별 단면영상을 획득한 결과의 일예이다. FIG. 4 is an example of a result obtained by obtaining cross-sectional images of various sections of various sections in the step of acquiring and confirming the MRI images of FIG.
즉, 도 2의 자기공명 영상획득 및 확인단계에서, 자기공명(MR) 영상시스템을 이용하여, 인체내 장축방향의 구조적인 영상으로서, 경추, 흉추, 요추로 연결되는 척추영상을 획득한 경우의 일예로, 도 4의 (a)는 경추의 영상이고, 도 4의 (b)는 흉추의 영상이고, 도 4의 (c)는 요추의 영상이다. 도 4에서 A는 인체의 전면을 나타내고, P는 인체의 후면을 나타낸다. That is, in a magnetic resonance imaging and confirmation step of FIG. 2, when a spinal image obtained by connecting a cervical vertebra, a thoracic vertebra, or a lumbar vertebra as a structural image in a long axis direction in the human body using a magnetic resonance (MR) For example, FIG. 4A is an image of the cervical vertebra, FIG. 4B is an image of the thoracic vertebra, and FIG. 4C is an image of the lumbar vertebra. In Fig. 4, A represents the front surface of the human body, and P represents the rear surface of the human body.
도 4은 폐쇄형 자기공명영상장비에 피험자가 누워있는 채로 침대상판(19)을, 피험자의 장축방향으로 움직임을 통하여 경추, 흉추, 요추의 영상을 획득하되, 각 부분별 획득되는 영상은 동일한 관심영역의 크기를 기준으로 획득되며 겹쳐지는 부분이 발생하도록 영상을 획득한 것으로, 각 부분별 획득되는 영상은 인체의 가운데 부분을 중심으로 좌.우 방향으로 몇 개의 단면으로 분할하여 획득한 것이다.FIG. 4 shows an image of the cervical vertebra, thoracic vertebra, and lumbar vertebrae obtained by moving the
도 5는 도 2의 각 부분별 획득된 영상의 스티칭을 위한 기준영상 선택 단계에서, 각 부분별 영상이 여러 단면으로 구성되었을 경우 기준영상을 설정하는 과정을 도식으로 나타낸 예이다FIG. 5 is a diagram illustrating a process of setting a reference image when a reference image is selected for stitching an image obtained by each component in FIG.
도 2의 각 부분별 획득된 영상의 스티칭을 위한 기준영상 선택 단계에서, 각 부분별 영상이 여러 단면으로 구성되었을 경우, 인체의 가장 중심부위를 포함하는 각 부분별 단면 영상들을 기준영상으로 사용한다. 도 5에서 R은 오른쪽을 나타내며, L은 왼쪽을 나타낸다.In the reference image selection step for stitching the acquired image for each part of FIG. 2, when the images of each part are composed of several sections, sectional images of each part including the most central part of the human body are used as reference images . In Fig. 5, R indicates the right side and L indicates the left side.
도 6은 2개의 영상에서 포인트 설정의 일예로, 즉, 겹쳐지는 부분에서의 각 포인트의 위치별 일대일 대응 관계에 대한 결과도식의 예이다.Figure 6 is an example of a result plot for one-to-one correspondence by position of each point in the overlapping portion, i.e., an example of point setting in two images.
제1영상과 제2영상의 2개의 영상에서 5쌍(①-①', ②-②', ③-③', ④-④', ⑤-⑤')의 포인트 위치를 지정한 경우의 일예이다.(1-① ', ②-②', ③-③ ', ④-④', and ⑤-⑤ ') from two images of the first image and the second image.
도 7은 영상의 블렌딩 과정을 표현한 영상의 예로, 붉은색 박스로 표현된 부분인, 도 7의 (a)와 도 7의 (b)의 두 영상간의 겹쳐지는 부분을 나타내며, 해당 부분의 영상신호 강도의 조절을 위한 블렌딩 과정이 적용되어, 정합되는 영상간의 경계면에서 부드러운 영상강도를 갖도록 한다.FIG. 7 shows an example of an image representing a blending process of an image, which shows a portion overlapping between two images of FIG. 7 (a) and FIG. 7 (b) A blending process for adjusting the intensity is applied so as to have a smooth image intensity at the interface between the matched images.
도 8은 본 발명에서, 경추, 흉추, 요추의 자기공명영상 정합 및 합성을 위한, 그래픽 유저 인터페이스(GUI) 화면의 일예이다.8 is an example of a graphical user interface (GUI) screen for magnetic resonance image matching and synthesis of the cervical vertebra, thoracic vertebra, and lumbar vertebrae in the present invention.
도 8의 ①은 기준영상 또는 각 부위별 영상을 디스플레이하기 위한 부분으로, 도 8의 경우는 기준 영상 로드(Base Image Load) 버튼을 이용하여 기준영상을 읽어들여 디스플레이하며, 경추(C-Spine) 부위 영상을 읽어들여 디스플레이하며, 흉추(T-Spine) 부위 영상을 읽어들여 디스플레이하며, 요추(L-Spine) 부위 영상을 읽어들여 디스플레이한다. 사용자는 디스플레이된 각 부위별 영상을 통하여, 영상의 왜곡정도를 확인할 수 있다.In FIG. 8, the reference image is read and displayed by using the 'Base Image Load' button, and the C-Spine is used to display the reference image. It reads and displays the site image, reads and displays the T-Spine site image, and reads and displays the L-Spine site image. The user can check the degree of distortion of the image through the displayed image of each part.
도 8의 ②는 각 부위별 영상에서 포인트를 지정하고, 영상 스티칭을 수행하게 하는 부분으로, 자동 특징점 추출에 의한 포인트 지정방식을 적용할 것인지 여부를 설정한다.Fig. 8 (2) is a part for specifying a point in the image of each part and performing image stitching, and it is set whether or not to apply the point specifying method by automatic feature point extraction.
도 8의 ②의 상부(Group 1)는 경추와 흉추 영상의 스티칭을 위한 부분으로, 사용자가 자동 특징점 추출(Automatic Featured Point Search)의 체크박스에 체크를 할 경우, 경추와 흉추 영상의 포인트를 자동 특징점 추출에 의한 포인트 지정방식을 적용하게 되며, 상기 체크박스에 체크하지 않을 경우는 사용자에 의한 포인트 지정방식을 적용하게 된다.The upper part (Group 1) of FIG. 8 is a part for stitching the cervical vertebra and the thoracic image. When the user selects the check box of the automatic feature point search, the points of the cervical vertebra and the thoracic vertebra are automatically A point specifying method by minutiae point extraction is applied. When the check box is not checked, a point specifying method by a user is applied.
도 8의 ②의 하부(Group 2)는 경추와 흉추 스티칭 영상과 요추 영상의 스티칭을 위한 부분으로, 사용자가 자동 특징점 추출(Automatic Featured Point Search)의 체크박스에 체크를 할 경우, 경추와 흉추 스티칭 영상과 요추 영상의 포인트를 자동 특징점 추출에 의한 포인트 지정방식을 적용하게 되며, 상기 체크박스에 체크하지 않을 경우는 사용자에 의한 포인트 지정방식을 적용하게 된다.8 is a part for stitching the cervical and thoracic stitching images and lumbar images. When the user selects the check box of the automatic feature point search, the cervical and thoracic stitching A point designation method by extracting an automatic feature point is applied to a point of an image and a lumbar image, and a point designation method by a user is applied when the check box is not checked.
도 8의 ③은 기준영상의 포인트를 기준으로 여러 단면 영상들의 경우, 모든 단면영상들에 동일하게 적용하여 스티칭을 수행하게 할 것인지(All Image Stitching) 여부를 설정하는 부분이다.8 is a part for setting whether to perform stitching (All Image Stitching) by applying the same to all the sectional images in the case of several sectional images based on the point of the reference image.
도 8의 ④는 영상 미리보기(Stitched Images Preview)를 하거나, 스티칭된 영상을 저장시, DICOM 영상으로 저장할 것인지, JPEG 영상으로 저장할 것인지 등을 설정하는 부분이다.8 is a part for setting whether to perform stitched images preview, store the stitched image, save it as a DICOM image, or save it as a JPEG image.
도 8의 ⑤는 각 부위별 기준영상의 스티칭 영상 미리보기 윈도우로, 도 8의 ②의 설정에 의해, 스티칭이 완료된 경우마다 스티칭 영상을 디스플레이하여 사용자가 확인할 수 있도록 한다. 즉, 도 8의 ②의 상부(Group 1)의 설정에 따라, 경추와 흉추 영상의 스티칭이 완료되면 경추-흉추 영상의 스티칭 결과를 디스플레이하고, 도 8의 ②의 하부(Group 2)의 설정에 따라, 경추와 흉추 스티칭 영상과 요추 영상의 스티칭이 완료되면 경추-흉추-요추 영상의 스티칭 결과를 다시 디스플레이한다.8 shows the stitching image preview window of the reference image for each part, and the stitching image is displayed every time stitching is completed by the setting of (2) in Fig. 8 so that the stitching image can be confirmed by the user. That is, when the stitching of the cervical vertebra and the thoracic image is completed according to the setting of the upper part (Group 1) of Fig. 8B, the stitching result of the cervical vertebra image is displayed and the setting of the lower Upon completion of the stitching of the cervical and thoracic stitching images and lumbar images, the stitching results of the cervical spine-thoracic-lumbar image are displayed again.
도 8의 ⑥은 전체 단면 영상의 최종 스티칭 영상 미리보기 윈도우이다. 8 is a final stitching image preview window of the whole sectional image.
도 8의 ⑦은 도 8의 ⑥에 디스플레이된 영상을, 좌우로 움직여 영상을 보게 하기 위한 스크롤바이다. 즉, 도 8의 ⑦에서, 여러 단면영상이 스티칭된 경우에, 스크롤바를 이용하여, 영상단면의 좌측 또는 우측의 영상을 볼 수 있다.8 is a scroll bar for moving the image displayed in Fig. 8 (6) to the left and right to view an image. That is, in Fig. 8 (7), when a plurality of sectional images are stitched, an image on the left or right side of the image section can be seen using the scroll bar.
본 발명의 특징으로, 첫째는 GUI의 기반으로 알고리즘이 구현된 점이며, 둘째는 사용자에 의한 포인트 지정방식 설정모드와, 자동 특징점 추출에 의한 포인트 지정방식 설정모드를 구비한 점으로, 사용자에 의한 포인트 지정방식 설정모드는, 영상정합 및 합성을 위하여 사용자에 의한 매뉴얼포인트 방식을 이용하며, 자동 특징점 추출에 의한 포인트 지정방식 설정모드는, 영상정합 및 합성을 위하여 자동으로 특징추출방식을 이용하여 포인트 지정한다. 셋째는, 지정된 포인트 혹은 자동으로 설정된 포인트를 기준으로 영상을 정합 및 접합하기 위하여 interpolation방법 (affine, similarity), padding 방법(nearest, bilinear)을 사용한다는 점이며, 넷째는, 멀티슬라이스 영상들의 스티칭의 경우 가운데 영상을 기준으로 측정된 포인트를 나머지 다른 단면영상들에 적용하여 스티칭을 수행한다는 점이다.According to a feature of the present invention, the first is that an algorithm is implemented on the basis of a GUI, and the second is a point specifying mode setting mode by a user and a point specifying mode setting mode by automatic feature point extracting. The point designation mode setting mode uses a manual point method by the user for image matching and synthesis and the point designation mode setting mode by automatic feature point extraction uses a feature extraction mode automatically for image matching and synthesis, Specify. The third is to use an interpolation method (affine, similarity) and a padding method (nearest, bilinear) to match and conjugate images based on a specified point or an automatically set point. Fourth, The point measured based on the center image is applied to the remaining sectional images to perform stitching.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Modification is possible. Accordingly, the spirit of the present invention should be understood only in accordance with the following claims, and all equivalents or equivalent variations thereof are included in the scope of the present invention.
5 : 환자(피험자) 11 : 주 자석부
12 : 경사 코일부 13,14,15 : 경사코일
16 : RF 코일부 17 : 수신 코일부
19 : 침대상판(크래들) 20 : 자기공명(MR) 자극선부
31,34,35 : 경사코일 40 : 중앙 공간
210 : 경사 코일구동부 211 : X축경사 코일구동부
213 : Y축경사 코일구동부 215 : Z축경사 코일구동부
230 : RF 코일구동부 250 : 데이터 획득부
270 : 시퀀스 제어부 300 : 컴퓨터
310 : 연산처리부 330 : 디스플레이부
350 : 명령입력부 5: patient (subject) 11: main magnet section
12: inclined coil part 13, 14, 15: inclined coil
16: RF coil part 17: receiving coil part
19: bed plate (cradle) 20: magnetic resonance (MR)
31, 34, 35: inclined coil 40: central space
210: gradient coil drive unit 211: X-axis gradient coil drive unit
213: Y-axis tilted coil driver 215: Z-axis tilted coil driver
230: RF coil drive unit 250:
270: Sequence control unit 300:
310: operation processing unit 330:
350: Command input
Claims (21)
연산처리부에 수신된 각 부위별 영상에서 기준영상을 설정하는, 각 부위별 영상에서 기준영상 설정 단계;
기준영상과 스티칭하고자 하는 영상을 스티칭하기 위한 특징점을 추출하는, 포인트 지정방식이, 사용자에 의한 포인트 지정방식 설정모드인지, 자동 특징점 추출에 의한 포인트 지정방식 설정모드인지를, 명령입력부로부터 연산처리부가 수신하는 포인트 지정방식 설정단계;
기준영상과 스티칭하고자 하는 영상을 스티칭을 수행하되, 포인트 지정방식 설정단계에서 설정된 포인트 지정방식에 따라 특징점의 포인트들을 지정하고, 상기 포인트들을 이용하여, 영상의 스티칭을 수행하는, 영상 스티칭 단계;
영상 스티칭 단계 후에, 자기공명 영상획득 단계에서 연산처리부에서 수신한 부위별 영상 전부가 스티칭이 행하여졌는지 판단하여, 부위별 영상 전부가 스티칭이 행하여진 것이 아니라면, 영상 스티칭 단계에서 스티칭된 영상을 기준영상으로 하고, 포인트 지정방식 설정단계로 가는, 스티칭 종료여부 판단단계;
를 포함하여 이루어진 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.In a magnetic resonance imaging (MR) imaging system, an imaging object positioned at the center of an MR stimulation line segment is moved in a lateral direction or a longitudinal direction so that an image is divided and acquired for each region, and overlapping portions are generated based on the size of the same region of interest A magnetic resonance image acquiring step of receiving divided and acquired images of each part by an operation processing unit;
A reference image setting step of setting a reference image for each site image received by the operation processing unit in an image for each site;
Whether the point designation mode for extracting the feature point for stitching the reference image and the image to be stitched is the point designation mode setting mode by the user or the point designation mode setting mode by the automatic feature point extraction, A point designation method setting step of receiving;
An image stitching step of stitching a reference image and an image to be stitched, designating points of a feature point according to a point designation method set in a point designation method setting step, and stitching an image using the points;
After the image stitching step, it is determined whether or not stitching has been performed on all of the images received by the arithmetic processing unit in the magnetic resonance image acquiring step. If the stitching has not been performed on all the images of each site, Determining whether the stitching is finished or not;
Wherein the MRI image matching method comprises the steps of:
스티칭 종료여부 판단단계에서, 부위별 영상 전부가 스티칭이 행하여진 것이라면, 영상 스티칭이 완료된 영상을 저장하고 출력하는, 저장 및 화면출력단계;
를 더 구비한 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.The method according to claim 1,
A step of storing and outputting an image in which image stitching is completed and outputting if all the images of each site are stitched in the stitching end determination step;
Further comprising the steps of: (a) acquiring an image of a region of interest;
연산처리부에 수신된 각 부위별 영상에서 경추 또는 흉추 중의 하나의 부위별 영상을 기준영상을 설정하고, 기준영상과 스티칭하고자 하는 영상으로서, 경추 또는 흉추 중의 다른 하나의 부위별 영상을 설정하는, 제1 기준영상 설정 단계;
제1 기준영상 설정 단계 후, 기준영상과 스티칭하고자 하는 영상을 스티칭하기 위한 특징점을 추출하는, 포인트 지정방식이, 사용자에 의한 포인트 지정방식 설정모드인지, 자동 특징점 추출에 의한 포인트 지정방식 설정모드인지를, 명령입력부로부터 연산처리부가 수신하는 제1 포인트 지정방식 설정단계;
기준영상과 스티칭하고자 하는 영상을 스티칭을 수행하되, 포인트 지정방식 설정단계에서 설정된 포인트 지정방식에 따라 특징점의 포인트들을 지정하고, 상기 포인트들을 이용하여, 영상의 스티칭을 수행하여, 경추의 부위별 영상과 흉추의 부위별 영상을 스티칭한 영상을 획득하는, 제1영상 스티칭 단계;
제1영상 스티칭 단계에서 획득된, 경추의 부위별 영상과 흉추의 부위별 영상을 스티칭한 영상을, 기준영상으로 하고, 스티칭하고자 하는 영상을 요추의 부위별 영상으로 설정하는, 제2 기준영상 설정 단계;
제2 기준영상 설정 단계 후, 기준영상과 스티칭하고자 하는 영상을 스티칭하기 위한 특징점을 추출하는, 포인트 지정방식이, 사용자에 의한 포인트 지정방식 설정모드인지, 자동 특징점 추출에 의한 포인트 지정방식 설정모드인지를, 명령입력부로부터 연산처리부가 수신하는 제2 포인트 지정방식 설정단계;
기준영상과 스티칭하고자 하는 영상을 스티칭을 수행하되, 포인트 지정방식 설정단계에서 설정된 포인트 지정방식에 따라 특징점의 포인트들을 지정하고, 상기 포인트들을 이용하여, 영상의 스티칭을 수행하여, 경추의 부위별 영상과 흉추의 부위별 영상과 요추의 부위별 영상을 스티칭한 영상을 획득하는, 제2영상 스티칭 단계;
를 포함하여 이루어진 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.In a magnetic resonance imaging (MR) imaging system, an imaging object located at the center of the MR stimulation front is moved in the direction of the major axis of the imaging object, and the image is segmented by cervical, thoracic, and lumbar regions, A magnetic resonance image acquiring step of dividing and acquiring an overlapping part, and receiving images of the divided and acquired parts in an arithmetic processing part;
A reference image is set as an image of one part of the cervical vertebra or thoracic vertebrae in an image of each part received in the operation processing part, and an image of another part of the cervical vertebra or thoracic vertebra as an image to be stitched with the reference image is set 1 reference image setting step;
After the first reference image setting step, a point designation method for extracting a feature point for stitching a reference image and an image to be stitched is performed by a point designation mode setting mode by a user or a point designation mode setting mode by automatic feature point extraction A first point designation method setting step of receiving an operation processing unit from an instruction input unit;
Stitching the reference image and the image to be stitched, designating points of the feature point according to the point designation method set in the point designation method setting step, stitching the image using the points, A first image stitching step of acquiring an image stitched by an image of a part of the thoracic vertebrae;
A second reference image setting step of setting an image obtained by stitching the cervical region of the cervical region and an image of the thoracic region obtained in the first image stitching step as a reference image and an image to be stitched as an image of a lumbar region, step;
After the second reference image setting step, a point designation method for extracting a feature point for stitching an image to be stitched with the reference image is performed by a point designation mode setting mode by a user or a point designation mode setting mode by automatic feature point extraction A second point designation method setting step of receiving an operation processing unit from an instruction input unit;
Stitching the reference image and the image to be stitched, designating points of the feature point according to the point designation method set in the point designation method setting step, stitching the image using the points, A second image stitching step of acquiring an image obtained by stitching an image of the thoracic region and an image of the lumbar region;
Wherein the MRI image matching method comprises the steps of:
제2영상 스티칭 단계 후에, 경추의 부위별 영상과 흉추의 부위별 영상과 요추의 부위별 영상을 스티칭한 영상을 저장하고 출력하는, 저장 및 화면출력단계;
를 더 구비한 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.3. The method of claim 2,
Storing and outputting an image obtained by stitching an image of each part of the cervical vertebra, a part of the thoracic part and a part of the lumbar part after the second image stitching step;
Further comprising the steps of: (a) acquiring an image of a region of interest;
저장 및 화면출력단계에서 저장되는 영상은 DICOM 저장방식 또는 JPEG 저장방식으로 저장되는 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.5. The method according to any one of claims 2 to 4,
Wherein the image stored in the storage and display step is stored in a DICOM storage format or a JPEG storage format.
사용자에 의한 포인트 지정방식은, GUI 기반의 명령입력부에서, 기준영상과 스티칭하기 위한 영상을 화면에 디스플레이한 상태에서 겹쳐진 부분을 사용자가 시각적으로 확인하면서, 기준영상의 특징점을 지정하고, 스티칭하기 위한 영상에서, 상기 기준영상의 특징점에 대응되는 특징점을 지정하여,
기준영상과 스티칭하기 위한 영상에 지정된 특징점들을 명령입력부로부터 연산처리부가 수신하도록 이루어진 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.4. The method according to any one of claims 1 to 3,
The point specifying method by the user is a GUI-based instruction inputting section in which a user visually confirms the overlapped portion while displaying an image for stitching with the reference image on the screen, specifies the minutiae point of the reference image, In the image, a feature point corresponding to the feature point of the reference image is designated,
Wherein the arithmetic processing unit receives the feature points designated in the image for stitching with the reference image from the instruction input unit.
자동 특징점 추출에 의한 포인트 지정방식은, 입력영상 I(x, y)에 분산 σ를 갖는 가우시안(Gaussian) 필터를 적용한 각 스케일(scale)에 해당하는 차이 영상과의 컨볼루션(convolution) 계산을 통하여 영상을 재구성하되, DoG(가우시안의 차)영상은
(단, D(x, y, σ)은 DoG 영상을 의미하며, G(x, y, kσ)는 k번째 스케일에 해당하는 가우시안 필터링 영상을 나타내고, I(x, y)는 입력영상을 나타냄)
으로 나타내며,
가우시안 필터를 적용하여 획득한 영상을, σ가 2배가 될 때마다 영상을 1/2로 다운샘플링하여, 순차적으로 크기를 다운 샘플링을 하여 피라미드식 구조의 영상트리를 형성하며,
획득한 DoG 값에서 극대값과 극소값을 구하고, 극대값과 극소값의 샘플포인트의 위치를 기준으로, 상, 하, 좌, 우로 이웃한 픽셀을 비교하여 특징점들을 추출하는 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.4. The method according to any one of claims 1 to 3,
The point designation method by automatic feature point extraction is a method of calculating a convolution between a input image I (x, y) and a difference image corresponding to each scale to which a Gaussian filter having a variance? Reconstruct the image, but DoG (Gaussian's car)
(X, y, k) denotes a Gaussian filtered image corresponding to the k-th scale, and I (x, y) denotes an input image. )
Lt; / RTI >
The image obtained by applying the Gaussian filter is down-sampled by 1/2 every time the sigma is doubled, and sequentially downsized to form an image tree of a pyramidal structure,
And extracting minutiae points from the acquired DoG values and comparing the pixels adjacent to the upper, lower, left, and right sides with respect to the positions of the sample points of the maximum value and the minimum value, Magnetic resonance imaging registration and synthesis method.
자동 특징점 추출에 의한 포인트 지정방식에 의해 추출된 특징점들을, 기준영상과 스티칭하기 위한 영상 각각에 디스플레이하며, 자동 특징점 추출에 의한 포인트 지정방식에 의해 추출된 특징점들을 바탕으로 사용자가 원하는 포인트들을 재설정하는 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.8. The method of claim 7,
The feature points extracted by the point specifying method by the automatic feature point extraction are displayed on each of the images for stitching with the reference image and the user's desired points are reset based on the extracted feature points by the point specifying method by the automatic feature point extraction Wherein the method comprises the steps of:
영상 스티칭 단계의 영상 블렌딩과정에서, 기준영상과 스티칭하기 위한 영상의 두 영상을 혼합하되, 두 영상간의 겹쳐진 영역(Q)은
(단, f(x)는 선형블렌딩 함수로서 겹쳐진 영역의 투명도를 정의하며, I1 과 I2는 인접한 두 영상에서 겹쳐진 각 영역임)
에 의해 구하여지며,
f(x)는
(단, 파라미터 p는 블렌딩 형태의 곡률이고 a는 양의 실수임)
에 의해 구하여 지는 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.The method according to claim 1,
In the image blending process of the image stitching step, the reference image and the image for stitching are mixed, and the overlapped area (Q) between the two images is
(Where f (x) defines the transparency of the overlapping region as a linear blending function, and I1 and I2 are the overlapping regions in the adjacent two images)
Lt; / RTI >
f (x)
(Where parameter p is the curvature of the blended form and a is a positive real number)
Wherein the first and second images are obtained by the method of claim 1.
파라미터 p는 2인 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.10. The method of claim 9,
Wherein the parameter p is 2. The method of claim 1, wherein the parameter p is 2.
영상 블렌딩과정을 수행 후, 공간변환함수(transformation function)를 적용하는 공간변환 과정을 수행하며,
공간변환함수는
(단, T는 아핀변환, x와 b는 벡터를 나타내고 A는 행렬형태의 아핀변환군을 나타냄)
아핀변환(affine transformation) 행렬을 적용하되,
아핀변환군은 4가지의 변환형태로 평행이동(translation), 회전(rotation), 확대/축소(scaling), 찌그러짐(shearing)을 나타내는 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.11. The method of claim 10,
After performing the image blending process, a spatial transformation process of applying a transformation function is performed,
The spatial transform function
(Where T denotes an affine transformation, x and b denote a vector, and A denotes a matrix-type affine transformation group)
Apply an affine transformation matrix,
The affine transformation group includes four types of transformation types, namely, translation, rotation, scaling, and shearing. Magnetic resonance image matching and synthesis for image region expansion Way.
아핀변환군이 평행이동(translation)의 변환형태로 표현되었을때, 아핀변환군 행렬은
(단, x1, x2, x3는 기준벡터의 위치를 나타내고, q1, q2, q3가 포함된 행렬은 변환 행렬(변환 매트릭스)을 나타냄)
로 나타내지는 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.12. The method of claim 11,
When the affine transform group is expressed as a translation form of translation, the affine transform group matrix
(Where x1, x2 and x3 represent the position of the reference vector, and the matrix including q1, q2 and q3 represents a transformation matrix (transformation matrix)
Wherein the first and second images are displayed in a matrix form.
아핀변환군이, 회전(rotation)의 변환형태로서, X축, Y축, Z축의 3축의 회전의 변환형태로 표현되었을때
(단, x1, x2, x3는 기준벡터의 위치를 나타내고, q4, q5, q6이 포함된 행렬은 변환 행렬(변환 매트릭스)을 나타냄)
로 나타내지는 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.12. The method of claim 11,
When the affine transformation group is a transformation type of rotation and is expressed by a transformation type of rotation of three axes of X axis, Y axis, and Z axis
(Where x1, x2, and x3 represent the positions of the reference vectors, and the matrix including q4, q5, and q6 represents the transformation matrix (transformation matrix)
Wherein the first and second images are displayed in a matrix form.
아핀변환군이 확대/축소(scaling)의 변환형태로 표현되었을때,
(단, x1, x2, x3는 기준벡터의 위치를 나타내고, q7, q8, q9가 포함된 행렬은 변환 행렬(변환 매트릭스)을 나타냄)
로 나타내지는 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.12. The method of claim 11,
When the affine transform group is expressed as a transformation type of scaling,
(Where x1, x2, x3 represent the position of the reference vector, and the matrix including q7, q8, q9 represents the transformation matrix (transformation matrix)
Wherein the first and second images are displayed in a matrix form.
아핀변환군이 찌그러짐(shearing)의 변환형태로 표현되었을때,
(단, x1, x2, x3는 기준벡터의 위치를 나타내고, q10, q11, q12가 포함된 행렬은 변환 행렬(변환 매트릭스)을 나타냄)
로 나타내지는 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.12. The method of claim 11,
When the affine transform group is expressed as a shearing transform form,
(Where x1, x2, x3 represent the position of the reference vector, and the matrix including q10, q11, q12 represents a transformation matrix (transformation matrix)
Wherein the first and second images are displayed in a matrix form.
공간변환 과정 후, 영상신호의 공간변환에 따라 발생한, 영상의 경계면에서의 신호소실 부분에 대하여, ‘0’의 값으로 채우는 제로패딩(zero-padding)방법, 또는, 주변값을 기준으로 복사하여 채우는 방법을 사용하는 영상패딩(padding) 과정을 거치는 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.12. The method of claim 11,
A zero-padding method of filling a zero-padded portion of a signal loss at an image boundary, which occurs in accordance with the spatial transformation of a video signal after the spatial transformation, Characterized in that an image padding process is used that uses a filling method.
명령입력부는, GUI 화면 상에, 자동 특징점 추출에 의한 포인트 지정방식을 적용할 것인지 여부를 설정하는 설정부를 구비한 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.The method according to claim 1,
Wherein the command input unit comprises a setting unit for setting whether or not to apply a point specifying method by automatic feature point extraction on a GUI screen.
명령입력부는, GUI 화면 상에, 스티칭이 완료된 영상을, DICOM 영상으로 저장할 것인지를 설정하는 설정부와, JPEG 영상으로 저장할 것인지를 설정하는 설정부를 구비한 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.The method according to claim 1,
The command input unit includes a setting unit for setting whether to store the stitched image as a DICOM image on the GUI screen and a setting unit for setting whether to store the stitched image as a JPEG image on the GUI screen. Resonance image matching and synthesis method.
명령입력부는, GUI 화면 상에, 스티칭이 완료된 영상을 디스플레이 하는 윈도우를 구비하되, 스크롤바를 이용하여, 스티칭이 완료된 영상의 좌측 또는 우측의 영상을 볼 수 있도록 이루어진 것을 특징으로 하는, 영상영역확장을 위한 자기공명영상 정합 및 합성 방법.The method according to claim 1,
Wherein the command input unit has a window for displaying a stitched image on a GUI screen so that the left or right image of the stitched image can be viewed using a scroll bar. Magnetic resonance image matching and synthesis method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130104316A KR101467346B1 (en) | 2013-08-30 | 2013-08-30 | Magnetic resonance imaging registration and composition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130104316A KR101467346B1 (en) | 2013-08-30 | 2013-08-30 | Magnetic resonance imaging registration and composition method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101467346B1 true KR101467346B1 (en) | 2014-12-02 |
Family
ID=52677078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130104316A KR101467346B1 (en) | 2013-08-30 | 2013-08-30 | Magnetic resonance imaging registration and composition method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101467346B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101913586B1 (en) | 2017-05-24 | 2018-11-01 | 오스템임플란트 주식회사 | Dental image registration method, apparatus, and recording medium thereof |
| CN112837223A (en) * | 2021-01-28 | 2021-05-25 | 杭州国芯科技股份有限公司 | Super-large image registration splicing method based on overlapping subregions |
| CN113538348A (en) * | 2021-06-29 | 2021-10-22 | 沈阳东软智能医疗科技研究院有限公司 | Processing method of encephalic magnetic resonance diffusion weighted image and related product |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08287228A (en) * | 1995-04-19 | 1996-11-01 | Hitachi Ltd | Three-dimensional data positioning method |
| JPH09276247A (en) * | 1996-04-12 | 1997-10-28 | Hitachi Medical Corp | Magnetic resonance imaging device and method using the same |
| JPH1147115A (en) * | 1997-05-26 | 1999-02-23 | Toshiba Corp | Mri and mr imaging method |
| JP2009000328A (en) * | 2007-06-22 | 2009-01-08 | Hitachi Medical Corp | Magnetic resonance imaging method |
-
2013
- 2013-08-30 KR KR1020130104316A patent/KR101467346B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08287228A (en) * | 1995-04-19 | 1996-11-01 | Hitachi Ltd | Three-dimensional data positioning method |
| JPH09276247A (en) * | 1996-04-12 | 1997-10-28 | Hitachi Medical Corp | Magnetic resonance imaging device and method using the same |
| JPH1147115A (en) * | 1997-05-26 | 1999-02-23 | Toshiba Corp | Mri and mr imaging method |
| JP2009000328A (en) * | 2007-06-22 | 2009-01-08 | Hitachi Medical Corp | Magnetic resonance imaging method |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101913586B1 (en) | 2017-05-24 | 2018-11-01 | 오스템임플란트 주식회사 | Dental image registration method, apparatus, and recording medium thereof |
| CN112837223A (en) * | 2021-01-28 | 2021-05-25 | 杭州国芯科技股份有限公司 | Super-large image registration splicing method based on overlapping subregions |
| CN112837223B (en) * | 2021-01-28 | 2023-08-29 | 杭州国芯科技股份有限公司 | Super-large image registration splicing method based on overlapped subareas |
| CN113538348A (en) * | 2021-06-29 | 2021-10-22 | 沈阳东软智能医疗科技研究院有限公司 | Processing method of encephalic magnetic resonance diffusion weighted image and related product |
| CN113538348B (en) * | 2021-06-29 | 2024-03-26 | 沈阳东软智能医疗科技研究院有限公司 | Processing method of craniocerebral magnetic resonance diffusion weighted image and related products |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yurt et al. | mustGAN: multi-stream generative adversarial networks for MR image synthesis | |
| JP4034654B2 (en) | Parallel MR imaging using high-precision coil sensitivity map | |
| US8698795B2 (en) | Interactive image segmentation | |
| US7821267B2 (en) | Magnetic resonance imaging method and apparatus | |
| JP5736459B2 (en) | Medical imaging device | |
| JP5902317B2 (en) | Magnetic resonance imaging apparatus and quantitative susceptibility mapping method | |
| JP2004525654A (en) | Magnetic resonance imaging system and method | |
| WO2014081023A1 (en) | Magnetic resonance imaging device | |
| JP2005525205A (en) | Diffusion tensor magnetic resonance imaging including local weighted interpolation | |
| EP2870488B1 (en) | A method for maintaining geometric alignment of mr scans in cases of strong patient motion | |
| US5923789A (en) | Band limited interpolation and projection of spatial 3-D images | |
| EP1506427A1 (en) | Real-time tractography | |
| KR101467346B1 (en) | Magnetic resonance imaging registration and composition method | |
| CN112946547A (en) | System and method for generating diagnostic scan parameters from calibration images | |
| US9147250B2 (en) | System and method for automatic magnetic resonance volume composition and normalization | |
| JP5595207B2 (en) | Medical image display device | |
| JP2004081657A (en) | Method for extracting fibrous image, image processing device, and magnetic resonance imaging systems | |
| US10824315B2 (en) | Medical image processing apparatus, magnetic resonance imaging apparatus and medical image processing method | |
| JP2003210430A (en) | Magnetic resonance imaging device and planning method for mr imaging | |
| JP6434036B2 (en) | Articulated structure registration in magnetic resonance imaging of the brain | |
| KR101488206B1 (en) | Isocentric MR imaging method in open MRI | |
| JP4282152B2 (en) | MRI equipment | |
| US10551456B2 (en) | Method and apparatus for generation of image data based on MR thermometry data | |
| Merhof et al. | Integrated visualization of diffusion tensor fiber tracts and anatomical data | |
| GB2607154A (en) | System and method of tractography labeling in the presence of brain lesion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |