KR101340594B1 - Segmentation apparatus and method based on multi-resolution - Google Patents

Segmentation apparatus and method based on multi-resolution Download PDF

Info

Publication number
KR101340594B1
KR101340594B1 KR1020120041137A KR20120041137A KR101340594B1 KR 101340594 B1 KR101340594 B1 KR 101340594B1 KR 1020120041137 A KR1020120041137 A KR 1020120041137A KR 20120041137 A KR20120041137 A KR 20120041137A KR 101340594 B1 KR101340594 B1 KR 101340594B1
Authority
KR
South Korea
Prior art keywords
resolution
result
segmentation
template
initial
Prior art date
Application number
KR1020120041137A
Other languages
Korean (ko)
Other versions
KR20130118161A (en
Inventor
윤일동
박상현
Original Assignee
한국외국어대학교 연구산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국외국어대학교 연구산학협력단 filed Critical 한국외국어대학교 연구산학협력단
Priority to KR1020120041137A priority Critical patent/KR101340594B1/en
Publication of KR20130118161A publication Critical patent/KR20130118161A/en
Application granted granted Critical
Publication of KR101340594B1 publication Critical patent/KR101340594B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 3차원 자기공명영상 내에서 다중 해상도 기반의 영역화 장치에 관한 것으로, 일 실시예에 따른 영역화 장치는 영역화 대상 객체를 가지는 제1 해상도 영상을 이용하여 그 대상 객체의 제1 영역화 결과를 생성하는 제1 영역화부, 제1 영역화 결과에 기초하여 제2 해상도 기반의 제2 영역화 결과를 생성하는 제2 영역화부 및 제2 영역화 결과에 기초하여 제3 해상도 기반의 제3 영역화 결과를 생성하는 제3 영역화부를 포함할 수 있다. 이와 같이, 최소한의 사용자 입력을 기반으로 해상도를 순차적으로 증가시켜가면서 영역화 및 정합을 반복적으로 수행함으로써 수행 속도 및 영역화의 정확성을 향상시킬 수 있다. The present invention relates to a multi-resolution-based segmentation apparatus in a 3D magnetic resonance image. According to an embodiment, a segmentation apparatus includes a first region of a target object by using a first resolution image having a regionation target object. A first segmentation unit generating a segmentation result, a second segmentation unit generating a second resolution-based second segmentation result based on the first segmentation result, and a third resolution-based first segmentation result based on the second segmentation result. The third segmentation unit may generate a third segmentation result. As such, by performing a repetitive segmentation and matching while sequentially increasing the resolution based on the minimum user input, the execution speed and the accuracy of the segmentation may be improved.

Description

다중 해상도 기반의 영역화 장치 및 방법{SEGMENTATION APPARATUS AND METHOD BASED ON MULTI-RESOLUTION}Multi-resolution-based Segmentation Apparatus and Method {SEGMENTATION APPARATUS AND METHOD BASED ON MULTI-RESOLUTION}

3차원 자기공명영상 내에서 다중 해상도 기반의 영역화 장치 및 방법과 관련된다.The present invention relates to a multi-resolution region-based apparatus and method within a three-dimensional magnetic resonance image.

최근 자기공명영상(magnetic resonance image, 이후 MR)과 컴퓨터단층촬영영상(computed tomography) 등 3차원 의료 기기들이 발전하고 진단 및 연구에 다양하게 이용되면서, 이로부터 얻은 3차원 의료 영상들을 자동으로 처리해주는 기술의 수요가 늘고 있다. 영상 영역화(image segmentation)는 영상을 특성이 비슷한 부분끼리 묶어서 분류하는 기술로서, 컴퓨터 비전과 그래픽스 분야에서 인식과 3차원 구조 복원 등의 전처리 과정으로 이용되고 있으며, 배경 대체를 비롯한 영상 합성과 가상 현실 등의 중간 처리과정에 이용되고 있다. 자동 뼈 영역화는 이러한 기술들 중 하나로서 골다공증이나 뼈 골절, 골격질환 등의 진단의 효율성을 크게 높여줄 것으로 기대되고 있다. Recently, 3D medical devices such as magnetic resonance image (MR) and computed tomography have been developed and widely used in diagnosis and research, thereby automatically processing 3D medical images obtained from them. The demand for technology is increasing. Image segmentation is a technology that classifies images into groups with similar characteristics, and is used in computer vision and graphics as preprocessing processes such as recognition and 3D structure reconstruction. It is used for intermediate processing such as reality. Automated bone localization is one of these techniques and is expected to significantly improve the effectiveness of diagnosis of osteoporosis, bone fractures, skeletal disease, and the like.

그러나, 현재까지 자동 뼈 영역화를 위한 연구들이 다양하게 진행되었지만 2차원 영상과는 달리 많은 데이터양과 주변 조직과의 모호한 경계들이 많다는 의료영상의 특성 때문에 실제 진단에 사용할 수 있을 만한 성능을 얻지 못하고 있다. 대한민국 공개특허 제10-2009-0124285호는 그래프 컷 기반의 영상 영역화 장치에 대해 개시되어 있다. However, to date, various studies for automatic bone localization have been conducted, but unlike 2D images, due to the nature of medical images, which have a large amount of data and ambiguous boundaries with surrounding tissues, they are not able to obtain the performance that can be used for actual diagnosis. . Korean Patent Laid-Open No. 10-2009-0124285 discloses an image segmentation apparatus based on a graph cut.

다중 해상도를 기반으로 하여 수행속도가 빠르고 영역화 성능이 좋은 자동 영역화 장치 및 방법이 제시된다. Based on the multiple resolutions, an automatic zoning apparatus and method with fast execution speed and good zoning performance are proposed.

일 양상에 따르면, 다중 해상도 기반의 영역화 장치는 영역화 대상 객체를 가지는 제1 해상도 영상을 이용하여 그 대상 객체의 제1 영역화 결과를 생성하는 제1 영역화부, 제1 영역화 결과에 기초하여 제2 해상도 기반의 제2 영역화 결과를 생성하는 제2 영역화부 및 제2 영역화 결과에 기초하여 제3 해상도 기반의 제3 영역화 결과를 생성하는 제3 영역화부를 포함할 수 있다.According to an aspect, a multi-resolution-based segmentation apparatus may include a first segmentation unit configured to generate a first segmentation result of a target object using a first resolution image having a segmentation target object, based on the first segmentation result. And a third regioner that generates a second resolution result based on the second resolution, and a third regionr that generates the third resolution result based on the third resolution based on the second regionalization result.

이때, 제1 해상도는 제2 해상도 보다 상대적으로 저해상도이고, 제2 해상도는 제3 해상도보다 상대적으로 저해상도일 수 있다.In this case, the first resolution may be relatively low resolution than the second resolution, and the second resolution may be relatively low resolution than the third resolution.

추가적인 양상에 따르면, 제1 영역화부는 학습집합(training set)에서 상기 대상 객체와 유사한 템플릿을 검색하고, 그 검색된 템플릿을 이용하여 제1 초기 영역화 결과를 생성하는 제1 초기영역화부, 학습집합 내의 적어도 하나 이상의 템플릿을 그 제1 초기 영역화 결과에 정합하고, 그 정합 결과에 기초하여 최적의 템플릿을 추출하는 제1 정합부 및 최적의 템플릿을 이용하여 제1 영역화 결과를 생성하는 제1 최종영역화부를 포함할 수 있다.According to a further aspect, the first regioner may search for a template similar to the target object in a training set, and generate a first initial regionation result using the searched template. A first matching portion that matches at least one or more templates in the first initial zoning result and extracts an optimal template based on the matching result and a first zoning result using the optimal template It may include a final regionation unit.

이때, 제1 초기영역화부는 제한된 브랜치 앤 민컷(constrained branch-and-mincut) 기법을 이용하여 제1 초기 영역화 결과를 생성할 수 있다.In this case, the first initial regioner may generate the first initial regioning result by using a constrained branch-and-mincut technique.

추가적인 양상에 따르면, 제2 영역화부는 제1 영역화 결과를 제2 해상도 영상으로 변환하고, 그 제2 해상도 영상을 이용하여 제2 초기 영역화 결과를 생성하는 제2 초기영역화부, 학습집합 내의 적어도 하나 이상의 템플릿을 제2 초기 영역화 결과에 정합하고, 그 정합 결과에 기초하여 최적의 템플릿을 추출하는 제2 정합부 및 최적의 템플릿을 이용하여 제2 영역화 결과를 생성하는 제2 최종영역화부를 포함할 수 있다.According to an additional aspect, the second localization unit converts the first localization result into a second resolution image, and generates a second initial localization result using the second resolution image, within the learning set. A second matching area for matching at least one template with a second initial zoning result and extracting an optimal template based on the matching result and a second final region for generating a second zoning result using the optimal template It may include a fire department.

이때, 제2 초기영역화부는 제2 해상도 영상을 그래프 컷(graph cut) 기반의 영역화를 수행하여 제2 초기 영역화 결과를 생성할 수 있다.In this case, the second initial regioner may generate a second initial segmentation result by performing graph cut-based segmentation on the second resolution image.

또한, 제1 정합부 및 제2 정합부는 경식변환(rigid transformation) 기법 중의 반복근접점(iterative closest point)을 이용하여 정합을 수행할 수 있다.In addition, the first matching portion and the second matching portion may perform matching using an iterative closest point in a rigid transformation technique.

또한, 제1 최종영역화부 및 제2 최종영역화부는 그래프 컷(graph cut) 기반의 영역화를 수행할 수 있다.In addition, the first final regioner and the second final regioner may perform graph cut-based segmentation.

일 양상에 따르면, 영역화 대상 객체를 가지는 제1 해상도 영상을 이용하여 그 대상 객체의 제1 영역화 결과를 생성하는 단계, 제1 영역화 결과에 기초하여 제2 해상도 기반의 제2 영역화 결과를 생성하는 단계 및 제2 영역화 결과에 기초하여 제3 해상도 기반의 제3 영역화 결과를 생성하는 단계를 포함할 수 있다.According to an aspect, generating a first segmentation result of the target object using a first resolution image having a segmentation target object, and a second segmentation result based on the second resolution based on the first segmentation result. And generating a third resolution based third resolution based on the second resolution result.

이때, 제1 해상도는 제2 해상도보다 상대적으로 저해상도이고, 제2 해상도는 제3 해상도보다 상대적으로 저해상도일 수 있다.In this case, the first resolution may be relatively low resolution than the second resolution, and the second resolution may be relatively low resolution than the third resolution.

추가적인 양상에 따르면, 제1 영역화 결과 생성 단계는 학습집합(training set)에서 대상 객체와 유사한 템플릿을 검색하고, 그 검색된 템플릿을 이용하여 제1 초기 영역화 결과를 생성하는 단계, 학습집합 내의 적어도 하나 이상의 템플릿을 제1 초기 영역화 결과에 정합하는 단계, 그 정합 결과에 기초하여 최적의 템플릿을 추출하는 단계 및 최적의 템플릿을 이용하여 제1 영역화 결과를 생성하는 단계를 포함할 수 있다.According to a further aspect, the step of generating a first segmentation result may include searching for a template similar to a target object in a training set, and generating a first initial segmentation result using the retrieved template, at least within the learning set. Matching one or more templates to the first initial segmentation result, extracting an optimal template based on the matching result, and generating a first segmentation result using the optimal template.

이때, 제1 초기 영역화 결과 생성 단계는 제한된 브랜치 앤 민컷(constrained branch-and-mincut) 기법을 이용하여 초기 영역화 결과를 생성할 수 있다.In this case, the generating of the first initial zoning result may generate the initial zoning result by using a constrained branch-and-mincut technique.

추가적인 양상에 따르면, 제2 영역화 결과 생성 단계는 제1 영역화 결과를 제2 해상도 영상으로 변환하는 단계, 제2 해상도 영상을 이용하여 제2 초기 영역화 결과를 생성하는 단계, 학습집합 내의 적어도 하나 이상의 템플릿을 상기 제2 초기 영역화 결과에 정합하는 단계, 그 정합 결과에 기초하여 최적의 템플릿을 추출하는 단계 및 최적의 템플릿을 이용하여 제2 영역화 결과를 생성하는 단계를 포함할 수 있다.According to a further aspect, generating the second segmentation result may include converting the first segmentation result into a second resolution image, generating a second initial segmentation result using the second resolution image, or at least within a learning set. Matching one or more templates to the second initial segmentation result, extracting an optimal template based on the matching result, and generating a second segmentation result using the optimal template. .

이때, 제2 초기 영역화 결과 생성 단계는 제2 해상도 영상을 그래프 컷(graph cut) 기반의 영역화를 수행하여 제2 초기 영역화 결과를 생성할 수 있다.In this case, in the generating of the second initial zoning result, the second initial zoning result may be generated by performing graph cut-based segmentation on the second resolution image.

또한, 정합하는 단계는 경식변환(rigid transformation) 기법 중의 반복근접점(iterative closest point)을 이용하여 정합을 수행할 수 있다.In addition, the matching may be performed by using an iterative closest point in a rigid transformation technique.

또한, 제1 최종 영역화 결과 생성 단계 및 제2 최종 영역화 결과 생성 단계는, 그래프 컷(graph cut) 기반의 영역화를 수행할 수 있다.In addition, the first final regioning result generating step and the second final regioning result generating step may perform graph cut-based segmentation.

최소한의 사용자 입력을 기반으로 해상도를 순차적으로 증가시켜 가면서 영역화 및 정합을 반복적으로 수행함으로써 수행 속도 및 영역화의 정확성을 향상시킬 수 있다. It is possible to improve execution speed and accuracy of segmentation by repeatedly performing segmentation and matching while sequentially increasing resolution based on the minimum user input.

도 1은 일 실시예에 따른 다중 해상도 기반의 영역화 장치의 블록도이다.
도 2 내지 도 4는 일 실시예에 따른 영역화 장치의 수행 결과 예시도이다.
도 5 내지 도 7은 일 실시예에 따른 다중 해상도 기반의 영역화 방법의 흐름도이다.
도 8a 및 8b는 일 실시예에 따른 영역화 방법과 제한된 브랜치 앤 민컷 기법의 비교 실험 결과의 예이다.1 is a block diagram of a multi-resolution-based segmentation apparatus according to an embodiment.
2 to 4 are diagrams illustrating results of a regionation apparatus according to an embodiment.
5 to 7 are flowcharts of a multi-resolution-based segmentation method according to an embodiment.
8A and 8B are examples of comparative experimental results of a zoning method and a limited branch and mincut technique according to an embodiment.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
The details of other embodiments are included in the detailed description and drawings. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

일반적으로, 자기공명영상(magnetic resonance image, 이하 'MR영상'이라 함) 등의 3차원 영상 내에서 뼈와 같은 객체를 영역화를 위해 제한된 브랜치 앤 민컷 기법(constrained branch-and-mincut) 기법[S. Lee, S. Park, H. Shim, I. Yun, and S. Lee, "3-d segmentation of knee bones on mr images by constrained branch-and-mincut," in Probabilistic Models for Medical Image Analysis, Workshop of International Conference on Medical Image Computing and Computer Assisted Intervention, 2009. 참조]을 들 수 있다.In general, a constrained branch-and-mincut technique for terminating a bone-like object within a three-dimensional image such as a magnetic resonance image (hereinafter referred to as 'MR image') [ S. Lee, S. Park, H. Shim, I. Yun, and S. Lee, "3-d segmentation of knee bones on mr images by constrained branch-and-mincut," in Probabilistic Models for Medical Image Analysis, Workshop of International Conference on Medical Image Computing and Computer Assisted Intervention, 2009.

이 제한된 브랜치 앤 민컷 기법은 데이터 양이 큰 3차원 뼈 영역화를 위해 기존의 브랜치 앤 민컷(branch-and-mincut) 기법[V.Lempitsky et al.,"Image segmentation by branchand-mincut", in ECCV,2008, pp.IV15-29]]을 변형한 것으로서, 다수의 템플릿(template)들 중에서 가장 비슷한 템플릿을 찾아 이를형상 사전 지식(shape prior)으로 이용함으로써 경계가 모호한 지역에서도 견고한(robust) 성능을 나타낸다. This limited branch and mincut technique is a conventional branch-and-mincut technique [V. Lempitsky et al., "Image segmentation by branchand-mincut", in ECCV for large data three-dimensional bone localization. , 2008, pp.IV15-29]], which finds the most similar template among multiple templates and uses it as shape prior to achieve robust performance even in areas with limited boundaries. Indicates.

아래의 수학식 1은 브랜치 앤 민컷의 에너지 식이다.
Equation 1 below is the energy equation of branch and mincut.

Figure 112012031308866-pat00001
Figure 112012031308866-pat00001

이 식의 X 는 모든 복셀들의 집합 V 안에 있는 각 복셀 v의 레이블 xv들의 벡터 집합을 의미하고, 전경의 복셀 레이블은 xv = 1, 배경의 복셀 레이블은 xv = 0으로 정의된다. Fv(w)와 Bv(w)는 각각 복셀 v의 전경 퍼텐셜과 배경 퍼텐셜을, Puv는 모든 복셀 이웃들의 집합 ξ안에 있는 이웃한 복셀 u, v 간에 쌍항 퍼텐셜(pairwise potential)을 의미한다. X in this equation means a vector set of labels x v of each voxel v in the set V of all voxels, and the voxel label in the foreground is x v = 1, background voxel label is x v Is defined as 0. F v (w) and B v (w) denote the foreground potential and the background potential of voxel v, respectively, and P uv denotes the pairwise potential between neighboring voxels u and v in the set ξ of all voxel neighbors. .

제한된 브랜치 앤 민컷 기법은 w를 형상 사전 지식(shape prior)으로 정의하였으며, 형상 사전지식 w가 고정되어 있을 때는 수학식 1에서 에너지를 최소화하는 X만 구하면 되지만, w 가 변하면 수학식 1의 모든 퍼텐셜이 바뀌기 때문에 지역적이지 않은 사전지식들의 총 집합 Ω 내에 모든 템플릿들에 대해 에너지를 비교하여 최적의 w를 찾아야 했다. 그러나, 이 검색은 높은 복잡도와 메모리를 필요로 하고 있기 때문에 원래 해상도 MR 영상 내에서 뼈를 영역화하기 어려웠고, 브랜치 앤 민 컷과는 달리 최종적으로 얻은 템플릿이 템플릿들 중 최적(optimal)의 템플릿이 아닐 수 있기 때문에 정확도 측면에서도 한계가 있었다.
The limited branch and mincut technique defines w as shape prior, and when shape prior w is fixed, we only need to find X which minimizes the energy in Equation 1. Because of this change, we had to find the optimal w by comparing the energies for all the templates within the total set of non-local prior knowledges. However, because this search requires high complexity and memory, it is difficult to localize bones within the original resolution MR image, and unlike branch and min cuts, the final template is the optimal one of the templates. There may be limitations in terms of accuracy as well.

이하, 본 발명의 실시예들에 따라 제한된 브랜치 앤 민컷(constrained branch-and-mincut) 기법보다 빠르고 정확한 원본 해상도의 영상 내에서 대상 객체를 영역화하는 다중 해상도 기반의 영역화 장치 및 방법을 도면들을 참고하여 자세히 설명하도록 한다.Hereinafter, a multi-resolution based regioning apparatus and method for localizing a target object within an image of a faster and more accurate original resolution than a constrained branch-and-mincut scheme according to embodiments of the present invention will be described. This will be explained in detail.

도 1은 일 실시예에 따른 다중 해상도 기반의 영역화 장치(100)의 블록도이다. 도 1을 참조하면 다중 해상도 기반의 영역화 장치(100)는 제1 영역화부(110), 제2 영역화부(120) 및 제3 영역화부(130)를 포함한다.1 is a block diagram of a multi-resolution-based segmentation apparatus 100 according to an embodiment. Referring to FIG. 1, the multi-resolution-based segmentation apparatus 100 includes a first segmentation unit 110, a second segmentation unit 120, and a third segmentation unit 130.

제1 영역화부(110)는 영역화 대상 객체를 가진 제1 해상도 영상을 이용하여 그 대상 객체의 제1 영역화 결과(114)를 생성할 수 있다. 제2 영역화부(120)는 제1 영역화 결과(114)에 기초하여 제2 해상도 기반의 제2 영역화 결과(124)를 생성할 수 있다. 제3 영역화부(130)는 제2 영역화 결과에 기초하여 제3 해상도 기반의 제3 영역화 결과(134)를 생성할 수 있다.The first localization unit 110 may generate a first localization result 114 of the target object by using the first resolution image having the localization target object. The second regioner 120 may generate the second regionation result 124 based on the second resolution based on the first regionation result 114. The third regioner 130 may generate the third region-based result 134 based on the third resolution based on the result of the second region.

이때, 제1 해상도는 제2 해상도 보다 상대적으로 저해상도이고, 제2 해상도는 제3 해상도 보다 상대적으로 저해상도일 수 있다. 즉, 일 실시예에 따른 영역화 장치(100)는 저해상도, 중해상도 및 고해상도의 다중 해상도를 기반으로 하여 3 단계의 영역화를 수행할 수 있다. 이때, 고해상도는 원본 영상의 해상도이고, 중해상도는 그 원본 영상의 x, y, z축의 크기를 1/2로 줄인 해상도이며, 저해상도는 그 중해상도 영상을 x, y, z 축에 대해 1/2로 줄인 해상도로 정의할 수 있다. 다만, 이는 예시에 불과하고, 다양한 해상도를 이용하여 3 단계 영역화를 수행할 수 있다. In this case, the first resolution may be relatively low resolution than the second resolution, and the second resolution may be relatively low resolution than the third resolution. That is, the localization apparatus 100 according to an embodiment may perform three levels of localization based on multiple resolutions of low resolution, medium resolution, and high resolution. In this case, the high resolution is the resolution of the original image, the medium resolution is the resolution of the size of the x, y, z axis of the original image reduced by 1/2, and the low resolution is 1 / of the x, y, z axis for the medium resolution Can be defined as a resolution reduced to 2. However, this is merely an example, and three-stage segmentation may be performed using various resolutions.

도 2 내지 도 4는 일 실시예에 따른 영역화 장치(100)의 수행 결과 예시도이다. 도 2는 제1 영역화부(110)의 제1 영역화 절차를 설명하기 위한 예시도이며, 도 3은 제2 영역화부(120)의 제2 영역화 절차를 설명하기 위한 예시도이다. 도 4는 제3 영역화부(130)의 제3 영역화 절차를 설명하기 위한 예시도이다. 2 to 4 are diagrams illustrating results of the localization apparatus 100 according to an exemplary embodiment. FIG. 2 is an exemplary diagram for describing a first segmentation procedure of the first segmenter 110, and FIG. 3 is an exemplary diagram for describing a second segmentation procedure of the second segmenter 120. 4 is an exemplary diagram for describing a third segmentation procedure of the third segmenter 130.

도 1 과 도 2를 참조하여 다중 해상도 기반의 영역화 장치(100) 중의 제1 영역화부(110)를 상세히 설명한다. 도 1에 도시된 바와 같이, 제1 영역화부(110)는 제1 초기영역화부(111), 제1 정합부(112) 및 제1 최종영역화부(113)를 포함할 수 있다. Referring to FIGS. 1 and 2, the first regionr 110 of the multi-resolution-based segmentation apparatus 100 will be described in detail. As illustrated in FIG. 1, the first localization unit 110 may include a first initial localization unit 111, a first matching unit 112, and a first final localization unit 113.

제1 초기영역화부(111)는 학습집합(training set)에서 영역화하고자 하는 대상 객체와 유사한 템플릿을 검색하고, 그 검색된 템플릿을 이용하여 제1 초기 영역화 결과를 생성할 수 있다. 이때, 제1 초기영역화부(111)는 전술한 제한된 브랜치 앤 민컷 기법을 이용하여 제1 초기 영역화 결과를 생성할 수 있다. 해상도가 상대적으로 낮은 제1 영역화 단계에서는 제한된 브랜치 앤 기법을 이용하여 학습집합(training set)으로부터 영역화 하고자 하는 대상 객체와 비슷한 템플릿을 찾고 이를 사전지식으로 이용하여 제1 초기 영역화 결과를 얻을 수 있다. 학습집합, 사전지식 등의 용어를 포함한 제한된 브랜치 앤 민컷 기법에 관하여는 전술한 논문에 자세히 설명되어 있으므로 이하 생략하기로 한다.The first initial regioner 111 may search for a template similar to a target object to be zoned in a training set, and generate a first initial zoning result using the searched template. In this case, the first initial localization unit 111 may generate the first initial localization result using the aforementioned limited branch and mincut technique. In the first low-resolution localization step, a limited branch and technique is used to find a template similar to the target object to be zoned from the training set, and uses the prior knowledge to obtain the first initial localization result. Can be. The limited branch and mincut technique, including terms such as learning set and prior knowledge, is described in detail in the aforementioned paper and will be omitted below.

도 2를 참조하여 설명하면, 도 2는 3차원 무릎 MR 영상의 저해상도 영상을 이용하여 그 대상객체(10)인 뼈를 영역화한 절차를 나타낸 것이다. 이때, 3차원 무릎 MR 영상은 평균적으로 300 복셀 정도의 x축, 350 복셀 정도의 y축, 120복셀 정도의 z축으로 구성된 영상이며, 제1 영역화 단계에서 이용된 저해상도 영상은 그 원본 영상의 x와 y축의 크기를 1/2로 줄인 중간단계 영상을 다시 x,y,z축에 대해 1/2 크기로 줄인 영상을 이용하였다.Referring to FIG. 2, FIG. 2 illustrates a procedure of localizing a bone, which is the target object 10, using a low resolution image of a 3D knee MR image. In this case, the 3D knee MR image is composed of an average of about 300 voxel x-axis, about 350 voxel y-axis, and about 120 voxel z-axis, and the low resolution image used in the first segmentation step is the original image. The mid-stage image with the size of x and y axes reduced to 1/2 was used to reduce the size of half with respect to the x, y, and z axes.

도 2의 (a)와 (b)는 제1 초기영역화부(111)가 제한된 브랜치 앤 민컷 기법을 이용하여 학습집합(training set)에서 검색한 대상객체(10)와 유사한 템플릿과, 그 검색된 템플릿을 이용하여 대상객체(10)의 영역화를 수행하여 생성된 제1 초기 영역화 결과를 나타낸 것이다. 전술한 제한된 브랜치 앤 민컷 기법에 관한 논문에서는 한 개의 평균 템플릿으로 40*40*12 범위의 위치 변형만으로 19200개의 템플릿들을 생성하여 트리를 구성했지만, 본 실시예에 따르면, 제1 초기영역화부(111)는 저해상도를 이용하여 영역화를 수행하므로 계산량이 적어 30개의 학습집합 내의 템플릿들을 15*18*10 범위의 위치 변형을 시켜 만든 81000개의 템플릿들을 생성하여 트리를 구성하여 검색을 수행할 수 있다. 결과적으로, 해상도가 낮은 영상에서 더 많은 템플릿들을 생성하여 넓은 범위 내에서 검색을 수행함으로써 초기 영역화 정확성을 향상시킬 수 있다.2 (a) and 2 (b) show a template similar to the target object 10 searched in a training set by using the branch and mincut technique in which the first initial regioner 111 is limited, and the retrieved template. The first initial segmentation result generated by performing the segmentation of the target object 10 using FIG. In the aforementioned paper on the limited branch and mincut technique, the tree was constructed by generating 19200 templates using only one average template with a positional variation in the range of 40 * 40 * 12. However, according to the present embodiment, the first initial regionizer 111 ) Is a small amount of computation, so the computation is small, and 81000 templates created by transforming the templates in 30 learning sets by the position of 15 * 18 * 10 can be constructed and searched. As a result, it is possible to improve the initial regioning accuracy by generating more templates in a low resolution image and performing a search within a wide range.

도 2의 (c)는 학습집합을 나타낸 것이며, (d)는 그 학습집합 내의 템플릿들 중에서 제1 초기영역화부(111)에 의해 생성된 제1 초기 영역화 결과에 가장 정합이 잘된 최적의 템플릿을 나타낸 것이다. (C) of FIG. 2 shows a learning set, and (d) shows an optimal template that best matches the first initial regioning result generated by the first initial regioner 111 among the templates in the learning set. It is shown.

제1 초기영역화부(111)가 제한된 브랜치 앤 민컷 기법을 이용하여 학습집합 내의 많은 템플릿들 중에서 좋은 템플릿을 찾았다고 해도 3차원에서 각도, 모양, 위치 변환을 시킨 모든 템플릿을 생성할 수 없기 때문에 좀 더 정확한 대상객체(10)의 템플릿을 얻기 위한 작업이 필요할 수 있다. 따라서, 제2 정합부(112)는 학습집합 내의 적어도 하나 이상의 템플릿을 생성된 제1 초기 영역화 결과에 정합하고, 그 정합 결과에 기초하여 도 2의 (d)에 도시된 바와 같은 최적의 템플릿을 추출할 수 있다. Even if the first initial zoner 111 finds a good template among the many templates in the learning set using the limited branch and mincut technique, it cannot generate all the templates with the angle, shape, and position transformation in three dimensions. It may be necessary to obtain a more accurate template of the target object 10. Accordingly, the second matching unit 112 matches at least one or more templates in the learning set to the generated first initial regioning results, and based on the matching results, an optimal template as shown in FIG. Can be extracted.

이때, 제2 정합부(112)는 경식변환(rigid transformation) 기법 중 하나인 반복근접점(iterative closest point)[P, J, Besl. et al., "A method for registration of 3-D shapes," IEEE Trans. PAMI, vol.14, pp.239-256, Feb. 1992. 참조]을 이용하여 정합을 수행할 수 있다. 제2 정합부(112)는 반복근접점 기법에 의해 제1 초기 영역화 결과에 그 학습집합 내의 템플릿들을 정합한 후 L1 거리가 최소인 템플릿을 추출하여 최적의 템플릿으로 할 수 있다. In this case, the second matching unit 112 is an iterative closest point [P, J, Besl. One of the rigid transformation (rigid transformation) technique. et al., "A method for registration of 3-D shapes," IEEE Trans. PAMI, vol. 14, pp.239-256, Feb. 1992.] can be used to perform the matching. The second matching unit 112 may match the templates in the learning set to the first initial regioning result by the iterative proximity method, and extract the template having the minimum L1 distance to be an optimal template.

이때, 추출된 최적의 템플릿을 wopt 라 하면 제1 최종영역화부(113)는 그 최적의 템플릿 wopt 를 이용하여 제1 영역화 결과(114)를 생성할 수 있다. 즉, 제1 최종영역화부(113)는 아래에서 설명하는 바와 같은 수학식들에 의해 각 값들을 정의할 수 있다. In this case, when the extracted optimal template is called w opt , the first final regioner 113 may generate the first segmentation result 114 using the optimal template w opt . That is, the first final regioner 113 may define respective values by equations as described below.

Fv(w) 와 Bv(w)는 각각 수학식 2 및 3과 정의할 수 있다.
F v (w) and B v (w) can be defined with Equations 2 and 3, respectively.

Figure 112012031308866-pat00002
Figure 112012031308866-pat00002

Figure 112012031308866-pat00003
Figure 112012031308866-pat00003

이 때 pa(v)는 복셀 v에서 외관정보를 바탕으로 정의된 전경 확률을 의미하며, ps(v)는 형상정보를 바탕으로 정의된 전경 확률을 의미한다. pa(v)는 wopt 가 전경이라 가리키는 부분과 배경이라 가리키는 부분의 히스토그램을 각각 만든 뒤, v의 밝기에 따라 히스토그램들을 이용하여 정의한다. ps(v)는 wopt 이 있는 부분을 1, 없는 부분을 0으로 정의한다.f(v)는 이 두 확률의 가중치를 결정해주는 계수로써 수학식 4와 같이 정의된다.
In this case, p a (v) refers to the foreground probability defined based on the appearance information in the voxel v, and p s (v) refers to the foreground probability defined based on the shape information. p a (v) creates histograms for the part where w opt refers to the foreground and the part for the background, respectively, and uses histograms according to the brightness of v. p s (v) defines the part with w opt as 1 and the part without w as 0. f (v) is a coefficient that determines the weight of these two probabilities.

Figure 112012031308866-pat00004
Figure 112012031308866-pat00004

이때 d(v)는 템플릿 외곽경계로부터의 거리를 의미하며, σ는 형상과 외관정보를 조절해주는 계수이다. 템플릿의 경계는 뼈와 정확히 일치되어 있지 않기 때문에 가까울수록 외관정보를 강조하고, 템플릿 경계에서 멀어질수록 형상정보를 강조한다. 제1 정합부(112)에서 찾은 템플릿은 해상도의 영향으로 인해 위치 및 모양이 부정확할 수 있기 때문에 σ를 크게 하여 밝기(appearance) 정보에 좀 더 가중치를 둔다. 수학식 1에서 쌍항 퍼텐셜은 지수함수[V.Lempitsky et al.,"Image segmentation by branchand-mincut", in ECCV,2008, pp.IV15-29 및, Y.Boykov and G.Funka-Lea, "Graph cuts and efficient n-d image segmentation," IJCV, vol. 70(2), pp. 109-131, Feb. 2006. 참조]로 정의할 수 있다. In this case, d (v) means the distance from the template boundary, σ is a coefficient for adjusting the shape and appearance information. Since the boundary of the template is not exactly coincident with the bone, the closer it is to emphasize the appearance information, and the farther it is from the template, the more the shape information is emphasized. Since the template found by the first matching unit 112 may have an inaccurate position and shape due to the influence of the resolution, σ is increased to give more weight to the brightness information. The binomial potential in Equation 1 is an exponential function [V. Lempitsky et al., "Image segmentation by branchand-mincut", in ECCV, 2008, pp.IV15-29 and, Y.Boykov and G.Funka-Lea, "Graph cuts and efficient nd image segmentation, "IJCV, vol. 70 (2), pp. 109-131, Feb. 2006.].

제1 최종영역화부(113)는 이와 같이 정의된 값을 이용하여 그래프 컷[Y.Boykov and G.Funka-Lea, "Graph cuts and efficient n-d image segmentation," IJCV, vol. 70(2), pp. 109-131, Feb. 2006. 참조]을 통해 수학식 1을 최적화하여 그래프 컷 기반의 제1 영역화 결과(114)를 생성할 수 있다. 도 2의 (e)는 이와 같이 대상객체(10)가 영역화된 제1 영역화 결과를 나타낸 것이다.
The first final segmentation unit 113 uses the values defined in this manner as described in Y. Boyoy and G. Funka-Lea, “Graph cuts and efficient nd image segmentation,” IJCV, vol. 70 (2), pp. 109-131, Feb. 2006.] may be used to optimize Equation 1 to generate the first segmentation result 114 based on the graph cut. FIG. 2E illustrates the first segmentation result in which the target object 10 is regiond.

도 1과 도 3을 참조하여 본 실시예의 제2 영역화부(120)를 상세히 설명한다. 제2 영역화부(120)는 제2 초기영역화부(121), 제2 정합부(122) 및 제2 최종영역화부(123)를 포함할 수 있다.Referring to Figures 1 and 3 will be described in detail the second localization unit 120 of the present embodiment. The second regioner 120 may include a second initial regioner 121, a second matching unit 122, and a second final regioner 123.

제2 초기영역화부(121)는 제1 영역화부(110)에서 생성된 제1 영역화 결과(114)를 제2 해상도 영상으로 변환할 수 있다. 즉, 제2 초기영역화부(121)는 제1 영역화 결과를 각 축으로 확장하여 제2 해상도 영상을 얻을 수 있다. 이때, 제2 해상도 영상은 제1 영역화 결과(114)보다 상대적으로 해상도가 높은 중해상도 영상일 수 있다. 변환된 제2 해상도 영상은 제2 초기 영역화 결과로서 이용될 수 있다. 도 3의 (a)는 제2 해상도 영상을 변환되어 생성된 제2 초기영역화 결과를 나타낸 것이다.The second initial regioner 121 may convert the first segmentation result 114 generated by the first regioner 110 into a second resolution image. That is, the second initial regioner 121 may obtain a second resolution image by extending the first region result to each axis. In this case, the second resolution image may be a medium resolution image having a higher resolution than the first segmentation result 114. The converted second resolution image may be used as a second initial regioning result. 3A illustrates a second initial regionation result generated by converting a second resolution image.

추가적인 양상에 따르면, 제2 초기영역화부(121)는 변환된 제2 해상도 영상이 제1 영역화 결과(114)가 확장될 때(upsampling) 블록 모양으로 매끄럽지 못한 면들이 생길 수 있으므로 매끄럽게 만들어 주기 위해 확장 후 약한 쌍항(pairwise) 값을 주어 그래프 컷 영역화를 수행하여 제2 초기영역화 결과를 생성할 수 있다.According to an additional aspect, the second initial regioner 121 may smooth the converted second resolution image because the unsmooth surfaces may occur in a block shape when the first segmentation result 114 is expanded. After expansion, a weak pairwise value may be given to perform a graph cut region to generate a second initial region.

제2 정합부(122)는 학습집합 내의 적어도 하나 이상의 템플릿을 제2 초기 영역화 결과에 정합하고, 그 정합 결과에 기초하여 최적의 템플릿을 추출할 수 있다. 제1 영역화(110)에 의해 영역화된 제1 영역화 결과(114)는 해상도가 상대적으로 낮은 저해상도 영상을 이용하여 영역화를 수행하였으므로, 결과가 부정확한 경우가 많다. 따라서, 제2 정합부(122)는 제1 영역화 결과(114)보다 상대적으로 높은 중해상도로 변환되어 생성된 제2 초기영역화 결과에 학습집합의 템플릿들을 다시 한번 전술한 반복근접점 기법을 통해 정합을 수행하여 도 3의 (c)에 도시한 바와 같은 최적의 템플릿 wopt 를 찾아낸다. The second matching unit 122 may match at least one or more templates in the learning set to the second initial regioning result, and extract an optimal template based on the matching result. Since the first segmentation result 114 segmented by the first segmentation 110 is performed using a low resolution image having a relatively low resolution, the result is often inaccurate. Accordingly, the second matching unit 122 applies the above-described iterative proximity technique to the templates of the learning set once again in the second initial regioning result generated by converting to a higher resolution than the first regioning result 114. Matching is performed to find an optimal template w opt as shown in FIG.

제2 최종영역화부(123)는 제2 정합부(122)에 의해 찾아진 최적의 템플릿 wopt 를 바탕으로 수학식 2 내지 4에 의해 해당하는 값들을 정의하고, 다시 한번 그래프 컷 영역화를 수행하여 도 3의 (c)에 도시한 바와 같은 최종의 제2 영역화 결과(124)를 생성할 수 있다. 이때, 제2 정합부(122)에 의해 찾아진 최적의 템플릿 wopt 는 제1 정합부(112)에 의해 추출된 템플릿보다 더 정확하므로 σ를 작게 하여 형상정보에 가중치를 줄 수 있다.The second final regioner 123 defines corresponding values by Equations 2 to 4 based on the optimal template w opt found by the second matching unit 122, and performs graph cut regionation once again. Thus, the final second segmentation result 124 as shown in FIG. 3C can be generated. In this case, since the optimal template w opt found by the second matching unit 122 is more accurate than the template extracted by the first matching unit 112, the sigma may be reduced to give weight to the shape information.

이와 같이, 개시된 실시예에 따르면, 제1 영역화 결과(114)는 밝기 정보에 가중치를 크게 주기 때문에 모호한 지역에서 벗어나 버리는(over-segmentation) 영역화 결과가 나타날 수 있지만, 제 2 영역화 결과(124)는 형상 정보에 가중치를 크게 주므로 모호한 지역에서도 벗어나지 않는 정확한 영역화 결과를 얻을 수 있다.As described above, according to the disclosed embodiment, since the first segmentation result 114 gives a greater weight to the brightness information, an over-segmentation segmentation result may appear, but the second segmentation result ( 124 gives a large weight to the shape information, so that accurate localization results can be obtained without deviating from an ambiguous area.

제3 영역화부(130)는 제2 최종영역화부(123)에 의해 최종 생성된 제2 영역화 결과(124)를 고해상도 영상으로 변환하여 도 4에 도시된 바와 같이 대상객체(10)가 정확하게 영역화된 최종 제3 영역화 결과(134)를 얻을 수 있다.
The third segmentation unit 130 converts the second segmentation result 124 finally generated by the second final regionation unit 123 into a high-resolution image so that the target object 10 is precisely as shown in FIG. 4. The finalized final third segmentation result 134 may be obtained.

한편, 본 실시예에서는 제1 영역화부(110)는 하나의 저해상도 영상을 이용하여 제1 영역화를 수행하고, 제2 영역화부(120)는 하나의 중해상도 영상을 이용하여 제2 영역화를 수행하는 것을 예시하였다. 그러나, 이는 예시에 불과하고, 제1 영역화부(110)는 중해상도 보다 상대적으로 낮은 해상도 범위내에서 해상도를 순차적으로 증가시켜 가면서 제1 영역화 절차를 반복 수행하여 최종적으로 제1 영역화 결과(114)를 생성할 수 있다. 마찬가지로, 제2 영역화부(120)도 고해상도 보다 상대적으로 낮은 해상도 범위 내에서 해상도를 증가시켜 가면서 제2 영역화 절차를 반복 수행하여 제2 영역화 결과(124)를 생성할 수 있다.
Meanwhile, in the present exemplary embodiment, the first localization unit 110 performs the first localization using one low resolution image, and the second localization unit 120 performs the second localization using one medium resolution image. It was illustrated to perform. However, this is merely an example, and the first regionr 110 repeatedly performs the first regionation procedure while sequentially increasing the resolution within a resolution range that is relatively lower than the medium resolution. 114). Similarly, the second segmentation unit 120 may generate the second segmentation result 124 by repeating the second segmentation procedure while increasing the resolution within a lower resolution range than the high resolution.

도 5 내지 도 7은 일 실시예에 따른 다중 해상도 기반의 영역화 방법의 흐름도이다. 도 5는 다중 해상도 기반의 영역화 방법의 흐름도이며, 도 6 및 7은 그 영역화 방법 중 각각 제1 영역화 결과 생성 단계 및 제2 영역화 결가 생성 단계의 상세 흐름도를 나타낸 것이다. 도 1의 다중 해상도 기반의 영역화 장치(100)를 통해 수행되는 영역화 방법은 앞에서 상세히 설명하였으므로 이하 자세한 설명은 생략한다.5 to 7 are flowcharts of a multi-resolution-based segmentation method according to an embodiment. 5 is a flowchart of a multi-resolution based segmentation method, and FIGS. 6 and 7 show detailed flowcharts of a first segmentation result generation step and a second segmentation defect generation step, respectively, of the segmentation methods. Since the segmentation method performed by the multi-resolution-based segmentation apparatus 100 of FIG. 1 has been described in detail above, a detailed description thereof will be omitted.

먼저, 다중 해상도 기반의 영역화 장치(100)는 영역화 대상 객체를 가지는 제1 해상도 영상을 이용하여 그 대상객체의 제1 영역화 결과를 생성할 수 있다(단계 310). First, the multi-resolution-based segmentation apparatus 100 may generate a first segmentation result of the target object by using the first resolution image having the segmentation target object (step 310).

도 6을 참조하여 좀 더 구체적으로 설명한다. 영역화 장치(100)는 학습집합(training set)에서 영역화하고자 하는 대상 객체와 유사한 템플릿을 검색하고(단계 311), 그 검색된 템플릿을 이용하여 제1 초기 영역화 결과를 생성할 수 있다(단계 312). 이때, 제1 초기영역화부(111)는 전술한 제한된 브랜치 앤 민컷 기법을 이용하여 제1 초기 영역화 결과를 생성할 수 있다. It will be described in more detail with reference to FIG. The localization apparatus 100 may search for a template similar to a target object to be zoned in a training set (step 311), and generate a first initial localization result using the searched template (step 311). 312). In this case, the first initial localization unit 111 may generate the first initial localization result using the aforementioned limited branch and mincut technique.

그 다음, 학습집합 내의 적어도 하나 이상의 템플릿을 생성된 제1 초기 영역화 결과에 정합하고(단계 313), 그 정합 결과에 기초하여 최적의 템플릿을 추출할 수 있다(단계 314). 이때, 경식변환(rigid transformation) 기법 중 하나인 반복근접점을 이용하여 정합을 수행할 수 있다. 반복근접점 기법에 의해 제1 초기 영역화 결과에 그 학습집합 내의 템플릿들을 정합한 후 L1 거리가 최소인 템플릿을 추출하여 최적의 템플릿으로 할 수 있다. Then, at least one or more templates in the learning set may be matched to the generated first initial regioning result (step 313), and an optimal template may be extracted based on the matching result (step 314). In this case, the matching may be performed using an iterative proximity that is one of rigid transformation techniques. By using the iterative proximity technique, the templates in the learning set are matched to the first initial regioning result, and the template having the minimum L1 distance can be extracted to be an optimal template.

마지막으로, 추출된 최적의 템플릿을 이용하여 제1 영역화 결과(114)를 생성할 수 있다(단계 315). Finally, the first segmentation result 114 may be generated using the extracted optimal template (step 315).

그 다음, 영역화 장치(100)는 그 제1 영역화 결과(114)에 기초하여 제2 해상도 기반의 제2 영역화 결과를 생성할 수 있다(단계 320).Next, the localization apparatus 100 may generate a second resolution result based on the second resolution based on the first area result 114 (step 320).

도 7을 참조하여 좀 더 구체적으로 설명한다. 먼저, 영역화 장치(100)는 제1 영역화 결과(114)를 제2 해상도 영상으로 변환하고(단계 321) 그 변환된 영상을 이용하여 제2 초기 영역화 결과를 생성할 수 있다(단계 322). 이때, 변환된 제2 해상도 영상은 제2 초기 영역화 결과로서 이용될 수 있다. 추가적으로 변환된 제2 해상도 영상이 제1 영역화 결과(114)가 확장될 때(upsampling) 블록 모양으로 매끄럽지 못한 면들이 생길 수 있으므로 매끄럽게 만들어 주기 위해 확장 후 약한 쌍항(pairwise) 값을 주어 그래프 컷 영역화를 수행하여 제2 초기영역화 결과를 생성할 수 있다. 이때, 제2 해상도 영상은 제1 영역화 결과(114)보다 상대적으로 해상도가 높은 중해상도 영상일 수 있다.Will be described in more detail with reference to FIG. First, the localization apparatus 100 may convert the first segmentation result 114 into a second resolution image (step 321) and generate a second initial segmentation result using the converted image (step 322). ). In this case, the converted second resolution image may be used as a second initial regioning result. In addition, since the converted second resolution image may have uneven surfaces in a block shape when the first segmentation result 114 is expanded (upsampling), the graph cut area is given by a weak pairwise value after expansion to make it smooth. May be performed to generate a second initial zoned result. In this case, the second resolution image may be a medium resolution image having a higher resolution than the first segmentation result 114.

그 다음, 학습집합 내의 적어도 하나 이상의 템플릿을 제2 초기 영역화 결과에 정합하고(단계 323), 그 정합 결과에 기초하여 최적의 템플릿을 추출할 수 있다(단계 324). 영역화 장치(100)는 제1 영역화 결과(114)보다 상대적으로 높은 중해상도로 변환되어 생성된 제2 초기영역화 결과에 학습집합의 템플릿들을 다시 한번 전술한 반복근접점 기법을 통해 정합을 수행하여 보다 정확한 템플릿을 찾을 수 있다. Next, at least one or more templates in the learning set may be matched to the second initial regioning result (step 323), and an optimal template may be extracted based on the matching result (step 324). The localization apparatus 100 matches the templates of the learning set to the second initial localization result generated by converting it to a medium resolution relatively higher than the first localization result 114 through the aforementioned iterative proximity technique. You can do this to find a more accurate template.

마지막으로, 찾아진 최적의 템플릿을 바탕으로 수학식 2 내지 4에 의해 해당하는 값들을 정의하고, 다시 한번 그래프 컷 영역화를 수행하여 최종의 제2 영역화 결과(124)를 생성할 수 있다(단계 325).Finally, based on the found optimal template, the corresponding values may be defined by Equations 2 to 4, and once again, graph cut segmentation may be performed to generate a final second segmentation result 124 ( Step 325).

마지막으로, 제2 영역화 결과(124)에 기초하여 제3 해상도 기반의 제3 영역화 결과(134)를 생성할 수 있다(단계 330).
Lastly, based on the second segmentation result 124, a third resolution-based third segmentation result 134 may be generated (step 330).

도 8a 및 8b는 본 발명의 일 실시예에 따른 영역화 방법과 제한된 브랜치 앤 민컷 기법의 비교 실험 결과의 예이다. 8A and 8B are examples of comparative experimental results of a zoning method and a limited branch and mincut technique according to an embodiment of the present invention.

본 실시예에 따른 영역화 기법의 성능을 확인하기 위해 2010년에 열린 MICCAI 워크샵 중 하나였던 SKI 2010 웹사이트[http://www.ski10.org/]에 공개되어 있는 무릎 MR 데이터들을 실험에 이용하였다. Knee MR data published on the SKI 2010 website [http://www.ski10.org/], which was one of the MICCAI workshops held in 2010, to confirm the performance of the zoning technique according to the present embodiment, was used for the experiment. It was.

도 8a와 8b는 뼈 영역화 결과의 정확성을 판단하기 위해 각각 대퇴골과 경골의 평균대칭표면거리(average symmetric surface distance: AvgD)와 제곱루트평균표면거리(root-mean-square symmetric surface distance: RMSD)를 측정하여 박스 플롯(box plot)으로 도시한 것이다. 8A and 8B show the average symmetric surface distance (AvgD) and root-mean-square symmetric surface distance (RMSD) of the femur and tibia, respectively, to determine the accuracy of bone regionalization results. It is shown as a box plot (measured by the box plot).

평균대칭표면거리는 영역화 결과의 경계위에 있는 복셀들에 대하여 참값과의 매칭점들을 찾은 뒤, 두 점의 거리들을 계산하여 평균을 내줌으로써 얻어낸다. 제곱루트평균표면거리는 비슷한 방법으로 구하되, 거리들을 제곱하여 합한 뒤 루트연산을 수행함으로써 얻어낸다. 따라서 두 결과 모두 0으로 다가갈수록 좋은 결과를 의미한다.The average symmetric surface distance is obtained by finding the matching points with the true values for the voxels on the boundary of the segmentation result and calculating the average of the distances of the two points. The root mean square surface distances are calculated in a similar way, but are obtained by performing square roots of the distances and performing a root operation. Therefore, both results mean better results as you approach zero.

도 8a와 8b에 도시된 Femur_p와 Tibia_p는 본 실시예에 따른 영역화 기법을 이용하여 각각 대퇴골 및 연골에 대해 측정한 결과이며, Femur_b와 Tibia_p는 제한된 브랜치 앤 민컷 기법을 이용하여 각각 대퇴골 및 연골에 대해 측정한 결과이다. 박스의 중간선은 50개의 테스트 결과 중 중간값(median)을 의미하며, 박스의 위와 아래 선은 각각 상위와 하위 25%값을, 박스의 위 아래로 있는 위스커(whisker)는 각각 상위와 하위 10% 값을 나타낸다. 제한된 브랜치 앤 민컷의 경우 각 축을 반으로 줄인 해상도에서 수행되었으며 이후 원해상도로 확장한 결과를 최종 결과로 하였다.Femur_p and Tibia_p shown in Figs. 8a and 8b are measured for femur and cartilage, respectively, by using the localization technique according to the present embodiment, Femur_b and Tibia_p are respectively measured in the femur and cartilage using a limited branch and mincut technique It is a result measured about. The middle line of the box represents the median of the 50 test results, the top and bottom lines of the box represent the top and bottom 25% values, and the whiskers above and below the box are the top and bottom 10, respectively. Represents the% value. In the case of limited branch and mincuts, the resolution was performed in half the resolution of each axis, and then the final result was extended to the desired resolution.

도 8a를 참조하면, 50개의 테스트 데이터에 대해 평균대칭표면거리의 경우 본 실시예의 영역화 기법은 평균 0.699/0.531(대퇴골/경골), 중간값 0.665/0.52을 얻은 반면, 제한된 브랜치 앤 민컷은 평균 1.14/0.674, 중간값 1.15/0.605를 얻었다. 도 8b를 참조하면, 제곱루트평균표면거리의 경우에는 본 실시예의 영역화 기법은 평균 1.09/0.87, 중간값 1.01/0.82를 얻은 반면, 제한된 브랜치 앤 민컷은 평균 2.30/1.215, 중간값 2.11/1.01을 얻었다. Referring to FIG. 8A, for the mean symmetrical surface distance for 50 test data, the zoning technique of this example yielded an average of 0.699 / 0.531 (femur / tibia), median of 0.665 / 0.52, whereas the limited branch and mincut averaged. 1.14 / 0.674 and the median 1.15 / 0.605 were obtained. Referring to FIG. 8B, in the case of the square root mean surface distance, the zoning technique of this embodiment obtains an average of 1.09 / 0.87 and a median of 1.01 / 0.82, whereas the limited branch and mincut has an average of 2.30 / 1.215 and a median of 2.11 / 1.01. Got.

또한, 본 실시예의 영역화 기법의 수행시간은 대퇴골에 대하여 제1 영역화, 제2 영역화 및 제3 영역화 단계에서 각각 4~6분, 20~30초, 20~30초 정도가 소요되어 총 6~7분 정도가 소요되었다. 반면, 단 하나의 평균 형상의 제한된 위치변형 템플릿만으로 트리를 구성하여 수행한 제한된 브랜치 앤 민컷은 트리검색의 수렴속도에 따라 3~7분 정도가 소요되었다. 그러나, 공정한 비교를 위해 제2 영역화 단계와 같은 트리구성(예: 81000개의 템플릿)으로 제한된 브랜치 앤 민컷을 수행하면 1시간 이상의 시간이 소요됨을 알 수 있다.
In addition, the execution time of the segmentation technique of the present embodiment takes about 4-6 minutes, 20-30 seconds, and 20-30 seconds in the first, second, and third regions of the femur, respectively. It took a total of 6-7 minutes. On the other hand, limited branch and mincut, which consisted of a tree with only one average shape limited displacement template, took about 3-7 minutes depending on the convergence speed of the tree search. However, for a fair comparison, branch and mincut limited to the same tree structure as the second zoning step (for example, 81000 templates) may take more than 1 hour.

한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the embodiments of the present invention can be embodied as computer readable codes on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device and the like, and also a carrier wave (for example, transmission via the Internet) . The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. And functional programs, codes and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is defined by the appended claims rather than the foregoing detailed description, and all changes or modifications derived from the meaning and scope of the claims and the equivalents thereof are included in the scope of the present invention Should be interpreted.

100: 영역화 장치 110: 제1 영역화부
111: 제1 초기영역화부 112: 제1 정합부
113: 제1 최종영역화부 114: 제1 영역화 결과
120: 제2 영역화부 121: 제2 초기영역화부
122: 제2 정합부 123: 제2 최종영역화부
124: 제2 영역화 결과 130: 제3 영역화부
134: 제3 영역화 결과100: segmentation device 110: first segmentation unit
111: first initial regioner 112: first matching unit
113: first final regioner 114: first segmentation result
120: second regioner 121: second initial regioner
122: second matching section 123: second final regionization section
124: second segmentation result 130: third segmenter
134: third segmentation result

Claims (16)

학습집합(training set)에서 영역화 대상 객체의 영역화를 위한 템플릿을 검색하고 그 검색된 템플릿을 이용하여 제1 초기 영역화 결과를 생성하는 제1 초기영역화부와, 상기 학습집합 내의 적어도 하나 이상의 템플릿을 그 제1 초기 영역화 결과에 정합하고 그 정합 결과에 기초하여 최적의 템플릿을 추출하는 제1 정합부, 및 상기 최적의 템플릿을 이용하여 제1 영역화 결과를 생성하는 제1 최종영역화부를 포함하는 제1 영역화부;
상기 제1 영역화 결과를 제2 해상도 영상으로 변환하고 그 제2 해상도 영상에 대해 그래프 컷(graph cut) 기반의 영역화를 수행하여 제2 초기 영역화 결과를 생성하는 제2초기 영역화부와, 학습집합 내의 적어도 하나 이상의 템플릿을 상기 제2 초기 영역화 결과에 정합하고 그 정합 결과에 기초하여 최적의 템플릿을 추출하는 제2 정합부, 및 상기 최적의 템플릿을 이용하여 제2 영역화 결과를 생성하는 제2 최종영역화부를 포함하는 제2 영역화부; 및
상기 제2 영역화 결과에 기초하여 제3 해상도 기반의 제3 영역화 결과를 생성하는 제3 영역화부;를 포함하되,
상기 제2초기 영역화부는 그래프 컷 수행시 템플릿 경계와 템플릿 주변의 밝기 특징을 고려하여 템플릿 정보와 밝기 정보에 대한 가중치를 복셀마다 결정하는 다중 해상도 기반의 영역화 장치.A first initial zoner configured to search for a template for zoning a target object in a training set and generate a first initial zoning result using the searched template; and at least one template in the training set. Is matched to the first initial zoning result and the first matching unit extracts an optimal template based on the matching result, and a first final zoning unit generating a first segmentation result using the optimal template. A first localization unit comprising;
A second initial localization unit which converts the first localization result into a second resolution image and generates a second initial localization result by performing graph cut-based localization on the second resolution image; A second matching unit for matching at least one template in a learning set to the second initial segmentation result and extracting an optimal template based on the matching result, and generating a second segmentation result using the optimal template A second zoner including a second final zoner; And
And a third segmenter configured to generate a third segmentation result based on the third resolution based on the second segmentation result.
The second initial localization unit determines a weight for template information and brightness information for each voxel in consideration of a template boundary and brightness characteristics around the template when performing the graph cut. 제1항에 있어서,
제1 해상도는 제2 해상도 보다 상대적으로 저해상도이고, 제2 해상도는 제3 해상도보다 상대적으로 저해상도인 다중 해상도 기반의 영역화 장치.The method of claim 1,
The first resolution has a lower resolution than the second resolution, the second resolution is a relatively low resolution than the third resolution based multi-resolution localization apparatus. 삭제delete 제1항에 있어서, 상기 제1 초기영역화부는,
제한된 브랜치 앤 민컷(constrained branch-and-mincut) 기법을 이용하여 제1 초기 영역화 결과를 생성하는 다중 해상도 기반의 영역화 장치.The method of claim 1, wherein the first initial regioner,
A multi-resolution based segmentation device that produces a first initial segmentation result using a constrained branch-and-mincut technique. 삭제delete 삭제delete 제1항에 있어서, 상기 제1 정합부 및 제2 정합부는,
경식변환(rigid transformation) 기법 중의 반복근접점(iterative closest point)을 이용하여 정합을 수행하는 다중 해상도 기반의 영역화 장치.The method of claim 1, wherein the first matching portion and the second matching portion,
A multiresolution-based segmentation device that performs matching using iterative closest points in a rigid transformation technique. 제1항에 있어서, 제1 최종영역화부 및 제2 최종영역화부는,
그래프 컷(graph cut) 기반의 영역화를 수행하는 다중 해상도 기반의 영역화 장치.The method of claim 1, wherein the first final regioner and the second final regioner,
Multiple resolution based segmentation device that performs graph cut based segmentation. 학습집합(training set)에서 영역화 대상 객체의 영역화를 위한 템플릿을 검색하고, 그 검색된 템플릿을 이용하여 제1 초기 영역화 결과를 생성하는 단계;
상기 학습집합 내의 적어도 하나 이상의 템플릿을 제1 초기 영역화 결과에 정합하는 단계;
상기 제1 초기 영역화 결과에 정합한 결과에 기초하여 최적의 템플릿을 추출하는 단계;
상기 최적의 템플릿을 이용하여 제1 영역화 결과를 생성하는 단계;
상기 제1 영역화 결과를 제2 해상도 영상으로 변환하는 단계;
상기 제2 해상도 영상에 대해 그래프 컷(graph cut) 기반의 영역화를 수행하여 제2 초기 영역화 결과를 생성하는 단계;
학습집합 내의 적어도 하나 이상의 템플릿을 상기 제2 초기 영역화 결과에 정합하는 단계;
상기 제2 초기 영역화 결과에 정합한 결과에 기초하여 최적의 템플릿을 추출하는 단계; 및
최적의 템플릿을 이용하여 제2 영역화 결과를 생성하는 단계;를 포함하되,
상기 제2 초기 영역화 결과를 생성하는 단계는 그래프 컷 수행시 템플릿 경계와 템플릿 주변의 밝기 특징을 고려하여 템플릿 정보와 밝기 정보에 대한 가중치를 복셀마다 결정하는 다중 해상도 기반의 영역화 방법.Retrieving a template for territorialization of the object to be zoned in a training set, and generating a first initial zoning result using the retrieved template;
Matching at least one template in the learning set to a first initial regioning result;
Extracting an optimal template based on a result of matching the first initial regioning result;
Generating a first segmentation result using the optimal template;
Converting the first segmentation result into a second resolution image;
Generating a second initial segmentation result by performing graph cut-based segmentation on the second resolution image;
Matching at least one template in a learning set to the second initial regioning result;
Extracting an optimal template based on a result of matching the second initial regioning result; And
Generating a second segmentation result using the optimal template;
The generating of the second initial regioning result may include determining weights for template information and brightness information for each voxel in consideration of template boundaries and brightness characteristics around the template when performing the graph cut. 제9항에 있어서,
상기 제1 해상도는 제2 해상도보다 상대적으로 저해상도이고, 상기 제2 해상도는 제3 해상도보다 상대적으로 저해상도인 다중 해상도 기반의 영역화 방법.10. The method of claim 9,
The first resolution is a lower resolution than the second resolution, and the second resolution is a lower resolution than the third resolution based on multiple resolution. 삭제delete 제9항에 있어서, 상기 제1 초기 영역화 결과 생성 단계는,
제한된 브랜치 앤 민컷(constrained branch-and-mincut) 기법을 이용하여 초기 영역화 결과를 생성하는 다중 해상도 기반의 영역화 방법.The method of claim 9, wherein the generating of the first initial segmentation result comprises:
Multi-resolution-based segmentation method that generates initial segmentation results using constrained branch-and-mincut techniques. 삭제delete 삭제delete 제9항에 있어서, 상기 정합하는 단계는,
경식변환(rigid transformation) 기법 중의 반복근접점(iterative closest point)을 이용하여 정합을 수행하는 다중 해상도 기반의 영역화 방법.The method of claim 9, wherein the step of matching,
Multi-resolution-based segmentation method for performing matching using iterative closest points in a rigid transformation technique. 제9항에 있어서,
상기 제1 최종 영역화 결과 생성 단계 및 제2 최종 영역화 결과 생성 단계는, 그래프 컷(graph cut) 기반의 영역화를 수행하는 다중 해상도 기반의 영역화 방법.
10. The method of claim 9,
The generating of the first final region result and the generating of the second final region result may include performing graph cut based segmentation.
KR1020120041137A 2012-04-19 2012-04-19 Segmentation apparatus and method based on multi-resolution KR101340594B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120041137A KR101340594B1 (en) 2012-04-19 2012-04-19 Segmentation apparatus and method based on multi-resolution

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120041137A KR101340594B1 (en) 2012-04-19 2012-04-19 Segmentation apparatus and method based on multi-resolution

Publications (2)

Publication Number Publication Date
KR20130118161A KR20130118161A (en) 2013-10-29
KR101340594B1 true KR101340594B1 (en) 2013-12-11

Family

ID=49636626

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120041137A KR101340594B1 (en) 2012-04-19 2012-04-19 Segmentation apparatus and method based on multi-resolution

Country Status (1)

Country Link
KR (1) KR101340594B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6364837B2 (en) * 2014-03-14 2018-08-01 オムロン株式会社 Image processing apparatus and region dividing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065399A (en) * 2004-08-24 2006-03-09 Sony Corp Image processing device and method, storage medium and program
JP2009134587A (en) * 2007-11-30 2009-06-18 Toyota Motor Corp Image processing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065399A (en) * 2004-08-24 2006-03-09 Sony Corp Image processing device and method, storage medium and program
JP2009134587A (en) * 2007-11-30 2009-06-18 Toyota Motor Corp Image processing device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
영역화와 정합기법을 반복적으로 이용한 다중해상도 기반의 뼈 영역화 기법(2011년) *
영역화와 정합기법을 반복적으로 이용한 다중해상도 기반의 뼈 영역화 기법(2011년)*

Also Published As

Publication number Publication date
KR20130118161A (en) 2013-10-29

Similar Documents

Publication Publication Date Title
CN110689038B (en) Training method and device for neural network model and medical image processing system
Masood et al. A survey on medical image segmentation
US9218524B2 (en) Automatic spatial context based multi-object segmentation in 3D images
de Bruijne et al. Adapting active shape models for 3D segmentation of tubular structures in medical images
US7995810B2 (en) System and methods for image segmentation in n-dimensional space
EP2518691B1 (en) Tree structure extraction apparatus, method and program
CN110210431B (en) Point cloud semantic labeling and optimization-based point cloud classification method
Hadhoud et al. Left ventricle segmentation in cardiac MRI images
JP2009517163A (en) Method, system and computer program for segmenting structure associated with reference structure in image
US11334995B2 (en) Hierarchical systems and methods for image segmentation
Wang et al. Review of random walk in image processing
Lee et al. Segmentation of surgical instruments in laparoscopic videos: training dataset generation and deep-learning-based framework
CN117274599A (en) Brain magnetic resonance segmentation method and system based on combined double-task self-encoder
Hsu A hybrid approach for brain image registration with local constraints
KR101340594B1 (en) Segmentation apparatus and method based on multi-resolution
Zhu et al. Graph-based optimization with tubularity markov tree for 3d vessel segmentation
Fang et al. Segmentation of liver tumor using efficient global optimal tree metrics graph cuts
Qiao et al. Research on standardized feature positioning technology of motion amplitude based on intelligent vision
Yang et al. Scale-aware auto-context-guided Fetal US segmentation with structured random forests
CN113256693A (en) Multi-view registration method based on K-means and normal distribution transformation
Chen et al. Generation of a graph representation from three-dimensional skeletons of the liver vasculature
Fang et al. Tree-metrics graph cuts for brain MRI segmentation with tree cutting
Shen et al. Unsupervised human skeleton extraction from Kinect depth images
CN114332381B (en) Aortic CT image key point detection method and system based on three-dimensional reconstruction
Saito et al. Fast approximation for joint optimization of segmentation, shape, and location priors, and its application in gallbladder segmentation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161117

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171123

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee