KR101931564B1

KR101931564B1 - 영상 정합을 이용한 영상 처리 장치 및 방법

Info

Publication number: KR101931564B1
Application number: KR1020170027585A
Authority: KR
Inventors: 조승룡; 이호연
Original assignee: 한국과학기술원
Priority date: 2017-03-03
Filing date: 2017-03-03
Publication date: 2018-12-24
Also published as: KR20180101672A

Abstract

본 발명은 생분자의 부분 또는 전체가 포함된 3차원 영상을 구성하는 정점의 벡터를 산출하는 연산부; 연산부가 산출한 3차원 영상 중 부분 영상에 포함된 평면에 포함되어 전체 영상의 평면에 대응시키기 위한 특징자를 추출하는 추출부; 및 특징자와 연산부가 산출한 3차원 영상 중 전체 영상에 포함된 평면을 영상 정합시켜 3차원 모델을 결정하는 영상 정합부를 포함하여, 특징자를 3차원 전체 영상에 포함된 접평면에 대응시켜 유사성을 비교하여 3차원 모델을 재구성 하는 것을 특징으로 한다.
본 발명은 3차원 부분 영상의 접평면 중 추출된 희소 특징자를 ICP 알고리즘의 초기조건으로 설정하여, 특징자와 3차원 전체 영상의 특징이 일치하도록 정합하여 영상 정합의 결과가 지역 최소해가 아닌 전역 최소해를 획득할 수 있는 이점이 있다.

Description

영상 정합을 이용한 영상 처리 장치 및 방법{DEVICE AND METHOD FOR PROCESSING IMAGE USING IMAGE REGISTRATION}

본 발명은 영상 정합을 이용한 영상 처리 장치 및 방법에 관한 것이다.

하나의 장면이나 대상을 다른 시간이나 관점에서 촬영할 경우, 영상은 서로 다른 좌표계에서 얻어지게 된다. 영상 정합(image registration)은 이와 같은 서로 다른 영상을 변형하여 하나의 좌표계에 나타내는 처리기법이다. 즉, 영상을 정합하여 하나의 영상을 구성하기 위해서는 부분영상과 전체 영상에 동시에 존재하는 특징을 이용하여야 한다. 이를 통해, 상이한 측정 방식으로 획득한 영상이 어떻게 대응되는지를 알 수 있다.

영상 정합은 세기 바탕 방식과 특징 바탕 방식으로 나뉜다. 고정된 영상을 참조영상 혹은 원본영상이라 하고, 맞추어질 영상을 맞출영상이라고 한다. 영상 정합은 맞출영상을 공간적으로 변형해 참조영상에 맞추는 과정을 포함한다. 세기 바탕 방식은 영상의 세기의 형태를 비교하는 방식이고, 특징 바탕 방식은 영상 속의 점, 선, 테두리 등을 찾아 서로 맞추는 방식이다. 세기 바탕 방식은 그림을 통째로 비교해 정합하는 데 반해, 특징 바탕 방식은 둘 이상의 그림 속에서 여러 개의 특징을 찾아 비교한다. 두 영상 속에서 몇 개의 특징점의 대응관계를 알면 두 영상의 변환 관계를 결정할 수 있기 때문에, 그로부터 영상 속의 다른 점들의 대응관계를 계산할 수 있다.

또한, 영상 정합은 한 가지 방식의 영상들을 맞추는 단일 방식 정합과 여러 방식의 영상을 서로 맞추는 여러 방식 정합으로 나뉜다. 단일 방식 정합은 한 가지 스캐너, 혹은 측정 장치에서 얻어진 영상만을 정합하는 것이고, 여러 영상 방식은 서로 다른 스캐너, 혹은 측정 장치에서 얻어진 영상들을 정합하는 것이다.

마지막으로, 영상 정합은 자동화의 단계에 따라, 수동, 대화식, 반자동, 자동 방식으로 나눌 수 있다. 수동 방식은 도구를 이용해 수동으로 맞출영상을 참조영상에 정렬한다. 대화식 방식은 사용자가 대략적으로 지시하면 컴퓨터가 자동으로 영상을 정합하는 방식이다. 반자동 방식은 컴퓨터가 대부분의 정합 과정을 수행하고, 사용자가 검토를 하는 방식이다. 자동방식은 모든 정합의 과정을 사용자의 도움 없이 컴퓨터가 수행하는 방식을 말한다.

한편, 영상 처리 장치 및 방법에 관한 종래 기술로서 대한민국등록특허 제10-1681538호(이하 '선행기술'이라 약칭함)가 있다. 선행기술은 깊이 영상에 포함되는 픽셀의 벡터를 활용하여 특징점을 추출하고, 이로 인해 주변 조명 상태에 대해 덜 민감하며, 정확한 3차원 특징점을 추출하는 영상 처리 장치 및 방법을 개시한다. 그런데 3차원 영상 정합 및 선행기술에서 사용되는 ICP(Iterative closet point) 알고리즘은 대상의 종류와 특징을 반영하지 않고, 대상을 구성하는 가장 가까운 점들 간의 거리를 최소화시키는 방법의 알고리즘이다. 이러한 방법은 사람의 얼굴, 자동차 등 변화가 크고 다양한 특징을 찾을 수 있는 물체를 목표로 하고 있다. 때문에, 크기가 작고 특징이 희박한 대상에 적용을 하는 경우 물체의 특징을 제대로 표현하지 못하게 된다. 따라서, ICP 알고리즘을 활용한 영상 정합은 초기 조건에 따라 결과가 지역 최소해에 수렴할 가능성이 매우 높다는 단점이 있다.

대한민국등록특허 제10-1681538호

본 발명의 목적은 ICP 알고리즘의 단점을 보완하여 단백질 또는 아미노산과 같은 생분자를 대상으로 하는 영상 정합의 정확도를 높일 수 있는 영상 처리 장치 및 방법을 제공하는데 있다.

상기 목적을 달성하기 위하여 본 발명은 생분자의 부분 또는 전체가 포함된 3차원 영상을 구성하는 정점의 벡터를 산출하는 연산부; 연산부가 산출한 3차원 영상 중 부분 영상에 포함된 평면에 포함되어 전체 영상의 평면에 대응시키기 위한 특징자를 추출하는 추출부; 및 특징자와 연산부가 산출한 3차원 영상 중 전체 영상에 포함된 평면을 영상 정합시켜 3차원 모델을 결정하는 영상 정합부를 포함하여, 특징자를 상기 3차원 전체 영상에 포함된 접평면에 대응시켜 유사성을 비교하여 3차원 모델을 재구성 하는 것을 특징으로 한다.

바람직하게, 연산부는 3차원 영상을 구성하는 정점의 법선 벡터를 산출하는 벡터 연산 모듈; 법선 벡터의 방향이 동일한 복수의 정점을 그룹화하는 그룹핑 모듈; 및 그룹화된 정점 중 상이한 3개 이상의 정점을 포함하는 평면을 결정하는 평면 연산 모듈을 포함할 수 있다.

바람직하게, 추출부는 부분 영상에 포함된 평면이 물체를 투과하거나 평면이 3차원 부분 영상 하단면과 접촉하는 경우 평면을 특징자에서 제외시킬 수 있다.

바람직하게, 영상 정합부는 특징자를 구성하는 정점과 3차원 전체 영상의 평면을 구성하는 정점을 동일한 위치에 대응시킬 수 있다.

바람직하게, 영상 정합부는 특징자를 구성하는 정점들로 이루어진 벡터와 3차원 전체 영상의 접평면의 벡터의 방향과 크기를 비교할 수 있다.

바람직하게, 영상 정합부는 ICP(Iterative closest point) 알고리즘을 이용하여 특징자와 3차원 전체 영상을 영상 정합시킬 수 있다.

본 발명은 3차원 영상을 구성하는 정점의 법선 벡터가 산출되는 a)단계; a)단계에서 산출된 법선 벡터의 방향이 동일한 복수의 정점이 그룹핑 되는 b)단계; b)단계에서 그룹핑된 정점 중 상이한 3개 이상의 정점을 포함하는 평면을 결정하는 c)단계; c)단계에서 결정된 평면 중 3차원 부분 영상에 포함된 평면의 특징자를 추출하는 d)단계; 및 d)단계에서 추출된 특징자를 3차원 전체 영상과 영상 정합시켜 3차원 모델을 결정하는 e)단계를 포함하여, 특징자를 차원 전체 영상에 포함된 접평면에 대응시켜 유사성을 비교하여 3차원 모델을 재구성 하는 것을 다른 특징으로 한다.

바람직하게, d)단계는 부분 영상에 포함된 평면이 물체를 투과하거나 평면이 3차원 부분 영상 하단면과 접촉하는 경우 평면을 상기 특징자에서 제외시킬 수 있다.

바람직하게, e)단계는 특징자를 구성하는 정점과 3차원 전체 영상의 평면을 구성하는 정점을 동일한 위치에 대응시킬 수 있다.

바람직하게, e)단계는 특징자를 구성하는 정점들로 이루어진 벡터와 3차원 전체 영상의 접평면의 벡터의 방향과 크기를 비교할 수 있다.

바람직하게, e)단계는 ICP(Iterative closest point) 알고리즘을 이용하여 특징자와 3차원 전체 영상을 영상 정합시킬 수 있다.

본 발명에 따르면, 3차원 부분 영상의 접평면 중 추출된 희소 특징자를 ICP 알고리즘의 초기조건으로 설정하여, 특징자와 3차원 전체 영상의 특징이 일치하도록 정합하여 영상 정합의 결과가 지역 최소해가 아닌 전역 최소해를 획득할 수 있는 이점이 있다.

도 1은 본 발명의 실시예에 따른 영상 처리 장치를 나타낸다.
도 2는 본 발명의 실시예에 따른 정점의 법선 벡터를 나타낸다.
도 3은 본 발명의 실시예에 따른 3차원 부분 영상의 접평면을 나타낸다.
도 4는 본 발명의 실시예에 따른 특징자에서 제외되는 예시를 나타낸다.
도 5는 본 발명의 실시예에 따른 영상 처리 방법의 단계도이다.
도 6은 본 발명의 실시예에 따른 알라닌의 영상 정합 결과를 나타낸다.
도 7은 본 발명의 실시예에 따른 알라닌의 다른 영상 정합 결과를 나타낸다.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.

본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 영상 처리 장치(1)를 나타낸다. 도 1을 참조하면, 영상 처리 장치(1)는 연산부(11), 추출부(13) 및 영상 정합부(15)를 포함할 수 있다. 영상 처리 장치(1)는 생분자의 3차원 부분 영상(31)의 접평면을 바탕으로 3차원 전체 영상(33)을 재구성할 수 있다.

연산부(11)는 생분자의 부분 또는 전체가 포함된 3차원 영상(3)을 구성하는 정점의 벡터를 산출할 수 있다.

본 실시예에서, 3차원 영상을 표현하기 위해서는 3차원 포인트를 나타내는 정점과 이를 이어 만들어진 삼각형 평면들이 필요하다. 정점들은 촬영장치를 통해 3차원 영상의 대상이 되는 물질의 3차원 부분 영상(31)을 촬영함으로 써 획득할 수 있다. 특히, 본 실시예에서는 원자력간 현미경을 이용하여 아미노산과 같은 생분자의 3차원 부분 영상(31)을 획득할 수 있다. 연산부(11)는 획득한 3차원 부분 영상(31)을 바탕으로 정점을 포함하는 삼각형 평면들의 법선 벡터를 산출할 수 있다.

이를 위해, 연산부(11)는 벡터 연산 모듈(111), 그룹핑 모듈(113) 및 평면 연산 모듈(115)을 포함할 수 있다.

도 2는 본 발명의 실시예에 따른 정점의 법선 벡터를 나타낸다. 도 2를 참조하면, 벡터 연산 모듈(111)은 3차원 영상(31)을 구성하는 정점의 법선 벡터를 산출할 수 있다.

본 실시예에서, 벡터 연산 모듈(111)은 정점을 포함하는 삼각형 평면들의 법선 벡터의 평균으로 정점의 법선 벡터를 산출할 수 있다. 해당 과정을 수식으로 표현하면 하기의 수식(1)과 같다.

수식(1)

수식(1)에서 M은 정점이 포함된 평면의 개수를 의미하고,

는 정점이 포함된 평면의 법선 벡터를 의미한다. 벡터 연산 모듈(111)은 산출된 법선 벡터의 정보를 그룹핑 모듈(113)로 전달할 수 있다.

그룹핑 모듈(113)은 법선 벡터의 방향이 동일한 복수의 정점을 그룹화할 수 있다.

본 실시예에서, 그룹핑 모듈(113)은 벡터 연산 모듈(111)로부터 전달받은 법선 벡터의 정보를 전달받아 접평면을 구성할 수 있는 정점들을 그룹핑 할 수 있다. 그룹핑 모듈(113)은 정점을 그룹핑하기 위해 법선 벡터가 유사한 방향을 가지는 정점들을 샘플링할 수 있다. 그룹핑 모듈(113)은 샘플링된 정점들을 이용하여 평면을 구성하였을 때 접평면의 형성 여부를 확인할 수 있다. 그룹핑 모듈(113)은 그룹핑된 정점의 정보를 평면 연산 모듈(115)로 전달할 수 있다.

도 3은 본 발명의 실시예에 따른 3차원 부분 영상(31)의 접평면을 나타낸다. 도 3을 참조하면, 평면 연산 모듈(115)은 그룹화된 정점 중 상이한 3개 이상의 정점을 포함하는 평면을 결정할 수 있다.

본 실시예에서, 평면 연산 모듈(115)은 그룹핑 모듈(113)로부터 전달받은 그룹핑된 정점의 정보를 바탕으로 평면을 결정할 수 있다. 평면 연산 모듈(115)은 그룹핑된 정점 중 상이한 3개 이상의 정점을 포함하는 평면을 결정할 수 있다. 평면 연산 모듈(115)은 3차원 전체 영상(33)에 포함된 평면을 영상 정합부(15)로 전달할 수 있다. 또한, 평면 연산 모듈(115)은 3차원 부분 영상(31)에 포함된 평면을 추출부(13)로 전달할 수 있다. 해당 과정에서, 3차원 전체 영상(33)과 3차원 부분 영상(31)을 분리하여 전달함으로써 추출부(13)의 특징자(31a) 추출과정이 3차원 전체 영상(33)과 3차원 부분 영상(31)에 상이하게 적용됨을 확인할 수 있다.

추출부(13)는 연산부(11)가 산출한 벡터를 갖는 정점으로 구성된 평면 중 전체 영상(33)의 평면에 대응시키기 위한 특징자(31a)를 추출할 수 있다.

본 실시예에서, 추출부(13)는 평면 연산 모듈(115)이 산출한 평면 중, 3차원 부분 영상(31)에 포함된 평면으로부터 특징자(31a)를 추출할 수 있다. 추출부(13)가 추출하는 특징자(31a)는 3차원 구조물의 외측에 접촉한 평면의 형태로 구현될 수 있다.

도 4는 본 발명의 실시예에 따른 특징자(31a)에서 제외되는 예시를 나타낸다. 도 4를 참조하면, 추출부(13)는 부분 영상(31)에 포함된 평면이 물체를 투과하거나 평면이 3차원 부분 영상(31) 하단면과 접촉하는 경우 평면을 특징자(31a)에서 제외시킬 수 있다.

본 실시예에서, 추출부(13)는 3차원 부분 영상(31)의 모든 접평면을 우선 특징자의 후보군으로 판단할 수 있다. 이후, 추출부(13)는 추출된 특징자 후보군 중 일부를 선택하여 특징자(31a)로 추출하여 영상 정합부(15)로 전달할 수 있다. 추출부(13)는 특징자 후보군 중 부분 영상의 아랫부분과 접하는 후보군을 제외할 수 있다. 즉, 추출부(13)는 특징자 후보군 중 3차원 부분 영상(31)의 절단면과 나란하게 형성된 접평면을 특징자(31a)에서 제외시킬 수 있다.

또한, 추출부(13)는 특장자 후보군 중 영상에 포함된 구조를 투과 혹은 침투하는 접평면을 제외할 수 있다. 즉, 추출부(13)는 영상의 구조물과 외측에서 접촉하는 평면을 특징자(31a)로 추출할 수 있으며, 특징자 후보군으로 판단된 평면의 일부가 3차원 부분 영상(31)의 구조물을 통과하는 평면을 특징자(31a)에서 제외시킬 수 있다.

이를 통해, 추출부(13)는 부분 영상(31)의 외측에서 접촉하는 형태의 평면을 특징자(31a)로 추출하여 특징자(31a)의 정보를 영상 정합부(15)로 전달할 수 있다.

영상 정합부(15)는 특징자(31a)와 연산부(11)가 산출한 3차원 영상(31, 31) 중 전체 영상(33)에 포함된 평면을 영상 정합 시켜 3차원 모델을 결정할 수 있다.

본 실시예에서, 영상 정합부(15)는 추출부(13)로부터 특징자(31a)를 전달받을 수 있다. 또한, 영상 정합부(15)는 연산부(11)로부터 3차원 전체 영상(33)에 포함된 평면을 전달받을 수 있다. 영상 정합부(15)는 특징자(31a)와 3차원 전체 영상(33)에 포함된 평면을 비교하여 생분자의 3차원 모델을 선택할 수 있다.

영상 정합부(15)는 특징자(31a)를 구성하는 정점과 3차원 전체 영상(33)의 평면을 구성하는 정점을 동일한 위치에 대응시킬 수 있다.

본 실시예에서, 영상 정합부(15)는 특징자(31a)와 3차원 전체 영상(33)의 평면을 비교하기 위해 동일한 좌표계를 갖는 위치로 대응시킬 수 있다. 영상 접합부(115)는 특징자(31a)를 포함하는 3차원 부분 영상(31)과 3차원 전체 영상(33)을 구분하기 위해 각 영상의 표면에 상이한 색상 또는 에칭 등의 효과를 선택적으로 나타낼 수 있다.

영상 정합부(15)는 특징자(31a)를 구성하는 정점들로 이루어진 벡터와 3차원 전체 영상(33)의 접평면의 벡터의 방향과 크기를 비교할 수 있다.

본 실시예에서, 영상 정합부(15)는 3차원 전체 영상(33)과 3차원 부분 영상(31)에서 생성된 각각의 접평면을 비교하기 위해, 각각의 접평면의 법선 벡터의 방향과 접평면을 구성하는 정점을 잇는 벡터를 생성할 수 있다. 또한, 영상 정합부(15)는 3차원 부분 영상(31)과 3차원 전체 영상(33)의 접평면을 구성하는 정점을 잇는 벡터의 방향과 길이를 비교할 수 있다. 영상 정합부(15)는 전술한 과정을 통해 동일한 위치에 만들어진 접평면인지를 확인할 수 있다. 영상 정합부(15)는 방향과 길이가 일치한 정점으로 특징자(31a)를 포함하는 3차원 부분 영상(31)을 이동시킬 수 있다. 영상 정합부(15)는 전술한 과정을 통해 특징자(31a)와 3차원 전체 영상(33)간 유사도가 높은 위치를 찾을 수 있다.

영상 정합부(15)는 ICP(Iterative closest point) 알고리즘을 이용하여 특징자(31a)와 3차원 전체 영상(33)을 영상 정합시킬 수 있다.

본 실시예에서, 영상 정합부(15)는 유사도가 높은 위치를 설정한 뒤 ICP 알고리즘을 적용하여 영상 정합을 시도할 수 있다. 영상 정합부(15)는 수식(2)를 최소화 하도록 3차원 물체의 위치를 변경하는 ICP를 수행할 수 있다.

수식(2)

수식(2)에서

는 영상변환을 수행하는 행렬을 의미하고,

는 부분 영상에 포함된 정점을 의미하며,

는 전체 영상(33)에 포함된 정점을 의미하며,

는 거리를 계산하는 연산자를 의미한다. 특히, 본 실시예에 따른 영상 정합부(15)는 20개의 아미노산에 대해서 모든 영상 정합을 수행할 수 있으며, 가장 작은 오차를 가지는 결과를 보인 물체를 3차원 모델로 선택할 수 있다.

한편, 본 발명은 영상 처리 장치(1)를 통해 생분자의 3차원 부분 영상(31)의 접평면을 바탕으로 3차원 전체 영상(33)을 재구성하는 영상 처리 방법을 제공할 수 있다.

도 5는 본 발명의 실시예에 따른 영상 처리 방법의 단계도이다. 도 5를 참조하면, 영상 처리 방법은 법선 벡터를 산출하는 a)단계(S1), 정점을 그룹핑 하는 b)단계(S3), 평면을 결정하는 c)단계(S5), 특징자를 추출하는 d)단계(S7) 및 3차원 모델을 결정하는 e)단계(S9)를 포함할 수 있다.

a)단계(S1)는 3차원 영상(3)을 구성하는 정점의 법선 벡터가 산출될 수 있다.

b)단계(S3)는 a)단계(S1)에서 산출된 법선 벡터의 방향이 동일한 복수의 정점이 그룹핑 될 수 있다.

c)단계(S5)는 b)단계(S3)에서 그룹핑된 정점 중 상이한 3개 이상의 정점을 포함하는 평면을 결정할 수 있다.

d)단계(S7)는 c)단계(S5)에서 결정된 평면 중 3차원 부분 영상(31)에 포함되어 3차원 전체 영상에 대응시킬 특징자(31a)를 추출할 수 있다.

d)단계(S7)는 부분 영상(31)에 포함된 평면이 물체를 투과하거나 평면이 3차원 부분 영상(31) 하단면과 접촉하는 경우 평면을 특징자(31a)에서 제외시킬 수 있다.

e)단계(S9)는 d)단계(S7)에서 추출된 특징자(31a)를 3차원 전체 영상(33)과 영상 정합시켜 3차원 모델을 결정할 수 있다.

e)단계(S9)는 특징자(31a)를 구성하는 정점과 3차원 전체 영상(33)의 평면을 구성하는 정점을 동일한 위치에 대응시킬 수 있다.

e)단계(S9)는 특징자(31a)를 구성하는 정점들로 이루어진 벡터와 3차원 전체 영상(33)의 접평면의 벡터의 방향과 크기를 비교할 수 있다.

e)단계(S9)는 ICP(Iterative closest point) 알고리즘을 이용하여 특징자(31a)와 3차원 전체 영상(33)을 영상 정합시킬 수 있다.

본 발명의 실시예에 따른 영상 처리 방법은 영상 처리 장치(1)의 기능 및 효과와 동일하게 대응되는 바, 중복되는 설명은 생략한다. 이하, 전술한 조건을 만족하는 영상 처리 장치(1) 및 영상 처리 방법을 활용한 구체적인 실시예를 기재한다.

< 실험예1 > 아미노산 Alanine과 부분 영상의 정합 결과

도 6은 본 발명의 실시예에 따른 알라닌의 영상 정합 결과를 나타낸다. 도 6을 참조하면, 붉은색으로 표시된 표면은 알라닌의 3차원 부분 영상(31)을 나타내고, 푸른색으로 표시된 표면은 알라닌의 3차원 전체 영상(33)을 나타낸다. 알라닌의 3차원 부분 영상(31)을 3차원 전체 영상(33)에 정합하는 시뮬레이션을 통해, 3차원 부분 영상(31)이 3차원 전체 영상(33)에 용이하게 정합되는 것을 확인할 수 있다.

< 실험예2 > 아미노산 Alanine과 부분 영상의 정합 결과2

도 7은 본 발명의 실시예에 따른 알라닌의 다른 영상 정합 결과를 나타낸다. 도 7을 참조하면, 상부에 위치한 밝은 부분은 알라닌의 3차원 부분 영상(31)을 나타내며, 도 7의 상부 및 하부에 위치한 어두운 부분은 알라닌의 3차원 전체 영상(33)을 나타낸다. 특히 도 7의 3차원 부분 영상(31)은 도 6의 3차원 부분 영상(31)과 상이한 방향에서 획득한 알라닌의 3차원 부분 영상(31)을 나타내며, 도 6과 마찬가지로 도 7에서도 3차원 부분 영상(31)과 3차원 전체 영상(33)이 용이하게 정합되는 것을 확인할 수 있다. 이를 통해, 다각도에서 획득한 알라닌의 3차원 부분 영상(31)이 3차원 전체 영상(33)과 정합되어 3차원 모델을 결정되는 것을 확인할 수 있다.

이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.

1: 영상 처리 장치
11: 연산부
111: 벡터 연산 모듈
113: 그룹핑 모듈
115: 평면 연산 모듈
13: 추출부
15: 영상 정합부
3: 3차원 영상
31: 3차원 부분 영상
31a: 특징자
33: 3차원 전체 영상
S1: 법선 벡터 산출 단계
S3: 정점 그룹핑 단계
S5: 평면 결정 단계
S7: 특징자 추출 단계
S9: 3차원 모델 결정 단계

Claims

생분자의 부분이 포함된 3차원 영상 및 상기 생분자의 전체가 포함된 3차원 영상을 구성하는 정점의 벡터를 각각 산출하는 연산부;
상기 연산부가 상기 생분자의 부분이 포함된 3차원 영상에서 산출한 벡터를 갖는 정점으로 구성된 평면 중 상기 생분자의 전체가 포함된 3차원 영상의 평면에 대응시키기 위한 특징자를 추출하는 추출부; 및
상기 특징자와 상기 생분자의 전체가 포함된 3차원 영상에 포함된 평면을 영상 정합시켜 3차원 모델을 결정하는 영상 정합부를 포함하여,
상기 특징자를 상기 생분자의 전체가 포함된 3차원 영상에 포함된 접평면에 대응시켜 유사성을 비교하여 3차원 모델을 재구성 하는 것을 특징으로 하는 영상 처리 장치.
제 1 항에 있어서,
상기 연산부는,
상기 생분자의 부분이 포함된 3차원 영상 및 상기 생분자의 전체가 포함된 3차원 영상을 구성하는 정점의 법선 벡터를 산출하는 벡터 연산 모듈;
상기 법선 벡터의 방향이 동일한 복수의 정점을 그룹화하는 그룹핑 모듈; 및
상기 그룹화된 정점 중 상이한 3개 이상의 상기 정점을 포함하는 평면을 결정하는 평면 연산 모듈을 포함하는 것을 특징으로 하는 영상 처리 장치.
제 1 항에 있어서,
상기 추출부는,
상기 생분자의 부분이 포함된 3차원 영상에 포함된 평면이 물체를 투과하거나 상기 평면이 상기 생분자의 부분이 포함된 3차원 영상 하단면과 접촉하는 경우 상기 평면을 상기 특징자에서 제외시키는 것을 특징으로 하는 영상 처리 장치.
제 1 항에 있어서,
상기 영상 정합부는,
상기 특징자를 구성하는 정점과 상기 생분자의 전체가 포함된 3차원 영상의 평면을 구성하는 정점을 동일한 위치에 대응시키는 것을 특징으로 하는 영상 처리 장치.
제 1 항에 있어서,
상기 영상 정합부는,
상기 특징자를 구성하는 정점들로 이루어진 벡터와 상기 생분자의 전체가 포함된 3차원 영상의 접평면의 벡터의 방향과 크기를 비교하는 것을 특징으로 하는 영상 처리 장치.
제 1 항에 있어서,
상기 영상 정합부는,
ICP(Iterative closest point) 알고리즘을 이용하여 상기 특징자와 상기 생분자의 전체가 포함된 3차원 영상을 영상 정합시키는 것을 특징으로 하는 영상 처리 장치.
a) 3차원 영상을 구성하는 정점의 법선 벡터가 산출되는 단계;
b) 상기 a)단계에서 산출된 법선 벡터의 방향이 동일한 복수의 정점이 그룹핑 되는 단계;
c) 상기 b)단계에서 그룹핑된 정점 중 상이한 3개 이상의 정점을 포함하는 평면을 결정하는 단계;
d) 상기 c)단계에서 결정된 평면 중 3차원 부분 영상에 포함되어 3차원 전체 영상에 대응시킬 특징자를 추출하는 단계; 및
e) 상기 d)단계에서 추출된 특징자를 상기 3차원 전체 영상과 영상 정합시켜 3차원 모델을 결정하는 단계를 포함하여,
상기 특징자를 상기 3차원 전체 영상에 포함된 접평면에 대응시켜 유사성을 비교하여 3차원 모델을 재구성 하는 것을 특징으로 하는 영상 처리 방법.
제 7 항에 있어서,
상기 d)단계는,
상기 부분 영상에 포함된 평면이 물체를 투과하거나 상기 평면이 상기 3차원 부분 영상 하단면과 접촉하는 경우 상기 평면을 상기 특징자에서 제외시키는 것을 특징으로 하는 영상 처리 방법.
제 7 항에 있어서,
상기 e)단계는,
상기 특징자를 구성하는 정점과 상기 3차원 전체 영상의 평면을 구성하는 정점을 동일한 위치에 대응시키는 것을 특징으로 하는 영상 처리 방법.
제 7 항에 있어서,
상기 e)단계는,
상기 특징자를 구성하는 정점들로 이루어진 벡터와 상기 3차원 전체 영상의 접평면의 벡터의 방향과 크기를 비교하는 것을 특징으로 하는 영상 처리 방법.
제 7 항에 있어서,
상기 e)단계는,
ICP(Iterative closest point) 알고리즘을 이용하여 상기 특징자와 상기 3차원 전체 영상을 영상 정합시키는 것을 특징으로 하는 영상 처리 방법.