KR20170114700A - 영상 처리 방법 및 이를 이용한 영상 처리 장치 - Google Patents

Abstract

본 발명은 영상 처리 방법 및 이를 이용항 영상 처리 장치에 관한 것으로서, 본 발명의 일 실시예에 따른 영상 처리 방법은, 전자 현미경으로 영상을 촬영하는 영상 촬영 단계, 전자 현미경의 측정 스테이지를 이동 스캔하면서 대상체의 타깃 부분을 추적하는 영상 추적 모드 또는 타깃 부분에 초점이 맞춰진 상태에서 촬영되는 정지 영상들의 노이즈를 제거하고 영상을 정밀화 하는 영상 정밀화 모드 중 하나의 모드에서 영상을 처리하는 단계 및 처리된 영상을 디스플레이 하는 영상 출력 단계를 포함한다.

Description

영상 처리 방법 및 이를 이용한 영상 처리 장치 {Image processing System and Image processing Method}

본 발명은 영상 처리 방법 및 이를 이용한 영상 처리 장치에 관한 것으로서, 보다 구체적으로 나노 입자의 영상에서 발생하는 각종 노이즈를 개선할 수 있는 영상 처리 방법 및 이를 이용한 영상 처리 장치에 관한 것이다.

최근 나노기술의 발전으로 광학 현미경의 해상도의 한계를 뛰어넘는 10만 내지 100만배 이상의 고배율 시료표면을 촬영할 수 있는 전자 현미경의 수요가 크게 증가하였다.

특허문헌 1은 동화상을 처리하는 방법 및 시스템에 대한 내용으로, 특허문헌 1의 경우 블러링, 첨예화 처리, 콘트라스트 강조 처리 및 윤곽 강조 처리 등의 영상 기반의 알고리즘을 이용하여 동화상을 처리하는 것에 대하여 개시하고 있다. 특허문헌 2는 패턴 화상 처리 장치에 관한 것으로서, 디지탈 변환 수단, 공간 필터링 처리 수단, 히스토그램 처리 수단, 임계값 설정 수단, 영상분할 및 노이즈 제거, 패턴 비교 및 검출 처리 수단을 통하여 화상을 처리하는 것에 대하여 개시하고 있다.

그러나, 특허문헌 1 및 2의 경우 적용 대상이 홀(hole) 패턴에 한정되어 있어 다양한 대상 또는 시료에 적용하기 어려운 문제점이 있었다.

따라서, 다양한 대상 또는 시료에 적용할 수 있으면서도, 고해상도의 영상을 제공할 수 있는 영상 처리 방법 및 이를 이용한 영상 처리 장치에 대한 필요성이 증가하고 있다.

KR10-1552475 B1 KR10-0264338 B1

본 발명의 목적은 전자 현미경을 이용하여 획득한 나노입자 영상에서 발생하는 노이즈를 개선하여 실시간으로 디스플레이할 수 있는 영상 처리 방법 및 이를 이용한 영상 처리 장치를 제공하는 것이다.

본 발명의 다른 목적은 전자 현미경에서 측정하고자 하는 대상이 배치된 스테이지를 고속 스캔하여, 타깃 부분을 찾는 영상 추적 모드와 상기 타깃 부분을 정밀하게 촬영하는 영상 정밀화 모드를 포함하여 보다 선명하고 깨끗한 화질의 영상을 제공할 수 있는 영상 처리 방법 및 이를 이용한 영상 처리 장치를 제공하는 것이다.

본 발명의 또 다른 목적은 정지 상태의 나노 영상을 실시간 영상 처리 기술을 통하여 노이즈가 개선되면서도 고해상도를 갖는 실시간 나노 영상을 제공할 수 있는 영상 처리 방법 및 이를 이용한 영상 처리 장치를 제공하는 것이다.

본 발명의 다른 목적은 고속 스캔으로 발생할 수 있는 노이즈 영상에 영상 처리 기반의 필터를 적용하여 보다 선명하고 깨끗한 실시간 영상을 제공할 수 있는 영상 처리 방법 및 이를 이용한 영상 처리 장치를 제공하는 것이다.

본 발명의 일 실시예에 따른 영상 처리 방법은, 전자 현미경으로 영상을 촬영하는 영상 촬영 단계, 전자 현미경의 측정 스테이지를 이동 스캔하면서 대상체의 타깃 부분을 추적하는 영상 추적 모드 또는 타깃 부분에 초점이 맞춰진 상태에서 촬영되는 정지 영상들의 노이즈를 제거하고 영상을 정밀화 하는 영상 정밀화 모드 중 하나의 모드에서 영상을 처리하는 단계 및 처리된 영상을 디스플레이 하는 영상 출력 단계를 포함한다.

상기 영상 추적 모드에서 영상을 처리하는 단계는, 촬영된 영상 데이터를 기 설정된 색상 공간의 영상 데이터로 변환하는 단계, 변환된 영상 데이터에 가우시안 필터를 적용하는 단계, 상기 필터가 적용된 영상 데이터에서 경계 부분을 추출하는 단계, 및 상기 필터가 적용된 영상 데이터와 상기 경계 부분이 추출된 영상 데이터를 블렌딩하는 단계를 포함할 수 있다.

상기 경계 부분을 추출하는 단계는, 소벨 필터를 적용하여 수행되며, 상기 블렌딩하는 단계에서, 상기 소벨 필터가 적용된 영상 데이터에 대해 상기 측정 스테이지에 대한 이동방향에 따라 가중치를 적용하여 상기 가우시안 필터가 적용된 영상과 블렌딩할 수 있다.

상기 영상 정밀화 모드에서 영상을 처리하는 단계는, 촬영된 영상 데이터를 기 설정된 색상 공간의 영상 데이터로 변환하는 단계, 변환된 영상 데이터들 사이에서 오차값이 기 설정된 한계값보다 큰 영상 데이터를 제거하는 단계, 오차가 제거된 영상 데이터에서, 최대값 또는 최소값을 취하도록 필터링하는 단계, 상기 최대값 또는 최소값으로 필터링된 영상 데이터의 축소 및 확대를 통하여 영상의 스케일을 조정하는 단계, 및 상기 최대값 또는 최소값으로 필터링된 영상과 상기 스케일이 조정된 영상 사이의 차이 값을 구하여 비교하여, 상기 차이 값에 따라 출력 영상을 산출하는 단계를 포함할 수 있다.

상기 출력 영상을 산출하는 단계는, 상기 필터링된 영상과 상기 스케일이 조정된 영상 사이에서, 기 설정된 크기의 픽셀 영역 내의 차이 값을 구하여 비교하고, 기 설정된 한계값보다 상기 차이 값이 큰 경우, 상기 필터링된 영상과 상기 스케일이 조정된 영상의 평균 값을 적용하여 출력 영상을 산출하고, 상기 차이 값이 상기 기 설정된 한계값보다 작은 경우, 상기 필터링된 영상을 출력 영상으로 산출할 수 있다.

상기 영상을 처리하는 단계는, 시작점 보정 모드로 영상을 처리하는 것을 더 포함하고, 상기 시작점 보정 모드는, 촬영된 영상 데이터를 기 설정된 색상 공간의 영상 데이터로 변환하는 단계, 변환된 영상 데이터에 가우시안 필터를 적용하는 단계, 상기 가우시안 필터가 적용된 영상 데이터를 이진화하는 단계, 이진화된 영상 데이터에서 경계를 추출하는 단계, 및 상기 경계가 추출된 영상 데이터에서 특징부를 추출하여, 영상 왜곡이 없는 영역의 시작점을 표시하는 단계를 포함할 수 있다.

상기 기 설정된 색상 공간으로 영상 데이터로 변환하는 단계는, 상기 촬영된 영상 데이터를 그레이 스케일의 영상 데이터로 변환할 수 있다.

본 발명의 다른 실시예에 따른 영상 처리 장치는, 영상 촬영 유닛, 상기 영상 촬영 유닛에서 촬영된 영상 데이터를 기 설정된 색상 공간으로 변환하는 영상 변환 유닛, 변환된 영상 데이터에 기초하여, 전자 현미경의 측정 스테이지를 이동 스캔하면서 대상체의 타깃 부분을 추적하는 영상 추적 유닛, 상기 변환된 영상 데이터에 기초하여, 타깃 부분에 초점이 맞춰진 상태에서 촬영되는 정지 영상들의 노이즈를 제거하고 영상을 정밀화 하는 영상 정밀화 유닛, 및 상기 영상 추적 유닛 또는 상기 영상 정밀화 유닛에서 처리된 영상을 디스플레이 하는 영상 출력 유닛을 포함한다.

상기 영상 추적 유닛은, 상기 변환된 영상 데이터에 가우시안 필터를 적용하는 제2 영상 필터부, 상기 제2 영상 필터부에서 출력된 영상 데이터의 경계 부분을 추출하는 에지 추출부, 및 상기 제2 영상 필터부와 상기 에지 추출부에서 출력되는 영상 데이터들을 블렌딩하는 영상 블렌딩부를 포함할 수 있다.

상기 영상 정밀화 유닛은, 상기 변환된 영상 데이터들 사이에서 오차값이 기 설정된 한계값보다 큰 영상 데이터를 제거하는 오차 산출부, 상기 오차 산출부에서 출력된 영상 데이터에서, 최대값 또는 최소값을 취하도록 필터링하는 제1 영상 필터부, 상기 제1 영상 필터부에서 출력된 영상 데이터를 축소 및 확대하는 영상 스케일 조정부, 및 상기 스케일 조정부와 상기 제1 영상 필터부에서 출력되는 영상 데이터들을 차이 값에 기초하여, 상기 스케일 조정부와 상기 제1 영상 필터부에서 출력되는 영상 데이터들의 평균 값 또는 상기 제1 영상 필터부에서 출력되는 영상 데이터를 출력 영상으로 선택하는 영상 비교 및 선택부를 포함할 수 있다.

상기 시작점 보정 모드로 영상을 처리하는 시작점 보정 유닛을 더 포함하고, 상기 시작점 보정 유닛은, 변환된 영상 데이터에 가우시안 필터를 적용하는 제3 영상 필터부, 상기 제3 영상 필터부에서 출력된 영상 데이터를 이진화하는 영상 이진화부, 상기 영상 이진화부에서 출력된 영상 데이터에서 경계를 추출하는 에지 추출부, 및 상기 에지 추출부에서 출력된 영상 데이터에서 특징부를 추출하여, 영상 왜곡이 없는 영역의 시작점을 표시하는 특징 추출부를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 전자 현미경을 이용하여 획득한 나노입자 영상에서 발생하는 노이즈를 개선하여 실시간으로 디스플레이할 수 있는 영상 처리 방법 및 이를 이용한 영상 처리 장치를 제공할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 전자 현미경에서 측정하고자 하는 대상이 배치된 스테이지를 고속 스캔하여, 타깃 부분을 찾는 영상 추적 모드와 상기 타깃 부분을 정밀하게 촬영하는 영상 정밀화 모드를 포함하여 보다 선명하고 깨끗한 화질의 영상을 제공할 수 있는 영상 처리 방법 및 이를 이용한 영상 처리 장치를 제공할 수 있다.

그리고, 본 발명의 일 실시예에 따르면, 정지 상태의 나노 영상을 실시간 영상 처리 기술을 통하여 노이즈가 개선되면서도 고해상도를 갖는 실시간 나노 영상을 제공할 수 있는 영상 처리 방법 및 이를 이용한 영상 처리 장치를 제공할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 고속 스캔으로 발생할 수 있는 노이즈 영상에 영상 처리 기반의 필터를 적용하여 보다 선명하고 깨끗한 실시간 영상을 제공할 수 있는 영상 처리 방법 및 이를 이용한 영상 처리 장치를 제공할 수 있다.

그리고, 본 발명의 일 실시예에 따르면, 영상 기반 알고리즘을 이용하여 전자 현미경을 통해 획득한 흔들린 영상, 스펙클(speckle) 노이즈 등을 포함한 각동 노이즈가 포함된 영상의 노이즈를 개선하여 사용자에게 보다 선명하고 깨끗한 영상을 제공할 수 있는 영상 처리 방법 및 이를 이용한 영상 처리 장치를 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 방법을 개략적으로 나타내는 순서도이다.
도 2는 본 발명의 다른 실시예에 따른 영상 처리 방법을 개략적으로 나타내는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치를 개략적으로 나타내는 블록도이다.
도 4는 본 발명의 다른 실시예에 따른 영상 처리 장치를 개략적으로 나타내는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 영상 처리 방법에서 가우시안 필터링 단계의 처리 과정을 나타내는 사진들이다.
도 6은 본 발명의 일 실시예에 따른 영상 처리 방법에서 에지 추출 단계의 처리 과정을 나타내는 사진들이다.
도 7은 본 발명의 일 실시예에 따른 영상 처리 방법에서 영상 블렌딩 단계의 처리 과정을 나타내는 사진들이다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 방법에서 오차 산출 단계의 처리 과정을 나타내는 사진들이다.
도 9는 본 발명의 일 실시예에 따른 영상 처리 방법에서 영상 비교 및 선택 단계의 처리 과정을 나타내는 사진들이다.

본 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하여 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

실시예에 있어서 '유닛' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '유닛' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '유닛' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

이하, 실시예를 첨부된 도면들을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 방법을 개략적으로 나타내는 순서도이다.

도 1을 참조하면, 일 실시예에 따른 영상 처리 방법은 영상 촬영 단계(S1), 영상 추적 모드 또는 영상 정밀화 모드 중 하나의 영상 처리 모드를 선택하는 단계(S2), 선택된 영상 처리 모드에 따라 영상 추적 단계(S3) 또는 영상 정밀화 단계(S4)를 처리하고, 처리된 영상을 출력하는 영상 출력 단계(S5)를 포함한다.

상기 영상 촬영 단계(S1)에서는 전자현미경(Electron Microscope)을 이용하여 수행될 수 있다. 전자현미경의 촬영하고자 하는 대상체를 측정 스테이지 상에 배치하고 영상을 촬영함으로써 수행될 수 있다.

구체적으로, 상기 영상 촬영 단계(S1)에서는 대상체를 전자현미경의 측정 스테이지에 올려놓고 스테이지를 이동하면서, 원하는 타깃 부분을 저배율 영상으로 스캔하여 확인하고 나서, 측정하고자 하는 타깃 부분을 고배율로 확대하여 영상을 획득할 수 있다.

본 발명의 일 실시예에 따르면 영상을 촬영하면서, 영상 처리를 수행함으로써 실시간 나노 영상을 제공할 수 있으나, 반드시 이에 제한되는 것은 아니며 미리 측정된 영상을 처리하는 데에 사용될 수도 있다.

상기 모드 선택 단계(S2)의 경우, 영상 추적 모드 또는 영상 정밀화 모드 중 하나의 모드를 선택할 수 있다. 영상 추적 모드의 측정 스테이지의 고속 스캔으로 영상을 획득하는 것으로, 획득한 영상에서 타깃 부분을 추적할 수 있다. 영상 추적 모드의 경우 영상의 모션 블러(motion blur) 현상을 완화하기 위하여, 일련의 경계 부분을 강조하고 영상 블러링(blurring) 과정을 통해 노이즈를 제거하면서, 동시에 경계 부분이 선명한 영상을 제공할 수 있다.

한편, 영상 정밀화 모드의 경우, 타깃 부분에 초점이 맞춰진 상태에서 정지 상태의 영상을 제공할 수 있으며, 스펙클 노이즈를 중점적으로 제거하여 영상 화질을 개선한 정밀화된 영상을 제공할 수 있다.

상기 모드 선택 단계(S2)는 사용자의 선택 또는 기설정된 순서와 시간에 따라 수행될 수 있다. 일 실시예에 따르면, 사용자가 전자현미경에서 측정 스테이지를 이동해 가면서 원하는 타깃 부분을 찾는 동안에는 영상 추적 모드를 사용하고, 타깃 부분이 정해지면 타깃 부분의 정밀화 영상을 확인하기 위해 영상 정밀화 모드를 입력하면, 제어부(미도시)는 사용자 입력에 따라 영상 추적 모드 또는 영상 정밀화 모드를 선택하여 영상 처리를 수행할 수 있다.

영상 추적 모드를 선택한 경우 영상 추적 단계(S3)가 진행될 수 있다. 전자 현미경은 전자총으로 인해 발생된 전자가 대상체에 반사되어 되돌아오는 전자 에너지를 검출함으로써 영상을 획득한다. 이 때, 반사되어 돌아오는 전자의 에너지는 항상 일정하지는 않기 때문에 스펙클 노이즈가 발생하게 된다. 또한, 영상 추적 모드에서 영상을 측정하는 경우 측정 스테이지 내에서 이동하는 중에 영상을 촬영하므로 실제 대상체의 구조와의 다른 왜곡 현상(모션 블러 현상)이 발생할 수 있다.

본 발명의 일 실시예에 따르면, 영상 추적 단계(S3)는 영상 변환 단계(S31), 가우시안 필터링 단계(S33) 및 영상 블러링 단계(S37)를 포함할 수 있다.

또한, 본 발명의 일 실시예에 따르면 가우시안 필터링 단계(S33)와 영상 블러링 단계(S37) 사이에 에지 추출 단계(S35)를 더 포함할 수 있다. 에지 추출 단계(S35)의 경우 영상을 보다 선명하게 하기 위한 과정으로, 이후에 영상 정밀화 단계에서 보다 정말화된 영상을 확인할 수 있으므로, 영상 처리 시간 등을 고려하여 선택적으로 수행될 수도 있다.

이러한 노이즈를 제거하기 위해, 영상 변환 단계(S31)에서 입력된 측정된 영상 데이터의 기 설정된 색상 공간으로 변환한다. 일 실시예에 따르면, 측정된 영상의 RGB 데이터를 그레이 스케일의 영상 데이터로 변환할 수 있다.

그리고 나서, 가우시안 필터링 단계(S33)에서 변환된 그레이 스케일의 영상 데이터에 가우시안 필터를 적용하여 처리하여, 스펙클 노이즈를 제거할 수 있다.

도 5는 본 발명의 일 실시예에 따른 영상 처리 방법에서 가우시안 필터링 단계의 처리 과정을 나타내는 사진들이다. 도 5는 그레이 스케일 영상에 대한 가우시안 필터의 적용 전(도 5의 (a)) 및 후(도 5의 (b))의 영상을 나타낸다. 영상의 고주파 성분을 제거하기 위한 저주파 통과 필터인, 가우시안 필터의 적용으로 영상의 블러링 처리를 할 수 있다. 도 5를 참조하면, 가우시안 필터의 적용 전(도 5의 (a))의 경우 영상에서 밝거나 어두운 점들이 산재되어 나타나지만, 적용 후(도 5의 (b))의 경우 이러한 점들이 제거되어 스펙클 노이즈가 대부분 제거된 것을 확인할 수 있다.

그리고 나서, 에지 추출 단계(S35)에서 영상에서 에지를 추출하여 모션 블러 현상으로 인해 불분명한 경계 부분을 추출 및 강조할 수 있다. 스테이지 이동으로 인한 모션 블러 현상 등의 왜곡 현상을 개선하기 위해서, 첨예화 처리(Image Sharpening), 언샤프 마스킹 처리(Unsharp Masking Processing), 경계부분 강조 처리(Edge Enhancement) 등을 수행할 수 있으며, 이러한 영상 처리 과정을 통하여 물체의 윤곽선이나 경계부분을 강조할 수 있다.

본 발명의 일 실시예에 따르면 상기 에지 추출 단계(S35)에서 소벨 필터(Sobel Filter)를 적용할 수 있다. 소벨 필터의 적용으로 모션 블러 현상으로 인한 불분명한 경계 부분을 추출 및 강조할 수 있고, 가우시안 필터로 인한 경계 부분의 블러링 현상을 방지하기 위해 경계 부분을 강조할 수 있다. 보다 구체적으로 x축에 대하여 소벨 필터를 적용하고, y축에 대하여 소벨 필터를 적용하고, 각각 x축 및 y의 결과를 사용하여 이 후의 영상 블렌딩 단계(S37)에서의 가중치를 적용할 수 있다.

도 6은 본 발명의 일 실시예에 따른 영상 처리 방법에서 에지 추출 단계(S35)에서 x축에 대하여 소벨 필터를 적용한 결과(도 6의 (a))와 y축에 대하여 소벨 필터를 적용한 결과(도 6의 (b))를 나타내는 사진들이다. x축에 대한 소벨 필터를 적용한 결과, 즉 x축에 대한 에지 추출에 의해 보다 선명한 영상이 제공되는 것을 확인할 수 있으며, 이 결과는 이후 영상 블렌딩 단계(S37)에 사용될 수 있다.

상기 영상 블렌딩 단계(S37)에서는 영상의 가우시안 필터가 적용된 영상 데이터와 에지 추출이 적용된 영상 데이터를 블렌딩(blending) 함으로써 수행된다. 일 실시예에 따르면, 가우시안 필터가 적용된 영상 데이터와 소벨 필터가 적용된 영상 데이터를 블렌딩할 수 있으며, 스테이지의 이동 방향에 따라 가중치를 다르게 적용하도록 설정될 수 있다.

도 7은 본 발명의 일 실시예에 따른 영상 처리 방법에서 영상 블렌딩 단계(S37)의 처리 과정을 나타내는 사진들이다. 도 7의 (a)는 원본 영상을 나타내며, 도 7의 (b)는 가우시안 필터가 적용된 영상 데이터와, 소벨 필터가 적용된 영상 데이터에서 x축 블렌딩 가중치를 1로, y축 블렌딩 가중치를 0으로 처리하여 블렌딩한 영상을 나타낸다. 도 7의 (c)는 가우시안 필터가 적용된 영상 데이터와, 소벨 필터가 적용된 영상 데이터에서 x축 블렌딩 가중치를 0.5로, y축 블렌딩 가중치를 0.5으로 처리하여 블렌딩한 영상을 나타낸다. 도 7의 (d)는 가우시안 필터가 적용된 영상 데이터와, 소벨 필터가 적용된 영상 데이터에서 x축 블렌딩 가중치를 0으로, y축 블렌딩 가중치를 1으로 처리하여 블렌딩한 영상을 나타낸다.

도 7의 (b) 내지 (d)를 참조하면, x축 블렌딩에 가중치를 크게 설정할수록 보다 선명하고 깨끗한 영상이 획득되는 것을 알 수 있다. 즉, 도 6에서 에지 추출 단계(S35)에서 x축에 대한 소벨 필터의 적용 결과 보다 선명한 영상을 획득할 수 있었으므로, x축 블렌딩에 보다 큰 가중치를 둔 경우 더 선명한 영상을 획득할 수 있다는 것을 알 수 있다.

영상 블렌딩 결과는 영상 출력 단계(S5)를 통하여 사용자가 확인하게 할 수 있다. 사용자는 스테이지를 이동시키면서 영상 추적 모드로 영상을 처리하여 실시간으로 영상을 확인할 수 있다. 영상 추적 모드는 기 설정된 시간 동안 지속되게 할 수 있으며, 사용자의 입력에 따라 제어부에서 시작 시점과 종료 시점을 제어하여 영상 추적 모드의 지속 시간을 제어하게 할 수 있다.

기 설정된 시간 후에 또는 사용자의 입력에 따라 타깃 부분이 확정되면, 영상 정밀화 모드에서 영상 처리를 수행할 수 있다.

영상 정밀화 모드에서는 타깃 부분의 정밀화된 영상을 얻을 수 있다. 타깃 부분이 확정된 후에 정지 상태로 영상을 촬영할 수 있다. 이러한 방식으로 획득된 영상은 측정 스테이지의 이동으로 인한 왜곡 현상(모션 블러 현상)이 많이 발생하지 않으나, 전자 현미경의 특성상 흑색 또는 백색 반점과 같은 스펙클 잡음이 주로 나타난다.

영상 정밀화 모드에서는 획득한 영상에서의 스펙클 잡음을 개선하기 위하여, 같은 위치에서 획득한 여러 장의 영상에 대하여 먼저 같은 위치의 영상인지를 확인하여 영상 선별 과정을 거친 후, 블러링 처리 및 각 픽셀의 최대값 또는 최소값을 취하여 처리하고, 스케일 조정 과정을 통하여 블러링 된 영상과의 비교를 통해 최적값을 도출하는 일련의 처리로 잡음을 효과적으로 개선할 수 있다.

상기 영상 정밀화 단계(S4)의 경우, 영상 변환 단계(S40), 오차 산출 단계(S41), 최대값 또는 최소값 필터링 단계(S45), 영상 스케일 조정 단계(S45) 및 영상 비교 및 선택 단계(S47)를 포함할 수 있다.

상기 영상 변환 단계(S40)에서는 영상 추적 단계(S3)의 영상 변환 단계(S31)에서와 마찬가지로, 영상의 색상 정보를 영상 처리를 위한 색상 공간의 데이터로 변환할 수 있다. 일 실시예에 따르면, RGB 색상 공간의 데이터를 그레이 스케일의 데이터로 변환할 수 있다.

그리고 나서, 오차 산출 단계(S41)에서 이전 영상과의 오차를 비교하여 오차가 심한 영상은 처리 대상에서 제외할 수 있다. 오차 산출 단계(S41)에서는 영상 촬영 단계에서 측정되는 영상들이 같은 위치의 영상인지를 확인하여 선별하는 과정을 거칠 수 있다.

일 실시예에 따르면, 획득된 영상들 사이의 차영상을 구하고, 차영상에서 같은 부분이 어두운 영상이고, 서로 다른 부분이 흰색 영상으로 표시된다면, 차영상에서 전체의 밝기 값을 모두 더하여 그 값이 기 설정된 한계값(Threshold) 이상인 경우 해당 영상을 제외하는 방식으로 진행될 수 있다.

도 8은 본 발명의 일 실시예에 따른 영상 처리 방법에서 오차 산출 단계(S41)의 처리 과정을 나타내는 사진들이다.

도 8의 (a), (b) 및 (c)의 경우 서로 다른 시점의 영상들이다. 도 8의 (d)는 도 8의 (a)의 영상과 (c)의 영상의 차영상이고, 도 8의 (e)는 도 8의 (b)와 (d)의 차영상이다. 여기서 같은 부분은 검은색으로 표시되고, 다른 부분은 흰색으로 표시된다. 이 경우, 대부분이 검은색으로 표시된 도 8의 (d)의 차영상의 경우 밝기 값의 합이 기 설정된 한계값을 초과하지 않지만, 흰색 부분이 많이 보이는 도 8의 (e)의 영상의 경우 밝기의 합이 기 설정된 한계값을 초과하고 있다. 그에 다라, 도 8의 (a) 및 (c) 영상은 오차가 적지만, 도 8의 (b) 영상은 오차가 크므로, 이후 처리 과정에서 제외된다.

오차가 큰 영상을 제거한 뒤에, 상기 최대값 또는 최소값 필터링 단계(S43)를 통해 영상의 픽셀들 중에서 최대값 또는 최소값을 취하도록 필터링 단계를 거칠 수 있다. 사용자의 입력에 의해 제어부에서 최대값 필터링을 수행할지 또는 최소값 필터링을 수행할 지를 선택할 수 있으나, 반드시 이에 제한되는 것은 아니나 미리 설정된 조건에 따라 최대값 또는 최소값 필터링을 수행할 수 있다.

최대값 또는 최소값 필터링 단계(S43)의 적용 후에, 상기 영상 스케일 조정 단계(S45)를 통하여 영상의 스케일 조정을 통하여 노이즈를 최소화할 수 있다. 구체적으로 최대/최소 필터가 적용된 영상을 피라미드 알고리즘을 이용하여 영상 축소(scale down)와 영상 확대(scale up) 조정을 수행할 수 있다. 일 실시예에 따르면, 이전 프로세스의 영상을 1/256 배율로 줄였다가 다시 원래의 크기로 변환하는 과정을 거쳐 수행될 수 있다. 원래의 크기로 변환된 복구된 영상은 블러 효과를 가지게 되나, 영상에서 스펙클 노이즈와 같은 부분을 제거할 수 있다.

상기 단계(S45)에서 영상의 스케일의 축소 및 확대 과정을 통해 생성된 영상과 상기 단계(S43)에서 최대/최소 필터가 적용된 영상은, 영상 비교 및 선택 단계(S47)에서 각 픽셀 값을 비교하여, 2개의 영상 중 하나의 영상을 선택하여 3처리할 수 있다.

구체적으로, 2개의 영상의 픽셀 값을 비교하여 차이 값이 기 설정된 값보다 큰 경우 인접 픽셀의 평균 값을 사용하고, 차이 값이 상기 기 설정된 값보다 작은 경우 상기 단계(S43)의 최대/최소 필터가 적용된 영상 데이터를 그대로 사용할 수 있다.

이는, 차이 값이 큰 경우, 스펙클 노이즈일 가능성이 높으므로 이를 개선하기 위하여 인접 픽셀의 평균 값을 적용한 것이다.

본 발명의 일 실시예에 따르면 인접 픽셀의 평균 값을 구할 때, 인접 픽셀 영역의 크기는 사용자의 입력에 따라 미리 설정될 수 있으며, 일 예로 3×3, 5×5, 7×7 또는 9×9일 수 있다. 영상 처리 조건 및 영상 처리 장치의 환경에 따라 다양하게 설정될 수 있음은 물론이다.

도 9는 본 발명의 일 실시예에 따른 영상 처리 방법에서 영상 비교 및 선택 단계(S47)의 처리 과정을 나타내는 사진들이다.

상기 도 9의 (a)의 경우 상기 단계(S43) 후의 최대값 필터가 적용된 영상이고, (b)는 상기 단계(S45) 후의 피라미드 알고리즘의 적용 후의 영상이다. 도 9의 (a) 및 (b)의 영상에서의 픽셀 값을 비교하였을 때 기 설정된 값보다 크므로, 평균 값을 적용하여 도 9의 (c)와 같은 영상을 얻었다. 도 9의 (c)에서 볼 수 있듯이 최대값 필터 영상(도 9의 (a))과 비교하였을 때 검은색 및 흰색 반점들이 제거된 것을 확인할 수 있다.

그리고 나서, 영상 정밀화 단계(S4)를 거쳐 처리된 영상 데이터는 영상 출력 단계(S5)로 제공될 수 있다.

도 2는 본 발명의 다른 실시예에 따른 영상 처리 방법을 개략적으로 나타내는 순서도이다.

도 2를 참조하면, 영상 촬영 단계(S1)에서 촬영된 영상의 처리에 있어서 시작점 보정 모드를 더 포함할 수 있다. 영상 추적 단계(S3)와 영상 정밀화 단계(S4)d의 경우 도 1의 실시예와 같이 진행될 수 있다.

시작점 보정 모드에서는 경우 스테이지의 이동으로 인해 발생하는 영상 왜곡에 대해 왜곡된 영상의 위치를 알려주는 선을 사용자에게 표시할 수 있다.

시작점 보정 모드를 수행하기 위한 시작점 보정 단계의 경우, 영상 변환 단계(S61), 가우시안 필터링 단계(S63), 영상 이진화 단계(S65), 에지 추출 단계(S67) 및 특징 추출 단계(S69)를 포함할 수 있다.

구체적으로, 영상 변환 단계(S61)에서는 측정된 영상의 RGB 색상 데이터를 그레이 스케일 데이터로 변환한다. 그리고 나서 가우시안 필터를 적용한 뒤에, 오추 경계화(Otsu thresholding) 방법을 적용하여 영상 이진화 단계(S65)가 수행될 수 있다. 그리고, 캐니 에지 추적기(Canny edge detector)를 적용하여 에지 추출 단계(S67)를 수행하고, 허프 변환(hough transform)을 이용하여 특징을 추출하여 선을 그어줌으로써 영상 왜곡이 없는 영역의 시작점을 표시할 수 있다. 이러한 정보 제공을 통하여 사용자는 빠른 스캐닝으로 인한 영상 왜곡 위치를 보다 쉽게 탐지할 수 있다.

도 3은 본 발명의 일 실시예에 따른 영상 처리 장치를 개략적으로 나타내는 블록도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 처리 장치는 영상 촬영 유닛(10), 이에 연결된 영상 변환 유닛(20), 상기 영상 변환 유닛(20)에 연결된 정밀화 유닛(30)과 영상 추적 유닛(40) 및 상기 영상 정밀화 유닛(30) 및 영상 추적 유닛(40)에 연결된 영상 출력 유닛(40)을 포함할 수 있다. 본 발명의 영상 처리 장치의 경우 영상 처리 방법에서 사용된 방식들이 적용될 수 있다.

구체적으로, 영상 촬영 유닛(10)에서는 대상체의 영상을 전자 현미경에 의하는 방식으로 촬영할 수 있다.

영상 촬영 유닛(10)에 의해 촬영된 영상은 영상 변환 유닛(20)을 통해 그레이 스케일로 변환된 뒤, 영상 정밀화 유닛(30) 또는 영상 추적 유닛(40)에 입력될 수 있다. 그리고, 영상 정밀화 유닛(30) 또는 영상 추적 유닛(40)에 의해 처리된 영상 데이터는 영상 출력 유닛(50)을 통하여 실시간으로 나노 영상을 제공할 수 있다. 일 실시예에 따르면 상기 영상 출력 유닛(50)으로 본 기술분야에서 사용될 수 있는 다양한 디스플레이 장치가 이에 적용될 수 있다.

상기 영상 추적 유닛(40)의 경우 변환된 영상 데이터에 블러링을 적용하기 위해 가우시안 필터를 적용하는 제2 영상 필터부(41), 가우시안 필터가 적용된 영상에서 소벨 필터를 이용하여 경계부분을 추출하는 에지 추출부(43), 및 에지 추출부(43)에서 출력되는 영상 데이터와 제2 영상 필터부(41)에서 출력되는 영상 데이터를 블렌딩하는 영상 블렌딩부(45)를 포함할 수 있다.

상기 에지 추출부(43)는 영상을 선명하게 하기 위한 것으로, 영상 처리 시간을 줄이고 고속의 실시간 스캔을 제공하기 위해 선택적으로 제공될 수 있다.

한편 정밀화 유닛(30)은 획득하고자 하는 타깃 부분의 영상을 정밀화 하기 위한 것으로, 영상 추적 유닛(40)을 통하여 타깃 부분을 추적한 뒤에 수행될 수도 있고, 또는 타깃 부분이 미리 정해진 경우 바로 정밀화 유닛(30)을 통하여 영상을 분석할 수도 있다.

한편, 정밀화 유닛(30)은 영상 변환 유닛(20)을 통해 그레이 스케일로 변환된 데이터에서 오차가 심한 영상을 제외하는 오차 산출부(31), 각 픽셀 들 중에서 최대값 또는 최소값을 취하도록 필터링 하는 제1 영상 필터부(33), 최대값 또는 최소값이 필터링 된 영상을 피라미드 알고리즘을 이용하여 영상 축소 후 영상 확대를 통하여 영상 스케일을 조정하는 영상 스케일 조정부(35) 및 제1 영상 필터부(33)의 영상 데이터와 영상 스케일 조정부(35)에 의한 영상 데이터를 비교하여 비교 값이 기 설정된 값보다 큰 경우 인접 픽셀들의 평균 값을 적용하고, 비교 값이 기 설정된 값보다 작은 경우 제1 영상 필터부(33)의 값을 사용하는 영상 비교 및 선택부를 포함한다.

도 4는 본 발명의 다른 실시예에 따른 영상 처리 장치를 개략적으로 나타내는 블록도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 영상 처리 장치는 시작점 보정 유닛(60)을 더 포함한다. 상기 시작점 보정 유닛(60)은 그레이 스케일로 변환된 영상 데이터를 입력 받아, 가우시안 필터를 적용하는 제3 영상 필터부(61), 오추 경계화 방식을 적용하여 영상을 이진화하는 영상 이진화부(63), 캐니 에지 추적기를 적용하여 경계를 추출하는 에지 추출부(65) 및 특징을 추출하여 영상 왜곡이 없는 영역의 시작점을 표시하는 특징 추출부(67)을 포함한다.

그리고, 상기 시작점 보정 유닛(60)에 의해 처리된 영상 데이터는 영상 출력 유닛(50)을 통해 사용자에게 제공될 수 있다.

본 발명의 일 실시예에 따른 영상 처리 방법 및 영상 처리 장치에 따르면, 전자현미경을 통하여 영상 추적 모드(또는 영상 추적 유닛)와 영상 정밀화 모드(또는 영상 정밀화 유닛)로 나노 입자 영상을 획득할 수 있고, 영상에서 노이즈를 개선하여 선명한 영상을 제공할 수 있고, 실시간 영상을 제공할 수 있다.

상기 영상 추적 모드(또는 영상 추적 유닛)에서 획득한 여상은 측정 스테이지에서의 이동 중에 획득한 영상으로 모션 블러와 같은 노이즈가 더해져 왜곡이 많이 발생할 수 있다. 그러나, 영상 데이터에 대하여 색상 정보를 그레이 스케일 데이터로 변환한 뒤, 스펙클 노이즈를 제거하기 위한 공간 영역 필터 처리를 수행하고, 움직임으로 발생할 수 있는 영상 왜곡을 보정하기 위해 경계 부분을 검출 및 추출하여 상기 공간 영역 필터 처리를 한 영상과 함성함으로써 노이즈를 개선할 수 있다.

또한, 영상 정밀화 모드(또는 영상 정밀화 유닛)에서 촬영한 다수의 영상의 경우 색상 정보를 그레이 스케일의 데이터로 변환한 뒤, 다수의 정지 영상에서의 위치 오차가 발생한 영상을 파악 및 선별하여 일련의 과정을 통하여 오차 있는 영상을 제외한 동일한 다수의 스펙클 노이즈를 개선하기 위한 최대값 또는 최소값 필터를 중첩 적용하여, 또한 최대값 또는 최소값 필터를 중첩하여 적용한 영상과 해당 영상의 축소 및 확대 과정을 통해 산출된 영상 데이터를 비교하여 최적값의 영상을 도출해 낼 수 있다.

그에 따라, 전자 현미경에서 획득한 영상의 왜곡 현상이나 스펙클 잡음을 제거한 선명하고 깨끗한 화질의 영상을 제공할 수 있다.

Claims (11)

1. 전자 현미경으로 영상을 촬영하는 영상 촬영 단계;
   전자 현미경의 측정 스테이지를 이동 스캔하면서 대상체의 타깃 부분을 추적하는 영상 추적 모드 또는 타깃 부분에 초점이 맞춰진 상태에서 촬영되는 정지 영상들의 노이즈를 제거하고 영상을 정밀화 하는 영상 정밀화 모드 중 하나의 모드로 영상을 처리하는 단계; 및
   처리된 영상을 디스플레이 하는 영상 출력 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
   
2. 제 1 항에 있어서,
   상기 영상 추적 모드에서 영상을 처리하는 단계는,
   촬영된 영상 데이터를 기 설정된 색상 공간의 영상 데이터로 변환하는 단계;
   변환된 영상 데이터에 가우시안 필터를 적용하는 단계;
   상기 필터가 적용된 영상 데이터에서 경계 부분을 추출하는 단계; 및
   상기 필터가 적용된 영상 데이터와 상기 경계 부분이 추출된 영상 데이터를 블렌딩하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
   
3. 제 2 항에 있어서,
   상기 경계 부분을 추출하는 단계는, 소벨 필터를 적용하여 수행되며,
   상기 블렌딩하는 단계에서, 상기 소벨 필터가 적용된 영상 데이터에 대해 상기 측정 스테이지에 대한 이동방향에 따라 가중치를 적용하여 상기 가우시안 필터가 적용된 영상과 블렌딩하는 것을 특징으로 하는 영상 처리 방법.
   
4. 제 1 항에 있어서,
   상기 영상 정밀화 모드에서 영상을 처리하는 단계는,
   촬영된 영상 데이터를 기 설정된 색상 공간의 영상 데이터로 변환하는 단계;
   변환된 영상 데이터들 사이에서 오차값이 기 설정된 한계값보다 큰 영상 데이터를 제거하는 단계;
   오차가 제거된 영상 데이터에서, 최대값 또는 최소값을 취하도록 필터링하는 단계;
   상기 최대값 또는 최소값으로 필터링된 영상 데이터의 축소 및 확대를 통하여 영상의 스케일을 조정하는 단계; 및
   상기 최대값 또는 최소값으로 필터링된 영상과 상기 스케일이 조정된 영상 사이의 차이 값을 구하여 비교하여, 상기 차이 값에 따라 출력 영상을 산출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
   
5. 제 4 항에 있어서,
   상기 출력 영상을 산출하는 단계는,
   상기 필터링된 영상과 상기 스케일이 조정된 영상 사이에서, 기 설정된 크기의 픽셀 영역 내의 차이 값을 구하여 비교하고,
   기 설정된 한계값보다 상기 차이 값이 큰 경우, 상기 필터링된 영상과 상기 스케일이 조정된 영상의 평균 값을 적용하여 출력 영상을 산출하고,
   상기 차이 값이 상기 기 설정된 한계값보다 작은 경우, 상기 필터링된 영상을 출력 영상으로 산출하는 것을 특징으로 하는 영상 처리 방법.
   
6. 제 1 항에 있어서,
   상기 영상을 처리하는 단계는, 시작점 보정 모드로 영상을 처리하는 것을 더 포함하고, 상기 시작점 보정 모드는,
   촬영된 영상 데이터를 기 설정된 색상 공간의 영상 데이터로 변환하는 단계;
   변환된 영상 데이터에 가우시안 필터를 적용하는 단계;
   상기 가우시안 필터가 적용된 영상 데이터를 이진화하는 단계;
   이진화된 영상 데이터에서 경계를 추출하는 단계; 및
   상기 경계가 추출된 영상 데이터에서 특징부를 추출하여, 영상 왜곡이 없는 영역의 시작점을 표시하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
   
7. 제 2 항, 제 4 항 및 제 6 항 중 어느 한 항에 있어서,
   상기 기 설정된 색상 공간으로 영상 데이터로 변환하는 단계는,
   상기 촬영된 영상 데이터를 그레이 스케일의 영상 데이터로 변환하는 것을 특징으로 하는 영상 처리 방법.
   
8. 영상 촬영 유닛;
   상기 영상 촬영 유닛에서 촬영된 영상 데이터를 기 설정된 색상 공간으로 변환하는 영상 변환 유닛;
   변환된 영상 데이터에 기초하여, 전자 현미경의 측정 스테이지를 이동 스캔하면서 대상체의 타깃 부분을 추적하는 영상 추적 유닛;
   상기 변환된 영상 데이터에 기초하여, 타깃 부분에 초점이 맞춰진 상태에서 촬영되는 정지 영상들의 노이즈를 제거하고 영상을 정밀화 하는 영상 정밀화 유닛; 및
   상기 영상 추적 유닛 또는 상기 영상 정밀화 유닛에서 처리된 영상을 디스플레이 하는 영상 출력 유닛을 포함하는 것을 특징으로 하는 영상 처리 장치.
   
9. 제 8 항에 있어서,
   상기 영상 추적 유닛은,
   상기 변환된 영상 데이터에 가우시안 필터를 적용하는 제2 영상 필터부;
   상기 제2 영상 필터부에서 출력된 영상 데이터의 경계 부분을 추출하는 에지 추출부; 및
   상기 제2 영상 필터부와 상기 에지 추출부에서 출력되는 영상 데이터들을 블렌딩하는 영상 블렌딩부를 포함하는 것을 특징으로 하는 영상 처리 장치.
   
10. 제 8 항에 있어서,
    상기 영상 정밀화 유닛은,
    상기 변환된 영상 데이터들 사이에서 오차값이 기 설정된 한계값보다 큰 영상 데이터를 제거하는 오차 산출부;
    상기 오차 산출부에서 출력된 영상 데이터에서, 최대값 또는 최소값을 취하도록 필터링하는 제1 영상 필터부;
    상기 제1 영상 필터부에서 출력된 영상 데이터를 축소 및 확대하는 영상 스케일 조정부; 및
    상기 스케일 조정부와 상기 제1 영상 필터부에서 출력되는 영상 데이터들을 차이 값에 기초하여, 상기 스케일 조정부와 상기 제1 영상 필터부에서 출력되는 영상 데이터들의 평균 값 또는 상기 제1 영상 필터부에서 출력되는 영상 데이터를 출력 영상으로 선택하는 영상 비교 및 선택부를 포함하는 것을 특징으로 하는 영상 처리 장치.
    
11. 제 8 항에 있어서,
    시작점 보정 모드로 영상을 처리하는 시작점 보정 유닛을 더 포함하고,
    상기 시작점 보정 유닛은,
    변환된 영상 데이터에 가우시안 필터를 적용하는 제3 영상 필터부;
    상기 제3 영상 필터부에서 출력된 영상 데이터를 이진화하는 영상 이진화부;
    상기 영상 이진화부에서 출력된 영상 데이터에서 경계를 추출하는 에지 추출부; 및
    상기 에지 추출부에서 출력된 영상 데이터에서 특징부를 추출하여, 영상 왜곡이 없는 영역의 시작점을 표시하는 특징 추출부를 포함하는 것을 특징으로 하는 영상 처리 장치.

Images