KR101590254B1

KR101590254B1 - 실시간 수중 초음파 영상 개선 방법 및 이를 이용한 장치

Info

Publication number: KR101590254B1
Application number: KR1020140076707A
Authority: KR
Inventors: 유선철; 구정회; 조한길; 조현우; 표주현
Original assignee: 포항공과대학교 산학협력단
Priority date: 2014-06-23
Filing date: 2014-06-23
Publication date: 2016-02-01
Also published as: KR20160000085A

Abstract

실시간 수중 초음파 영상 개선 방법 및 이를 이용한 장치가 제공된다. 본 발명의 실시예에 따른 실시간 수중 초음파 영상 개선 방법은 유한 길이의 데이터 윈도우로 이전의 영상 프레임들을 반복 필터링하는 단계; 현재 획득된 초음파 영상이 급변하는지를 판단하는 단계; 상기 획득된 초음파 영상이 급변하는 경우, 이전의 데이터 윈도우의 길이를 감소시키고, 상기 획득된 초음파 영상이 급변하지 않는 경우, 상기 이전의 데이터 윈도우의 길이를 증가시키도록 조정하는 단계; 및 상기 조정된 데이터 윈도우로 상기 이전의 영상 프레임과 상기 획득된 초음파 영상을 반복 필터링하여 현재의 영상 프레임을 개선하는 단계;를 포함한다.

Description

실시간 수중 초음파 영상 개선 방법 및 이를 이용한 장치{Method for real-time underwater acoustic image enhancement and device using the same}

본 발명은 실시간 수중 초음파 영상 개선 방법 및 이를 이용한 장치에 관한 것으로, 특히, 이미징 소나(Imaging Sonar)의 실시간 수중 초음파 영상 개선 방법 및 이를 이용한 장치에 관한 것이다.

최근, 수중 구조체들의 안전 검사와 같은 천해(shallow water)에서의 작업의 필요가 급격하게 증가하면서, 무인 수중 잠수정(autonomous underwater vehicle; AUV)이 위험한 수중 작업을 자동화하기 위해 중요한 역할을 해왔다. 이러한 무인 수중 잠수정의 동작은 관심 대상물을 검출하고 탐색하기 위한 센서 시스템이 필요하다.

한편, 천해에서는 산란 및 흡수에 의해 시계가 급격히 감소하기 때문에, 대부분의 경우, 시계는 1-2 미터 이내로 제한된다. 이러한 환경에서는 카메라와 같은 광학 시스템은 적합하지 않기 때문에, 수십 미터의 시계를 제공하는 이미징 소나(Imaging Sonar)가 대안적인 해결책으로 제시되었다.

일반적으로, 소나 이미지와 같은 수중 초음파 영상은 광학 영상에 비해 심한 잡음을 동반하기 때문에 이미지 처리 알고리즘을 적용하기에 충분히 우수하지 못하다. 따라서, 초음파 영상의 품질 향상 및 자동화를 위한 전처리 과정으로 영상 개선(image enhancement)이 필요하다. 기존의 영상 처리 방식은 가우스 필터(Gaussian filter), 중앙값 필터(median filter) 등과 같은 공간 영역(Spatial Domain)의 잡음 필터를 적용하여 주어진 단일 영상 프레임에 대해서 수행되었다. 그러나, 수중에서 비디오 영상 수준의 실시간 초음파 영상을 제공하는 이미징 소나의 경우, 초당 20프레임 이상의 초음파 영상을 획득한다. 따라서 초음파 영상 프레임을 한 장씩 따로 처리하는 기법보다는 시간 영역(Time Domain)에서의 처리 방법이 더욱 적합하다.

시간 영역에서의 잡음 제거 방법은, 예를 들면, 매순간 획득되는 초음파 프레임 각각의 픽셀들의 평균을 반복적으로 계산하여 랜덤하게 변화하는 잡음을 제거하는 것이다.

그러나, 이러한 방법은 수중 탐사시 다음과 같은 요구조건을 만족할 수 없기 때문에 잡음 감소를 위해 직접 적용할 수 없다. 즉, 무인 수중 잠수정(AUV)을 이용한 수중 탐사는 일반적으로, 록-온(lock-on) 동작 단계와 서칭(searching) 동작 단계로 구분될 수 있다. 서칭 동작 단계 동안, 무인 수중 잠수정은 배회하면서 의심쩍은 관심 대상을 찾도록 시도하고, 록-온 동작 단계 동안, 무인 수중 잠수정은 상세한 조사를 위해 대상에 집중된다. 따라서, 영상 개선 알고리즘은 우수한 정확도뿐만 아니라 우수한 트랙킹 성능을 제공해야 하고, 또한, 정확도 및 트래킹 성능의 상대적 강조가 동작 단계에 따라 자동적으로 변경될 수 있어야 한다.

따라서, 종래의 알고리즘은 정지 상태의 록-온 동작 단계 동안 획득된 소나 이미지 개선에 효과적이지만, 좋지 않은 트래킹 성능때문에, 사물의 위치가 변경되거나 이동 상태인 서칭 동작 동안 획득된 소나 이미지 개선에는 적합하지 않다.

즉, 서칭 동작 단계와 같이 초음파 영상에서 사물의 위치가 변경되는 경우에는 각 초음파 영상의 픽셀의 위치가 변경되므로, 이러한 단순 평균과 같은 방법을 이용한 이미지 개선시 사물의 형상이 블러링(Blurring)되는 문제점이 있다.

따라서, 록-온 동작 단계뿐만 아니라 서칭 동작 단계 모두에 적용가능한 실시간 소나 이미지 개선 알고리즘이 요구되고 있다.

본 발명의 일 실시예는 급변하는 초음파 영상 또는 록-온 동작과 서칭 동작 모두에 대하여 블러링 없이 적용할 수 있는 실시간 수중 초음파 영상 개선 방법 및 이를 이용한 장치를 제공하고자 한다.

본 발명의 일 측면에 따르면, 유한 길이의 데이터 윈도우로 이전의 영상 프레임들을 반복 필터링하는 단계; 현재 획득된 초음파 영상이 급변하는지를 판단하는 단계; 상기 획득된 초음파 영상이 급변하는 경우, 이전의 데이터 윈도우의 길이를 감소시키고, 상기 획득된 초음파 영상이 급변하지 않는 경우, 상기 이전의 데이터 윈도우의 길이를 증가시키도록 조정하는 단계; 및 상기 조정된 데이터 윈도우로 상기 이전의 영상 프레임과 상기 획득된 초음파 영상을 반복 필터링하여 현재의 영상 프레임을 개선하는 단계;를 포함하는 실시간 수중 초음파 영상 개선 방법이 제공된다.

이 때, 상기 반복 필터링하는 단계는 RLS 알고리즘 또는 칼만 필터링(Kalman Filtering)을 이용할 수 있다.

이 때, 상기 판단하는 단계는 상기 획득된 초음파 영상과 상기 이전의 반복 필터링된 영상 프레임의 초음파 영상을 비교하여 그 차이에 따라 상기 획득된 초음파 영상의 급변 여부를 판단할 수 있다.

이 때, 상기 판단하는 단계는 상기 획득된 초음파 영상의 추정 에러가 일정 값 이상이면 상기 획득된 초음파 영상이 급변한다고 판단할 수 있다.

이 때, 상기 추정 에러는 평균 제곱 에러(mean square error; MSE)일 수 있다.

이 때, 상기 조정하는 단계는 상기 이전의 데이터 윈도우의 길이가 상기 데이터 윈도우의 최소 길이보다 큰 경우에만, 상기 이전의 데이터 윈도우를 조정할 수 있다.

이 때, 상기 조정하는 단계는 상기 이전의 데이터 윈도우의 길이가 상기 데이터 윈도우의 최대 길이보다 작은 경우에만, 상기 이전의 데이터 윈도우를 조정할 수 있다.

이 때, 상기 조정하는 단계는 상기 이전의 영상 프레임들의 다운데이트(downdate) 및 업데이트(update) 동작에 의해 상기 데이터 윈도우의 길이를 조정할 수 있다.

본 발명의 다른 측면에 따르면, 이미징 소나의 동작 단계를 판단하는 단계; 상기 이미징 소나가 서칭 단계이면, 데이터 윈도우의 길이를 최소값까지 점진적으로 감소시키면서 상기 이미징 소나의 트래킹에 대응하는 초음파 영상을 개선하는 단계; 및 상기 이미징 소나가 록-온 단계(lock-on phase)이면, 상기 데이터 윈도우의 길이를 최대값까지 점진적으로 증가시키면서 상기 이미징 소나의 상세 조사에 대응하는 초음파 영상을 개선하는 단계를 포함하는 실시간 수중 초음파 영상 개선 방법이 제공된다.

이 때, 상기 초음파 영상을 개선하는 단계들은 상기 증가 또는 감소된 길이의 상기 데이터 윈도우로 이전의 반복 필터링된 영상 프레임들과 현재 획득된 초음파 영상을 반복 필터링할 수 있다.

이 때, 상기 초음파 영상을 개선하는 단계들은 상기 이미징 소나의 현재의 동작 단계가 변경되는 경우, 상기 데이터 윈도우의 길이를 현재의 길이로부터 점진적으로 증가하거나 감소할 수 있다.

이 때, 상기 판단하는 단계는 상기 이미징 소나가 장착된 무인 수중 잠수정(AUV)으로부터의 상기 이미징 소나의 이동을 감지하는 감지 신호를 기초로 상기 동작 단계를 판단할 수 있다.

본 발명의 또 다른 측면에 따르면, 초음파를 송신 및 수신하는 영상 획득부; 상기 수신된 초음파 신호를 기초로 초음파 영상을 획득하고, 유한 길이의 데이터 윈도우로 이전의 영상 프레임들과 현재 획득된 영상을 반복 필터링하여 현재의 초음파 영상을 개선하는 영상 개선부; 및 상기 획득된 초음파 영상이 급변하는지를 판단하여, 상기 획득된 초음파 영상이 급변하는 경우, 이전의 데이터 윈도우의 길이를 감소시키고, 상기 획득된 초음파 영상이 급변하지 않는 경우, 상기 이전의 데이터 윈도우의 길이를 증가시키도록 조정하는 윈도우 조정부를 포함하는 실시간 수중 초음파 영상 개선 장치가 제공된다.

이 때, 상기 영상 개선부는 RLS 알고리즘 또는 칼만 필터링을 이용하여 상기 반복 필터링을 수행할 수 있다.

이 때, 상기 윈도우 조정부는 상기 획득된 초음파 영상과 상기 이전의 반복 필터링된 영상 프레임의 초음파 영상을 비교하여 그 차이에 따라 상기 획득된 초음파 영상의 급변 여부를 판단할 수 있다.

이 때, 상기 윈도우 조정부는 상기 이전의 데이터 윈도우의 길이가 상기 데이터 윈도우의 최소 길이보다 큰 경우에만, 상기 이전의 데이터 윈도우의 길이를 조정할 수 있다.

이 때, 상기 윈도우 조정부는 상기 이전의 데이터 윈도우의 길이가 상기 데이터 윈도우의 최대 길이보다 작은 경우에만, 상기 이전의 데이터 윈도우의 길이를 조정할 수 있다.

이 때, 상기 윈도우 조정부는 현재의 동작 단계를 판단하여, 상기 동작 단계가 서칭 단계이면, 상기 데이터 윈도우의 길이를 점진적으로 감소시키고, 록-온 단계이면, 상기 데이터 윈도우의 길이를 점진적으로 증가시킬 수 있다.

이 때, 상기 윈도우 조정부는 무인 수중 잠수정(AUV)으로부터의 이동을 감지하는 감지 신호를 기초로 상기 동작 단계를 판단할 수 있다.

본 발명의 일 실시예에 따른 실시간 수중 초음파 영상 개선 방법 및 이를 이용한 장치는 급변하는 초음파 영상에서 발생하는 블러링을 감소시킬 수 있고, 따라서, 수중 초음파 영상 개선시 트래킹 성능을 실시간으로 향상시킬 수 있다.

또한, 본 발명의 일 실시예에 따른 실시간 수중 초음파 영상 개선 방법 및 이를 이용한 장치는 이미징 소나 등을 이용한 수중 탐사시 상세 조사를 위한 록-온 동작뿐만 아니라 이미징 소나의 움직임이 많은 서칭 동작에서도 초음파 영상 개선에 적용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 실시간 수중 초음파 영상 개선 장치의 개략적 블록도이다.
도 2는 본 발명의 일 실시예에 따른 실시간 수중 초음파 영상 개선 방법의 순서도이다.
도 3은 본 발명의 일 실시예와 종래 기술에 의해 개선된 초음파 영상의 비교를 위한 사진이다.
도 4는 본 발명의 다른 실시예에 따른 실시간 수중 초음파 영상 개선 방법의 순서도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.

도 1은 본 발명의 일 실시예에 따른 실시간 수중 초음파 영상 개선 장치의 개략적 블록도이다. 이하에서는 도면을 참조하여 본 발명의 실시예에 따른 실시간 수중 초음파 영상 개선 장치를 보다 상세히 설명하도록 한다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 실시간 수중 초음파 영상 개선 장치(100)는 영상 획득부(110), 영상 개선부(120), 및 윈도우 조정부(130)를 포함한다.

이러한 실시간 수중 초음파 영상 개선 장치(100)는, 예를 들면, 고급 소나 이미징 장치 중 하나인 DIDSON(dual-frequency identification sonar)일 수 있고, 무인 수중 잠수정(200)에 탑재될 수 있다.

영상 획득부(110)는 초음파를 송신하고, 대상 물체에 의해 반사된 초음파를 수신하여 수신된 초음파 신호를 기초로 초음파 영상을 획득할 수 있다. 이러한 영상 획득부(110)는 실시간 수중 초음파 영상 개선 장치(100)의 전면에 배치될 수 있다.

영상 개선부(120)는 유한 길이의 데이터 윈도우로 이전의 영상 프레임들과 현재 획득된 영상을 반복 필터링하여 현재의 초음파 영상을 개선할 수 있다. 이와 같은 반복 필터링은 획득된 각 영상 프레임에 적응적으로 가중치를 부여한 후 이들을 평균한 것과 같은 효과를 지니다. 예를 들면, 영상 개선부(120)는 데이터 윈도우에 대응하는 수의 이전의 영상 프레임들을 평균 처리함으로써, 소나 이미지와 같은 초음파 영상의 스페클 잡음을 감소시킬 수 있다. 이와 같이, 영상 개선부(120)는 유한 길이의 데이터 윈도우를 이용함으로써, 과거에 획득된 모든 영상을 사용하지 않고, 그 대신, 데이터 윈도우 내의 유한 수의 영상만을 사용하여 시간 영역에서 초음파 영상의 잡음을 제거할 수 있다. 이 때, 영상 개선부(120)는 대안적으로 초기부터 현재까지 획득한 모든 영상 프레임을 이용하는 RLS 알고리즘 또는 유한데이터 윈도우를 이용하는 칼만 필터링을 이용하여 반복 필터링을 수행할 수 있지만, 이에 한정되는 것은 아니다.

윈도우 조정부(130)는 영상 개선부(120)에서 이용하는 데이터 윈도우의 길이를 적응적으로 조정할 수 있다. 즉, 윈도우 조정부(130)는 획득된 초음파 영상이 급변하는지를 판단하여, 초음파 영상의 급변 여부에 따라 반복 필터링을 위한 이전의 데이터 윈도우의 길이를 조정할 수 있다.

이러한 윈도우 조정부(130)는 획득된 초음파 영상과 이전의 반복 필터링된 영상 프레임의 초음파 영상을 기초로 획득된 초음파 영상의 급변 여부를 판단할 수 있다. 예를 들면, 획득된 초음파 영상과 이전의 영상 프레임의 초음파 영상의 차를 산출하여 영상의 차가 큰 경우에는 획득된 영상이 급변한다고 판단할 수 있다. 대안적으로, 윈도우 조정부(130)는 추정 에러를 기초로 초음파 영상의 급변 여부를 판단할 수 있으며, 이러한 추정 에러는 현재까지 연산된 평균 영상 프레임과 가장 최근 획득된 영상 프레임이 갖는 각각의 픽셀 값 차이의 제곱을 기반으로 하는 평균 제곱 에러(mean square error; MSE)일 수 있다.

보다 구체적으로는, 윈도우 조정부(130)는 획득된 초음파 영상이 급변한다고 판단한 경우에는, 이전의 데이터 윈도우의 길이를 감소시키고, 획득된 초음파 영상이 급변하지 않는다고 판단한 경우에는, 이전의 데이터 윈도우의 길이를 증가시키도록 조정할 수 있다. 이 때, 윈도우 조정부(130)는 이전의 데이터 윈도우의 길이가 데이터 윈도우의 최소 길이보다 큰 경우에만, 이전의 데이터 윈도우의 길이를 조정할 수 있다. 또한, 윈도우 조정부(130)는 이전의 데이터 윈도우의 길이가 데이터 윈도우의 최대 길이보다 작은 경우에만, 이전의 데이터 윈도우의 길이를 조정할 수 있다. 이와 같이, 윈도우 조정부(130)는 데이터 윈도우의 최대 길이와 최소 길이 사이에서, 초음파 영상의 변화 여부에 따라 적응적으로 데이터 윈도우의 가변 길이를 조정함으로써, 조사 대상의 이동 가능성이 있는 이미징 소나와 같은 초음파 영상에 대한 트래킹 성능을 향상시킬 수 있다.

대안적으로, 윈도우 조정부(130)는 현재의 동작 단계를 판단하여 현재의 동작 단계에 따라 데이터 윈도우의 길이를 조정할 수 있다. 예를 들면, 윈도우 조정부(130)는 이미징 소나의 동작이 서칭 단계라고 판단한 경우에는, 이미징 소나의 이동에 의해 초음파 영상에 블러링이 발생할 수 있기 때문에 이를 최소화하기 위해 데이터 윈도우의 길이를 점진적으로 감소시킬 수 있다 .

또한, 윈도우 조정부(130)는 이미징 소나의 동작이 록-온 단계라고 판단한 경우에는, 이미징 소나가 정지되어 초음파 영상에 블러링이 발생하지 않기 때문에, 잡음 제거 성능을 더 강화시키기 위해 데이터 윈도우의 길이를 점진적으로 증가시킬 수 있다.

대안적으로, 윈도우 조정부(130)는 무인 수중 잠수정(200)으로부터의 이동을 감지하는 감지 신호를 기초로 동작 단계를 판단할 수 있다. 예를 들면, 제어부(210) 및 구동부(220)를 포함하는 무인 수중 잠수정(200)이 제어부(210)에 의해 수중 탐사의 단계를 제어하며, 이에 따라 구동부(220)를 통하여 실시간 수중 초음파 영상 개선 장치(100)의 헤드 변경 등을 제어하기 때문에, 윈도우 조정부(130)는 이러한 감지 신호를 기초로 현재의 동작 단계를 판단할 수 있다. 이 때, 무인 수중 잠수정(200)은 예를 들면, 키클롭스(Cyclops)일 수 있다.

위에서 설명한 바와 같이, 본 발명의 실시예에 따른 실시간 수중 초음파 영상 개선 장치(100)는 실시간 동작을 위한 반복 필터링 알고리즘을 기반으로 하며, 데이터 윈도우의 길이를 가변적으로 제어함으로써, 즉, 초음파 영상의 변화가 급격한 서칭 단계에서는 반복 필터링에 의해 발생되는 블러링을 감소시키는 것에 중점을 두어 반복 필터링의 데이터 윈도우의 길이를 감소시키고, 초음파 영상의 변화가 거의 없는 록-온 단계에서는 반복 필터링에 의해 블러링이 발생하지 않기 때문에, 스페클 잡음을 제거하는 것에 중점을 두어 반복 필터링의 데이터 윈도우의 길이를 증가시킴으로써, 이미지 소나의 록-온 및 서칭 단계들 모두에 적용될 수 있다. 이 때, 데이터 길이의 조정을 위한 완전한 자동 동작을 위해, 데이터 윈도우의 길이는 무인 수중 잠수정의 상이한 동작 단계에 대응하여 적응적으로 변경될 수 있다.

이와 같은 구성에 의해, 본 발명의 실시예에 따른 실시간 수중 초음파 영상 생성 장치(100)는 급변하는 초음파 영상에서 발생하는 블러링을 감소시킬 수 있고, 따라서, 수중 초음파 영상 개선시 트래킹 성능을 실시간으로 향상시킬 수 있고, 또한, 이미징 소나 등을 이용한 수중 탐사시 상세 조사를 위한 록-온 동작뿐만 아니라 이미징 소나의 움직임이 많은 서칭 동작에서도 초음파 영상 개선에 적용할 수 있다.

이하, 도 2를 참조하여 본 발명의 일 실시예에 따른 실시간 수중 초음파 영상 개선 방법을 설명한다. 도 2는 본 발명의 일 실시예에 따른 실시간 수중 초음파 영상 개선 방법의 순서도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 실시간 수중 초음파 영상 개선 방법(300)은 이전의 영상 프레임들을 반복 필터링하는 단계(단계 S301), 현재 획득된 초음파 영상의 변화 정도에 따라 반복 필터링을 위한 데이터 윈도우의 길이를 조정하는 단계(단계 S302 내지 단계 S307), 및 조정된 데이터 윈도우의 길이로 반복 필터를 수행하는 단계(단계 S308)를 포함한다.

보다 상세히 설명하면, 도 2에 도시된 바와 같이, 먼저, 유한 길이의 데이터 윈도우로 이전의 영상 프레임들을 반복 필터링할 수 있다(단계 S301). 이와 같은 반복 필터링은 획득된 각 영상 프레임에 적응적으로 가중치를 부여한 후 이들을 평균한 것과 같은 효과를 지니다. 예를 들면, 데이터 윈도우에 대응하는 수의 이전의 영상 프레임들을 평균 처리함으로써, 소나 이미지와 같은 초음파 영상의 스페클 잡음을 감소시킬 수 있다. 이와 같이, 유한 길이의 데이터 윈도우를 이용함으로써, 과거에 획득된 모든 영상을 사용하지 않고, 그 대신, 데이터 윈도우 내의 유한 수의 영상만을 사용하여 시간 영역에서 초음파 영상의 잡음을 제거할 수 있다. 대안적으로 초기부터 현재까지 획득한 모든 영상 프레임을 이용하는 RLS 알고리즘 또는 유한데이터 윈도우를 이용하는 칼만 필터링을 이용하여 반복 필터링을 수행할 수 있지만, 이에 한정되는 것은 아니다.

다음으로, 현재 획득된 초음파 영상을 획득할 수 있다(단계 S302). 즉, 실시간 수중 초음파 영상 개선 장치(100)로부터 송신된 초음파가 대상 물체의 의해 반사되어 이를 수신한 초음파 신호를 기초로 초음파 영상을 획득할 수 있다.

다음으로, 획득된 초음파 영상이 급변하는지를 판단할 수 있다(단계 S303). 이 때, 획득된 초음파 영상과 이전의 반복 필터링된 영상 프레임의 초음파 영상을 비교하여, 예를 들면, 그 차이를 기초로 획득된 초음파 영상의 급변 여부를 판단할 수 있다. 대안적으로, 획득된 초음파 영상의 추정 에러를 산출하고, 산출된 추정 에러가 일정 값 이상인지의 여부에 따라 획득된 초음파 영상의 급변 여부를 판단할 수 있다. 이러한 추정 에러가 정지 조건의 추정 에러보다 큰 경우는 트래킹 에러에 기인하며, 따라서, 무인 수중 잠수정의 동작 단계가 서칭 동작 단계로 변경됨을 알 수 있다. 반대로, 추정 에러가 정지 조건의 추정 에러보다 작거나 작은 경우는 무인 수중 잠수정이 정지 상태이며, 따라서 록-온 동작 단계인 것을 알 수 있다. 여기서, 추정 에러는 현재까지 연산된 평균 영상 프레임과 가장 최근 획득된 영상 프레임이 갖는 각각의 픽셀 값 차이의 제곱을 기반으로 하는 평균 제곱 에러(mean square error; MSE)일 수 있다.

단계 S303의 판단 결과, 획득된 초음파 영상이 급변한다고 판단한 경우에는, 이전의 데이터 윈도우의 길이가 데이터 윈도우의 최소 길이보다 큰지를 판단하고(단계 S304), 이전의 데이터 윈도우의 길이가 데이터 윈도우의 최소 길이보다 크다고 판단한 경우에는 이전의 데이터 윈도우의 길이를 감소시키도록 조정할 수 있다(단계 S305). 즉, 데이터 윈도우의 길이의 감소는 이전의 데이터 윈도우의 길이가 데이터 윈도우의 최소 길이보다 큰 경우에만 이루어질 수 있다. 이러한 데이터 윈도우의 길이의 감소는 다운데이트 동작에 의해 수행될 수 있다. 여기서, 다운데이트 동작은 데이터 윈도우 중에서 가장 오래된 영상을 제거하는 것이며, 따라서, 데이터 윈도우의 길이가 일시적으로 1만큼 감소한다.

이와 같이 데이터 윈도우의 길이를 감소시키는 것은, 예를 들면, 초음파 영상의 변화가 있음을 감지한 경우, 이미징 소나의 이동에 의해 단계 301과 같이, 많은 영상 프레임을 반복 처리함에 의해 초음파 영상에 블러링이 발생하기 때문에, 데이터 윈도우의 최대 길이인 M개의 영상 프레임을 모두 사용하지 않고, 블러링을 우선적으로 감소시키기 위한 것이다. 이를 위해, M보다 작은 데이터 윈도우의 길이인 N개의 영상 프레임만을 사용하여 반복 필터링할 수 있다.

단계 S304의 판단 결과, 이전의 데이터 윈도우의 길이가 데이터 윈도우의 최소 길이보다 크지 않다고 판단한 경우, 즉, 데이터 윈도우의 최소 길이와 같다고 판단한 경우에는, 더 이상 데이터 윈도우의 길이를 감소시키지 않고, 다음 단계로 진행할 수 있다. 여기서, 데이터 윈도우의 최소 길이 N이 1인 경우는 영상 프레임들의 반복 평균 처리를 수행하지 않는 것과 동일하기 때문에, 데이터 윈도우의 최소 길이는 2 이상인 것이 바람직하다.

단계 S303의 판단 결과, 획득된 초음파 영상이 급변하지 않는다고 판단한 경우에는, 이전의 데이터 윈도우의 길이가 데이터 윈도우의 최대 길이보다 작은지를 판단하고(단계 S306), 이전의 데이터 윈도우의 길이가 데이터 윈도우의 최대 길이보다 작다고 판단한 경우에는 상기 이전의 데이터 윈도우의 길이를 증가시키도록 조정할 수 있다(단계 S307). 즉, 데이터 윈도우의 길이의 증가는 이전의 데이터 윈도우의 길이가 데이터 윈도우의 최대 길이보다 작은 경우에만 이루어질 수 있다. 이 때, 데이터 윈도우의 길이의 증가는 업데이트 동작에 의해 수행될 수 있다. 업데이트 동작은 데이터 윈도우에서 가장 최신의 초음파 영상을 포함시키는 것이다. 따라서, 데이터 윈도우의 길이가 일시적으로 1만큼 증가한다.

이러한 데이터 윈도우의 길이를 증가시키는 것은, 예를 들면, 초음파 영상의 변화가 감지되지 않는 경우, 많은 수의 영상 프레임을 반복 평균 처리하더라도 블러링이 발생되지 않기 때문에, 스페클 잡음을 우선적으로 제거하기 위한 것이다. 이를 위해, 데이터 윈도우의 길이 N을 데이터 윈도우의 최대 길이 M까지 확대하여 초음파 영상을 반복 필터링할 수 있다.

단계 S306의 판단 결과, 이전의 데이터 윈도우의 길이가 데이터 윈도우의 최대 길이보다 작지 않다고 판단한 경우, 즉, 데이터 윈도우의 최대 길이와 같다고 판단한 경우에는, 더 이상 데이터 윈도우의 길이를 증가시키지 않고, 다음 단계로 진행할 수 있다. 여기서, 데이터 윈도우의 길이 N이 데이터 윈도우의 최대 길이 M과 같은 경우는 데이터 윈도우 내의 모든 영상 프레임을 사용하여 반복 필터링을 수행하는 경우와 동일하게 된다.

다음으로, 조정된 데이터 윈도우로 이전의 영상 프레임과 획득된 초음파 영상을 반복 필터링하여 현재의 영상을 개선할 수 있다(단계 S308). 이후 단계 S302로 진행하여 다음에 획득된 초음파 영상에 대하여 단계 S303 내지 단계 S308을 반복적으로 수행할 수 있다.

이와 같은 방법에 의해 본 발명의 실시예에 따른 실시간 수중 초음파 영상 생성 방법은 급변하는 초음파 영상에서 발생하는 블러링을 감소시킬 수 있고, 따라서, 수중 초음파 영상 개선시 트래킹 성능을 실시간으로 향상시킬 수 있고, 또한, 이미징 소나 등을 이용한 수중 탐사시 상세 조사를 위한 록-온 동작뿐만 아니라 이미징 소나의 움직임이 많은 서칭 동작에서도 초음파 영상 개선에 적용할 수 있다.

도 3은 본 발명의 일 실시예와 종래 기술에 의해 개선된 초음파 영상의 비교를 위한 사진이다.

도 3에서, (a)는 원래의 초음파 영상이고, (b)는 윈도우 길이가 고정된 반복 필터링된 초음파 영상이며, (c)는 본 발명의 실시예에 따른 윈도우 길이를 조정한 반복 필터링된 초음파 영상이다. 도 3으로부터 알 수 있는 바와 같이, 데이터 윈도우가 고정된 반복 필터링된 초음파 영상은 블러링이 매우 심하여 관심 대상을 인식하기 곤란한 반면, 적응적으로 윈도우 길이를 감소시킴으로써 트래킹 성능을 개선한 본 발명의 실시예에 따른 반복 필터링된 초음파 영상은 블러링이 훨씬 적어 관심 대상을 상대적으로 더 잘 인식할 수 있다.

이하, 도 4를 참조하여 본 발명의 다른 실시예에 따른 실시간 수중 초음파 영상 개선 방법을 설명한다. 도 4는 본 발명의 다른 실시예에 따른 실시간 수중 초음파 영상 개선 방법의 순서도이다.

본 발명의 다른 실시예에 따른 실시간 수중 초음파 개선 방법(500)은 이미징 소나의 동작 단계를 판단하는 단계(단계 S401 및 S402), 데이터 윈도우의 길이를 증가시키면서 초음파 영상을 개선하는 록-온 동작 단계(단계 S403 및 S404), 및 데이터 윈도우의 길이를 증가시키면서 초음파 영상을 개선하는 서칭 동작 단계(단계 S405 및 S406)를 포함한다.

보다 상세히 설명하면, 도 4에 도시된 바와 같이, 먼저, 초음파 영상 프레임을 획득할 수 있다(단계 S401). 즉, 이미징 소나로부터 송신된 초음파가 대상 물체에 의해 반사되어 이를 다시 수신한 초음파 신호를 기초로 초음파 영상을 획득할 수 있다.

다음으로, 이미징 소나의 동작 단계를 판단할 수 있다(단계 S402). 이 때, 이미징 소나의 동작 단계는 이미징 소나가 장착된 무인 수중 잠수정의 이동 동작과 관련이 있기 때문에, 무인 수중 잠수정으로부터 이미징 소나의 이동을 감지하는 감지 신호를 기초로 동작 단계를 판단할 수 있다.

단계 S402의 판단 결과, 이미징 소나의 동작 단계가 서칭 단계라고 판단되면, 데이터 윈도우의 길이를 최소값까지 점진적으로 감소시키면서 이미징 소나의 트래킹에 대응하는 초음파 영상을 개선할 수 있다(단계 S403). 즉, 이미징 소나의 서칭 동작 단계는 관심 대상 물체를 탐색하기 위해 이미징 소나가 이동하는 단계로서, 이러한 경우에는 상술한 바와 같이, 반복 필터링에 의해 개선되는 초음파 영상이 초음파 영상의 급격한 변화에 의해 블러링이 발생하기 때문에, 이러한 블러링을 우선적으로 감소시키기 위해 반복 필터링을 위한 데이터 윈도우의 길이를 감소시킬 수 있다. 이 때, 데이터 윈도우의 길이는 각 영상 프레임 개선시마다 점진적으로 감소되기 때문에 데이터 윈도우의 길이가 데이터 윈도우의 최소 길이에 도달할 때까지 각 영상 프레임 개선시마다 수행될 수 있다. 이 때, 초음파 영상 개선은 이전에 반복 필터링된 영상 프레임과 감소된 길이의 데이터 윈도우에 의해 개선된 초음파 영상을 반복 필터링 처리함으로써 수행될 수 있다.

다음으로, 이미징 소나의 동작 단계가 변경되는지를 판단하여(단계 S404), 이미징 소나의 동작 단계가 변경되었다고 판단한 경우에는 단계 S402로 복귀하여 동작 단계의 판단을 다시 수행할 수 있다. 단계 S404의 판단 결과, 이미징 소나의 동작 단계가 변경되지 않았다고 판단한 경우에는 지속적으로 데이터 윈도우의 길이를 최소값까지 점진적으로 감소시키면서 트래킹에 대응하는 초음파 영상을 개선할 수 있다.

단계 S402의 판단 결과, 이미징 소나의 동작 단계가 록-온 단계라고 판단되면, 데이터 윈도우의 길이를 최대값까지 점진적으로 증가시키면서 이미징 소나의 상세 조사에 대응하는 초음파 영상을 개선할 수 있다(505). 즉, 이미징 소나의 록-온 동작 단계는 관심 대상 물체를 상세하게 조사하기 위해 이미징 소나가 고정되는 단계로서, 이러한 경우에는 상술한 바와 같이, 반복 필터링에 의해 개선되는 영상 프레임이 초음파 영상의 거의 변화가 없어 블러링이 발생하지 않기 때문에, 블러링보다는 스페클 잡음을 우선적으로 감소시키기 위해 반복 필터링을 위한 데이터 윈도우의 길이를 증가시킬 수 있다. 이 때, 데이터 윈도우의 길이는 각 영상 프레임 개선시마다 점진적으로 증가되기 때문에 데이터 윈도우의 길이가 데이터 윈도우의 최대 길이에 도달할 때까지 각 영상 프레임 개선시마다 수행될 수 있다. 이 때, 초음파 영상 개선은 이전에 반복 필터링된 영상 프레임과 증가된 길이의 데이터 윈도우에 의해 개선된 초음파 영상을 반복 필터링 처리함으로써 수행될 수 있다.

다음으로, 이미징 소나의 동작 단계가 변경되는지를 판단하여(단계 S406), 이미징 소나의 동작 단계가 변경되었다고 판단한 경우에는, 단계 S402로 복귀하여 동작 단계의 판단을 다시 수행할 수 있다. 단계 S406의 판단 결과, 이미징 소나의 동작 단계가 변경되지 않았다고 판단한 경우에는 지속적으로 데이터 윈도우의 길이를 최대값까지 점진적으로 감소시키면서 상세 조사에 대응하는 초음파 영상을 개선할 수 있다.

이와 같은 방법에 의해, 본 발명의 실시예에 따른 실시간 수중 초음파 영상 생성 방법은 급변하는 초음파 영상에서 발생하는 블러링을 감소시킬 수 있고, 따라서, 수중 초음파 영상 개선시 트래킹 성능을 실시간으로 향상시킬 수 있고, 또한, 이미징 소나 등을 이용한 수중 탐사시 상세 조사를 위한 록-온 동작뿐만 아니라 이미징 소나의 움직임이 많은 서칭 동작에서도 초음파 영상 개선에 적용할 수 있다.

이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.

100 : 실시간 수중 초음파 영상 개선 장치 110 : 영상 획득부
120 : 영상 개선부 130 : 윈도우 조정부
200 : 무인 수중 잠수정 210 : 제어부
220 : 구동부

Claims

이미징 소나의 록-온 동작 및 서치 동작의 초음파 영상 개선 방법으로서,
유한 길이의 데이터 윈도우로 이전의 영상 프레임들을 반복 필터링(recursive filtering)하는 단계- 상기 반복 필터링은 획득된 각 영상 프레임에 적응적으로 가중치를 부여한 후 이들을 평균함- ;
상기 이전의 반복 필터링된 영상 프레임과 반복 필터링을 수행하기 위한 현재의 초음파 영상을 획득하는 단계;
상기 획득된 현재의 초음파 영상이 급변하는지를 판단하는 단계;
상기 획득된 현재의 초음파 영상이 급변하는 경우, 상기 서치 동작의 트래킹 성능을 향상시키도록 이전의 반복 필터링에 이용된 데이터 윈도우의 길이가 상기 유한 길이의 데이터 윈도우의 최소 길이보다 큰 경우에만 상기 이전의 데이터 윈도우의 길이를 감소시키고, 상기 획득된 현재의 초음파 영상이 급변하지 않는 경우, 상기 록-온 동작의 잡음 제거 성능을 강화하도록 상기 이전의 데이터 윈도우의 길이가 상기 유한 길이의 데이터 윈도우의 최대 길이보다 작은 경우에만 상기 이전의 데이터 윈도우의 길이를 증가시키도록 조정하는 단계- 상기 최소 길이는 2 이상임 -; 및
상기 조정된 데이터 윈도우로 상기 이전의 반복 필터링된 영상 프레임과 상기 획득된 현재의 초음파 영상을 반복 필터링하여 현재의 초음파 영상을 개선하는 단계;를 포함하는, 실시간 수중 초음파 영상 개선 방법.
제 1 항에 있어서,
상기 반복 필터링하는 단계는 RLS(Recursive Least Squares) 알고리즘 또는 칼만 필터링(Kalman Filtering)을 이용하는, 실시간 수중 초음파 영상 개선 방법.
제 1 항에 있어서,
상기 판단하는 단계는 상기 획득된 현재의 초음파 영상과 상기 이전의 반복 필터링된 영상 프레임의 초음파 영상을 비교하여 그 차이에 따라 상기 획득된 초음파 영상의 급변 여부를 판단하는, 실시간 수중 초음파 영상 개선 방법.
제 1 항에 있어서,
상기 판단하는 단계는 상기 획득된 현재의 초음파 영상의 추정 에러가 일정 값 이상이면 상기 획득된 현재의 초음파 영상이 급변한다고 판단하는, 실시간 수중 초음파 영상 개선 방법.
제 4 항에 있어서,
상기 추정 에러는 평균 제곱 에러(mean square error; MSE)인, 실시간 수중 초음파 영상 개선 방법.
삭제
삭제
제 1 항에 있어서,
상기 조정하는 단계는 상기 이전의 영상 프레임들의 다운데이트(downdate) 및 업데이트(update) 동작에 의해 상기 유한 길이의 데이터 윈도우의 길이를 조정하는, 실시간 수중 초음파 영상 개선 방법.
이미징 소나의 록-온 동작 및 서치 동작의 초음파 영상 개선 방법으로서,
유한 길이의 데이터 윈도우로 이전의 영상 프레임들을 반복 필터링(recursive filtering)하는 단계- 상기 반복 필터링은 획득된 각 영상 프레임에 적응적으로 가중치를 부여한 후 이들을 평균함- ;
상기 이전의 반복 필터링된 영상 프레임과 반복 필터링을 수행하기 위한 현재의 초음파 영상을 획득하는 단계;
상기 현재의 초음파 영상을 획득한 상기 이미징 소나의 동작 단계를 판단하는 단계;
상기 이미징 소나가 서칭 단계(searching phase)이면, 상기 서칭 동작의 트래킹 성능을 향상시키도록 이전의 반복 필터링에 이용된 데이터 윈도우의 길이로부터 상기 유한 길이의 데이터 윈도우의 최소값까지 점진적으로 감소시키면서 상기 감소된 길이의 상기 데이터 윈도우로 상기 이전의 반복 필터링된 영상 프레임과 상기 획득된 현재의 초음파 영상을 반복 필터링하여 상기 이미징 소나의 트래킹에 대응하는 초음파 영상을 개선하는 단계- 상기 최소값은 2이상임 - ; 및
상기 이미징 소나가 록-온 단계(lock-on phase)이면, 상기 록-온 동작의 잡음 제거 성능을 강화하도록 상기 이전의 데이터 윈도우의 길이로부터 상기 유한 길이의 데이터 윈도우의 최대값까지 점진적으로 증가시키면서 상기 증가된 길이의 상기 데이터 윈도우로 상기 이전의 반복 필터링된 영상 프레임과 상기 획득된 현재의 초음파 영상을 반복 필터링하여 상기 이미징 소나의 상세 조사에 대응하는 초음파 영상을 개선하는 단계를 포함하는, 실시간 수중 초음파 영상 개선 방법.
삭제
삭제
제 9 항에 있어서,
상기 판단하는 단계는 상기 이미징 소나가 장착된 무인 수중 잠수정(autonomous underwater vehicle; AUV)으로부터의 상기 이미징 소나의 이동을 감지하는 감지 신호를 기초로 상기 동작 단계를 판단하는, 실시간 수중 초음파 영상 개선 방법.
이미징 소나의 록-온 동작 및 서치 동작의 초음파 영상 개선 장치로서,
유한 길이의 데이터 윈도우로 이전의 영상 프레임들을 반복 필터링하여 초음파 영상을 개선하는 영상 개선부 - 상기 반복 필터링은 획득된 각 영상 프레임에 적응적으로 가중치를 부여한 후 이들을 평균함-; 및
상기 이전의 반복 필터링된 영상 프레임과 반복 필터링을 수행하기 위한 현재의 초음파 영상을 획득하는 영상 획득부;
상기 획득된 현재의 초음파 영상이 급변하는지를 판단하여, 상기 획득된 현재의 초음파 영상이 급변하는 경우, 상기 서치 동작의 트래킹 성능을 향상시키도록 이전의 반복 필터링에 이용된 데이터 윈도우의 길이가 상기 유한 길이의 데이터 윈도우의 최소 길이보다 큰 경우에만 상기 이전의 데이터 윈도우의 길이를 감소시키고, 상기 획득된 현재의 초음파 영상이 급변하지 않는 경우, 상기 록-온 동작의 잡음 제거 성능을 강화하도록 상기 이전의 데이터 윈도우의 길이가 상기 유한 길이의 데이터 윈도우의 최대 길이보다 작은 경우에만 상기 이전의 데이터 윈도우의 길이를 증가시키도록 조정하는 윈도우 조정부- 상기 최소 길이는 2 이상임-;를 포함하고,
상기 영상 개선부는 상기 조정된 데이터 윈도우로 상기 이전의 반복 필터링된 영상 프레임과 상기 획득된 현재의 초음파 영상을 반복 필터링하여 현재의 초음파 영상을 개선하는, 실시간 수중 초음파 영상 개선 장치.
제 13 항에 있어서,
상기 영상 개선부는 RLS 알고리즘 또는 칼만 필터링을 이용하여 상기 반복 필터링을 수행하는, 실시간 수중 초음파 영상 개선 장치.
제 13 항에 있어서,
상기 윈도우 조정부는 상기 획득된 현재의 초음파 영상과 상기 이전의 반복 필터링된 영상 프레임의 초음파 영상을 비교하여 그 차이에 따라 상기 획득된 초음파 영상의 급변 여부를 판단하는, 실시간 수중 초음파 영상 개선 장치.
삭제
삭제
제 13 항에 있어서,
상기 윈도우 조정부는 현재의 동작 단계를 판단하여, 상기 동작 단계가 서칭 단계이면, 상기 유한 길이의 데이터 윈도우의 길이를 점진적으로 감소시키고, 록-온 단계이면, 상기 유한 길이의 데이터 윈도우의 길이를 점진적으로 증가시키는, 실시간 수중 초음파 영상 개선 장치.
제 18 항에 있어서,
상기 윈도우 조정부는 무인 수중 잠수정(AUV)으로부터의 이동을 감지하는 감지 신호를 기초로 상기 동작 단계를 판단하는, 실시간 수중 초음파 영상 개선 장치.