KR102060656B1 - 소나 영상의 잡음을 제거하는 장치 및 방법 - Google Patents

소나 영상의 잡음을 제거하는 장치 및 방법 Download PDF

Info

Publication number
KR102060656B1
KR102060656B1 KR1020180083101A KR20180083101A KR102060656B1 KR 102060656 B1 KR102060656 B1 KR 102060656B1 KR 1020180083101 A KR1020180083101 A KR 1020180083101A KR 20180083101 A KR20180083101 A KR 20180083101A KR 102060656 B1 KR102060656 B1 KR 102060656B1
Authority
KR
South Korea
Prior art keywords
sonar
image
noise
input image
patches
Prior art date
Application number
KR1020180083101A
Other languages
English (en)
Inventor
안재균
김성일
진영생
고한석
구본화
신현학
이강휴
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020180083101A priority Critical patent/KR102060656B1/ko
Application granted granted Critical
Publication of KR102060656B1 publication Critical patent/KR102060656B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명의 일 실시예에 따른 소나 영상의 잡음을 제거하는 장치는, 소나 영상을 수신하는 영상 수신부 - 소나 영상은 소정 크기의 입력 영상 패치들을 포함함 - 와, 입력 영상 패치에 대한 특징 벡터의 공분산 행렬에 기초하여 입력 영상 패치들을 복수개의 그룹으로 분류하여 센싱 행렬을 연산하는 국부(local) 모델링부와, 공분산 행렬 간의 유사도에 기초하여 희소 계수(sparse coefficients)에 대한 가중치를 계산하는 비국부 모델링부와, 가중치를 이용하여 희소 계수를 산출하는 희소 계수 산출부와, 연산된 센싱 행렬과 산출된 희소 계수에 기초하는 압축 센싱 기법을 이용하여, 소나 영상의 잡음을 제거하는 영상 복원부를 포함한다.

Description

소나 영상의 잡음을 제거하는 장치 및 방법{APPARATUS AND METHOD FOR DENOISING SONAR IMAGES}
본 발명은 소나(sonar) 영상의 잡음을 제거하는 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 발명은 소나 영상의 비균일(non-homogenous) 잡음을 제거하는 장치 및 방법에 관한 것이다.
측면 주사 소나(side scan sonar)('측면 주사 음파 탐지기'라고도 함)는 소나가 이동하는 방향의 좌우측면으로 음파 펄스를 방사하여 해저면 등에서 반향된 음파를 수신하여 반향된 음파의 수신 시간, 음압, 진폭 등으로부터 수상 영상을 얻는 장치를 말한다.
측면 주사 소나 영상의 화질은 소나 운용 주파수의 영향을 받는다. 저주파 측면 주사 소나는 고주파 측면 주사 소나 보다 넓은 영역을 탐색할 수는 있지만, 저해상도 및 잡음으로 인해 저화질 영상을 취득하게 되고, 해양 환경에 의한 신호 간섭, 장비 소음 등에 의해 측면 주사 소나 데이터의 잡음이 발생한다. 또한, 원거리로부터의 수신파는 에너지 값이 낮기 때문에, 측면 주사 소나는 원거리의 미약한 신호를 보상하고자 시간에 따라 반향 신호를 증폭하는 이득을 조절하는 시간변환이득(Time-Varied Gain, TVG) 과정을 수행한다. 그러나, 균일한 잡음을 가정하는 광학 영상과 달리, TVG 로 인해, 센서와 먼 곳에서 반향된 신호는 근거리 반향 신호에 비해 잡음의 강도가 높게 되어 결과적으로 측면 주사 소나 영상에 비균일(non-homogenous) 잡음이 발생한다.
한편, 신호의 희소성(sparsity)에 기반한 압축 센싱 기술은, 적은 수의 기저 신호를 결합하여 원 신호를 표현하는 방법으로 영상 잡음 제거 분야에서 연구되어 오고 있으며, 센싱 행렬과 희소 계수의 선형 결합으로 신호를 복원한다.
압축 센싱 기술에서 센싱 행렬과 희소 계수를 구하는 방법으로 K-means 클러스터링 기반의 K-SVD 기법이 알려져 있다. K-SVD 기법은 matching pursuit 방식을 이용하여 희소 계수를 계산하며, 센싱 행렬은 SVD(Singular Value Decomposition) 방식으로 훈련한다. 그리고, 희소 계수와 센싱 행렬을 반복적으로 번갈아 훈련하면서 최적화된 해를 구하게 된다. 그러나 K-SVD 기법은 해를 구하는 시간이 오래 걸리는 단점이 존재하며 over-smoothing 효과가 발생하여 영상의 미세 구조들이 손실되기 쉬운 단점이 있다.
또한, K-SVD 기법 이외에도, Non-local Mean(NLM) 기법과 Clustering-based Sparse Representation(CSR) 기법이 활용되고 있다.
그러나, 이러한 기존의 종래 기법들은 측면 주사 소나 영상과 같은 비균일 잡음 환경에서는 under-smoothing 및 over-smoothing 문제가 동시에 발생하는 문제가 존재하였다.
따라서, 측면 주사 소나 영상에서 비균일 잡음을 제거하면서도 해저면 텍스처를 보존하는 잡음 제거 방법이 필요하다.
한국공개특허공보 제2017-0055330호 (2017년 5월 19일 공개)
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 소나 영상의 비균일 잡음을 제거하는 소나 영상의 잡음 제거 장치 및 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 바로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 소나 영상의 잡음을 제거하는 장치는, 소나 영상을 수신하는 영상 수신부 - 상기 소나 영상은 소정 크기의 입력 영상 패치들을 포함함 - 와, 입력 영상 패치에 대한 특징 벡터의 공분산 행렬에 기초하여 상기 입력 영상 패치들을 복수개의 그룹으로 분류하여 센싱 행렬을 연산하는 국부(local) 모델링부와, 상기 공분산 행렬 간의 유사도에 기초하여 희소 계수(sparse coefficients)에 대한 가중치를 계산하는 비국부 모델링부와, 상기 가중치를 이용하여 상기 희소 계수를 산출하는 희소 계수 산출부와, 상기 연산된 센싱 행렬과 상기 산출된 희소 계수에 기초하는 압축 센싱 기법을 이용하여, 상기 소나 영상의 잡음을 제거하는 영상 복원부를 포함한다.
또한, 상기 국부 모델링부는, K-means 군집화 알고리즘을 이용하여 상기 입력 영상 패치들을 상기 복수개의 그룹으로 분류하고, 각 그룹 내의 패치들에 대해 주 성분 분석(PCA; Principle Component Analysis)을 수행하여 상기 센싱 행렬을 연산할 수 있다.
또한, 상기 특징 벡터
Figure 112018070632281-pat00001
는
Figure 112018070632281-pat00002
로 정의될 수 있고, 여기서,
Figure 112018070632281-pat00003
는 입력 영상,
Figure 112018070632281-pat00004
는 화소 i 에서의 intensity,
Figure 112018070632281-pat00005
는 화소 i 에서의 x 방향의 gradient,
Figure 112018070632281-pat00006
는 화소 i 에서의 y 방향의 gradient,
Figure 112018070632281-pat00007
는 화소 i 에서의 Local Binary Pattern 이다.
또한, 상기 특징 벡터의 공분산 행렬
Figure 112018070632281-pat00008
는
Figure 112018070632281-pat00009
로 정의될 수 있고, 여기서,
Figure 112018070632281-pat00010
는 입력 영상 패치,
Figure 112018070632281-pat00011
은 입력 영상 패치 영역의 크기,
Figure 112018070632281-pat00012
는
Figure 112018070632281-pat00013
의 평균 벡터이다.
또한, 상기 공분산 행렬 간의 유사도는 상기 공분산 행렬간 거리에 따라 결정되며, 상기 공분산 행렬간 거리
Figure 112018070632281-pat00014
는
Figure 112018070632281-pat00015
로 정의될 수 있다.
또한, 상기 비국부 모델링부는, 상기 입력 영상 패치와 소나 사이의 거리에 기초하여, 상기 가중치를 보정할 수 있다.
또한, 상기 잡음은 비균일(non-homogeneous) 잡음을 포함할 수 있다.
본 발명의 다른 일 실시예에 따른, 소나 영상의 잡음을 제거하는 방법은, 소나 영상을 수신하는 단계 - 상기 소나 영상은 소정 크기의 입력 영상 패치들을 포함함 - 와, 입력 영상 패치에 대한 특징 벡터의 공분산 행렬에 기초하여 상기 입력 영상 패치들을 복수개의 그룹으로 분류하여 센싱 행렬을 연산하는 단계와, 상기 공분산 행렬 간의 유사도에 기초하여 희소 계수(sparse coefficients)에 대한 가중치를 계산하는 단계와, 상기 계산된 가중치를 이용하여, 상기 희소 계수를 산출하는 단계와, 상기 연산된 센싱 행렬과 상기 산출된 희소 계수에 기초하는 압축 센싱 기법을 이용하여, 상기 소나 영상의 잡음을 제거하는 단계를 포함한다.
또한, 상기 가중치를 계산하는 단계는, 상기 입력 영상 패치와 소나 사이의 거리에 기초하여, 상기 가중치를 보정하는 단계를 포함할 수 있다.
본 발명의 실시예에 의하면, 소나 영상의 구조적 특징 도메인에서 국부적 모델링 및 비국부적 모델링을 동시에 구현하여 계수의 희소성을 보장하면서 비국부적 자가 유사성을 강화하는 기술적인 구성으로 인해, 측면 주사 소나 영상의 비균일 잡음을 제거할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 소나 영상 잡음 제거 장치의 블록도이다.
도 2는 종래의 K-SVD 기법, CSR 기법과 대비하여 본 발명의 일 실시예에 따른 소나 영상 잡음 제거 기법의 우수성을 보여주는 도면이다.
도 3은 동일한 잡음 환경에서 다양한 측면 주사 소나 영상에 대해 종래의 K-SVD 기법, CSR 기법, 본 발명의 일 실시예에 따른 소나 영상 잡음 제거 기법의 비균일 잡음제거를 수행한 결과를 대비한 대비표이다.
도 4는 본 발명의 일 실시예에 따른 소나 영상 잡음 제거 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 사용되는 '…부', '…기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 소나 영상 잡음 제거 장치(1)의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 소나 영상의 잡음을 제거하는 장치(1)는, 소나 영상을 수신하는 영상 수신부(100)와, 입력 영상 패치들 사이의 구조적 특징(예컨대, 입력 영상 패치에 대한 특징 벡터)의 공분산 행렬에 기초하여 입력 영상 패치들을 복수개의 그룹으로 분류하여 센싱 행렬을 연산하는 국부(local) 모델링부(200)와, 입력 영상 패치들 사이의 구조적 특징(예컨대, 입력 영상 패치에 대한 특징 벡터)의 공분산 행렬들 사이의 유사도에 기초하여, 희소 계수(sparse coefficients)에 대한 가중치를 계산하는 비국부 모델링부(300)와, 계산된 가중치를 이용하여 희소 계수를 산출하는 희소 계수 산출부(400)와, 연산된 센싱 행렬과 산출된 희소 계수에 기초하는 압축 센싱 기법을 이용하여 소나 영상의 잡음을 제거하는 영상 복원부(500)를 포함할 수 있다.
소나(도시되지 않음)는 방사 음파 펄스의 반사파 신호를 이용하여 수중 소나 영상을 만들고, 이 수중 소나 영상은 영상 수신부(100)에 입력 영상으로서 입력된다. 소나 영상(입력 영상)은 소정 크기의 입력 영상 패치들로 구분될 수 있다. 본 발명의 일 실시예에서, 입력 영상은 측면 주사 소나를 이용하여 획득된 소나 영상이고, 입력 영상 패치는 7x7 화소 크기를 가질 수 있으나, 이에 제한되는 것은 아니다.
한편, 입력 영상 패치의 특징 벡터는 입력 영상 패치의 구조적 특징에 기초하여 [수학식 1]로 정의될 수 있다.
[수학식 1]
Figure 112018070632281-pat00016
여기서,
Figure 112018070632281-pat00017
는 입력 영상,
Figure 112018070632281-pat00018
는 화소 i 에서의 intensity,
Figure 112018070632281-pat00019
는 화소 i 에서의 x 방향의 gradient,
Figure 112018070632281-pat00020
는 화소 i 에서의 y 방향의 gradient,
Figure 112018070632281-pat00021
는 화소 i 에서의 Local Binary Pattern 를 의미한다. 특징 벡터에서의 gradient 는 영상의 에지 정보, LBP 는 텍스처 정보를 나타낼 수 있다.
그리고, 입력 영상 패치의 특징 벡터는 직접적으로 사용되지 않고 공분산(covariance) 행렬 descriptor 을 통해 재부호화하는 과정을 거칠 수도 있는데, 이 경우 특징 벡터의 공분산 행렬 descriptor 는 [수학식 2]와 같이 정의될 수 있다.
[수학식 2]
Figure 112018070632281-pat00022
여기서,
Figure 112018070632281-pat00023
는 입력 영상 패치,
Figure 112018070632281-pat00024
은 입력 영상 패치 영역의 크기,
Figure 112018070632281-pat00025
내의 특징 집합은
Figure 112018070632281-pat00026
으로 구성되며,
Figure 112018070632281-pat00027
는
Figure 112018070632281-pat00028
의 평균 벡터를 나타낸다.
국부 모델링부(200)는 입력 영상 패치의 특징 벡터의 공분산 행렬에 기초하여 입력 영상 패치들을 복수개의 그룹으로 분류하여 센싱 행렬을 훈련(연산)할 수 있다. 일 실시예에서, 국부 모델링부(200)는 입력 영상 패치에 대한 특징 벡터의 공분산 행렬을 K-means 군집화 알고리즘을 이용하여 K 개의 그룹으로 분류를 수행하여 그룹화(군집화)한 다음, 각 그룹별 패치들에 대해 주 성분 분석(PCA; Principle Component Analysis)을 수행하여 49x49 하위 센싱 행렬(즉, 서브 사전; sub-dictionary)을 생성하고, 생성된 하위 사전들을 연결하여 전체 센싱 행렬을 구성할 수 있다.
그리고, 비국부 모델링부(300)는 입력 영상 패치들 사이의 구조적 특징 거리(즉, 입력 영상 패치 특징 벡터의 공분산 행렬들 사이의 유사도)에 기초하여 패치들 사이의 유사성 정도를 판단하여 비국부 유사 패치를 검색하고, 희소 계수(sparse coefficients)에 대한 가중치를 계산할 수 있다.
이와 관련하여, 입력 패치의 공분산 행렬 descriptor는 일반적인 벡터 공간에 존재하지 않기 때문에 패치들 사이의 유사 정도를 측정하기 위해서는 적합한 metric 공간이 설정이 되어야 한다. 일 실시예에서는, 연산량 측면을 고려하여, 패치들 사이의 구조적 특징 거리를 [수학식 3]과 같이 공분산 행렬 간의 Frobenius norm을 이용한 유사도 측정 방식으로 정의할 수 있다.
[수학식 3]
Figure 112018070632281-pat00029
그리고, 패치의 가중치는 [수학식 3]에서 정의된, 패치들 사이의 구조적 특징 거리(유사도)에 기초하여 [수학식 4]와 같이 정의될 수 있다.
[수학식 4]
Figure 112018070632281-pat00030
여기서
Figure 112018070632281-pat00031
는 정규화 상수,
Figure 112018070632281-pat00032
는 감쇠상수,
Figure 112018070632281-pat00033
는 [수학식 3]에서 정의된 공분산 행렬간 유사도 정도를 나타내는 구조적 특징 거리이다. 가중치는 구조적 특징 거리가 작을수록 큰 값을 갖게 된다. 즉 패치가 유사할수록 높은 가중치를 갖게 된다.
또한, 비국부 모델링부(300)는, 측면 주사 소나 영상에서 TVG 로 인해 발생하는 거리에 따른 비균일 잡음을 제거하기 위하여, 가중치를 보정할 수도 있다. 측면 주사 소나 영상은 TVG 로 인해 소나 장비로부터 멀어질수록 잡음의 세기도 강해진다. 따라서 소나 장비로부터 먼 영역에서 검색된 유사 패치는 잡음 성분이 더욱 많이 존재할 가능성이 있다. 그러므로, 이를 고려하여, 본 발명의 일 실시예에서는, 패치의 위치 정보(예컨대, 패치로부터 소나 장비까지의 거리)에 기초하여 [수학식 5]와 같이 가중치를 보정할 수 있다.
[수학식 5]
Figure 112018070632281-pat00034
여기서
Figure 112018070632281-pat00035
는 정규화 상수,
Figure 112018070632281-pat00036
와
Figure 112018070632281-pat00037
는 감쇠상수,
Figure 112018070632281-pat00038
는 공분산 행렬간 유사도 정도를 나타내는 구조적 특징 거리를 나타낸다. 그리고,
Figure 112018070632281-pat00039
는 패치로부터 소나 장비까지의 거리를 의미하며 [수학식 6]과 같이 정의될 수 있다.
[수학식 6]
Figure 112018070632281-pat00040
여기서,
Figure 112018070632281-pat00041
는 센서로부터 화소 j 까지의 화소 수,
Figure 112018070632281-pat00042
는 장비 운행 방향과 수직한 방향에 대한 전체 화소 수를 나타낸다.
희소 계수 산출부(400)는 입력 영상 패치, 국부 모델링부(200)로부터 연산(훈련)된 센싱 행렬을 이용하여 희소 계수를 산출할 수 있다.
일 실시예에서, 희소 코딩(sparse coding)과 같은 압축 센싱 기반의 영상 복원 기법에서 희소 계수를 산출하기 위한 목적함수는 [수학식 7]에 의해 정의될 수 있다.
[수학식 7]
Figure 112018070632281-pat00043
여기서, y 는 7x7 입력 영상 패치, D 는 국부 모델링부(200)에 의해 훈련된 센싱 행렬(즉, 사전 행렬)(dictionary matrix),
Figure 112018070632281-pat00044
는 희소 계수,
Figure 112018070632281-pat00045
는
Figure 112018070632281-pat00046
의 최대한 많은 요소들을 0 으로 만들면서 (즉, 희소하게 만들면서)
Figure 112018070632281-pat00047
를 만족시키는
Figure 112018070632281-pat00048
의 추정값이고,
Figure 112018070632281-pat00049
는 상수를 나타낸다.
수학식 7의 목적 함수에서
Figure 112018070632281-pat00050
를 추정할 때 Fast iterative shrinkage thresholding (FISTA) 알고리즘을 이용할 수 있다. FISTA 알고리즘은 목적 함수의 조건을 만족시키는 최적의 희소 계수를 찾는 선형 역 문제에서 연산량을 줄이기 위한 방법이다.
전술한 과정을 통하여, 희소 계수 산출부(400)는 모든 입력 영상 패치에 대한 희소 계수를 얻은 후, 각 패치에 대해서 [수학식 5]에서 얻어진 가중치를 이용하여 [수학식 8]과 같이 유사 패치의 희소 계수의 가중 합을 통하여 최종 희소 계수
Figure 112018070632281-pat00051
를 산출할 수 있다.
[수학식 8]
Figure 112018070632281-pat00052
여기서
Figure 112018070632281-pat00053
는 패치
Figure 112018070632281-pat00054
과 유사한 패치들의 인덱스 집합이다.
그 다음, 영상 복원부(500)는 [수학식 9]를 이용하여, 소나 영상의 비균일 잡음이 제거된 고해상도 영상 패치
Figure 112018070632281-pat00055
를 복원할 수 있다.
[수학식 9]
Figure 112018070632281-pat00056
도 2는 종래의 K-SVD 기법, CSR 기법과 대비하여 본 발명의 일 실시예에 따른 소나 영상 잡음 제거 기법의 우수성을 보여주는 도면이다.
입력 영상은 소나 장비가 영상 아래 부분에서 수평 방향으로 진행하면서 촬영된 영상이다. 따라서, 영상에서 비균일 잡음의 세기는 하단에서 상단으로 표준편차가 24부터 45로 비선형적으로 증가한다. 성능 지표로는 원본 영상과 복원 영상간의 화소값의 차이를 반영한 PSNR과 구조적 유사성을 반영하는 SSIM을 사용할 수 있다. 본 발명의 일 실시예에 따른 소나 영상 잡음 제거 방식의 기술이 성능 지표 면에서 종래 기술에 비해 압도적으로 향상된 수치를 보이고 있음을 알 수 있다. 정성적 평가에서 종래 기술 KSVD는 잔존하는 잡음이 있으면서 over-smoothing 된 결과를 보여주고 있다. 그리고, 종래 기술 CSR은 영상 전체가 over-smoothing된 결과를 보여주고 있다. 이에 반해 본 발명의 일 실시예에 따른 소나 영상 잡음 제거 방식 기술은 잔존 잡음 및 해저면 텍스쳐 보존 정도가 기존 방법에 비해 우수한 모습을 보여주고 있다.
도 3은 동일한 잡음 환경에서 다양한 측면 주사 소나 영상에 대해 종래의 K-SVD 기법, CSR 기법, 본 발명의 일 실시예에 따른 소나 영상 잡음 제거 기법의 비균일 잡음제거를 수행한 결과를 대비한 대비표이다.
도 3의 대비표에서 알 수 있는 바와 같이, 본 발명의 일 실시예에 따른 소나 영상 잡음 제거 방식 기술이 PSNR/SSIM 성능 지표 측면에서 우수한 모습을 보여주고 있으며 처리 시간도 종래 기술 KSVD/CSR 보다 약 55초/5초 빠른 결과를 보이고 있음을 알 수 있다. 한편, 도 3에 표시된 대비표에서 세번째 영상 데이터에 대한 수치 결과는 도 2 에서의 수행결과를 보여주고 있다.
도 4는 본 발명의 일 실시예에 따른 소나 영상의 잡음 제거 방법의 흐름도이다.
먼저, 소나 영상 잡음 제거 장치(1)의 영상 수신부(100)는 소나 영상을 입력 영상으로서 수신한다(S410). 일 실시예에서, 소나 영상은 소정 크기의 입력 영상 패치들을 포함한다.
그 다음, 국부 모델링부(200)는 입력 영상 패치에 대한 특징 벡터의 공분산 행렬에 기초하여, 입력 영상 패치들을 복수개의 그룹으로 분류하여 센싱 행렬을 연산할 수 있다(S420).
또한, 비국부 모델링부(300)는 공분산 행렬 간의 유사도에 기초하여, 희소 계수(sparse coefficients)에 대한 가중치를 계산할 수 있다(S430).
그 다음, 희소 계수 산출부(400)는 계산된 가중치를 이용하여, 상기 희소 계수를 산출할 수 있다(S440).
그 다음, 영상 복원부(500)는 연산된 센싱 행렬과 산출된 희소 계수에 기초하는 압축 센싱 기법을 이용하여, 소나 영상의 잡음을 제거한다(S450).
상술한 소나 영상 잡음 제거 장치 및 방법은, 영상의 구조적 특징 도메인에서 국부적 모델링과 비국부적 모델링을 동시에 구현하여 계수의 희소성을 보장하면서 비국부적 자가 유사성을 강화하는 기술적인 구성으로 인해, 측면 주사 소나 영상의 비균일 잡음을 제거할 수 있다.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1: 소나 영상 복원 장치
100: 영상 수신부
200: 영상 분류부
300: 영상 복원부
400: 영상 출력부

Claims (9)

  1. 소나 영상의 잡음을 제거하는 장치로서,
    소나 영상을 수신하는 영상 수신부 - 상기 소나 영상은 소정 크기의 입력 영상 패치들을 포함함 - 와,
    입력 영상 패치에 대한 특징 벡터의 공분산 행렬에 기초하여, 상기 입력 영상 패치들을 복수개의 그룹으로 분류하여 센싱 행렬을 연산하는 국부(local) 모델링부와,
    상기 공분산 행렬 간의 유사도에 기초하여, 희소 계수(sparse coefficients)에 대한 가중치를 계산하는 비국부 모델링부와,
    상기 가중치를 이용하여, 상기 희소 계수를 산출하는 희소 계수 산출부와,
    상기 연산된 센싱 행렬과 상기 산출된 희소 계수에 기초하여, 상기 소나 영상의 잡음을 제거하는 영상 복원부를 포함하는
    소나 영상의 잡음 제거 장치.
  2. 제 1 항에 있어서,
    상기 국부 모델링부는,
    K-means 군집화 알고리즘을 이용하여 상기 입력 영상 패치들을 상기 복수개의 그룹으로 분류하고, 각 그룹 내의 패치들에 대해 주 성분 분석(PCA; Principle Component Analysis)을 수행하여 상기 센싱 행렬을 연산하는
    소나 영상의 잡음 제거 장치.
  3. 제 1 항에 있어서,
    상기 특징 벡터
    Figure 112018070632281-pat00057
    는
    Figure 112018070632281-pat00058

    로 정의되며,
    여기서,
    Figure 112018070632281-pat00059
    는 입력 영상,
    Figure 112018070632281-pat00060
    는 화소 i 에서의 intensity,
    Figure 112018070632281-pat00061
    는 화소 i 에서의 x 방향의 gradient,
    Figure 112018070632281-pat00062
    는 화소 i 에서의 y 방향의 gradient,
    Figure 112018070632281-pat00063
    는 화소 i 에서의 Local Binary Pattern 인
    소나 영상의 잡음 제거 장치.
  4. 제 3 항에 있어서,
    상기 특징 벡터의 공분산 행렬
    Figure 112018070632281-pat00064
    는
    Figure 112018070632281-pat00065

    로 정의되며, 여기서,
    Figure 112018070632281-pat00066
    는 입력 영상 패치,
    Figure 112018070632281-pat00067
    은 입력 영상 패치 영역의 크기,
    Figure 112018070632281-pat00068
    는
    Figure 112018070632281-pat00069
    의 평균 벡터인
    소나 영상의 잡음 제거 장치.
  5. 제 4 항에 있어서,
    상기 공분산 행렬 간의 유사도는 상기 공분산 행렬간 거리에 따라 결정되며,
    상기 공분산 행렬간 거리
    Figure 112018070632281-pat00070
    는
    Figure 112018070632281-pat00071

    로 정의되는
    소나 영상의 잡음 제거 장치.
  6. 제 5 항에 있어서,
    상기 비국부 모델링부는,
    상기 입력 영상 패치와 소나 장비 사이의 거리에 기초하여, 상기 가중치를 보정하는
    소나 영상의 잡음 제거 장치.
  7. 제 1 항에 있어서,
    상기 잡음은 비균일(non-homogeneous) 잡음을 포함하는
    소나 영상의 잡음 제거 장치.
  8. 소나 영상의 잡음을 제거하는 방법으로서,
    소나 영상을 수신하는 단계 - 상기 소나 영상은 소정 크기의 입력 영상 패치들을 포함함 - 와,
    입력 영상 패치에 대한 특징 벡터의 공분산 행렬에 기초하여, 상기 입력 영상 패치들을 복수개의 그룹으로 분류하여 센싱 행렬을 연산하는 단계와,
    상기 공분산 행렬 간의 유사도에 기초하여, 희소 계수(sparse coefficients)에 대한 가중치를 계산하는 단계와,
    상기 계산된 가중치를 이용하여, 상기 희소 계수를 산출하는 단계와,
    상기 연산된 센싱 행렬과 상기 산출된 희소 계수에 기초하여, 상기 소나 영상의 잡음을 제거하는 단계를 포함하는
    소나 영상의 잡음 제거 방법.
  9. 제 8 항에 있어서,
    상기 가중치를 계산하는 단계는
    상기 입력 영상 패치와 소나 장비 사이의 거리에 기초하여, 상기 가중치를 보정하는 단계를 포함하는
    소나 영상의 잡음 제거 방법.
KR1020180083101A 2018-07-17 2018-07-17 소나 영상의 잡음을 제거하는 장치 및 방법 KR102060656B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180083101A KR102060656B1 (ko) 2018-07-17 2018-07-17 소나 영상의 잡음을 제거하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180083101A KR102060656B1 (ko) 2018-07-17 2018-07-17 소나 영상의 잡음을 제거하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102060656B1 true KR102060656B1 (ko) 2019-12-30

Family

ID=69103014

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180083101A KR102060656B1 (ko) 2018-07-17 2018-07-17 소나 영상의 잡음을 제거하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102060656B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381725A (zh) * 2020-10-16 2021-02-19 广东工业大学 基于深度卷积对抗生成网络的图像修复方法及装置
KR102312938B1 (ko) * 2020-09-24 2021-10-14 국방과학연구소 소나 영상의 잡음을 제거하는 방법 및 장치
CN116563136A (zh) * 2023-03-27 2023-08-08 山东科技大学 一种侧扫声呐图像去噪方法、***、存储介质和执行***
CN117274702A (zh) * 2023-09-27 2023-12-22 湖南景为电子科技有限公司 一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013026669A (ja) 2011-07-15 2013-02-04 Tokyo Institute Of Technology ノイズ低減装置、ノイズ低減方法及びプログラム
KR101748074B1 (ko) 2016-03-23 2017-06-27 국방과학연구소 소나영상용 잡음제거 기법의 성능 향상을 위한 선택적 윤곽선 보존 방법
KR101753365B1 (ko) 2016-04-26 2017-07-03 가톨릭대학교 산학협력단 Ｎｏｎ－ｌｏｃａｌ ｍｅａｎｓ 방법을 이용한 효율적인 영상 잡음 제거 방법 및 장치
JP2018033886A (ja) 2016-09-02 2018-03-08 国立大学法人京都大学 光音響情報処理方法、光音響情報処理プログラムおよび光音響情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013026669A (ja) 2011-07-15 2013-02-04 Tokyo Institute Of Technology ノイズ低減装置、ノイズ低減方法及びプログラム
KR101748074B1 (ko) 2016-03-23 2017-06-27 국방과학연구소 소나영상용 잡음제거 기법의 성능 향상을 위한 선택적 윤곽선 보존 방법
KR101753365B1 (ko) 2016-04-26 2017-07-03 가톨릭대학교 산학협력단 Ｎｏｎ－ｌｏｃａｌ ｍｅａｎｓ 방법을 이용한 효율적인 영상 잡음 제거 방법 및 장치
JP2018033886A (ja) 2016-09-02 2018-03-08 国立大学法人京都大学 光音響情報処理方法、光音響情報処理プログラムおよび光音響情報処理装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102312938B1 (ko) * 2020-09-24 2021-10-14 국방과학연구소 소나 영상의 잡음을 제거하는 방법 및 장치
CN112381725A (zh) * 2020-10-16 2021-02-19 广东工业大学 基于深度卷积对抗生成网络的图像修复方法及装置
CN112381725B (zh) * 2020-10-16 2024-02-02 广东工业大学 基于深度卷积对抗生成网络的图像修复方法及装置
CN116563136A (zh) * 2023-03-27 2023-08-08 山东科技大学 一种侧扫声呐图像去噪方法、***、存储介质和执行***
CN116563136B (zh) * 2023-03-27 2024-03-15 山东科技大学 一种侧扫声呐图像去噪方法、***、存储介质和执行***
CN117274702A (zh) * 2023-09-27 2023-12-22 湖南景为电子科技有限公司 一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和***
CN117274702B (zh) * 2023-09-27 2024-03-29 湖南景为电子科技有限公司 一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和***

Similar Documents

Publication Publication Date Title
KR102060656B1 (ko) 소나 영상의 잡음을 제거하는 장치 및 방법
Wu et al. An effective approach for underwater sonar image denoising based on sparse representation
CN113238189A (zh) 基于阵列测量和稀疏先验信息的声源辨识方法、***
CN102542542A (zh) 基于非局部稀疏模型的图像去噪方法
Ravisankar et al. Acoustic image enhancement using Gaussian and Laplacian pyramid–a multiresolution based technique
JP2019194821A (ja) 目標認識装置、目標認識方法及びプログラム
Hasegawa et al. Image inpainting on the basis of spectral structure from 2-D nonharmonic analysis
Ashraf et al. Underwater ambient-noise removing GAN based on magnitude and phase spectra
Veerakumar et al. Context model based edge preservation filter for impulse noise removal
CN113935246A (zh) 一种信号鲁棒稀疏时频分析方法、终端设备及存储介质
Rixon Fuchs et al. Deep learning based technique for enhanced sonar imaging
Krishnan et al. A novel underwater image enhancement technique using ResNet
CN108319970B (zh) 基于压缩感知的声纳图像超分辨率重建目标跟踪和检测方法
Novikov et al. Local-adaptive blocks-based predictor for lossless image compression
Kondaveeti et al. Abridged shape matrix representation for the recognition of aircraft targets from 2D ISAR imagery
Somasekar et al. Feature extraction of underwater images by combining fuzzy C-means color clustering and LBP texture analysis algorithm with empirical mode decomposition
James et al. Mixed Noise Removal by Processing of Patches
KR102073297B1 (ko) 소나 영상 복원 장치 및 방법
Jiang et al. Research on multiplicative speckle noise denoising method of side-scan sonar image based on analysis sparse decomposition
JP5773935B2 (ja) シーンにおけるオブジェクトを分類する方法
KR20010074924A (ko) 신호 복구 방법
Lalos et al. Block based Spectral Processing of Dense 3D Meshes using Orthogonal Iterations.
Kiani et al. Two new methods based on contourlet transform for despeckling synthetic aperture radar images
Busson et al. Seismic shot gather noise localization using a multi-scale feature-fusion-based neural network
Mohan et al. Multi-core computer vision and image processing for intelligent applications

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant