KR102604114B1 - 딥러닝을 이용한 소나 영상내의 어류 검출 방법 - Google Patents

딥러닝을 이용한 소나 영상내의 어류 검출 방법 Download PDF

Info

Publication number
KR102604114B1
KR102604114B1 KR1020220006307A KR20220006307A KR102604114B1 KR 102604114 B1 KR102604114 B1 KR 102604114B1 KR 1020220006307 A KR1020220006307 A KR 1020220006307A KR 20220006307 A KR20220006307 A KR 20220006307A KR 102604114 B1 KR102604114 B1 KR 102604114B1
Authority
KR
South Korea
Prior art keywords
fish
image
deep learning
sonar
area
Prior art date
Application number
KR1020220006307A
Other languages
English (en)
Other versions
KR20230110861A (ko
Inventor
서호영
장덕종
정희택
정만기
유상덕
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020220006307A priority Critical patent/KR102604114B1/ko
Publication of KR20230110861A publication Critical patent/KR20230110861A/ko
Application granted granted Critical
Publication of KR102604114B1 publication Critical patent/KR102604114B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/96—Sonar systems specially adapted for specific applications for locating fish
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명은 제어 모듈과 딥러닝 모듈과 소나 센서 및 디스플레이 모듈을 포함하는 어류 검출 장치를 이용한 어류 검출 방법으로서, 상기 제어 모듈이 상기 소나 센서가 음파 펄스를 수신하여 생성하는 소나 영상을 캡쳐하여 어류를 포함하는 원본 이미지를 생성하는 원본 이미지 생성 단계와, 상기 딥러닝 모듈이 상기 원본 이미지에서 상기 어류가 존재하는 어류 영역을 레이블링하여 레이블드 이미지를 생성하는 레이블드 이미지 생성 단계와, 상기 딥러닝 모듈이 상기 원본 이미지에서 상기 어류 영역 및 상기 어류영역을 제외한 잔여 영역을 서로 다른 색상으로 표시하는 마스크를 생성하는 마스크 생성 단계와, 상기 딥러닝 모듈이 상기 레이블드 이미지와 상기 마스크를 이용하여 딥러닝 모델을 학습하는 딥러닝 모델 학습 단계와,
상기 제어 모듈이 상기 소나 센서가 촬영하는 소나 영상에 상기 딥러닝모델을 적용하여 어류를 검출하는 어류 검출 단계 및 검출된 상기 어류만을 포함하는 어류 검출 이미지를 표시하는 상기 디스플레이 모듈에 표시하는 어류 표시 단계를 포함하는 딥러닝을 이용한 소나 영상내의 어류 검출 방법을 개시한다.

Description

딥러닝을 이용한 소나 영상내의 어류 검출 방법{Method for Detecting Fish in Sonar Video using Deep Learning}
본 발명은 딥러닝을 이용하여 소나 영상내에서 어류를 검출하는 방법에 관한 것이다.
소나(sonar) 장치는 음파 펄스를 물을 통해 전송하고 음파 펄스가 어류, 식물, 또는 해저면과 같은 물체에 접촉한 후 반사되는 음파 펄스를 수신하면서 반사되는데 걸리는 시간을 측정하여 물체의 위치를 판단하게 된다. 또한, 소나 장치는 반사되는 음파 펄스의 강도를 측정하여 물체의 종류를 구분할 수 있다. 상기 소나 장치는 수신되는 음파 펄스에 의한 소자 이미지를 형성할 수 있다.
상기 어류는 대부분 소나 이미지 상에서 아치 형상으로 나타날 수 있다. 그 이유는 소나의 원뿔형 범위에서 어류의 양끝에서의 반사값이 중간 지점보다 거리가 멀기 때문이다. 또한, 상기 어류는 위치(또는 깊이)에 따라 소나 영상내에서 형상의 크기가 변하게 된다. 따라서, 상기 소나 영상내에서 어류의 크기(또는 종류)를 찾는 것에 주의해야 한다.
이미지 프로세싱 기법은 영상 전처리 기술과 특징점 추출을 통하여 물체 (어류)를 인식하는 방법이지만, 수면, 바닥, 벽면에서 반사되는 반사파에 의해 영상의 잡음이 심하여 안정적인 어류 검출을 어렵게 할 수 있다. 따라서, 다양한 기법을 적용하여 정확하게 어류를 검출하고자 하는 시도가 진행되고 있다. 상기 어류 검출에서 사용되는 기법으로 메디안 필터(Median filter)등으로 이미지에서 노이즈를 제거하여 물체 영역을 추출하는 필터 노이즈 제거 기법이 적용될 수 있다. 상기 필터 노이즈 제거 기법은 작은 노이즈의 제거에는 효과적이나,소나 이미지와 같이 노이즈가 클 경우는 영상 왜곡이 심해져 어류 검출에 오류가 발생할 수 있다.
본 발명은 소나 이미지에서 어류를 보다 안정적으로 검출할 수 있는 딥러닝을 이용한 소나 영상내의 어류 검출 방법을 제공하는 것을 목적으로 한다.
본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법은 제어 모듈과 딥러닝 모듈과 소나 센서 및 디스플레이 모듈을 포함하는 어류 검출 장치를 이용한 어류 검출 방법으로서, 상기 제어 모듈이 상기 소나 센서가 음파 펄스를 수신하여 생성하는 소나 영상을 캡쳐하여 어류를 포함하는 원본 이미지를 생성하는 원본 이미지 생성 단계와, 상기 딥러닝 모듈이 상기 원본 이미지에서 상기 어류가 존재하는 어류 영역을 레이블링하여 레이블드 이미지를 생성하는 레이블드 이미지 생성 단계와, 상기 딥러닝 모듈이 상기 원본 이미지에서 상기 어류 영역 및 상기 어류영역을 제외한 잔여 영역을 서로 다른 색상으로 표시하는 마스크를 생성하는 마스크 생성 단계와, 상기 딥러닝 모듈이 상기 레이블드 이미지와 상기 마스크를 이용하여 딥러닝 모델을 학습하는 딥러닝 모델 학습 단계와, 상기 제어 모듈이 상기 소나 센서가 촬영하는 소나 영상에 상기 딥러닝모델을 적용하여 어류를 검출하는 어류 검출 단계 및 검출된 상기 어류만을 포함하는 어류 검출 이미지를 표시하는 상기 디스플레이 모듈에 표시하는 어류 표시 단계를 포함하는 것을 특징으로 한다.
또한, 상기 딥러닝을 이용한 소나 영상내의 어류 검출 방법에서 상기 소나 영상은 바닥과 언덕을 포함하는 지형물 및 상기 어류를 포함하는 물체를 포함할 수 있다.
또한, 상기 레이블드 이미지 생성 단계는 시멘틱 세그멘테이션을 이용하여 상기 원본 이미지에서 모든 픽셀을 레이블링할 수 있다.
또한, 상기 마스크 생성 단계는 원본 이미지에 대하여 어류 영역에 대한 레이블을 이용하여 어류 영역에 대한 마스크를 생성할 수 있다.
또한, 상기 마스크 생성 단계에서 상기 마스크는 상기 어류 영역을 흰색으로 표시하고 상기 잔여 영역을 검은색으로 표시할 수 있다.
본 발명의 딥러닝을 이용한 원본 영상내의 어류 검출 방법은 소나 이미지로부터 생성되는 레이블드 이미지와 마스크드 시맨틱 세그멘테이션에 의한 마스크 이미지를 이용한 딥러닝에 기초하여 소나 이미지에서 어류를 검출하므로 주변 환경의 변화에 민감하지 않게 안정적으로 어류를 검출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 소나 영상내의 어류 검출 방법을 위한 어류 검출 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝을 이용한 소나 영상내의 어류 검출 방법에 대한 공정 순서도이다.
도 3은 본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법에서 생성되는 원본 이미지이다.
도 4는 본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법에서 생성되는 레이블된 이미지이다.
도 5은 본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법에서 생성되는 마스크 이미지이다.
이하에서 실시예와 첨부된 도면을 통하여 본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법에 대하여 보다 구체적으로 설명한다.
먼저, 본 발명의 일 실시예에 따른 어류 검출 방법을 위한 어류 검출 장치에 대하여 개략적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 어류 검출 장치를 위한 어류 검출 장치의 구성도이다.
상기 어류 검출 장치(100)는, 도 1을 참조하면, 제어 모듈(110)과 딥러닝 모듈(120)과 소나 센서(130) 및 디스플레이 모듈(140)을 포함할 수 있다. 상기 제어 모듈(110)과 딥러닝 모듈(120)은 일체로 형성될 수 있다.
상기 어류 검출 장치(100)는 본 발명의 일 실시예에 따른 어류 검출 방법에 적용될 수 있다.
상기 제어 모듈(110)은 어류 검출 방법의 각 단계를 제어할 수 있다. 상기 제어 모듈(110)은 딥러닝 모델 학습을 제어할 수 있다. 상기 제어 모듈(110)은 소나 센서(130)의 작동을 제어할 수 있다. 상기 제어 모듈(110)은 소나 센서(130)로부터 소나 영상에 대한 신호를 수신할 수 있다. 또한, 상기 제어 모듈(110)은 촬영되는 소나 영상에서 원본 이미지를 추출할 수 있다. 상기 제어 모듈(110)은 검출된 어류에 대한 어류 검출 이미지를 생성할 수 있다.
상기 제어 모듈(110)은 학습된 딥러닝 모델을 이용하여 촬영되는 소나 영상에서 실시간으로 어류 검출을 진행할 수 있다. 상기 제어 모듈(110)은 소나 영상을 실시간으로 분석하여 어류 검출을 진행할 수 있다. 또한, 상기 제어 모듈(110)은 실시간으로 어류 분류를 진행할 수 있다.
상기 제어 모듈(110)은 별도의 저장 장치를 구비할 수 있다. 상기 저장 장치는 소나 센서(130)에서 전송되는 소나 영상을 저장할 수 있다. 또한, 상기 저장 장치는 딥러닝 모델 학습에 필요한 제반 정보를 저장할 수 있다. 또한, 상기 저장 장치는 학습된 딥러닝 모델을 저장할 수 있다.
상기 딥러닝 모듈(120)은 딥러닝 모델 학습을 진행할 수 있다. 상기 딥러닝 모듈(120)은 제어 모듈(110)과 연동되며, 소나 영상을 수신할 수 있다. 상기 딥러닝 모듈(120)은 소나 영상에서 원본 이미지를 추출하고, 레이블링 이미지와 마스크를 생성할 수 있다. 또한, 상기 딥러닝 모듈(120)은 생성된 레이블링 이미지와 마스크를 이용하여 딥러닝 모델을 학습할 수 있다. 상기 딥러닝 모듈(120)은 학습된 딥러닝 모델을 제어 모듈(110)로 전송할 수 있다.
상기 소나 센서(130)는 바다 속에 위치하여 소나 영상을 위한 신호를 생성할 수 있다. 상기 소나 센서(130)는 음파 펄스를 물을 통해 전송하고, 어류, 식물, 또는 해저면과 같은 물체에 접촉한 후 반사되는 음파 펄스를 수신할 수 있다. 상기 소나 센서(130)는 수신되는 신호를 제어 모듈(110)로 전송할 수 있다. 상기 소나 센서(130)는 어류 검출에 사용되는 일반적인 센서로 형성될 수 있다. 상기 소나 센서(130)는 별도의 부유 장치(미도시)의 하단에 장착되어 수중에 위치할 수 있다.
상기 디스플레이 모듈(140)은 영상 또는 이미지를 생성할 수 있는 일반적인 장치로 생성할 수 있다. 상기 디스플레이 모듈(140)은 2개로 형성될 수 있다. 상기 디스플레이 모듈(140)은 소나 영상을 표시하는 디스플레이 모듈(140)과 어류 검출 이미지를 표시하는 디스플레이 모듈(140)로 형성될 수 있다.
다음은, 본 발명의 일 실시예에 따른 딥러닝을 이용한 소나 영상내의 어류 검출 방법에 대하여 설명한다.
도 2는 본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법에 대한 공정 순서도이다. 도 3은 본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법에서 생성되는 원본 이미지이다. 도 4는 본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법에서 생성되는 레이블된 이미지이다. 도 5는 본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법에서 생성되는 마스크 이미지이다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 소나 영상내의 어류 검출 방법은, 도 2 내지 도 5를 참조하면, 원본 이미지 생성 단계(S10)와 레이블드 이미지 생성 단계(S20)와 마스크 생성 단계(S30)와 딥러닝 모델 학습 단계(S40)와 어류 검출 단계(S50) 및 어류 표시 단계(S60)를 포함할 수 있다.
상기 어류 검출 방법은 도 1의 어류 검출 장치(100)를 이용할 수 있다. 상기 어류 검출 방법은 사전에 소나 센서(130)에 취득한 소자 영상의 소나 이미지에서 레이블드 이미지와 마스크를 생성하여 딥러닝 모델을 형성할 수 있다. 또한, 상기 어류 검출 방법은 딥러닝 모델을 학습하고, 딥러닝 모델에 기초하여 소자 장치에서 생성되는 소나 이미지에서 어류를 검출할 수 있다. 여기서, 상기 소나 영상은 소나 센서(130)에 의하여 생성되는 영상이며, 소나 이미지는 소나 영상에서 특정 시각에 선택되는 이미지일 수 있다.
상기 어류 검출 방법은 통상적으로 사용되는 세그멘테이션(segmentation)과 달리 마스크드 시멘틱 세그멘테이션(masked semantic segmentation)을 사용할 수 있다. 상기 어류 검출 방법은 마스크드 시멘틱 세그멘테이션을 이용하므로 소나 영상내에서 다른 특징들을 억제하고 검출하고자 하는 어류의 특징을 강화시켜 어류를 정확하고도 안정적으로 검출할 수 있도록 할 수 있다. 또한, 상기 소나 영상내의 어류 검출 방법은 어류의 특징만 추출 가능하므로 어류의 크기로 보정할 수 있으며, 어류의 분류도 가능할 수 있다. 따라서, 상기 소나 영상내의 어류 검출 방법은 음파 펄스의 반사파 강도에 관계없이 바다의 바닥면의 일부와 어류의 일부가 유사한 특징을 가지는 점에 따라 나타날 수 있는 검출 오류를 감소시킬 수 있다.
상기 어류 검출 방법은 다양한 어류에 대하여 적용될 수 있다. 상기 어류 검출 방법은 각 어류 별로 딥러닝 모델 학습이 진행되어 소나 이미지에 포함되어 있는 다양한 어류를 검출하는데 적용될 수 있다.
상기 원본 이미지 생성 단계(S10)는 소나 센서(130)가 음파 펄스를 수신하여 생성하는 소나 영상을 캡쳐하여 원본 이미지를 생성하는 단계이다. 상기 원본 이미지 생성 단계(S10)는 제어 모듈(110)에서 진행될 수 있다. 또는 상기 원본 이미지 생성 단계(S10)는 딥러닝 모듈(120)이 제어 모듈(110)로부터 소나 영상을 전송받아 원본 이미지를 생성할 수 있다. 상기 소나 센서(130)는 바다속에서 음파 펄스를 발사하고, 바닥 또는 언덕과 같은 지형물, 해초 또는 어류와 같은 물체에서 반사되는 음파 펄스를 수신하여 소나 영상을 생성할 수 있다. 상기 어류는 다양한 종류의 어류일 수 있으며, 소나 영상은 다양한 어류를 포함할 수 있다. 일 수 있다. 따라서, 상기 원본 이미지는 다양한 어류를 포함할 수 있다. 또한, 상기 원본 이미지는 어류별로 생성될 수 있다.
상기 소나 영상은 모니터와 같은 디스플레이 장치에 표시될 수 있다. 상기 원본 이미지는 소나 영상에서 어류가 포함되어 있는 이미지를 캡쳐하여 생성할 수 있다. 따라서, 상기 원본 이미지는 어류 영역과 함께 바닥 또는 언덕과 같은 지형물이 포함될 수 있다. 상기 원본 이미지는 물체 또는 지형물에 따라 다른 색상으로 표시될 수 있다. 또한, 상기 원본 이미지는 어류별로 다른 색상으로 표시될 수 있다.
상기 레이블드 이미지 생성 단계(S20)는 딥러닝 모듈(120)이 원본 이미지에서 어류 영역을 레이블링하여 레이블드(labled) 이미지를 생성하는 단계이다. 상기 원본 이미지는 상기에서 언급한 바와 같이, 어류와 함께 해초와 같은 물체 또는 언덕과 같은 지형물을 포함할 수 있다. 상기 레이블드 이미지 생성 단계(S20)는 시멘틱 세그멘테이션을 이용하여 원본 이미지에서 모든 픽셀을 레이블링할 수 있다. 상기 시멘틱 세그멘테이션은 컨볼루셔널 신경망(Convolutional Neural Network)을 사용하여 진행될 수 있다.
따라서, 상기 시멘틱 세그멘테이션은 픽셀 단위의 분류를 이용할 수 있다. 상기 시멘틱 세그멘테이션은 원본 이미지에 포함되어 있는 어류 영역을 레이블링할 수 있다. 상기 어류 영역은 어류가 위치하는 영역으로 소자 이미지에서 어류가 존재하는 영역이다. 또한, 상기 어류 영역은 각 어류별로 설정되어 레이블링할 수 있다.
상기 레이블드 이미지는, 도 3에서 보는 바와 같이, 어류에 대하여 경계선과 경계선 내의 색상을 갖는 어류 영역으로 표시할 수 있다. 상기 레이블드 이미지는 어류 영역과 어류 영역을 제외한 잔여 영역으로 구분될 수 있다. 상기 레이블드 이미지는 영상내의 다른 특징들이 모두 사라지고 어류의 특징만 남게 될 수 있다. 또한, 상기 레이블드 이미지는 각 어류별로 서로 다른 특징이 남게 될 수 있다. 따라서, 상기 레이블드 이미지를 이용하여 딥러닝 모델을 학습하게 되면, 주변 환경과 잡음을 한꺼번에 제거하고 어류의 특징을 검출할 수 있다.
상기 마스크 생성 단계(S30)는 딥러닝 모듈(120)이 원본 이미지에서 어류 영역과 나머지 잔여 영역을 서로 다른 색상으로 표시하는 마스크를 생성하는 단계이다. 상기 어류 영역은 소나 이미지에 따라 1개 또는 복수 개로 존재할 수 있다. 상기 마스크는 시멘틱 세그멘테이션에 의한 레이블드 이미지를 이용하여 생성될 수 있다. 상기 마스크 생성 단계(S30)는 원본 이미지에 대하여 어류 영역에 대한 레이블을 이용하여 어류 영역에 대한 마스크를 생성할 수 있다.
상기 마스크 생성 단계(S30)는 원본 이미지 내의 픽셀들중 분할 사전 정보의 분포 및 수치 등을 고려하여 각 픽셀 또는 복수의 픽셀들을 포함한 각 픽셀군들의 분할 사전 정보에 대한 신뢰도(confidence level)를 결정하고, 각 픽셀 별 또는 각 픽셀군 별 분할 사전 정보 및 신뢰도를 최종 분할 사전 정보를 설정할 때 함께 이용할 수 있다. 또한, 상기 마스크 생성 단계(S30)는 고려되는 어류 영역에 한하여 1의 값을 갖는 픽셀들을 마스크로 생성할 수 있다. 예를 들어, 상기 마스크 생성 단계(S30)는 영상내에 어류가 있는 경우, 마스크는 어류에 대응되는 마스크 영역을 1, 나머지 영역을 0의 값을 가지는 이미지를 생성할 수 있다. 상기 마스크는 어류를 흰색으로 표시하고 나머지 부분을 검은색으로 표시할 수 있다.
상기 딥러닝 모델 학습 단계(S40)는 딥러닝 모듈(120)이 레이블드 이미지와 마스크를 이용하여 딥러닝 모델을 학습하는 단계이다. 상기 딥러닝 모델 학습 단계(S40)는 소나 이미지에서 생성되는 레이블드 이미지와 마스크를 이용하여 소나 이미지에서 어류 검출을 위한 딥러닝 모델을 학습할 수 있다. 여기서 상기 딥러닝 모델 학습은 딥러닝에 사용되는 일반적인 인공신경망을 이용하여 학습을 진행할 수 있다. 따라서, 상기 딥러닝 학습 모델은 어류에 대한 학습된 딥러닝 모델을 형성할 수 있다. 상기 딥러닝 모델 학습 단계(S40)는 다양한 어류에 대하여 딥러닝 모델 학습을 진행할 수 있다.
상기 어류 검출 단계(S50)는 제어 모듈(110)이 소나 센서(130)가 촬영하는 소나 영상에 딥러닝 모델을 적용하여 소나 영상내의 어류를 검출하는 단계이다. 상기 어류 검출 단계(S50)는 실시간으로 촬영되는 소나 영상에서 소나 이미지를 캡쳐할 수 있다. 상기 어류 검출 단계(S50)는 캡쳐된 소나 이미지에 딥러닝 모델을 적용하여 소나 이미지에서 어류를 검출할 수 있다. 상기 어류 검출 단계(S50)는 복수개의 소나 이미지를 캡쳐하여 진행될 수 있다. 상기 어류 검출 단계(S50)는 복수 개의 소나 이미지를 소정 시간 간격으로 캡쳐하여 진행될 수 있다. 상기 어류 검출 단계(S50)는 학습된 딥러닝 모델을 이용하여 실시간으로 소나 영상에서 어류 검출을 진행할 수 있다. 또한, 상기 어류 검출 단계(S50)는 각 어류별로 진행될 수 있다.
상기 어류 표시 단계(S60)는 검출된 어류만을 포함하는 어류 검출 이미지를 표시하는 단계이다. 상기 어류 검출 이미지는 소나 이미지에서 검출되는 어류만을 포함할 수 있다. 상기 검출 어류 이미지는 어류를 흰색 또는 백색으로 표시하며, 배경을 다른 색으로 표시할 수 있다. 상기 어류 표시 단계(S60)는 어류 검출 이미지를 디스플레이 모듈(140)에 표시할 수 있다.
이상에서 설명한 것은 본 발명의 실시예에 따른 딥러닝을 이용한 소나 영상내의 어류 검출 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
100: 어류 검출 장치
110: 제어 모듈 120: 딥러닝 모듈
130: 소나 센서 140: 디스플레이 모듈

Claims (5)

  1. 제어 모듈과 딥러닝 모듈과 소나 센서 및 디스플레이 모듈을 포함하는 어류 검출 장치를 이용한 어류 검출 방법으로서,
    상기 제어 모듈이 상기 소나 센서가 음파 펄스를 수신하여 생성하는 소나 영상을 캡쳐하여 어류를 포함하는 원본 이미지를 생성하는 원본 이미지 생성 단계와,
    상기 딥러닝 모듈이 상기 원본 이미지에서 상기 어류가 존재하는 어류 영역을 레이블링하여 상기 어류에 대하여 경계선과 상기 경계선 내의 색상을 갖는 상기 어류 영역으로 표시하는 레이블드 이미지를 생성하는 레이블드 이미지 생성 단계와,
    상기 딥러닝 모듈이 상기 원본 이미지에서 상기 어류 영역 및 상기 어류영역을 제외한 잔여 영역을 서로 다른 색상으로 표시하는 마스크를 생성하는 마스크 생성 단계와,
    상기 딥러닝 모듈이 상기 레이블드 이미지와 상기 마스크를 이용하여 딥러닝 모델을 학습하는 딥러닝 모델 학습 단계와,
    상기 제어 모듈이 상기 소나 센서가 촬영하는 소나 영상에 상기 딥러닝모델을 적용하여 어류를 검출하는 어류 검출 단계 및
    검출된 상기 어류만을 포함하는 어류 검출 이미지를 표시하는 상기 디스플레이 모듈에 표시하는 어류 표시 단계를 포함하는 것을 특징으로 하는 딥러닝을 이용한 소나 영상내의 어류 검출 방법.
  2. 제 1 항에 있어서,
    상기 소나 영상은 바닥과 언덕을 포함하는 지형물 및 상기 어류를 포함하는 물체를 포함하는 것을 특징으로 하는 딥러닝을 이용한 소나 영상내의 어류 검출 방법.
  3. 제 1 항에 있어서,
    상기 레이블드 이미지 생성 단계는 시멘틱 세그멘테이션을 이용하여 상기 원본 이미지에서 모든 픽셀을 레이블링하는 것을 특징으로 하는 딥러닝을 이용한 소나 영상내의 어류 검출 방법.
  4. 제1항에 있어서,
    상기 마스크 생성 단계는 원본 이미지에 대하여 어류 영역에 대한 레이블을 이용하여 어류 영역에 대한 마스크를 생성하는 것을 특징으로 하는 딥러닝을 이용한 소나 영상내의 어류 검출 방법.
  5. 제1항에 있어서,
    상기 마스크는 상기 어류 영역을 흰색으로 표시하고 상기 잔여 영역을 검은색으로 표시하는 것을 특징으로 하는 딥러닝을 이용한 소나 영상내의 어류 검출 방법.
KR1020220006307A 2022-01-17 2022-01-17 딥러닝을 이용한 소나 영상내의 어류 검출 방법 KR102604114B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220006307A KR102604114B1 (ko) 2022-01-17 2022-01-17 딥러닝을 이용한 소나 영상내의 어류 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220006307A KR102604114B1 (ko) 2022-01-17 2022-01-17 딥러닝을 이용한 소나 영상내의 어류 검출 방법

Publications (2)

Publication Number Publication Date
KR20230110861A KR20230110861A (ko) 2023-07-25
KR102604114B1 true KR102604114B1 (ko) 2023-11-22

Family

ID=87428974

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220006307A KR102604114B1 (ko) 2022-01-17 2022-01-17 딥러닝을 이용한 소나 영상내의 어류 검출 방법

Country Status (1)

Country Link
KR (1) KR102604114B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117538880B (zh) * 2023-11-21 2024-07-05 广东省农业科学院动物科学研究所 一种判定养殖区杂鱼入侵的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008268183A (ja) * 2007-03-26 2008-11-06 Furuno Electric Co Ltd 水中探知装置
KR102005560B1 (ko) * 2018-09-04 2019-08-07 씨드로닉스(주) 객체 정보 획득 방법 및 이를 수행하는 장치
JP2019200175A (ja) * 2018-05-18 2019-11-21 古野電気株式会社 魚種推定システム、魚種推定方法、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5321667A (en) * 1993-04-27 1994-06-14 Raytheon Company Sonar systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008268183A (ja) * 2007-03-26 2008-11-06 Furuno Electric Co Ltd 水中探知装置
JP2019200175A (ja) * 2018-05-18 2019-11-21 古野電気株式会社 魚種推定システム、魚種推定方法、及びプログラム
KR102005560B1 (ko) * 2018-09-04 2019-08-07 씨드로닉스(주) 객체 정보 획득 방법 및 이를 수행하는 장치

Also Published As

Publication number Publication date
KR20230110861A (ko) 2023-07-25

Similar Documents

Publication Publication Date Title
CN109711295B (zh) 一种光学遥感图像近岸舰船检测方法
US9547909B2 (en) Image edge detection method and apparatus thereof, image target identification method and apparatus thereof
CN102879786B (zh) 一种针对水下障碍物的检测定位方法和***
US7221621B2 (en) System and method for identification and quantification of sonar targets in a liquid medium
US20150063651A1 (en) Image processing apparatus and image processing method
WO2018086233A1 (zh) 一种字符分割方法和装置、及元件检测方法和装置
US9990710B2 (en) Apparatus and method for supporting computer aided diagnosis
KR102604114B1 (ko) 딥러닝을 이용한 소나 영상내의 어류 검출 방법
US20200074187A1 (en) Lane line processing method and device
RU2018112646A (ru) Системы и способы обучения обнаружению листвы
CN105046258A (zh) 一种小目标探测声呐图像的目标检测方法及装置
CN115760820A (zh) 一种塑料件缺陷图像识别方法及应用
Cotter et al. Benchmarking sensor fusion capabilities of an integrated instrumentation package
CN102998001B (zh) 一种目标检测***
Madshaven et al. Hole detection in aquaculture net cages from video footage
CN110298236B (zh) 一种基于深度学习的盲文图像自动识别方法和***
CN113836985A (zh) 图像处理装置、图像处理方法和计算机可读存储介质
CN114332682B (zh) 一种海上全景去雾目标识别方法
CN115639536A (zh) 基于多传感器融合的无人船感知目标检测方法及装置
CN115578366A (zh) 农机无人驾驶摄像头脏污检测方法、***、介质及设备
Kulkarni et al. A feature based approach for localization of Indian number plates
KR102583686B1 (ko) 객체 검출 방법 및 장치
Kshetry Image preprocessing and modified adaptive thresholding for improving OCR
Ghobrial Fish detection automation from ARIS and DIDSON SONAR data
KR102673546B1 (ko) 선박 운항 데이터 처리 장치, 방법 및 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right