KR20230012271A - System and method for recognition of atypical obstacle system and computer-readable recording medium including the same - Google Patents

System and method for recognition of atypical obstacle system and computer-readable recording medium including the same Download PDF

Info

Publication number
KR20230012271A
KR20230012271A KR1020210092837A KR20210092837A KR20230012271A KR 20230012271 A KR20230012271 A KR 20230012271A KR 1020210092837 A KR1020210092837 A KR 1020210092837A KR 20210092837 A KR20210092837 A KR 20210092837A KR 20230012271 A KR20230012271 A KR 20230012271A
Authority
KR
South Korea
Prior art keywords
image
obstacle
surrounding environment
atypical
environment image
Prior art date
Application number
KR1020210092837A
Other languages
Korean (ko)
Other versions
KR102561793B1 (en
Inventor
이원혁
Original Assignee
대우조선해양 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대우조선해양 주식회사 filed Critical 대우조선해양 주식회사
Priority to KR1020210092837A priority Critical patent/KR102561793B1/en
Publication of KR20230012271A publication Critical patent/KR20230012271A/en
Application granted granted Critical
Publication of KR102561793B1 publication Critical patent/KR102561793B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B63B43/20—Feelers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B17/00—Vessels parts, details, or accessories, not otherwise provided for
    • B63B17/04—Stanchions; Guard-rails ; Bulwarks or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B45/00—Arrangements or adaptations of signalling or lighting devices
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a system and method for recognizing an atypical obstacle capable of recognizing an obstacle by filtering out a sea environment from an image of the surrounding environment of a ship. According to an embodiment of the present invention, a system for recognizing an atypical obstacle comprises: a plurality of photographing units for photographing the surroundings of a ship to form an image of the surrounding environment; and a server which forms an obstacle image by removing a sea image having a regular pattern from an image of the surrounding environment, and forms information on the moving direction and speed of the obstacle using the obstacle image.

Description

비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체{SYSTEM AND METHOD FOR RECOGNITION OF ATYPICAL OBSTACLE SYSTEM AND COMPUTER-READABLE RECORDING MEDIUM INCLUDING THE SAME}Irregular obstacle recognition system and method, computer readable recording medium on which a computer program for executing the method is recorded on a computer

본 발명은 비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는 선박의 주변 환경 영상에서 바다 환경을 필터링으로 제거하여 장애물을 인식할 수 있는 비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체에 관한 것이다.The present invention relates to an atypical obstacle recognition system and method, and a computer readable recording medium on which a computer program for executing the method is recorded on a computer. It relates to an atypical obstacle recognition system and method capable of recognizing an obstacle, and a computer readable recording medium on which a computer program for executing the method in a computer is recorded.

기존의 선박은 AIS(Auto Identification System), 레이더(RADAR) 등을 활용해 장애물 탐지를 수행한다. 그러나, AIS를 이용한 시스템은 탐지 불가능한 장애물이 존재하기 때문에 모든 장애물을 탐지할 수 없는 문제점이 있다. 또한, 레이더를 활용한 추적 시스템의 경우 탐지율이 높지만, 대형선박의 경우 구조적인 특성상 설치된 레이더가 탐지하기 어려운 사각지대가 존재하는 문제점이 있다.Existing ships use AIS (Auto Identification System) and radar (RADAR) to perform obstacle detection. However, a system using AIS has a problem in that it cannot detect all obstacles because undetectable obstacles exist. In addition, in the case of a tracking system using radar, the detection rate is high, but in the case of a large ship, there is a problem in that there is a blind spot that is difficult for the installed radar to detect due to structural characteristics.

한편, 다수의 레이더를 활용해 장애물 탐지의 사각지대를 없앨 수는 있지만, 비용적 문제 때문에 최근 카메라 영상을 활용한 장애물 탐지 시스템이 각광받고 있다.On the other hand, it is possible to eliminate blind spots in obstacle detection by using multiple radars, but an obstacle detection system using camera images has recently been in the spotlight due to cost issues.

그럼에도 불구하고, 영상 기반 장애물 탐지 기술은 탐지하고자 하는 장애물 형상에 의존한 나머지 정형화된 장애물 객체에 대해서만 탐지가 가능하고 비정형의 장애물에 대해서는 인식이 어렵다는 문제점이 있다.Nonetheless, the image-based obstacle detection technology has a problem in that it is possible to detect only standardized obstacle objects because it depends on the shape of the obstacle to be detected, and it is difficult to recognize irregular obstacles.

한국 공개특허공보 제10-2017-0089574호(선박의 장애물 관리 시스템 및 장애물 관리 방법, 2017.08.04.)Korean Patent Publication No. 10-2017-0089574 (Ship obstacle management system and obstacle management method, 2017.08.04.)

본 발명은 종래 장애물 형상을 통해 정형화된 장애물 객체를 탐지하는 방식과는 다르게, 선박의 주변 환경 영상에서 오히려 바다 환경을 필터링으로 제거하여 정형은 물론 비정형의 장애물까지도 인식할 수 있는 비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체를 제공한다.Unlike the conventional method of detecting a standardized obstacle object through the shape of an obstacle, the present invention is an atypical obstacle recognition system capable of recognizing not only structured but also atypical obstacles by filtering out the sea environment from the surrounding environment image of the ship, and Provided are a method and a computer readable recording medium on which a computer program for executing the method on a computer is recorded.

본 발명의 일 실시예에 따른 비정형 장애물 인식 시스템은, 선박 주변을 촬영하여 주변 환경 영상을 형성하는 촬영부; 및 상기 주변 환경 영상에서 규칙적인 패턴을 갖는 바다 영상을 제거하여 장애물 영상을 형성하고, 상기 장애물 영상을 이용하여 장애물의 이동 방향 및 속도 정보를 형성하는 서버를 포함한다.Atypical obstacle recognition system according to an embodiment of the present invention, a photographing unit for forming a surrounding environment image by photographing the surroundings of the ship; and a server for forming an obstacle image by removing a sea image having a regular pattern from the surrounding environment image, and forming movement direction and speed information of the obstacle using the obstacle image.

또한, 상기 촬영부는, 짐벌 구조물을 이용하여 상기 선박의 핸드레일(hand rail) 상부에 설치될 수 있다.In addition, the photographing unit may be installed above a hand rail of the ship using a gimbal structure.

또한, 상기 촬영부는, 카메라 화각을 고려하여 음영 지역이 발생하지 않도록 미리 설정된 간격으로 상기 선박의 선수, 선미, 좌현 및 우현 중 어느 하나 이상에 설치될 수 있다.In addition, the photographing unit may be installed on one or more of the bow, stern, port and starboard sides of the ship at preset intervals to prevent shadow areas from occurring in consideration of the angle of view of the camera.

또한, 상기 서버는, 시간 도메인 신호의 상기 주변 환경 영상을 주파수 도메인 신호로 변환하고, 상기 주파수 도메인 신호로 변환된 상기 주변 환경 영상을 기계 학습 알고리즘을 이용한 주파수 분석을 수행하여 상기 규칙적인 패턴을 갖는 바다 영상을 상기 주변 환경 영상으로부터 추출할 수 있다.In addition, the server converts the surrounding environment image of the time domain signal into a frequency domain signal, and performs frequency analysis on the surrounding environment image converted into the frequency domain signal using a machine learning algorithm to obtain the regular pattern. A sea image may be extracted from the surrounding environment image.

또한, 상기 서버는, 상기 주파수 도메인 신호로 변환된 상기 주변 환경 영상을 거리에 따른 가변형 마스크를 이용한 필터링을 수행하여 상기 주변 환경 영상에서 상기 규칙적인 패턴을 갖는 바다 영상을 제거할 수 있다.In addition, the server may remove the sea image having the regular pattern from the surrounding environment image by filtering the surrounding environment image converted into the frequency domain signal using a variable mask according to a distance.

또한, 상기 서버는, 상기 주변 환경 영상을 상기 선박으로부터의 거리에 따라서 클래스를 분류하고, 클래스별로 미리 설정된 임계값을 이용하여 상기 주변 환경 영상에 대한 블러링(blurring) 처리를 수행할 수 있다.In addition, the server may classify the surrounding environment image according to the distance from the ship, and perform a blurring process on the surrounding environment image using a threshold value preset for each class.

또한, 상기 서버는, 상기 장애물의 이동 방향 및 속도 정보를 이용하여 상기 장애물의 위험도를 산출하고, 산출된 상기 위험도가 임계값 이상일 경우 알람 신호를 형성할 수 있다.In addition, the server may calculate the risk of the obstacle using the movement direction and speed information of the obstacle, and generate an alarm signal when the calculated risk is greater than or equal to a threshold value.

본 발명의 다른 실시예에 따른 비정형 장애물 인식 방법은, 촬영부에 의해서, 선박 주변을 촬영하여 주변 환경 영상을 형성하는 단계; 서버에 의해서, 상기 주변 환경 영상에서 규칙적인 패턴을 갖는 바다 영상을 제거하여 장애물 영상을 형성하는 단계; 및 상기 서버에 의해서, 상기 장애물 영상을 이용하여 장애물의 이동 방향 및 속도 정보를 형성하는 단계를 포함한다.An atypical obstacle recognition method according to another embodiment of the present invention includes the steps of forming a surrounding environment image by photographing the surroundings of a ship by a photographing unit; forming, by a server, an obstacle image by removing a sea image having a regular pattern from the surrounding environment image; and forming moving direction and speed information of the obstacle using the obstacle image by the server.

또한, 상기 장애물의 이동 방향 및 속도 정보를 형성하는 단계 이후, 상기 장애물의 이동 방향 및 속도 정보를 이용하여 상기 장애물의 위험도를 산출하는 단계; 및 산출된 상기 위험도가 임계값 이상일 경우 알람 신호를 형성하는 단계를 더 포함할 수 있다.In addition, after the step of forming the moving direction and speed information of the obstacle, calculating the risk of the obstacle using the moving direction and speed information of the obstacle; and forming an alarm signal when the calculated risk level is greater than or equal to a threshold value.

또한, 상기 장애물 영상을 형성하는 단계는, 시간 도메인 신호의 상기 주변 환경 영상을 주파수 도메인 신호로 변환하는 단계; 및 상기 주파수 도메인 신호로 변환된 상기 주변 환경 영상을 기계 학습 알고리즘을 이용한 주파수 분석을 수행하여 상기 규칙적인 패턴을 갖는 바다 영상을 추출하는 단계를 더 포함할 수 있다.The forming of the obstacle image may include converting the surrounding environment image of a time domain signal into a frequency domain signal; and extracting the sea image having the regular pattern by performing frequency analysis using a machine learning algorithm on the surrounding environment image converted into the frequency domain signal.

또한, 상기 규칙적인 패턴을 갖는 바다 영상을 추출하는 단계는, 상기 주파수 도메인 신호로 변환된 상기 주변 환경 영상을 거리에 따른 가변형 마스크를 이용한 필터링을 수행하여 상기 주변 환경 영상에서 상기 규칙적인 패턴을 갖는 바다 영상을 제거하는 단계를 더 포함할 수 있다.In addition, in the step of extracting the sea image having the regular pattern, filtering the surrounding environment image converted into the frequency domain signal using a variable mask according to a distance is performed to obtain the regular pattern in the surrounding environment image. A step of removing the sea image may be further included.

또한, 상기 장애물 영상을 형성하는 단계는, 상기 주변 환경 영상을 상기 선박으로부터의 거리에 따라서 클래스를 분류하고, 클래스별로 미리 설정된 임계값을 이용하여 상기 주변 환경 영상에 대한 블러링(blurring) 처리를 수행하는 단계를 더 포함할 수 있다.In addition, the forming of the obstacle image may include classifying the surrounding environment image according to the distance from the ship, and performing a blurring process on the surrounding environment image using a threshold value preset for each class. It may further include steps to perform.

본 발명의 또 다른 실시예에 따른 컴퓨터 판독 가능한 기록 매체는, 전술한 비정형 장애물 인식 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된다.In a computer readable recording medium according to another embodiment of the present invention, a computer program for executing the above-described atypical obstacle recognizing method in a computer is recorded.

본 발명의 실시예들에 따르면, 바다 영상에서 정형 및/또는 비정형 장애물을 인식하는 종래 방식을 전환하여, 오히려 주변의 바다 형상 정보를 모두 제거하는 방법으로 장애물에 대한 인식 방법을 단일화시킬 수 있다. According to embodiments of the present invention, it is possible to unify the recognition method for obstacles by changing the conventional method of recognizing standard and/or irregular obstacles in a sea image and removing all surrounding sea shape information.

또한, 본 발명의 실시예들에 따르면 바다 형상 정보는 데이터를 수집하기 용이하므로 이미지 처리를 용이하게 수행할 수 있으므로, 장애물의 형상(정형 및/또는 비정형 여부)을 불문하고 선박 주변의 정형 및/또는 비정형의 장애물을 용이하게 검출할 수 있다.In addition, according to the embodiments of the present invention, since sea shape information is easy to collect data and image processing can be easily performed, regardless of the shape of the obstacle (formal and/or irregular), the shape and/or Alternatively, an atypical obstacle can be easily detected.

도 1은 본 발명의 실시예에 따른 비정형 장애물 인식 시스템의 구성을 보이는 예시도이다.
도 2는 본 발명의 실시예에 따른 촬영부의 구성을 보이는 예시도이다.
도 3은 본 발명의 실시예에 따른 바다 영상 추출을 위한 알고리즘을 설명하기 위한 개념도이다.
도 4는 본 발명의 실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 주변 환경 영상의 프로세싱 절차를 보이는 예시도이다.
도 6은 본 발명의 실시예에 따른 주변 환경 영상의 주파수 변환을 설명하기 위한 개념도이다.
도 7은 본 발명의 실시예에 따른 이미지 블러링 처리를 설명하기 위한 개념도이다.
도 8은 본 발명의 실시예에 따른 비정형 장애물 인식 방법의 절차를 보이는 흐름도이다.1 is an exemplary diagram showing the configuration of an atypical obstacle recognition system according to an embodiment of the present invention.
2 is an exemplary view showing the configuration of a photographing unit according to an embodiment of the present invention.
3 is a conceptual diagram for explaining an algorithm for extracting a sea image according to an embodiment of the present invention.
4 is a diagram for explaining learning of a neural network according to an embodiment of the present invention.
5 is an exemplary view showing a processing procedure of an image of a surrounding environment according to an embodiment of the present invention.
6 is a conceptual diagram illustrating frequency conversion of an image of a surrounding environment according to an embodiment of the present invention.
7 is a conceptual diagram for explaining image blurring processing according to an embodiment of the present invention.
8 is a flowchart showing a procedure of a method for recognizing irregular obstacles according to an embodiment of the present invention.

본 발명의 실시예들은 본 발명의 기술적 사상을 설명하기 위한 목적으로 예시된 것이다. 본 발명에 따른 권리범위가 이하에 제시되는 실시예들이나 이들 실시예들에 대한 구체적인 설명으로 한정되는 것은 아니다.Embodiments of the present invention are illustrated for the purpose of explaining the technical idea of the present invention. The scope of rights according to the present invention is not limited to the specific description of the embodiments or these embodiments presented below.

이하, 첨부한 도면들을 참조하여, 본 발명의 실시예들을 설명한다. 첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지 않는다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In the accompanying drawings, identical or corresponding elements are given the same reference numerals. In addition, in the description of the following embodiments, overlapping descriptions of the same or corresponding components may be omitted. However, omission of a description of a component does not mean that such component is not included in any embodiment.

도 1은 본 발명의 실시예에 따른 비정형 장애물 인식 시스템의 구성을 보이는 예시도이다.1 is an exemplary diagram showing the configuration of an atypical obstacle recognition system according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 비정형 장애물 인식 시스템(100)은, 다수의 촬영부(110), 서버(120), 네트워크(130), 데이터베이스(140) 등을 포함할 수 있다. 일 실시예에 따르면, 다수의 촬영부(110), 서버(120) 및 데이터베이스(140)는 네트워크(130)를 통해서 통신 가능하도록 연결될 수 있다.As shown in FIG. 1 , the atypical obstacle recognition system 100 may include a plurality of photographing units 110 , a server 120 , a network 130 , a database 140 , and the like. According to one embodiment, the plurality of photographing units 110, the server 120, and the database 140 may be communicatively connected through the network 130.

다수의 촬영부(110) 각각은, 선박(VE) 주변을 촬영하여 주변 환경 영상을 형성할 수 있다. 일 실시예에 따르면, 촬영부(110)는 카메라 화각을 고려하여 음영 지역이 발생하지 않도록 미리 설정된 간격으로 선박의 선수, 선미, 좌현 및/또는 우현에 설치될 수 있다. 예를 들어, 비정형 장애물 인식 시스템(100)은, 선박(VE)의 선수, 선미, 좌현, 우현에 복수의 카메라(예를 들어, 9대)가 설치되어 레이더(radar)의 음영 지역을 충분히 커버 가능하도록 설계할 수 있고, 각 카메라는 일반 시중에서 사용하는 CCTV(closed-circuit television) 카메라를 활용할 수 있기 때문에 개수가 늘어나도 비용적 측면에서 경쟁력을 가질 수 있다.Each of the plurality of photographing units 110 may form an image of the surrounding environment by photographing the surroundings of the vessel VE. According to one embodiment, the photographing unit 110 may be installed at the bow, stern, port, and/or starboard of the ship at preset intervals to prevent shadow areas from occurring in consideration of the angle of view of the camera. For example, in the atypical obstacle recognition system 100, a plurality of cameras (eg, 9 cameras) are installed at the bow, stern, port, and starboard sides of the vessel VE to sufficiently cover radar shade areas. Since each camera can utilize a commercially available closed-circuit television (CCTV) camera, it can be competitive in terms of cost even if the number increases.

서버(120)는 주변 환경 영상에서 규칙적인 패턴을 갖는 바다 영상을 제거하여 장애물 영상을 형성할 수 있다. 일 실시예에 따르면, 서버(120)는 시간 도메인 신호인 주변 환경 영상을 주파수 도메인 신호로 변환하고, 주파수 도메인의 주변 환경 영상을 딥러닝(Deep Learning)과 같은 기계학습 알고리즘을 이용한 주파수 분석을 수행하여 규칙적인 패턴을 갖는 바다 영상을 주변 환경 영상으로부터 추출할 수 있다. 예를 들어, 서버(120)는 주파수 도메인의 주변 환경 영상을 거리에 따른 가변형 마스크를 이용한 필터링을 수행하여 주변 환경 영상에서 규칙적인 패턴을 갖는 바다 영상을 제거할 수 있다. 즉, 서버(120)는 장애물을 탐지하는 것이 아닌 주변 환경 영상으로부터 바다 영상이라는 환경을 검출해 제거하고 이미지상에 잔류하는 데이터들을 모두 장애물로 판정하는 것으로, 장애물의 형상에 따른 영향을 받지 않고 손쉽게 모든 장애물을 탐지할 수 있다는 장점이 있다. 나아가, 잔류하는 데이터들(장애물 영상)에 대한 상대 속도를 측정하여, 동적/정적 장애물을 판별해 각 장애물에 대한 위험도를 평가해 선박의 안전한 운항을 지원할 수 있다.The server 120 may form an obstacle image by removing an image of the sea having a regular pattern from an image of the surrounding environment. According to an embodiment, the server 120 converts a time domain image of the environment into a frequency domain signal, and performs frequency analysis on the image of the environment in the frequency domain using a machine learning algorithm such as deep learning. Thus, a sea image having a regular pattern can be extracted from the surrounding environment image. For example, the server 120 may remove a sea image having a regular pattern from the surrounding environment image by filtering the frequency domain image of the surrounding environment using a variable mask according to a distance. That is, the server 120 does not detect obstacles, but detects and removes the environment of the sea image from the surrounding environment image, and determines that all data remaining on the image are obstacles, and is not affected by the shape of the obstacle. It has the advantage of being able to detect all obstacles. Furthermore, by measuring the relative speed for the remaining data (obstacle images), dynamic/static obstacles are identified, and the risk of each obstacle is evaluated to support safe navigation of the ship.

또한, 서버(120)는 장애물 영상을 이용하여 장애물의 이동 방향 및/또는 속도 정보를 형성할 수 있다. 일 실시예에 따르면, 서버(120)는 장애물의 이동 방향 및 속도 정보를 이용하여 장애물의 위험도를 산출하고, 산출된 위험도가 임계값 이상일 경우 알람 신호를 형성하여 선박(VE)에 탑승한 선원 등에게 알릴 수 있다.In addition, the server 120 may form movement direction and/or speed information of the obstacle using the obstacle image. According to an embodiment, the server 120 calculates the risk of the obstacle using the moving direction and speed information of the obstacle, and forms an alarm signal when the calculated risk is greater than a threshold value, such as crew members aboard the vessel VE. can inform

네트워크(130)는, 다수의 촬영부(110), 서버(120) 및 데이터베이스(140) 등 간의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 네트워크(130)는 LTE(long-term evolution), LTE-A(LTE Advanced), CDMA(code division multiple access), WCDMA(wideband CDMA), WiBro(Wireless BroadBand), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), GPS(Global Positioning System) 또는 GNSS(global navigation satellite system) 등의 방식에 따른 무선 통신을 수행할 수 있다. 예를 들어, 네트워크(130)는 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 등의 방식에 따른 유선 통신을 수행할 수도 있다.The network 130 may perform wireless or wired communication between the plurality of photographing units 110 , the server 120 , and the database 140 . For example, the network 130 may include long-term evolution (LTE), LTE Advanced (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), wireless broadband (WiBro), wireless fidelity (WiFi) , Bluetooth, near field communication (NFC), global positioning system (GPS), or global navigation satellite system (GNSS). For example, the network 130 may perform wired communication using a universal serial bus (USB), high definition multimedia interface (HDMI), recommended standard 232 (RS-232), or plain old telephone service (POTS). may be

데이터베이스(140)는, 다양한 데이터를 저장할 수 있다. 데이터베이스(140)에 저장되는 데이터는, 다수의 촬영부(110) 및 서버(120)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예를 들어: 프로그램)를 포함할 수 있다. 데이터베이스(140)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 일 실시예로서, 데이터베이스(140)는, 다수의 촬영부(110)에서 형성된 주변 환경 영상, 서버(120)에서 형성된 바다 영상 및 장애물 영상 등을 저장할 수 있다. 예를 들어, 데이터베이스(140)는, VDR(Voyage Data Recorder)을 포함할 수 있지만, 이에 한정되지 않는다.The database 140 may store various data. Data stored in the database 140 is obtained, processed, or used by at least one component of the plurality of photographing units 110 and the server 120, and software (eg, a program) can include Database 140 may include volatile and/or non-volatile memory. As an example, the database 140 may store images of the surrounding environment formed by the plurality of photographing units 110 , images of the sea and images of obstacles formed by the server 120 , and the like. For example, the database 140 may include a Voyage Data Recorder (VDR), but is not limited thereto.

본 발명에서, 프로그램은 데이터베이스(140)에 저장되는 소프트웨어로서, 비정형 장애물 인식 시스템(100)의 리소스를 제어하기 위한 운영체제, 어플리케이션 및/또는 어플리케이션이 비정형 장애물 인식 시스템(100)의 리소스들을 활용할 수 있도록 다양한 기능을 어플리케이션에 제공하는 미들 웨어 등을 포함할 수 있다.In the present invention, the program is software stored in the database 140, so that the operating system, application and/or application for controlling the resources of the irregular obstacle recognition system 100 can utilize the resources of the irregular obstacle recognition system 100. It may include middleware that provides various functions to applications.

본 발명에서, 인공지능(Artificial Intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력 등을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직 등의 개념을 포함할 수 있다. 기계 학습(Machine Learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술이다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터를 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야가 포함될 수 있다.In the present invention, artificial intelligence (AI) means a technology that imitates human learning ability, reasoning ability, perception ability, etc., and implements it with a computer, and may include concepts such as machine learning and symbolic logic. there is. Machine learning (ML) is an algorithm technology that classifies or learns the characteristics of input data by itself. Artificial intelligence technology is a machine learning algorithm that analyzes input data, learns the result of the analysis, and can make judgments or predictions based on the result of the learning. In addition, technologies that mimic the functions of the human brain, such as recognition and judgment, using machine learning algorithms, can also be understood as artificial intelligence. For example, technical fields such as linguistic understanding, visual understanding, inference/prediction, knowledge expression, and motion control may be included.

기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화 해나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는, 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.Machine learning may refer to processing that trains a neural network model using experience of processing data. Through machine learning, computer software could mean improving its own data processing capabilities. A neural network model is constructed by modeling a correlation between data, and the correlation may be expressed by a plurality of parameters. The neural network model derives a correlation between data by extracting and analyzing features from given data, and optimizing the parameters of the neural network model by repeating this process can be referred to as machine learning. For example, a neural network model may learn a mapping (correlation) between an input and an output with respect to data given as an input/output pair. Alternatively, even when only input data is given, the neural network model may learn the relationship by deriving a regularity between given data.

인공지능 학습모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 인공지능 학습모델은, 예를 들어, 인공 신경망 모델(Artificial Neural Network), 컨볼루션 신경망 모델(Convolution Neural Network: CNN) 등일 수 있다. 일 실시예로서, 인공지능 학습모델은, 지도학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 등의 방식에 따라 기계 학습될 수 있다. 기계 학습을 수행하기 위한 기계 학습 알고리즘에는, 의사결정트리(Decision Tree), 베이지안 망(Bayesian Network), 서포트 벡터 머신(Support Vector Machine), 인공 신경망(Artificial Neural Network), 에이다부스트 (Adaboost), 퍼셉트론(Perceptron), 유전자 프로그래밍(Genetic Programming), 군집화(Clustering) 등이 사용될 수 있다.An artificial intelligence learning model or a neural network model may be designed to implement a human brain structure on a computer, and may include a plurality of network nodes having weights while simulating neurons of a human neural network. A plurality of network nodes may have a connection relationship between them by simulating synaptic activities of neurons that transmit and receive signals through synapses. In the artificial intelligence learning model, a plurality of network nodes can send and receive data according to a convolutional connection relationship while being located in layers of different depths. The artificial intelligence learning model may be, for example, an artificial neural network model, a convolutional neural network model (CNN), and the like. As an embodiment, the artificial intelligence learning model may be machine-learned according to methods such as supervised learning, unsupervised learning, and reinforcement learning. Machine learning algorithms for performing machine learning include Decision Tree, Bayesian Network, Support Vector Machine, Artificial Neural Network, Adaboost, and Perceptron. (Perceptron), genetic programming, clustering, etc. may be used.

이중, CNN은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.Of these, CNNs are a type of multilayer perceptrons designed to use minimal preprocessing. A CNN consists of one or several convolution layers and general artificial neural network layers on top, and additionally utilizes weights and pooling layers. Thanks to this structure, CNN can fully utilize the input data with a two-dimensional structure. Compared to other deep learning structures, CNN shows good performance in both video and audio fields. CNNs can also be trained via standard back-propagation. CNNs are easier to train than other feedforward artificial neural network techniques and have the advantage of using fewer parameters.

컨볼루션 네트워크는 묶인 파라미터들을 가지는 노드들의 집합들을 포함하는 신경 네트워크들이다. 사용 가능한 트레이닝 데이터의 크기 증가와 연산 능력의 가용성이, 구분적 선형 단위 및 드롭아웃 트레이닝과 같은 알고리즘 발전과 결합되어, 많은 컴퓨터 비전 작업들이 크게 개선되었다. 오늘날 많은 작업에 사용할 수 있는 데이터 세트들과 같은 엄청난 양의 데이터 세트에서는 초과 맞춤(outfitting)이 중요하지 않으며, 네트워크의 크기를 늘리면 테스트 정확도가 향상된다. 컴퓨팅 리소스들의 최적 사용은 제한 요소가 된다. 이를 위해, 심층 신경 네트워크들의 분산된, 확장 가능한 구현 예가 사용될 수 있다.Convolutional networks are neural networks that contain sets of nodes with bound parameters. The increasing size of available training data and the availability of computational power, combined with algorithmic advances such as piecewise linear unit and dropout training, have greatly improved many computer vision tasks. With huge data sets, such as those available for many tasks today, overfitting is not critical, and increasing the size of the network improves test accuracy. Optimal use of computing resources becomes a limiting factor. To this end, a distributed, scalable implementation of deep neural networks can be used.

도 2는 본 발명의 실시예에 따른 촬영부의 구성을 보이는 예시도이다.2 is an exemplary view showing the configuration of a photographing unit according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 촬영부(110)는 핸드레일(HR: handrail) 상부에 부착해 선박 주변 사각지대가 없도록 설치하고, 짐벌(gimbal) 기능을 갖은 짐벌 구조물(112)을 이용하여 선박의 요(yaw), 피치(pitch)에 따른 영상 흔들림을 보정할 수 있다. 촬영부(110)는 최대한 사각지대 없이 선박 근거리에 대한 영역을 커버 가능해야 하며, 바다의 특성을 영상에 잘 담을 수 있게 설치될 수 있다. 해수면상에 장애물이 탐지되고 해당 위험도가 높을 시(예를 들면, 임계값 이상인 경우), 연결된 함교(bridge), 주요 관리자 룸, 관리자 PC 등의 클라이언트 PC 등에 알람을 발생시킬 수 있다.As shown in FIG. 2, the photographing unit 110 is attached to the top of a handrail (HR) so that there is no blind spot around the ship, and the gimbal structure 112 having a gimbal function is used to Image shaking according to the yaw and pitch of the image can be corrected. The photographing unit 110 should be able to cover the area for the short distance of the ship without blind spots as much as possible, and may be installed to capture the characteristics of the sea well in the image. When an obstacle on the sea level is detected and the risk level is high (eg, above a threshold value), an alarm can be generated on a connected bridge, a main manager room, and a client PC such as a manager PC.

도 3은 본 발명의 실시예에 따른 바다 영상 추출을 위한 알고리즘을 설명하기 위한 개념도이다.3 is a conceptual diagram for explaining an algorithm for extracting a sea image according to an embodiment of the present invention.

도 3에 도시한 바와 같이, 서버(120)는 주변 환경 영상(EI)으로부터 바다 영상(SI1~SI4)을 제거할 수 있다. 일 실시예에 따르면, 서버(120)는 주변 환경 영상(EI)에서 바다 영역을 인식해 제거함으로써 잔류하는 모든 데이터를 장애물로 인식시키는 프로세스를 갖고 있다. 예를 들어, 바다 영상은 특수한 주기를 갖는 파형을 갖고 있으며, 이는 이미지를 주파수 형태로 변환해 가시화하면(FD1~FD4) 그 특성이 두드러진다(십자가 형태). 하지만 근거리 해역에 대한 이미지와 원거리 해역에 대한 이미지 패턴이 다르게 나타나기 때문에(카메라 스팩에 따라 다를 수 있음), 이를 위해 거리에 따른 가변형 마스크(Mask)를 활용할 수 있다.As shown in FIG. 3 , the server 120 may remove sea images SI1 to SI4 from the surrounding environment image EI. According to one embodiment, the server 120 has a process of recognizing all remaining data as obstacles by recognizing and removing the sea area from the surrounding environment image EI. For example, an image of the sea has a waveform with a special period, and when the image is converted into a frequency form and visualized (FD1 to FD4), its characteristics stand out (cross shape). However, since the image pattern for the near sea area and the image pattern for the far sea area appear different (it may differ depending on the camera specification), a variable mask according to the distance can be used for this purpose.

도 4는 본 발명의 실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.4 is a diagram for explaining learning of a neural network according to an embodiment of the present invention.

도 4에 도시한 바와 같이, 주변 환경 영상으로부터 바다 영상을 추출하기 위하여 뉴럴 네트워크(127)를 학습시킬 수 있다. 일 실시예에 따르면, 학습 장치는 서버(120)와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니다.As shown in FIG. 4 , the neural network 127 may be trained to extract a sea image from a surrounding environment image. According to one embodiment, the learning device may be a separate subject different from the server 120, but is not limited thereto.

뉴럴 네트워크(127)는 트레이닝 샘플들이 입력되는 입력 레이어(126)와 트레이닝 출력들을 출력하는 출력 레이어(128)를 포함하고, 트레이닝 출력들과 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 레이블들은 주변 환경 영상에 대응하는 대상체 정보에 기초하여 정의될 수 있다. 뉴럴 네트워크(127)는 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다.The neural network 127 includes an input layer 126 receiving training samples and an output layer 128 outputting training outputs, and may be learned based on differences between the training outputs and labels. Here, the labels may be defined based on object information corresponding to the surrounding environment image. The neural network 127 is connected to a group of a plurality of nodes, and is defined by weights between the connected nodes and an activation function that activates the nodes.

학습 장치는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 뉴럴 네트워크(127)를 학습시킬 수 있다. 학습 장치는 뉴럴 네트워크의 출력들 및 레이블들 의해 설계된 손실 함수(Loss Function)를 이용할 수 있다.The learning device may train the neural network 127 using a gradient descent (GD) technique or a stochastic gradient descent (SGD) technique. The learning device may use a loss function designed by outputs and labels of the neural network.

학습 장치는 미리 정의된 손실 함수를 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 뉴럴 네트워크(127) 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.The learning device may calculate a training error using a predefined loss function. The loss function may be predefined with labels, outputs and parameters as input variables, where the parameters may be set by weights in the neural network 127. For example, the loss function may be designed in a mean square error (MSE) form, an entropy form, and the like, and various techniques or methods may be employed in an embodiment in which the loss function is designed.

학습 장치는 역전파(Backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 뉴럴 네트워크(127) 내 노드들 사이의 관계들이다. 학습 장치는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 학습 장치는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.The learning device may find weights affecting the training error using a backpropagation technique. Here, weights are relationships between nodes in the neural network 127 . The learning device may use the SGD technique using labels and outputs to optimize the weights found through the backpropagation technique. For example, the learning device may update weights of a loss function defined based on labels, outputs, and weights using the SGD technique.

일 실시예에 따르면, 학습 장치는 트레이닝 주변 환경 영상들을 획득하고, 트레이닝 주변 환경 영상들로부터 트레이닝 대상체들을 추출할 수 있다. 학습 장치는 트레이닝 바다 영상들에 대해서 각각 미리 레이블링 된 정보(제1 레이블들)를 획득할 수 있는데, 트레이닝 바다 영상들에 미리 정의된 바다 영상 정보를 나타내는 제1 레이블들을 획득할 수 있다.According to an embodiment, the learning device may obtain training environment images and extract training objects from the training environment images. The learning device may obtain pre-labeled information (first labels) for each of the training sea images, and may obtain first labels indicating sea image information predefined in the training sea images.

일 실시예에 따르면, 학습 장치는 트레이닝 바다 영상들의 패턴 특징들, 주파수 특징들, 외관 특징들, 및 색상 특징들에 기초하여 제1 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.According to an embodiment, the learning device may generate first training feature vectors based on pattern features, frequency features, appearance features, and color features of training sea images. Various methods may be employed to extract features.

일 실시예에 따르면, 학습 장치는 제1 트레이닝 특징 벡터들을 뉴럴 네트워크(127)에 적용하여 트레이닝 출력들을 획득할 수 있다. 학습 장치는 트레이닝 출력들과 제1 레이블들에 기초하여 뉴럴 네트워크(127)를 학습시킬 수 있다. 학습 장치는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 뉴럴 네트워크(127) 내 노드들의 연결 관계를 최적화하여 뉴럴 네트워크(127)를 학습시킬 수 있다. 서버(120)는 학습이 완료된 뉴럴 네트워크(127)를 이용하여 주변 환경 영상으로부터 바다 영상을 추출할 수 있다.According to an embodiment, the learning device may obtain training outputs by applying the first training feature vectors to the neural network 127 . The learning device may train the neural network 127 based on the training outputs and the first labels. The learning device may train the neural network 127 by calculating training errors corresponding to training outputs and optimizing a connection relationship between nodes in the neural network 127 to minimize the training errors. The server 120 may extract the sea image from the surrounding environment image using the neural network 127 that has been trained.

도 5는 본 발명의 실시예에 따른 주변 환경 영상의 프로세싱 절차를 보이는 예시도이다.5 is an exemplary view showing a processing procedure of an image of a surrounding environment according to an embodiment of the present invention.

도 5에 도시한 바와 같이, 바다 환경에서는 파도가 부서지는 백파에 따른 잡음(noise)이 발생하고, 촬영부(110) 성능에 따른 아웃 포커싱(out-focusing) 오류가 발생할 수도 있다. 이러한 오류에 유연하게 대처하기 위해 서버(120)는 로우 이미지 데이터(raw image data)로만 기계 학습의 학습 데이터로 활용하지 않고, 클래스별로 추출된 로우 이미지 데이터에 대해 일정 임계값(threshold)으로 주변 환경 영상을 블러링(blurring) 처리를 수행할 수 있다. 일 실시예에 따르면, 서버(120)는, 주변 환경 영상을 선박으로부터의 거리에 따라서 클래스를 분류하고, 클래스별로 미리 설정된 임계값을 이용하여 주변 환경 영상에 대한 블러링(blurring) 처리를 수행할 수 있다.As shown in FIG. 5 , in a sea environment, noise due to white waves breaking waves may occur, and an out-focusing error may occur depending on the performance of the photographing unit 110 . In order to flexibly cope with these errors, the server 120 does not use only raw image data as machine learning learning data, but uses the raw image data extracted for each class with a certain threshold. A blurring process may be performed on the image. According to an embodiment, the server 120 classifies the surrounding environment image according to the distance from the ship, and performs a blurring process on the surrounding environment image using a preset threshold for each class. can

도 6은 본 발명의 실시예에 따른 주변 환경 영상의 주파수 변환을 설명하기 위한 개념도이다.6 is a conceptual diagram illustrating frequency conversion of an image of a surrounding environment according to an embodiment of the present invention.

도 6에 도시한 바와 같이, 서버(120)는 시간 도메인 신호인 주변 환경 영상 2차원 데이터를 x, y 축 방향으로 따라가면서 변화하는 픽셀의 밝기(명암)를 파형 또는 신호로 보고 주파수 분석을 수행할 수 있다. 일 실시예에 따르면, 서버(120)는 주변 환경 영상을 그레이 스케일(gray scale)로 변환하고, FFT(Fast Fourier Transform) 처리 및 시각화를 수행하여 시간 도메인 신호인 주변 환경 영상을 주파수 도메인의 주변 환경 영상으로 변환할 수 있다.As shown in FIG. 6, the server 120 views the brightness (contrast) of pixels that change while following the two-dimensional data of the surrounding environment image, which is a time domain signal, in the x and y-axis directions as a waveform or signal and performs frequency analysis can do. According to an embodiment, the server 120 converts the surrounding environment image into a gray scale, performs FFT (Fast Fourier Transform) processing and visualization to convert the surrounding environment image, which is a time domain signal, to the surrounding environment in the frequency domain. It can be converted into video.

도 7은 본 발명의 실시예에 따른 이미지 블러링 처리를 설명하기 위한 개념도이다.7 is a conceptual diagram for explaining image blurring processing according to an embodiment of the present invention.

도 7에 도시한 바와 같이, 서버(120)는 스무딩(smoothing) 기법 기반으로 주변 환경 영상의 이미지 픽셀 간의 색상(RGB)값 차이를 줄여 대상체(objects)간의 경계를 불투명하게 블러링(blurring) 처리할 수 있다. 즉, 서버(120)는 주변 환경 영상 이미지를 뭉개버리는 효과 처리(아웃 포커싱, 즉 포커싱이 안 맞는 현상을 이미지 처리를 통해 비슷한 효과를 만들어 낼 수 있다)를 할 수 있다. 이로 인해서, 주변 환경 영상에 조그맣게 나타나는 잡음(예를 들어, 백파(파도)) 제거에 유용할 수 있다. 도 7에서는 로우 이미지 데이터와 다양한 임계값(0.2, 0.4, 0.5, 0.6, 1.0)으로 로우 이미지를 블러링 처리했을 경우의 결과를 나타낸다.As shown in FIG. 7, the server 120 blurs the boundaries between objects by reducing the color (RGB) value difference between image pixels of the surrounding environment image based on a smoothing technique. can do. That is, the server 120 may perform effect processing of crushing the video image of the surrounding environment (a similar effect may be produced through image processing of out-of-focusing, that is, an out-of-focus phenomenon). Due to this, it may be useful for removing small noise (eg, white waves (waves)) appearing in the image of the surrounding environment. 7 shows the result of blurring the raw image with raw image data and various threshold values (0.2, 0.4, 0.5, 0.6, 1.0).

도 8은 본 발명의 실시예에 따른 비정형 장애물 인식 방법의 절차를 보이는 흐름도이다. 도 8의 흐름도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 발명의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 발명에서 기술된 순서로 수행될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 발명의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다.8 is a flowchart showing a procedure of a method for recognizing irregular obstacles according to an embodiment of the present invention. Although process steps, method steps, algorithms, etc. are described in a sequential order in the flowchart of FIG. 8, such processes, methods and algorithms may be configured to operate in any suitable order. In other words, the steps of the processes, methods and algorithms described in the various embodiments of the invention need not be performed in the order described herein. Also, although some steps are described as being performed asynchronously, in other embodiments some of these steps may be performed concurrently. Further, illustration of a process by depiction in the drawings does not mean that the illustrated process is exclusive of other changes and modifications thereto, and that any of the illustrated process or steps thereof may be one of various embodiments of the present invention. It is not meant to be essential to one or more, and it does not imply that the illustrated process is preferred.

도 8에 도시한 바와 같이, 단계(S510)에서, 바다 영상 거리별 클래스 분할이 수행된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 근거리 해역에 대한 바다 영상과 원거리 해역에 대한 바다 영상의 이미지 패턴이 다르게 나타나기 때문에 이를 거리별 클래스로 분할할 수 있다.As shown in FIG. 8, in step S510, class division according to sea image distance is performed. For example, referring to FIGS. 1 to 7 , the server 120 included in the atypical obstacle recognition system 100 displays different image patterns of a sea image for a local sea area and a sea image for a distant sea area. It can be divided into classes by distance.

단계(S520)에서, 각 클래스 별 스무딩(smoothing) 기법 기반으로 이미지를 블러링 처리한 데이터가 생성된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 단계(S510)에서 분할된 바다 영상의 클래스 별로 스무딩 기법 기반으로 이미지를 블러링 처리한 데이터를 생성할 수 있다.In step S520, data obtained by blurring an image based on a smoothing technique for each class is generated. For example, referring to FIGS. 1 to 7 , the server 120 included in the atypical obstacle recognition system 100 blurs the image based on the smoothing technique for each class of the divided sea image in step S510. data can be generated.

단계(S530)에서, 생성된 이미지 데이터에 대한 주파수 이미지 변환이 수행된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 단계(S520)에서 생성된 이미지 데이터를 주파수 도메인의 이미지 데이터로 변환할 수 있다.In step S530, frequency image conversion is performed on the generated image data. For example, referring to FIGS. 1 to 7 , the server 120 included in the atypical obstacle recognizing system 100 may convert the image data generated in step S520 into frequency domain image data.

단계(S540)에서, CNN 기반 파도 주파수 특성 학습이 수행된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 컨볼루션 신경망 모델(Convolution Neural Network: CNN) 기반으로 바다 영상의 파도 주파수 특성 학습을 수행할 수 있다. 이후, 서버(120)는 단계(S570)의 절차를 수행할 수 있다.In step S540, CNN-based wave frequency characteristic learning is performed. For example, referring to FIGS. 1 to 7 , the server 120 included in the atypical obstacle recognition system 100 learns wave frequency characteristics of sea images based on a Convolution Neural Network (CNN). can be done Then, the server 120 may perform the procedure of step S570.

단계(S550)에서, 실 환경 선박 주변 환경이 촬영된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 다수의 촬영부(110)는, 선박(VE) 주변의 주변 환경 영상을 형성할 수 있다.In step S550, the real environment around the ship is photographed. For example, referring to FIGS. 1 to 7 , the plurality of photographing units 110 included in the atypical obstacle recognizing system 100 may form an image of the surrounding environment around the vessel VE.

단계(S560)에서, 주변 환경 영상이 데이터베이스에 저장된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 데이터베이스(140)는, 단계(S550)에서 형성된 주변 환경 영상을 네트워크(130)를 통하여 촬영부(110)로부터 전달받아 저장할 수 있다.In step S560, the surrounding environment image is stored in the database. For example, referring to FIGS. 1 to 7 , the database 140 included in the atypical obstacle recognition system 100 transmits the surrounding environment image formed in step S550 to the photographing unit 110 through the network 130. can be received and stored.

단계(S570)에서, 데이터베이스에 저장된 주변 환경 영상에 학습 결과를 반영해 바다 영상이 제거된 이미지 데이터가 생성된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 단계(S560)에서 데이터베이스(140)에 저장된 주변 환경 영상에 단계(S540)에서의 학습 결과를 반영해 주변 환경 영상에서 바다 영상이 제거된 이미지 데이터를 생성할 수 있다.In step S570, image data from which the sea image is removed is generated by reflecting the learning result on the surrounding environment image stored in the database. For example, referring to FIGS. 1 to 7 , the server 120 included in the atypical obstacle recognition system 100 transmits the surrounding environment image stored in the database 140 in step S560 in step S540. It is possible to generate image data in which the sea image is removed from the surrounding environment image by reflecting the learning result.

단계(S580)에서, 이미지 상에 존재하는 잔류 데이터에 대한 군집화 및 장애물 크기 측정이 수행된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 주변 환경 영상에서 바다 영상이 제거된 이미지 상에 존재하는 잔류 데이터에 대한 군집화 및 장애물 크기 측정을 수행할 수 있다. 일 실시예에 따르면, 서버(120)는 주변 환경 영상에서 바다 영상을 제거하고 남은 잔류 데이터를 모두 장애물로 간주하여 이에 대한 군집화를 수행하고, 장애물들에 대한 크기 측정을 수행할 수 있다.In step S580, clustering and obstacle size measurement are performed on the residual data existing on the image. For example, referring to FIGS. 1 to 7 , the server 120 included in the atypical obstacle recognition system 100 performs clustering and obstacles on residual data existing on an image from which a sea image has been removed from a surrounding environment image. Size measurements can be performed. According to an embodiment, the server 120 may consider all residual data remaining after removing the sea image from the surrounding environment image as obstacles, perform clustering on them, and measure the size of the obstacles.

단계(S590)에서, 군집화된 대상에 대한 자선 속도 대비 동적 및/또는 정적 상태가 판별된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 단계(S580)에서 군집화된 장애물들에 대하여 자선(비정형 장애물 인식 시스템(100)을 탑재한 선박(VE)) 속도와 비교하여 상대 속도를 측정할 수 있고, 측정된 상대 속도를 이용하여 군집화된 장애물들이 동적 상태인지 정적 상태인지 여부를 판별할 수 있다.In step S590, a dynamic and/or static state versus ship speed for the clustered objects is determined. For example, referring to FIGS. 1 to 7 , the server 120 included in the atypical obstacle recognition system 100 uses a charity (the atypical obstacle recognition system 100) for the clustered obstacles in step S580. The relative speed may be measured by comparing with the speed of the loaded vessel (VE), and it may be determined whether the clustered obstacles are in a dynamic or static state using the measured relative speed.

단계(S600)에서, 장애물 크기, 동적 및/또는 정적 상태에 따른 위험도 평가 정보 데이터베이스에 저장된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 단계(S580)에서 측정된 장애물들의 크기 및 단계(S590)에서 판별된 장애물들의 자선 속도 대비 동적 및/또는 정적 상태에 따라 위험도 평가 정보를 생성하고, 생성된 위험도 평가 정보를 데이터베이스(140)에 저장할 수 있다. In step S600, risk assessment information according to the obstacle size, dynamic and/or static state is stored in the database. For example, referring to FIGS. 1 to 7 , the server 120 included in the atypical obstacle recognizing system 100 determines the size of the obstacles measured in step S580 and the trajectory of the obstacles determined in step S590. Risk assessment information may be generated according to dynamic and/or static conditions versus speed, and the generated risk assessment information may be stored in the database 140 .

단계(S610)에서, 촬영 영상 및 위험도 평가에 따른 결과와 알람 이벤트가 클라이언트 PC에 가시화된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 촬영부(110)에서 형성된 주변 환경 영상 및 단계(S590)에서 판별된 위험도 평가 정보에 따른 결과와 알람 이벤트가 원격에 위치한 클라이언트 PC(Personal Computer)에 표시될 수 있다.In step S610, the result of the captured image and risk assessment and an alarm event are visualized on the client PC. For example, referring to FIGS. 1 to 7 , the server 120 included in the atypical obstacle recognition system 100 includes the image of the surrounding environment formed by the photographing unit 110 and the risk assessment information determined in step S590. Results and alarm events can be displayed on a remotely located client PC (Personal Computer).

이상 다양한 실시예들에 의해 본 발명의 기술적 사상이 설명되었지만, 본 발명의 기술적 사상은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 이해할 수 있는 범위에서 이루어질 수 있는 다양한 치환, 변형 및 변경을 포함한다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 포함될 수 있는 것으로 생각되어야 한다.Although the technical idea of the present invention has been described by various embodiments above, the technical idea of the present invention includes various substitutions, modifications, and changes that can be made within the range that can be understood by those skilled in the art to which the present invention belongs. include Moreover, it is to be considered that such substitutions, modifications and alterations may be included within the scope of the appended claims.

100: 비정형 장애물 인식 시스템 110: 촬영부
120: 서버 130: 네트워크
140: 데이터베이스 126: 입력 레이어
127: 뉴럴 네트워크 128: 출력 레이어
VE: 선박100: atypical obstacle recognition system 110: shooting unit
120: server 130: network
140: database 126: input layer
127: neural network 128: output layer
VE: Vessel

Claims (13)

선박 주변을 촬영하여 주변 환경 영상을 형성하는 촬영부; 및
상기 주변 환경 영상에서 규칙적인 패턴을 갖는 바다 영상을 제거하여 장애물 영상을 형성하고, 상기 장애물 영상을 이용하여 장애물의 이동 방향 및 속도 정보를 형성하는 서버를 포함하는,
비정형 장애물 인식 시스템.A photographing unit for forming a surrounding environment image by photographing the surroundings of the ship; and
A server for forming an obstacle image by removing a sea image having a regular pattern from the surrounding environment image, and forming movement direction and speed information of the obstacle using the obstacle image,
Atypical Obstacle Recognition System. 제 1 항에 있어서,
상기 촬영부는,
짐벌 구조물을 이용하여 상기 선박의 핸드레일(hand rail) 상부에 설치되는,
비정형 장애물 인식 시스템.According to claim 1,
the filming unit,
Installed on the hand rail of the ship using a gimbal structure,
Atypical Obstacle Recognition System. 제 1 항에 있어서,
상기 촬영부는,
카메라 화각을 고려하여 음영 지역이 발생하지 않도록 미리 설정된 간격으로 상기 선박의 선수, 선미, 좌현 및 우현 중 어느 하나 이상에 설치되는,
비정형 장애물 인식 시스템.According to claim 1,
the filming unit,
Installed on one or more of the bow, stern, port, and starboard of the ship at preset intervals so that no shadow area occurs in consideration of the camera angle of view,
Atypical Obstacle Recognition System. 제 1 항에 있어서,
상기 서버는,
시간 도메인 신호의 상기 주변 환경 영상을 주파수 도메인 신호로 변환하고, 상기 주파수 도메인 신호로 변환된 상기 주변 환경 영상을 기계 학습 알고리즘을 이용한 주파수 분석을 수행하여 상기 규칙적인 패턴을 갖는 바다 영상을 상기 주변 환경 영상으로부터 추출하는,
비정형 장애물 인식 시스템.According to claim 1,
The server,
The surrounding environment image of the time domain signal is converted into a frequency domain signal, and the sea image having the regular pattern is obtained by performing frequency analysis using a machine learning algorithm on the surrounding environment image converted into the frequency domain signal. extracted from the video,
Atypical Obstacle Recognition System. 제 4 항에 있어서,
상기 서버는,
상기 주파수 도메인 신호로 변환된 상기 주변 환경 영상을 거리에 따른 가변형 마스크를 이용한 필터링을 수행하여 상기 주변 환경 영상에서 상기 규칙적인 패턴을 갖는 바다 영상을 제거하는,
비정형 장애물 인식 시스템.According to claim 4,
The server,
Filtering the surrounding environment image converted to the frequency domain signal using a variable mask according to a distance to remove the sea image having the regular pattern from the surrounding environment image,
Atypical Obstacle Recognition System. 제 1 항에 있어서,
상기 서버는,
상기 주변 환경 영상을 상기 선박으로부터의 거리에 따라서 클래스를 분류하고, 클래스별로 미리 설정된 임계값을 이용하여 상기 주변 환경 영상에 대한 블러링(blurring) 처리를 수행하는,
비정형 장애물 인식 시스템.According to claim 1,
The server,
Classifying the surrounding environment image according to the distance from the ship, and performing blurring processing on the surrounding environment image using a threshold value preset for each class,
Atypical Obstacle Recognition System. 제 1 항에 있어서,
상기 서버는,
상기 장애물의 이동 방향 및 속도 정보를 이용하여 상기 장애물의 위험도를 산출하고, 산출된 상기 위험도가 임계값 이상일 경우 알람 신호를 형성하는,
비정형 장애물 인식 시스템.According to claim 1,
The server,
Calculating the degree of danger of the obstacle using the movement direction and speed information of the obstacle, and forming an alarm signal when the calculated degree of danger is greater than or equal to a threshold value,
Atypical Obstacle Recognition System. 촬영부에 의해서, 선박 주변을 촬영하여 주변 환경 영상을 형성하는 단계;
서버에 의해서, 상기 주변 환경 영상에서 규칙적인 패턴을 갖는 바다 영상을 제거하여 장애물 영상을 형성하는 단계; 및
상기 서버에 의해서, 상기 장애물 영상을 이용하여 장애물의 이동 방향 및 속도 정보를 형성하는 단계를 포함하는,
비정형 장애물 인식 방법.Forming a surrounding environment image by photographing the surroundings of the ship by the photographing unit;
forming, by a server, an obstacle image by removing a sea image having a regular pattern from the surrounding environment image; and
Forming, by the server, movement direction and speed information of the obstacle using the obstacle image,
A method for recognizing atypical obstacles. 제 8 항에 있어서,
상기 장애물의 이동 방향 및 속도 정보를 형성하는 단계 이후,
상기 장애물의 이동 방향 및 속도 정보를 이용하여 상기 장애물의 위험도를 산출하는 단계; 및
산출된 상기 위험도가 임계값 이상일 경우 알람 신호를 형성하는 단계를 더 포함하는,
비정형 장애물 인식 방법.According to claim 8,
After forming the movement direction and speed information of the obstacle,
Calculating a degree of danger of the obstacle using movement direction and speed information of the obstacle; and
Forming an alarm signal when the calculated degree of risk is greater than or equal to a threshold value,
A method for recognizing atypical obstacles. 제 8 항에 있어서,
상기 장애물 영상을 형성하는 단계는,
시간 도메인 신호의 상기 주변 환경 영상을 주파수 도메인 신호로 변환하는 단계; 및
상기 주파수 도메인 신호로 변환된 상기 주변 환경 영상을 기계 학습 알고리즘을 이용한 주파수 분석을 수행하여 상기 규칙적인 패턴을 갖는 바다 영상을 추출하는 단계를 더 포함하는,
비정형 장애물 인식 방법.According to claim 8,
Forming the obstacle image,
converting the surrounding environment image of a time domain signal into a frequency domain signal; and
Further comprising extracting the sea image having the regular pattern by performing frequency analysis using a machine learning algorithm on the surrounding environment image converted into the frequency domain signal,
A method for recognizing atypical obstacles. 제 10 항에 있어서,
상기 규칙적인 패턴을 갖는 바다 영상을 추출하는 단계는,
상기 주파수 도메인 신호로 변환된 상기 주변 환경 영상을 거리에 따른 가변형 마스크를 이용한 필터링을 수행하여 상기 주변 환경 영상에서 상기 규칙적인 패턴을 갖는 바다 영상을 제거하는 단계를 더 포함하는,
비정형 장애물 인식 방법.According to claim 10,
The step of extracting the sea image having the regular pattern,
Further comprising removing the sea image having the regular pattern from the surrounding environment image by filtering the surrounding environment image converted into the frequency domain signal using a variable mask according to a distance,
A method for recognizing atypical obstacles. 제 8 항에 있어서,
상기 장애물 영상을 형성하는 단계는,
상기 주변 환경 영상을 상기 선박으로부터의 거리에 따라서 클래스를 분류하고, 클래스별로 미리 설정된 임계값을 이용하여 상기 주변 환경 영상에 대한 블러링(blurring) 처리를 수행하는 단계를 더 포함하는,
비정형 장애물 인식 방법.According to claim 8,
Forming the obstacle image,
Classifying the surrounding environment image according to the distance from the ship, and performing a blurring process on the surrounding environment image using a threshold value preset for each class.
A method for recognizing atypical obstacles. 제 8 항 내지 제 12 항 중 어느 한 항에 따른 비정형 장애물 인식 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록매체.A computer readable recording medium on which a computer program for executing the atypical obstacle recognition method according to any one of claims 8 to 12 is recorded in a computer.
KR1020210092837A 2021-07-15 2021-07-15 System and method for recognition of atypical obstacle system and computer-readable recording medium including the same KR102561793B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210092837A KR102561793B1 (en) 2021-07-15 2021-07-15 System and method for recognition of atypical obstacle system and computer-readable recording medium including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210092837A KR102561793B1 (en) 2021-07-15 2021-07-15 System and method for recognition of atypical obstacle system and computer-readable recording medium including the same

Publications (2)

Publication Number Publication Date
KR20230012271A true KR20230012271A (en) 2023-01-26
KR102561793B1 KR102561793B1 (en) 2023-07-31

Family

ID=85110427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210092837A KR102561793B1 (en) 2021-07-15 2021-07-15 System and method for recognition of atypical obstacle system and computer-readable recording medium including the same

Country Status (1)

Country Link
KR (1) KR102561793B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070068349A (en) * 2004-09-29 2007-06-29 씨 온 라인 Anti-collision warning system for marine vehicles and anti-collision analysis method
KR20170089574A (en) 2016-01-27 2017-08-04 대우조선해양 주식회사 System for managing obstacle of ship and method for managing obstacle
JP2018152106A (en) * 2018-05-02 2018-09-27 株式会社日立国際電気 System for detecting invasion on water and method for the same
KR20200095888A (en) * 2019-02-01 2020-08-11 한국전자통신연구원 Method for context awareness of unmanned ship system and apparatus for the same
KR102155724B1 (en) * 2020-04-21 2020-09-14 호서대학교 산학협력단 Method and system for risk detection of objects in ships using deep neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070068349A (en) * 2004-09-29 2007-06-29 씨 온 라인 Anti-collision warning system for marine vehicles and anti-collision analysis method
KR20170089574A (en) 2016-01-27 2017-08-04 대우조선해양 주식회사 System for managing obstacle of ship and method for managing obstacle
JP2018152106A (en) * 2018-05-02 2018-09-27 株式会社日立国際電気 System for detecting invasion on water and method for the same
KR20200095888A (en) * 2019-02-01 2020-08-11 한국전자통신연구원 Method for context awareness of unmanned ship system and apparatus for the same
KR102155724B1 (en) * 2020-04-21 2020-09-14 호서대학교 산학협력단 Method and system for risk detection of objects in ships using deep neural networks

Also Published As

Publication number Publication date
KR102561793B1 (en) 2023-07-31

Similar Documents

Publication Publication Date Title
KR102171122B1 (en) Vessel detection method and system based on multidimensional features of scene
US10782691B2 (en) Deep learning and intelligent sensing system integration
KR101995107B1 (en) Method and system for artificial intelligence based video surveillance using deep learning
EP3561727A1 (en) A device and a method for extracting dynamic information on a scene using a convolutional neural network
US11900645B2 (en) Systems and methods for modeling and controlling physical dynamical systems using artificial intelligence
US20220327676A1 (en) Method and system for detecting change to structure by using drone
CN111709471B (en) Object detection model training method and object detection method and device
CN114155270A (en) Pedestrian trajectory prediction method, device, equipment and storage medium
CN112149618B (en) Pedestrian abnormal behavior detection method and device suitable for inspection vehicle
KR20220045762A (en) System for automatic recognition and monitoring of vessel using artificial intelligence image processing and method for providing the same
CN109887004A (en) A kind of unmanned boat sea area method for tracking target based on TLD algorithm
KR102640795B1 (en) System and method for supporting berthing of vessel based on radar and computer-readable recording medium including the same
KR102561793B1 (en) System and method for recognition of atypical obstacle system and computer-readable recording medium including the same
Singh et al. An enhanced YOLOv5 based on color harmony algorithm for object detection in unmanned aerial vehicle captured images
KR102563346B1 (en) System for monitoring of structural and method ithereof
KR102650152B1 (en) System and method for detection of pirate ship by using 4d radar and computer-readable recording medium including the same
KR102537518B1 (en) System and method for deployment of onboard wireless ap based on 3d model and computer-readable recording medium including the same
KR102628955B1 (en) A Method for detecting and tracking a flying object using flight features as recognition variables
CA3155593C (en) Methods and systems for training and validating a perception system
EP4283529A1 (en) Method for training an object recognition model in a computing device
KR20230024739A (en) System and method for recording sailor moving and computer-readable recording medium including the same
KR20230065125A (en) Electronic device and training method of machine learning model
KR20230085562A (en) System and method for digitalizing onboard voice and computer-readable recording medium including the same
Zhang et al. Optical resolution requirements for effective deep learning-based ship recognition
KR20230097958A (en) Apparatus for monitoring illegal fishing based on artificial neural network and method therefor

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant