KR102661171B1 - System for predicting degree of collision risk and guiding safe voyage route through fusing navigation sensor inside ship and image information - Google Patents
System for predicting degree of collision risk and guiding safe voyage route through fusing navigation sensor inside ship and image information Download PDFInfo
- Publication number
- KR102661171B1 KR102661171B1 KR1020180133886A KR20180133886A KR102661171B1 KR 102661171 B1 KR102661171 B1 KR 102661171B1 KR 1020180133886 A KR1020180133886 A KR 1020180133886A KR 20180133886 A KR20180133886 A KR 20180133886A KR 102661171 B1 KR102661171 B1 KR 102661171B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- ship
- collision
- ships
- navigation
- Prior art date
Links
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 239000003643 water by type Substances 0.000 claims abstract description 8
- 238000013459 approach Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100440050 Arabidopsis thaliana CLPR1 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G3/00—Traffic control systems for marine craft
- G08G3/02—Anti-collision systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/203—Specially adapted for sailing ships
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/937—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of marine craft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Ocean & Marine Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은, 레이더와 연동하여서, 주변해역의 선박관련정보와 항해관련정보를 포함한 운항정보를 송수신하는 선박자동식별부, 본선 주변해역의 영상정보를 제공하는 카메라, 및 상기 선박자동식별부로부터 제공되는 운항정보와 상기 카메라로부터 제공되는 영상정보를 매칭하여 본선 주변해역의 타선박을 트래킹하면서 본선에 대한 타선박의 위치, 거리, 방위 및 항속을 분석하여서, 본선과의 충돌위험도를 산출하여 상기 충돌위험도에 따라 경고정보를 생성하고, 전자해도장치를 통해 안전운항로를 가이드하는 제어부를 포함하여서, 충돌위험도에 따른 경고정보를 제공하여 신속하게 대처할 수 있도록 하고, 충돌을 우회할 수 있는 안전운항로를 가이드할 수 있는, 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템을 제공한다.The present invention is a vessel automatic identification unit that transmits and receives navigation information including vessel-related information and navigation-related information in the surrounding sea area in conjunction with radar, a camera that provides image information in the sea area around the main ship, and a vessel automatic identification unit that provides information from the vessel automatic identification unit. By matching the navigation information provided with the video information provided from the camera and tracking other ships in the waters around the ship, the position, distance, direction, and navigation of other ships with respect to the ship are analyzed, and the risk of collision with the ship is calculated to prevent the collision. It includes a control unit that generates warning information according to the degree of risk and guides the safe navigation route through an electronic chart device, provides warning information according to the risk of collision to enable quick response, and provides a safe navigation route to bypass the collision. Provides a collision risk prediction and safe navigation guide system through the fusion of onboard navigation sensors and image information that can guide.
Description
본 발명은 선박의 안전운항관련기술에 관한 것으로, 보다 상세하게는 카메라 영상정보를 활용하여, 본선 주변해역의 객체에 대한 정보를 식별하여, 충돌위험도를 산출하고 안전운항로를 가이드할 수 있는, 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템에 관한 것이다.The present invention relates to technology related to the safe operation of ships, and more specifically, to identify information on objects in the sea area around the ship using camera image information, to calculate the risk of collision and guide safe navigation routes. It is about collision risk prediction and safe navigation guide system through the fusion of onboard navigation sensors and image information.
선박간 충돌 또는 해상지형지물과의 충돌에 따른 해상사고가 빈번히 발생하는데, 이는 선박의 자체 레이더 또는 선박자동식별시스템(AIS;Automatic Identification System)에만 의존하여 주변해역의 물체를 탐지하고 그 충돌위험도를 선원이 주관적으로 판단하는데에서 야기되곤 한다.Maritime accidents occur frequently due to collisions between ships or collisions with marine features, which rely only on the ship's own radar or Automatic Identification System (AIS) to detect objects in the surrounding sea and determine the risk of collision. It is often caused by the sailor's subjective judgment.
특히, 레이더 또는 선박자동식별시스템에 의해서는, 본선 주변해역의 소형선박 또는 본선 200m이내의 물체의 종류와 이미지를 정확히 식별하기는 불가능하다.In particular, it is impossible to accurately identify the type and image of small ships in the waters around the ship or objects within 200m of the ship using radar or automatic ship identification systems.
또한, 레이더에 물체가 감지되더라도 화면상에는 한 점으로 표시될 뿐 감지된 물체의 종류와 크기를 정확히 식별할 수 없어서, 부정확한 정보로 인해 충돌사고로 이어지기도 한다.In addition, even if an object is detected by the radar, it is only displayed as a single point on the screen and the type and size of the detected object cannot be accurately identified, which may lead to a collision accident due to inaccurate information.
한편, 주변해역의 물체가 본선으로 접근하면 알람을 제공하는 시스템이 구축되어 있으나, 물체와의 충돌위험도가 어느 정도인지 또는 이를 회피하여 우회할 수 있는 안전운항로에 관한 정보를 제공해주지 못하고 있다.Meanwhile, a system has been established to provide an alarm when an object in the surrounding sea approaches the ship, but it does not provide information on the degree of risk of collision with the object or a safe navigation route that can be detoured to avoid it.
예컨대, 레이더 플로팅(Radar Plotting) 또는 아파레이더(ARPA;Automatic Radar Plotting Aid, 선박자동충돌예방보조장치)로 본선으로 접근하는 타선박의 진행방향, 거리, 최근접점(CPA;Closest point of approach), 및 최근접시간(TCA;Time of closest point of approach)을 감지하여서, 특정 한계범위 내로 접근할 경우 경고정보를 알람으로 제공하기도 한다.For example, the direction, distance, and closest point of approach (CPA) of other ships approaching the ship using radar plotting or ARPA (Automatic Radar Plotting Aid), It also detects the time of closest point of approach (TCA) and provides warning information as an alarm when it approaches within a certain limit range.
하지만, 선원이 충돌위험도를 직접 파악해야 하고, 레이더를 참고하여 우회 항로를 결정해야 하는데, 악천후, 안개 또는 야간시에, 인적오류(human error)가 내재되어 있어 잘못된 판단으로 인한 충돌사고가 유발될 수 있다.However, the crew must directly assess the risk of collision and decide on a detour route by referring to the radar. However, in bad weather, fog, or at night, human error is inherent, which can cause a collision due to incorrect judgment. You can.
이에, 레이더와 선박자동식별시스템에 의한 단순한 물체 탐지만으로는 해상에서의 본선과의 충돌사고를 예방하는데 한계가 존재한다.Accordingly, there is a limit to preventing collisions with ships at sea simply by detecting objects using radar and automatic ship identification systems.
본 발명의 사상이 이루고자 하는 기술적 과제는, 본선 주변해역의 소형선박과 본선으로 접근하는 객체의 종류와 이미지를 정확히 식별할 수 있고, 본선으로부터의 물체의 방위 및 거리를 분석하여 충돌위험도를 산출하여 충돌사고를 미연에 예방할 수 있는, 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템을 제공하는 데 있다.The technical task to be achieved by the idea of the present invention is to accurately identify the types and images of small vessels in the waters around the ship and objects approaching the ship, and to calculate the risk of collision by analyzing the direction and distance of the object from the ship. The goal is to provide a collision risk prediction and safe navigation guide system through the fusion of onboard navigation sensors and image information that can prevent collision accidents in advance.
전술한 목적을 달성하고자, 본 발명은, 레이더와 연동하여서, 주변해역의 선박관련정보와 항해관련정보를 포함한 운항정보를 송수신하는 선박자동식별부; 본선 주변해역의 영상정보를 제공하는 카메라; 및 상기 선박자동식별부로부터 제공되는 운항정보와 상기 카메라로부터 제공되는 영상정보를 매칭하여 본선 주변해역의 타선박을 트래킹하면서 본선에 대한 타선박의 위치, 거리, 방위 및 항속을 분석하여서, 본선과의 충돌위험도를 산출하여 상기 충돌위험도에 따라 경고정보를 생성하고, 전자해도장치를 통해 안전운항로를 가이드하는 제어부;를 포함하는, 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템을 제공한다.In order to achieve the above-mentioned object, the present invention includes an automatic vessel identification unit that transmits and receives navigation information including vessel-related information and navigation-related information in the surrounding sea in conjunction with radar; A camera that provides video information of the waters around the ship; And by matching the navigation information provided by the automatic vessel identification unit with the image information provided by the camera, tracking other vessels in the sea area around the main ship and analyzing the position, distance, direction and navigation of other ships with respect to the main ship, A control unit that calculates the collision risk, generates warning information according to the collision risk, and guides a safe navigation route through an electronic chart device; Collision risk prediction and safe navigation guide through the fusion of onboard navigation sensors and image information, including a Provides a system.
여기서, 상기 제어부는, 상기 영상정보로부터 선박정보를 추출하고 타선박을 추종하여 분석된 타선박과의 거리와 운항방향과 방위와 항속, 및 본선의 위치와 운항방향과 항속을 상호 비교하여 특정시간이내 특정해역내에서의 충돌가능성을 판단하여 상기 충돌위험도를 산출하고, 상기 전자해도장치로부터 제공된 해도정보를 기반으로 또는 상기 카메라로부터 제공된 영상정보를 기반으로, 상기 충돌위험도에 따라 선박정보 및 충돌가능정보를 제공할 수 있다.Here, the control unit extracts ship information from the image information, tracks other ships, and compares the analyzed distance to other ships, navigation direction, bearing, and speed, and the position, navigation direction, and speed of the main ship at a specific time. Within a specific sea area, the possibility of collision is determined and the collision risk is calculated. Based on the chart information provided from the electronic chart device or the image information provided from the camera, ship information and collision possibility are determined according to the collision risk. Information can be provided.
또한, 상기 카메라는 광학 또는 열상 카메라이고, 본선의 전 방위를 모니터링할 수 있도록 하나 또는 복수개가 설치될 수 있다.Additionally, the camera may be an optical or thermal camera, and one or more cameras may be installed to monitor all directions of the main ship.
일실시예로, 상기 카메라는 단일 카메라들의 조합으로 구성되고, 상기 제어부는, 상기 단일 카메라들의 영상정보로부터 분석된 본선과 타선박과의 상대적 위치정보를 상기 레이더 또는 상기 선박자동식별부로부터의 타선박의 운항정보와 매칭하여서, 상기 충돌위험도를 산출할 수 있다.In one embodiment, the camera is composed of a combination of single cameras, and the control unit determines the relative position information between the main ship and other ships analyzed from the image information of the single cameras to other ships from the radar or the automatic ship identification unit. By matching with the ship's operation information, the collision risk can be calculated.
일실시예로, 상기 카메라는 스테레오카메라들의 조합으로 구성되고, 상기 제어부는, 상기 스테레오카메라들의 스테레오 영상정보에 의한 위치차이를 통해 분석된 본선과 타선박과의 거리정보를 상기 레이더 또는 상기 선박자동식별부로부터의 타선박의 운항정보와 매칭하여서, 상기 충돌위험도를 산출할 수 있다.In one embodiment, the camera is composed of a combination of stereo cameras, and the control unit sends the distance information between the main ship and other ships analyzed through the position difference by the stereo image information of the stereo cameras to the radar or the ship automatic system. By matching the navigation information of other ships from the identification unit, the collision risk can be calculated.
일실시예로, 상기 카메라는 파노라마카메라로 구성되고, 상기 제어부는, 파노라마 영상정보에 의한 위치차이를 통해 분석된 본선과 타선박과의 거리정보를 상기 레이더 또는 상기 선박자동식별부로부터의 타선박의 운항정보와 매칭하여서, 상기 충돌위험도를 산출할 수 있다.In one embodiment, the camera is configured as a panoramic camera, and the control unit transmits the distance information between the main ship and other ships analyzed through the position difference by the panoramic image information to the other ships from the radar or the automatic ship identification unit. By matching with the operation information, the collision risk can be calculated.
일실시예로, 상기 제어부는, 레이저측정기에 의해 측정된 본선과 타선박과의 거리정보를 상기 레이더 또는 상기 선박자동식별부로부터의 타선박의 운항정보와 매칭하여서, 상기 충돌위험도를 산출할 수 있다.In one embodiment, the control unit may calculate the collision risk by matching the distance information between the main ship and other ships measured by a laser measuring device with the operation information of other ships from the radar or the automatic ship identification unit. there is.
일실시예로, 상기 제어부는, 라이다에 의해 본선 주변해역의 타선박을 스캔하여 측정된 본선과 타선박과의 거리정보를 상기 레이더 또는 상기 선박자동식별부로부터의 타선박의 운항정보와 매칭하여서, 상기 충돌위험도를 산출할 수도 있다.In one embodiment, the control unit matches the distance information between the main ship and other ships measured by scanning other ships in the sea area around the main ship by LiDAR with the navigation information of other ships from the radar or the automatic ship identification unit. Thus, the collision risk can be calculated.
또한, 상기 제어부는, 상기 카메라로부터 제공되는 영상정보 또는 상기 전자해도장치로부터 제공되는 해도정보에, 상기 충돌위험도별로 타선박을 단계적으로 구분 표시하고, 상기 충돌위험도가 없는 안전운항로를 오버레이하여 디스플레이할 수 있다.In addition, the control unit displays the image information provided from the camera or the chart information provided from the electronic chart device by classifying other ships according to the collision risk, and overlays and displays a safe navigation route without the collision risk. can do.
또한, 상기 제어부는, 다수의 타선박에 대한 충돌위험도를 동시에 산출하고, 상기 카메라로부터 제공되는 영상정보 또는 상기 전자해도장치로부터 제공되는 전자해도에 동시에 디스플레이할 수 있다.In addition, the control unit can simultaneously calculate the risk of collision with a plurality of other ships and display it simultaneously on the image information provided from the camera or the electronic chart provided from the electronic navigation device.
또한, 상기 제어부는, 본선 주변해역의 지형지물과의 충돌위험도를 더 산출하며, 상기 충돌위험도에 따른 경고정보를 생성하고, 상기 경고정보를 상기 카메라로부터 제공되는 영상정보 또는 상기 전자해도장치로부터 제공되는 해도정보에 오버레이하여 디스플레이할 수 있다.In addition, the control unit further calculates the risk of collision with terrain features in the sea area around the ship, generates warning information according to the risk of collision, and provides the warning information by image information provided from the camera or the electronic navigation chart device. It can be displayed by overlaying it on the chart information.
또한, 상기 제어부는, 본선과 타선박과의 거리가 기 설정된 거리 이내이면 접근경고정보를 생성하며, 상기 기 설정된 거리 이내에서 본선과 타선박의 운항방향과 항속에 의해 상호 근접하는 추세라면 충돌가능경고정보를 생성하고, 상기 기 설정된 거리 이내에서 특정시간이상 근접하는 추세라면 충돌경고정보를 생성하여서, 상기 충돌위험도에 따른 단계적 경고정보를 생성할 수 있다.In addition, the control unit generates approach warning information if the distance between the main ship and other ships is within a preset distance, and if the main ship and other ships tend to approach each other due to the navigation direction and speed within the preset distance, a collision is possible. Warning information is generated, and if there is a trend of approaching within the preset distance for more than a certain time, collision warning information is generated, and step-by-step warning information according to the collision risk can be generated.
본 발명에 의하면, 카메라 영상정보를 활용하여, 본선 주변해역의 객체에 대한 상세정보를 보다 효과적으로 식별하고, 식별된 방위와 거리정보를 통해 충돌위험도를 산출하여 경고정보를 제공하여서 신속하게 대처할 수 있도록 하는 효과가 있다.According to the present invention, by using camera image information, detailed information about objects in the sea area around the ship can be more effectively identified, and the collision risk is calculated through the identified direction and distance information to provide warning information to enable quick response. There is an effect.
또한, 충돌위험도에 따른 충돌을 회피하여 우회할 수 있는 안전운항로를 가이드하여 안전운항을 확보할 수 있는 효과가 있다.In addition, it is effective in ensuring safe navigation by guiding safe navigation routes that can be detoured to avoid collisions according to the collision risk.
더 나아가, 본선 주변해역의 이동객체인 선박뿐만 아니라 지형지물과의 충돌위험도를 더 산출하고, 충돌위험도에 따른 단계적 경고정보를 해도정보 또는 영상정보와 오버레이하여 디스플레이하여서 직관적이고 시각적으로 충돌위험도를 제공할 수 있는 효과가 있다.Furthermore, the collision risk with not only ships, which are moving objects in the waters around the ship, but also with geographical features is calculated, and step-by-step warning information according to the collision risk is overlaid and displayed with chart information or image information to provide an intuitive and visual collision risk. There is an effect that can be done.
도 1은 본 발명의 실시예에 의한 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템의 개략적인 구성도를 예시한 것이다.
도 2는 도 1의 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템에 의한 타선박의 방위 및 거리정보에 따른 충돌예상지점추정을 예시한 것이다.
도 3 및 도 4는 도 2의 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템에 의한 충돌위험도에 따른 안전운항로를 예시한 것이다.
도 5는 도 2의 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템의 영상장치에 의한 타선박 추종 및 경고정보 디스플레이를 예시한 것이다.Figure 1 illustrates a schematic configuration diagram of a collision risk prediction and safe navigation guide system through the fusion of an inboard navigation sensor and image information according to an embodiment of the present invention.
FIG. 2 illustrates collision risk prediction through the fusion of image information with the on-board navigation sensor of FIG. 1 and estimation of the expected collision point according to the direction and distance information of other ships by the safe navigation guide system.
Figures 3 and 4 illustrate a safe navigation route according to the collision risk by the collision risk prediction and safe navigation guide system through the fusion of image information with the inboard navigation sensor of Figure 2.
Figure 5 illustrates the tracking of other ships and the display of warning information by the video device of the collision risk prediction and safe navigation guide system through the fusion of image information with the in-ship navigation sensor of Figure 2.
이하, 첨부된 도면을 참조로 전술한 특징을 갖는 본 발명의 실시예를 더욱 상세히 설명하고자 한다.Hereinafter, embodiments of the present invention having the above-described features will be described in more detail with reference to the attached drawings.
도 1은 본 발명의 실시예에 의한 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템의 개략적인 구성도를 예시한 것이며, 도 2는 도 1의 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템에 의한 타선박의 방위 및 거리정보에 따른 충돌예상지점추정을 예시한 것이며, 도 3 및 도 4는 도 2의 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템에 의한 충돌위험도에 따른 안전운항로를 예시한 것이고, 도 5는 도 2의 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템의 영상장치에 의한 타선박 추종 및 경고정보 디스플레이를 예시한 것이다.Figure 1 illustrates a schematic configuration diagram of a collision risk prediction and safe navigation guide system through the fusion of the onboard navigation sensor and image information according to an embodiment of the present invention, and Figure 2 shows the fusion of the onboard navigation sensor and image information of Fig. 1. This is an example of collision risk prediction and collision expected point estimation according to the direction and distance information of other ships by the safe navigation guide system, and Figures 3 and 4 show the collision risk through the fusion of the onboard navigation sensor and image information of Figure 2. It illustrates a safe navigation route according to the collision risk by the prediction and safe navigation guide system, and Figure 5 shows the collision risk prediction through the fusion of the navigation sensor and image information of Figure 2 and other ships by the imaging device of the safe navigation guide system. This is an example of tracking and warning information display.
도 1 내지 도 5를 참조하면, 본 발명에 의한 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템은, 전체적으로, 선내항법센서(110,120,150)에 의한 정보와 영상장비(130)에 의한 영상정보를 융합하여 본선의 충돌위험도를 예측하면서 안전운항로를 가이드하는데, 즉 레이더(110)와 연동하는 선박자동식별부(120), 주변해역을 촬영하는 카메라(130), 충돌위험도를 산출하고 안전운항로를 가이드하는 제어부(140)로 구성되어서, 카메라 영상정보를 활용하여, 본선 주변해역의 객체에 대한 정보를 보다 효과적으로 식별하고, 충돌위험도를 산출하여 단계적 경고정보를 제공하여 신속하게 대처할 수 있도록 하는 것을 요지로 한다.Referring to Figures 1 to 5, the collision risk prediction and safe navigation guide system through the fusion of the onboard navigation sensor and image information according to the present invention is, as a whole, based on the information provided by the onboard navigation sensors (110, 120, 150) and the imaging equipment (130). It guides a safe navigation route by fusing image information to predict the collision risk of the ship, that is, the automatic vessel identification unit 120 linked to the radar 110, the camera 130 that photographs the surrounding sea area, and the collision risk is calculated. It consists of a control unit 140 that guides the safe navigation route, utilizes camera image information to more effectively identify information on objects in the sea area around the ship, calculates the collision risk, and provides step-by-step warning information to respond quickly. The point is to make it possible.
우선, 선박자동식별부(120)는, 선박자동식별시스템(AIS)으로서, 레이더(110)와 연동하여서, 본선 주변해역의 선박관련정보와 항해관련정보와 같은 운항정보를 송수신하는데, 예컨대 선박자동식별부(120)는, 선박 간 또는 선박과 육해상 관제소 간에, 선박명과 선박종류와 선박제원의 선박관련정보, 위치정보와 운항항속와 운항방향의 항해관련정보, 및 보안관련정보 또는 안전관련정보를 실시간으로 송수신한다.First, the automatic vessel identification unit 120 is an automatic vessel identification system (AIS), and in conjunction with the radar 110, transmits and receives navigation information such as vessel-related information and navigation-related information in the sea area around the main ship, for example, The identification unit 120 provides, between ships or between ships and land/sea control centers, ship-related information such as ship name, ship type, and ship specifications, location information, navigation-related information on sailing range and direction, and security-related information or safety-related information. Send and receive in real time.
다음, 카메라(130)는, 본선 주변해역을 촬영하여 영상정보를 제공하는데, 해상날씨 또는 시간대에 상관없이 주변해역 또는 타선박을 촬영하여 영상정보로부터 식별할 수 있는 광학카메라 또는 열상카메라를 포함할 수 있다.Next, the camera 130 provides image information by photographing the sea area around the ship, and may include an optical camera or a thermal camera that can photograph the surrounding sea area or other ships and identify them from the image information regardless of the sea weather or time zone. You can.
여기서, 카메라(130)는 하나 또는 복수의 카메라가 설치될 수 있고, 본선의 운항방향의 전방(도 4 참조)을 포함한 본선의 주변부를 모니터링할 수 있도록 배치될 수 있다. 바람직하게는, 카메라의 화각이 제한적인 점을 고려할 때 복수의 카메라를 한 세트로 구성하여 본선의 운항방향의 전방은 물론, 측방과 후방에 걸친 전 방위적 모니터링을 수행하도록 설치될 수 있다.Here, the camera 130 may be one or more cameras installed, and may be arranged to monitor the surrounding area of the main ship, including the front of the main ship's navigation direction (see FIG. 4). Preferably, considering that the camera's angle of view is limited, multiple cameras can be configured as a set to perform omnidirectional monitoring not only forward, but also to the sides and rear of the ship's navigation direction.
다음, 제어부(140)는, 선박자동식별부(120)로부터 제공되는 운항정보(선박관련정보와 항해관련정보와 안전관련정보 등)와 카메라(130)로부터 제공되는 영상정보를 매칭하여 본선 주변해역의 타선박을 트래킹하면서(tracking) 본선에 대한 타선박의 위치, 거리, 방위 및 항속을 분석하여서, 본선과의 충돌위험도를 산출하여 충돌위험도에 따라 경고정보를 생성하고, 전자해도장치(ECDIS:Electronic Chart Display and Information System)(150)를 통해 충돌을 회피할 수 있는 안전운항로를 충돌위험도에 상응하여 가이드한다.Next, the control unit 140 matches the navigation information (ship-related information, navigation-related information, safety-related information, etc.) provided from the automatic vessel identification unit 120 and the image information provided from the camera 130 to determine the area of \u200b\u200bthe waters around the ship. While tracking other vessels, the position, distance, direction, and navigation of other vessels relative to the main ship are analyzed, the risk of collision with the main ship is calculated, warning information is generated according to the collision risk, and electronic navigation system (ECDIS: Through the Electronic Chart Display and Information System (150), safe navigation routes to avoid collisions are guided according to the collision risk.
즉, 제어부(140)는, 영상정보로부터 선박이미지 또는 선박종류의 선박정보를 추출하고 선박, 즉 타선박을 추종하여 분석된 타선박과의 거리와 운항방향과 방위와 항속, 및 본선의 위치와 운항방향과 항속을 상호 비교하여 특정시간이내 특정해역내에서의 충돌예상지점에서의 충돌가능성을 판단하여 충돌위험도를 산출한다.That is, the control unit 140 extracts the ship image or ship information of the ship type from the image information and follows the ship, that is, other ships, and determines the analyzed distance to other ships, the direction of operation, heading, and speed, and the position of the main ship. The collision risk is calculated by comparing the navigation direction and navigation speed to determine the possibility of collision at the expected collision point within a specific sea area within a specific time.
예컨대, 제어부(140)는, 도 2에 도시된 바와 같이, 본선과 타선박과의 거리가 기 설정된 거리 이내이면 접근경고정보를 생성하며, 이러한 기 설정된 거리 이내에서 본선과 타선박의 운항방향과 항속에 의해 상호 근접하는 추세라면 충돌가능경고정보를 생성하고, 기 설정된 거리 이내에서 특정시간이상 근접하는 추세라면 충돌경고정보를 생성하여서, 충돌위험도에 따른 단계적 경고정보를 생성할 수 있다.For example, as shown in FIG. 2, the control unit 140 generates approach warning information when the distance between the main ship and other ships is within a preset distance, and within this preset distance, the navigation direction and direction of the main ship and other ships If there is a trend of approaching each other due to navigation, collision warning information is generated, and if there is a trend of approaching for more than a certain time within a preset distance, collision warning information is generated, so that step-by-step warning information can be generated according to the collision risk.
또한, 도 3에 도시된 바와 같이, 제어부(140)는, 충돌위험도에 따라, 접근경고정보에 상응하는 제1 안전운항로(SVR1)를 가이드하며, 충돌가능경고정보에 상응하는 제2 안전운항로(SVR2)를 가이드하고, 충돌경고정보에 상응하는 제3 안전운항로(SVR3)를 가이드할 수 있다.In addition, as shown in FIG. 3, the control unit 140 guides the first safe navigation route (SVR1) corresponding to the approach warning information according to the collision risk, and guides the second safe navigation route (SVR1) corresponding to the possible collision warning information. It is possible to guide the route (SVR2) and the third safe navigation route (SVR3) corresponding to the collision warning information.
한편, 제어부(140)는 영상정보로부터 이미지상의 타선박의 위치를 분석하여 본선으로부터의 타선박의 방위 및 거리를 산출할 수 있다.Meanwhile, the control unit 140 can calculate the direction and distance of the other vessel from the main ship by analyzing the position of the other vessel on the image from the image information.
제1 예로, 카메라(130)는, 단일 카메라(130a)들의 조합으로 구성되고, 제어부(140)는 영상정보들로부터 분석된 본선과 타선박과의 상대적 위치정보를 레이더(110) 또는 선박자동식별부(120)로부터의 타선박의 운항정보와 매칭하여서, 충돌위험도를 산출할 수 있다.As a first example, the camera 130 is composed of a combination of single cameras 130a, and the control unit 140 uses the relative position information between the main ship and other ships analyzed from the image information to use the radar 110 or automatic ship identification. By matching the operation information of other ships from unit 120, the collision risk can be calculated.
예컨대, 단일 카메라(130a)들의 조합으로부터 제공되는 영상정보들의 이미지상의 아래의 타선박이 위의 타선박보다 본선에 근접하므로, 단일 카메라(130a)들의 조합은 타선박의 방위와 본선과의 접근정도의 상대적 위치정보를 제공할 수 있다.For example, since the other vessel below in the image of the image information provided from the combination of the single cameras 130a is closer to the main ship than the other vessel above, the combination of the single cameras 130a determines the direction of the other vessel and the degree of approach to the main ship. Can provide relative location information.
또는 제2 예로, 카메라(130)는 스테레오카메라(130b)들의 조합으로 구성되고, 제어부(140)는 스테레오 영상정보들에 의한 위치차이를 통해 분석된 본선과 타선박과의 거리정보를 레이더(110) 또는 선박자동식별부(120)로부터의 타선박의 운항정보와 매칭하여서, 충돌위험도를 산출할 수 있다.Or, as a second example, the camera 130 is composed of a combination of stereo cameras 130b, and the control unit 140 receives the distance information between the main ship and other ships analyzed through the position difference due to the stereo image information to the radar 110. ) or by matching with the operation information of other vessels from the automatic vessel identification unit 120, the collision risk can be calculated.
예컨대, 제어부(140)는 스테레오카메라(130b)들의 조합으로부터 제공되는 이미지상에서의 동일 타선박의 위치차이에 따른 거리를 분석할 수 있다.For example, the control unit 140 may analyze the distance according to the difference in the positions of the same vessel on the image provided from the combination of the stereo cameras 130b.
또는, 제3 예로, 카메라(130)는 파노라마카메라(130c)로 구성되고, 제어부(140)는, 파노라마 영상정보에 의한 위치차이를 통해 분석된 본선과 타선박과의 거리정보를 레이더(110) 또는 선박자동식별부(120)로부터의 타선박의 운항정보와 매칭하여서, 충돌위험도를 산출할 수 있다.Or, as a third example, the camera 130 is composed of a panoramic camera 130c, and the control unit 140 uses the radar 110 to display the distance information between the main ship and other ships analyzed through the position difference by panoramic image information. Alternatively, the collision risk can be calculated by matching the operation information of other vessels from the automatic vessel identification unit 120.
예컨대, 파노라마카메라(130c)는 선외 360도 영상을 촬영하도록 복수의 카메라를 원형으로 배치하되, 동일 타선박이 인접한 카메라에 의해 동시에 촬영되도록 설치될 수 있다.For example, the panoramic camera 130c arranges a plurality of cameras in a circle to capture 360-degree images outside the ship, and may be installed so that the same other ship is simultaneously photographed by adjacent cameras.
즉, 예컨대, 제어부(140)는 파노라마카메라(130c)에 의한 이미지상에서의 동일 타선박의 위치차이에 따른 거리를 분석할 수 있다.That is, for example, the control unit 140 can analyze the distance according to the difference in the positions of the same vessel on the image by the panoramic camera 130c.
또는, 제4 예로, 제어부(140)는 레이저측정기(130d)에 의해 측정된 본선과 타선박과의 거리정보를 레이더(110) 또는 선박자동식별부(120)로부터의 타선박의 운항정보와 매칭하여서, 충돌위험도를 산출할 수 있다.Or, as a fourth example, the control unit 140 matches the distance information between the main ship and other ships measured by the laser measuring device 130d with the navigation information of other ships from the radar 110 or the automatic ship identification unit 120. Thus, the collision risk can be calculated.
예컨대, 제어부(140)는, 영상정보로부터 분석된 타선박의 방위로, 레이저측정기(130d)를 회전모듈(미도시)에 의해 회전시켜 레이저를 조사하도록 하여서 본선과 타선박과의 거리를 분석할 수 있다.For example, the control unit 140 analyzes the distance between the main ship and other ships by rotating the laser measuring device 130d by a rotation module (not shown) to irradiate a laser in the direction of the other ship analyzed from the image information. You can.
또는, 제5 예로, 제어부(140)는 라이다(lidar)(130e)에 의해 본선 주변해역의 타선박을 스캔하여 측정된 본선과 타선박과의 거리정보를 레이더(110) 또는 선박자동식별부(120)로부터의 타선박의 운항정보와 매칭하여서, 충돌위험도를 산출할 수도 있다.Or, as a fifth example, the control unit 140 scans other ships in the sea area around the main ship by the lidar 130e and transmits the distance information between the main ship and other ships measured by the radar 110 or the automatic ship identification unit. The collision risk can also be calculated by matching with the operation information of other ships from (120).
한편, 제어부(140)는, 전자해도장치(150)로부터 제공되는 해도정보를 기반으로, 전자해도정보에 충돌위험도에 따른 경고정보인 선박정보 및 충돌가능정보를 오버레이하여 디스플레이하여 제공할 수 있다.Meanwhile, based on the chart information provided from the electronic navigation device 150, the control unit 140 can display and display ship information and collision possibility information, which are warning information according to the risk of collision, on the electronic navigation chart information.
즉, 제어부(140)는, 전자해도장치(150)로 제공되는 해도정보영상 상에, 충돌위험도별로 타선박을 단계적으로 구분 표시하고, 충돌위험도가 없는 안전운항로를 오버레이하여 디스플레이할 수 있다.In other words, the control unit 140 can display other ships in stages according to the risk of collision on the chart information image provided by the electronic navigation device 150, and overlay and display a safe navigation route without the risk of collision.
예컨대, 색상의 농담 차이로 또는 텍스트의 크기 차이로, 경고정보를 단계적으로 표시할 수 있다.For example, warning information can be displayed in stages by differences in color shade or text size.
또는, 제어부(140)는, 도 5의 (a),(b),(c)에 도시된 바와 같이, 카메라(130)로부터 제공된 영상정보를 기반으로, 영상정보에 충돌위험도에 따른 경고정보인 선박정보(선박제원,운항정보) 및 충돌가능정보를 디스플레이하여 제공할 수 있다.Alternatively, the control unit 140, as shown in (a), (b), and (c) of FIG. 5, based on the image information provided from the camera 130, adds warning information according to the risk of collision to the image information. Vessel information (vessel specifications, operation information) and possible collision information can be displayed and provided.
즉, 제어부(140)는, 카메라(130)부터 제공되는 영상정보 상에, 충돌위험도별로 타선박을 단계적으로 구분 표시하고, 충돌위험도가 없는 안전운항로를 오버레이하여 영상장치(160)를 통해서 디스플레이할 수도 있다.That is, the control unit 140 displays other vessels by stage by stage of collision risk on the image information provided from the camera 130, overlays a safe navigation route without collision risk, and displays it through the imaging device 160. You may.
예컨대, 색상의 농담 차이로 또는 텍스트의 크기 차이로, 경고정보를 단계적으로 표시할 수 있다.For example, warning information can be displayed in stages by differences in color shade or text size.
즉, 레이더(110) 단독으로는, 소형물체, 또는 본선에 200m 이내로 최근접한 타선박을 감지하지 못하고, 선박의 종류 또는 정확한 이미지를 식별하지 못하므로, 카메라(130)의 영상정보로부터 보다 현실적이고 직관적으로 타선박을 식별할 수 있고, 선박자동식별부(120)의 운항정보를 매칭하여 타선박의 정확한 방위와 거리를 분석할 수 있다.In other words, the radar 110 alone cannot detect small objects or other ships closest to the main ship within 200m, and cannot identify the type of ship or accurate image, so it can provide more realistic and accurate information from the image information of the camera 130. Other ships can be intuitively identified, and the exact direction and distance of other ships can be analyzed by matching the navigation information of the automatic ship identification unit 120.
또한, 제어부(140)는, 다수의 타선박에 대한 충돌위험도를 동시에 산출하고, 전자해도장치(150) 또는 영상장치(160)로 동시에 디스플레이하여 다중정보를 제공할 수 있다.In addition, the control unit 140 can simultaneously calculate the risk of collision with a plurality of other ships and display it simultaneously on the electronic chart device 150 or the imaging device 160 to provide multiple information.
또한, 제어부(140)는, 이동객체인 선박 이외에, 동일한 분석 및 산출방식에 의해 본선 주변해역의 지형지물과의 충돌위험도를 더 산출하며, 충돌위험도에 따른 단계적 경고정보를 생성하고, 경고정보를 전자해도장치(150) 또는 영상장치(160)를 통해서 해도정보 또는 영상정보와 오버레이하여 디스플레이할 수도 있다.In addition, the control unit 140 further calculates the risk of collision with terrain features in the sea area around the ship using the same analysis and calculation method in addition to the ship, which is a moving object, generates step-by-step warning information according to the risk of collision, and provides warning information. It can also be displayed by overlaying chart information or image information through the electronic navigation device 150 or the imaging device 160.
따라서, 전술한 바와 같은 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템의 구성에 의해서, 카메라 영상정보를 활용하여, 본선 주변해역의 객체에 대한 상세정보를 보다 효과적으로 식별하고, 식별된 방위와 거리정보를 통해 충돌위험도를 산출하여 단계적 경고정보를 제공하여서 신속하게 대처할 수 있도록 하며, 충돌위험도에 따른 충돌을 회피하여 우회할 수 있는 안전운항로를 가이드하여 안전운항을 확보할 수 있고, 본선 주변해역의 이동객체인 선박뿐만 아니라 지형지물과의 충돌위험도를 더 산출하고, 충돌위험도에 따른 단계적 경고정보를 전자해도장치 또는 영상장치를 통해서 해도정보 또는 영상정보와 오버레이하여 디스플레이하여서 직관적이고 시각적으로 충돌위험도를 제공할 수 있다.Therefore, by configuring the collision risk prediction and safe navigation guide system through the fusion of the navigation sensor and image information on board the ship as described above, the camera image information can be used to more effectively identify detailed information about objects in the sea area around the ship, It calculates the risk of collision using the identified direction and distance information and provides step-by-step warning information to enable quick response, and ensures safe navigation by guiding safe navigation routes that can be detoured to avoid collisions according to the risk of collision. In addition, the risk of collision with not only ships, which are moving objects in the waters around the ship, but also geographical features is calculated, and step-by-step warning information according to the risk of collision is displayed by overlaying it with chart information or image information through an electronic chart device or video device, making it intuitive. And it can provide visual collision risk.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The embodiments described in this specification and the configuration shown in the drawings are only one of the most preferred embodiments of the present invention and do not represent the entire technical idea of the present invention, so various equivalents may be substituted for them at the time of filing the present application. It should be understood that variations and variations may exist.
110 : 레이더 120 : 선박자동식별부
130 : 카메라 130a : 단일 카메라
130b : 스테레오카메라 130c : 파노라마카메라
130d : 레이저측정기 130e : 라이다
140 : 제어부 150 : 전자해도장치
160 : 영상장치 SVR1,2,3 : 안전운항로110: Radar 120: Automatic vessel identification unit
130: Camera 130a: Single camera
130b: stereo camera 130c: panoramic camera
130d: Laser measuring instrument 130e: Lidar
140: Control unit 150: Electronic chart device
160: Imaging device SVR1,2,3: Safe navigation route
Claims (12)
상기 카메라는 열상 카메라가 적용된 파노라마카메라로 구성되고,
상기 제어부는,
상기 영상정보로부터 선박정보를 추출하고 타선박을 트래킹하면서 분석된 타선박과의 거리와 운항방향과 방위와 항속, 및 본선의 위치와 운항방향과 항속을 상호 비교하여 특정시간이내 특정해역내에서의 충돌가능성을 판단하여 상기 충돌위험도를 산출하며, 상기 전자해도장치로부터 제공된 해도정보 및 상기 파노라마카메라로부터 제공된 영상정보를 기반으로, 상기 충돌위험도에 따라 선박정보 및 충돌가능정보를 제공하되,
다수의 타선박에 대한 충돌위험도를 동시에 산출하고, 상기 파노라마카메라의 파노라마 형태의 영상정보에 의한 위치차이를 통해 분석된 본선과 타선박과의 거리정보를 상기 레이더 또는 상기 선박자동식별부로부터의 타선박의 운항정보와 매칭하여서, 제1 충돌위험도를 산출하며,
레이저측정기 또는 라이다에 의해 측정된 본선과 타선박과의 거리정보를 상기 레이더 또는 상기 선박자동식별부로부터의 타선박의 운항정보와 매칭하여서, 제2 충돌위험도를 산출하고,
상기 파노라마카메라로부터 제공되는 영상정보 및 상기 전자해도장치로부터 제공되는 해도정보에, 상기 제1 충돌위험도별 및 상기 제2 충돌위험도별로 타선박을 단계적으로 구분 표시하며, 상기 충돌위험도가 없는 안전운항로를 오버레이하여 디스플레이하고,
본선과 타선박과의 거리가 기 설정된 거리 이내이면 접근경고정보를, 상기 기 설정된 거리 이내에서 본선과 타선박의 운항방향과 항속에 의해 상호 근접하는 추세라면 충돌가능경고정보를, 그리고 상기 기 설정된 거리 이내에서 특정시간이상 근접하는 추세라면 충돌경고정보를 각각 생성하여서, 상기 제1 충돌위험도 및 상기 제2 충돌위험도에 따른 단계적 경고정보를 생성하되, 상기 접근경고정보에 상응하는 제1 안전운항로, 상기 충돌가능경보에 상응하는 제2 안전운항로 및 상기 충돌경보정보에 상응하는 제3 안전운항로를 각각 도출하여 가이드하는 것을 특징으로 하는,
선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템.An automatic vessel identification unit that, in conjunction with radar, transmits and receives navigation information including vessel-related information and navigation-related information in the surrounding sea area; A camera that provides video information of the waters around the ship; And by matching the operation information provided by the automatic vessel identification unit with the image information provided by the camera, tracking other ships in the sea area around the main ship and analyzing the position, distance, direction and navigation of other ships with respect to the main ship, A control unit that calculates the collision risk, generates warning information according to the collision risk, and guides a safe navigation route through an electronic chart device; Collision risk prediction and safe navigation guide through the fusion of onboard navigation sensors and image information, including a In the system,
The camera consists of a panoramic camera equipped with a thermal camera,
The control unit,
By extracting ship information from the video information and tracking other ships, comparing the analyzed distance, direction of operation, direction, and speed with other ships, and the position, direction, and speed of the ship, it is possible to determine the number of ships within a specific sea area within a specific time. The collision risk is calculated by determining the possibility of collision, and based on the chart information provided from the electronic chart device and the image information provided from the panoramic camera, ship information and collision possibility information are provided according to the collision risk,
Collision risk with multiple other ships is calculated simultaneously, and the distance information between the main ship and other ships analyzed through the position difference by the panoramic image information of the panoramic camera is received from the radar or the automatic ship identification unit. By matching with the ship's operation information, the first collision risk is calculated,
Calculating a second collision risk by matching the distance information between the main ship and other ships measured by a laser measuring device or LiDAR with the operation information of other ships from the radar or the automatic ship identification unit,
In the image information provided from the panoramic camera and the chart information provided from the electronic navigation device, other ships are classified and displayed in stages according to the first collision risk and the second collision risk, and a safe navigation route without the collision risk is provided. Overlay and display,
If the distance between the ship and other ships is within the preset distance, approach warning information is provided, if the ship and other ships tend to approach each other due to the direction and speed of navigation within the preset distance, possible collision warning information is provided, and If there is a trend of approaching within the distance for more than a certain time, collision warning information is generated, and step-by-step warning information is generated according to the first collision risk and the second collision risk, and a first safe navigation route corresponding to the approach warning information. , Characterized in deriving and guiding a second safe navigation route corresponding to the possible collision warning and a third safe navigation route corresponding to the collision warning information, respectively.
Collision risk prediction and safe navigation guide system through the fusion of onboard navigation sensors and image information.
상기 제어부는, 본선 주변해역의 지형지물과의 제3 충돌위험도를 더 산출하며, 상기 제3 충돌위험도에 따른 경고정보를 생성하고, 상기 경고정보를 상기 파노라마카메라로부터 제공되는 영상정보 및 상기 전자해도장치로부터 제공되는 해도정보에 오버레이하여 디스플레이하는 것을 특징으로 하는,
선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템.According to claim 1,
The control unit further calculates a third collision risk with a feature in the sea area around the ship, generates warning information according to the third collision risk, and converts the warning information into image information provided from the panoramic camera and the electronic chart. Characterized by overlaying and displaying chart information provided from the device,
Collision risk prediction and safe navigation guide system through the fusion of onboard navigation sensors and image information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180133886A KR102661171B1 (en) | 2018-11-02 | 2018-11-02 | System for predicting degree of collision risk and guiding safe voyage route through fusing navigation sensor inside ship and image information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180133886A KR102661171B1 (en) | 2018-11-02 | 2018-11-02 | System for predicting degree of collision risk and guiding safe voyage route through fusing navigation sensor inside ship and image information |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200050808A KR20200050808A (en) | 2020-05-12 |
| KR102661171B1 true KR102661171B1 (en) | 2024-04-26 |
Family
ID=70679674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180133886A KR102661171B1 (en) | 2018-11-02 | 2018-11-02 | System for predicting degree of collision risk and guiding safe voyage route through fusing navigation sensor inside ship and image information |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102661171B1 (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102223363B1 (en) * | 2020-06-16 | 2021-03-05 | 이상창 | System for automatically berthing ship at pier |
| KR102249156B1 (en) * | 2020-07-07 | 2021-05-07 | (주)맵시 | Sailing assistance device using augmented reality image |
| EP4173942A4 (en) * | 2020-06-24 | 2024-05-01 | Mapsea Corp. | Navigation assistance device using augmented reality and 3d images |
| KR102267711B1 (en) * | 2020-06-24 | 2021-06-22 | (주)맵시 | Sailing assistance device using 3d image |
| CN112364795B (en) * | 2020-11-18 | 2024-01-30 | 大连海事大学 | Automatic identification method for number lamps and situation awareness method for two ships meeting |
| KR102464207B1 (en) * | 2020-12-22 | 2022-11-09 | 케이제이엔지니어링 주식회사 | Ship safety management system using augmented reality |
| CN113470436B (en) * | 2021-05-31 | 2022-09-09 | 交通运输部水运科学研究所 | Ship bridge collision avoidance method and system |
| CN114333423B (en) * | 2021-12-24 | 2022-11-18 | 宁波大学 | Narrow water channel navigation collision risk assessment method |
| CN115980739B (en) * | 2023-03-21 | 2023-06-20 | 安徽隼波科技有限公司 | Automatic defense arranging method for radar-guided photoelectric tracking |
| CN116448115B (en) * | 2023-04-07 | 2024-03-19 | 连云港杰瑞科创园管理有限公司 | Unmanned ship probability distance map construction method based on navigation radar and photoelectricity |
| CN117218601B (en) * | 2023-10-18 | 2024-06-04 | 亿海蓝（北京）数据技术股份公司 | Method and device for determining authenticity of ship leaning operation and readable storage medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101072397B1 (en) * | 2011-07-21 | 2011-10-11 | 한국해양연구원 | A augmented reality system for vessel using monitor and the method using thereof |
| KR101193687B1 (en) * | 2011-04-18 | 2012-10-22 | 창원대학교 산학협력단 | Sailing control system for avoiding ship collision |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101048508B1 (en) | 2011-04-11 | 2011-07-11 | (주)에디넷 | System and method for realtime monitoring of harbor image using smart device |
| KR20130131961A (en) * | 2012-05-25 | 2013-12-04 | (주)지엠티 | Intelligent collision forecasting information system and method thereof between the ships using ais apparatus |
| KR101666466B1 (en) * | 2015-03-26 | 2016-10-14 | 주식회사 네오카텍 | Marine risk management system and marine risk management method using marine object distance measuring system with monocular camera |
-
2018
- 2018-11-02 KR KR1020180133886A patent/KR102661171B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101193687B1 (en) * | 2011-04-18 | 2012-10-22 | 창원대학교 산학협력단 | Sailing control system for avoiding ship collision |
| KR101072397B1 (en) * | 2011-07-21 | 2011-10-11 | 한국해양연구원 | A augmented reality system for vessel using monitor and the method using thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200050808A (en) | 2020-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102661171B1 (en) | System for predicting degree of collision risk and guiding safe voyage route through fusing navigation sensor inside ship and image information | |
| US20200216152A1 (en) | Collision avoidance assistance system | |
| KR101812994B1 (en) | Safe docking system of ships using camera image and method thereof | |
| JP6932487B2 (en) | Mobile monitoring device | |
| KR102661363B1 (en) | Device and method for monitoring a berthing | |
| US20150241560A1 (en) | Apparatus and method for providing traffic control service | |
| EP4089660A1 (en) | Method and device for monitoring port and ship in consideration of sea level | |
| US20220024549A1 (en) | System and method for measuring the distance to an object in water | |
| KR101666466B1 (en) | Marine risk management system and marine risk management method using marine object distance measuring system with monocular camera | |
| KR102265980B1 (en) | Device and method for monitoring ship and port | |
| GB2591041A (en) | Augmented reality display view generation | |
| KR102530847B1 (en) | Method and device for monitoring harbor and ship | |
| KR20150028074A (en) | Collision prevention device | |
| JP3777411B2 (en) | Ship navigation support device | |
| CN112673377A (en) | Monitoring device and method for monitoring man overboard | |
| KR20210055904A (en) | Apparatus for electronic surveillance of voyage | |
| KR102479959B1 (en) | Artificial intelligence based integrated alert method and object monitoring device | |
| KR102464212B1 (en) | Augmented reality system for ships using omnidirectional cameras | |
| KR102156338B1 (en) | Method for monitoring ships and apparatus therefor | |
| KR102437344B1 (en) | Apparatus and method for monitoring marine meteeological environment | |
| KR20230123504A (en) | Navigational Beacon Identification Device, Autonomous Navigation System, Navigational Beacon Identification Method, and Program | |
| US20210389131A1 (en) | Method for driving the display of information on a screen banner equipping a boat wheelhouse | |
| KR102620098B1 (en) | Augmented reality based system and method of displaying maritime object | |
| JPH0554915B2 (en) | ||
| EP4383215A1 (en) | Method and system for determining a region of water clearance of a water surface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |