KR102375677B1 - System and method for intelligent image processing of warship combat system - Google Patents
System and method for intelligent image processing of warship combat system Download PDFInfo
- Publication number
- KR102375677B1 KR102375677B1 KR1020210139411A KR20210139411A KR102375677B1 KR 102375677 B1 KR102375677 B1 KR 102375677B1 KR 1020210139411 A KR1020210139411 A KR 1020210139411A KR 20210139411 A KR20210139411 A KR 20210139411A KR 102375677 B1 KR102375677 B1 KR 102375677B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- optical sensor
- sensor information
- image processing
- ships
- Prior art date
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41H—ARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
- F41H11/00—Defence installations; Defence devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41H—ARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
- F41H13/00—Means of attack or defence not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 함정 전투체계 지능화 영상처리 시스템 및 방법에 관한 것으로서, 함정에 탑재된 광학센서 또는 미래 탑재장비로부터 영상을 수신하고, 이를 기반으로 하여 지휘관의 신속한 지휘결심 지원 및 다중정보 전시 요구를 달성하면서, 객체의 분류, 식별 및 타 센서 정보와의 비교 일치 여부 판단 및 교전상황시 표적 명중여부 판단 기능 등 지능화 영상처리를 제공하는 함정 전투체계 지능화 영상처리 시스템 및 방법에 관한 것이다.The present invention relates to an intelligent image processing system and method for a warship combat system, which receives an image from an optical sensor or future mounted equipment mounted on a ship, and based on this, achieves the commander's prompt command decision support and multi-information display request. It relates to an intelligent image processing system and method for a warship combat system that provides intelligent image processing, such as classification and identification of objects, determination of whether or not comparison with other sensor information is consistent, and a function of determining whether a target is hit in an engagement situation.
도 1은 종래 기술에 따른 함정 전투체계 영상처리 시스템을 설명하기 위한 도면이다.1 is a view for explaining a ship combat system image processing system according to the prior art.
기존의 함정 전투체계 영상처리 시스템은 지능화 기능이 탑재되지 않았으며, 함정에 탑재된 광학센서에서의 광학센서 정보를 수신하여 디지털화, 압축 및 분배와 같은 처리를 수행한 후, 다기능 콘솔에서 실시간으로 전시하는 구조로 개발되었다.The existing ship combat system image processing system is not equipped with an intelligent function, and after receiving optical sensor information from the optical sensor mounted on the ship, processing such as digitization, compression and distribution, it is displayed in real time on a multi-function console structure was developed.
기존 함정 전투체계 영상처리 시스템의 주 목적은 영상의 화질을 유지하면서, 영상을 실시간으로 전시하는 것으로, 영상정보만으로 객체를 분류 및 식별하는 기능은 탑재되지 않았다.The main purpose of the existing ship combat system image processing system is to display images in real time while maintaining the image quality, and the function to classify and identify objects only with image information is not equipped.
기존 함정 전투체계는 표적관리 기능을 통해서 다중의 센서로부터 수신한 표적 정보의 비교 일치여부를 판단하여 표적목록에 관리한다. 하지만, 광학센서 영상 내 해당 정보가 전시되지 않으므로, 상세 정보를 확인하기 위해서는 표적목록을 추가로 확인해야 하는 구조로 개발되었다.The existing warship combat system manages the target list by judging whether the target information received from multiple sensors is matched or not through the target management function. However, since the corresponding information in the optical sensor image is not displayed, it was developed in a structure that requires additional confirmation of the target list to confirm detailed information.
또한, 기존 함정 전투체계는 표적 사격 시, 명중 여부를 운용자가 육안으로 확인하여 판단하는 구조로 되어 있다. 즉, 광학센서를 통해 표적에 대한 영상을 나타낼 수는 있지만, 명중 여부의 판단을 지원하는 기능은 반영되어 있지 않기 때문에, 운용자의 경험에 따라 명중여부 판단 속도 및 정확도 등이 다를 수 있다.In addition, the existing warship combat system has a structure in which the operator visually checks whether the target is hit or not when shooting at a target. That is, although the image of the target can be displayed through the optical sensor, the function to support the determination of whether to hit is not reflected, so the speed and accuracy of determining whether to hit may be different depending on the operator's experience.
또한, 기존 함정 전투체계는 광학센서 영상을 기록하는 기능을 제공한다. 하지만, 운용자가 기록 설정시에만 해당 영상이 기록되며, 학습용 입력영상 라벨링 작업을 위한 사전 영상 분류 작업은 별도로 수행되지 않는다.In addition, the existing warship combat system provides a function to record optical sensor images. However, the corresponding image is recorded only when the operator sets the record, and the pre-image classification task for labeling the input image for learning is not separately performed.
이러한 종래 기술은 다음과 같은 문제점이 존재한다.This prior art has the following problems.
먼저, 운용자는 최소한의 개체 정보(표적번호) 또는 광학센서 구동정보만 단순 전시하는 광학센서 영상 또는 견시 임무를 통한 객체 육안식별을 통해 해상 객체를 분류한다. 이에 따라, 휴먼 에러로 인한 정확도 감소, 숙련도에 따른 정확도 감소, 해상환경에 따른 판단의 어류임 등 문제점을 갖는다.First, the operator classifies marine objects through optical sensor images that simply display minimal object information (target number) or optical sensor driving information, or through visual identification of objects through a lookout mission. Accordingly, there are problems such as a decrease in accuracy due to human error, a decrease in accuracy according to skill level, and a fish of judgment according to the marine environment.
또한, 보조전시화면에는 광학센서 영상이 주로 전시되고, 전투체계 표적번호는 주전시화면에 전시된다. 이에 따라, 영상 내 객체에 대한 상세정보 식별 시, 다중화면(주전시화면+보조전시화면)을 통해 확인해야만 한다. 이와 같이, 영상 내 광학센서 정보 외 타 센서 정보가 전시되지 않으므로 편의성 측면에서 문제가 있다.In addition, the optical sensor image is mainly displayed on the auxiliary display screen, and the combat system target number is displayed on the main display screen. Accordingly, when identifying detailed information about an object in an image, it is necessary to check through the multi-screen (main display screen + auxiliary display screen). As such, there is a problem in terms of convenience because other sensor information other than the optical sensor information in the image is not displayed.
본 발명이 해결하고자 하는 과제는 함정에 탑재된 광학센서 또는 미래 탑재장비로부터 영상을 수신하고, 이를 기반으로 하여 지휘관의 신속한 지휘결심 지원 및 다중정보 전시 요구를 달성하면서, 객체의 분류, 식별 및 타 센서 정보와의 비교 일치 여부 판단 및 교전상황시 표적 명중여부 판단 기능 등 지능화 영상처리를 제공하는, 함정 전투체계 지능화 영상처리 시스템 및 방법을 제공하는 것이다.The problem to be solved by the present invention is to receive an image from an optical sensor or future mounted equipment mounted on a ship, and based on this, achieve the commander's rapid command decision support and multi-information display request, while classifying, identifying, and other It is to provide an intelligent image processing system and method for a warship combat system that provides intelligent image processing, such as a function to determine whether or not to compare and match sensor information and whether to hit a target in an engagement situation.
다만, 본 발명이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 또다른 과제들이 존재할 수 있다.However, the problems to be solved by the present invention are not limited to the problems described above, and other problems may exist.
상술한 과제를 해결하기 위한 본 발명의 제1 측면에 따른 함정 전투체계 지능화 영상처리 시스템은 적어도 하나의 광학센서로부터 함정용 광학센서 정보를 수신하고, 미리 학습된 딥러닝 기반의 제1 지능화 처리부를 통해 상기 함정용 광학센서 정보에서의 객체의 분류 정보, 식별 정보 및 추적 정보를 생성하는 지능화 영상처리 서버와, 상기 함정용 광학센서 정보를 수신하고, 상기 객체가 인식된 함정용 광학센서 정보를 저장하는 지능화 영상저장 서버를 포함한다.The intelligent image processing system for the warship combat system according to the first aspect of the present invention for solving the above-mentioned problems receives the optical sensor information for ships from at least one optical sensor, and through the deep learning-based first intelligent processing unit learned in advance An intelligent image processing server that generates classification information, identification information, and tracking information of an object in the optical sensor information for a ship, and an intelligent image storage for receiving the optical sensor information for a ship and storing the optical sensor information for a ship in which the object is recognized Includes server.
본 발명의 일부 실시예에서, 상기 추적정보는 선박의 ID, 호출부호, 표적번호, 방위, 거리, 실침로 및 실속력 정보를 포함할 수 있다.In some embodiments of the present invention, the tracking information may include vessel ID, call sign, target number, bearing, distance, actual course and stall speed information.
본 발명의 일부 실시예에서, 상기 지능화 영상처리 서버는 상기 함정용 광학센서 정보와 타 센서 정보를 통해 각각 인식된 객체의 일치여부를 비교 판단하는 제2 지능화 처리부를 더 포함할 수 있다.In some embodiments of the present invention, the intelligent image processing server may further include a second intelligent processing unit for comparing and determining whether objects recognized through the optical sensor information for ships and other sensor information match each other.
본 발명의 일부 실시예에서, 상기 지능화 영상처리 서버는 상기 함정용 광학센서 정보를 통해 식별된 객체에 대한 교전정보를 수신하고, 상기 객체에 대한 무장 할당여부에 기초하여 상기 객체에 대한 사격 명중여부 정보를 생성하는 제3 지능화 처리부를 더 포함할 수 있다.In some embodiments of the present invention, the intelligent image processing server receives engagement information on the object identified through the optical sensor information for the ship, and based on whether or not arming is assigned to the object, information on whether or not the shooting hit the object It may further include a third intelligent processing unit for generating.
본 발명의 일부 실시예에서, 상기 교전정보는 우선순위, 무장 정보, 교전가능성 및 교전불가사유 정보를 포함하는 교전채널정보와, 획득시간, 최초발사가능시간, 구역진입시간, 최종발사가능시간 및 구역이탈시간 정보를 포함하는 교전시간정보를 포함할 수 있다.In some embodiments of the present invention, the engagement information includes engagement channel information including priority, arming information, engagement possibility and non-engagement reason information, acquisition time, initial firing time, area entry time, final firing available time, and It may include engagement time information including area departure time information.
본 발명의 일부 실시예에서, 상기 지능화 영상처리 서버는 상기 함정용 광학센서 정보를 통해 인식된 객체 및 상기 객체에 대한 교전정보를 오버레이하여 전시하는 가시화 처리부를 더 포함할 수 있다.In some embodiments of the present invention, the intelligent image processing server may further include an object recognized through the optical sensor information for ships and a visualization processing unit for overlaying and displaying engagement information on the object.
본 발명의 일부 실시예에서, 상기 지능화 영상저장 서버는 상기 함정용 광학센서 정보 중 상기 교전정보가 존재하는 객체에 대한 제1 함정용 광학센서 정보와 일반 상황에서의 객체에 대한 제2 함정용 광학센서 정보를 구분하여 저장할 수 있다.In some embodiments of the present invention, the intelligent image storage server includes a first optical sensor information for a ship for an object in which the engagement information exists among the optical sensor information for a ship and a second optical sensor information for a ship for an object in a general situation. can be stored separately.
본 발명의 일부 실시예에서, 상기 지능화 영상저장 서버는 상기 함정용 광학센서 정보를 통해 상기 객체가 인식되지 않는 경우 상기 함정용 광학센서 정보의 저장을 중지할 수 있다.In some embodiments of the present invention, the intelligent image storage server may stop the storage of the optical sensor information for ships when the object is not recognized through the optical sensor information for ships.
또한, 본 발명의 제2 측면에 따른 함정 전투체계에서의 지능화 영상처리 방법은 적어도 하나의 광학센서로부터 함정용 광학센서 정보를 수신하는 단계; 미리 학습된 딥러닝 기반의 제1 지능화 처리부를 통해, 상기 함정용 광학센서 정보에서의 객체의 분류 정보, 식별 정보 및 추적 정보를 생성하는 단계; 상기 객체가 인식된 함정용 광학센서 정보를 저장하는 단계 및 상기 함정용 광학센서 정보에서 인식된 객체의 분류 정보, 식별 정보 및 추적 정보를 전시하는 단계를 포함한다.In addition, the intelligent image processing method in the warship combat system according to the second aspect of the present invention comprises the steps of receiving the optical sensor information for the ship from at least one optical sensor; generating classification information, identification information, and tracking information of objects in the optical sensor information for ships through the first intelligent processing unit based on deep learning learned in advance; Storing the optical sensor information for the ship for which the object is recognized, and displaying classification information, identification information, and tracking information of the object recognized in the optical sensor information for the ship.
본 발명의 일부 실시예에서, 상기 추적정보는 선박의 ID, 호출부호, 표적번호, 방위, 거리, 실침로 및 실속력 정보를 포함할 수 있다.In some embodiments of the present invention, the tracking information may include vessel ID, call sign, target number, bearing, distance, actual course and stall speed information.
본 발명의 일부 실시예는, 타 센서 정보를 통해 객체를 인식하는 단계; 및 상기 함정용 광학센서 정보와 타 센서 정보를 통해 각각 인식된 객체의 일치여부를 비교 판단하는 단계를 더 포함할 수 있다.Some embodiments of the present invention, the steps of recognizing an object through other sensor information; And it may further include the step of comparing and determining whether the object recognized through the optical sensor information for ships and other sensor information matches each other.
본 발명의 일부 실시예는, 상기 함정용 광학센서 정보를 통해 식별된 객체에 대한 교전정보를 수신하는 단계; 및 상기 객체에 대한 무장 할당여부에 기초하여 상기 객체에 대한 사격 명중여부 정보를 생성하는 단계를 더 포함할 수 있다.Some embodiments of the present invention, receiving the engagement information for the object identified through the optical sensor information for the ship; and generating information on whether or not to hit the shot with respect to the object based on whether or not arming is assigned to the object.
본 발명의 일부 실시예에서, 상기 교전정보는 우선순위, 무장 정보, 교전가능성 및 교전불가사유 정보를 포함하는 교전채널정보와, 획득시간, 최초발사가능시간, 구역진입시간, 최종발사가능시간 및 구역이탈시간 정보를 포함하는 교전시간정보를 포함할 수 있다.In some embodiments of the present invention, the engagement information includes engagement channel information including priority, arming information, engagement possibility and non-engagement reason information, acquisition time, initial firing time, area entry time, final firing available time, and It may include engagement time information including area departure time information.
본 발명의 일부 실시예에서, 상기 함정용 광학센서 정보에서 인식된 객체의 분류 정보, 식별 정보 및 추적 정보를 전시하는 단계는, 상기 함정용 광학센서 정보를 통해 인식된 객체 및 상기 객체에 대한 교전정보를 오버레이하여 전시할 수 있다.In some embodiments of the present invention, the step of displaying the classification information, identification information and tracking information of the object recognized in the optical sensor information for the ship, the object recognized through the optical sensor information for the ship and the engagement information for the object It can be displayed overlaid.
본 발명의 일부 실시예에서, 상기 객체가 인식된 함정용 광학센서 정보를 저장하는 단계는, 상기 함정용 광학센서 정보 중 상기 교전정보가 존재하는 객체에 대한 제1 함정용 광학센서 정보와, 일반 상황에서의 객체에 대한 제2 함정용 광학센서 정보를 구분하여 저장할 수 있다.In some embodiments of the present invention, the step of storing the optical sensor information for the ship for which the object is recognized, the first optical sensor information for the ship for the object in which the engagement information exists among the optical sensor information for the ship, and in a general situation The second ship optical sensor information for the object can be stored separately.
본 발명의 일부 실시예에서, 상기 객체가 인식된 함정용 광학센서 정보를 저장하는 단계는, 상기 함정용 광학센서 정보를 통해 상기 객체가 인식되지 않는 경우 상기 함정용 광학센서 정보의 저장을 중지할 수 있다.In some embodiments of the present invention, the step of storing the optical sensor information for the ship for which the object is recognized may stop the storage of the optical sensor information for the ship when the object is not recognized through the optical sensor information for the ship.
상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 함정 전투체계 지능화 영상처리 방법을 실행하며, 컴퓨터 판독가능 기록매체에 저장된다.A computer program according to another aspect of the present invention for solving the above-described problems is combined with a computer that is hardware to execute the intelligent image processing method of the warship combat system, and is stored in a computer-readable recording medium.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.
전술한 본 발명의 일 실시예에 의하면, 교전상황시 사격 명중여부에 대한 판단 불가 상황을 감소시킬 수 있으며, 명중 판단시간을 단축시킴으로써 교전시간을 감소시킬 수 있다. 또한, 표적을 추적하는 함정용 광학센서 정보 내 객체정보 및 교전정보를 제공함에 따라 신속한 지휘결심을 지원할 수 있다.According to the above-described embodiment of the present invention, it is possible to reduce a situation in which it is impossible to determine whether a shooting hit or not in an engagement situation, and by shortening the hit determination time, it is possible to reduce the engagement time. In addition, by providing object information and engagement information in the optical sensor information for ships that track the target, it can support a quick command decision.
또한, 견시데크 또는 선체에 광학센서를 추가 탑재하여 함교 견시 임무를 지원하거나 익수자 발상 감지 기능을 제공할 수 있으며, 함정 전투체계의 항해지원 기능을 제공할 수 있다.In addition, an optical sensor may be additionally mounted on the lookout deck or the hull to support the bridge lookout mission or provide a drowning accident detection function, and may provide a navigational support function of the ship combat system.
그 밖에, 해상 감시 드론을 이용한 광범위한 해역감시를 통해 객체의 사전 인지 및 식별이 가능하며 이를 통한 대응능력 향상을 기대할 수 있다. 즉, 본 발명에서 제공하는 지능화 영상처리 시스템과 드론 영상 수신기를 연동하여 광범위한 해역감시 및 객체 식별로 인한 물적/인적 자원 비용을 절감시킬 수 있는 장점이 있다.In addition, it is possible to pre-recognize and identify objects through extensive sea area monitoring using maritime surveillance drones, and through this, it is expected to improve response capabilities. That is, there is an advantage in that the intelligent image processing system provided by the present invention can be linked with the drone image receiver to reduce the cost of physical/human resources due to extensive sea area monitoring and object identification.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 종래 기술에 따른 함정 전투체계 영상처리 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 함정 전투체계 지능화 영상처리 시스템의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 지능화 영상처리 서버의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 지능화 영상저장 서버의 블록도이다.
도 5는 객체의 분류정보, 식별정보, 추적정보 및 교전정보가 전시되는 일 예시를 나타낸 도면이다.
도 6은 교전정보 중 사격 명중여부 정보가 전시되는 일 예시를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 함정 전투체계에서의 지능화 영상처리 방법의 순서도이다.The accompanying drawings are provided to help understanding of the present embodiment, and provide embodiments together with detailed description. However, the technical features of the present embodiment are not limited to specific drawings, and features disclosed in the drawings may be combined with each other to constitute a new embodiment.
1 is a view for explaining a ship combat system image processing system according to the prior art.
2 is a block diagram of an intelligent image processing system for a warship combat system according to an embodiment of the present invention.
3 is a block diagram of an intelligent image processing server according to an embodiment of the present invention.
4 is a block diagram of an intelligent image storage server according to an embodiment of the present invention.
5 is a diagram illustrating an example in which classification information, identification information, tracking information, and engagement information of an object are displayed.
6 is a diagram illustrating an example in which information on whether or not a shooting hit is displayed among the engagement information.
7 is a flowchart of an intelligent image processing method in a ship combat system according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the present embodiments allow the disclosure of the present invention to be complete, and those of ordinary skill in the art to which the present invention pertains. It is provided to fully understand the scope of the present invention to those skilled in the art, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components. Like reference numerals refer to like elements throughout, and "and/or" includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein will have the meaning commonly understood by those of ordinary skill in the art to which this invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless specifically defined explicitly.
도 2는 본 발명의 일 실시예에 따른 함정 전투체계 지능화 영상처리 시스템(100)의 블록도이다. 도 3은 본 발명의 일 실시예에 따른 지능화 영상처리 서버(110)의 블록도이다. 도 4는 본 발명의 일 실시예에 따른 지능화 영상저장 서버(120)의 블록도이다.2 is a block diagram of an intelligent
본 발명의 일 실시예에 따른 함정 전투체계 지능화 영상처리 시스템(100)은 지능화 기능을 통해 해상 객체 탐지, 분류, 추적, 선박이나 레이더 및 교전정보 등을 전시하기 위한 것으로, 지능화 영상처리 서버(110)와 지능화 영상저장 서버(120)를 포함하여 구성된다.The intelligent
지능화 영상처리 시스템(100)은 복수의 지능화 처리부(111~113) 및 가시화 처리부(114)를 포함한다.The intelligent
적어도 하나의 광학센서(10)로부터 함정용 광학센서 정보를 수신한다. 그리고 미리 학습된 딥러닝 기반의 제1 지능화 처리부(111)를 통해 함정용 광학센서 정보에서의 객체의 분류 정보, 식별 정보 및 추적 정보를 생성한다.Receives optical sensor information for ships from at least one optical sensor (10). And through the first intelligent processing unit 111 based on deep learning learned in advance, it generates classification information, identification information, and tracking information of objects in the optical sensor information for ships.
일 실시예로, 객체의 분류 정보는 선박, 부표물, 수상(호위함, 구축함 등), 수중 등을 포함할 수 있으며, 객체의 식별 정보는 적군, 아군 및 중립으로 구분될 수 있다. 또한, 객체의 추적정보(표적 상세정보)는 선박의 ID, 호출부호, 표적번호, 방위, 거리, 실침로 및 실속력 정보를 포함할 수 있다.In an embodiment, the classification information of the object may include a ship, a buoy, water (eg, a frigate, a destroyer, etc.), underwater, and the like, and the identification information of the object may be divided into an enemy, a friendly, and a neutral. In addition, the tracking information of the object (target detailed information) may include the ID, call sign, target number, bearing, distance, actual course and stall force information of the vessel.
또한, 지능화 영상처리 서버(110)는 함정용 광학센서 정보와 타 센서 정보를 통해 각각 인식된 객체의 일치여부를 판단하는 제2 지능화 처리부(112)를 포함할 수 있다.Also, the intelligent
여기에서 타 센서 정보는 레이더 정보, AIS 정보 등일 수 있으며, 제2 지능화 처리부는 딥러닝 기반으로 미리 학습되어, 함정용 광학센서 정보에 의해 인식된 객체와 타 센서 정보를 통해 인식된 객체가 동일 객체인지 여부를 판단하고, 그 비교 결과를 가시화 처리부(114)를 통해 다기능 콘솔(20)의 디스플레이 영역에 출력시킬 수 있다.Here, the other sensor information may be radar information, AIS information, etc., and the second intelligent processing unit is pre-learned based on deep learning, and whether the object recognized by the optical sensor information for ships and the object recognized through other sensor information are the same object It may be determined whether or not, and the comparison result may be output to the display area of the
또한, 지능화 영상처리 서버(110)는 함정용 광학센서 정보를 통해 식별된 객체에 대한 교전정보를 수신하고, 객체에 대한 무장 할당여부에 기초하여 객체에 대한 사격 명중여부 정보를 생성하는 제3 지능화 처리부(113)를 포함할 수 있다.In addition, the intelligent
즉, 제3 지능화 처리부(113)는 식별된 객체에 대한 교전정보를 수신하고, 해당 객체에 무장이 할당된 경우, 명중 여부 판별을 위한 지능화 처리를 수행하며, 객체에 무장이 할당되지 않은 경우 지능화 처리를 수행하지 않는다.That is, the third
이때, 교전정보는 우선순위, 무장 정보, 교전가능성 및 교전불가사유 정보를 포함하는 교전채널정보와, 최초발사가능시간, 구역진입시간, 최종발사가능시간 및 구역이탈시간 정보를 포함하는 교전시간정보를 포함할 수 있다.In this case, the engagement information includes engagement channel information including priority, arming information, engagement possibility and non-engagement reason information, and engagement time information including information on the first possible firing time, the zone entry time, the last possible firing time, and the zone departure time information. may include
또한, 지능화 영상처리 서버(110)는 함정용 광학센서 정보를 통해 인식된 객체 및 객체에 대한 교전정보를 다기능 콘솔(20)의 디스플레이 영역에 오버레이하여 전시하는 가시화 처리부(114)를 포함할 수 있다.In addition, the intelligent
그밖에 지능화 영상처리 서버(110)는 전처리부(115)를 더 포함할 수 있다. 전처리부(115)는 아날로그 또는 디지털 타입의 함정용 광학센서 정보를 수신하면 ADC(Analog-to-digital converter), 포맷 변환 등의 전처리를 수행할 수 있다.In addition, the intelligent
또한, 지능화 영성처리 시스템(100)은 다기능 콘솔(20)과 데이터를 송수신하기 위한 네트워크 장치(통신부)를 포함할 수 있으며, 다기능 콘솔(20)로 전송하기 위한 데이터(객체 분류, 식별, 교전정보 등 지능화 처리 결과)를 압축하여 네트워크 분배를 수행하며, 이를 수신한 다기능 콘솔(20)은 압축된 데이터를 해제하고, 포맷 변환 및 해당 영상을 디스플레이 영역에 전시할 수 있다.In addition, the intelligent
지능화 영상저장 서버(120)는 향후 지능화 영상처리의 고도화를 위하여 함정용 광학센서 정보를 저장한다. 이때, 지능화 영상저장 서버(120)는 한정된 저장용량의 효율을 높이기 위하여, 객체 인식을 통해 함정용 광학센서 정보 내 객체가 존재하는 경우 이를 저장할 수 있다. 이때, 객체 인식은 지능화 영상처리 서버(110)에서 인식된 객체 정보를 이용할 수 있으며, 또는 별도의 미리 학습된 딥러닝 모델을 구비하는 영상저장 처리부(121)를 통해 광학센서(10)로부터 수신한 함정용 광학센서 정보로부터 자체적으로 객체 인식을 수행하여 저장할 수 있다.The intelligent
또한, 지능화 영상저장 서버(120)는 함정용 광학센서 정보 중, 교전정보가 존재하는 객체에 대한 제1 함정용 광학센서 정보와, 일반 상황에서의 객체에 대한 제2 함정용 광학센서 정보를 구분하여 제1 및 제2 저장부(122, 123)에 각각 저장할 수 있다.In addition, the intelligent
즉, 지능화 영상저장 서버(120)는 인식된 객체가 존재하는 경우 함정용 광학센서 정보를 저장하되, 인식된 객체에 무장이 할당되고 무장 발사 시, 제1 저장부(122)에 제1 함정용 광학센서 정보로 저장하고, 객체에 무장이 할당되지 않은 경우 제2 저장부(123)에 제2 함정용 광학센서 정보로 저장한다. That is, the intelligent
그리고 지능화 영상저장 서버(120)는 함정용 광학센서 정보를 통해 객체가 인식되지 않는 경우, 함정용 광학센서 정보의 저장을 중지한다.And the intelligent
그밖에 지능화 영상저장 서버(120)는 전처리부(124)를 더 포함할 수 있다. 전처리부(124)는 아날로그 또는 디지털 타입의 함정용 광학센서 정보를 수신하면 ADC(Analog-to-digital converter) 등의 전처리를 수행할 수 있다.In addition, the intelligent
이하에서는 도 5 내지 도 6을 참조하여 다기능 콘솔(20)의 디스플레이 영역을 통해 전시되는 지능화 영상에 대해 설명하도록 한다.Hereinafter, an intelligent image displayed through the display area of the
도 5는 객체의 분류정보, 식별정보, 추적정보 및 교전정보가 전시되는 일 예시를 나타낸 도면이다.5 is a diagram illustrating an example in which classification information, identification information, tracking information, and engagement information of an object are displayed.
지능화 영상처리 시스템(100)을 통해 함정용 광학센서 정보로부터 객체의 분류 정보, 식별 정보 및 추적 정보를 생성하면, 이는 다기능 콘솔(20)의 디스플레이 영역에 전시된다. When classification information, identification information, and tracking information of an object are generated from the optical sensor information for ships through the intelligent
이때, 인식된 객체는 광학센서를 통해 인식된 객체와 타 센서 정보를 통해 인식된 객체의 일치 여부에 대한 결과 및 각 센서들의 특장점들이 융합되어 디스플레이 영역에 전시될 수 있다.In this case, the recognized object may be displayed in the display area by fusion of the result of whether the object recognized through the optical sensor matches the object recognized through other sensor information and the features of each sensor.
다기능 콘솔(20)의 디스플레이 영역의 제1 영역에는 인식된 객체(또는 융합 인식된 객체)가 전시된다. 이때, 제1 영역은 가장 중요한 정보이므로 디스플레이 영역의 중심 영역으로 타 영역보다 더 큰 화면으로 출력될 수 있다.A recognized object (or fusion recognized object) is displayed in a first area of the display area of the
또한, 제1 영역을 기준으로 소정의 가장자리 영역인 제2 영역에는 객체의 분류 정보가 전시되고, 제3 영역에는 객체의 추적 정보(표적의 상세정보)가 전시될 수 있다.In addition, classification information of the object may be displayed in the second area, which is a predetermined edge area based on the first area, and tracking information (detail information of the target) of the object may be displayed in the third area.
일 실시예로, 객체의 분류 정보는 선박, 부표물, 수상(호위함, 구축함 등), 수중 등을 포함할 수 있으며, 객체의 식별 정보는 적군, 아군 및 중립으로 구분될 수 있다. 또한, 객체의 추적정보(표적 상세정보)는 선박의 ID, 호출부호, 표적번호, 방위, 거리, 실침로 및 실속력 정보를 포함할 수 있다.In an embodiment, the classification information of the object may include a ship, a buoy, water (eg, a frigate, a destroyer, etc.), underwater, and the like, and the identification information of the object may be divided into an enemy, a friendly, and a neutral. In addition, the tracking information of the object (target detailed information) may include the ID, call sign, target number, bearing, distance, actual course and stall force information of the vessel.
또한, 제1 영역을 기준으로 소정의 가장자리 영역인 제4 영역과 제5 영역에는 교전정보가 전시될 수 있으며, 구체적으로 제4 영역에는 우선순위, 무장 정보, 교전가능성 및 교전불가사유 정보를 포함하는 교전채널정보가 전시되고, 제5 영역에는 최초발사가능시간, 구역진입시간, 최종발사가능시간 및 구역이탈시간 정보를 포함하는 교전시간정보가 전시될 수 있다.In addition, engagement information may be displayed in the fourth and fifth regions, which are predetermined edge regions based on the first region. Specifically, the fourth region includes priority, arming information, engagement possibility and non-engagement reason information. engagement channel information may be displayed, and in the fifth area, engagement time information including information on the first available firing time, the zone entry time, the last possible firing time and the zone departure time may be displayed.
도 6은 교전정보 중 사격 명중여부 정보가 전시되는 일 예시를 나타낸 도면이다.6 is a diagram illustrating an example in which information on whether or not a shooting hit is displayed among the engagement information.
지능화 영상처리 시스템(100)은 교전정보를 수신하면, 객체에 대한 무장 할당여부에 기초하여 객체에 대한 사격 명중여부 정보를 생성하고, 이는 다기능 콘솔(20)의 디스플레이 영역에 전시된다. When the intelligent
일 실시예로, 지능화 영상처리 시스템(100)은 영상 처리를 통해 함정용 광학센서 정보로부터 파편여부, 물기둥 정보를 인식하고, 이에 기초하여 사격 명중여부 정보를 생성하여 디스플레이 영역에 전시할 수 있다.In one embodiment, the intelligent
이때, 디스플레이 영역의 제1 영역에는 인식된 객체가 전시되며, 제1 영역으로부터 소정의 가장자리 영역인 제2 영역에는 사격 명중여부 정보(명중여부 및 판단시간)가 전시될 수 있다.In this case, the recognized object may be displayed in the first area of the display area, and information on whether or not the shooting was hit (hit or not and determination time) may be displayed in the second area, which is a predetermined edge area from the first area.
이하에서는 도 7을 참조하여 본 발명의 일 실시예에 따른 함정 전투체계에서의 지능화 영상처리 방법에 대해 설명하도록 한다.Hereinafter, an intelligent image processing method in a warship combat system according to an embodiment of the present invention will be described with reference to FIG. 7 .
도 7은 본 발명의 일 실시예에 따른 함정 전투체계에서의 지능화 영상처리 방법의 순서도이다.7 is a flowchart of an intelligent image processing method in a ship combat system according to an embodiment of the present invention.
한편, 도 7에 도시된 각 단계들은 전술한 함정 전투체계 지능화 영상처리 시스템(100)에 의해 수행되는 것으로 이해될 수 있으나, 반드시 이에 한정되는 것은 아니다.On the other hand, each step shown in FIG. 7 may be understood to be performed by the intelligent
먼저, 적어도 하나의 광학센서로부터 함정용 광학센서 정보를 수신하면(S110), 미리 학습된 딥러닝 기반의 제1 지능화 처리부를 통해, 함정용 광학센서 정보에서의 객체의 분류 정보, 식별 정보 및 추적 정보를 생성한다(S120).First, when receiving the optical sensor information for ships from at least one optical sensor (S110), through the first intelligent processing unit based on deep learning learned in advance, classification information, identification information, and tracking information of objects in the optical sensor information for ships generated (S120).
다음으로, 객체가 인식된 함정용 광학센서 정보를 저장하고(S130), 함정용 광학센서 정보에서 인식된 객체의 분류 정보, 식별 정보 및 추적 정보를 전시한다(S140).Next, the object is stored for the recognized vessel optical sensor information (S130), and displays the classification information, identification information and tracking information of the object recognized in the optical sensor information for the vessel (S140).
한편, 상술한 설명에서, 단계 S110 내지 S140은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 2 내지 도 6의 함정 전투체계 지능화 영상처리 시스템(100)의 내용은 도 7의 내용에도 적용될 수 있다.Meanwhile, in the above description, steps S110 to S140 may be further divided into additional steps or combined into fewer steps according to an embodiment of the present invention. In addition, some steps may be omitted if necessary, and the order between steps may be changed. In addition, the contents of the intelligent
이상에서 전술한 본 발명의 일 실시예에 따른 함정 전투체계 지능화 영상처리 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.The intelligent image processing method for a warship combat system according to an embodiment of the present invention described above may be implemented as a program (or application) and stored in a medium in order to be executed in combination with a computer, which is hardware.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-mentioned program, in order for the computer to read the program and execute the methods implemented as a program, C, C++, JAVA, Ruby, which the processor (CPU) of the computer can read through the device interface of the computer; It may include code coded in a computer language such as machine language. Such code may include functional code related to a function defining functions necessary for executing the methods, etc., and includes an execution procedure related control code necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, the code may further include additional information necessary for the processor of the computer to execute the functions or code related to memory reference for which location (address address) in the internal or external memory of the computer to be referenced. there is. In addition, when the processor of the computer needs to communicate with any other computer or server located remotely in order to execute the functions, the code uses the communication module of the computer to determine how to communicate with any other computer or server remotely. It may further include a communication-related code for whether to communicate and what information or media to transmit and receive during communication.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium is not a medium that stores data for a short moment, such as a register, a cache, a memory, etc., but a medium that stores data semi-permanently and can be read by a device. Specifically, examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, and an optical data storage device. That is, the program may be stored in various recording media on various servers accessible by the computer or in various recording media on the computer of the user. In addition, the medium may be distributed in a computer system connected to a network, and a computer-readable code may be stored in a distributed manner.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be interpreted as being included in the scope of the present invention. do.
10: 광학센서
20: 다기능 콘솔
100: 함정 전투체계 지능화 영상처리 시스템
110: 지능화 영상처리 서버
120: 지능화 영상저장 서버10: optical sensor
20: Multifunction console
100: warship combat system intelligent image processing system
110: intelligent image processing server
120: intelligent image storage server
Claims (16)
적어도 하나의 광학센서로부터 함정용 광학센서 정보를 수신하고, 미리 학습된 딥러닝 기반의 제1 지능화 처리부를 통해 상기 함정용 광학센서 정보에서의 객체의 분류 정보, 식별 정보 및 추적 정보를 생성하는 지능화 영상처리 서버와,
상기 함정용 광학센서 정보를 수신하고, 상기 객체가 인식된 함정용 광학센서 정보를 저장하는 지능화 영상저장 서버를 포함하고,
상기 지능화 영상처리 서버는,
상기 함정용 광학센서 정보와 타 센서 정보를 통해 각각 인식된 객체의 일치여부를 비교 판단하는 제2 지능화 처리부; 및
상기 함정용 광학센서 정보를 통해 식별된 객체에 대한 교전정보를 수신하고, 상기 객체에 대한 무장 할당여부에 기초하여 상기 객체에 대한 사격 명중여부 정보를 생성하는 제3 지능화 처리부를 더 포함며,
상기 지능화 영상저장 서버는 상기 함정용 광학센서 정보 중 상기 교전정보가 존재하는 객체에 대한 제1 함정용 광학센서 정보와 일반 상황에서의 객체에 대한 제2 함정용 광학센서 정보를 구분하여 저장하는 것인,
함정 전투체계 지능화 영상처리 시스템.
In the intelligent image processing system of the warship combat system,
Intelligent image processing that receives the optical sensor information for ships from at least one optical sensor, and generates classification information, identification information, and tracking information of objects in the optical sensor information for ships through the first intelligent processing unit based on pre-learned deep learning server and
An intelligent image storage server for receiving the optical sensor information for ships, and storing optical sensor information for ships in which the object is recognized,
The intelligent image processing server,
a second intelligent processing unit for comparing and determining whether objects recognized through the optical sensor information for ships and other sensor information match; and
Further comprising a third intelligent processing unit for receiving engagement information on the object identified through the optical sensor information for the ship, and generating information on whether or not to hit the target based on whether or not the weapon is assigned to the object,
The intelligent image storage server separates and stores the first optical sensor information for ships and the second optical sensor information for ships for objects in general situations among the optical sensor information for ships, for which the engagement information exists,
An intelligent image processing system for warship combat systems.
상기 추적정보는 선박의 ID, 호출부호, 표적번호, 방위, 거리, 실침로 및 실속력 정보를 포함하는 것인,
함정 전투체계 지능화 영상처리 시스템.
According to claim 1,
The tracking information will include the ID, call sign, target number, bearing, distance, actual course and stall speed information of the vessel,
An intelligent image processing system for warship combat systems.
상기 교전정보는 우선순위, 무장 정보, 교전가능성 및 교전불가사유 정보를 포함하는 교전채널정보와, 획득시간, 최초발사가능시간, 구역진입시간, 최종발사가능시간 및 구역이탈시간 정보를 포함하는 교전시간정보를 포함하는 것인,
함정 전투체계 지능화 영상처리 시스템.
According to claim 1,
The engagement information includes engagement channel information including priority, arming information, engagement possibility and non-engagement reason information, and engagement including acquisition time, initial firing time, area entry time, final firing available time, and area departure time information. which includes time information,
An intelligent image processing system for warship combat systems.
상기 지능화 영상처리 서버는 상기 함정용 광학센서 정보를 통해 인식된 객체 및 상기 객체에 대한 교전정보를 오버레이하여 전시하는 가시화 처리부를 더 포함하는,
함정 전투체계 지능화 영상처리 시스템.
According to claim 1,
The intelligent image processing server further comprises a visualization processing unit for overlaying and displaying the object recognized through the optical sensor information for the ship and the engagement information on the object,
An intelligent image processing system for warship combat systems.
상기 지능화 영상저장 서버는 상기 함정용 광학센서 정보를 통해 상기 객체가 인식되지 않는 경우 상기 함정용 광학센서 정보의 저장을 중지하는 것인,
함정 전투체계 지능화 영상처리 시스템.
According to claim 1,
The intelligent image storage server will stop the storage of the optical sensor information for ships when the object is not recognized through the optical sensor information for ships,
An intelligent image processing system for warship combat systems.
적어도 하나의 광학센서로부터 함정용 광학센서 정보를 수신하는 단계;
미리 학습된 딥러닝 기반의 제1 지능화 처리부를 통해, 상기 함정용 광학센서 정보에서의 객체의 분류 정보, 식별 정보 및 추적 정보를 생성하는 단계;
상기 객체가 인식된 함정용 광학센서 정보를 저장하는 단계 및
상기 함정용 광학센서 정보에서 인식된 객체의 분류 정보, 식별 정보 및 추적 정보를 전시하는 단계를 포함하고,
타 센서 정보를 통해 객체를 인식하는 단계; 및
상기 함정용 광학센서 정보와 타 센서 정보를 통해 각각 인식된 객체의 일치여부를 비교 판단하는 단계를 더 포함하며,
상기 함정용 광학센서 정보를 통해 식별된 객체에 대한 교전정보를 수신하는 단계; 및
상기 객체에 대한 무장 할당여부에 기초하여 상기 객체에 대한 사격 명중여부 정보를 생성하는 단계를 더 포함하고,
상기 객체가 인식된 함정용 광학센서 정보를 저장하는 단계는,
상기 함정용 광학센서 정보 중 상기 교전정보가 존재하는 객체에 대한 제1 함정용 광학센서 정보와, 일반 상황에서의 객체에 대한 제2 함정용 광학센서 정보를 구분하여 저장하는 것인,
함정 전투체계 지능화 영상처리 방법.
In the intelligent image processing method in the warship combat system,
receiving optical sensor information for ships from at least one optical sensor;
generating classification information, identification information, and tracking information of an object in the optical sensor information for ships through the first intelligent processing unit based on deep learning learned in advance;
Storing optical sensor information for ships in which the object is recognized; and
Including the step of displaying classification information, identification information and tracking information of the object recognized in the optical sensor information for ships,
Recognizing an object through other sensor information; and
Further comprising the step of comparing and determining whether the object recognized through the optical sensor information for ships and other sensor information matches,
Receiving engagement information for the object identified through the optical sensor information for the ship; and
The method further comprising the step of generating information on whether or not to hit the shooting on the object based on whether or not arming is assigned to the object,
The step of storing the optical sensor information for the ship in which the object is recognized is,
Among the optical sensor information for ships, the first optical sensor information for ships for the object in which the engagement information exists, and the second optical sensor information for ships for objects in general situations are stored separately,
An intelligent image processing method for a warship combat system.
상기 추적정보는 선박의 ID, 호출부호, 표적번호, 방위, 거리, 실침로 및 실속력 정보를 포함하는 것인,
함정 전투체계 지능화 영상처리 방법.
10. The method of claim 9,
The tracking information will include the ID, call sign, target number, bearing, distance, actual course and stall speed information of the vessel,
An intelligent image processing method for a warship combat system.
상기 교전정보는 우선순위, 무장 정보, 교전가능성 및 교전불가사유 정보를 포함하는 교전채널정보와, 획득시간, 최초발사가능시간, 구역진입시간, 최종발사가능시간 및 구역이탈시간 정보를 포함하는 교전시간정보를 포함하는 것인,
함정 전투체계 지능화 영상처리 방법.
10. The method of claim 9,
The engagement information includes engagement channel information including priority, arming information, engagement possibility and non-engagement reason information, and engagement including acquisition time, initial firing time, area entry time, final firing available time, and area departure time information. which includes time information,
An intelligent image processing method for a warship combat system.
상기 함정용 광학센서 정보에서 인식된 객체의 분류 정보, 식별 정보 및 추적 정보를 전시하는 단계는,
상기 함정용 광학센서 정보를 통해 인식된 객체 및 상기 객체에 대한 교전정보를 오버레이하여 전시하는 것인,
함정 전투체계 지능화 영상처리 방법.
10. The method of claim 9,
The step of displaying the classification information, identification information and tracking information of the object recognized in the optical sensor information for the ship,
The object recognized through the optical sensor information for the ship and the engagement information for the object are displayed by overlaying,
An intelligent image processing method for a warship combat system.
상기 객체가 인식된 함정용 광학센서 정보를 저장하는 단계는,
상기 함정용 광학센서 정보를 통해 상기 객체가 인식되지 않는 경우 상기 함정용 광학센서 정보의 저장을 중지하는 것인,
함정 전투체계 지능화 영상처리 방법.
10. The method of claim 9,
The step of storing the optical sensor information for the ship in which the object is recognized is,
When the object is not recognized through the optical sensor information for the ship, the storage of the optical sensor information for the ship is stopped,
An intelligent image processing method for a warship combat system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210139411A KR102375677B1 (en) | 2021-10-19 | 2021-10-19 | System and method for intelligent image processing of warship combat system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210139411A KR102375677B1 (en) | 2021-10-19 | 2021-10-19 | System and method for intelligent image processing of warship combat system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102375677B1 true KR102375677B1 (en) | 2022-03-17 |
Family
ID=80936343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210139411A KR102375677B1 (en) | 2021-10-19 | 2021-10-19 | System and method for intelligent image processing of warship combat system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102375677B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102503118B1 (en) * | 2022-09-15 | 2023-02-23 | 한화시스템(주) | Naval combat system and method for collecting and identifying target data thereof |
| KR102578568B1 (en) * | 2023-04-05 | 2023-09-15 | 한화시스템(주) | Threat assessment system and method for anti-air target in surface fleet combat system |
| KR102667099B1 (en) * | 2023-03-10 | 2024-05-20 | 한화시스템 주식회사 | Apparatus for controlling engagement using artificial intelligence, naval vessel having the same and method for controlling engagement |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08178595A (en) * | 1994-12-28 | 1996-07-12 | Mitsubishi Electric Corp | Information processing equipment |
| KR101524137B1 (en) * | 2014-10-01 | 2015-05-29 | 엘아이지넥스원 주식회사 | Method for managing target |
| JP2016173269A (en) * | 2015-03-16 | 2016-09-29 | 三菱電機株式会社 | Sensor control system |
| KR102201995B1 (en) * | 2020-08-26 | 2021-01-12 | 한화시스템(주) | Information recording and reproducing apparatus and method for combat Management systems |
-
2021
- 2021-10-19 KR KR1020210139411A patent/KR102375677B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08178595A (en) * | 1994-12-28 | 1996-07-12 | Mitsubishi Electric Corp | Information processing equipment |
| KR101524137B1 (en) * | 2014-10-01 | 2015-05-29 | 엘아이지넥스원 주식회사 | Method for managing target |
| JP2016173269A (en) * | 2015-03-16 | 2016-09-29 | 三菱電機株式会社 | Sensor control system |
| KR102201995B1 (en) * | 2020-08-26 | 2021-01-12 | 한화시스템(주) | Information recording and reproducing apparatus and method for combat Management systems |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102503118B1 (en) * | 2022-09-15 | 2023-02-23 | 한화시스템(주) | Naval combat system and method for collecting and identifying target data thereof |
| KR102667099B1 (en) * | 2023-03-10 | 2024-05-20 | 한화시스템 주식회사 | Apparatus for controlling engagement using artificial intelligence, naval vessel having the same and method for controlling engagement |
| KR102578568B1 (en) * | 2023-04-05 | 2023-09-15 | 한화시스템(주) | Threat assessment system and method for anti-air target in surface fleet combat system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102375677B1 (en) | System and method for intelligent image processing of warship combat system | |
| KR102054153B1 (en) | Artificial intelligence automatic identification system by fusion of deep run based submarine sonar data and periscope image data | |
| KR102479959B1 (en) | Artificial intelligence based integrated alert method and object monitoring device | |
| Yu et al. | Object detection-tracking algorithm for unmanned surface vehicles based on a radar-photoelectric system | |
| CA2282064A1 (en) | A system and method for use with a moveable platform | |
| CN113780127A (en) | Ship positioning and monitoring system and method | |
| CA2279165A1 (en) | A system and method for use with a moveable platform | |
| CN111860215A (en) | Target object position determining method, terminal device and navigation system | |
| KR101675673B1 (en) | System apparatus and method of Dolphin monitoring | |
| CN113191266B (en) | Remote monitoring management method and system for ship power device | |
| CN113705503A (en) | Abnormal behavior detection system and method based on multi-mode information fusion | |
| US20240104746A1 (en) | Vessel tracking and monitoring system and operating method thereof | |
| JP7086475B2 (en) | Ship maneuvering support device | |
| KR20220077332A (en) | IoT and drone-based port management methods, devices, and platforms | |
| Dijk et al. | Multi-sensor information extraction and combination in a large harbor surveillance experiment | |
| CN113192234B (en) | Ship power device fault detection method and system | |
| US20240177503A1 (en) | Port district sea line multiple vessel monitoring system and operating method thereof | |
| WO2023162561A1 (en) | Landmark monitoring device, ship steering system, landmark monitoring method, and program | |
| JP7048705B1 (en) | Object recognition device, object recognition method, and program | |
| Camp | Evaluation of object detection algorithms for ship detection in the visible spectrum | |
| JP2024046913A (en) | Drone device, monitoring method, and program | |
| JP2023183976A (en) | Analysis method for cognitive process for remote ship operator, analysis system for cognitive process for remote ship operator, and design method for remote ship operation system | |
| KR20230042814A (en) | video recording system for ship | |
| CN117853887A (en) | Unmanned ship complex scene processing method and device, electronic equipment and storage medium | |
| KR20230079800A (en) | Augmented reality based system and method of displaying maritime object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |