KR101781757B1 - Underwater image processing device for object recognition and method there of - Google Patents
Underwater image processing device for object recognition and method there of Download PDFInfo
- Publication number
- KR101781757B1 KR101781757B1 KR1020160136683A KR20160136683A KR101781757B1 KR 101781757 B1 KR101781757 B1 KR 101781757B1 KR 1020160136683 A KR1020160136683 A KR 1020160136683A KR 20160136683 A KR20160136683 A KR 20160136683A KR 101781757 B1 KR101781757 B1 KR 101781757B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- neural network
- sonar
- underwater
- target object
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Acoustics & Sound (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 객체 인식을 위한 수중 이미지 처리장치 및 그 방법에 관한 것으로, 더욱 상세하게는, 시야가 좋지 못한 수중에서 객체를 인식하기 위하여 수중 이미지를 처리하는 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus for processing an underwater image for recognizing an object and a method thereof, and more particularly, to an apparatus and method for processing an underwater image for recognizing an object in an underwater view.
종래, 수중 환경에서의 위치 인식 및 항법에 필요한 정보를 얻기 위하여, 영상 정보를 활용한 물체 탐색 및 인식과 항법에 관한 다양한 연구가 수행되고 있다.Conventionally, in order to obtain information necessary for position recognition and navigation in an underwater environment, various researches on object search, recognition, and navigation using image information have been conducted.
최근에는, 수중 영상처리를 이용하여 객체를 인식하고, 상대적인 위치를 계측하거나 다른 센서 결과에 대한 오차를 보정하는 연구가 진행되어 많은 연구에서 광학 카메라를 사용하여 영상을 획득하는 방법을 제시하고 있으나, 광학영상은 탁도 및 빛의 영향으로 제한된 시계를 극복하기 어렵다는 문제가 있는 것이었다.In recent years, research has been carried out to recognize objects using underwater image processing, to measure relative positions, and to correct errors in other sensor results. In many studies, a method of acquiring images using an optical camera has been proposed, The optical image has a problem that it is difficult to overcome a clock limited by the influence of turbidity and light.
이에, 상기한 바와 같은 광학 카메라에 대한 대안으로, 수중 영상 소나(sonar)를 사용하여 얻어진 영상을 통해 수중의 상황을 판단하는 방법이 널리 사용되고 있다.As an alternative to the above-mentioned optical camera, a method of determining the underwater situation through an image obtained using an underwater image sonar is widely used.
아울러, 최근에는, 컴퓨터 등을 통해 소나 영상과 이에 대한 후처리(영상처리)를 행하여 탁도에 의한 시야 확보의 어려움을 감소하고 수중 환경에 대한 영상을 관찰할 수 있도록 하는 기술이 연구되고 있다.In recent years, techniques have been researched to reduce the difficulty of securing a visual field due to turbidity and to observe an image of an underwater environment by performing post-processing (image processing) on the sonar image and the like through a computer or the like.
여기서, 영상 소나는, 초음파를 사용하여 주변 환경을 계측하는 장비로서, 수중의 환경을 파악하는데 유용하게 사용되나, 소나 영상은, 예를 들면, 물체의 재질 등과 같은 환경의 영향을 많이 받는 특성으로 인해 수중의 물체를 명확히 표현하는데 한계가 있다.Here, the image sonar is an instrument for measuring the surrounding environment using ultrasonic waves, and is useful for grasping the underwater environment. However, the sonar image is a characteristic that is highly influenced by the environment such as the material of the object Therefore, there is a limit to clearly expressing objects in water.
상기한 바와 같이, 소나 영상은, 물체의 정보를 명확히 전달하지 못하는 한계가 있음으로 인해 소나 영상 자체만으로 물체의 탐색 및 인식에 어려움이 있는 데 더하여, 광학 카메라에 비해 낮은 화질과 노이즈가 많은 영상으로 인해 물체를 보다 용이하게 식별할 수 있도록 하기 위한 사후적인 영상처리에도 많은 어려움이 따르는 것이었다.As described above, since the sonar image has a limitation that it can not clearly convey the information of the object, it is difficult to search and recognize the object only by the sonar image itself, and in addition to the image having a lower image quality and noise than the optical camera And it was difficult for the post-processing of the image to make it easier to identify the object.
특허문헌 제10-2014-0083195호는, 수중의 바닥을 이동하면서 후보 물체를 탐색하는 단계, 후보 물체가 탐색되면, 후보 물체에 대하여 사전 설정된 위치로 이동하는 단계, 사전 설정된 위치에서 후보 물체에 대한 소나 이미지를 획득하고, 획득된 소나 이미지와 다수의 물체에 대하여 시뮬레이션된 소나 이미지 템플릿과의 상관 계수를 연산하여 후보군을 도출하는 단계, 및 후보 물체를 중심으로 일정 각도로 회전하면서 소나 이미지를 획득하고, 획득된 각도별 소나 이미지와 다수의 물체에 대하여 각도별로 시뮬레이션된 소나 이미지를 포함하는 소나 이미지 템플릿 맵과의 상관 계수를 연산하여 제 1 임계값 이상인 경우 대상 물체로 판정하는 단계를 포함하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 방법을 개시한다.Patent Document 10-2014-0083195 discloses a method of searching for a candidate object while moving the floor in water, moving to a predetermined position with respect to a candidate object when a candidate object is searched, Obtaining a candidate group by calculating a correlation coefficient between the obtained sonar image and a simulated sonar image template for a plurality of objects, and obtaining a sonar image while rotating at a predetermined angle around the candidate object Calculating a correlation coefficient between the obtained sonar image by angle and a sonar image template map including a sonar image for each of a plurality of objects by angle, and determining a target object when the correlation coefficient is equal to or greater than the first threshold value; An underwater object recognition method using an image template is disclosed.
하지만, 특허문헌은 소나 이미지를 다양한 각도에서 촬영하고, 비교 대상이 되는 시뮬레이션된 소나 이미지 템플릿에 각도별로 다수 회 상관 관계를 비교함으로써 객체를 인식하는 단순한 방법을 개시할 뿐, 노이즈로 인하여 해상도가 낮아 단순 비교로는 확인하기 어려운 소나 이미지를 이용하여 특정 객체를 명확히 인식하기 위한 방법을 제시하는데 여전히 한계가 존재한다.However, the patent document discloses a simple method of recognizing an object by photographing a sonar image at various angles and comparing the correlation with the simulated sonar image template many times for each angle, and the resolution is low due to noise There is still a limit to present a method for clearly recognizing a specific object using a sonar image which is difficult to confirm by a simple comparison.
따라서, 본 발명의 다양한 실시 예에 따르면, 탁도가 높고 빛이 들지 않아 시야가 확보되지 않는 수중에서 음파 탐지기를 이용하여 찾고자 하는 특정 객체를 인식하는 객체 인식을 위한 수중 이미지 처리장치 및 그 방법을 제공할 수 있다.Therefore, according to various embodiments of the present invention, an underwater image processing apparatus and method for object recognition for recognizing a specific object to be searched by using a sonar in water whose turbidity is high and light is not visible and visibility is not ensured is provided can do.
또한, 본 발명의 다양한 실시 예에 따르면, 다양한 객체에 대하여 참/거짓의 라벨 설정하고, 기 설정된 참/거짓에 대한 라벨이 설정된 객체들의 이미지를 이용하여 라벨이 설정되지 않은 이미지들 중 특정 객체를 인식하는 객체 인식을 위한 수중 이미지 처리장치 및 그 방법을 제공할 수 있다.In addition, according to various embodiments of the present invention, a true / false label is set for various objects, and a specific object among unlabeled images is set using an image of objects with labels set to a predetermined true / false It is possible to provide an apparatus for processing an underwater image for recognizing an object and a method thereof.
본 발명의 일 실시 예에 따르면, 적어도 하나의 센서를 통하여 소나 이미지를 촬영하는 센싱부; 컨벌루션 신경망을 포함하는 저장부; 및 상기 소나 이미지 및 상기 컨벌루션 신경망을 이용하여 수중에서 지정된 대상 객체를 검출하는 처리부;를 포함하며, 상기 처리부는, 상기 센싱부를 통해서 상기 소나 이미지를 수집하는 이미지수집모듈; 상기 수집한 소나 이미지로부터 객체를 검출하는 객체확인모듈; 및 상기 검출된 객체 및 상기 컨벌루션 신경망을 이용하여 상기 검출된 객체들 중 상기 대상 객체를 결정하는 객체결정모듈;을 포함하는, 객체 인식을 위한 수중 이미지 처리장치를 제공한다.According to an embodiment of the present invention, there is provided an image sensing apparatus comprising: a sensing unit for sensing a sonar image through at least one sensor; A storage unit including a convolutional neural network; And a processing unit for detecting a target object in the water using the sonar image and the convolutional neural network, wherein the processing unit comprises: an image collection module for collecting the sonar image through the sensing unit; An object checking module for detecting an object from the collected sonar image; And an object determining module for determining the object among the detected objects using the detected object and the convolution neural network.
다양한 실시 예에 따르면, 객체 인식을 위한 수중 이미지 처리장치는, 외부장치와 통신하는 적어도 하나의 통신부;를 더 포함하고,상기 이미지수집모듈은, 상기 통신부를 통해서 소나 이미지를 수신할 수 있다.According to various embodiments, the underwater image processing apparatus for object recognition further includes at least one communication unit for communicating with an external device, and the image acquisition module can receive the sonar image through the communication unit.
다양한 실시 예에 따르면, 상기 처리부는, 상기 객체확인모듈을 통해서 입력되는 참/거짓 라벨이 설정된 이미지 및 상기 입력된 이미지의 컨벌루션 및 서브샘플링 결과에 따른 신경망 데이터에 기반하여 상기 컨벌루션 신경망을 생성하는 신경망처리모듈;을 더 포함할 수 있다.According to various embodiments, the processing unit may include: a neural network generating the convolution neural network based on neural network data according to the convolution of the input image and the result of subsampling, And a processing module.
다양한 실시 예에 따르면, 상기 서브샘플링으로, 맥스 풀링(max-pooling)을 수행할 수 있다.According to various embodiments, max-pooling may be performed with the subsampling.
다양한 실시 예에 따르면, 상기 객체확인모듈은, 상기 소나 이미지로부터 추출된 이미지가 상기 대상 객체를 포함하는 경우, 상기 추출된 이미지에 참 라벨을 설정하고 상기 신경망처리모듈에 전달할 수 있다.According to various embodiments, when the image extracted from the sonar image includes the target object, the object confirmation module may set a true label on the extracted image and transmit the true label to the neural network processing module.
다양한 실시 예에 따르면, 상기 객체확인모듈은, 상기 소나 이미지로부터 추출된 이미지가 상기 대상 객체의 일부, 객체, 객체의 일부 중 적어도 하나를 포함하거나, 객체를 포함하지 않는 경우, 상기 추출된 이미지에 거짓 라벨을 설정하고 상기 신경망처리모듈에 전달할 수 있다.According to various embodiments, the object identification module may be configured to determine whether the image extracted from the sonar image includes at least one of a part of the object, an object, a part of the object, A false label can be set and transmitted to the neural network processing module.
다양한 실시 예에 따르면, 상기 객체확인모듈은, 상기 소나 이미지의 적어도 일부를 추출하고, 상기 추출된 이미지의 사이즈를 변환할 수 있다.According to various embodiments, the object identification module may extract at least a portion of the sonar image and convert the size of the extracted image.
다양한 실시 예에 따르면, 상기 객체결정모듈은, 상기 컨벌루션 신경망의 서브샘플링 결과 및 참/거짓 라벨에 따라서 라벨이 결정되지 않은 상기 객체들 중 상기 대상 객체를 결정할 수 있다.According to various embodiments, the object determination module may determine the target object among the objects whose labels have not been determined according to the sub-sampling result of the convolution neural network and the true / false labels.
본 발명의 일 실시 예에 따르면, 수중 이미지를 이용하여 객체를 처리하는 방법에 있어서, 소나 이미지를 수집하는 단계; 상기 수집한 소나 이미지로부터 객체를 검출하는 단계; 및 상기 검출된 객체 및 컨벌루션 신경망을 이용하여 상기 검출된 객체들 중 기 지정된 대상 객체를 결정하는 단계;를 포함하는, 객체 인식을 위한 수중 이미지 처리방법을 제공한다.According to an embodiment of the present invention, there is provided a method of processing an object using an underwater image, comprising: collecting a sonar image; Detecting an object from the collected sonar image; And determining a previously designated target object among the detected objects using the detected object and the convolution neural network. The present invention provides an underwater image processing method for object recognition.
다양한 실시 예에 따르면, 상기 소나 이미지는, 센싱부를 통하여 촬영하거나 또는 적어도 하나의 외부장치로부터 수신할 수 있다.According to various embodiments, the sonar image may be photographed through a sensing unit or received from at least one external device.
다양한 실시 예에 따르면, 객체 인식을 위한 수중 이미지 처리방법은, 입력되는 참/거짓 라벨이 설정된 이미지 및 상기 입력된 이미지의 컨벌루션 및 서브샘플링 결과에 따른 신경망 데이터에 기반하여 상기 컨벌루션 신경망을 생성하는 단계;를 더 포함할 수 있다.According to various embodiments, an underwater image processing method for object recognition may include generating an image with an input true / false label set therein and the convolutional neural network based on neural network data according to convolution and sub-sampling results of the input image, ; ≪ / RTI >
다양한 실시 예에 따르면, 상기 서브샘플링으로, 맥스 풀링(max-pooling)을 수행할 수 있다.According to various embodiments, max-pooling may be performed with the subsampling.
다양한 실시 예에 따르면, 상기 수집한 소나 이미지로부터 객체를 검출하는 단계는, 상기 소나 이미지로부터 추출된 이미지가 상기 대상 객체를 포함하는 경우, 상기 추출된 이미지에 참 라벨을 설정할 수 있다.According to various embodiments, the step of detecting an object from the collected sonar image may set a true label on the extracted image if the image extracted from the sonar image includes the target object.
다양한 실시 예에 따르면, 상기 수집한 소나 이미지로부터 객체를 검출하는 단계는, 상기 소나 이미지의 적어도 일부를 추출하고, 상기 추출된 이미지의 사이즈를 변환할 수 있다.According to various embodiments, detecting the object from the collected sonar image may extract at least a portion of the sonar image and convert the size of the extracted image.
다양한 실시 예에 따르면, 상기 수집한 소나 이미지로부터 객체를 검출하는 단계는, 상기 소나 이미지로부터 추출된 이미지가 상기 대상 객체의 일부, 객체, 객체의 일부 중 적어도 하나를 포함하거나, 객체를 포함하지 않는 경우, 상기 추출된 이미지에 거짓 라벨을 설정할 수 있다.According to various embodiments, the step of detecting an object from the sonar image may include detecting at least one of a part of the target object, an object, at least one of a part of the object, , A false label can be set on the extracted image.
다양한 실시 예에 따르면, 상기 검출된 객체 및 컨벌루션 신경망을 이용하여 상기 검출된 객체들 중 기 지정된 대상 객체를 결정하는 단계는, 상기 컨벌루션 신경망의 서브샘플링 결과 및 참/거짓 라벨에 따라서 라벨이 결정되지 않은 상기 객체들 중 상기 대상 객체를 결정할 수 있다.According to various embodiments, the step of determining a pre-determined target object among the detected objects using the detected object and the convolution neural network may include determining a label according to a sub-sampling result of the convolution neural network and a true / false label And determine the target object among the non-target objects.
본 발명의 다양한 실시 예에 따르면, 수중 이미지 처리장치는, 수중 지형, 지물 등의 이미지의 촬영을 선행하고, 촬영된 이미지를 이용하여 컨벌루션 신경망을 생성하고, 생성된 컨벌루션 신경망에 따른 이미지 및 참/거짓에 대하여 학습된 정보를 이용하여 라벨이 설정되지 않은 이미지 중 대상 객체를 검출함으로써, 해저지형 내 객체의 정확한 인식을 구현할 수 있다.In accordance with various embodiments of the present invention, an underwater image processing apparatus is provided that prior to shooting an image of an underwater terrain, an object, etc., generates a convolutional neural network using the captured image, By using the learned information about the false to detect the target object among the unlabeled images, accurate recognition of the object in the undersea feature can be realized.
본 발명의 다양한 실시 예에 따르면, 대상 객체의 검출에 이용되는 수중 이미지 처리장치의 컨벌루션 신경망은 대상 객체를 검출하기 위하여 참/거짓의 라벨이 설정된 다양한 이미지들을 계속적으로 학습함으로써 비교군 데이터의 인식 정확도를 향상시키고, 따라서, 찾고자 하는 대상 객체의 인식 속도와 정확도를 향상시킬 수 있다.According to various embodiments of the present invention, the convolution neural network of an underwater image processing apparatus used for detecting a target object continuously learns a variety of images labeled as true / false to detect a target object, Thereby improving the recognition speed and accuracy of the target object to be searched.
도 1은, 본 발명의 일 실시 예에 따른 수중 이미지 처리장치의 구조를 도시한다.
도 2는 본 발명의 일 실시 예에 다른 수중 이미지 처리장치에서 처리부의 세부 구조를 도시한다.
도 3은 본 발명의 일 실시 예에 따른 수중 이미지 처리장치에서 대상 객체를 촬영하는 상황을 도시한다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 수중 이미지 처리장치가 컨벌루션 신경망을 생성하기 위하여 수중 이미지를 처리하는 흐름을 도시한다.
도 6은 본 발명의 일 실시 예에 따른 수중 이미지 처리장치가 수중 이미지를 이용하여 생성하는 컨벌루션 신경망의 구조도이다.
도 7은 본 발명의 일 실시 예에 다른 수중 이미지 처리장치가 대상 객체의 이미지 및 수중 이미지를 이용하여 컨벌루션 신경망을 생성하는 동작의 흐름도이다.
도 8은 본 발명의 일 실시 예에 따른 수중 이미지 처리장치가 생성된 컨벌루션 신경망을 이용하여 라벨 설정이 되지 않은 이미지로부터 대상 객체를 검출하는 동작의 흐름도이다.1 shows a structure of an underwater image processing apparatus according to an embodiment of the present invention.
2 shows a detailed structure of a processing unit in an underwater image processing apparatus according to an embodiment of the present invention.
FIG. 3 illustrates a situation in which a target object is photographed in an underwater image processing apparatus according to an embodiment of the present invention.
Figs. 4 and 5 illustrate a flow in which an underwater image processing apparatus according to an embodiment of the present invention processes an underwater image to generate a convolution neural network.
6 is a structural diagram of a convolutional neural network generated by an underwater image processing apparatus using an underwater image according to an embodiment of the present invention.
FIG. 7 is a flowchart illustrating an operation of an underwater image processing apparatus according to an exemplary embodiment of the present invention to generate a convolutional neural network using an image of a target object and an underwater image.
FIG. 8 is a flowchart illustrating an operation of detecting a target object from an image that has not been set by using the convolution neural network generated by the underwater image processing apparatus according to an embodiment of the present invention.
이하, 첨부한 도면을 참고로 하여 본 발명의 다양한 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 특정 실시 예가 도면에 예시되고, 관련된 상세한 설명이 기재될 수 있다, 그러나, 이는 본 발명을 특정한 실시 형태에 대하여 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein; rather, it is to be understood that the invention is not limited to the specific embodiments thereof, And equivalents and alternatives falling within the spirit and scope of the invention. In order to clearly illustrate the present invention in the drawings, parts not related to the description may be omitted, and the same reference numerals may be used for the same or similar components throughout the specification.
본 발명의 다양한 실시 예에서, "또는", "적어도 하나" 등의 표현은 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, "A 또는 B", "A 및 B 중 적어도 하나"는 A 또는 B 중 하나만을 포함할 수도 있고, A와 B를 모두 포함할 수도 있다.In various embodiments of the present invention, the expressions "or "," at least one ", etc. may denote one of the words listed together or may represent a combination of two or more. For example, "A or B "," at least one of A and B "may include only one of A or B, and may include both A and B.
본 발명의 다양한 실시 예에서, "제1", "제2", "첫째", "둘째" 등의 표현은 다양한 구성 요소들을 수식할 수 있지만, 반드시 해당 구성 요소의 순서, 또는 중요도 등을 의미하는 것으로 한정하지 않는다. 예를 들어, 제1 장치와 제2 장치는 모두 장치이며 서로 다른 장치를 나타낼 수 있다. 또한, 본 발명의 다양한 실시 예의 권리 범위를 벗어나지 않는 경우, 제1 장치의 구성, 기능, 동작 등의 요소가 제2 장치와 동일 또는 유사한 경우, 제1 장치는 제2 장치로 명명될 수 있고, 유사하게, 제2 장치 또한 제1 장치로 명명될 수 있다.In various embodiments of the present invention, expressions such as "first", "second", "first", "second", etc. may modify various components, . For example, the first device and the second device are both devices and may represent different devices. Also, unless the elements of the configuration, function, operation, etc. of the first device are the same as or similar to the second device, the first device can be named as the second device, without departing from the scope of the various embodiments of the present invention, Similarly, the second device may also be termed the first device.
본 발명의 다양한 실시 예에서 어떤 구성 요소가 다른 구성 요소에 "연결"되어 있다거나 "접속"되어 있다고 언급된 경우, 구성 요소들은 직접적으로 연결되어 있거나 접속되어 있을 수 있지만, 구성 요소들 사이에 적어도 하나의 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, "직접 접속"되어 있다고 언급된 경우, 구성 요소들 사이는 다른 구성 요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.In the various embodiments of the present invention, when an element is referred to as being "connected" or "connected" to another element, the elements may be directly connected or connected, It should be understood that there may be one and the same time. On the other hand, if an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that no other element exists between the elements.
본 발명의 다양한 실시 예에서 사용되는 용어들은 특정일 실시 예를 설명하기 위한 것으로, 본 발명을 한정하는 것으로 해석되어서는 안되며, 예를 들어, 단수의 표현은 문맥상 명백하게 다른 것으로 명시되지 않는 한 복수의 표현을 포함할 수 있을 것이다.The terms used in various embodiments of the present invention are intended to illustrate a specific embodiment and are not to be construed as limiting the invention, for example, the singular forms "a," "an, ≪ / RTI >
본 발명의 다양한 실시 예에 따른 장치, 예를 들면, 객체 인식을 위한 수중 이미지 처리장치(이하, 수중 이미지 처리장치)는 유인 또는 무인 잠수정으로 설명될 수 있다. 명백한 한정 사항을 기재하고 있지 않는 수중 이미지 처리장치는, 다양한 형태의 장치, 예를 들면, 자율 무인잠수정(autonomous underwater vehicle, AUV), 유인잠수정(human-operated submersible vehicle), 무인잠수정(remotely operated vehicle, ROV) 등으로 설명될 수 있음은 자명하다, 또한, 본 발명의 다양한 실시 예에 따른 수중 이미지 처리장치는 기재된 다양한 장치들 중 하나 또는 그 이상의 조합으로 구성될 수 있다. 예를 들어, 장치는 기재된 장치들 중 적어도 일부, 또는 장치의 기능 중 적어도 일부를 포함하는 구조물로 제공될 수도 있다.An apparatus according to various embodiments of the present invention, for example, an underwater image processing apparatus for object recognition (hereinafter, an underwater image processing apparatus), can be described as a manned or unmanned submersible. An underwater image processing apparatus that does not explicitly state the limitations may be applied to various types of devices such as an autonomous underwater vehicle (AUV), a human-operated submersible vehicle, a remotely operated vehicle , ROV), etc. It should be appreciated that an underwater image processing apparatus according to various embodiments of the present invention may also be configured with one or more of the various devices described. For example, the device may be provided as a structure that includes at least a portion of the devices described, or at least some of the functionality of the device.
이하 첨부된 도면 및 설명에서, 본 발명의 다양한 실시 예에 따르면, 수중 이미지 처리장치는, 적어도 하나의 이미지로부터 지정된 객체(대상 객체)를 검출하기 위한 장치일 수 있다. 이때, 수중 이미지 처리장치는, 이미지로부터 대상 객체를 검출하기 위하여 컨벌루션(convolution)을 이용하는 인공 신경망(이하, 컨벌루션 신경망(convolution neural network, CNN))을 이용할 수 있다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In the following drawings and description, according to various embodiments of the present invention, an underwater image processing apparatus may be an apparatus for detecting a specified object (a target object) from at least one image. At this time, the underwater image processing apparatus can use an artificial neural network (hereinafter referred to as a convolution neural network (CNN)) that uses convolution to detect a target object from an image.
도 1은, 본 발명의 일 실시 예에 따른 수중 이미지 처리장치(10)의 구성 요소를 도시한다. 수중 이미지 처리장치(10)는 처리부(101), 센싱부(103), 입력부(105) 통신부(107) 및 저장부(109) 중 적어도 하나의 구성 요소를 포함할 수 있다.1 shows components of an underwater
처리부(101)는, 전술한 다른 구성 요소들(예: 센싱부(103), 입력부(105) 통신부(107) 및 저장부(109))로부터 데이터를 수신하여, 수신한 데이터를 해독하고, 해독된 데이터의 처리를 실행할 수 있다.The
예를 들면, 처리부(101)는, 바다, 강에서 수중 이동하는 수중 이미지 처리장치(10) 및/또는 연결된 외부장치(130)에 포함된 구성 요소들을 제어하여 기 설정된 경로를 따라서, 또는 목적지를 향해서 이동하도록 처리할 수 있다. 처리부(101)는, 수중 이미지 처리장치(10) 및/또는 외부장치(130)의 수중 이동을 처리함에 있어서 무선항법, 추측항법과 같은 다양한 경로 추적 방법을 적용할 수 있다.For example, the
이때, 처리부(101)는, 센싱부(103)에 포함되는 적어도 하나의 이미지 센서(예: 카메라), 위치 측정 센서(이하, 위치 센서), 수심 측정 센서(이하, 수심 센서) 등에 기반하여 수중 이미지 처리장치(10) 및/또는 외부장치(130)의 이동 또는 이동 경로를 처리할 수 있다.At this time, the
처리부(101)는, 센싱부(103)에 포함되는 적어도 하나의 센서들을 통해서 객체들의 이미지, 배경이 되는 수중 이미지 및/또는 대상 객체를 포함하는 이미지 들을 촬영할 수 있다.The
처리부(101)는, 촬영 및/또는 수집되는 이미지를 이용하여 컨벌루션 신경망 알고리즘을 생성할 수 있다. 이때, 컨벌루션 신경 망 알고리즘을 생성하기 위한 이미지는 수중 이동 중 확인하기 위한 대상 객체의 이미지, 재상 객체를 포함하는 수중 이미지, 다양한 수중 이미지 및 적어도 하나의 객체를 포함하는 수중 이미지 중 적어도 일부를 포함할 수 있다.The
여기서, 컨벌루션 신경망에 적용하는 이미지는, 적어도 하나의 소나 이미지를 포함할 수 있다. 수중 이동 장치(10)의 센싱부(103)는 적어도 하나의 음파탐지기(sound navigation ranging, sonar), 예를 들면, 전방주시소나(forward-looking sonar image) 및/또는 장애물회피소나(obstacle avoidance sonar) 등을 포함할 수 있다. 또한, 센싱부(103)가 카메라(camera)를 포함하는 경우, 카메라를 통해서 촬영된 적어도 하나의 광학 이미지를 더 포함할 수 있다.Here, the image to be applied to the convolutional neural network may include at least one sonar image. The
처리부(101)는, 생성된 컨벌루션 신경망 및 이를 이용한 객체 인식 알고리즘에 기반하여 수집되는 이미지로부터 대상 객체를 검출할 수 있다.The
처리부(101)는, 수집되는 이미지를 이용하여 대상 객체, 객체 및 배경 이미지에 대한 컨벌루션 신경망 알고리즘에 따라서 학습된 컨벌루션 신경망을 생성하고, 생성된 컨벌루션 신경망을 이용하여 수중 이동 중 지정된 대상 객체를 검출할 수 있다. 여기서, 컨벌루션 신경망을 생성하는 동작은, 새로운 컨벌루션 신경망을 생성하는 동작에 한정하지 않고, 소나 이미지를 이용하여 기 생성된 컨벌루션 신경망을 학습(또는 트레이닝)하는 동작을 포함할 수 있다.The
수중 이미지 처리장치(10)의 컨벌루션 신경망을 생성 및 이를 이용하는 객체인식 동작은, 이하 도 2에 도시된 처리부(101)의 세부 구성 요소를 참고하여 설명할 수 있다.The generation of the convolutional neural network of the underwater
일 실시 예에 따르면, 도 2에 도시된 바와 같이, 처리부(101)는 컨벌루션 신경망을 생성하는 동작 및 이를 이용한 대상 객체 인식 동작에서, 이미지수집모듈(201), 객체확인모듈(203), 신경망처리모듈(205) 및 객체결정모듈(207) 중 적어도 하나의 처리에 대한 구성 요소를 포함할 수 있다.2, in the operation of generating a convolutional neural network and the recognition of a target object using the operation, an
설명하면, 이미지수집모듈(201)은, 대상 객체, 대상 객체가 아닌 적어도 하나의 객체 및/또는 특정 객체를 포함하지 않는 배경 이미지를 수집할 수 있다. 여기서, 이미지는 센싱부(103)를 통해서 촬영되거나, 통신부(107)를 통해서 수신할 수 있고, 또는 저장부(109)에 저장된 이미지를 이용할 수 있다.In other words, the
여기서 대상 객체의 이미지는, 대상 객체의 전방향에 대하여 적어도 일방향에 대한 형상을 포함하도록, 바람직하게는, 대상 객체의 2차원 또는 3차원 형상을 특정할 수 있도록 적어도 도 3에 도시된 바와 같이, 둘 이상의 방향으로부터 촬영된 이미지를 수집될 수 있다.Here, the image of the target object is preferably arranged so as to include a shape for at least one direction with respect to all directions of the target object, preferably, at least as shown in Fig. 3 so as to specify a two- Images taken from more than one direction can be collected.
예를 들면, 수집되는 이미지는 서로 다른 위치(30-1, 30-3, 30-5)에서 대상 객체를 촬영한 이미지(301-1, 301-3, 301-5) 중 적어도 일부를 포함할 수 있다. 대상 객체를 촬영하는 방향 및 촬영 횟수가 증가할수록 대상 객체의 정밀도는 향상될 수 있다. 또한, 이미지로부터 대상 객체를 검출하는 과정에서 비교군(또는 대조군)이 향상됨으로써, 대상 객체의 검출에 대한 정확도를 향상시킬 수 있다.For example, the image to be collected may include at least some of the images 301-1, 301-3, and 301-5 taken at the different positions 30-1, 30-3, and 30-5 . As the direction of taking a target object and the number of times of shooting are increased, the accuracy of the target object can be improved. In addition, the comparison group (or the control group) is improved in the process of detecting the target object from the image, thereby improving the accuracy of detection of the target object.
도 3을 참조하면, 서로 다른 세 위치에서 대상 객체의 이미지(301-1, 301-3, 301-5)를 촬영하는 것으로 표현하고 있지만, 이에 한정하지 않고 대상 객체의 형상 및 촬영 환경에 따라서 촬영 위치와 촬영 횟수를 변경할 수 있음은 자명하다. 3, the image 301-1, 301-3, and 301-5 of the target object is photographed at three different positions. However, the present invention is not limited to this, It is obvious that the position and the number of times of shooting can be changed.
객체확인모듈(203)은, 이미지를 이용하여 컨벌루션 신경망의 데이터 셋을 생성하기 위하여 이미지에 포함된 객체들을 확인할 수 있다. 일 실시 예에 따르면, 객체확인모듈(203)은, 수집된 이미지를 이용하여, 대상 객체를 포함하는 이미지, 객체를 포함하는 이미지 및/또는 배경 이미지를 구분할 수 있다.The
객체확인모듈(203)은, 객체의 형상에 따라서 추출된 이미지를 수집할 수 있고, 또는 이미지로부터 객체들의 형상을 추출하거나 객체들의 형상을 마킹(marking)할 수 있다. 여기서, "추출"의 용어를 사용함에 있어서, 이미지의 적어도 일부를 폐도형의 형태로 복사(copy), 자르기(cut)하는 동작으로 표현될 수 있다. 또한, 동일 또는 유사하게, 트리밍(trimming), 크로핑(cropping) 등의 의미를 포함할 수도 있다.The
객체는 이미지로부터 구분되는 지형, 인공적인 또는 자연적인 구조물(또는 구조체), 사물, 장치 등을 포함할 수 있다. 객체는, 코너점 및/또는 적어도 일부에 대한 윤곽선을 포함하고, 그로 인하여 형상이 특정되거나 및/또는 상술한 바와 같이 검출된 코너점 및/또는 윤곽선을 이용한 폐도형으로 그 형상이 결정될 수 있다.Objects may include terrain, artificial or natural structures (or structures), objects, devices, etc., that are distinguished from images. The object may include a corner point and / or a contour for at least a portion, whereby the shape is specified and / or its shape may be determined to be a closed shape using the detected corner point and / or contour as described above.
대상 객체는, 수중 이미지 처리장치(10) 또는 수중 이미지 처리장치(10)와 연결된 외부장치(130)을 통해서 수중 이동 중에 존재 및 위치를 확인하도록 지정된 객체로 정의할 수 있다. 여기서 대상 객체를 설정(또는 결정)함에 있어서, 이미지로부터 추출되는 객체들 중 설정하거나, 또는 신규한 객체를 대상 객체로 설정할 수 있다. The target object can be defined as an object designated to check the existence and position during underwater movement through the underwater
객체확인모듈(203)은, 수집된 이미지 및 객체 및 대상 객체가 촬영된 이미지를 이용하여 컨벌루션 신경망을 위한 데이터셋(data set)을 생성할 수 있다. 일 실시예에 따르면, 객체확인모듈(203)은 수집한 이미지의 적어도 일부를 추출하여 컨벌루션 신경망 알고리즘의 입력데이터로 결정할 수 있다.The
예를 들면, 객체확인모듈(203)은, 수집된 최초 이미지로부터 지정된 사이즈의 적어도 일부 이미지를 추출할 수 있다. 일 실시 예에 따르면, 센싱부(103)를 통해서 촬영된 소나 이미지(예: 최초 이미지)의 사이즈는 96x512 픽셀(pixel)로 구성될 수 있다. 여기서, 객체확인모듈(203)는, 소나 이미지로부터 적어도 일부를 지정된 사이즈, 예를 들면, 32x128 픽셀의 이미지로 추출할 수 있다. 객체확인모듈(203)은, 추출된 이미지를 32x32 픽셀의 이미지로 변환(예: 이미지 리사이징, image resizing)하고, 변환된 이미지를 입력데이터로 결정할 수 있다.For example, the
이때, 객체확인모듈(203)은, 최초 이미지가 객체의 형상에 기반하여 추출된 이미지인 경우, 예를 들면, 지정된 사이즈(예: 촬영된 소나 이미지의 사이즈, 96x512)와 다른 경우, 해당 이미지를 32x128 픽셀의 이미지로 추출하고, 이미지 변환을 수행하여 생성된 32x32 픽셀의 이미지를 입력데이터로 결정할 수 있다.At this time, if the first image is an image extracted based on the shape of the object, for example, it differs from the designated size (for example, the size of photographed sonar or image, 96x512) 32x128 pixels, and the 32x32 pixel image generated by performing the image conversion can be determined as the input data.
객체확인모듈(203)은, 최초 이미지로부터 32x128 픽셀의 이미지를 추출함에 있어서, 대상 객체를 포함하는 경우, 해당 추출된 32x128 픽셀의 이미지(이하, 추출된 이미지) 및 변환된 32x32 픽셀의 이미지(이하, 변환된 이미지)를 생성함에 있어서, 도 4 및 도 5를 참조하여 설명할 수 있다. 이때, 생성되는 추출된 이미지에는 대상 객체가 포함되는지 여부에 따라서 참 라벨을 설정할 수 있다.In extracting the image of 32x128 pixels from the initial image, the
일 실시 예에 따르면, 객체확인모듈(203)은 도 4에 도시된 바와 같이, 최초 이미지(401)에 대상 객체를 포함하는 경우, 대상 객체를 포함하는 영역(411-1)여 추출된 이미지(411-3)를 생성하고, 추출된 이미지(411-3)에 참 라벨을 설정할 수 있다.4, when the target object is included in the
객체 확인모듈(203)은, 추출된 이미지(411-3)에 이미지 변환을 수행하여 변환된 이미지(411-5)를 생성하고, 변환된 이미지(411-5)에 참 라벨을 설정할 수 있다. 여기서, 추출된 이미지(411-3) 및 변환된 이미지(411-5)에 참 라벨을 설정함에 있어서, 생성된 각각의 이미지에 라벨을 설정하는 것으로 설명하고 있지만. 이에 한정하지 않고, 기 설정된 라벨은 이미지 변환 시에도 계속 유지될 수 있다.The
또한, 대상 객체를 포함하지 않는 최초 이미지 및 대상 객체를 포함하지 않는 추출된 이미지에는 거짓 라벨을 설정할 수 있다.In addition, a false label can be set for the first image not including the target object and the extracted image not including the target object.
일 실시 예에 따르면, 객체확인모듈(203)은, 도 5에 도시된 바와 같이, 최초 이미지(401)에 대상 객체를 포함하지 않는 경우, 최초 이미지(501, 503)로부터 추출된 이미지(511-11, 511-13, 511-15, 511-17, 513-3, 523-3)를 생성하고, 추출된 이미지에 거짓 라벨을 설정할 수 있다According to one embodiment, the
이때, 객체확인모듈(203)은, 최초이미지로부터 추출된 이미지를 생성함에 있어서, 추출된 이미지(511-11, 511-13, 511-15, 511-17)와 같이 이미지가 겹쳐지지 않도록 영역(511-1)을 설정할 수 있고, 또는 추출된 이미지(513-3, 5123-3)과 같이 적어도 일부의 이미지가 겹치도록 영역(513-1, 523-1)을 설정할 수 있다.At this time, when the image extracted from the original image is generated, the
객체 확인모듈(203)은, 추출된 이미지(511-11, 511-13, 511-15, 511-17, 513-3, 523-3)에 이미지 변환을 수행하여 변환된 이미지(511-21, 511-23, 511-25, 511-27, 513-5, 523-5)를 생성하고, 변환된 이미지(411-5)에 거짓 라벨을 설정할 수 있다.The
추가적으로, 대상 객체의 적어도 일부를 포함하지만, 대상 객체의 전체 형상을 포함하지 않는 경우, 예를 들면, 대상 객체의 일부만 포함되거나, 일부가 다른 객체에 의하여 가려지거나, 및/또는 적어도 일부의 선명도가 떨어지는 경우의 추출된 32x128 픽셀의 이미지에는 선택적으로 참 또는 거짓 라벨을 설정할 수 있다. 보 발명의 다양한 실시 예에 따르면, 대상 객체의 전체 형상을 포함하지 않는 경우의 추출된 32x128 픽셀의 이미지에는 거짓 라벨을 설정할 수 있다.Additionally, if it includes at least a portion of the target object but does not include the entire shape of the target object, for example, only a portion of the target object may be included, or some portion may be obscured by another object, and / You can optionally set a true or false label on an extracted 32x128 pixel image if it falls. According to various embodiments of the present invention, a false label can be set on an extracted 32x128 pixel image that does not include the entire shape of the target object.
신경망처리모듈(205)는, 객체확인모듈(203)을 통해서 결정된 입력데이터 및 컨벌루션 신경망 알고리즘에 때라서 컨벌루션 신경망을 학습할 수 있다. 여기서 컨벌루션 신경망 구조 및 알고리즘에 대한 일 실시 예를 도 6을 참조하여 설명할 수 있다.The neural
도 6을 참조하면, 신경망처리모듈(205)는, 데이터셋의 입력데이터로부터 변환된 이미지(601)를 확인할 수 있고, 각각의 변환된 이미지에 대하여 컨벌루션을 수행할 수 있다.Referring to FIG. 6, the neural
변환된 이미지(601)에 대한 컨벌루션의 일 실시 예에 따르면, 변환된 이미지에 지정된 사이즈의 2차원 영역(603) 단위로 이동(예: 쉬프팅, shifting)하며 일련의 규칙적인 연산 처리를 수행할 수 있다.According to one embodiment of the convolution for the transformed
신경망처리모듈(205)은, 컨벌루션이 수행된 이미지(이하, 컨벌루션된 이미지, 603')를 서브샘플링할 수 있고, 샘플링 결과를 변환된 이미지에 대한 정보로 저장할 수 있다. 예를 들면, 신경망처리모듈(205)은, 컨벌루션된 이미지(603')를 서브샘플링함에 있어서, 맥스-풀링(max-pooling)을 적용할 수 있다. 신경처리모듈(205)는, 컨벌루션된 이미지(603')에 대한 서브샘플링 결과를 변환된 이미지(601)에 대한 신경망 데이터(603'')로 결정하고, 변환된 이미지(601)에 대한 정보로 저장할 수 있다.The neural
즉, 신경망 데이터는, 서브샘플링 결과 및 추출된 이미지에 기반하는 참 라벨 또는 거짓 라벨을 포함할 수 있다.That is, the neural network data may include true labels or false labels based on the result of subsampling and the extracted image.
수중 이미지 처리장치(10)는, 라벨이 설정되지 않은 수집되는 이미지 및/또는 객체를 포함하는 추출된 이미지들과 컨벌루션 신경망의 라벨이 설정된 이미지들 및 설정된 라벨을 포함하는 신경망 데이터를 비교할 수 있다.The underwater
수중 이미지 처리장치(10)는, 비교 결과에 따라서 라벨이 설정되지 않은 객체의 참 또는 거짓을 결정할 수 있고, 객체가 참으로 결정되는 경우, 해당 객체를 대상 객체로 결정할 수 있다.The underwater
도 6을 참조하면, 변환된 이미지(601)에 대하여 1회의 컨벌루션 및 1회의 서브샘플링을 수행하여 결정된 신경망 데이터(603'')를 변환된 이미지(601)에 대한 신경망 데이터로 결정하고 있지만, 이에 한정하지 않고, 컨벌루션 및 서브샘플링을 적어도 1회 이상 반복 수행할 수 있다.Referring to FIG. 6, the neural network data 603 '' determined by performing one convolution and one sub-sampling on the transformed
신경망처리모듈(205)는, 변환된 이미지에 대하여 컨벌루션 및 서브샘플링을 수행함으로써, 데이터셋에 대한 컨벌루션 신경망을 형성할 수 있다. 이때, 컨벌루션 신경망에 포함되는 변환된 이미지(601)에 대한 정보는, 수행된 컨벌루션 및 서브샘플링 횟수, 컨벌루션 및 서브샘플링 횟수에 기반하는 신경망 데이터 중 적어도 일부를 포함할 수 있다.The neural
본 발명의 일 실시 예에 따르면, 신경망처리모듈(205)은, 컨벌루션 신경망 알고리즘을 처리 및 컨벌루션 신경망을 생성함에 있어서, 상술한 바와 같이 컨벌루션 신경망을 생성할 수 있지만, 이에 한정하지 않고, 다양한 알고리즘을 이용하여 컨벌루션 신경망을 생성할 수 있다.According to one embodiment of the present invention, the neural
일 실시 예에 따르면, 컨벌루션 신경망은 회귀분석 알고리즘의 적어도 일부를 이용하여 형성될 수 있다. 예를 들면, 신경망처리모듈(205)은, 데이터셋을 트레이닝셋(training set) 및 테스트셋(test set)으로 분리하여 컨벌루션 신경망에 적용하고, 적용 결과 및 추출된 이미지에 설정된 참/거짓 라벨에 기반하여 컨벌루션 신경망의 정확도를 개선할 수 있다.According to one embodiment, the convolutional neural network may be formed using at least a portion of a regression analysis algorithm. For example, the neural
객체결정모듈(207)은, 수중 이미지 처리장치(10) 또는 외부장치(130)의 수중이동 중에 촬영되는 소나 이미지에 기반하여 다양한 객체들 및 지정된 대상 객체를 검출할 수 있다.The
일 실시예에 따르면, 객체결정모듈(207)은, 수중 이미지 처리장치(10) 또는 외부장치(130)의 수중이동 중에 수집(예: 촬영)하는 이미지를 최초 이미지로, 추출된 이미지 및 변환된 이미지를 생성하고, 변환된 이미지를 컨벌루션 신경망에 적용하여 대상 객체를 검출하는 동작을 수행할 수 있다.According to one embodiment, the
상술한 바에 따르면, 촬영되는 소나 이미지를 이용하여 대상 객체를 검출하는 구성을 설명하고 있지만, 이에 한정하지 않고, 기 촬영된 소나 이미지를 이용하여 대상 객체를 검출할 수 있음은 자명하다.According to the above description, a configuration for detecting a target object using a sonar image to be photographed has been described. However, the present invention is not limited to this, and it is obvious that a target object can be detected using a sonar image.
다시 도 1로 돌아가서, 센싱부(103)는, 수중 이미지 처리장치(10)의 상태 및 주변 상황에 대한 정보를 측정하는 적어도 하나의 센서를 포함할 수 있다. 예를 들면, 센싱부(103)는, 도플러 속도센서(doppler speed sensor), 지피에스(global positioning system, GPS), 압력측정 센서(이하, 압력센서), 온도 측정 센서(이하, 온도센서), 자이로센서(또는 자이로스코프), 기울기 측정 센서(이하, 기울기 센서) 중 적어도 하나의 센서를 포함할 수 있다.Referring again to FIG. 1, the
또한, 센싱부(103)는, 적어도 하나의 이미지 센서를 포함할 수 있다. 예를 들면, 이미지 센서는, 초음파를 이용하는 이미지 센서(예: 음파 탐지기, sonar), 가시광선을 이용하는 이미지 센서(예: 카메라, camera), 적외선 및/또는 가시광선을 이용하는 이미지 센서 중 적어도 하나의 이미지 센서를 포함할 수 있다.In addition, the
센싱부(103)는, 상술한 바와 같이 다양한 센서들을 통해서 수중 이미지 처리장치(10)의 상태 및 주변 상황에 대한 정보를 측정하여 처리부(101)에 전송할 수 있다. 이때, 처리부(101)는, 센싱부(103)를 통해서 수신한 데이터에 기반하여, 수중 이미지 처리장치(10)의 위치를 결정할 수 있다.The
일 실시 예에 따르면, 수중을 x, y, z축을 가지는 3차원 좌표계로 표현하는 경우, 수심을 z축으로 결정할 수 있다. 이때, 수중 이미지 처리장치(10)의 z축에 해당하는 수심은 도플러 속도센서, 압력센서, 온도센서 자이로센서 중 적어도 하나의 센서를 이용하여 결정할 수 있다.According to one embodiment, when water is represented by a three-dimensional coordinate system having x, y, and z axes, the water depth can be determined as a z-axis. At this time, the water depth corresponding to the z-axis of the underwater
상술한 바에 따르면, 수중 이미지 처리장치(10)의 수심(z)은 비교적 정확하게 측정되는 것으로 가정할 수 있고, 따라서, 수중 이미지 처리장치(10)의 위치에 대한 보정은 GPS, 자이로스코프 등으로 결정되는 x축 및/또는 y축에 대한 수평이동, 그리고 위치의 보정을 중심으로 설명할 수 있다.It can be assumed that the depth z of the underwater
입력부(105)는, 수중 이미지 처리장치(10)에 데이터 및 제어명령을 입력하기 위한 구성 요소로서, 예를 들면, 키보드, 키패드, 터치 스크린, 적어도 하나의 버튼, 마이크 중 적어도 하나를 포함할 수 있다. 또한, 입력부(105)는, 수중 이미지 처리장치(10) 및/또는 외부장치(130)의 이동을 직접 제어하기 위한 조타부를 더 포함할 수 있다.The
통신부(107)는 수중 이미지 처리장치(101)와 외부의 통신을 연결할 수 있다. 예를 들면, 통신부(107)는 무선 통신 또는 유선 통신을 통해서 네트워크(120)에 연결되며, 및/또는 외부장치(130)와 통신할 수 있다.The
무선 통신은, 예를 들어, Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system), OFDM(orthogonal frequency division multiplexing), OFDMA(orthogonal frequency division multiple access), LTE(long term evolution), LTE-A(long term evolution-advanced), CDMA(code division multiple access), WCDMA(wideband code division multiple access), UMTS(universal mobile telecommunications system), WiBro 또는 GSM(global system for mobile communications)과 같은 통신 규격 및 통신 방식 중 적어도 하나를 포함할 수 있고, 상술한 통신 규격 및 통신 방식의 적어도 일부는 셀룰러(cellular) 통신으로 제공될 수 있다.Wireless communication may include, for example, wireless fidelity, Bluetooth, near field communication (NFC), global positioning system (GPS), orthogonal frequency division multiplexing (OFDM), orthogonal frequency division multiple access (OFDMA) (LTE), long term evolution-advanced (LTE), code division multiple access (CDMA), wideband code division multiple access (WCDMA), universal mobile telecommunications system (UMTS), WiBro or GSM mobile communications, and at least some of the above-described communication standards and communication schemes may be provided in cellular communication.
유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다. 통신부(107)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.The wired communication may include at least one of, for example, a universal serial bus (USB), a high definition multimedia interface (HDMI), a recommended standard 232 (RS-232) or a plain old telephone service (POTS). The
본 발명의 일 실시 예에 따르면, 네트워크(120)는 통신 네트워크(telecommunications network)일 수 있다. 통신 네트워크는 컴퓨터 네트워크(computer network), 인터넷(internet), 사물 인터넷(internet of things) 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다.According to one embodiment of the present invention, the
도 1을 참조하면, 외부장치(130)는 통신부(107)를 통해서 수중 이미지 처리장치(10)와 직접 통신을 수행하는 것으로 도시하고 있지만, 이에 한정하지 않고, 네트워크(120)를 통해서 수중 이미지 처리장치(10)와 통신할 수 있음은 자명하다.1, the
저장부(109)는, 처리부(101) 또는 다른 구성 요소들로부터 수신되거나 처리부(101) 또는 다른 구성 요소들에 의해 생성된 명령 및/또는 데이터를 저장할 수 있다. 저장부(109)는, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API: application programming interface) 또는 어플리케이션 등의 프로그래밍 모듈들을 포함할 수 있다. 상술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 저장부(109)에 저장될 수 있다.The
더하여, 저장부(109)는, 센싱부(103) 및/또는 통신부(107)를 통해서 수집되는 이미지가 저장되며, 처리부(101)를 통하여 최초 이미지로부터 추출된 이미지, 변환된 이미지 중 적어도 일부를 포함할 수 있다.In addition, the
또한, 저장부(109)는, 컨벌루션 신경망을 포함하며, 컨벌루션 신경망을 통해서 처리된 변환된 이미지들의 컨벌루션 데이터, 서브샘플링 데이터 및 신경망 데이터 중 적어도 일부를 포함할 수 있다.The
도 1에 도시하고 있지 않지만, 수중 이미지 처리장치(10)는 이동을 위한 구동부를 더 포함할 수 있다. 구동부는, 추진력을 발생시켜 수중 이미지 처리장치(10)를 이동시키는 구성 요소로, 예를 들면, 프로펠러, 스크류, 터빈 중 적어도 하나의 추진장치를 포함할 수 있다. 또한, 구동부는 수중 이미지 처리장치(10)의 방향을 전환하기 위한 방향키를 포함할 수 있다. Although not shown in Fig. 1, the underwater
외부장치(130)는, 수중 이미지 처리 장치(10)와 무선 통신 및/또는 유선 통신으로 연결될 수 있고, 수중 이미지 처리장치(10)와 동일 또는 유사한 장치로 제공될 수 있다. 예를 들면, 외부장치(130)는, 자율 무인잠수정(autonomous underwater vehicle, AUV), 유인잠수정(human-operated submersible vehicle), 무인잠수정(remotely operated vehicle, ROV) 등으로 제공될 수 있다. 또한, 외부장치(130)는, 수중 이미지 처리장치(10)와 마찬가지로 기재된 다양한 장치들 중 하나 또는 그 이상의 조합으로 구성될 수 있다. 예를 들어, 장치는 기재된 장치들 중 적어도 일부, 또는 장치의 기능 중 적어도 일부를 포함하는 구조물로 제공될 수도 있다.The
외부장치(130)는, 센싱부를 통해서 적어도 하나의 소나 이미지를 촬영할 수 있고, 촬영한 소나 이미지를 수중 이미지 장치(10)로 전송할 수 있다.The
더하여, 대상 객체를 검출하는 경우, 외부장치(130)는, 수중 이미지 처리장치(10)로부터 수신한 데이터에 기반하여 대상 객체에 지정된 동작을 수행할 수 있다.In addition, when the target object is detected, the
일 실시 예에 따르면, 수중 이미지 처리장치(10)는, 센싱부(103)를 통해서 수집하는 이미지 및/또는 외부장치(130)로부터 수신하는 이미지를 이용하여 컨벌루션 신경망을 생성하고, 수집하는 이미지를 생성된 컨벌루션 신경망을 이용하여 처리하여 이미지에 포함된 대상 객체를 검출할 수 있다.According to one embodiment, the underwater
여기서, 수중 이미지 처리장치(10)의 컨벌루션 신경망을 생성하는 동작의 흐름을 도 7에 도시된 바와 같이 설명할 수 있다.Here, the flow of the operation of generating the convolutional neural network of the underwater
도 7을 참조하면 수중 이미지 처리장치(10)는 대상 객체의 이미지 및 배경 이미지를 수집할 수 있다. 이때, 수중 이미지 처리장치(10)는, 센싱부(103)의 음파 탐지기를 이용하여 촬영되는 적어도 하나의 소나 이미지를 수집할 수 있다(S701).Referring to FIG. 7, the underwater
수중 이미지 처리장치(10)는, 대상 객체의 이미지를 수집함에 있어서, 적어도 일방향에 대응하여 촬영된 이미지, 바람직하게는 2차원 또는 3차원 형상을 구성하기 위한 적어도 둘 이상의 방향에 대응하여 촬영된 이미지를 포함할 수 있다.In the underwater
수중 이미지 처리장치(10)는, 수집된 이미지를 이용하여 컨벌루션 신경망 생성을 위한 데이터셋을 생성할 수 있다(S703). 이때, 데이터셋은, 수집된 이미지의 적어도 일부를 추출한 추출된 이미지 및 추출된 이미지를 변환(예: 리사이징)한 변환된 이미지를 생성할 수 있다.The underwater
수중 이미지 처리장치(10)는 대상 객체의 전체를 포함하여 추출된 이미지에 참 라벨을 설정할 수 있고, 대상 객체의 일부를 포함하거나, 대상 객체를 포함하지 않는 추출된 이미지에 거짓 라벨을 설정할 수 있다. 여기서, 참/거짓 라벨이 설정된 추출된 이미지를 변환하여 생성된 변환된 이미지 또한, 추출된 이미지에 설정된 참/거짓 라벨이 동일하게 설정될 수 있다.The underwater
수중 이미지 처리장치(10)는, 변환된 이미지 및 컨벌루션 신경망 알고리즘을 이용하여 컨벌루션 신경망을 생성할 수 있다(S705). 일 실시 예에 따르면, 수중 이미지 처리장치(10)는 변환된 이미지를 컨벌루션 신경망을 생성하기 위한 입력 데이터로 결정할 수 있다.The underwater
수중 이미지 처리장치(10)는, 컨벌루션 신경망 알고리즘에 따라서 변환된 이미지에 컨벌루션 및 서브샘플링을 수행하여 신경망 데이터를 생성할 수 있다. 예를 들면, 변환된 이미지에 참 라벨이 설정된 경우, 컨벌루션 및 서브샘플링을 통하여 생성되는 데이터 또한 참 라벨이 설정되며, 이 경우 신경망 데이터의 서브샘플링 결과는 참인 것으로 표현될 수 있다.The underwater
마찬가지로, 변환된 이미지에 거짓 라벨이 설정된 경우, 컨벌루션 및 서브샘플링을 통하여 생성되는 데이터의 경우, 거짓 라벨이 설정되며, 상술한 바와 마찬가지로, 신경망 데이터의 서브샘플링 결과는 거짓인 것으로 표현될 수 있다.Similarly, when a false label is set on the transformed image, in the case of data generated through convolution and subsampling, a false label is set and, as described above, the result of subsampling of the neural network data can be represented as false.
수중 이미지 처리장치(10)는, 상술한 바와 같이, 컨벌루션 신경망 알고리즘, 변환된 이미지 및 신경망 데이터 중 적어도 일부를 포함하여 컨벌루션 신경망을 구성할 수 있다.The underwater
수중 이미지 처리장치(10)의 컨벌루션 신경망을 이용하여 대상 객체를 검출하는 동작의 흐름을 도 8에 도시된 바와 같이 설명할 수 있다.The flow of the operation of detecting the target object using the convolutional neural network of the underwater
수중 이미지 처리장치(10)는, 수중 이미지 처리장치(10) 및/또는 수중 이미지 처리장치(10)와 유선/무선 통신으로 연결된 외부장치(130)로부터 소나 이미지를 수집할 수 있다(S801). 수중 이미지 처리장치(10)는 수집한 이미지로부터 객체를 검출할 수 있다(S803). 예를 들면, 수중 이미지 처리장치(10)는, 수집한 이미지에 객체를 포함하는 경우, 객체의 적어도 일부를 포함하는 추출된 이미지(및 이에 기반하는 변환된 이미지)를 생성할 수 있다.The underwater
수중 이미지 처리장치(10)는, 객체에 대한 변환된 이미지 및 기 생성된 컨벌루션 신경망의 데이터를 이용하여 대상 객체를 검출할 수 있다. 예를 들면, 수중 이미지 처리장치(10)는 변환된 이미지, 변환된 이미지의 신경망 데이터를 기 생성된 컨벌루션 경망의 이미지 및 신경망 데이터와 비교할 수 있고(S805), 비교 결과에 따라서 검출된 객체가 대상 객체인지 여부를 결정할 수 있다(S807).The underwater
이때, 수중 이미지 처리장치(10)는 수집된 이미지 및 수집된 이미지에서 검출된 객체의 이미지 및 객체의 신경망 데이터 중 적어도 일부가 컨벌루션 신경망의 이미지 및 신경망 데이터와 매칭되는 것을 확인하는 경우, 해당 검출된 객체를 대상 객체로 결정할 수 있다.At this time, when the underwater
수중 이미지 처리장치(10)는, 수집된 이미지로부터 검출된 객체가 대상 객체인 것으로 결정하는 경우, 대상 객체에 대하여 지정된 동작을 수행하거나, 외부장치(130)로하여금 지정된 동작을 수행하도록 처리할 수 있다(S807). 반면, 수중 이미지 처리장치(10)는, 수집된 이미지로부터 검출된 객체가 대상 객체가 아닌 것으로 결정하는 경우, 동작(S801) 내지 동작(S807)을 반복 수행할 수 있다.When determining that the object detected from the collected image is a target object, the underwater
상술한 다양한 실시 예에 따르면, 수중 이미지 처리장치(10)는 수중 지형, 지물 등의 이미지의 촬영을 선행하고, 촬영된 이미지를 이용하여 컨벌루션 신경망을 생성하고, 생성된 컨벌루션 신경망에 따른 이미지 및 참/거짓에 대하여 학습된 정보를 이용하여 라벨이 설정되지 않은 이미지 중 대상 객체를 검출함으로써, 해저지형 내 객체의 정확한 인식을 구현할 수 있다.According to the various embodiments described above, the underwater
다양한 실시 예에 따르면, 대상 객체의 검출에 이용되는 수중 이미지 처리장치(10)의 컨벌루션 신경망은 대상 객체를 검출하기 위하여 참/거짓의 라벨이 설정된 입력되는 다양한 이미지들을 계속적으로 학습함으로써 비교군 데이터의 인식 정확도를 향상시키고, 따라서, 찾고자 하는 대상 객체의 인식 속도와 정확도를 향상시킬 수 있다.According to the various embodiments, the convolution neural network of the underwater
다양한 실시 예에 따르면, 본 발명의 청구항 및/또는 명세서에 기재된 다양한 실시 예에 따른 장치, 방법의 적어도 일부는, 하드웨어, 소프트웨어, 펌웨어, 또는 하드웨어, 소프트웨어 및 펌웨어 중 둘 이상의 조합을 포함하는 형태(예: 모듈, unit)로 구현될(implemented) 수 있다. 모듈은, 일체로 구성된 부품의 최소 단위 또는 그 일부로서 본 발명의 다양한 실시 예를 수행하는 최소 단위 또는 그 일부가 될 수도 있다. 모듈은 기계적으로 또는 전자적으로 구현될 수 있다. 소프트웨어로 구현하는 경우, 하나 이상의 프로그램(또는 프로그래밍 모듈, 어플리케이션)을 저장하는 컴퓨터 판독 가능 저장 매체(또는 컴퓨터로 읽을 수 있는 저장 매체)가 제공될 수 있다. 예컨대, 소프트웨어는 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 하나 이상의 프로그램은, 수중 이미지 처리장치로 하여금, 본 발명의 청구항 및/또는 명세서에 기재된 실시 예에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함할 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예: 처리부(101))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장 매체는, 예를 들면, 저장부(110)가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 처리부(101)에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈 의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.According to various embodiments, at least some of the devices and methods according to the various embodiments described in the claims of the present invention and / or the specification are in the form of hardware, software, firmware, or a combination of two or more of hardware, For example, modules, units). A module may be a minimum unit or a portion thereof that performs various embodiments of the present invention as a minimum unit or a part of an integrally constructed component. The module may be implemented mechanically or electronically. When implemented in software, a computer-readable storage medium (or computer-readable storage medium) for storing one or more programs (or programming modules, applications) may be provided. For example, the software may be embodied in instructions stored on a computer-readable storage medium in the form of a programming module. The one or more programs may include instructions to cause the underwater image processing apparatus to perform the methods according to the embodiments of the invention and / or the claims of the present invention. When executed by one or more processors (e.g., processing unit 101), the one or more processors may perform functions corresponding to the instructions. The computer-readable storage medium may be, for example, a storage unit 110. [ At least a portion of the programming module may be implemented (e.g., executed) by, for example, the
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시(flash) 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치, 삭제 가능 및 프로그램 가능 롬(EEPROM, Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치(magnetic disc storage device) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)가 포함될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.The computer-readable recording medium includes a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical recording medium such as a CD-ROM (Compact Disc Read Only Memory), a DVD (Digital Versatile Disc) A magneto-optical medium such as a floppy disk and a program command such as a ROM (Read Only Memory), a RAM (Random Access Memory), a flash memory, (EEPROM), a magnetic disc storage device or other type of optical storage device, or any other form of optical storage device, A magnetic cassette may be included. Or a combination of some or all of these. In addition, a plurality of constituent memories may be included.
더하여, 수중 이미지 처리장치에 인터넷(Internet), 인트라넷(Intranet), LAN(Local Area Network), WLAN(Wide LAN), 또는 SAN(Storage Area Network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 수중 이미지 처리장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장 장치가 휴대용 수중 이미지 처리장치에 접속할 수도 있다. 상술한 하드웨어 장치는 본 발명의 다양한 실시 예에 대한 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.In addition, a communication network, such as the Internet, an intranet, a LAN (Local Area Network), a WLAN (Wide Area Network), or a communication network such as a SAN (Storage Area Network) Or in an attachable storage device that can be accessed through the storage device. Such a storage device can be connected to an underwater image processing apparatus through an external port. Further, a separate storage device on the communication network may be connected to the portable underwater image processing apparatus. The hardware devices described above may be configured to operate as one or more software modules to perform operations on the various embodiments of the present invention, and vice versa.
본 발명의 다양한 실시 예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성 요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성 요소를 더 포함할 수 있다. 본 발명의 다양한 실시 예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.Modules or programming modules according to various embodiments of the present invention may include at least one or more of the elements described above, some of which may be omitted, or may further include other additional elements. Operations performed by modules, programming modules, or other components in accordance with various embodiments of the invention may be performed in a sequential, parallel, iterative, or heuristic manner. Also, some operations may be performed in a different order, omitted, or other operations may be added.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The embodiments of the present invention disclosed in the present specification and drawings are merely illustrative examples of the present invention and are not intended to limit the scope of the present invention in order to facilitate understanding of the present invention. Accordingly, the scope of the present invention should be construed as being included in the scope of the present invention, all changes or modifications derived from the technical idea of the present invention.
10 : 수중 이미지 처리장치 101 : 처리부
103 : 센싱부 105 : 입력부
107 : 통신부 109 : 저장부
130 : 외부장치 201 : 이미지수집모듈
203 : 객체확인모듈 205 : 신경망처리모듈
207 : 객체결정모듈10: underwater image processing apparatus 101:
103: sensing unit 105: input unit
107: communication unit 109:
130: External device 201: Image acquisition module
203: Object Identification Module 205: Neural Network Processing Module
207: Object Decision Module
Claims (16)
컨벌루션 신경망을 포함하는 저장부; 및
상기 소나 이미지 및 상기 컨벌루션 신경망을 이용하여 수중에서 지정된 대상 객체를 검출하는 처리부;를 포함하며,
상기 처리부는,
상기 센싱부를 통해서 상기 소나 이미지를 수집하는 이미지수집모듈;
상기 수집한 소나 이미지로부터 객체를 검출하는 객체확인모듈;
상기 객체확인모듈을 통해서 입력되는 참/거짓 라벨이 설정된 이미지 및 상기 입력된 이미지의 컨벌루션 및 서브샘플링 결과에 따른 신경망 데이터에 기반하여 상기 컨벌루션 신경망을 생성하는 신경망처리모듈; 및
상기 검출된 객체 및 상기 컨벌루션 신경망을 이용하여 상기 검출된 객체들 중 상기 대상 객체를 결정하는 객체결정모듈;을 포함하는, 객체 인식을 위한 수중 이미지 처리장치.A sensing unit for sensing a sonar image through at least one sensor;
A storage unit including a convolutional neural network; And
And a processor for detecting a target object in the water using the sonar image and the convolution neural network,
Wherein,
An image collection module for collecting the sonar image through the sensing unit;
An object checking module for detecting an object from the collected sonar image;
A neural network processing module for generating the convolutional neural network based on neural network data according to the convolution of the input image and the result of subsampling inputted through the object verification module; And
And an object determining module for determining the object among the detected objects using the detected object and the convolution neural network.
외부장치와 통신하는 적어도 하나의 통신부;를 더 포함하고,
상기 이미지수집모듈은, 상기 통신부를 통해서 소나 이미지를 수신하는, 객체 인식을 위한 수중 이미지 처리장치.The method according to claim 1,
At least one communication unit for communicating with an external device,
Wherein the image acquisition module receives the sonar image through the communication unit.
상기 서브샘플링으로, 맥스 풀링(max-pooling)을 수행하는, 객체 인식을 위한 수중 이미지 처리장치.The method according to claim 1,
And performs max-pooling with the sub-sampling.
상기 객체확인모듈은, 상기 소나 이미지로부터 추출된 이미지가 상기 대상 객체를 포함하는 경우, 상기 추출된 이미지에 참 라벨을 설정하고 상기 신경망처리모듈에 전달하는, 객체 인식을 위한 수중 이미지 처리장치.The method according to claim 1,
Wherein the object confirmation module sets a true label on the extracted image and delivers the label to the neural network processing module when the image extracted from the sonar image includes the target object.
상기 객체확인모듈은, 상기 소나 이미지로부터 추출된 이미지가 상기 대상 객체의 일부, 객체, 객체의 일부 중 적어도 하나를 포함하거나, 객체를 포함하지 않는 경우, 상기 추출된 이미지에 거짓 라벨을 설정하고 상기 신경망처리모듈에 전달하는, 객체 인식을 위한 수중 이미지 처리장치.The method according to claim 1,
Wherein the object identification module sets a false label in the extracted image if the image extracted from the sonar image includes at least one of a part of the target object, an object, and a part of the object, An underwater image processing device for object recognition, which is transmitted to a neural network processing module.
상기 객체확인모듈은, 상기 소나 이미지의 적어도 일부를 추출하고, 상기 추출된 이미지의 사이즈를 변환하는, 객체 인식을 위한 수중 이미지 처리장치.The method according to claim 1,
Wherein the object identification module extracts at least a portion of the sonar image and converts the size of the extracted image.
상기 객체결정모듈은, 상기 컨벌루션 신경망의 서브샘플링 결과 및 참/거짓 라벨에 따라서 라벨이 결정되지 않은 상기 객체들 중 상기 대상 객체를 결정하는, 객체 인식을 위한 수중 이미지 처리장치.The method according to claim 1,
Wherein the object determining module determines the target object among the objects whose labels have not been determined according to a sub-sampling result of the convolution neural network and a true / false label.
소나 이미지를 수집하는 단계;
상기 수집한 소나 이미지로부터 객체를 검출하는 단계; 및
상기 검출된 객체 및 컨벌루션 신경망을 이용하여 상기 검출된 객체들 중 기 지정된 대상 객체를 결정하는 단계;를 포함하되,
상기 컨벌루션 신경망은, 입력되는 참/거짓 라벨이 설정된 이미지 및 상기 입력된 이미지의 컨벌루션 및 서브샘플링 결과에 따른 신경망 데이터에 기반하여 생성된, 객체 인식을 위한 수중 이미지 처리방법.A method for recognizing an object using an underwater image,
Collecting sonar images;
Detecting an object from the collected sonar image; And
Determining a previously designated target object among the detected objects using the detected object and the convolution neural network,
Wherein the convolution neural network is generated based on neural network data based on convolution and sub-sampling results of an input image with an input true / false label and the input image.
상기 소나 이미지는, 센싱부를 통하여 촬영하거나 또는 적어도 하나의 외부장치로부터 수신하는, 객체 인식을 위한 수중 이미지 처리방법.10. The method of claim 9,
Wherein the sonar image is photographed through a sensing unit or received from at least one external device.
상기 서브샘플링으로, 맥스 풀링(max-pooling)을 수행하는, 객체 인식을 위한 수중 이미지 처리방법.10. The method of claim 9,
And performing max-pooling with the sub-sampling.
상기 수집한 소나 이미지로부터 객체를 검출하는 단계는, 상기 소나 이미지로부터 추출된 이미지가 상기 대상 객체를 포함하는 경우, 상기 추출된 이미지에 참 라벨을 설정하는, 객체 인식을 위한 수중 이미지 처리방법.10. The method of claim 9,
Wherein the step of detecting an object from the collected sonar image sets a true label on the extracted image when the image extracted from the sonar image includes the target object.
상기 수집한 소나 이미지로부터 객체를 검출하는 단계는, 상기 소나 이미지의 적어도 일부를 추출하고, 상기 추출된 이미지의 사이즈를 변환하는, 객체 인식을 위한 수중 이미지 처리방법.10. The method of claim 9,
Wherein the detecting the object from the collected sonar image comprises extracting at least a portion of the sonar image and converting the size of the extracted image.
상기 수집한 소나 이미지로부터 객체를 검출하는 단계는, 상기 소나 이미지로부터 추출된 이미지가 상기 대상 객체의 일부, 객체, 객체의 일부 중 적어도 하나를 포함하거나, 객체를 포함하지 않는 경우, 상기 추출된 이미지에 거짓 라벨을 설정하는, 객체 인식을 위한 수중 이미지 처리방법.10. The method of claim 9,
Wherein the step of detecting an object from the collected sonar image comprises: if the image extracted from the sonar image includes at least one of a part of the target object, an object, and a part of the object, A method for processing an underwater image for object recognition, which sets a false label on an object.
상기 검출된 객체 및 컨벌루션 신경망을 이용하여 상기 검출된 객체들 중 기 지정된 대상 객체를 결정하는 단계는, 상기 컨벌루션 신경망의 서브샘플링 결과 및 참/거짓 라벨에 따라서 라벨이 결정되지 않은 상기 객체들 중 상기 대상 객체를 결정하는, 객체 인식을 위한 수중 이미지 처리방법.10. The method of claim 9,
Wherein the step of determining a pre-determined target object among the detected objects using the detected object and the convolution neural network comprises the steps of: determining, from among the objects whose labels have not been determined according to a result of subsampling of the convolution neural network and a true / false label, An underwater image processing method for object recognition that determines a target object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160136683A KR101781757B1 (en) | 2016-10-20 | 2016-10-20 | Underwater image processing device for object recognition and method there of |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160136683A KR101781757B1 (en) | 2016-10-20 | 2016-10-20 | Underwater image processing device for object recognition and method there of |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101781757B1 true KR101781757B1 (en) | 2017-09-28 |
Family
ID=60035874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160136683A KR101781757B1 (en) | 2016-10-20 | 2016-10-20 | Underwater image processing device for object recognition and method there of |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101781757B1 (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101928799B1 (en) * | 2018-07-30 | 2018-12-13 | (주)한국해저정보 | Acoustic Backscatter Data Processing device of Bathymetric Sonar For material information generation |
| CN109583333A (en) * | 2018-11-16 | 2019-04-05 | 中证信用增进股份有限公司 | Image-recognizing method based on water logging method and convolutional neural networks |
| KR20190092869A (en) * | 2018-01-31 | 2019-08-08 | 한양대학교 에리카산학협력단 | Dangerous substance detecting system and method and computer program based visual information |
| KR20200009852A (en) * | 2018-07-20 | 2020-01-30 | 포항공과대학교 산학협력단 | Underwater monitoring system and VR image providing method for underwater monitoring |
| WO2020045978A1 (en) * | 2018-08-29 | 2020-03-05 | 한국과학기술원 | Method and apparatus for estimating road surface type by using ultrasonic signal |
| KR20200139500A (en) * | 2019-06-04 | 2020-12-14 | 국방과학연구소 | Learning method and inference method based on convolutional neural network for tonal frequency analysis |
| KR20210028369A (en) * | 2019-09-04 | 2021-03-12 | (주)이앤제너텍 | Method for operating control server communicating with temperature contour sensing device |
| CN113052200A (en) * | 2020-12-09 | 2021-06-29 | 江苏科技大学 | Sonar image target detection method based on yolov3 network |
| KR102298643B1 (en) * | 2020-07-10 | 2021-09-03 | 동명대학교산학협력단 | 3D modeling method of underwater surfaces using infrared thermal imaging camera and drone |
| KR102298645B1 (en) * | 2020-07-10 | 2021-09-06 | 동명대학교산학협력단 | 3D modeling system of underwater surfaces using infrared thermal imaging camera and drone |
| KR20220022721A (en) * | 2020-08-19 | 2022-02-28 | 한국원자력연구원 | Apparatus and method for visualizing underwater cutting of nuclear power plant facilities |
| CN114544155A (en) * | 2022-01-28 | 2022-05-27 | 江苏科技大学 | AUV propeller multi-information-source fusion fault diagnosis method and system based on deep learning |
| KR102421285B1 (en) * | 2021-03-22 | 2022-07-15 | 레드원테크놀러지 주식회사 | 3D visualization method of mud deposition layer in underwater facilities using underwater vehicle and SONAR, and observation system |
| KR102516795B1 (en) * | 2022-11-07 | 2023-03-30 | 포항공과대학교 산학협력단 | Sonar image simulator device and underwater object detection device |
| KR102676639B1 (en) | 2023-10-26 | 2024-06-19 | 주식회사 더블오 | Apparutus for collecting data for water surface floating objects |
-
2016
- 2016-10-20 KR KR1020160136683A patent/KR101781757B1/en active IP Right Grant
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190092869A (en) * | 2018-01-31 | 2019-08-08 | 한양대학교 에리카산학협력단 | Dangerous substance detecting system and method and computer program based visual information |
| KR102308974B1 (en) * | 2018-01-31 | 2021-10-05 | 한양대학교 에리카산학협력단 | Dangerous substance detecting system and method and computer program based visual information |
| KR20200009852A (en) * | 2018-07-20 | 2020-01-30 | 포항공과대학교 산학협력단 | Underwater monitoring system and VR image providing method for underwater monitoring |
| KR102095009B1 (en) | 2018-07-20 | 2020-04-24 | 포항공과대학교 산학협력단 | Underwater monitoring system and VR image providing method for underwater monitoring |
| KR101928799B1 (en) * | 2018-07-30 | 2018-12-13 | (주)한국해저정보 | Acoustic Backscatter Data Processing device of Bathymetric Sonar For material information generation |
| WO2020045978A1 (en) * | 2018-08-29 | 2020-03-05 | 한국과학기술원 | Method and apparatus for estimating road surface type by using ultrasonic signal |
| CN109583333A (en) * | 2018-11-16 | 2019-04-05 | 中证信用增进股份有限公司 | Image-recognizing method based on water logging method and convolutional neural networks |
| KR102272409B1 (en) * | 2019-06-04 | 2021-07-02 | 국방과학연구소 | Learning method and inference method based on convolutional neural network for tonal frequency analysis |
| KR20200139500A (en) * | 2019-06-04 | 2020-12-14 | 국방과학연구소 | Learning method and inference method based on convolutional neural network for tonal frequency analysis |
| KR102335526B1 (en) * | 2019-09-04 | 2021-12-07 | (주)이앤제너텍 | Method for operating control server communicating with temperature contour sensing device |
| KR20210028369A (en) * | 2019-09-04 | 2021-03-12 | (주)이앤제너텍 | Method for operating control server communicating with temperature contour sensing device |
| WO2021045564A3 (en) * | 2019-09-04 | 2021-04-29 | 이앤제너텍 | Operation method for control server communicating with temperature contour sensing apparatus |
| KR102298643B1 (en) * | 2020-07-10 | 2021-09-03 | 동명대학교산학협력단 | 3D modeling method of underwater surfaces using infrared thermal imaging camera and drone |
| KR102298645B1 (en) * | 2020-07-10 | 2021-09-06 | 동명대학교산학협력단 | 3D modeling system of underwater surfaces using infrared thermal imaging camera and drone |
| KR20220022721A (en) * | 2020-08-19 | 2022-02-28 | 한국원자력연구원 | Apparatus and method for visualizing underwater cutting of nuclear power plant facilities |
| KR102570120B1 (en) * | 2020-08-19 | 2023-08-24 | 한국원자력연구원 | Apparatus and method for visualizing underwater cutting of nuclear power plant facilities |
| CN113052200A (en) * | 2020-12-09 | 2021-06-29 | 江苏科技大学 | Sonar image target detection method based on yolov3 network |
| CN113052200B (en) * | 2020-12-09 | 2024-03-19 | 江苏科技大学 | Sonar image target detection method based on yolov3 network |
| KR102421285B1 (en) * | 2021-03-22 | 2022-07-15 | 레드원테크놀러지 주식회사 | 3D visualization method of mud deposition layer in underwater facilities using underwater vehicle and SONAR, and observation system |
| CN114544155A (en) * | 2022-01-28 | 2022-05-27 | 江苏科技大学 | AUV propeller multi-information-source fusion fault diagnosis method and system based on deep learning |
| KR102516795B1 (en) * | 2022-11-07 | 2023-03-30 | 포항공과대학교 산학협력단 | Sonar image simulator device and underwater object detection device |
| KR102676639B1 (en) | 2023-10-26 | 2024-06-19 | 주식회사 더블오 | Apparutus for collecting data for water surface floating objects |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101781757B1 (en) | Underwater image processing device for object recognition and method there of | |
| US10809376B2 (en) | Systems and methods for detecting objects in underwater environments | |
| Ferrera et al. | AQUALOC: An underwater dataset for visual–inertial–pressure localization | |
| Rahman et al. | Sonar visual inertial slam of underwater structures | |
| CN109059906B (en) | Vehicle positioning method and device, electronic equipment and storage medium | |
| CN109239709B (en) | Autonomous construction method for local environment map of unmanned ship | |
| US11062475B2 (en) | Location estimating apparatus and method, learning apparatus and method, and computer program products | |
| Kim et al. | Artificial landmark-based underwater localization for AUVs using weighted template matching | |
| JP2005528707A (en) | Feature mapping between data sets | |
| JP6782903B2 (en) | Self-motion estimation system, control method and program of self-motion estimation system | |
| KR20120095445A (en) | Method and apparatus for tracking and recognition with rotation invariant feature descriptors | |
| KR20150059191A (en) | Method of real-time recognizing and tracking for underwater objects using sonar images | |
| Pavin | Underwater object recognition in photo images | |
| Wang et al. | An overview of key SLAM technologies for underwater scenes | |
| Xu et al. | An integrated visual odometry system for underwater vehicles | |
| CN104166995A (en) | Harris-SIFT binocular vision positioning method based on horse pace measurement | |
| Paccaud et al. | Obstacle detection for lake-deployed autonomous surface vehicles using RGB imagery | |
| Di Ciaccio et al. | Does: A deep learning-based approach to estimate roll and pitch at sea | |
| McConnell et al. | Perception for Underwater Robots | |
| KR101590257B1 (en) | Method and device for recognizing underwater object using sonar image template | |
| Mitchell et al. | Autonomous underwater pipeline monitoring navigation system | |
| Oliveira et al. | Feature-based underwater localization using imaging sonar in confined environments | |
| Song et al. | Real-time reliability evaluation of optical and acoustic images for feature-based localization of AUV | |
| KR101882319B1 (en) | Underwater image processing device for trajectory backtracking and method there of | |
| Wolfart et al. | Deep Learning for Nuclear Safeguards |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |