KR102640795B1 - 레이더 기반 선박의 이/접안 지원 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 - Google Patents
레이더 기반 선박의 이/접안 지원 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 Download PDFInfo
- Publication number
- KR102640795B1 KR102640795B1 KR1020210105676A KR20210105676A KR102640795B1 KR 102640795 B1 KR102640795 B1 KR 102640795B1 KR 1020210105676 A KR1020210105676 A KR 1020210105676A KR 20210105676 A KR20210105676 A KR 20210105676A KR 102640795 B1 KR102640795 B1 KR 102640795B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- accuracy
- radar image
- radar
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 54
- 238000003032 molecular docking Methods 0.000 claims abstract description 27
- 238000010801 machine learning Methods 0.000 claims abstract description 25
- 238000004590 computer program Methods 0.000 claims abstract description 6
- 239000000284 extract Substances 0.000 claims description 27
- 238000013507 mapping Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 description 25
- 238000013528 artificial neural network Methods 0.000 description 24
- 238000012549 training Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G3/00—Traffic control systems for marine craft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
- B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
- B63B43/20—Feelers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ocean & Marine Engineering (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Mechanical Engineering (AREA)
- Evolutionary Computation (AREA)
- Combustion & Propulsion (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 카메라로 입력한 영상과 이를 인식한 결과를 매핑한 레이더 영상을 학습시키고, 학습 결과에 기초하여 레이더 영상의 인식 결과를 디스플레이 할 수 있는 레이더 기반의 선박의 이/접안 지원 시스템 및 방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 본 발명의 실시예에 따른 이/접안 지원 방법은, 선박 주변의 레이더 영상을 형성하고, 선박 주변의 카메라 영상을 형성하며, 레이더 영상 및 카메라 영상을 동일한 해상도로 격자화하고, 미리 학습된 카메라 영상 인식 알고리즘을 이용하여 카메라 영상에 포함된 대상체를 추출하며, 대상체의 카메라 영상에서의 위치를 좌표값으로 추출하고, 레이더 영상에서 좌표값에 대응하는 구역의 레이더 영상 데이터를 추출하며, 레이더 영상 데이터를 이용하여 입력 데이터를 형성하고, 추출된 대상체 정보를 이용하여 레이블 데이터를 형성하고, 입력 데이터 및 레이블 데이터를 이용하여 영상 인식 알고리즘의 기계 학습을 수행한다.
Description
본 발명은 레이더 기반 선박의 이/접안 지원 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는 카메라로 입력한 영상과 이를 인식한 결과를 매핑한 레이더 영상을 학습시키고, 학습 결과에 기초하여 레이더 영상의 인식 결과를 디스플레이 할 수 있는 레이더 기반 선박의 이/접안 지원 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
일반적으로 선박의 이/접안(離/接岸) 시 육안이나 360도 카메라를 사용해서 선박 주변의 상황을 파악하고 있다.
이처럼 선박의 이/접안 시 선박 주변을 360도로 촬영할 수 있는 360도 카메라를 사용할 경우, 시야가 확보되는 기상 상태나 낮 시간대에는 특별한 문제가 없을 수 있으나, 카메라를 통한 시야 확보가 어려운 기상 상황이나, 혹은 야간 시간대에는 카메라 영상을 통해 나타난 사물을 정확하게 판단 및 판별하기 어려운 문제점이 있다.
이처럼 시야 확보가 어려운 상황 하에서 이루어지는 선박의 이/접안은 자칫 대형 사고로 연결될 가능성이 있어 주의가 요구된다.
본 발명은 카메라로 입력한 영상과 이를 인식한 결과를 매핑한 레이더 영상을 학습시키고, 학습 결과에 기초하여 레이더 영상의 인식 결과를 디스플레이 할 수 있는 레이더 기반 선박의 이/접안 지원 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체를 제공한다.
본 발명의 일 실시예에 따른 선박의 이/접안 지원 시스템은, 선박 주변의 레이더 영상을 형성하는 제1 촬영부; 상기 선박 주변의 카메라 영상을 형성하는 제2 촬영부; 및 상기 레이더 영상 및 상기 카메라 영상을 동일한 해상도로 격자화하는 영상 재격자부, 미리 학습된 카메라 영상 인식 알고리즘을 이용하여 상기 카메라 영상에 포함된 대상체를 추출하는 카메라 영상 인식부, 상기 대상체의 상기 카메라 영상에서의 위치를 좌표값으로 추출하는 영상 매핑부, 상기 레이더 영상에서 상기 좌표값에 대응하는 구역의 레이더 영상 데이터를 추출하는 레이더 영상 구역 추출부, 및 상기 레이더 영상 데이터를 이용하여 입력 데이터를 형성하고 상기 추출된 대상체 정보를 이용하여 레이블 데이터를 형성하며 상기 입력 데이터 및 상기 레이블 데이터를 이용하여 레이더 영상 인식 알고리즘의 기계 학습을 수행하는 레이더 영상 학습부가 포함된, 서버;를 포함한다.
또한, 상기 서버는, 상기 기계 학습된 레이더 영상 인식 알고리즘을 통해 상기 레이더 영상에서 제1 대상체를 추출하는 레이더 영상 인식부를 더 포함할 수 있다.
또한, 상기 레이더 영상 인식부는 상기 기계 학습된 레이더 영상 인식 알고리즘을 이용하여 상기 레이더 영상에서 상기 제1 대상체를 추출하고, 추출 시의 제1 정확도를 산출하며, 상기 카메라 영상 인식부는 상기 미리 학습된 카메라 영상 인식 알고리즘을 이용하여 상기 카메라 영상에서 제2 대상체를 추출하고, 추출 시의 제2 정확도를 산출할 수 있다.
또한, 상기 제1 정확도와 상기 제2 정확도를 비교하여 보다 높은 정확도를 갖는 대상체를 인식 이미지로서 형성하는 학습 프로세서를 더 포함할 수 있다.
또한, 상기 학습 프로세서를 통해 상기 제1 정확도 보다 상기 제2 정확도가 높은 것으로 판단되는 경우, 상기 영상 매핑부는 상기 제2 대상체의 상기 카메라 영상에서의 위치를 좌표값으로 추출하고, 상기 레이더 영상 구역 추출부는 상기 카메라 영상에서의 추출된 좌표값을 이용하여 상기 레이더 영상에서 상기 추출된 좌표값에 대응하는 구역의 레이더 영상 데이터를 추출하며, 상기 레이더 영상 학습부는 상기 추출된 레이더 영상 데이터를 상기 입력 데이터로 변환하고 상기 추출된 제2 대상체 정보를 이용하여 상기 레이블 데이터를 형성하며 상기 입력 데이터 및 상기 레이블 데이터를 이용하여 상기 레이더 영상 인식 알고리즘의 기계 학습을 수행할 수 있다.
또한, 상기 인식 이미지를 디스플레이하는 브릿지 콘솔을 더 포함할 수 있다.
또한, 상기 학습 프로세서를 통해 상기 제1 정확도 및 상기 제2 정확도가 기 설정된 임계값 이하로 판단되는 경우, 상기 영상 재격자부에 의해 격자화 된 레이더 영상 및 카메라 영상, 상기 대상체 정보 및 상기 선박의 위치 정보를 육상 서버로 전송하는 통신부를 더 포함할 수 있다.
또한, 상기 육상 서버는, 상기 선박의 위치 정보를 이용하여 상기 선박과 소정 거리 이내에 위치한 타 선박으로부터 상기 대상체 정보에 대한 인식결과 및 정확도 정보를 전달받고, 상기 제1 정확도 및 상기 제2 정확도보다 상기 정확도 정보가 더 높은 경우, 상기 대상체 정보에 대한 상기 인식결과를 상기 선박으로 재전송할 수 있다.
이때, 상기 학습 프로세서는 상기 레이더 영상 학습부 내에 포함될 수 있다.
본 발명의 다른 실시예에 따른 선박의 이/접안 지원 방법은, 선박 주변의 레이더 영상을 형성하는 단계; 상기 선박 주변의 카메라 영상을 형성하는 단계; 상기 레이더 영상 및 상기 카메라 영상을 동일한 해상도로 격자화하는 단계; 미리 학습된 카메라 영상 인식 알고리즘을 이용하여 상기 카메라 영상에 포함된 대상체를 추출하는 단계; 상기 대상체의 상기 카메라 영상에서의 위치를 좌표값으로 추출하는 단계; 상기 레이더 영상에서 상기 좌표값에 대응하는 구역의 레이더 영상 데이터를 추출하는 단계; 상기 레이더 영상 데이터를 이용하여 입력 데이터를 형성하는 단계; 상기 추출된 대상체 정보를 이용하여 레이블 데이터를 형성하는 단계; 및 상기 입력 데이터 및 상기 레이블 데이터를 이용하여 상기 레이더 영상 인식 알고리즘의 기계 학습을 수행하는 단계를 포함한다.
또한, 상기 레이더 영상 및 상기 카메라 영상을 동일한 해상도로 격자화하는 단계 이후, 상기 기계 학습된 레이더 영상 인식 알고리즘을 이용하여 상기 레이더 영상에서 제1 대상체를 추출하고, 추출 시의 제1 정확도를 산출하는 단계; 상기 미리 학습된 카메라 영상 인식 알고리즘을 이용하여 상기 카메라 영상에서 제2 대상체를 추출하고, 추출 시의 제2 정확도를 산출하는 단계; 및 상기 제1 정확도와 상기 제2 정확도를 비교하여 보다 높은 정확도를 갖는 대상체를 인식 이미지로서 형성하는 단계를 더 포함할 수 있다.
또한, 상기 인식 이미지를 디스플레이하는 단계를 더 포함할 수 있다.
또한, 상기 제1 정확도보다 상기 제2 정확도가 높을 경우, 상기 제2 대상체의 상기 카메라 영상에서의 위치를 좌표값으로 추출하는 단계; 상기 카메라 영상에서의 추출된 좌표값을 이용하여 상기 레이더 영상에서 상기 추출된 좌표값에 대응하는 구역의 영상 데이터를 추출하는 단계; 상기 추출된 레이더 영상 데이터를 입력 데이터로 변환하는 단계; 상기 추출된 제2 대상체 정보를 이용하여 레이블 데이터를 형성하는 단계; 및 상기 입력 데이터 및 상기 레이블 데이터를 이용하여 상기 레이더 영상 인식 알고리즘의 기계 학습을 수행하는 단계를 포함할 수 있다.
또한, 상기 제1 정확도보다 상기 제2 정확도가 기 설정된 임계값 이하인 경우, 상기 격자화된 레이더 영상 및 카메라 영상, 상기 대상체 정보 및 상기 선박의 위치 정보를 육상 서버로 전송하는 단계를 더 포함할 수 있다.
또한, 상기 육상 서버에 의해, 상기 선박의 위치 정보를 이용하여 상기 선박과 소정 거리 이내에 위치한 타 선박으로부터 상기 대상체 정보에 대한 인식결과 및 정확도 정보를 전달받고, 상기 제1 정확도 및 상기 제2 정확도보다 상기 정확도 정보가 더 높은 경우, 상기 대상체 정보에 대한 상기 인식결과를 상기 선박으로 재전송하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 컴퓨터 판독 가능한 기록 매체는, 전술한 선박의 이/접안 지원 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된다.
본 발명의 실시예들에 따르면, 반복적으로 학습된 정보를 바탕으로 레이더 영상을 인식 후 그 결과를 디스플레이상에 표기하여, 야간에는 사람의 눈이나 카메라로 사물의 인식을 명확하게 할 수 없다는 단점을 보완할 수 있다.
또한, 학습된 레이더 영상을 이용하여 야간에 레이더만을 이용하여 선박 주변의 사물을 인식할 수 있으며, 낮 시간대에도 카메라로 인식한 영상을 보완하여 선박 주변에 대한 인식의 정확도를 높일 수 있어, 선박의 이/접안 시 발생할 수 있는 각종 사고를 미연에 방지할 수 있다.
도 1은 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 구성을 보이는 예시도이다.
도 2는 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 영상 재격자부의 프로세스를 보이는 개념도이다.
도 4는 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 카메라 영상 인식부의 프로세스를 보이는 개념도이다.
도 5는 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 영상 매핑부의 프로세스를 보이는 개념도이다.
도 6은 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 레이더 영상 구역 추출부의 프로세스를 보이는 개념도이다.
도 7은 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 레이더 영상 학습부의 프로세스를 보이는 개념도이다.
도 8은 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 서버의 학습 프로세스를 보이는 흐름도이다.
도 9는 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 레이더를 통한 인식 및 재학습 프로세스를 보이는 흐름도이다.
도 2는 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 영상 재격자부의 프로세스를 보이는 개념도이다.
도 4는 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 카메라 영상 인식부의 프로세스를 보이는 개념도이다.
도 5는 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 영상 매핑부의 프로세스를 보이는 개념도이다.
도 6은 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 레이더 영상 구역 추출부의 프로세스를 보이는 개념도이다.
도 7은 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 레이더 영상 학습부의 프로세스를 보이는 개념도이다.
도 8은 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 서버의 학습 프로세스를 보이는 흐름도이다.
도 9는 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 레이더를 통한 인식 및 재학습 프로세스를 보이는 흐름도이다.
본 발명의 실시예들은 본 발명의 기술적 사상을 설명하기 위한 목적으로 예시된 것이다. 본 발명에 따른 권리범위가 이하에 제시되는 실시예들이나 이들 실시예들에 대한 구체적인 설명으로 한정되는 것은 아니다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예들을 설명한다. 첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지 않는다.
도 1은 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 구성을 보이는 예시도이다.
도 1에 도시한 바와 같이, 선박의 이/접안 지원 시스템(100)은, 제1 촬영부(110), 제2 촬영부(120), 인코더(130), 서버(140), 브릿지 콘솔(150), 위치 인식부(160), 통신부(170) 및 육상 서버(180)를 포함할 수 있다. 일 실시예에 따르면, 선박의 이/접안 지원 시스템(100)은, 제1 촬영부(110), 제2 촬영부(120), 인코더(130), 서버(140), 브릿지 콘솔(150), 위치 인식부(160) 및 통신부(170)는 선내 통신망을 통해서 통신 가능하도록 연결될 수 있다.
본 발명의 실시예에 따른 선박의 이/접안 지원 시스템(100)은, 반복적으로 학습된 정보를 바탕으로 레이더 영상을 인식 후 그 결과를 디스플레이상에 표기하여, 야간에는 사람의 눈이나 카메라로 사물의 인식을 명확하게 할 수 없다는 단점을 보완할 수 있다. 학습된 레이더 영상을 이용하여 야간에 레이더만을 이용하여 선박 주변의 사물을 인식할 수 있다. 그리고 낮 시간대에도 카메라로 인식한 영상을 보완하여 인식의 정확도를 높일 수 있다. 또한, 위치 인식부(AIS: Auto Identification System, 160)와 연동되어 카메라 영상 인식률과 레이더 인식률이 떨어지는 이미지는 현재 선박의 위치와 함께 저장하여 통신부(170)를 통해서 육상 서버(180)로 전송할 수 있다. 육상 서버(180)는 비슷한 위치에서 운항 중인 선박에서 인식한 카메라 영상 및 레이더 영상 인식 결과를 요청하여 인식률이 높은 결과를 인식률이 낮은 선박에 전송하여 카메라 영상 인식부(142) 및 레이더 영상 인식부(146)를 개선할 수 있다. 만약 비슷한 위치에서 운항 중인 선박의 영상 인식률도 낮을 경우 육상 서버(180)의 관리자가 이를 판단하여 레이블링(Labeling) 후 각 선박에 전송하여 선박들의 인식률을 높일 수 있는 학습 데이터를 추가할 수 있다. 카메라(120)와 레이더(110)는 선외에서 같은 위치에 설치하며 설치 시 동일한 범위로 영상을 추출할 수 있도록 배치할 수 있다.
제1 촬영부(110)는 선박 주변의 레이더 영상을 형성할 수 있다. 일 실시예에 따르면, 제1 촬영부(110)는 마이크로파(극초단파, 10~100cm 파장) 정도의 전자기파를 물체에 발사시켜 그 물체에서 반사되는 전자기파를 수신하여 물체와의 거리, 방향, 고도 등을 탐지하는 무선 감시 장치인 레이더(RADAR)를 포함할 수 있다.
제2 촬영부(120)는 선박 주변의 카메라 영상을 형성할 수 있다. 일 실시예에 따르면, 제2 촬영부(120)는 대상체를 렌즈를 통해서 감광재료에 결상(結像)시켜서 대상체의 이미지를 형성할 수 있는 카메라를 포함할 수 있으며, 이때 카메라는 360도로 촬영할 수 있는 360도 카메라일 수 있다.
인코더(130)는 제2 촬영부(120)에서 형성된 카메라 영상을 신호 처리가 가능하도록 디지털 신호로 변환할 수 있다.
서버(140)는 영상 재격자부(141), 카메라 영상 인식부(142), 영상 매핑부(143), 레이더 영상 구역 추출부(144), 레이더 영상 학습부(145) 및 레이더 영상 인식부(146)를 포함할 수 있다.
영상 재격자부(141)는, 제1 촬영부(110)에서 형성된 레이더 영상 및 제2 촬영부(120)에서 형성된 카메라 영상을 재격자 알고리즘을 이용하여 동일한 해상도(사이즈)로 격자화 할 수 있다. 일 실시예에 따르면, 영상 재격자부(141)는 레이더 영상 및 카메라 영상을 동일한 해상도의 영상으로 변환함으로써 레이더 영상과 카메라 영상을 매핑할 수 있도록 한다.
카메라 영상 인식부(142)는, 미리 학습된 카메라 영상 인식 알고리즘을 이용하여 카메라 영상에 포함된 대상체를 추출할 수 있다. 일 실시예에 따르면, 카메라 영상 인식부(142)는, 기존에 학습되어 있는 카메라 영상 인식 알고리즘을 이용하여 카메라 영상 내의 사물(대상체)을 인식하고 그 결과를 정확도와 함께 출력할 수 있다.
영상 매핑부(143)는, 대상체의 카메라 영상에서의 위치를 좌표값으로 추출할 수 있다. 일 실시예에 따르면, 영상 매핑부(143)는 카메라 영상에서 대상체가 인식된 구역의 좌표값을 그리드를 이용해서 인식 결과값과 함께 출력할 수 있다.
레이더 영상 구역 추출부(144)는, 레이더 영상에서 좌표값에 대응하는 구역의 영상 데이터를 추출할 수 있다. 일 실시예에 따르면, 레이더 영상 구역 추출부(144)는, 영상 매핑부(143)에서 출력된 대상체가 인식된 구역의 x, y 좌표값 정보를 이용하여 레이더 영상에 구역을 설정하고, 해당 구역 내의 대상체 영상을 추출할 수 있다.
레이더 영상 학습부(145)는, 레이더 영상 데이터를 이용하여 입력 데이터를 형성할 수 있다. 일 실시예에 따르면, 레이더 영상 학습부(145)는 레이더 영상 구역 추출부(144)에서 추출된 레이더 영상 데이터를 학습용 격자 이미지에 적합하게 변환하여 입력 데이터(Input Data)로 변환할 수 있다.
또한, 레이더 영상 학습부(145)는, 상기 추출된 대상체 정보를 이용하여 레이블 데이터를 형성할 수 있다. 일 실시예에 따르면, 레이더 영상 학습부(145)는 카메라 영상 인식부(142)에서 추출한 각 영상별 결과값(대상체 정보)을 이용하여 레이블 데이터를 형성할 수 있다.
아울러, 레이더 영상 학습부(145)는, 입력 데이터 및 레이블 데이터를 이용하여 레이더 영상 인식 알고리즘의 기계 학습을 수행할 수 있다. 일 실시예에 따르면, 레이더 영상 학습부(145)는, 레이더 영상 데이터를 변환한 입력 데이터와 대상체 정보를 이용하여 형성한 레이블 데이터를 이용하여 레이더 영상 인식 알고리즘의 기계 학습을 수행할 수 있다. 예를 들어, 레이더 영상 학습부(145)는, 지도 학습(Supervised Learning)을 이용하여 레이더 영상 인식 알고리즘의 기계 학습을 수행할 수 있지만, 이에 한정되지 않는다.
레이더 영상 인식부(146)는, 레이더 영상 학습부(145)에 의해 기계 학습된 레이더 영상 인식 알고리즘을 통해 제1 촬영부(110)를 통해 형성된 레이더 영상으로부터 대상체를 추출할 수 있다.
서버(140)는, 영상 재격자부(141)에 의해 레이더 영상 및 카메라 영상을 동일한 해상도로 격자화하고, 레이더 영상 인식부(146)의 레이더 영상 인식 알고리즘을 이용하여 레이더 영상에서 제1 대상체를, 카메라 영상 인식부(142)의 카메라 영상 인식 알고리즘을 이용하여 카메라 영상에서 제2 대상체를 추출할 수 있다. 또한 서버(140)의 레이더 영상 인식부(146) 및 카메라 영상 인식부(142)는 각각 제1 대상체 추출 시의 제1 정확도 및 제2 대상체 추출 시의 제2 정확도를 산출하고, 학습 프로세서(미도시)가 제1 및 제2 정확도를 비교하여 보다 높은 정확도를 갖는 대상체를 인식 이미지로서 형성할 수 있다. 서버(140)는 형성된 인식 이미지를 브릿지 콘솔(150)로 전송하여 디스플레이 되도록 할 수 있다. 일 실시예에 따르면, 서버(140)의 학습 프로세서는, 제1 정확도보다 제2 정확도가 높을 경우, 제2 대상체의 카메라 영상에서의 위치를 좌표값으로 추출하고, 레이더 영상에서 좌표값에 대응하는 구역의 레이더 영상 데이터를 추출할 수 있다. 또한 서버(140)는 추출된 레이더 영상 데이터를 이용하여 입력 데이터를 형성하고, 추출된 제2 대상체 정보를 이용하여 레이블 데이터를 형성하며, 입력 데이터 및 레이블 데이터를 이용하여 영상 인식 알고리즘의 기계 학습을 수행할 수 있다.
브릿지 콘솔(150)은, 서버(140)에서 형성된 인식 이미지를 선내 네트워크를 통하여 전송 받아서 디스플레이 할 수 있다.
위치 인식부(160)는, 선박의 위치 정보를 형성할 수 있다. 일 실시예에 따르면, 위치 인식부(160)는 AIS(Auto Identification System)를 포함할 수 있지만, 이에 한정되지 않는다.
통신부(170)는, 격자화된 레이더 영상, 격자화된 카메라 영상, 서버(140)에서 추출된 대상체 정보 및 위치 인식부(160)에서 형성된 선박의 위치 정보를 선박 외부의 육상 서버(180)로 전송할 수 있다. 일 실시예에 따르면, 통신부(170)는 VSAT(Very Small Aperture Terminal)를 포함할 수 있지만, 이에 한정되지 않는다.
육상 서버(140)는, 통신부(170)를 통해서 수신된 선박의 위치 정보를 이용하여 소정 거리 이내에 위치한 타 선박으로부터 대상체 정보에 대한 인식결과 및 정확도 정보를 전달받아, 자 선박에서 판단한 제1 정확도 및 제2 정확도보다 높은 수준의 정확도 정보인 경우 타 선박에서 인식한 대상체 정보에 대한 인식결과를 자 선박으로 재전송한다.
또는, 이러한 타 선박으로부터의 대상체 정보에 대한 인식결과 및 정확도 정보 역시 높은 수준의 정확도를 갖춘 정보가 아닌 경우, 관리자 또는 전문가 등의 사람이 인식 및 분류한 Input Data와 Label Data 작성하여 자 선박(또는 타 선박)의 레이더 영상 학습부(145)로 전송되고 재학습이 수행된다
본 발명에서, 인공지능(Artificial Intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력 등을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직 등의 개념을 포함할 수 있다. 기계 학습(Machine Learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술이다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터를 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야가 포함될 수 있다.
기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화 해나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는, 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.
인공지능 학습모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 인공지능 학습모델은, 예를 들어, 인공 신경망 모델(Artificial Neural Network), 컨볼루션 신경망 모델(Convolution Neural Network: CNN) 등일 수 있다. 일 실시예로서, 인공지능 학습모델은, 지도학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 등의 방식에 따라 기계 학습될 수 있다. 기계 학습을 수행하기 위한 기계 학습 알고리즘에는, 의사결정트리(Decision Tree), 베이지안 망(Bayesian Network), 서포트 벡터 머신(Support Vector Machine), 인공 신경망(Artificial Neural Network), 에이다부스트 (Adaboost), 퍼셉트론(Perceptron), 유전자 프로그래밍(Genetic Programming), 군집화(Clustering) 등이 사용될 수 있다.
이중, CNN은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.
컨볼루션 네트워크는 묶인 파라미터들을 가지는 노드들의 집합들을 포함하는 신경 네트워크들이다. 사용 가능한 트레이닝 데이터의 크기 증가와 연산 능력의 가용성이, 구분적 선형 단위 및 드롭아웃 트레이닝과 같은 알고리즘 발전과 결합되어, 많은 컴퓨터 비전 작업들이 크게 개선되었다. 오늘날 많은 작업에 사용할 수 있는 데이터 세트들과 같은 엄청난 양의 데이터 세트에서는 초과 맞춤(outfitting)이 중요하지 않으며, 네트워크의 크기를 늘리면 테스트 정확도가 향상된다. 컴퓨팅 리소스들의 최적 사용은 제한 요소가 된다. 이를 위해, 심층 신경 네트워크들의 분산된, 확장 가능한 구현 예가 사용될 수 있다.
도 2는 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.
도 2에 도시한 바와 같이, 카메라 영상 및 레이더 영상이 포함하는 대상체 인식을 위하여 뉴럴 네트워크(145-1)를 학습시킬 수 있다. 일 실시예에 따르면, 학습 장치는 레이더 영상 학습부(145)에 포함될 수 있지만, 이에 한정되는 것은 아니고 다른 별개의 주체일 수도 있다.
뉴럴 네트워크(145-1)는 트레이닝 샘플들이 입력되는 입력 레이어(145-2)와 트레이닝 출력들을 출력하는 출력 레이어(145-3)를 포함하고, 트레이닝 출력들과 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 레이블들은 레이더 영상에 대응하는 대상체 정보에 기초하여 정의될 수 있다. 뉴럴 네트워크(145-1)는 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다.
학습 장치는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 뉴럴 네트워크(145-1)를 학습시킬 수 있다. 학습 장치는 뉴럴 네트워크의 출력들 및 레이블들 의해 설계된 손실 함수(Loss Function)를 이용할 수 있다.
학습 장치는 미리 정의된 손실 함수를 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 뉴럴 네트워크(145-1) 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.
학습 장치는 역전파(Backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 뉴럴 네트워크(145-1) 내 노드들 사이의 관계들이다. 학습 장치는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 학습 장치는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.
일 실시예에 따르면, 학습 장치는 트레이닝 레이더 영상들을 획득하고, 트레이닝 레이더 영상들로부터 트레이닝 대상체들을 추출할 수 있다. 학습 장치는 트레이닝 대상체들에 대해서 각각 미리 레이블링 된 정보(제1 레이블들)를 획득할 수 있는데, 트레이닝 대상체들에 미리 정의된 대상체 정보를 나타내는 제1 레이블들을 획득할 수 있다.
일 실시예에 따르면, 학습 장치는 트레이닝 대상체들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제1 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.
일 실시예에 따르면, 학습 장치는 제1 트레이닝 특징 벡터들을 뉴럴 네트워크(145-1)에 적용하여 트레이닝 출력들을 획득할 수 있다. 학습 장치는 트레이닝 출력들과 제1 레이블들에 기초하여 뉴럴 네트워크(145-1)를 학습시킬 수 있다. 학습 장치는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 뉴럴 네트워크(145-1) 내 노드들의 연결 관계를 최적화하여 뉴럴 네트워크(145-1)를 학습시킬 수 있다. 레이더 영상 학습부(145)는 학습이 완료된 뉴럴 네트워크(145-1)를 이용하여 레이더 영상으로부터 대상체를 추출할 수 있다.
도 3은 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 영상 재격자부(141)의 프로세스를 보이는 개념도이다.
도 3에 도시한 바와 같이, 서버(140)의 영상 재격자부(141)는, 제1 촬영부(110)로부터 입력된 레이더 영상 및 제2 촬영부(120)로부터 입력된 카메라 영상을 대상으로 재격자 알고리즘을 이용하여 동일한 해상도(사이즈)의 영상으로 변환(re-grid)할 수 있다. 동일한 해상도의 영상으로 변환함으로써 레이더 영상과 카메라 영상을 매핑할 수 있게 된다.
도 4는 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 카메라 영상 인식부(142)의 프로세스를 보이는 개념도이다.
도 4에 도시한 바와 같이, 서버(140)의 카메라 영상 인식부(142)는, 기존에 학습되어 있는 카메라 영상 인식 알고리즘을 사용하여 카메라 영상 내의 사물(대상체)을 인식하고 그 결과를 정확도와 함께 출력할 수 있다. 일 실시예에 따르면, 카메라 영상 인식부(142)는, 카메라 영상 내에 포함된 선박(Ship)을 80%의 확률로 인식할 수 있다. 예를 들어, 카메라 영상 인식부(142)는 카메라 영상에서 추출된 대상체가 선박에 해당할 확률을 정확도로서 산출할 수 있다. 일 실시예에 따르면, 영상 인식 알고리즘으로는 CNN(Convolution Neural Network) 알고리즘 등을 적용할 수 있다.
도 5는 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 영상 매핑부(143)의 프로세스를 보이는 개념도이다.
도 5에 도시한 바와 같이, 서버(140)의 영상 매핑부(143)는, 카메라 영상에서 대상체가 인식된 구역의 좌표값을 그리드를 이용해서 인식 결과값과 함께 출력할 수 있다. 일 실시예에 따르면, 영상 매핑부(143)는, 영상 재격자부(141)에서의 재격자화 결과를 이용하여 대상체의 좌표값과 정확도를 산출할 수 있다. 예를 들어, 영상 매핑부(143)는, 카메라 영상에서 선박(Ship) 및 크레인(Crane)을 대상체로 추출하되, 선박의 좌표값을 (1.2,5.5), (2.8,5.5), (1.2,3), (2.8,3)로 정확도 0.8(80%)을 산출할 수 있고, 크레인의 좌표값을 (5.8,5.2), (7.5,5.2), (5.8,4.2), (7.5,4.2)로 정확도 0.65(65%)을 산출할 수 있다.
도 6은 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 레이더 영상 구역 추출부(144)의 프로세스를 보이는 개념도이다.
도 6에 도시한 바와 같이, 서버(140)의 레이더 영상 구역 추출부(144)는, 영상 매핑부(143)에서 출력된 대상체가 인식된 구역의 좌표값 정보를 이용하여 레이더 영상에 구역을 설정하고, 해당 구역 내의 레이더 영상 데이터를 추출할 수 있다. 일 실시예에 따르면, 카메라 영상 및 레이더 영상은 동일한 해상도(사이즈)로 격자화 하였으므로, 카메라 영상으로부터 좌표값을 추출하면 해당 좌표값을 이용하여 레이더 영상에서 동일한 구역에 해당하는 레이더 영상 데이터를 획득할 수 있다. 예를 들어, 레이더 영상 구역 추출부(144)는, 카메라 영상에서 추출된 선박에 해당하는 좌표값 (1.2,5.5), (2.8,5.5), (1.2,3), (2.8,3)을 레이더 영상에 설정하여 선박에 해당하는 레이더 영상 데이터를 획득할 수 있고, 카메라 영상에서 추출된 크레인에 해당하는 좌표값 (5.8,5.2), (7.5,5.2), (5.8,4.2), (7.5,4.2)을 레이더 영상에 설정하여 크레인에 해당하는 레이더 영상 데이터를 획득할 수 있다.
도 7은 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 레이더 영상 학습부(145)의 프로세스를 보이는 개념도이다.
도 7에 도시한 바와 같이, 서버(140)의 레이더 영상 학습부(145)는, 레이더 영상 구역 추출부(144)에서 추출한 레이더 영상 데이터를 학습용 격자 이미지에 적합하게 변환하여 붙여 입력 데이터(Input Data)로 변환할 수 있다. 또한, 레이더 영상 학습부(145)는, 영상 매핑부(143)에서 추출한 대상체별 결과값(정확도)을 이용하여 레이블 데이터(Label Data)를 형성할 수 있다. 아울러, 레이더 영상 학습부(145)는, 형성된 입력 데이터 및 레이블 데이터를 이용하여 기계 학습, 예를 들면 지도 학습을 수행하여 레이더 영상 인식 알고리즘의 성능을 향상시킬 수 있다.
도 8은 본 발명의 실시예에 선박의 이/접안 지원 시스템의 따른 서버의 학습 프로세스를 보이는 흐름도이고, 도 9는 본 발명의 실시예에 따른 레이더를 통한 인식 및 재학습 프로세스를 보이는 흐름도이다. 도 8 내지 도 9의 흐름도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 발명의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 발명에서 기술된 순서로 수행될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 발명의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다.
도 8에 도시한 바와 같이, 단계(S810)에서, 영상 재격자부에서 레이더와 카메라로부터 수집한 영상 크기가 동일하게 조절된다. 예를 들어, 도 1 내지 도 7을 참조하면, 선박의 이/접안 지원 시스템(100)에 포함된 제1 촬영부(110)에서 형성된 레이더 영상 및 제2 촬영부(120)에서 형성된 카메라 영상은, 서버(140)의 영상 재격자부(141)에서 동일한 해상도(사이즈)로 격자화 할 수 있다.
단계(S820)에서, 카메라 영상 인식부에서 기존에 학습된 카메라 영상 인식 알고리즘을 이용하여 영상 인식 및 결과값이 출력된다. 예를 들어, 도 1 내지 도 7을 참조하면, 서버(140)의 카메라 영상 인식부(142)는, 미리 학습된 카메라 영상 인식 알고리즘을 이용하여 카메라 영상에서 대상체를 추출하고, 대상체 추출의 정확도를 산출할 수 있다.
단계(S830)에서, 영상 매핑부에서 카메라 영상이 인식된 각 구역의 x, y 좌표 정보와 이에 대응되는 인식 결과값이 각각 출력된다. 예를 들어, 도 1 내지 도 7을 참조하면, 서버(140)의 영상 매핑부(143)는, 카메라 영상에서 대상체가 인식된 각 구역의 좌표값과 대상체 인식에 대한 정확도를 각각 출력할 수 있다.
단계(S840)에서, 영상 매핑부에서 카메라 영상이 인식된 구역의 x, y 좌표 정보를 이용하여 레이더 영상 구역 추출부에서 레이더 영상 구역 설정 및 구역 내의 이미지가 추출된다. 예를 들어, 도 1 내지 도 7을 참조하면, 서버(140)의 레이더 영상 구역 추출부(144)는, 카메라 영상에서 대상체가 추출된 구역의 좌표값을 이용하여 레이더 영상에서 구역을 설정하고, 설정된 구역에 포함된 레이더 영상 데이터를 추출할 수 있다.
단계(S850)에서, 레이더 영상 학습부에서 영상 학습용 이미지 사이즈 틀에 추출한 레이더 이미지를 붙여서 Input Data로 변환하고, 영상 매핑부에서 출력된 인식 결과값을 Label Data로 사용하여 레이더 영상 학습부에서 학습이 수행된다. 예를 들어, 도 1 내지 도 7을 참조하면, 서버(140)의 레이더 영상 학습부(145)는, 단계(S840)에서 추출된 레이더 영상 데이터를 영상 학습용 이미지 사이즈 틀에 붙여서 입력 데이터로 변환하고, 단계(S830)에서 출력된 인식 결과값을 레이블 데이터로 사용하여 영상 인식 알고리즘의 기계 학습을 수행할 수 있다.
도 9는 본 발명의 실시예에 따른 선박의 이/접안 지원 시스템의 레이더를 통한 인식 및 재학습 프로세스를 보이는 흐름도이다.
도 9에 도시한 바와 같이, 단계(S910)에서, 영상 재격자부에서 레이더와 카메라로부터 수집한 영상 크기가 동일하게 조절된다. 예를 들어, 도 1 내지 도 8을 참조하면, 이/접안 지원 시스템(100)에 포함된 제1 촬영부(110)에서 형성된 레이더 영상 및 제2 촬영부(120)에서 형성된 카메라 영상은, 서버(140)의 영상 재격자부(141)에서 동일한 해상도(사이즈)로 격자화 할 수 있다.
단계(S920)에서, 카메라 영상 인식부와 레이더 영상 인식부에서 기존에 학습된 영상 인식 알고리즘을 이용하여 대상체가 인식된다. 예를 들어, 도 1 내지 도 8을 참조하면, 서버(140)의 카메라 영상 인식부(142) 및 레이더 영상 인식부(146)는 미리 학습된 카메라 영상 인식 알고리즘 및 레이더 영상 인식 알고리즘을 이용하여 카메라 영상 및 레이더 영상에 포함된 대상체를 추출할 수 있다.
단계(S930)에서, 카메라 영상 인식부와 레이더 영상 인식부에서 각각 출력된 영상 인식 결과값을 비교 후 브릿지 콘솔의 디스플레이에 전송된다. 예를 들어, 도 1 내지 도 8을 참조하면, 서버(140)의 학습 프로세서(미도시)가 서버(140)의 카메라 영상 인식부(142) 및 레이더 영상 인식부(146)의 대상체 인식에 대한 정확도를 비교하여 브릿지 콘솔(150)로 전송하고, 브릿지 콘솔(150)의 디스플레이를 통해서 표시될 수 있다. 이때, 서버(140)의 학습 프로세서가 정확도를 비교하는 것에 대해 설명하였으나, 이에 한정되는 것은 아니고, 레이더 영상 학습부(145)가 이를 대신하여 수행할 수도 있다.
단계(S940)에서, 카메라 영상 인식부의 영상 인식 결과값이 더 높을 경우 서버의 학습 프로세스의 단계(S830), 단계(S840), 단계(S850)를 수행하여 Input Data와 Label Data를 생성 후 재학습이 수행된다. 예를 들어, 도 1 내지 도 8을 참조하면, 서버(140)의 학습 프로세서는, 레이더 영상 인식부(146)의 대상체 추출에 대한 제1 정확도와 카메라 영상 인식부(142)의 대상체 추출에 대한 제2 정확도를 비교하여 제1 정확도보다 제2 정확도가 높을 경우 도 8의 학습 프로세스 중 단계(S830) 내지 단계(S850)를 반복 수행하여 입력 데이터와 레이블 데이터를 생성 후 영상 인식 알고리즘에 대한 재학습을 수행할 수 있다. 전술한 바와 같이, 서버(140)의 학습 프로세서가 정확도를 비교하는 것에 대해 설명하였으나, 이에 한정되는 것은 아니고, 레이더 영상 학습부(145)가 이를 대신하여 수행할 수도 있다.
단계(S950)에서, 카메라 영상 인식부와 레이더 영상 인식부의 영상 인식 결과값이 0.5 이하일 경우, 재격자화된 영상과 인식 결과, AIS 정보와 함께 VSAT를 통해 육상 서버로 전송된다. 예를 들어, 도 1 내지 도 8을 참조하면, 서버(140)의 학습 프로세서는, 카메라 영상 인식부(142)와 레이더 영상 인식부(146)의 대상체 추출에 대한 정확도가 임계값(예를 들어, 0.5(50%)) 이하일 경우, 재격자화된 영상(레이더 영상 및 카메라 영상), 대상체 추출 결과, 선박의 위치 정보를 통신부(170)를 통하여 육상 서버(180)로 전송할 수 있다. 전술한 바와 같이, 서버(140)의 학습 프로세서가 정확도를 비교하는 것에 대해 설명하였으나, 이에 한정되는 것은 아니고, 레이더 영상 학습부(145)가 이를 대신하여 수행할 수도 있다.
단계(S960)에서, 육상 서버에서 AIS 정보를 활용하여 비슷한 위치에 있는 타선박으로부터 수집하거나 사람이 인식/분류한 Input Data와 Label Data가 레이더 영상 학습부(145)로 전송되고 재학습이 수행된다. 예를 들어, 도 1 내지 도 8을 참조하면, 육상 서버(180)는, 위치 정보를 활용하여 비슷한 위치에 있는 타선박으로부터 수집하거나 사람이 인식/분류한 입력 데이터와 레이블 데이터를 레이더 영상 학습부(145)로 재전송하고, 영상 인식 알고리즘의 재학습을 수행하도록 할 수 있다.
이상 다양한 실시예들에 의해 본 발명의 기술적 사상이 설명되었지만, 본 발명의 기술적 사상은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 이해할 수 있는 범위에서 이루어질 수 있는 다양한 치환, 변형 및 변경을 포함한다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 포함될 수 있는 것으로 생각되어야 한다.
100: 이/접안 지원 시스템 110: 제1 촬영부
120: 제2 촬영부 130: 인코더
140: 서버 150: 브릿지 콘솔
160: 위치 인식부 170: 통신부
180: 육상 서버 141: 영상 재격자부
142: 카메라 영상 인식부 143: 영상 매핑부
144: 레이더 영상 구역 추출부 145: 레이더 영상 학습부
146: 레이더 영상 인식부
120: 제2 촬영부 130: 인코더
140: 서버 150: 브릿지 콘솔
160: 위치 인식부 170: 통신부
180: 육상 서버 141: 영상 재격자부
142: 카메라 영상 인식부 143: 영상 매핑부
144: 레이더 영상 구역 추출부 145: 레이더 영상 학습부
146: 레이더 영상 인식부
Claims (16)
- 선박 주변의 레이더 영상을 형성하는 제1 촬영부;
상기 선박 주변의 카메라 영상을 형성하는 제2 촬영부; 및
상기 레이더 영상 및 상기 카메라 영상을 동일한 해상도로 격자화하는 영상 재격자부, 미리 학습된 카메라 영상 인식 알고리즘을 이용하여 상기 카메라 영상에 포함된 대상체를 추출하는 카메라 영상 인식부, 상기 대상체의 상기 카메라 영상에서의 위치를 좌표값으로 추출하는 영상 매핑부, 상기 레이더 영상에서 상기 좌표값에 대응하는 구역의 레이더 영상 데이터를 추출하는 레이더 영상 구역 추출부, 및 상기 레이더 영상 데이터를 이용하여 입력 데이터를 형성하고 상기 추출된 대상체 정보를 이용하여 레이블 데이터를 형성하며 상기 입력 데이터 및 상기 레이블 데이터를 이용하여 레이더 영상 인식 알고리즘의 기계 학습을 수행하는 레이더 영상 학습부가 포함된, 서버;를 포함하며,
상기 서버는,
상기 기계 학습된 레이더 영상 인식 알고리즘을 통해 상기 레이더 영상에서 제1 대상체를 추출하는 레이더 영상 인식부를 더 포함하고,
상기 레이더 영상 인식부는 상기 기계 학습된 레이더 영상 인식 알고리즘을 이용하여 상기 레이더 영상에서 상기 제1 대상체를 추출하고, 추출 시의 제1 정확도를 산출하며,
상기 카메라 영상 인식부는 상기 미리 학습된 카메라 영상 인식 알고리즘을 이용하여 상기 카메라 영상에서 제2 대상체를 추출하고, 추출 시의 제2 정확도를 산출하고,
상기 제1 정확도와 상기 제2 정확도를 비교하여 보다 높은 정확도를 갖는 대상체를 인식 이미지로서 형성하는 학습 프로세서를 더 포함하며,
상기 학습 프로세서를 통해 상기 제1 정확도 및 상기 제2 정확도가 기 설정된 임계값 이하로 판단되는 경우, 상기 영상 재격자부에 의해 격자화 된 레이더 영상 및 카메라 영상, 상기 대상체 정보 및 상기 선박의 위치 정보를 육상 서버로 전송하는 통신부를 더 포함하고,
상기 육상 서버는,
상기 선박의 위치 정보를 이용하여 상기 선박과 소정 거리 이내에 위치한 타 선박으로부터 상기 대상체 정보에 대한 인식결과 및 정확도 정보를 전달받고, 상기 제1 정확도 및 상기 제2 정확도보다 상기 정확도 정보가 더 높은 경우, 상기 대상체 정보에 대한 상기 인식결과를 상기 선박으로 재전송하는,
선박의 이/접안 지원 시스템. - 삭제
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 학습 프로세서를 통해 상기 제1 정확도 보다 상기 제2 정확도가 높은 것으로 판단되는 경우, 상기 영상 매핑부는 상기 제2 대상체의 상기 카메라 영상에서의 위치를 좌표값으로 추출하고, 상기 레이더 영상 구역 추출부는 상기 카메라 영상에서의 추출된 좌표값을 이용하여 상기 레이더 영상에서 상기 추출된 좌표값에 대응하는 구역의 레이더 영상 데이터를 추출하며, 상기 레이더 영상 학습부는 상기 추출된 레이더 영상 데이터를 상기 입력 데이터로 변환하고 상기 추출된 제2 대상체 정보를 이용하여 상기 레이블 데이터를 형성하며 상기 입력 데이터 및 상기 레이블 데이터를 이용하여 상기 레이더 영상 인식 알고리즘의 기계 학습을 수행하는,
선박의 이/접안 지원 시스템. - 제 1 항에 있어서,
상기 인식 이미지를 디스플레이하는 브릿지 콘솔을 더 포함하는,
선박의 이/접안 지원 시스템. - 삭제
- 삭제
- 제 1 항에 있어서,
상기 학습 프로세서는 상기 레이더 영상 학습부 내에 포함되는,
선박의 이/접안 지원 시스템. - 선박 주변의 레이더 영상을 형성하는 단계;
상기 선박 주변의 카메라 영상을 형성하는 단계;
상기 레이더 영상 및 상기 카메라 영상을 동일한 해상도로 격자화하는 단계;
미리 학습된 카메라 영상 인식 알고리즘을 이용하여 상기 카메라 영상에 포함된 대상체를 추출하는 단계;
상기 대상체의 상기 카메라 영상에서의 위치를 좌표값으로 추출하는 단계;
상기 레이더 영상에서 상기 좌표값에 대응하는 구역의 레이더 영상 데이터를 추출하는 단계;
상기 레이더 영상 데이터를 이용하여 입력 데이터를 형성하는 단계;
상기 추출된 대상체 정보를 이용하여 레이블 데이터를 형성하는 단계; 및
상기 입력 데이터 및 상기 레이블 데이터를 이용하여 상기 레이더 영상 인식 알고리즘의 기계 학습을 수행하는 단계를 포함하며,
상기 레이더 영상 및 상기 카메라 영상을 동일한 해상도로 격자화하는 단계 이후,
상기 기계 학습된 레이더 영상 인식 알고리즘을 이용하여 상기 레이더 영상에서 제1 대상체를 추출하고, 추출 시의 제1 정확도를 산출하는 단계;
상기 미리 학습된 카메라 영상 인식 알고리즘을 이용하여 상기 카메라 영상에서 제2 대상체를 추출하고, 추출 시의 제2 정확도를 산출하는 단계; 및
상기 제1 정확도와 상기 제2 정확도를 비교하여 보다 높은 정확도를 갖는 대상체를 인식 이미지로서 형성하는 단계를 더 포함하고,
상기 제1 정확도 및 상기 제2 정확도가 기 설정된 임계값 이하인 경우, 상기 격자화된 레이더 영상 및 카메라 영상, 상기 대상체 정보 및 상기 선박의 위치 정보를 육상 서버로 전송하는 단계를 더 포함하며,
상기 육상 서버에 의해, 상기 선박의 위치 정보를 이용하여 상기 선박과 소정 거리 이내에 위치한 타 선박으로부터 상기 대상체 정보에 대한 인식결과 및 정확도 정보를 전달받고, 상기 제1 정확도 및 상기 제2 정확도보다 상기 정확도 정보가 더 높은 경우, 상기 대상체 정보에 대한 상기 인식결과를 상기 선박으로 재전송하는 단계를 더 포함하는,
선박의 이/접안 지원 방법. - 삭제
- 제 10 항에 있어서,
상기 인식 이미지를 디스플레이하는 단계를 더 포함하는,
선박의 이/접안 지원 방법. - 제 10 항에 있어서,
상기 제1 정확도보다 상기 제2 정확도가 높을 경우, 상기 제2 대상체의 상기 카메라 영상에서의 위치를 좌표값으로 추출하는 단계;
상기 카메라 영상에서의 추출된 좌표값을 이용하여 상기 레이더 영상에서 상기 추출된 좌표값에 대응하는 구역의 영상 데이터를 추출하는 단계;
상기 추출된 레이더 영상 데이터를 입력 데이터로 변환하는 단계;
상기 추출된 제2 대상체 정보를 이용하여 레이블 데이터를 형성하는 단계; 및
상기 입력 데이터 및 상기 레이블 데이터를 이용하여 상기 레이더 영상 인식 알고리즘의 기계 학습을 수행하는 단계를 포함하는,
선박의 이/접안 지원 방법. - 삭제
- 삭제
- 제 10 항, 제 12 항 및 제 13 항 중 어느 한 항에 따른 선박의 이/접안 지원 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210105676A KR102640795B1 (ko) | 2021-08-10 | 2021-08-10 | 레이더 기반 선박의 이/접안 지원 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210105676A KR102640795B1 (ko) | 2021-08-10 | 2021-08-10 | 레이더 기반 선박의 이/접안 지원 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230023503A KR20230023503A (ko) | 2023-02-17 |
| KR102640795B1 true KR102640795B1 (ko) | 2024-02-27 |
Family
ID=85327318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210105676A KR102640795B1 (ko) | 2021-08-10 | 2021-08-10 | 레이더 기반 선박의 이/접안 지원 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102640795B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117831019A (zh) * | 2023-12-29 | 2024-04-05 | 亿海蓝（北京）数据技术股份公司 | 船舶业务数据的生成方法及***、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102235787B1 (ko) * | 2020-01-09 | 2021-04-05 | 씨드로닉스(주) | 접안 모니터링 장치 및 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102506642B1 (ko) * | 2016-01-04 | 2023-03-07 | 한국전자통신연구원 | 차량용 융합 시스템 및 이 시스템의 정보 처리 방법 |
| KR101812994B1 (ko) | 2016-05-25 | 2017-12-28 | (주)주인정보시스템 | 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법 |
| KR101941521B1 (ko) * | 2016-12-07 | 2019-01-23 | 한국해양과학기술원 | 해상객체의 자동추적 시스템 및 방법 |
| EP3800581A1 (en) * | 2019-10-03 | 2021-04-07 | Axis AB | A method and apparatus for generating an object classification for an object |
-
2021
- 2021-08-10 KR KR1020210105676A patent/KR102640795B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102235787B1 (ko) * | 2020-01-09 | 2021-04-05 | 씨드로닉스(주) | 접안 모니터링 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230023503A (ko) | 2023-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11017550B2 (en) | End-to-end tracking of objects | |
| US10782691B2 (en) | Deep learning and intelligent sensing system integration | |
| US10936907B2 (en) | Training a deep learning system for maritime applications | |
| US10940863B2 (en) | Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle | |
| KR20190113119A (ko) | 합성곱 신경망을 위한 주의집중 값 계산 방법 | |
| CN113176776B (zh) | 基于深度强化学习的无人艇天气自适应避障方法 | |
| CN114723955A (zh) | 图像处理方法、装置、设备和计算机可读存储介质 | |
| KR102517513B1 (ko) | 인공지능 기반 수목 데이터 관리 시스템 및 수목 데이터 관리 방법 | |
| Xu et al. | Deep convolutional neural network-based autonomous marine vehicle maneuver | |
| KR102640795B1 (ko) | 레이더 기반 선박의 이/접안 지원 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 | |
| CN114067166A (zh) | 用于确定物理对象的物理特性的设备和方法 | |
| Mygapula et al. | Cnn based end to end learning steering angle prediction for autonomous electric vehicle | |
| Dai et al. | Camera view planning based on generative adversarial imitation learning in indoor active exploration | |
| Singh et al. | An enhanced YOLOv5 based on color harmony algorithm for object detection in unmanned aerial vehicle captured images | |
| Yang et al. | DARE: Diver Action Recognition Encoder for Underwater Human-Robot Interaction | |
| KR102563346B1 (ko) | 구조물 건전성 모니터링 시스템 및 이를 이용한 모니터링 방법 | |
| KR102561793B1 (ko) | 비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 | |
| KR102650152B1 (ko) | 4차원 레이더를 활용한 해적 선박 감지 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 | |
| CN104615987A (zh) | 一种基于误差反传神经网络的飞机残骸智能识别方法及*** | |
| KR102537518B1 (ko) | 3차원 모델 기반의 선내 무선 ap 배치 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 | |
| KR102617344B1 (ko) | 비지도 학습 기반의 깊이 예측 방법 및 이를 이용하는 시스템 | |
| KR102640791B1 (ko) | 선내 음성 디지털화 시스템 | |
| Mehtab | Deep neural networks for road scene perception in autonomous vehicles using LiDARs and vision sensors | |
| KR102676337B1 (ko) | Cctv 영상 처리 기반 주차장 비상 상황 및 위급 상황 알림 방법, 장치 및 시스템 | |
| KR102628955B1 (ko) | 비행 특징을 인식변수로 사용하여 비행체를 식별 탐지추적하는 시스템 과 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |