KR102673546B1 - 선박 운항 데이터 처리 장치, 방법 및 시스템 - Google Patents

Abstract

실시예는, 복수의 센서로부터 감지된 환경 정보를 수신하는 수신부; 상기 환경 정보 중 동일한 객체에 대해 서로 맵핑하여 그룹을 형성하는 맵핑부; 상기 형성된 그룹을 이용하여 입력된 특정 객체에 대응하는 환경 정보를 반영하여 표시하는 시각부; 및 상기 특정 객체에 대해 입력된 추가 정보를 레이블하고 이미지에 맵핑된 그룹에 대한 정보도 태깅하는 주석부;를 포함하는 선박 운항 데이터 처리 장치를 개시한다.

Description

선박 운항 데이터 처리 장치, 방법 및 시스템{SHIP OPERATION DATA PROCESSING DEVICE, METHOD AND SYSTEM}

실시예는 선박 운항 데이터 처리 장치, 방법 및 시스템에 관한 것이다.

현재 선박에서는 레이다(RADAR), AIS(Automatic Identification System), CCTV(Closed Circuit TeleVision), 직접 견시(見視) 등을 활용하여 해상객체에 대한 감시와 경계를 하고 있으나 항해자가 주변의 모든 상황을 지속적으로 파악하고 관리해 나가는 것은 상당히 어려운 작업이다. 특히 짙은 안개나 강한 비바람으로 시계가 제한되는 악천후에서는 더욱 힘든 일이라는 문제점이 있다.

따라서 시스템 차원의 지원을 바탕으로 항해자의 상황인지 부담을 줄일 필요성이 대두되고 있다.

선박에 있어서, AIS와 같은 시스템을 이용하여 정보를 수신받아 정보를 제공한 선박에 대한 정보를 표시할 수 있도록 되어 있다. 하지만, AIS 장비의 미장착, 고장, 전원 차단 등으로 AIS 정보를 획득하기 어려운 경우나 AIS 정보를 잘못 또는 미입력하여 AIS 정보를 활용하기 어려운 경우도 존재한다. 또한, 선박을 포함하여 해상구조물 항로표지와 같은 해상객체를 보다 명확하게 인지할 필요성이 대두되고 있다.

나아가, 자율운항선박에서의 외부 환경 이해를 위한 해양 데이터 취득이 어려운 문제가 존재한다. 나아가, 이러한 해양 데이터를 여러 센서로부터 얻은 데이터와의 맵핑 또는 연계 처리가 어려운 문제가 존재한다.

실시예는 타 센서로부터 얻은 데이터를 서로 맵핑된 정제된 데이터를 제공하는 선박 운항 데이터 처리 장치, 방법 및 시스템을 제공한다.

또한, 대상물에 대한 검출이 정확한 선박 운항 데이터 처리 장치, 방법 및 시스템을 제공한다.

또한, 자율 운항을 용이하게 하는 맵핑 데이터를 제공하는 선박 운항 데이터 처리 장치, 방법 및 시스템을 제공한다.

실시예에서 해결하고자 하는 과제는 이에 한정되는 것은 아니며, 아래에서 설명하는 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 포함된다고 할 것이다.

실시예에 따른 선박 운항 데이터 처리 장치는 복수의 센서로부터 감지된 환경 정보를 수신하는 수신부; 상기 환경 정보 중 동일한 객체에 대해 서로 맵핑하여 그룹을 형성하는 맵핑부; 상기 형성된 그룹을 이용하여 입력된 특정 객체에 대응하는 환경 정보를 반영하여 표시하는 시각부; 및 상기 특정 객체에 대해 입력된 추가 정보를 레이블하고 이미지에 맵핑된 그룹에 대한 정보도 태깅하는 주석부;를 포함한다.

상기 환경 정보는 RGB 이미지, AIS 이미지, Radar 이미지 및 열화상 이미지 중 적어도 하나를 포함할 수 있다.

상기 주석부는, 상기 RGB 이미지에 대해 바운딩 박스가 반영된 제1 검출 데이터를 출력하는 모델부;를 포함할 수 있다.

상기 주석부는, 상기 AIS 이미지, Radar 이미지 및 열화상 이미지 중 적어도 하나로부터 비주얼 큐(visual cue)를 추출하는 추출부;를 포함할 수 있다.

상기 주석부는, 상기 RGB 이미지를 상기 비주얼 큐에 대응하여 상기 RGB 이미지를 복수의 크롭 이미지로 자르고, 잘린 복수의 크롭 이미지로부터 바운딩 박스가 반영된 제2 검출 데이터를 출력하는 크롭(crop) 생성부;를 포함할 수 있다.

상기 주석부는, 상기 제1 검출 데이터, 상기 제2 검출 데이터, 상기 RGB 이미지 및 상기 비주얼 큐를 이용하여 바운딩 박스가 반영된 결과 데이터를 출력하는 처리부;를 포함할 수 있다.

상기 모델부는 제1 기계학습부를 갖고, 상기 제1 기계학습부는 학습 이미지를 상기 제1 기계학습부에 입력하여 출력되는 출력 이미지 및 상기 학습 이미지에 포함된 오브젝트의 종류에 대한 정보가 반영된 레이블링 이미지를 비교하여 학습될 수 있다.

상기 크롭(crop) 생성부는 복수의 크롭 이미지를 학습 데이터로하고, 레이블링 데이터를 상기 RGB 이미지의 바운딩 박스로 하는 제2 기계학습부를 가질 수 있다.

상기 제2 기계학습부는 학습 손실(Loss)로 결과데이터와 복수의 크롭 이미지 간의 2차원 최소좌표/최대좌표 차이 및 바운딩 박스의 중첩 비율(Intersection Over Union, IOU)를 이용할 수 있다.

상기 처리부는 상기 RGB 이미지, 상기 제1 검출 데이터, 상기 제2 검출 데이터, 및 상기 비주얼 큐를 학습 이미지로한 제3 기계학습부를 포함할 수 있다.

상기 제3 기계학습부는 레이블링 데이터를 상기 RGB 이미지의 바운딩 박스로할 수 있다.

상기 제3 기계학습부는 학습 손실로 결과데이터와 복수의 크롭 이미지 간의 2차원 최소좌표/최대좌표 차이, 바운딩 박스의 중첩 비율(Intersection Over Union, IOU) 및 비주얼 큐와 결과 데이터의 중심 간의 거리를 이용할 수 있다.

실시예에 따른 전자 장치는 무선 통신을 수행하는 전자 장치에 있어서, 통신부; 데이터를 저장하기 위한 메모리; 및 상기 통신부와 기능적으로 연결되는 프로세서;를 포함하고, 상기 프로세서는, 수신된 환경 정보를 이용하여 RGB 이미지, 제1, 검출 데이터, 제2 검출 데이터, 비주얼 큐를 입력 데이터로 모델에 인가하여, 바운딩 박스가 적용된 RGB이미지인 결과 데이터를 출력한다.

실시예에 따르면, 타 센서로부터 얻은 데이터를 서로 맵핑된 정제된 데이터를 제공하는 선박 운항 데이터 처리 장치, 방법 및 시스템을 구현한다.

또한, 대상물에 대한 검출이 정확한 선박 운항 데이터 처리 장치, 방법 및 시스템을 구현할 수 있다.

또한, 자율 운항을 용이하게 하는 맵핑 데이터를 제공하는 선박 운항 데이터 처리 장치, 방법 및 시스템을 구현할 수 있다.

본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.

도 1은 실시예에 따른 선박 운항 데이터 방법의 일 순서도이고,
도 2는 실시예에 따른 선박 운항 데이터 처리 장치의 블록도이고,
도 3은 실시예에 따른 선박 운항 데이터 처리 시스템의 개념도이고,
도 4는 실시예에 따른 선박 운항 데이터 처리 장치, 방법 및 시스템에서 자선에 대한 운항 환경의 일 예를 도시한 도면이고,
도 5는 실시예에 따른 선박 운항 데이터 처리 장치, 방법 및 시스템에서 센서로부터 얻는 정보에 대한 도면이고,
도 6은 실시예에 따른 선박 운항 데이터 처리 장치, 방법 및 시스템에서 센서로부터 얻은 정보를 맵핑하여 시각 모듈로 처리하는 내용을 도시한 도면이고,
도 7은 실시예에 따른 선박 운항 데이터 처리 장치, 방법 및 시스템에서 시각 모듈로 처리된 데이터에 대해 주석(annotation)을 수행하는 내용을 도시한 도면이고,
도 8은 실시예에 따른 선박 운항 데이터 처리 방법의 순서도이고,
도 9는 실시예에 따른 선박 운항 데이터 처리 장치의 처리를 설명하는 도면이고,
도 10은 실시예에 따른 선박 운항 데이터 처리 장치에서 기계학습부의 학습 단계 및 추론 단계에 대한 도면이고,
도 11은 실시예에 따른 선박 운항 데이터 처리 장치에서 크롭 생성부의 처리를 설명하는 도면이고,
도 12는 실시예에 따른 선박 운항 데이터 처리 장치에서 처리부의 처리를 설명하는 도면이고,
도 13은 실시예에 따른 선박 운항 데이터 처리 장치에서 모델부의 동작의 예를 도시한 도면이고,
도 14는 실시예에 따른 선박 운항 데이터 처리 장치에서 추출부의 동작의 예를 도시한 도면이고,
도 15는 실시예에 따른 선박 운항 데이터 처리 장치에서 크롭 생성부의 동작의 예를 도시한 도면이고,
도 16은 실시예에 따른 선박 운항 데이터 처리 장치에서 처리부의 동작의 예를 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 실시예에 따른 선박 운항 데이터 방법의 일 순서도이고, 도 2는 실시예에 따른 선박 운항 데이터 처리 장치의 블록도이고, 도 3은 실시예에 따른 선박 운항 데이터 처리 시스템의 개념도이고, 도 4는 실시예에 따른 선박 운항 데이터 처리 장치, 방법 및 시스템에서 자선에 대한 운항 환경의 일 예를 도시한 도면이고, 도 5는 실시예에 따른 선박 운항 데이터 처리 장치, 방법 및 시스템에서 센서로부터 얻는 정보에 대한 도면이고, 도 6은 실시예에 따른 선박 운항 데이터 처리 장치, 방법 및 시스템에서 센서로부터 얻은 정보를 맵핑하여 시각 모듈로 처리하는 내용을 도시한 도면이고, 도 7은 실시예에 따른 선박 운항 데이터 처리 장치, 방법 및 시스템에서 시각 모듈로 처리된 데이터에 대해 주석(annotation)을 수행하는 내용을 도시한 도면이다.

도 1을 참조하면, 실시예에 따른 선박 운항 데이터 처리 방법은 이미지 획득하는 단계(S10) 및 이미지 처리하는 단계(S20)를 포함할 수 있다.

전자 장치의 수신 모듈 또는 통신부(통신 모듈)은 복수의 센서로부터 환경 정보(이미지 포함)를 수신할 수 있다(S10).. 이미지의 종류는 RGB 이미지, AIS 이미지, 라이다(lidar) 이미지, 열화상 이미지, depth 이미지 등 다양할 수 있고 제한이 있는 것은 아니다. 또한, 2차원 이미지뿐만 아니라 3차원 이미지 등도 가능하다.

그리고 전자 장치는 수신된 환경 정보(이하, 이미지)에 기초하여 예컨대 RGB 이미지 내의 오브젝트가 RGB 이미지 이외의 이미지에서도 동일하게 할당되게 처리할 수 있다. 예컨대, 전자 장치는 동일한 객체(오브젝트)에 대해 서로 맵핑하여 그룹을 형성하고, 형성된 그룹에 대응하는 환경정보를 표시할 수 있다. 이 때, 표시되는 환경 정보는 복수의 이미지 내에서 동일한 객체에 대해서 표시될 수 있다. 이를 위해, 전자 장치는 복수의 이미지 간의 바운딩 박스를 정확하게 출력할 수 있다. 이하에서는 이에 대해 자세하게 설명한다.

나아가, 실시예에 따른 선박 운항 데이터 처리 방법은 선박 운항 데이터 처리 장치 또는 전자 장치에서 수행되며, 선박 운항 데이터 처리 장치 또는 전자 장치가 수행하는 기능은 선박 운항 데이터 처리 방법으로 수행될 수 있다.

도 2를 참조하면, 실시예에 따른 선박 운항 데이터 처리 장치는 수신부(110), 맵핑부(120), 시각부(130), 주석부(140) 및 통신부(150)를 포함할 수 있다. 이를 통해, 실시예에 따른 선박 운항 데이터 처리 장치는 자율운항 선박 등에 이용되면서, 외부 환경 이해(scene understanding)을 학습하기 위한 해양 데이터를 제공할 수 있다. 즉, 실시예에 따른 선박 운항 데이터 처리 장치는 자율 운항을 위한 정제된 데이터를 생성 및 제공할 수 있다.

먼저, 수신부(110)는 복수의 센서 장치로부터 감지된 환경 정보를 수신할 수 있다. 예컨대, 센서는 RGB 센서, 열화상 카메라, AIS, radar를 포함할 수 있다.

환경 정보는 외부 환경에 대한 데이터로, 타선, 부표, 어망 부표, 등대 등에 대한 객체의 위치 및 기타 정보를 포함할 수 있다. 특히, RGB, 열화상 카메라로부터 수신한 데이터는 카메라 또는 이미지 상의 객체의 위치일 수 있다.

나아가, RGB 카메라와 열화상 카메라로부터 얻은 환경 정보는 이미지일 수 있으며, 복수 개일 수 있다. 이에, 복수 개의 소정의 범위의 이미지로부터 전방위 이미지가 생성될 수 있다. 예컨대, 환경 정보는 RGB 이미지, AIS 이미지, Radar 이미지 및 열화상 이미지 중 적어도 하나를 포함할 수 있다.이하 바운딩 박스가 반영된 이미지 출력에 대해서는 이미지를 기준으로 설명한다.

맵핑부(120)는 복수 센서로부터 수신한 환경 정보에 대해 맵핑을 수행할 수 있다. 즉, 복수의 센서에서 동일한 객체를 서로 맵핑하거나 커플링 또는 쌍(또는 그룹)을 형성할 수 있다. 예컨대, 맵핑부(120)는 homography로 2차원(2D)에서 2차원(2D) 연결 관계식을 통해 수행될 수 있다. 이에, 복수의 센서 중 적어도 서로 다른 2개의 센서가 서로 맵핑 될 수 있다. 예컨대, AIS와 radar가 서로 맵핑될 수 있다. 또는 AIS와 RGB, AIS와 열화상, Radar와 RGB, Radar와 열화상, RGB와 열화상이 맵핑될 수 있다.

예컨대, 도 4 및 도 5에서와 같이, 도 4는 자선에 대한 운항 환경을 나타낸다. 즉, 자선을 기준으로 주위에 환경 정보가 위치한다. 그리고 도 5와 같이, 타선 1에 대해 맵핑부(120)는 각 센서에서 타선 1에 대한 정보를 출력할 수 있다. 즉, 맵핑부는 AIS에서의 타선1, Radar에서의 타선 1, RGB에서의 타선1, 열화상에서의 타선1을 모두 출력할 수 있다.

시각부(130)는 특정 객체의 선택 입력 등이 수신되는 경우 각 센서에서의 객체를 표시해줄 수 있다. 즉, AIS, Radar, RGB, 열화상 상에 선택된 객체에 대한 인식이 가능한 표시를 제공할 수 있다.

예컨대, 도 6에서와 같이, 특정 객체(타선 1)을 선택하는 경우, AIS, Radar, RGB, 열화상 이미지에 대해서 특정 객체(타선 1)이 선택된 이미지가 모두 표시될 수 있다.

주석부(140)는 특정 객체에 대해 사용자 등에 의해 입력된 추가 정보(예, 주석)를 레이블하고 이미지에 맵핑된 그룹에 대한 정보도 태깅할 수 있다. 예컨대, 도 7에서 도시된 바와 같이 사용자가 RGB 이미지에 특정 객체에 대한 바운딩 박스, 세그멘테이션, 위험성, 종류, 크기, 거리가 추가 정보로 레이블링(labeling)할 수 있다. 예컨대, 타선 1에 대한 바운딩 박스가 다른 이미지(AIS, Radar, 열화상)에도 태깅될 수 있다. 즉, 상술한 다른 센서로부터의 정보(환경 정보로 위치 등)도 맵핑부에 의해 자동으로 레이블링 또는 태깅될 수 있다. 이러한 레이블링 또는 태깅에 있어서, 주석부(140)는 선택된 특정 객체에 대한 검출 정확도가 향상되도록 각 이미지를 기계학습부 또는 인공 신경망을 이용하여 처리할 수 있다. 이러한 처리에 대한 자세한 설명은 후술한다.

통신부(150)는 해당 장치에 대해 정보의 송/수신을 수행할 수 있다. 통신부(150)는 외부로부터 제공된 정보를 수신할 수 있다. 또한, 통신부(150)는 처리된 정보를 외부로 제공할 수 있다.

이에, 통신부(150)는 유선 또는 무선 통신을 수행할 수 있다. 통신부는 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있고, 다양한 방식이 적용될 수 있다.

도 3을 참조하면, 실시예에 따른 장치(100)는 통신부(150)를 통해 클라우드 서버로 처리된 결과 데이터 등을 외부로 송신할 수 있다. 예컨대, 클라우드 서버는 장치(100)로부터 수신한 결과를 스마트폰, 태블릿, PC 등 사용자 단말, 타선박의 장치로 전송하거나 사용자 단말로부터 인스트럭션을 수신할 수 있다.

도 8은 실시예에 따른 선박 운항 데이터 처리 방법의 순서도이고, 도 9는 실시예에 따른 선박 운항 데이터 처리 장치의 처리를 설명하는 도면이고, 도 10은 실시예에 따른 선박 운항 데이터 처리 장치에서 기계학습부의 학습 단계 및 추론 단계에 대한 도면이고, 도 11은 실시예에 따른 선박 운항 데이터 처리 장치에서 크롭 생성부의 처리를 설명하는 도면이고, 도 12는 실시예에 따른 선박 운항 데이터 처리 장치에서 처리부의 처리를 설명하는 도면이고, 도 13은 실시예에 따른 선박 운항 데이터 처리 장치에서 모델부의 동작의 예를 도시한 도면이고, 도 14는 실시예에 따른 선박 운항 데이터 처리 장치에서 추출부의 동작의 예를 도시한 도면이고, 도 15는 실시예에 따른 선박 운항 데이터 처리 장치에서 크롭 생성부의 동작의 예를 도시한 도면이고, 도 16은 실시예에 따른 선박 운항 데이터 처리 장치에서 처리부의 동작의 예를 도시한 도면이다.

도 8을 참조하면, 실시예에 따른 선박 운항 데이터 처리 방법은 환경 정보를 수신하는 단계(S1100), 환경 정보를 이용하여 RGB 이미지, 제1, 검출 데이터, 제2 검출 데이터, 비주얼 큐를 입력 데이터로 모델에 인가하는 단계(S1200), 및 결과 데이터를 출력하는 단계(S1300)를 포함할 수 있다.

각 단계는 선박 운항 데이터 처리 장치 또는 전자 장치에 의해 수행될 수 있다. 예컨대, 선박 내에 설치된 전자 장치일 수 있다. 그리고 개시된 실시예에 따른 선박 운항 데이터 처리 방법은 전자 장치의 프로세서에 의해 수행될 수 있다. 예컨대, 전자 장치(이동 디바이스 포함)는 프로세서를 포함하며, 프로세스는 환경 정보를 수신하고, 환경 정보를 이용하여 RGB 이미지, 제1, 검출 데이터, 제2 검출 데이터, 비주얼 큐를 입력 데이터로 모델에 인가하고, 및 결과 데이터를 출력할 수 있다. 또한, 각 단계에서 입력 데이터로 모델에 인가하고 결과 데이터를 출력하는 단계는 후술하는 주석부에서 수행될 수 있다.

도 2 및 도 9를 참조하면, 주석부(140)는 모델부(141), 추출부(142), 크롭(crop) 생성부(143) 및 처리부(144)를 포함할 수 있다.

모델부(141)는 RGB 이미지에 대해 바운딩 박스가 반영된 제1 검출 데이터를 출력할 수 있다.

그리고 추출부(142)는 AIS 이미지, Radar 이미지 및 열화상 이미지 중 적어도 하나로부터 비주얼 큐(visual cue)를 추출하는 추출부;를 포함할 수 있다.

또한, 크롭 생성부(143)는 RGB 이미지를 상기 비주얼 큐에 대응하여 상기 RGB 이미지를 복수의 크롭 이미지로 자르고, 잘린 복수의 크롭 이미지로부터 바운딩 박스가 반영된 제2 검출 데이터를 출력할 수 있다.

그리고 처리부(144)는 제1 검출 데이터, 상기 제2 검출 데이터, 상기 RGB 이미지 및 상기 비주얼 큐를 이용하여 바운딩 박스가 반영된 결과 데이터를 출력할 수 있다.

구체적으로, 모델부(141)는 제1 기계학습부를 가질 수 있다. 그리고 제1 기계학습부는 학습 이미지를 상기 제1 기계학습부에 입력하여 출력되는 출력 이미지 및 상기 학습 이미지에 포함된 오브젝트의 종류에 대한 정보가 반영된 레이블링 이미지를 비교하여 학습될 수 있다.

본 명세서에서, 결과 데이터는 이미지의 어떤 위치에 오브젝트가 존재하는지를 바운딩 박스(bounding box)로 표시한 이미지일 수 있다. 이를 디텍션(detection)이라고도 한다. 이는 오브젝트 인식으로 제1 기계학습부에서 수행될 수 있다.

나아가, 이미지의 각 픽셀 별로 해당 픽셀이 어떠한 오브젝트에 대응되는지를 나타낸 것으로, 세그멘테이션(segmentation)이라고도 한다. 이 경우 오브젝트 인식이 세그멘테이션에 대응할 수 있다. 예컨대, 특정 이미지에서 선박에 대응하는 영역, 바다에 대응하는 영역, 지형에 대응하는 영역과 같은 할당 또는 인식이 세그멘테이션을 의미할 수 있다.

세그멘테이션 및 디텍션은 인공 신경망 또는 기계학습부를 이용하여 수행될 수 있다. 본 선박 운항 데이터 처리 장치는 복수의 기계학습부를 이용하여 각각의 기계학습부가 세그멘테이션/디텍션을 수행하고 이 결과를 조합하여 최종 결과인 결과 데이터를 출력한다.

인공 신경망(또는 기계학습부)이란 인간의 신경망 구조를 본떠 만든 알고리즘의 일종으로, 하나 이상의 노드 또는 뉴런(neuron)을 포함하는 하나 이상의 레이어를 포함할 수 있고 각각의 노드는 시냅스(synapse)를 통해 연결될 수 있다. 인공 신경망에 입력된 데이터(입력 데이터)는 시냅스를 통해 노드를 거쳐 출력(출력 데이터)될 수 있고, 이를 통해 정보를 획득할 수 있다.

인공 신경망의 종류로는 필터를 이용해 특징을 추출하는 합성곱신경망(convolution neural network, CNN) 및 노드의 출력이 다시 입력으로 피드백 되는 구조를 갖는 순환인공신경망(recurrent neural network, RNN)이 있고, 제한된 볼츠만 머신(restricted Boltzmann machine, RBM), 심층신뢰신경망(deep belief network, DBN), 생성대립신경망(generative adversarial network, GAN), 관계형 네트워크(relation networks, RN) 등 다양한 구조가 적용될 수 있고 제한이 있는 것은 아니다.

인공 신경망을 이용하기 전에 학습시키는 단계가 필요하다. 또는, 인공 신경망을 이용하며 학습시킬 수 있다. 이하에서는 인공신경망을 학습시키는 단계를 학습 단계, 이용하는 단계를 추론 단계로 표현하기로 한다.

인공 신경망은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning), 모방 학습(imitation learning) 등 다양한 방법을 통해 학습될 수 있다.

도 10을 참조하면, 도 10의 (a)는 인공 신경망의 학습 단계의 일 실시예로, 학습되지 않은 인공 신경망이 학습 데이터 또는 훈련 데이터(training data)를 입력 받아 출력 데이터를 출력하고, 출력 데이터와 레이블링 데이터를 비교하여 그 오차의 역전파를 통해 인공 신경망이 학습될 수 있다. 학습 데이터, 출력 데이터, 레이블링 데이터는 이미지일 수 있다. 레이블링 데이터는 실측 자료(ground truth)를 포함할 수 있다. 또는, 레이블링 데이터는 사용자 또는 프로그램을 통하여 생성된 자료일 수 있다.

도 10의 (b)는 인공 신경망의 추론 단계의 일 실시예로, 학습된 인공 신경망이 입력 데이터를 입력 받아 출력 데이터를 출력할 수 있다. 학습 단계에서의 학습 데이터의 정보에 따라 추론 단계에서 추론 가능한 정보가 달라질 수 있다. 또한, 인공 신경망의 학습 정도에 따라 출력 데이터의 정확성이 달라질 수 있다.

이러한 기계학습부의 수행을 통해 이하 처리부의 각 단계가 이루어질 수 있다.

이에, 제1 기계학습부는 RGB 이미지를 입력으로, 오브젝트 등의 결과(디텍션에 의한)를 출력할 수 있다. 도 13을 더 살펴보면, 제1 기계학습부에 의해 RGB 이미지에서 디텍션이 수행될 수 있다. 예컨대, C0의 바운딩 박스와 같이 타선이 오브젝트로 디텍션될 수 있다. 뿐만 아니라, 도시된 바와 같이 오브젝트의 정확한 위치가 아닌 영역에 바운딩 박스가 그려질 수도 있다.

추출부(142)는 복수의 이미지로부터 비쥬얼 큐를 출력할 수 있다. 예컨대, 추출부(142)는 AIS 이미지, Radar 이미지 및 열화상 이미지 중 적어도 하나로부터 비주얼 큐(visual cue)를 추출할 수 있다.

도 14를 더 살펴보면, Radar, AIS, 열화상 이미지로부터의 비쥬얼 큐의 위치가 RGB 이미지 상에서 적어도 일부 중첩되거나 상이할 수 있다.

그리고 크롭 생성부(143)는 복수의 크롭 이미지를 학습 데이터로하고, 레이블링 데이터를 상기 RGB 이미지의 바운딩 박스로 하는 제2 기계학습부를 가질 수 있다.

제2 기계학습부는 상기 제2 기계학습부는 학습 손실(Loss)로 결과데이터와 복수의 크롭 이미지 간의 2차원 최소좌표/최대좌표 차이 및 바운딩 박스의 중첩 비율(Intersection Over Union, IOU)를 이용할 수 잇다.

크롭 생성부(143)는 비쥬얼 큐와 RGB 이미지를 입력 데이터로 할 수 있다. 그리고 크롭 생성부(143)는 복수의 크롭된 또는 잘라진 이미지를 출력할 수 있다.

도 11 및 도 15를 더 살펴보면, 제2 기계학습부는 비쥬얼 큐를 기준으로 RGB 이미지를 복수의 영역(또는 이미지)으로 자를 수 있다. 이 때, 상이한 크기를 갖는 복수의 영역은 예컨대 사각형, 삼각형 등 다양한 형상일 수 있다. 이하에서는 사각형을 기준으로 설명한다. 그리고 비쥬얼 큐의 중심을 기준으로 RGB 이미지를 복수의 영역으로 자를 수 있다.

도시된 바와 같이 기계학습부로 deep neural network가 이용될 수 있다. 학습 시 입력데이터는 잘라진 또는 crop된 이미지일 수 있다. 그리고 학습시의 레이블링 데이터는 실제 이미지에서의 바운딩 박스의 값일 수 있다. 또한, 테스트나 입력에서 데이터는 잘라진 또는 crop된 이미지일 수 있다.

나아가, 학습 손실(loss)로는 상술한 바와 같이 최종 결과와 학습 데이터 간의 최소좌표/최대좌표 차이를 포함할 수 있다. 또한, 학습 손실(loss)은 바운딩 박스의 중첩 비율(Intersection Over Union, IOU)를 이용할 수 잇다.

본 명세서에서, 최소좌표/최대좌표는 박스로서 도 9에서와 같이 (x_min, y_min, x_max, y_max)일 수 있다.

처리부(144)는 상기 RGB 이미지, 상기 제1 검출 데이터, 상기 제2 검출 데이터, 및 상기 비주얼 큐를 학습 이미지로한 제3 기계학습부를 포함할 수 있다.

도 12, 도 16을 더 살펴보면, 제3 기계학습부는 학습 시의 입력 데이터로 제1 검출 데이터, 제2 검출 데이터, 비쥬얼 큐 및 RGB 이미지로 가질 수 있다. 그리고 제3 기계학습부는 학습 시의 레이블링 데이터를 상기 RGB 이미지의 바운딩 박스 즉 실제 이미지에서의 box로 가질 수 있다. 테스트 또는 입력의 경우 학습시의 입력 데이터와 동일할 수 있다. 그리고 제3 기계학습부는 학습 손실로 결과데이터와 복수의 크롭 이미지 간의 2차원 최소좌표/최대좌표 차이, 바운딩 박스의 중첩 비율(Intersection Over Union, IOU) 및 비주얼 큐와 결과 데이터의 중심 간의 거리를 이용할 수 있다.

예컨대, 제2 검출 데이터는 복수 개일 수 있다(c0 내지 c3). 그리고 처리부(결과 합산기)를 거쳐 최종 박스가 반영된 RGB 이미지가 출력될 수 있다. 이처럼, 실시예에 따른 선박 운항 데이터 처리 장치는 타 센서로부터 얻은 데이터를 서로 맵핑된 정제된 데이터를 제공하면서, 대상물 또는 오브젝트에 대한 검출이 정확하게 이루어질 수 있다. 나아가, 자율 운항에 있어서 데이터 처리 및 관리가 용이하게 이루어질 수 있다.

개시된 실시예에 따른 선박 운항 데이터 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시예는, 선박 운항 데이터 처리 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체가 될 수 있다.

그리고 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

여기서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체'가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 선박 운항 데이터 처리 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 디바이스들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

구체적으로, 개시된 실시예에 따른 선박 운항 데이터 처리 방법을 수행하도록 하는 프로그램이 저장된 기록매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다.

이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (13)

1. 복수의 센서로부터 감지된 환경 정보를 수신하는 수신부;
   상기 환경 정보 중 동일한 객체에 대해 서로 맵핑하여 그룹을 형성하는 맵핑부;
   상기 형성된 그룹을 이용하여 입력된 특정 객체에 대응하는 환경 정보를 반영하여 표시하는 시각부; 및
   상기 특정 객체에 대해 입력된 추가 정보를 레이블하고 이미지에 맵핑된 그룹에 대한 정보도 태깅하는 주석부;를 포함하고,
   상기 환경 정보는 RGB 이미지, AIS 이미지, Radar 이미지 및 열화상 이미지 중 적어도 하나를 포함하고,
   상기 주석부는,
   상기 RGB 이미지에 대해 바운딩 박스가 반영된 제1 검출 데이터를 출력하는 모델부; 상기 AIS 이미지, 레이더(Radar) 이미지 및 열화상 이미지 중 적어도 하나로부터 비주얼 큐(visual cue)를 추출하는 추출부; 상기 RGB 이미지를 상기 비주얼 큐에 대응하여 상기 RGB 이미지를 복수의 크롭 이미지로 자르고, 잘린 복수의 크롭 이미지로부터 바운딩 박스가 반영된 제2 검출 데이터를 출력하는 크롭(crop) 생성부; 및 상기 제1 검출 데이터, 상기 제2 검출 데이터, 상기 RGB 이미지 및 상기 비주얼 큐를 이용하여 바운딩 박스가 반영된 결과 데이터를 출력하는 처리부;를 포함하고,
   상기 모델부는 제1 기계학습부를 갖고,
   상기 제1 기계학습부는 학습 이미지를 상기 제1 기계학습부에 입력하여 출력되는 출력 이미지 및 상기 학습 이미지에 포함된 오브젝트의 종류에 대한 정보가 반영된 레이블링 이미지를 비교하여 학습되고,
   상기 처리부는 상기 RGB 이미지, 상기 제1 검출 데이터, 상기 제2 검출 데이터, 및 상기 비주얼 큐를 학습 이미지로한 제3 기계학습부를 포함하고,
   상기 제3 기계학습부는 레이블링 데이터를 상기 RGB 이미지의 바운딩 박스로 하고, 학습 손실로 결과데이터와 복수의 크롭 이미지 간의 2차원 최소좌표/최대좌표 차이, 바운딩 박스의 중첩 비율(Intersection Over Union, IOU) 및 비주얼 큐와 결과 데이터의 중심 간의 거리를 이용하는 선박 운항 데이터 처리 장치.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 제1항에 있어서,
   상기 크롭(crop) 생성부는 복수의 크롭 이미지를 학습 데이터로하고, 레이블링 데이터를 상기 RGB 이미지의 바운딩 박스로 하는 제2 기계학습부를 갖는 선박 운항 데이터 처리 장치.
   
9. 제8항에 있어서,
   상기 제2 기계학습부는 학습 손실(Loss)로 결과데이터와 복수의 크롭 이미지 간의 2차원 최소좌표/최대좌표 차이 및 바운딩 박스의 중첩 비율(Intersection Over Union, IOU)를 이용하는 선박 운항 데이터 처리 장치.
   
10. 삭제
11. 삭제
12. 삭제
13. 삭제

Images