KR20230123504A

KR20230123504A - 항로 표지 식별 장치, 자율 항행 시스템, 항로 표지식별 방법, 및 프로그램

Info

Publication number: KR20230123504A
Application number: KR1020237024602A
Authority: KR
Inventors: 나오미 후지사와
Original assignee: 후루노덴끼가부시끼가이샤
Priority date: 2020-12-24
Filing date: 2021-11-24
Publication date: 2023-08-23
Also published as: WO2022137952A1; EP4270360A1; JPWO2022137952A1; CN116547731A; US20230351764A1

Abstract

[과제] 선박의 위치에 상관없이 좌현 표지와 우현 표지를 판별하는 것이 가능한 항로 표지 식별 장치를 제공한다.
[해결 수단] 항로 표지 식별 장치는, 선박에 설치되는 카메라에 의해 생성된 화상을 취득하는 취득부와, 화상에 포함되는 측면 부표의 양태가 제1 양태 및 제2 양태 중 어느 것인지 식별하는 양태 식별부와, 선박의 위치를 검출하는 위치 검출부에 의해 검출된 위치가 속하는 나라를 판정하는 나라 판정부와, 제1 양태 및 제2 양태가 각 나라에 있어서 좌현 표지 및 우현 표지 중 어느 것에 대응하는지를 나타내는 소정의 대응 관계에 의거하여, 측면 부표의 양태 및 판정된 나라로부터, 측면 부표의 표지 내용이 좌현 표지 및 우현 표지 중 어느 것인지 판정하는 좌우현 판정부를 구비한다.

Description

항로 표지 식별 장치, 자율 항행 시스템, 항로 표지 식별 방법, 및 프로그램

본 발명은, 항로 표지 식별 장치, 자율 항행 시스템, 항로 표지 식별 방법, 및 프로그램에 관한 것이다.

특허문헌 1에는, 항로 표지를 자동적으로 식별하는 자동 시인 장치가 개시되어 있다.

일본국 특허공고 평 4-76562호 공보

그런데, 해면에 떠오르는 부표 중, 측면 부표는 좌현 표지 및 우현 표지 중 어느 것인지를 나타내지만, 나라에 따라서는 좌현 표지와 우현 표지의 해석이 반대가 되는 경우가 있다.

본 발명은, 상기 과제를 감안하여 이루어진 것으로, 그 주된 목적은, 선박의 위치에 상관없이 좌현 표지와 우현 표지를 판별하는 것이 가능한 항로 표지 식별 장치, 자율 항행 시스템, 항로 표지 식별 방법, 및 프로그램을 제공하는 것에 있다.

상기 과제를 해결하기 위해서, 본 발명의 하나의 양태의 항로 표지 식별 장치는, 선박에 설치되는 카메라에 의해 생성된 화상을 취득하는 취득부와, 상기 화상에 포함되는 측면 부표의 양태가 제1 양태 및 제2 양태 중 어느 것인지 식별하는 양태 식별부와, 상기 선박의 위치를 검출하는 위치 검출부에 의해 검출된 위치가 속하는 나라를 판정하는 나라 판정부와, 상기 제1 양태 및 상기 제2 양태가 각 나라에 있어서 좌현 표지 및 우현 표지 중 어느 것에 대응하는지를 나타내는 소정의 대응 관계에 의거하여, 상기 측면 부표의 양태 및 상기 판정된 나라로부터, 상기 측면 부표의 표지 내용이 좌현 표지 및 우현 표지 중 어느 것인지 판정하는 좌우현 판정부를 구비한다.

상기 양태에 있어서, 상기 양태 식별부는, 상기 측면 부표의 색이 녹색 및 적색 중 어느 것인지 식별해도 된다.

상기 양태에 있어서, 상기 양태 식별부는, 상기 측면 부표의 톱 마크가 원통형 및 원뿔형 중 어느 것인지 식별해도 된다.

상기 양태에 있어서, 상기 화상 내의 부표의 종별을 식별하는 종별 식별부를 더 구비하고,

상기 양태 식별부는, 상기 부표의 종별이 측면 부표인 경우에, 상기 측면 부표의 양태를 식별해도 된다.

상기 양태에 있어서, 상기 측면 부표의 표지 내용, 상기 제1 화상 내의 상기 측면 부표의 위치, 및 상기 카메라의 촬상 방향에 의거하여, 상기 제1 화상, 전자 해도, 또는 레이더 화상 상에 상기 측면 부표의 표지 내용을 나타내는 심벌을 표시하는 표시 제어부를 더 구비해도 된다.

상기 양태에 있어서, 상기 측면 부표의 표지 내용, 상기 제1 화상 내의 상기 측면 부표의 위치, 상기 카메라의 촬상 방향, 및 상기 선박의 위치에 의거하여, 상기 측면 부표의 표지 내용과 전자 해도에 기록된 항로 표지 데이터가 나타내는 표지 내용의 정합성을 판정하는 정합 판정부를 더 구비해도 된다.

상기 양태에 있어서, 상기 정합성의 판정 결과를, 상기 제1 화상, 상기 전자 해도, 또는 레이더 화상 상에 표시하는 표시 제어부를 더 구비해도 된다.

또, 본 발명의 다른 양태의 자율 항행 시스템은, 상기의 항로 표지 식별 장치와, 복수의 상기 측면 부표의 표지 내용이, 좌현 표지, 우현 표지, 및 안전 수역 표지 중 적어도 2개를 포함하는 경우에, 상기 제1 화상 내의 상기 측면 부표의 위치 및 상기 카메라의 촬상 방향에 의거하여, 상기 선박의 항로 또는 항로 폭을 산출하는 항로 산출부를 구비해도 된다.

또, 본 발명의 다른 양태의 자율 항행 시스템은, 상기의 항로 표지 식별 장치와, 가상 표지의 위치 및 표지 내용을 나타내는 데이터를 취득하는 가상 표지 취득부와, 상기 측면 부표의 표지 내용, 상기 가상 표지의 위치, 및 상기 가상 표지의 표지 내용에 의거하여 상기 선박의 항로 또는 항로 폭을 산출하는 항로 산출부를 구비해도 된다.

또, 본 발명의 다른 양태의 자율 항행 시스템은, 상기의 항로 표지 식별 장치와, 상기 선박의 위치를 검출하는 위치 검출부와, 상기 측면 부표의 표지 내용, 상기 제1 화상 내의 상기 측면 부표의 위치, 상기 카메라의 촬상 방향, 및 상기 선박의 위치에 의거하여, 상기 선박이 경유해야 할 변침점을 설정하는 항로 산출부를 구비해도 된다.

또, 본 발명의 다른 양태의 자율 항행 시스템은, 상기의 항로 표지 식별 장치와, 상기 선박의 선수 방위를 검출하는 방위 검출부와, 상기 측면 부표의 표지 내용, 상기 카메라의 촬상 방향, 및 상기 선박의 선수 방위에 의거하여, 상기 선박이 항행해야 할 방위를 설정하는 항로 산출부를 구비해도 된다.

상기 양태에 있어서, 상기 측면 부표의 표지 내용에 의거하여 자율 항행 제어를 행하는 자동 조타 장치를 더 구비해도 된다.

또, 본 발명의 다른 양태의 항로 표지 식별 방법은, 선박에 설치되는 카메라에 의해 생성된 화상을 취득하고, 상기 화상에 포함되는 측면 부표의 양태가 제1 양태 및 제2 양태 중 어느 것인지 식별하고, 상기 선박의 위치를 검출하는 위치 검출부에 의해 검출된 위치가 속하는 나라를 판정하고, 상기 제1 양태 및 상기 제2 양태가 각 나라에 있어서 좌현 표지 및 우현 표지 중 어느 것에 대응하는지를 나타내는 소정의 대응 관계에 의거하여, 상기 측면 부표의 양태 및 상기 판정된 나라로부터, 상기 측면 부표의 표지 내용이 좌현 표지 및 우현 표지 중 어느 것인지 판정한다.

또, 본 발명의 다른 양태의 프로그램은, 선박에 설치되는 카메라에 의해 생성된 화상을 취득하는 것, 상기 화상에 포함되는 측면 부표의 양태가 제1 양태 및 제2 양태 중 어느 것인지 식별하는 것, 상기 선박의 위치를 검출하는 위치 검출부에 의해 검출된 위치가 속하는 나라를 판정하는 것, 및, 상기 제1 양태 및 상기 제2 양태가 각 나라에 있어서 좌현 표지 및 우현 표지 중 어느 것에 대응하는지를 나타내는 소정의 대응 관계에 의거하여, 상기 측면 부표의 양태 및 상기 판정된 나라로부터, 상기 측면 부표의 표지 내용이 좌현 표지 및 우현 표지 중 어느 것인지 판정하는 것을 컴퓨터로 하여금 실행하게 한다.

본 발명에 의하면, 선박의 위치에 상관없이 좌현 표지와 우현 표지를 판별하는 것이 가능해진다.

도 1은, 선재(船載) 시스템의 구성예를 나타내는 블록도이다.
도 2는, 부표의 표지 내용 등을 설명하기 위한 도면이다.
도 3은, 항로 표지 식별 장치의 기능 구성예를 나타내는 블록도이다.
도 4는, 제1 화상의 예를 나타내는 도면이다.
도 5는, 제1 식별부에 의한 식별예를 나타내는 도면이다.
도 6은, 제2 화상의 예를 나타내는 도면이다.
도 7은, 항로 표지 식별 방법의 순서예를 나타내는 플로 도면이다.
도 8은, 표지 내용 식별 처리의 순서예를 나타내는 플로 도면이다.
도 9는, 부표 관리 데이터 베이스의 예를 나타내는 도면이다.
도 10은, 표시부에 의한 표시예를 나타내는 도면이다.
도 11은, 표시부에 의한 다른 표시예를 나타내는 도면이다.
도 12는, 항로 표지 식별 장치의 다른 구성예를 나타내는 블록도이다.
도 13은, 항로 표지 식별 장치의 또 다른 구성예를 나타내는 블록도이다.
도 14는, 제1 변형예에 따른 제2 식별부의 구성예를 나타내는 블록도이다.
도 15는, 좌우현 표지 식별 처리의 순서예를 나타내는 플로 도면이다.
도 16은, 나라별 좌우현 양태 테이블의 예를 나타내는 도면이다.
도 17은, 제2 변형예에 따른 제2 식별부의 구성예를 나타내는 블록도이다.
도 18은, 표지 내용 식별 처리의 순서예를 나타내는 플로 도면이다.
도 19는, 부표의 발광 방식 등을 설명하기 위한 도면이다.

이하, 본 발명의 실시 형태에 대해, 도면을 참조하면서 설명한다.

도 1은, 자율 항행 시스템(100)의 구성예를 나타내는 블록도이다. 자율 항행 시스템(100)은, 선박에 탑재되는 ICT 시스템이다. 이하, 자율 항행 시스템(100)이 탑재된 선박을 「자선」이라고 한다.

자율 항행 시스템(100)은, 항로 표지 식별 장치(1), 카메라(2), 레이더(3), AIS(4), 무선 통신부(5), 표시부(6), GNSS 수신기(7), 자이로 컴퍼스(8), ECDIS(9), 및 자동 조타 장치(10)를 구비하고 있다. 이들 기기는, 예를 들면 LAN 등의 네트워크(N)에 접속되어 있어, 서로 네트워크 통신이 가능하다.

항로 표지 식별 장치(1)는, CPU, RAM, ROM, 불휘발성 메모리, 및 입출력 인터페이스 등을 포함하는 컴퓨터이다. 항로 표지 식별 장치(1)의 CPU는, ROM 또는 불휘발성 메모리로부터 RAM에 로드된 프로그램에 따라 정보 처리를 실행한다.

프로그램은, 예를 들면 광 디스크 또는 메모리 카드 등의 정보 기억 매체를 통해 공급되어도 되고, 예를 들면 인터넷 또는 LAN 등의 통신 네트워크를 통해 공급되어도 된다.

카메라(2)는, 자선의 외부를 촬상하여 화상 데이터를 생성하는 디지털 카메라이다. 카메라(2)는, 예를 들면 자선의 브릿지에 선수 방위를 향해 설치된다. 카메라(2)는, 적어도 가시역의 촬상이 가능한 가시광 카메라이다. 가시역뿐만 아니라, 적외역의 촬상이 가능해도 된다.

본 실시 형태에서는, 카메라(2)는, 팬·틸트 기능 및 광학 줌 기능을 갖는 카메라, 이른바 PTZ 카메라이다. 카메라(2)는, 항로 표지 식별 장치(1)로부터의 지령에 따라, 팬, 틸트, 또는 줌을 행한다.

레이더(3)는, 자선의 주위에 전파를 발함과 더불어 그 반사파를 수신하고, 수신 신호에 의거하여 에코 데이터를 생성한다. 또, 레이더(3)는, 에코 데이터로부터 물표를 식별하고, 물표의 위치 및 속도를 나타내는 물표 추적 데이터(TT 데이터)를 생성한다.

AIS(Automatic Identification System)(4)는, 자선의 주위에 존재하는 타선 또는 육상의 관제로부터 AIS 데이터를 수신한다. AIS에 한정되지 않고, VDES(VHF Data Exchange System)가 이용되어도 된다. AIS 데이터는, 타선의 위치 및 속도 등을 포함하고 있다.

또, AIS(4)는, 가상 표지의 위치 및 표지 내용을 나타내는 AIS 데이터를 취득해도 된다. AIS(4)는, 가상 표지 취득부의 예이다. AIS를 이용한 가상 표지는, 이른바 가상 AIS 항로 표지이다.

무선 통신부(5)는, 예를 들면 초단파대, 중단파대, 단파대의 무선 설비 등, 타선 또는 육상의 관제와의 통신을 실현하기 위한 다양한 무선 설비를 포함하고 있다.

표시부(6)는, 예를 들면 터치 센서를 갖는 표시 장치, 이른바 터치 패널이다. 표시부 장치에는, 예를 들면 액정 표시 장치 또는 유기 EL 표시 장치 등이 이용된다. 터치 센서에 한정되지 않고, 트랙볼 또는 마우스 등의 다른 포인팅 디바이스가 이용되어도 된다.

표시부(6)에는, 카메라(2)에 의해 촬상된 화상, 레이더(3)에 의해 생성된 레이더 화상, 전자 해도, 또는 레이더 화상과 전자 해도를 합성한 합성 화상 등이 표시된다.

GNSS 수신기(7)는, GNSS(Global Navigation Satellite System)로부터 수신한 전파에 의거하여 자선 위치를 검출한다. GNSS 수신기(7)는, 자선 위치를 검출하는 위치 검출부의 예이다.

자이로 컴퍼스(8)는, 자선의 선수 방위를 검출한다. 자이로 컴퍼스(8)는, 자선의 선수 방위를 검출하는 방위 검출부의 예이다. 자이로 컴퍼스에 한정되지 않고, GPS 컴퍼스 등의 다른 방식의 방위계가 이용되어도 된다.

ECDIS(Electronic Chart Display and Information System)(9)는, GNSS 수신기(7)로부터 자선 위치를 취득하여, 전자 해도 상에 자선 위치를 표시한다. 또, ECDIS(9)는, 전자 해도 상에 자선의 예정 항로도 표시한다. ECDIS에 한정되지 않고, GNSS 플로터가 이용되어도 된다.

자동 조타 장치(10)는, 항로 표지 식별 장치(1) 등으로부터 취득한 목표 침로와, 자이로 컴퍼스(8)로부터 취득한 선수 방위에 의거하여, 목표 침로로 선수를 향하게 하기 위한 목표 타각(舵角)을 산출하고, 조타기의 타각이 목표 타각에 근접하도록 조타기를 구동한다. 또, 자동 조타 장치(10)는, 엔진을 제어해도 된다.

본 실시 형태에서는, 항로 표지 식별 장치(1)는 독립된 장치이지만, 이것에 한정되지 않고, ECDIS(9) 등의 다른 장치와 일체여도 된다. 즉, 항로 표지 식별 장치(1)의 기능이 ECDIS(10) 등의 다른 장치로 실현되어도 된다.

또, 본 실시 형태에서는, 표시부(2)도 독립된 장치이지만, 이것에 한정되지 않고, ECDIS(9) 등의 다른 장치가 구비하는 표시부가, 항로 표지 식별 장치(1)에 의해 생성된 화상을 표시하는 표시부(2)로서 이용되어도 된다.

도 2는, 부표의 표지 내용 등을 설명하기 위한 도면이다. 부표란, 해면에 떠오른 항로 표지이며, 부이(buoy)라고도 불린다. 부표의 종별 및 표지 내용은, 부표의 색 및 톱 마크의 형상 등에 따라 분류된다.

부표의 종별에는, 측면 표지, 방위 표지, 고립 장애 표지, 안전 수역 표지, 및 특수 표지가 있다. 측면 표지의 표지 내용에는, 좌현 표지 및 우현 표지가 있다. 좌우현은, 수원을 향했을 때의 좌우를 나타낸다. 방위 표지의 표지 내용에는, 북방위 표지, 동방위 표지, 남방위 표지, 및 서방위 표지가 있다.

고립 장애 표지, 안전 수역 표지, 및 특수 표지에 대해서는, 그 이상 표지 내용이 세분화되어 있지 않다. 즉, 부표의 종별 자체가 표지 내용을 나타내고 있다고 할 수 있다.

그런데, 해면에 떠오르는 부표는, 선박에 비해 작아, 선박으로부터 멀리 떨어진 부표의 표지 내용을 식별하는 것은 곤란하다. 이에, 본 실시 형태에서는, 이하에 설명하는 바와 같이 단계적으로 화상을 취득함으로써, 표지 내용의 식별 정밀도의 향상을 도모하고 있다.

도 3은, 실시 형태에 따른 항로 표지 식별 장치(1)의 기능 구성예를 나타내는 블록도이다. 항로 표지 식별 장치(1)는, 제1 취득부(11), 제1 식별부(12), 제2 취득부(13), 제2 식별부(14), 표시 제어부(15), 항로 산출부(16), 및 정합 판정부(18)를 구비하고 있다.

이들 기능부는, 항로 표지 식별 장치(1)의 CPU가 프로그램에 따라 정보 처리를 실행함으로써 실현된다. 또한, 표시 제어부(15) 또는 항로 산출부(16) 등의 일부의 기능부는, ECDIS(9) 또는 자동 조타 장치(10) 등에 포함되는, 항로 표지 식별 장치(1)와는 다른 컴퓨터로 실현되어도 된다.

또, 항로 표지 식별 장치(1)는, 학습 완료 모델을 기억하는 모델 기억부(17)를 구비하고 있다. 이 기억부는, 항로 표지 식별 장치(1)의 불휘발성 메모리에 설치된다. 이것에 한정되지 않고, 모델 기억부(17)는, 항로 표지 식별 장치(1)의 외부에 설치되어도 된다.

제1 취득부(11)는, 카메라(2)에 의해 생성된 제1 화상을 취득한다. 구체적으로는, 제1 취득부(11)는, 카메라(2)에 의해 생성된 시계열의 복수의 제1 화상을 순차적으로 취득하고, 제1 식별부(12)에 순차적으로 제공한다.

제1 화상은, 카메라(2)가 표준 상태에 있을 때에 촬상된 화상이다. 표준 상태는, 예를 들면 광학 줌의 배율이 최소이고, 촬상 방향이 선수 방위를 향한 상태이다. 카메라(2)는, 제2 취득부(13)에 의해 제어되는 기간 이외에는, 표준 상태에서 제1 화상의 생성을 반복한다.

시계열의 복수의 제1 화상은, 예를 들면 동화상에 포함되는 복수의 정지 화상(프레임)이어도 되고, 소정의 시간 간격으로의 촬상에 의해 개별로 생성된 복수의 정지 화상이어도 된다.

도 4는, 제1 취득부(11)에 의해 취득되는 제1 화상(P1)의 예를 나타내는 도면이다. 동 도면은, 제1 화상(P1)이, 자선의 선체(SP)와 함께, 자선의 전방의 해면에 떠오른 좌현 표지(LL) 및 우현 표지(LR)를 포함한 예를 나타내고 있다.

제1 식별부(12)는, 제1 화상(P1) 내의 부표의 위치를 식별한다. 구체적으로는, 제1 식별부(12)는, 모델 기억부(17)에 기억된 제1 학습 완료 모델을 이용하여, 제1 화상(P1) 내의 부표의 위치를 식별한다. 또, 제1 식별부(12)는, 제1 화상(P1) 내의 부표의 위치와 함께, 당해 부표의 종별을 추가로 식별해도 된다.

제1 학습 완료 모델은, 학습용 화상을 입력 데이터로 하고, 학습용 화상 내의 부표의 라벨(또는, 부표의 종별의 라벨) 및 위치를 교사 데이터로 하여, 기계 학습에 의해 생성된다. 이와 같이 생성된 제1 학습 완료 모델은, 제1 화상(P1) 내의 부표의 라벨(또는, 부표의 종별의 라벨), 위치, 및 확실도를 추정한다. 부표의 위치는, 예를 들면 부표를 둘러싸는 경계 박스의 좌표로 나타내어진다.

제1 학습 완료 모델에는, 예를 들면 SSD(Single Shot MultiBox Detector), YOLO(You Only Look Once), 또는 Mask R-CNN 등의 물체 검출 모델이 이용된다. 이것에 한정되지 않고, 제1 학습 완료 모델에는, Semantic Segmentation 또는 Instance Segmentation 등의 영역 분할 모델이 이용되어도 되고, Keypoint Detection 등의 특징점 검출 모델이 이용되어도 된다.

도 5는, 제1 식별부(12)에 의한 제1 화상(P1)의 식별예를 나타내는 도면이다. 동 도면은, 좌현 표지(LL) 및 우현 표지(LR) 각각이 부표(또는, 측면 부표)로서 식별되고, 경계 박스(BB)에 의해 둘러싸인 예를 나타내고 있다.

제2 취득부(13)는, 제1 화상(P1) 중 부표의 위치를 포함하는 부분 영역에 대응하는, 제1 화상(P1)보다 분해능이 높은 제2 화상을 취득한다. 부분 영역은, 예를 들면 제1 식별부(12)에 의해 식별된 경계 박스(BB)(도 5 참조)이다.

카메라(2)는, 광학 줌 기능을 실현하는 렌즈부(21)와, 팬·틸트 기능을 실현하는 팬·틸트 기구(22)를 구비하고 있고, 제2 취득부(13)는, 카메라(2)의 렌즈부(21) 및 팬·틸트 기구(22)를 제어함으로써, 제2 화상을 취득한다.

구체적으로는, 제2 취득부(13)는, 렌즈부(21)를 제어하여, 카메라(2)로 하여금 제1 화상(P1)의 부분 영역에 대응하는 실공간의 범위를 확대하여 촬상하게 함으로써, 제2 화상을 취득한다. 이와 같이 광학 줌 기능을 이용함으로써, 제1 화상(P1)보다 분해능이 높은 제2 화상이 취득된다.

또, 제2 취득부(13)는, 팬·틸트 기구(22)를 제어하여, 카메라(2)의 촬상 방향을 제1 화상(P1)의 부분 영역에 대응하는 실공간의 범위를 향하게 한다. 제2 취득부(13)는, 제1 식별부(12)에 의해 식별된 제1 화상(P1) 내의 부표의 위치에 따라, 카메라(2)의 촬상 방향의 목표값을 설정한다.

도 6은, 제2 취득부(13)에 의해 취득되는 제2 화상(P2)의 예를 나타내는 도면이다. 동 도면에서는, 제2 화상(P2)에 좌현 표지(LL)가 포함되는 예를 나타내고 있다. 제2 화상(P2)에서는, 좌현 표지(LL)의 색이나 톱 마크(TM)의 형상 등이, 제1 화상(P1)(도 4 참조)보다 식별되기 쉽게 되어 있다.

또한, 상기 도 5에 나타내는 바와 같이, 제1 화상(P1) 내에 복수의 부표(도 시의 예에서는, 좌현 표지(LL)와 우현 표지(LR))가 식별된 경우에는, 제2 취득부(13)는, 카메라(2)로 하여금 복수의 부표 각각을 순차적으로 촬상하게 함으로써, 복수의 부표 각각에 대해 제2 화상(P2)을 취득한다.

제2 식별부(14)는, 제2 화상(P2)으로부터 부표의 표지 내용을 식별한다. 구체적으로는, 제2 식별부(14)는, 모델 기억부(17)에 기억된 제2 학습 완료 모델을 이용하여, 제2 화상(P2)으로부터 부표의 표지 내용을 식별한다.

제2 학습 완료 모델은, 학습용 화상을 입력 데이터로 하고, 학습용 화상 내의 부표의 표지 내용의 라벨을 교사 데이터로 하여, 기계 학습에 의해 생성된다. 이와 같이 생성된 제2 학습 완료 모델은, 제2 화상(P2) 내의 부표의 표지 내용의 라벨 및 확실도를 추정한다.

제2 학습 완료 모델에는, 예를 들면 상기 제1 학습 완료 모델과 동종의 모델이 이용된다. 그 경우, 제1 학습 완료 모델 및 제2 학습 완료 모델은, 서로 상이한 제1 학습 완료 파라미터 및 제2 학습 완료 파라미터가 공통의 추론 프로그램에 각각 탑재된 것이 된다.

이것에 한정되지 않고, 제2 학습 완료 모델에는, 물체의 식별만을 행하고, 물체의 위치의 검출을 행하지 않는 물체 식별 모델이 이용되어도 된다.

또, 제2 학습 완료 모델은, 측면 표지의 표지 내용의 식별에 특화된 측면 표지용의 학습 완료 모델과, 방위 표지의 표지 내용의 식별에 특화된 방위 표지용의 학습 완료 모델을 포함해도 된다.

도 7 및 도 8은, 항로 표지 식별 장치(1)에 의해 실현되는 항로 표지 식별 방법의 순서예를 나타내는 플로 도면이다. 동 도면에서는, 항로 표지 식별 장치(1)가 실행하는 처리 중, 화상의 취득 및 표지 내용의 식별에 관한 처리를 주로 나타내고 있다.

항로 표지 식별 장치(1)의 CPU는, 이들 도면에 나타내는 정보 처리를 프로그램에 따라 실행함으로써, 제1 취득부(11), 제1 식별부(12), 제2 취득부(13), 및 제2 식별부(14)로서 기능한다.

도 7에 나타내는 바와 같이, 우선, 항로 표지 식별 장치(1)는, 카메라(2)로부터 제1 화상(P1)(도 4 참조)을 취득한다(S11：제1 취득부(11)로서의 처리).

다음에, 항로 표지 식별 장치(1)는, 제1 학습 완료 모델을 이용하여, 제1 화상(P1) 내의 부표의 위치 및 종별을 식별한다(S12：제1 식별부(12)로서의 처리).

다음에, 항로 표지 식별 장치(1)는, 제1 화상(P1)으로 식별된 부표의 종별이 측면 부표 또는 방위 부표인지의 여부를 판정한다(S13).

부표의 종별이 측면 부표 또는 방위 부표인 경우에는(S13→YES), 항로 표지 식별 장치(1)는, 카메라(2)를 제어하여, 부표를 확대하여 촬상한 제2 화상(P2)(도 6 참조)을 취득한다(S14：제2 취득부(13)로서의 처리).

다음에, 항로 표지 식별 장치(1)는, 제2 화상(P2)으로부터 부표의 표지 내용을 식별하기 위한 표지 내용 식별 처리를 실행한다(S15：제2 식별부(14)로서의 처리).

도 8에 나타내는 바와 같이, 표지 내용 식별 처리 S15에 있어서, 항로 표지 식별 장치(1)는, 부표의 종별이 측면 부표인 경우에는(S21→측면 부표), 제2 학습 완료 모델로서의 측면 표지용의 학습 완료 모델을 이용하여, 표지 내용이 좌현 표지 및 우현 표지 중 어느 것인지 식별한다(S22).

한편, 항로 표지 식별 장치(1)는, 부표의 종별이 방위 부표인 경우에는(S21→방위 부표), 제2 학습 완료 모델로서의 방위 표지용의 학습 완료 모델을 이용하여, 표지 내용이 북방위 표지, 동방위 표지, 남방위 표지, 및 서방위 표지 중 어느 것인지 식별한다(S23).

또한, 부표의 종별이 측면 부표 또는 방위 부표가 아닌 경우(S13→NO), 즉 부표의 종별이 고립 장애 표지, 안전 수역 표지, 또는 특수 표지인 경우에는, 항로 표지 식별 장치(1)는 제2 화상(P2)을 취득하지 않는다. 그들 부표에 있어서는, 종별 자체가 표지 내용을 나타내기 때문이다.

항로 표지 식별 장치(1)는, S12에 있어서 제1 화상(P1) 내에 복수의 부표가 식별된 경우에는, 식별된 모든 부표에 대해 S13~S15를 실행한다(S16). 즉, 측면 부표 또는 방위 부표인 모든 부표에 대해, 제2 화상(P2)의 취득과 표지 내용의 식별을 행한다.

이상으로 설명한 실시 형태에 의하면, 제1 화상(P1)으로 식별된 부표의 위치에 의거하여 확대하여 촬상된, 제1 화상(P1)보다 분해능이 높은 제2 화상(P2)으로부터 표지 내용을 식별하므로, 표지 내용의 식별 정밀도의 향상을 도모하는 것이 가능해진다.

또, 실시 형태에 의하면, 제1 화상(P1)으로 부표의 종별을 식별한 후에 제2 화상(P2)으로부터 표지 내용을 식별하므로, 부표의 종별에 따라 표지 내용을 좁힐 수 있어, 표지 내용의 식별 정밀도의 추가적인 향상을 도모하는 것이 가능해진다.

이것에 한정되지 않고, 제1 화상(P1)으로부터 부표 및 그 위치를 식별하고, 제2 화상(P2)으로부터 부표의 종별 및 표지 내용을 식별해도 된다.

도 9는, 부표 관리 DB(데이터 베이스)의 예를 나타내는 도면이다. 부표 관리 DB는, 식별 내지 취득된 부표의 정보를 관리하기 위한 데이터 베이스이며, 항로 표지 식별 장치(1)의 불휘발성 메모리에 형성된다. 부표 관리 DB에는, 카메라(2)의 화상으로부터 식별된 부표의 정보뿐만 아니라, AIS(4)에 의해 취득된 가상 표지의 정보도 포함된다.

부표 관리 DB는, 예를 들면 「식별자」, 「종별」, 「표지 내용」, 「화상 내 위치」, 「실위치」, 및 「가상 부표」 등의 필드를 포함하고 있다. 「식별자」는, 부표를 식별하기 위한 식별자이다. 「가상 부표」는, 가상 부표인지의 여부를 나타낸다.

「종별」은, 부표의 종별을 나타낸다. 「표지 내용」은, 부표의 표지 내용을 나타낸다. 「종별」이 측면 표지 또는 방위 표지인 경우에는, 「표지 내용」에 좌현 표지 또는 북방위 표지 등이 입력된다. 한편, 「종별」이 고립 장애 표지, 안전 수역 표지, 또는 특수 표지인 경우에는, 「표지 내용」에 데이터가 입력되지 않는다.

「화상 내 위치」는, 제1 화상(P1)(도 4 참조) 내에 있어서의 부표의 위치를 나타낸다. 또한, 가상 부표의 경우는, 「화상 내 위치」에 데이터가 입력되지 않는다. 「실위치」는, 부표의 실위치를 나타낸다. 카메라(2)의 화상으로부터 식별된 부표의 실위치는, 부표의 화상 내 위치 및 카메라(2)의 촬상 방향에 의거하여 산출된다.

도 3의 설명으로 되돌아온다. 표시 제어부(15)는, 부표에 관한 표시 데이터를 생성하고, 표시부(6)에 출력한다. 구체적으로는, 표시 제어부(15)는, 식별된 부표의 표지 내용, 제1 화상(P1) 내의 부표의 위치, 및 카메라(2)의 촬상 방향 등에 의거하여, 제1 화상(P1), 전자 해도, 또는 레이더 화상 등에 부표의 표지 내용을 나타내는 심벌을 표시한다.

예를 들면, 도 10에 나타내는 바와 같이, 표시 제어부(15)는, 제1 화상(P1) 내의 좌현 표지(LL) 및 우현 표지(LR)의 위치에 관련지어 그들 표지 내용을 나타내는 심벌(ML, MR)을 부여한 화상을, 표시부(6)에 표시한다. 심벌(ML, MR)에는, 예를 들면 표지 내용을 나타내는 문자열이 포함된다.

또, 도 11에 나타내는 바와 같이, 표시 제어부(15)는, 전자 해도와 레이더 화상을 합성한 합성 화상(CP) 내의 좌현 표지(LL) 및 우현 표지(LR)의 실위치에 대응하는 위치에 그들 표지 내용을 나타내는 심벌(TL, TR)을 부여한 화상을, 표시부(6)에 표시한다. 심벌(TL, TR)은, 예를 들면 표지 내용을 나타내는 형상을 갖는다.

합성 화상(CP)에는, 자선의 심벌(SF), 자선의 예정 항로(RT), 예정 항로(RT) 상의 변침점(DF), 및 타선의 심벌(EL) 등이 표시된다.

또, 합성 화상(CP)에는, 가상 표지의 표지 내용을 나타내는 심벌(VL, VR)이 표시되어도 된다. 심벌(VL, VR)은, 심벌(TL, TR)과 동종의 형상을 갖는다. 심벌(VL, VR)은, 예를 들면 투명도를 바꾸는 등, 심벌(TL, TR)과 식별 가능하게 표시되는 것이 바람직하다.

항로 산출부(16)는, 식별된 부표의 표지 내용에 의거하여 자율 항행 제어를 행하기 위한 목표 침로, 즉 방위나 변침점, 항로를 산출한다. 산출되는 목표 침로는, 자율 항행 제어를 행하는 자동 조타 장치(10)에 제공된다. 여기서, 자율 항행 제어를 행함에 있어서 항로 표지 식별 내용의 오인식은 중대한 사고를 야기하는 원인이 된다. 그로 인해, 본 발명에 의해 정밀도를 향상시킨 항로 표지 내용의 식별에 의해 자율 항행 제어를 행함으로써, 실환경에서의 조선(操船)에 견딜 수 있는 자율 항행 시스템을 실현할 수 있다.

항로 산출부(16)는, 도 5에 나타내는 바와 같이 제1 화상(P1) 내에서 식별된 부표가 좌현 표지(LL) 및 우현 표지(LR)를 포함하는 경우에, 제1 화상(P1) 내의 좌현 표지(LL) 및 우현 표지(LR)의 위치 및 카메라(2)의 촬상 방향에 의거하여, 자선의 예정 항로 또는 항로 폭을 산출한다. 구체적으로는, 항로 산출부(16)는, 제1 화상(P1) 내의 좌현 표지(LL) 및 우현 표지(LR)의 위치 및 카메라(2)의 촬상 방향으로부터 산출되는 좌현 표지(LL) 및 우현 표지(LR)의 실위치에 의거하여, 자선 위치로부터 좌현 표지(LL)와 우현 표지(LR) 사이를 지나도록 자선의 예정 항로(RT)를 설정한다(도 11 참조). 이것에 한정되지 않고, 항로 산출부(16)는, 제1 화상(P1) 내에서 식별된 부표가 좌현 표지(LL) 또는 우현 표지(LR)와 안전 수역 표지를 포함하는 경우에는, 좌현 표지(LL) 또는 우현 표지(LR)와 안전 수역 표지 사이에 자선의 예정 항로(RT)를 설정해도 된다.

또, 항로 산출부(16)는, 제1 화상(P1) 내의 좌현 표지(LL) 및 우현 표지(LR)의 위치 및 카메라(2)의 촬상 방향으로부터 산출되는 좌현 표지(LL) 및 우현 표지(LR)의 실위치에 의거하여, 좌현 표지(LL)와 우현 표지(LR)의 거리를 항로 폭(W)으로서 산출해도 된다. 산출된 항로 폭(W)은, 표시부(6)에 표시되는 제1 화상(P1) 내에 표시되어도 되고, 전자 해도와 레이더 화상을 합성한 합성 화상(CP) 내에 표시되어도 된다(도 11 참조).

항로 산출부(16)는, 식별된 부표의 표지 내용, 제1 화상(P1) 내의 부표의 위치, 카메라(2)의 촬상 방향, 및 자선 위치에 의거하여, 자선이 경유해야 할 변침점을 설정해도 된다. 구체적으로는, 항로 산출부(16)는, 식별된 측면 표지 및 방위 부표 등의 표지 내용, 제1 화상(P1) 내의 그들 부표의 위치 및 카메라(2)의 촬상 방향으로부터 산출되는 그들 부표의 실위치, 그리고 자선 위치에 의거하여, 항구에 입항하거나 또는 항구로부터 출항하는 자선의 예정 항로(RT)를 설정하기 위한 1 또는 복수의 변침점(DF)을 설정한다(도 11 참조). 이것에 한정되지 않고, 항로 산출부(16)는, 식별된 고립 장애 표지 또는 특수 표지 등의 표지 내용, 제1 화상(P1) 내의 그들 부표의 위치 및 카메라(2)의 촬상 방향으로부터 산출되는 그들 부표의 실위치, 그리고 자선 위치에 의거하여, 장애물 또는 특별 구역을 피하는 피항 항로를 설정하기 위한 1 또는 복수의 변침점을 설정해도 된다.

항로 산출부(16)는, 식별된 부표의 표지 내용, 카메라(2)의 촬상 방향, 및 자선의 선수 방위에 의거하여, 자선이 항행해야 할 방위를 설정해도 된다. 예를 들면, 항로 산출부(16)는, 시계열의 복수의 제1 화상(P1) 내에 측면 부표 등의 부표가 계속해서 포함되도록, 자선이 항행해야 할 방위를 유지 내지 조정한다. 또, 항로 산출부(16)는, 제1 화상(P1) 내의 부표의 위치도 추가로 이용하여, 좌현 표지와 우현 표지 사이를 향하도록, 또는 복수의 좌현 표지 또는 우현 표지를 따른 방향을 향하도록, 자선이 항행해야 할 방위를 설정해도 된다.

항로 산출부(16)는, 식별된 부표의 표지 내용에 더하여, 추가로 가상 표지의 위치 및 표지 내용에 의거하여 자율 항행 제어를 행하기 위한 목표 침로, 즉 방위나 변침점, 항로를 산출해도 된다. 구체적으로는, 항로 산출부(16)는, 가상 좌현 표지(VL) 및 가상 우현 표지(VR)의 데이터가 취득된 경우에, 제1 화상(P1) 내에서 식별된 좌현 표지(LL)와 우현 표지(LR) 사이뿐만 아니라, 가상 좌현 표지(VL)와 가상 우현 표지(VR) 사이도 지나도록 자선의 예정 항로(RT)를 설정해도 된다.

정합 판정부(18)는, 식별된 부표의 표지 내용, 제1 화상(P1) 내의 부표의 위치, 카메라(2)의 촬상 방향, 및 자선 위치에 의거하여, 부표의 표지 내용과 전자 해도에 기록된 항로 표지 데이터가 나타내는 표지 내용의 정합성을 판정한다. 구체적으로는, 정합 판정부(18)는, 제1 화상(P1) 내의 부표의 위치, 카메라(2)의 촬상 방향, 및 자선 위치로부터 부표의 실위치를 산출함과 더불어, 전자 해도에 기록된 항로 표지 데이터로부터 부표의 실위치에 대응하는 항로 표지 데이터를 추출하고, 식별된 부표의 표지 내용과 추출된 항로 표지 데이터가 나타내는 표지 내용이 일치하는지의 여부를 판정한다.

표시 제어부(15)는, 정합 판정부(18)에 의한 판정 결과를, 제1 화상(P1), 전자 해도, 또는 레이더 화상 등에 표시한다. 예를 들면, 표시 제어부(15)는, 표시부(6)에 표시하는 제1 화상(P1)(도 10 참조) 또는 합성 화상(CP)(도 11 참조) 등에, 정합의 유무를 나타내는 심벌을 부표와 관련지어 표시한다. 또는, 표시 제어부(15)는, 정합을 취한 부표에만, 표지 내용을 나타내는 심벌(도 10의 심벌(ML, MR) 또는 도 11의 심벌(TL, TR) 등)을 표시해도 된다.

항로 표지 식별 장치(1)의 구성은, 상기 도 3에 나타낸 예에 한정되지 않는다. 예를 들면 도 12에 나타내는 바와 같이, 제2 취득부(13A)는, 제1 화상의 부분 영역을 고해상도화함으로써 제2 화상을 취득하는 화상 처리부여도 된다. 이와 같이 고해상도화를 행함으로써, 제1 화상보다 분해능이 높은 제2 화상이 취득된다.

이것에 한정되지 않고, 제1 취득부(11)가, 카메라(2)에 의해 생성된 원화상을 씨닝 처리 또는 평균 처리함으로써 제1 화상을 취득하고, 제2 취득부(13)가, 제1 화상의 부분 영역에 대응하는 영역을 원화상으로부터 잘라냄으로써 제2 화상을 취득해도 된다. 이에 의해, 제1 화상보다 분해능이 높은 제2 화상이 취득된다.

또, 도 13에 나타내는 바와 같이, 제2 취득부(13B)는, 카메라(2)보다 분해능이 높은 보조 카메라(3)로 하여금 제1 화상의 부분 영역에 대응하는 실공간의 범위를 촬상하게 함으로써, 제2 화상을 취득하는 카메라 제어부여도 된다. 이와 같이 보조 카메라(3)를 이용함으로써, 제1 화상보다 분해능이 높은 제2 화상이 취득된다.

보조 카메라(3)는, 상기 도 3에 나타낸 카메라(2)와 동일하게, 광학 줌 기능을 실현하는 렌즈부(31)와, 팬·틸트 기능을 실현하는 팬·틸트 기구(32)를 구비하고 있다. 보조 카메라(3)의 렌즈부(31)는, 카메라(2)의 렌즈부(21)보다 배율이 높다.

[제1 변형예]

이하, 제1 변형예에 대해 설명한다. 상기 실시 형태와 중복되는 구성 내지 처리에 대해서는, 같은 부호를 붙임으로써 상세한 설명을 생략하는 경우가 있다.

측면 부표는, 나라에 따라 좌현 표지와 우현 표지의 해석이 반대가 되는 경우가 있다. 이에, 본 변형예에서는, 이하에 설명하는 바와 같이 하여, 자선 위치에 상관없이 좌현 표지와 우현 표지를 판별하고 있다.

도 14는, 제1 변형예에 따른 제2 식별부(14A)의 구성예를 나타내는 블록도이다. 동 도면은, 제2 식별부(14A)에 있어서 실현되는 기능부 중, 측면 부표의 표지 내용을 식별하기 위한 기능부를 주로 나타내고 있다.

제2 식별부(14A)는, 색 식별부(31), 형상 식별부(32), 나라 판정부(33), 및 좌우현 판정부(34)를 구비하고 있다. 색 식별부(31) 및 형상 식별부(32)는, 양태 식별부의 예이다.

상기 도 3에 나타낸 제1 식별부(12)(종별 식별부)에 의해 식별된 부표의 종별이 측면 부표인 경우에, 제2 식별부(14A)의 기능부가, 제2 화상(P2)(도 6 참조)에 포함되는 측면 부표의 표지 내용을 식별한다.

도 15는, 제2 식별부(14A)에 의해 실현되는, 제1 변형예에 따른 좌우현 표지 식별 처리 S22의 순서예를 나타내는 플로 도면이다. 항로 표지 식별 장치(1)는, 동 도면에 나타내는 정보 처리를 프로그램에 따라 실행한다.

좌우현 표지 식별 처리 S22는, 상기 도 8에 나타낸 S22에 대응한다. 즉, 항로 표지 식별 장치(1)는, 상기 도 7에 나타낸 S12에 있어서 식별된 부표의 종별이 측면 부표인 경우에, 좌우현 표지 식별 처리 S22를 실행한다.

우선, 항로 표지 식별 장치(1)는, 제2 화상(P2)에 포함되는 측면 부표의 색이 녹색 및 적색 중 어느 것인지 식별한다(S31：색 식별부(31)로서의 처리). 녹색 및 적색은, 제1 양태 및 제2 양태의 예이다.

다음에, 항로 표지 식별 장치(1)는, 제2 화상(P2)에 포함되는 측면 부표의 톱 마크가 원통형 및 원뿔형 중 어느 것인지 식별한다(S32：형상 식별부(32)로서의 처리). 원통형 및 원뿔형은, 제1 양태 및 제2 양태의 예이다.

색 식별 및 톱 마크의 형상의 식별은, 상기 실시 형태와 동일하게, 학습 완료 모델을 이용하여 행해진다. 예를 들면, 색 및 톱 마크의 형상의 양쪽을 식별하는 학습 완료 모델이 이용되어도 되고, 색을 식별하는 학습 완료 모델과 톱 마크의 형상을 식별하는 학습 완료 모델이 개별적으로 이용되어도 된다.

다음에, 항로 표지 식별 장치(1)는, GNSS 수신기(7)(도 1 참조)에 의해 검출된 자선의 검출 위치가 속하는 나라를 판정한다(S33：나라 판정부(33)로서의 처리). 예를 들면, 항로 표지 식별 장치(1)는, 자선의 검출 위치의 좌표가 어느 나라의 영해 내에 포함되는지, 해도 데이터에 의거하여 판정한다.

다음에, 항로 표지 식별 장치(1)는, 나라별 좌우현 양태 테이블을 참조하여, S31에서 식별된 색, S32에서 식별된 톱 마크의 형상, 및 S33에서 판정된 나라로부터, 측면 부표의 표지 내용이 좌현 표지 및 우현 표지 중 어느 것인지 판정한다(S34：좌우현 판정부(34)로서의 처리).

도 16은, 나라별 좌우현 양태 테이블의 예를 나타내는 도면이다. 나라별 좌우현 양태 테이블은, 부표의 양태와 표지 내용의 대응 관계를 나타내는 테이블이며, 항로 표지 식별 장치(1)의 불휘발성 메모리에 형성된다.

구체적으로는, 나라별 좌우현 양태 테이블은, 측면 부표의 색에 있어서의 녹색 및 적색이 각 나라에 있어서 좌현 표지 및 우현 표지 중 어느 것에 대응하는지를 나타낸다. 또, 나라별 좌우현 양태 테이블은, 톱 마크의 형상에 있어서의 원통형 및 원뿔형이 각 나라에 있어서 좌현 표지 및 우현 표지 중 어느 것에 대응하는지도 나타낸다.

이상으로 설명한 제1 변형예에 의하면, 측면 부표의 표지 내용에 대해, 자선 위치에 상관없이 좌현 표지와 우현 표지를 판별하는 것이 가능해진다.

[제2 변형예]

이하, 제2 변형예에 대해 설명한다. 상기 실시 형태와 중복되는 구성 내지 처리에 대해서는, 같은 부호를 붙임으로써 상세한 설명을 생략하는 경우가 있다.

부표의 종별 및 표지 내용은, 부표의 색, 톱 마크의 형상, 및 발광 방식 등의 요소에 의해 식별이 가능한데, 화상으로부터 표지 내용을 직접 식별할 경우, 각 요소의 기여를 알 수 없어, 식별 정밀도가 충분하지 않은 경우가 있다. 이에, 본 변형예에서는, 이하에 설명하는 바와 같이 하여, 표지 내용의 식별 정밀도의 향상을 도모하고 있다.

도 17은, 제2 변형예에 따른 제2 식별부(14B)의 구성예를 나타내는 블록도이다. 제2 식별부(14B)는, 색 식별부(41), 제1 후보 판정부(42), 형상 식별부(43), 제2 후보 판정부(44), 발광 방식 식별부(45), 제3 후보 판정부(46), 및 표지 내용 결정부(47)를 구비하고 있다.

도 18은, 제2 식별부(14B)에 의해 실현되는, 제2 변형예에 따른 표지 내용 식별 처리 S15의 순서예를 나타내는 플로 도면이다. 항로 표지 식별 장치(1)는, 동 도면에 나타내는 정보 처리를 프로그램에 따라 실행한다. 표지 내용 식별 처리 S15는, 상기 도 7에 나타낸 S15에 대응한다.

도 19는, 부표의 표지 내용에 대응하는 색, 톱 마크의 형상, 및 발광 방식을 나타내는 도면이다. 부표의 표지 내용은, 부표의 색, 톱 마크의 형상, 및 발광 방식에 따라 분류된다. 발광 방식이란, 점등과 소등의 시간 패턴이다.

도 18에 나타내는 바와 같이, 우선, 항로 표지 식별 장치(1)는, 제2 화상(P2)에 포함되는 부표의 색 후보를 식별한다(S41：색 식별부(41)로서의 처리). 구체적으로는, 항로 표지 식별 장치(1)는, 학습 완료 모델을 이용하여, 제2 화상(P2) 내의 부표의 색 후보를 식별한다. 또, 항로 표지 식별 장치(1)는, 색 후보와 함께, 색 후보의 확실함을 나타내는 제1 확실도를 산출한다.

다음에, 항로 표지 식별 장치(1)는, 식별된 색 후보에 대응하는 부표의 표지 내용의 제1 후보를 판정한다(S42：제1 후보 판정부(42)로서의 처리). 구체적으로는, 항로 표지 식별 장치(1)는, 색과 표지 내용의 대응 관계를 나타내는 테이블을 참조하여, 색 후보에 대응하는 표지 내용을 제1 후보로서 판정한다.

다음에, 항로 표지 식별 장치(1)는, 제2 화상(P2)에 포함되는 부표의 톱 마크의 형상 후보를 식별한다(S43：형상 식별부(43)로서의 처리). 구체적으로는, 항로 표지 식별 장치(1)는, 학습 완료 모델을 이용하여, 제2 화상(P2) 내의 부표의 톱 마크의 형상 후보를 식별한다. 또, 항로 표지 식별 장치(1)는, 형상 후보와 함께, 형상 후보의 확실함을 나타내는 제2 확실도를 산출한다.

다음에, 항로 표지 식별 장치(1)는, 식별된 형상 후보에 대응하는 부표의 표지 내용의 제2 후보를 판정한다(S44：제2 후보 판정부(44)로서의 처리). 구체적으로는, 항로 표지 식별 장치(1)는, 형상과 표지 내용의 대응 관계를 나타내는 테이블을 참조하여, 형상 후보에 대응하는 표지 내용을 제2 후보로서 판정한다.

다음에, 항로 표지 식별 장치(1)는, 시계열의 복수의 제2 화상(P2)으로부터 부표의 발광 방식 후보를 식별한다(S45：발광 방식 식별부(45)로서의 처리). 항로 표지 식별 장치(1)는, 소정의 룰에 따라 부표의 발광 방식 후보를 식별한다.

구체적으로는, 항로 표지 식별 장치(1)는, 시계열의 복수의 제2 화상(P2)으로부터 부표의 점등과 소등의 시간 패턴을 추출하고, 미리 기억된 복수의 표준 시간 패턴 중으로부터, 추출한 시간 패턴과 가장 유사한 표준 시간 패턴을 발광 방식 후보로 한다. 표준 시간 패턴은, 각 표지 내용의 발광 방식(도 19 참조)에 의거하여 작성된다.

또, 항로 표지 식별 장치(1)는, 발광 방식 후보와 함께, 발광 방식 후보의 확실함을 나타내는 제3 확실도를 산출한다. 구체적으로는, 항로 표지 식별 장치(1)는, 추출한 시간 패턴과 발광 방식 후보가 된 표준 시간 패턴의 유사도를, 제3 확실도로서 산출한다.

다음에, 항로 표지 식별 장치(1)는, 식별된 발광 방식 후보에 대응하는 부표의 표지 내용의 제3 후보를 판정한다(S46：제3 후보 판정부(46)로서의 처리). 구체적으로는, 항로 표지 식별 장치(1)는, 발광 방식 후보가 된 표준 시간 패턴에 대응하는 표지 내용을, 제3 후보로서 판정한다.

다음에, 항로 표지 식별 장치(1)는, 현재 시각이 주간인지 야간인지 판정하고(S47), 주간인 경우에는 주간용 판정 기준을 적용하고(S48), 야간인 경우에는 야간용 판정 기준을 적용한다(S49). 현재 시각은, 카메라(2)에 의해 화상이 생성된 시각이다. 판정 기준은, 부표의 표지 내용을 결정하기 위한 판정 기준이다.

다음에, 항로 표지 식별 장치(1)는, S42에서 판정된 표지 내용의 제1 후보, S44에서 판정된 표지 내용의 제2 후보, 및 S46에서 판정된 표지 내용의 제3 후보에 의거하여, 부표의 표지 내용을 결정한다(S50：표지 내용 결정부(47)로서의 처리).

구체적으로는, 항로 표지 식별 장치(1)는, 제1 후보, 제2 후보, 및 제3 후보 중 적어도 2개가 동일한 표지 내용인 경우에, 당해 동일한 표지 내용을 부표의 표지 내용으로서 결정한다. 예를 들면, 제1 후보, 제2 후보, 및 제3 후보 중 2개가 좌현 표지이고, 나머지 1개가 우현 표지인 경우에는, 좌현 표지가 표지 내용으로서 결정된다.

또, 항로 표지 식별 장치(1)는, 제1 확실도, 제2 확실도, 및 제3 확실도에 의거하여, 부표의 표지 내용을 결정해도 된다. 예를 들면, 제1 확실도, 제2 확실도, 및 제3 확실도 중 가장 높은 확실도에 대응하는 후보가, 표지 내용으로서 결정된다. 또, 복수의 후보가 동일한 표지 내용을 나타내는 경우, 그들에 대응하는 확실도가 모두 더해져도 된다.

항로 표지 식별 장치(1)는, 주간용 판정 기준과 야간용 판정 기준으로, 제1 확실도, 제2 확실도, 및 제3 확실도 각각에 부여하는 가중치를 변경한다. 예를 들면, 주간에는 밝은 환경에서 보이기 쉬운 부표의 색 및 톱 마크의 형상에 관한 후보를 우선하고, 야간에는 어두운 환경에서도 보이기 쉬운 부표의 발광 방식에 관한 후보를 우선한다.

즉, 주간용 판정 기준에서는, 부표의 색 및 톱 마크의 형상에 관한 제1 및 제2 확실도의 가중치를, 부표의 발광 방식에 관한 제3 확실도의 가중치보다 높게 한다. 반대로, 야간용 판정 기준에서는, 부표의 발광 방식에 관한 제3 확실도의 가중치를, 부표의 색 및 톱 마크의 형상에 관한 제1 및 제2 확실도의 가중치보다 높게 한다.

또한, 본 변형예에 따른 표지 내용의 결정 수법은, 측면 표지 및 방위 표지뿐만 아니라, 고립 장애 표지, 안전 수역 표지, 및 특수 표지에도 적용되어도 된다.

이상, 본 발명의 실시 형태에 대해 설명했는데, 본 발명은 이상에 설명한 실시 형태에 한정되는 것은 아니고, 다양한 변경이 당업자에게 있어서 가능한 것은 물론이다.

1: 항로 표지 식별 장치 2: 카메라
3: 레이더 4: AIS
5: 무선 통신부 6: 표시부
7: GNSS 수신기 8: 자이로 컴퍼스
9: ECDIS 10: 자동 조타 장치
11: 제1 취득부 12: 제1 식별부
13: 제2 취득부 14: 제2 식별부
15: 표시 제어부 16: 항로 산출부
17: 모델 기억부 21: 렌즈부
22: 팬·틸트 기구 31: 색 식별부
32: 형상 식별부 33: 나라 판정부
34: 좌우현 판정부 41: 색 식별부
42: 제1 후보 판정부 43: 형상 식별부
44: 제2 후보 판정부 45: 발광 방식 식별부
46: 제3 후보 판정부 47: 표지 내용 결정부
100: 자율 항행 시스템

Claims

선박에 설치되는 카메라에 의해 생성된 화상을 취득하는 취득부와,
상기 화상에 포함되는 측면 부표의 양태가 제1 양태 및 제2 양태 중 어느 것인지 식별하는 양태 식별부와,
상기 선박의 위치를 검출하는 위치 검출부에 의해 검출된 위치가 속하는 나라를 판정하는 나라 판정부와,
상기 제1 양태 및 상기 제2 양태가 각 나라에 있어서 좌현 표지 및 우현 표지 중 어느 것에 대응하는지를 나타내는 소정의 대응 관계에 의거하여, 상기 측면 부표의 양태 및 상기 판정된 나라로부터, 상기 측면 부표의 표지 내용이 좌현 표지 및 우현 표지 중 어느 것인지 판정하는 좌우현 판정부
를 구비하는, 항로 표지 식별 장치.
청구항 1에 있어서,
상기 양태 식별부는, 상기 측면 부표의 색이 녹색 및 적색 중 어느 것인지 식별하는, 항로 표지 식별 장치.
청구항 1 또는 청구항 2에 있어서,
상기 양태 식별부는, 상기 측면 부표의 톱 마크가 원통형 및 원뿔형 중 어느 것인지 식별하는, 항로 표지 식별 장치.
청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
상기 화상 내의 부표의 종별을 식별하는 종별 식별부를 더 구비하고,
상기 양태 식별부는, 상기 부표의 종별이 측면 부표인 경우에, 상기 측면 부표의 양태를 식별하는, 항로 표지 식별 장치.
청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
상기 측면 부표의 표지 내용, 상기 제1 화상 내의 상기 측면 부표의 위치, 및 상기 카메라의 촬상 방향에 의거하여, 상기 제1 화상, 전자 해도, 또는 레이더 화상 상에 상기 측면 부표의 표지 내용을 나타내는 심벌을 표시하는 표시 제어부를 더 구비하는, 항로 표지 식별 장치.
청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
상기 측면 부표의 표지 내용, 상기 제1 화상 내의 상기 측면 부표의 위치, 상기 카메라의 촬상 방향, 및 상기 선박의 위치에 의거하여, 상기 측면 부표의 표지 내용과 전자 해도에 기록된 항로 표지 데이터가 나타내는 표지 내용의 정합성을 판정하는 정합 판정부를 더 구비하는, 항로 표지 식별 장치.
청구항 6에 있어서,
상기 정합성의 판정 결과를, 상기 제1 화상, 상기 전자 해도, 또는 레이더 화상 상에 표시하는 표시 제어부를 더 구비하는, 항로 표지 식별 장치.
청구항 1 내지 청구항 7 중 어느 한 항에 기재된 항로 표지 식별 장치와,
복수의 상기 측면 부표의 표지 내용이, 좌현 표지, 우현 표지, 및 안전 수역 표지 중 적어도 2개를 포함하는 경우에, 상기 제1 화상 내의 상기 측면 부표의 위치 및 상기 카메라의 촬상 방향에 의거하여, 상기 선박의 항로 또는 항로 폭을 산출하는 항로 산출부
를 구비하는, 자율 항행 시스템.
청구항 1 내지 청구항 7 중 어느 한 항에 기재된 항로 표지 식별 장치와,
가상 표지의 위치 및 표지 내용을 나타내는 데이터를 취득하는 가상 표지 취득부와,
상기 측면 부표의 표지 내용, 상기 가상 표지의 위치, 및 상기 가상 표지의 표지 내용에 의거하여 상기 선박의 항로 또는 항로 폭을 산출하는 항로 산출부
를 구비하는, 자율 항행 시스템.
청구항 1 내지 청구항 7 중 어느 한 항에 기재된 항로 표지 식별 장치와,
상기 선박의 위치를 검출하는 위치 검출부와,
상기 측면 부표의 표지 내용, 상기 제1 화상 내의 상기 측면 부표의 위치, 상기 카메라의 촬상 방향, 및 상기 선박의 위치에 의거하여, 상기 선박이 경유해야 할 변침점을 설정하는 항로 산출부
를 구비하는, 자율 항행 시스템.
청구항 1 내지 청구항 7 중 어느 한 항에 기재된 항로 표지 식별 장치와,
상기 선박의 선수 방위를 검출하는 방위 검출부와,
상기 측면 부표의 표지 내용, 상기 카메라의 촬상 방향, 및 상기 선박의 선수 방위에 의거하여, 상기 선박이 항행해야 할 방위를 설정하는 항로 산출부
를 구비하는, 자율 항행 시스템.
청구항 8 내지 청구항 11 중 어느 한 항에 있어서,
상기 측면 부표의 표지 내용에 의거하여 자율 항행 제어를 행하는 자동 조타 장치를 더 구비하는, 자율 항행 시스템.
선박에 설치되는 카메라에 의해 생성된 화상을 취득하고,
상기 화상에 포함되는 측면 부표의 양태가 제1 양태 및 제2 양태 중 어느 것인지 식별하고,
상기 선박의 위치를 검출하는 위치 검출부에 의해 검출된 위치가 속하는 나라를 판정하고,
상기 제1 양태 및 상기 제2 양태가 각 나라에 있어서 좌현 표지 및 우현 표지 중 어느 것에 대응하는지를 나타내는 소정의 대응 관계에 의거하여, 상기 측면 부표의 양태 및 상기 판정된 나라로부터, 상기 측면 부표의 표지 내용이 좌현 표지 및 우현 표지 중 어느 것인지 판정하는,
항로 표지 식별 방법.
선박에 설치되는 카메라에 의해 생성된 화상을 취득하는 것,
상기 화상에 포함되는 측면 부표의 양태가 제1 양태 및 제2 양태 중 어느 것인지 식별하는 것,
상기 선박의 위치를 검출하는 위치 검출부에 의해 검출된 위치가 속하는 나라를 판정하는 것,
및,
상기 제1 양태 및 상기 제2 양태가 각 나라에 있어서 좌현 표지 및 우현 표지 중 어느 것에 대응하는지를 나타내는 소정의 대응 관계에 의거하여, 상기 측면 부표의 양태 및 상기 판정된 나라로부터, 상기 측면 부표의 표지 내용이 좌현 표지 및 우현 표지 중 어느 것인지 판정하는 것,
을 컴퓨터로 하여금 실행하게 하기 위한, 프로그램.