KR101880437B1 - 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템 - Google Patents

실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템 Download PDF

Info

Publication number
KR101880437B1
KR101880437B1 KR1020160142424A KR20160142424A KR101880437B1 KR 101880437 B1 KR101880437 B1 KR 101880437B1 KR 1020160142424 A KR1020160142424 A KR 1020160142424A KR 20160142424 A KR20160142424 A KR 20160142424A KR 101880437 B1 KR101880437 B1 KR 101880437B1
Authority
KR
South Korea
Prior art keywords
image
information
camera image
virtual camera
ship
Prior art date
Application number
KR1020160142424A
Other languages
English (en)
Other versions
KR20180046803A (ko
Inventor
박세길
오재용
김선영
Original Assignee
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양과학기술원 filed Critical 한국해양과학기술원
Priority to KR1020160142424A priority Critical patent/KR101880437B1/ko
Publication of KR20180046803A publication Critical patent/KR20180046803A/ko
Application granted granted Critical
Publication of KR101880437B1 publication Critical patent/KR101880437B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • G08G3/02—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B35/00—Vessels or similar floating structures specially adapted for specific purposes and not otherwise provided for
    • B63B2035/006—Unmanned surface vessels, e.g. remotely controlled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B2213/00—Navigational aids and use thereof, not otherwise provided for in this class
    • B63B2213/02—Navigational aids and use thereof, not otherwise provided for in this class using satellite radio beacon positioning systems, e.g. the Global Positioning System GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Ocean & Marine Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 데이터 전송을 최소로 하기 위하여 실제카메라 영상의 확장된 영역에 대한 영상을 가상 현실로 구현하여 무인선 관제를 수행할 수 있도록 하는 실제카메라 영상과 가상 카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제 시스템에 관한 것이다.
상기 무인선 관제시스템은, 무인선에 설치되어 주변 영상을 촬영하여 전송하는 실제카메라부; 상기 무인선에 설치되어 무인선의 위치, 진행방향, 속도를 포함하는 운항정보와 주변선박 정보를 감지하여 전송하는 센서부; 상기 실제카메라부에서 전송되는 실제카메라영상을 수신한 후 실제카메라영상 출력을 제어하는 실제카메라서버; 상기 센서부의 감지 데이터를 전송 받은 후 상기 실제카메라 영상의 확장된 영역에 대한 배경영상을 생성하고, 수신된 센서부의 감지 데이터에 포함되는 객체를 추출한 후 상기 배경영상에 합성하여 가상카메라영상을 생성한 후 가상카메라영상의 출력을 제어하는 가상카메라서버; 가상카메라영상의 생성을 위한 3차원 형상모델 데이터와 운항지원정보와 선박정보를 저장하는 공간데이터베이스(공간DB); 및 상기 실제카메라서버와 가상카메라서버의 영상을 출력하는 디스플레이부;를 포함하여 구성된다.

Description

실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템{UNMANNED SURFACE VEHICLE CONTROL SYSTEM FOR PROVIDING WIDE VIEWING ANGLE USING REAL CAMERA IMAGE AND VIRTUAL CAMERA IMAGE}
본 발명은 무인선 관제 시스템에 관한 것으로서, 더욱 상세하게는, 데이터 전송을 최소로 하기 위하여 실제카메라 영상의 확장된 영역에 대한 영상을 센서정보를 이용하여 생성한 가상카메라영상으로 구현하여 무인선 관제를 수행할 수 있도록 하는 실제카메라 영상과 가상 카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제 시스템에 관한 것이다.
무인선은 사람이 승선하지 않는 선박으로 임무 달성을 위한 감시 및 제어가 원격의 무인선 관제센터에서 이루어지며, 무인선 관제센터의 무인선 운용자는 무인선에 탑재된 열 센서 정보를 바탕으로 현 상황을 파악하고 운용하게 된다. 이때 무인선 운용자에게 가장 직관적인 상황 파악 수단은 카메라 영상이다.
그러나 무인선 관제센터에서 무인선의 카메라 영상을 전송받는 작업은 매우 큰 통신 대역폭을 요구하기 때문에 여러 대의 카메라를 장착하여 운용하기가 어려운 것이 현실이다. 따라서 관제소의 운용자는 1대 또는 2대의 카메라로부터 제공 받은 매우 제한적인 시야각의 영상을 통해 무인선의 현 상황을 파악하며 무인선을 원격제어 해야 하므로 무인선 운항 시 안전성과 제어 효율이 저하되는 문제점을 가진다.
한국공개특허 10-2010-0008652 한국등록특허 10-0734814
따라서 본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로서, 무인선으로부터 실제 카메라 영상과 센서 수집 데이터를 수신한 후, 실제 카메라 영상을 디스플레이함과 동시에 센서 수집 데이터를 이용하여 실제 카메라 영상의 확장된 영역에 대한 가상카메라 영상을 생성하여 실제카메라 영상과 함께 다수의 디스플레이 장치에 표시하여 줌으로써, 원격의 무인선 관제센터의 운영자가 넓은 시야각으로 무인선에 대한 관제를 수행할 수 있도록 하는 실제카메라 영상과 가상 카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제 시스템을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명의 무인선 관제시스템은,
무인선에 설치되어 주변 영상을 촬영하여 전송하는 실제카메라부;
상기 무인선에 설치되어 무인선의 위치, 진행방향, 속도를 포함하는 운항정보와 주변선박 정보를 감지하여 전송하는 센서부;
상기 실제카메라부에서 전송되는 실제카메라영상을 수신한 후 실제카메라영상 출력을 제어하는 실제카메라서버;
상기 센서부의 감지 데이터를 전송 받은 후 상기 실제카메라 영상의 확장된 영역에 대한 배경영상을 생성하고, 수신된 센서부의 감지 데이터에 포함되는 객체를 추출한 후 상기 배경영상에 합성하여 가상카메라영상을 생성한 후 가상카메라영상의 출력을 제어하는 가상카메라서버;
가상카메라영상의 생성을 위한 3차원 형상모델 데이터와 운항지원정보와 선박정보를 저장하는 공간데이터베이스(공간DB); 및
상기 실제카메라서버와 가상카메라서버의 영상을 출력하는 디스플레이부;를 포함하여 구성된다.
상기 센서부는,
무인선의 위치 정보를 검출하는 GPS;
무인선의 이동 방향을 검출하는 자이로센서;
무인선 자세 보정을 위한 가속도센서;
무인선의 주변 물체의 탐지를 위한 레이터(RADAR);
무인선의 주변 물체의 탐지를 위한 LIDAR; 및
무인선의 주변 선박 정보를 수신하는 AIS;를 포함하여 구성될 수 있다.
상기 실제카메라서버는,
상기 무인선의 실제카메라부에서 촬영되어 전송된 실제카메라영상을 상기 디스플레이부로 출력하는 실제카메라영상생성부; 및
외부와 통신을 수행하는 실제카메라서버통신부;를 포함하여 구성될 수 있다.
상기 가상카메라서버는,
상기 무인선으로부터 수신된 상기 무인선의 위치정보, 상기 무인선의 진행방향 정보 및 실제카메라의 촬영 영상 정보를 이용하여 실제카메라의 촬영 영상을 확장한 영역에 대한 배경영상을 상기 공간DB로부터 추출하여 생성하는 배경영상생성부;
상기 센서부로부터 전송된 주변 구조물 및 선박 정보를 이용하여 배경영상 내에 포함되는 구조물과 선박 객체를 추출하여 생성하는 객체생성부;
상기 배경영상에 상기 객체를 정합하여 가상카메라영상을 생성한 후 상기 디스플레이부로 출력하는 가상카메라영상생성부; 및
외부와 통신을 수행하는 가상카메라서버통신부;를 포함하여 구성될 수 있다.
상기 가상카메라영상생성부는, 상기 객체 대상의 선박정보가 선종별로 그룹화한 후 각 선종 그룹별 대표 3차원 형상 모델을 포함하는 경우, AIS 및 카메라 명상 등의 센서 정보를 활용하여 선박 제원을 식별하고 유추한 후, 선박의 종류에 해당하는 선박의 대표 3차원 형상 모델을 식별되고 유추된 타선의 크기로 스케일링하여 배경이미지에 합성될 선박에 대응하는 객체로 생성하도록 구성될 수도 있다.
상기 가상카메라영상생성부는, 상기 AIS의 정보가 불확실한 경우에는 실제카메라의 영상을 분석한 후 선박의 종류 및 크기를 식별하고 유추하고, 식별 또는 유추된 타선의 정보를 일정 시간 및 일정 항해 거리 이내에서는 지속적으로 타선 목록 및 정보로 유지하며, 식별 또는 유추된 타선이 실제카메라영상의 시야 범위를 벗어난 가상카메라영상의 시야 범위로 들어가는 경우에는 저장된 타선 정보에 대응하는 선박의 대표 3차원 형상 모델을 스케일링하여 배경이미지에 합성하도록 구성될 수도 있다.
상기 3차원형상모델데이터는, 선박, 항로표지, 대상 공간 내의 지형, 구조물 정보를 포함한다.
상기 운항지원정보는, 지명, 수심, 조류, 안전정보을 포함한다.
상기 공간DB에 저장되는 선박정보는,
가상카메라영상의 생성 시 AIS 및 카메라 촬영 정보를 기준으로 하여 유추하고 스케일링하여 전시될 선박을 선종별로 그룹화한 선박들의 정보를 포함한다. 이때, 상기 선박정보는 선박을 선종별로 그룹화한 후 각 선종 그룹별 대표 3차원 형상 모델을 더 포함할 수 있다.
상기 디스플레이부는,
상기 실제카메라서버에서 제공되는 실제카메라영상을 출력하는 실제 카메라 영상 디스플레이; 및
상기 가상카메라서버에서 제공되는 하나 이상의 가상카메라영상을 출력하도록 상기 실제 카메라 영상 디스플레이의 인접 영역에 배치되는 하나 이상의 가사카메라영상디스플레이;를 포함하여 구성될 수 있다.
상기 가상카메라영상은,
상기 실제카메라의 팬틸트줌(PTZ)의 조작신호에 동기되어 생성되는 것에 의해 실제카메라영상과 가상카메라영상이 하나의 영상처럼 표시되도록 생성되는 것을 특징으로 한다.
상술한 구성의 본 발명은, 무인선의 원격 관제를 수행하는 때에, 센서부의 측정 정보를 이용하여 가상카메라 영상을 생성하여 실제 카메라 촬영 영상을 확장할 수 있도록 하는 것에 의해, 적은 전송 데이터를 이용하여 넓은 시야각을 가지는 무인선 관제를 위한 카메라 영상을 생성할 수 있도록 함으로써, 무인선의 관제의 안전성 및 효율성을 현저히 향상시키는 효과를 제공한다.
도 1은 본 발명의 실시예에 따르는 무인선 관제시스템의 구성도.
도 2는 도 1의 무인선 관제시스템의 구성 중 실제카메라서버(100)의 기능 블록 구성도.
도 3은 도 1의 무인선 관제시스템의 구성 중 가상카메라서버(200)의 기능 블록 구성도.
도 4는 도 1의 무인선 관제시스템의 구성 중 공간DB(300)의 구성도.
하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 또한, 본 명세서에서 단어 "예시적인" 은 "예로서, 일례로서, 또는 예증으로서 역할을 한다."라는 것을 의미하기 위해 이용된다. "예시적"으로서 본 명세서에서 설명된 임의의 양태들은 다른 양태들에 비해 반드시 선호되거나 또는 유리하다는 것으로서 해석되어야 하는 것만은 아니다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시예에 따르는 무인선 관제시스템의 구성도이다.
도 1과 같이, 본 발명의 무인선 관제시스템은 무인선(1)에 설치되는 실제카메라부(10)와 센서부(20), 실제카메라서버(100)와 가상카메라서버(200)와 공간DB(300) 및 디스플레이부(400)를 구비한 무인선 관제 센터(2)를 포함하여 구성된다.
상기 무인선(1)에 설치되는 실제카메라부(10)는 EO/IR 카메라 등의 카메라를 가진다. 상기 카메라는 팬틸트줌(PTZ) 기능을 가진다. 또한 상기 실제카메라부(10)는 GPS와 GYRO 센서 등과 연동하여 팬틸트줌(PTZ)에 따라 촬영되는 촬영 영상의 시야각을 도출하여 출력할 수 있도록 구성된다. 이와 같이 도출된 촬영 영상의 시야각은 실제카메라(10)에 의해 촬영된 영역의 확장된 영역에 대한 가상카메라영상의 생성을 위한 배경영상의 추출 시에 사용된다.
상기 무인선(1)에 설치되는 센서부(20)는 GPS센서, GYRO센서, 가속도센서, 레이더(RADAR), LIDAR, AIS통신부를 포함하여 구성된다. 상기 구성의 센서부(20)는 GPS센서를 이용하여 무인선의 위치정보를 획득하고, GYRO센서와 가속도센서를 이용하여 무인선(1)의 이동 방향 및 이동 속도 정보를 획득하며, 레이더와 LIDAR를 이용하여 주변 구조물에 대한 정보를 획득하고, AIS를 이용하여 주변에서 항해하는 선박 정보를 획득하고, 획득된 정보를 실제카메라서버(100)와 가상카메라서버(200)로 전송하도록 구성된다.
상기 무인선 관제센터(2)에 설치되는 상기 실제카메라서버(100)는, 무인선(1)의 실제카메라(10)에서 촬영된 영상을 전송받은 후 저장하고 디스플레이부(400)에 출력하는 것을 제어하도록 구성되는 서버이다.
도 2는 도 1의 무인선 관제시스템의 구성 중 실제카메라서버(100)의 기능 블록 구성도이다. 상술한 기능의 수행을 위해 상기 실제카메라서버(100)는 도 2와 같이, 무인선(1)의 실제카메라부(10)에서 촬영되어 전송된 실제카메라영상을 디스플레이부(400)로 출력하여 실제카메라영상이 출력되도록 하는 실제카메라영상생성부(210)와 외부와 통신을 수행하는 실제카메라서버통신부(220)를 포함하여 구성될 수 있다.
상기 가상카메라서버(200)는 무인선(1)의 센서부(20)에서 획득된 데이터와 실제카메라부(10)에 의해 촬영된 실제카메라 영상을 이용하여 실제카메라영상을 확장할 수 있도록 하는 가상카메라영상을 생성하고 출력을 제어하도록 구성된다.
도 3은 도 1의 무인선 관제시스템의 구성 중 가상카메라서버(200)의 기능 블록 구성도이다.
도 3과 같이, 상술한 가상카메라영상을 생성하고 출력을 제어하기 위하여 상기 가상카메라서버(200)는, 무인선(1)으로부터 수신된 무인선(1)의 위치정보, 무인선의 진행방향 정보 및 실제카메라의 촬영 영상 정보를 이용하여 실제카메라의 촬영 영상을 확장한 영역에 대한 배경영상을 상기 공간DB(400)로부터 추출하여 생성하는 배경영상생성부(210), 센서부(20)로부터 전송된 주변 구조물 및 선박 정보를 이용하여 배경영상 내에 포함되는 구조물과 선박 객체를 추출하여 생성하는 객체생성부(220), 생성된 배경영상에 생성된 객체들을 정합하여 가상카메라영상을 생성한 후 상기 디스플레이부(400)로 출력하는 가상카메라영상생성부(230) 및 외부와 통신을 수행하는 가상카메라서버통신부(240)를 포함하여 구성될 수 있다.
상기 배경영상생성부(210)는 무인선(1)의 GPS정보를 이용하여 무인선(1)의 위치를 식별하고, GYRO 센서와 가속도센서 정보를 이용하여 무인선(1)의 진행 방향을 식별하며, 실제카메라부(10)에서 전송되는 팬틸트줌(PTZ)정보를 적용하여 실제카메라영상의 시야각을 산출한 후, 실제카메라영상의 좌우 또는 상하부의 확장된 영역에 대한 동일한 시야각의 배경영상을 공간DB(300)에서 추출하여 가상현실영상과 같이 생성하도록 구성된다. 이때, 상기 가상카메라영상은, 실제카메라(10)의 팬틸트줌(PTZ)의 조작신호에 동기되어 생성되는 것에 의해 실제카메라영상과 가상카메라영상이 하나의 영상처럼 표시되도록 생성될 수 있다.
상기 객체생성부(220)는 상기 레이더 감지 정보, LIDAR 감지 정보 및 AIS 정보를 이용하여 주변의 구조물들과 선박들을 식별한 후 식별된 구조물과 선박들의 객체를 공간DB(300)에서 추출하고, 감지 거리 및 이동 방향에 따라 선박 이미지의 스케일링을 수행하고, 진행 방향정보로 3차원 회전시킨 객체들을 생성하도록 구성된다.
상기 구성의 실제카메라서버(100)와 가상카메라서버(200)는 입력부, 출력부, 중앙처리장치, 저장부 및 통신부를 구비하는 서버컴퓨터로 구성될 수 있으며 그 하드웨어적 구성의 상세한 설명은 생략한다.
도 4는 도 1의 무인선 관제시스템의 구성 중 공간DB(300)의 구성도이다.
도 4와 같이, 상기 공간DB(300)는 가상카메라영상의 생성을 위한 데이터를 저장하는 것으로서, 3차원 형상 모델링DB(310), 운항지원정보DB(320) 및 선박DB(330)를 포함하여 구성된다.
상기 3차원 형상모델링DB(310)는 전자해도정보, GIS정보, 지명, 항로표지, 선박, 대상 공간 내의 지형 및 구조물을 포함하는 3차원 형상모델 데이터를 저장한다.
상기 운항지원정보DB(320)는 전자해도 정보, 지명, 항로표지, 수심, 조류, 기타 안전 정보 등의 운항지원정보데이터를 저장한다.
상기 선박DB(330)는 선박들을 선종별로 그룹화한 선박정보데이터를 저장하여, 가상카메라영상의 생성 시 RADAR, LIDAR 또는 AIS에 의해 식별된 선박의 객체를 생성할 수 있도록 한다. 이때, 가상 카메라 영상에 타선(자선을 제외한 모든 선박)을 전시하려면 미리 타선에 대한 3차원 형상 모델을 준비해 두어야 한다. 그러나 모든 선박들에 대해 모델을 미리 준비해 두는 것은 매우 어렵고 비효율적일 수 있다. 이러한 비효율성의 개선을 위해 본 발명의 선박DB(330)는 선박을 선종별로 그룹화한 후 각 선종 그룹별 대표 3차원 형상 모델만 저장하도록 구성될 수도 있다.
다시, 도 1을 참조하여 설명하면, 상기 디스플레이부(400)는 실제카메라서버(100)에서 출력되는 실제카메라부(10)의 촬영 영상을 출력하는 실제카메라영상디스플레이(410)와 가상카메라서버(200)에서 생성된 가상카메라영상들을 출력하기 위한 제 1 가상카메라영상디스플레이(420) 및 제 2 가상카메라영상디스플레이(430)를 포함하여 구성된다. 이때 상기 가상카메라영상디스플레이(420, 430)는 필요에 따라 그 개수가 조절될 수 있다.
상술한 구성의 무인선 관제 시스템은 무인선(1)에서 실제카메라부(10)가 팬틸트줌(PTZ) 정보를 가지는 실제카메라영상과 센서부(20)에서 측정된 무인선의 위치정보, 방향 및 속도 정보, 주변 구조물 및 선박 정보를 무인 관제센터(2)의 실제카메라서버(100)와 가상카메라서버(200)가 수신한다.
실제카메라서버(100)는 수신된 실제카메라영상을 저장한 후 가상카메라서버(200)에서 가상카메라영상이 출력되는 때에 동기되어 디스플레이부(400)이 실제카메라영상을 출력한다.
가상카메라서버(200)는 실제카메라촬영방향정보 및 팬틸트줌(PTZ) 정보와 무인선(1)의 위치정보, 이동방향정보, 이동속도 정보를 수신하고, 수신된 센서데이터에 포함된 노이즈를 제거하고, 노이즈가 제거된 센서 데이터를 이용하여 실제카메라영상에 인접되는 확장영역을 확정짓는다. 이 후, 공간DB(300)의 가상현실데이터 정보 또는 GIS정보, 기 촬영된 촬영영상 정보에서 확장된 영역에 대응되는 영역의 영상을 추출하여 배경이미지를 생성한다.
상술한 바와 달리, 상기 가상카메라서버(200)는 상기 실제카메라촬영방향정보, 팬틸트줌(PTZ) 정보 및 카메라의 떨림 방지 등을 위한 자세안정화정보 등을 상기 실제카메라서버(100)로부터 전송받아 가상카메라영상을 생성하도록 구성될 수도 있다.
또한, 수신된 센서부(20)의 정보 중 주변의 구조물 또는 선박 정보를 이용하여 배경이미지에 합성될 구조물이나 선박에 대응하는 객체를 추출하고, 감지된 방향 및 거리에 따라 스케일링을 수행하여 배경 이미지에 합성하여 가상카메라영상을 생성한다. 이때, 상술한 바와 같이, 선박DB(330)가 선박을 선종별로 그룹화한 후 각 선종 그룹별 대표 3차원 형상 모델만 저장하도록 구성되는 경우에는, 상기 가상카메라서버(200)는 AIS 및 카메라 명상 등의 센서 정보를 활용하여 선박 제원을 식별하고 유추한 후, 선박의 종류에 해당하는 선박의 대표 3차원 형상 모델을 식별되고 유추된 타선의 크기로 스케일링하여 배경이미지에 합성될 선박에 대응하는 객체로 생성할 수도 있다. 이 과정에서 AIS의 정보가 불확실한 경우에는 실제카메라(10)의 영상을 기계학습 방법 등을 통해 자동 분석한 후 선박의 종류 및 크기를 식별하고 유추한다. 이때 한 번 식별 또는 유추된 타선의 정보는 일정 시간 및 일정 항해 거리 이내에서는 지속적으로 타선 목록 및 정보로 유지하도록 하며, 이에 의해 실제카메라(10)의 영상을 통해 종류 및 크기가 식별 또는 유추된 타선이 실제카메라영상의 시야 범위를 벗어난 가상카메라영상의 시야 범위로 들어가는 경우에는 저장된 타선 정보에 대응하는 선박의 대표 3차원 형상 모델을 스케일링하여 배경이미지에 합성하는 것에 의해 타선을 전시할 수도 있다.
이러한 처리과정은 실제카메라영상과 동기되어 실시간으로 수행되어 연속적인 가상카메라영상프레임으로 생성된 후 디스플레이부(400)의 해당 가상카메라영상디스플레이에 출력된다.
이와 같은, 처리 과정에 의해, 실제카메라영상만을 전송받는 것에 의해 무인선 제어를 위해 전송될 영상데이터의 량을 감소시킬 수 있으며, 용량이 작은 센서부(20)의 감지 데이터를 이용하여 실제카메라영상에서 확장된 영역을 가지는 가상카메라영상을 생성하여 표시함으로써 무인선 제어를 위한 시야각이 확장된 카메라영상을 생성하여 출력할 수 있게 된다.
1: 무인선 2: 무인선 관제센터
10: 실제카메라 20: 센서부
100: 실제카메라서버 200: 가상카메라서버
300: 공간DB 400: 디스플레이부
410: 실제카메라 영상디스플레이
420: 제 1 가상 카메라 영상 디스플레이
430: 제 2 가상 카메라 영상 디스플레이

Claims (12)

  1. 무인선에 설치되어 주변 영상을 촬영하여 전송하는 실제카메라부;
    상기 무인선에 설치되어 무인선의 위치, 진행방향, 속도를 포함하는 운항정보와 주변선박 정보를 감지하여 전송하는 센서부;
    상기 실제카메라부에서 전송되는 실제카메라영상을 수신한 후 실제카메라영상 출력을 제어하는 실제카메라서버;
    상기 센서부의 감지 데이터를 전송 받은 후 상기 실제카메라 영상의 확장된 영역에 대한 배경영상을 생성하고, 수신된 센서부의 감지 데이터에 포함되는 객체를 추출한 후 상기 배경영상에 합성하여 가상카메라영상을 생성한 후 가상카메라영상의 출력을 제어하는 가상카메라서버;
    가상카메라영상의 생성을 위한 3차원 형상모델 데이터와 운항지원정보와 선박정보를 저장하는 공간데이터베이스(공간DB);
    상기 실제카메라서버와 가상카메라서버의 영상을 출력하는 디스플레이부;
    상기 센서부는,
    무인선의 위치 정보를 검출하는 GPS;
    무인선의 이동 방향을 검출하는 자이로센서;
    무인선 자세 보정을 위한 가속도센서;
    무인선의 주변 물체의 탐지를 위한 레이터(RADAR);
    무인선의 주변 물체의 탐지를 위한 LIDAR;
    무인선의 주변 선박 정보를 수신하는 AIS;
    상기 실제카메라서버는,
    상기 무인선의 실제카메라부에서 촬영되어 전송된 실제카메라영상을 상기 디스플레이부로 출력하는 실제카메라영상생성부;
    외부와 통신을 수행하는 실제카메라서버통신부;
    상기 3차원형상모델데이터는,
    선박, 항로표지, 대상 공간 내의 지형, 구조물 정보를 포함하고,
    상기 운항지원정보는,
    지명, 수심, 조류, 안전정보를 포함하는 무인선 관제시스템.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서, 상기 가상카메라서버는,
    상기 무인선으로부터 수신된 상기 무인선의 위치정보, 상기 무인선의 진행방향 정보 및 실제카메라의 촬영 영상 정보를 이용하여 실제카메라의 촬영 영상을 확장한 영역에 대한 배경영상을 상기 공간DB로부터 추출하여 생성하는 배경영상생성부;
    상기 센서부로부터 전송된 주변 구조물 및 선박 정보를 이용하여 배경영상 내에 포함되는 구조물과 선박 객체를 추출하여 생성하는 객체생성부;
    상기 배경 영상에 객체를 정합하여 가상카메라 영상을 생성한 후 상기 디스플레이부로 출력하는 가상카메라 영상생성부;
    외부와 통신을 수행하는 가상카메라서버통신부;
    상기 가상카메라영상생성부는,
    객체 대상의 선박정보가 선종별로 그룹화한 후 각 선종 그룹별 대표 3차원 형상 모델을 포함하는 경우, AIS 및 카메라 명상 등의 센서 정보를 활용하여 선박 제원을 식별하고 유추한 후, 선박의 종류에 해당하는 선박의 대표 3차원 형상 모델을 식별되고 유추된 타선의 크기로 스케일링하여 배경이미지에 합성될 선박에 대응하는 객체로 생성하고,
    상기 가상카메라영상생성부는,
    상기 AIS의 정보가 불확실한 경우에는 실제카메라의 영상을 분석한 후 선박의 종류 및 크기를 식별하고 유추하고, 식별 또는 유추된 타선의 정보를 일정 시간 및 일정 항해 거리 이내에서는 지속적으로 타선 목록 및 정보로 유지하며, 식별 또는 유추된 타선이 실제카메라영상의 시야 범위를 벗어난 가상카메라영상의 시야 범위로 들어가는 경우에는 저장된 타선 정보에 대응하는 선박의 대표 3차원 형상 모델을 스케일링하여 배경이미지에 합성하는 무인선 관제시스템.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 청구항 1에 있어서, 상기 공간DB에 저장되는 선박정보는,
    가상카메라영상의 생성 시 AIS 및 카메라 촬영 정보를 기준으로 하여 유추하고 스케일링하여 전시될 선박을 선종별로 그룹화한 선박들의 정보를 포함하고,
    상기 선박정보는,
    선박을 선종별로 그룹화한 후 각 선종 그룹별 대표 3차원 형상 모델을 더 포함하고,
    상기 디스플레이부는,
    상기 실제카메라서버에서 제공되는 실제카메라영상을 출력하는 실제 카메라 영상 디스플레이; 및
    상기 가상카메라서버에서 제공되는 하나 이상의 가상카메라영상을 출력하도록 상기 실제 카메라 영상 디스플레이의 인접 영역에 배치되는 하나 이상의 가상카메라영상디스플레이;
    상기 가상카메라영상은,
    상기 실제카메라의 팬틸트줌(PTZ)의 조작신호에 동기되어 생성되는 것에 의해 실제카메라영상과 가상카메라영상이 하나의 영상처럼 표시되도록 생성되는 무인선 관제시스템.
  10. 삭제
  11. 삭제
  12. 삭제
KR1020160142424A 2016-10-28 2016-10-28 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템 KR101880437B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160142424A KR101880437B1 (ko) 2016-10-28 2016-10-28 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160142424A KR101880437B1 (ko) 2016-10-28 2016-10-28 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템

Publications (2)

Publication Number Publication Date
KR20180046803A KR20180046803A (ko) 2018-05-09
KR101880437B1 true KR101880437B1 (ko) 2018-08-17

Family

ID=62200884

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160142424A KR101880437B1 (ko) 2016-10-28 2016-10-28 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템

Country Status (1)

Country Link
KR (1) KR101880437B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210007767A (ko) * 2019-07-12 2021-01-20 수상에스티(주) 딥러닝-영상인식 기반 해상폐기물 제거용 자율운항 선박 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112840641A (zh) * 2018-10-09 2021-05-25 古野电气株式会社 周边监视装置以及周边监视方法
KR102508549B1 (ko) * 2019-09-05 2023-03-09 한국전자통신연구원 영상에 기반하여 선박을 식별하는 방법 및 장치
KR102156338B1 (ko) * 2019-12-31 2020-09-15 마린웍스 주식회사 선박의 통합 모니터링 방법 및 그 장치
TWI793477B (zh) 2020-12-04 2023-02-21 財團法人船舶暨海洋產業研發中心 船舶輔助校正系統及其運作方法
CN112693568A (zh) * 2020-12-28 2021-04-23 广东海纳农业有限公司 一种水田水稻虫害视觉调查方法与调查用无人船
KR102603578B1 (ko) * 2023-05-15 2023-11-17 주식회사 오버더핸드 3ｄ 캐릭터와 3ｄ 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014176053A (ja) * 2013-03-13 2014-09-22 Panasonic Corp 画像信号処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140137233A (ko) * 2013-05-22 2014-12-02 (주)에디넷 3차원 공간계를 이용한 선박 견시 시스템 및 방법
KR101736899B1 (ko) * 2014-10-16 2017-05-17 한국해양과학기술원 선박 식별 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014176053A (ja) * 2013-03-13 2014-09-22 Panasonic Corp 画像信号処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210007767A (ko) * 2019-07-12 2021-01-20 수상에스티(주) 딥러닝-영상인식 기반 해상폐기물 제거용 자율운항 선박 시스템
KR102339465B1 (ko) * 2019-07-12 2021-12-15 수상에스티(주) 딥러닝-영상인식 기반 해상폐기물 제거용 자율운항 선박 시스템

Also Published As

Publication number Publication date
KR20180046803A (ko) 2018-05-09

Similar Documents

Publication Publication Date Title
KR101880437B1 (ko) 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템
KR102001728B1 (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
JP5473304B2 (ja) 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム
WO2017131838A2 (en) Sonar sensor fusion and model based virtual and augmented reality systems and methods
EP3096290A1 (en) Method and system for determining camera pose
KR101575954B1 (ko) 3차원 정합을 이용한 증강현실 장치 및 그 방법
JP2005268847A (ja) 画像生成装置、画像生成方法、および画像生成プログラム
WO2019230604A1 (ja) 検査システム
KR102004455B1 (ko) 증강현실을 이용한 항로표지 관제 시스템 및 방법
JP6482855B2 (ja) 監視システム
JP2005091298A (ja) 画像処理を用いたグローバル座標取得装置
JP2023100642A (ja) 検査システム
JP2011169658A (ja) 撮影位置特定装置および撮影位置特定方法
US8666655B2 (en) Systems and methods for navigation
JP6482856B2 (ja) 監視システム
KR20160099336A (ko) 모바일 매핑 시스템
KR20140137233A (ko) 3차원 공간계를 이용한 선박 견시 시스템 및 방법
JP2020016663A (ja) 検査システム
JP4742695B2 (ja) 視線認識装置、及び視線認識方法
KR102181809B1 (ko) 시설물 점검 장치 및 방법
JP2021103410A (ja) 移動体及び撮像システム
Chen et al. Station keeping of an autonomous surface vehicle in surf zone
JP7307927B2 (ja) 無人機の制御システム
JP7317684B2 (ja) 移動体、情報処理装置、及び撮像システム
JP7492059B2 (ja) 周辺監視装置及び周辺監視方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant