KR101666466B1 - 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템 및 해상 위험 관리방법 - Google Patents

단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템 및 해상 위험 관리방법 Download PDF

Info

Publication number
KR101666466B1
KR101666466B1 KR1020150042224A KR20150042224A KR101666466B1 KR 101666466 B1 KR101666466 B1 KR 101666466B1 KR 1020150042224 A KR1020150042224 A KR 1020150042224A KR 20150042224 A KR20150042224 A KR 20150042224A KR 101666466 B1 KR101666466 B1 KR 101666466B1
Authority
KR
South Korea
Prior art keywords
image
camera
information
marine
distance
Prior art date
Application number
KR1020150042224A
Other languages
English (en)
Other versions
KR20160115130A (ko
Inventor
정봉준
강형원
Original Assignee
주식회사 네오카텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 네오카텍 filed Critical 주식회사 네오카텍
Priority to KR1020150042224A priority Critical patent/KR101666466B1/ko
Publication of KR20160115130A publication Critical patent/KR20160115130A/ko
Application granted granted Critical
Publication of KR101666466B1 publication Critical patent/KR101666466B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명은 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템으로, 관측지점에 사전 설정된 해수면으로부터의 높이로 설치되어 거리 측정에 사용되는 일정한 수직 화각과 수직 해상도를 가지는 1 개의 카메라를 포함하여 상기 카메라로부터 촬영되는 영상을 수신하여 출력하는 촬영부(110), 상기 촬영부로부터 촬영되는 영상을 입력받아 수평선을 검출하고 목표물인 해상 객체와 그 위치의 수면인 객체의 수면 경계선을 검출하고, 상기 수평선과 객체의 수면 경계선과의 거리를 연산하며, 상기 카메라의 설치 높이, 픽셀 당 수직각 및 수평선과 객체의 수면 경계선 간 거리로부터 관측지점에서 해상 객체까지의 거리를 연산하여 출력하는 객체 영상 처리부(120)를 포함하는 단안 카메라를 이용한 해상 객체 거리측정 시스템(100), 상기 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)으로부터 촬영되는 해상 객체 영상과 관측지점에서 해상 객체까지의 거리정보를 카메라 영상정보로서 수신하고, 레이더 정보 처리부(300)로부터 해상 객체의 위치정보를 포함하는 레이더 정보를 수신하고, AIS 정보 처리부(400)로부터 AIS 정보를 수신하여, 카메라 영상정보, 레이더 정보 및 AIS 정보를 수신하여 판독하여 해상 객체를 검출하여, 검출된 해상 객체의 위험 여부를 판단하고, 해상 객체와 연관된 영상 정보를 처리하여 출력하는 해상 위험 관리 시스템(200)을 포함하여, 상기 해상 위험 관리 시스템(200)은 수신된 카메라 영상정보, 레이더 정보 및 AIS 정보의 판독결과 해상 객체가 검출된 경우, 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)의 카메라의 촬영위치를 검출된 해상 객체의 촬영을 위한 위치로 제어하는 구동제어신호를 발생시켜, 제어된 위치에서 촬영된 해상 객체의 객체영상을 처리하여 출력하는 것을 특징으로 한다.

Description

단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템 및 해상 위험 관리방법{Marine risk management system and marine risk management method using marine object distance measuring system with monocular camera}
본 발명은 해상 위험관리 시스템 및 해상 위험 관리방법에 관한 것으로 보다 상세하게는 단안 카메라를 이용하여 촬영되는 해상 객체에 대한 영상의 영상처리를 통해 해상 객체의 거리를 측정하여, 상기 영상과 AIS, 및 레이더 신호와 연계하여 실시간 해양 위험관리가 가능한 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해양 위험관리 시스템 및 해상 위험 관리방법에 관한 것이다.
현재 해상의 선박 및 항만에서 사용되는 해상위험관리 시스템은 해상 객체의 인식 및 위치/거리의 산출과 위험판단, 화면상 디스플레이 및 충돌 등 위험경고 등을 수행하며, 통상 레이더 정보 및 AIS 정보를 기반으로 운영되고 있으며, 관찰용 카메라가 영상의 제공을 주목적으로 레이더 정보 및 AIS 정보와는 별개로 사용되고 있다.
그러나, 레이더는 음영지역이 필연적으로 발생하고 선박의 거리와 크기에 따라 탐지 능력이 크게 좌우되고, 바다의 날씨상태에 따라 레이더의 수신감도가 떨어지는 문제 있으며, 금속재질이 선박이 아닌 선박 등은 탐지가 불가능하다. 특히 선박의 존재 및 움직임 정보만을 파악할 수 있으며, 이외 선박의 선명 같은 다른 정보들은 자동으로 확인할 수 없고 전자해도 등 타 영상 디스플레이 장치와 결합되기 힘든 단점이 있다.
이러한 여러 가지 문제점들의 대안으로 선박자동인식시스템(AIS)이 도입되었고, 선박간 혹은 선박과 육상관제국간의 상호 자동인식이 가능해짐으로써 특히 해상 교통량이 많은 지역에서의 안전한 선박 운항에 기여할 수 있게 되었다. 또한 AIS를 이용한 효과적인 선박관제, 항해안전정보제공, 레이더 전파음영지역문제 등이 해결되어 다양한 효과를 거둘 수 있게 되었다.
그러나, 선박설비기준 등 법률에 따라, 설치 의무 대상이 특정 규모 이상의 선박으로 한정되며, 이에 따라 설치의무가 없는 소형어선 등 소형선박과 선박이 아닌 해상물체에 대하여는 선박 또는 육상 관제국에서 그 존재를 인식하는 것이 불가능한 근본적인 한계가 있다.
한편, 최근 카메라의 촬영 영상을 이용한 거리측정이 사용되고 있으며, 이를 위해 하기 특허문헌과 같이 두 대 이상의 카메라를 이용하는 스테레오비젼 방식이 널리 사용되고 있다.
그러나 스테레오비젼 방식의 경우 카메라 간 수치를 보정하는 캘리브레이션(calibration)작업이 복잡하고, 정확도와 측정가능 거리의 증가를 위해 다수 카메라 간 일정 거리를 유지하여야 하므로 측정기의 크기가 커지며, 카메라의 대수의 증가만큼 고가의 비용이 소요된다.
이러한 이유로, 이 때문에 하나의 카메라를 이용하는 다양한 단안 거리 측정방식, 그 대표적인 예로 하기 논문 1과 같이 거리를 알고 있는 2개의 마커를 이용한 거리 측정 방법, 하기 논문 2와 같이 단안으로 측정된 여러 장의 사진을 통한 거리 측정 방법이 제안되어 왔다.
그러나, 위 단안 거리 측정 방식의 경우에는 측정 객체의 종류, 측정 거리, 및 측정환경상의 여러 제약 조건이 있거나, 그 계산 과정이 복잡하여, 실시간 영상처리 및 이에 기초한 거리측정에는 부적합한 한계가 있어, 해상환경에서 하나의 카메라를 이용하는 단안 거리 측정방식으로 단순한 방식으로 영상처리를 행하고 이를 기초로 실시간 거리 측정이 가능한 거리 측정방법 및 해상객체의 거리 측정시스템의 개발이 절실히 요구되고 있는 실정이다.
한편, 해상위험관리 시스템의 관점에서 현재 종래의 레이더 시스템, AIS 시스템 및 카메라를 이용한 영상촬영 시스템은 각각 별도의 시스템으로 설치되어 독립적으로 운영되고 있어, 해상위험관리의 효율성과 완전성이 떨어지는 문제가 있다. 따라서, 이러한 종래의 레이더 시스템, 및 AIS 시스템에 효율적으로 통합되어, 위 레이더 시스템 및 AIS 시스템의 해상위험관리를 보완할 수 있는 효율적인 카메라를 이용한 영상촬영 시스템의 개발 및 레이더 시스템, 및 AIS 시스템 및 카메라를 이용한 영상촬영 시스템을 통합한 해상위험관리 통합 시스템의 개발이 절실히 요구되고 있는 실정이다.
대한민국등록특허공보 등록번호 10-1045323호(다시점 카메라 시스템을 이용한 실시간 항만 영상관제 시스템 및 그 방법)
논문 1 : 일정간격의 두 능동마커를 이용한 저가형 단안 PSD 모션캡쳐 시스템 개발(電子工學會論文誌 第46卷 SC編 第2號, 2009.3, 61-71) 논문 2 : 단안 카메라를 이용한 입체영상 생성(방송공학회논문지 제 17권 1호)
이에 따라, 본 발명은 레이더 시스템, 및 AIS 시스템에 효율적으로 통합되어, 레이더 시스템 및 AIS 시스템의 해상위험관리를 보완할 수 있는 효율적인 카메라를 이용한 영상촬영 시스템을 포함하는 해상 위험관리 시스템 및 해상 위험 관리방법을 제공하는 것을 목적으로 한다.
또한, 레이더 시스템, AIS 시스템 및 카메라를 이용한 해상 객체 거리측정 시스템을 통합한 해상 위험관리 시스템 및 해상 위험 관리방법으로, 단순한 방식으로 영상처리를 행하고 이를 기초로 실시간 거리 측정이 가능한 단안 카메라를 이용한 영상촬영 시스템을 이용한 해상 위험관리 시스템 및 해상 위험 관리방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여, 본 발명은 일측면에서 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템으로, 관측지점에 사전 설정된 해수면으로부터의 높이로 설치되어 거리 측정에 사용되는 일정한 수직 화각과 수직 해상도를 가지는 1 개의 카메라를 포함하여 상기 카메라로부터 촬영되는 영상을 수신하여 출력하는 촬영부(110), 상기 촬영부로부터 촬영되는 영상을 입력받아 수평선을 검출하고 목표물인 해상 객체와 그 위치의 수면인 객체의 수면 경계선을 검출하고, 상기 수평선과 객체의 수면 경계선과의 거리를 연산하며, 상기 카메라의 설치 높이, 픽셀 당 수직각 및 수평선과 객체의 수면 경계선 간 거리로부터 관측지점에서 해상 객체까지의 거리를 연산하여 출력하는 객체 영상 처리부(120)를 포함하는 단안 카메라를 이용한 해상 객체 거리측정 시스템(100), 상기 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)으로부터 촬영되는 해상 객체 영상과 관측지점에서 해상 객체까지의 거리정보를 카메라 영상정보로서 수신하고, 레이더 정보 처리부(300)로부터 해상 객체의 위치정보를 포함하는 레이더 정보를 수신하고, AIS 정보 처리부(400)로부터 AIS 정보를 수신하여, 카메라 영상정보, 레이더 정보 및 AIS 정보를 수신하여 판독하여 해상 객체를 검출하여, 검출된 해상 객체의 위험 여부를 판단하고, 해상 객체와 연관된 영상 정보를 처리하여 출력하는 해상 위험 관리 시스템(200)을 포함하여, 상기 해상 위험 관리 시스템(200)은 수신된 카메라 영상정보, 레이더 정보 및 AIS 정보의 판독결과 해상 객체가 검출된 경우, 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)의 카메라의 촬영위치를 검출된 해상 객체의 촬영을 위한 위치로 제어하는 구동제어신호를 발생시켜, 제어된 위치에서 촬영된 해상 객체의 객체영상을 처리하여 출력하는 것을 특징으로 한다.
바람직하게는, 상기 픽셀 당 수직각(θp)은
Figure 112015029604045-pat00001
(수식1)에 의하여 연산되어 설정되며, 여기서, A는 카메라의 수직 화각, H는 카메라의 수직 해상도이고, 수평선과 수면 경계선 사이의 각도(θ)는
Figure 112015029604045-pat00002
(수식2)에 의하여 연산되며, 여기서 Y0는 수평선의 픽셀의 Y 좌표값, Ytarget은 경계선의 픽셀의 Y 좌표값이고, 관측지점에서 해상 객체까지의 거리(D)는
Figure 112015029604045-pat00003
(수식3)에 의하여 연산되며, 여기서 T는 카메라의 설치 높이이다.
여기서, 상기 객체 영상 처리부(120)는 촬영되는 영상으로부터 허프 변환(Hough Transformation)을 통한 선 검출 방법에 의하여 수평선을 검출하고 상기 수평선의 픽셀의 Y 좌표값(Y0)을 연산하는 것이 바람직하다.
또한, 여기서, 상기 객체 영상 처리부(120)는 미리 획득하여 저장된 해수면의 텍스쳐 정보와 촬영되는 영상의 텍스쳐를 비교하여 미리 획득하여 저장된 텍스쳐 정보와 다른 텍스쳐 정보를 가지는 목표물인 객체를 검출하고, 검출된 객체의 하단을 객체와 수면의 경계선으로 검출하여 상기 객체와 수면의 경계선의 픽셀의 Y 좌표값(Ytarget)을 연산한다.
나아가, 여기서, 상기 객체 영상 처리부(120)는 상기 객체와 수면의 경계선의 픽셀의 Y 좌표값(Ytarget)이 상기 수평선의 픽셀의 Y 좌표값(Y0) 이하인 경우의 객체에 대하여만 거리 연산을 수행하는 것이 바람직하다.
또한, 바람직하게는 상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 레이더 영상에 합성하여 출력한다.
나아가, 바람직하게는 상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 AIS 영상에 합성하여 출력할 수 있으며, 바람직하게는 상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 카메라 촬영영상에 합성하여 출력할 수 있다.
한편, 바람직하게는, 카메라 영상정보, 레이더 정보 및 AIS 정보를 수신하여 판독하여 해상 객체를 검출하여, 검출된 해상 객체의 위험 여부를 판단하고, 위험으로 판단된 객체가 레이더 정보를 통해 발견되어 위험으로 판단된 객체이면, 상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 레이더 영상에 합성하여 출력하고, 위험으로 판단된 객체가 AIS 정보를 통해 발견되어 위험으로 판단된 객체이면, 상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 AIS 영상에 합성하여 출력하며, 위험으로 판단된 객체가 카메라 영상정보를 통해 발견되어 위험으로 판단된 객체이면,상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 카메라 촬영영상에 합성하여 출력한다.
여기서, 사용자의 선택입력에 따라, 카메라 촬영영상을 레이더 영상 또는 AIS 영상으로 선택적으로 전환하여 출력하는 것이 바람직하다.
아울러, 상기 촬영된 해상 객체의 객체영상의 출력 시 객체 영상 처리부(120)에서 연산된 거리 정보를 함께 출력하여 표시되도록 하는 것이 바람직하며, 더욱 바람직하게는 검출된 해상 객체의 위험 여부를 판단하여, 위험으로 판단되면 위험경보를 발생하여 출력한다.
다른 측면에서, 본 발명은 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리방법으로, 해상 객체 거리측정 시스템으로부터 출력되는 단안 카메라를 이용하여 촬영되는 해상 객체 영상과 연산된 관측지점에서 해상 객체까지의 거리정보를 카메라 영상정보로서 수신하는 카메라 영상정보 수신/처리 단계(S10); 레이더 정보 처리부(300)로부터 해상 객체의 위치정보를 포함하는 레이더 정보를 수신하고, AIS 정보 처리부(400)로부터 AIS 정보를 수신하는 레이더정보·AIS 정보 수신/처리 단계(S20); 상기 수신된 카메라 영상정보, 레이더 정보 및 AIS 정보의 판독하여 해상 객체를 검출하고, 검출된 상 해상 객체의 정보를 추출하는 객체 정보 처리/분석 단계(S30); 상기 검출된 객체의 객체 정보 및 관측지점의 정보를 분석하여, 검출된 객체의 위험객체인지 여부를 판단하는 객체 위험 판단 단계(S40); 검출된 객체가 위험객체로 판단된 경우 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)의 카메라의 촬영위치를 검출된 해상 객체의 촬영을 위한 위치로 제어하는 구동제어신호를 발생시켜, 제어된 위치에서 해상 객체의 객체영상을 촬영하도록 카메라를 제어하는 카메라 제어단계(S50); 상기 제어된 위치에서 촬영된 해상 객체의 객체영상을 수신하여 촬영된 해상 객체의 객체영상을 레이더 영상, AIS 영상, 및 촬영되는 해상 객체 영상 중 하나 이상에 합성하여 출력하는 영상 정보 처리 단계(S60); 및 상기 합성되어 출력되는 영상을 사전 설정된 디스플레이 장치에 표시하는 카메라 영상/통합 영상 표시단계(S70);를 포함하는 것을 특징으로 한다.
바람직하게는, 카메라 영상정보 수신/처리 단계(S10)는 단안 카메라를 이용한 해상 객체 거리측정 시스템에서 수행되는 관측지점에 사전 설정된 해수면으로부터의 높이로 설치되어 거리 측정에 사용되는 카메라의 설치 높이, 수직 화각 및 수직 해상도를 입력받아 픽셀 당 수직각을 연산하여 저장하는 고정상수/정보 입력단계(S110); 관측지점에서 상기 카메라에 의하여 촬영되는 영상으로부터 수평선을 검출하는 수평선 검출단계(S120); 상기 카메라에 의하여 촬영되는 목표물인 해상 객체를 포함하는 영상으로부터 해상 객체와 그 위치의 수면인 객체와 수면의 경계선을 검출하는 객체의 수면 경계선 검출단계(S130); 상기 수평선과 객체의 수면 경계선과의 거리를 연산하는 수평선과 객체의 수면 경계선 간 거리 연산단계(140); 및 상기 카메라의 설치 높이(H), 픽셀 당 수직각(θp) 및 수평선과 객체의 수면 경계선 간 거리로부터 관측지점에서 해상객체까지의 거리를 연산하는 객체거리 연산단계(S150);를 포함하여, 상기 픽셀 당 수직각(θp)은
Figure 112015029604045-pat00004
(수식1)에 의하여 연산되어 설정되며, 여기서, θp는 픽셀 당 수직각, A는 카메라의 수직 화각, H는 카메라의 수직 해상도이다.
또한 바람직하게는, 영상 정보 처리 단계(S60)는, 위험으로 판단된 객체가 레이더 정보를 통해 발견되어 위험으로 판단된 객체이면, 제어된 위치에서 촬영된 해상 객체의 객체영상을 레이더 영상에 합성하여 출력하고, 위험으로 판단된 객체가 AIS 정보를 통해 발견되어 위험으로 판단된 객체이면, 제어된 위치에서 촬영된 해상 객체의 객체영상을 AIS 영상에 합성하여 출력하며, 위험으로 판단된 객체가 카메라 영상정보를 통해 발견되어 위험으로 판단된 객체이면, 제어된 위치에서 촬영된 해상 객체의 객체영상을 카메라 촬영영상에 합성하여 출력한다.
여기서, 상기 객체 위험 판단 단계(S40)에서 위험으로 판단되면 위험경보를 발생하여 출력하는 경보 발생단계(S80)을 더 포함하는 것이 바람직하다.
상술한 바와 같은 본 발명에 의하면, 해상환경에서 하나의 카메라를 이용하는 단안 거리 측정방식으로 단순한 방식으로 영상처리를 행하고 이를 기초로 실시간 거리 측정하여, 고가의 비용이 소요되지 않고 측정환경상의 여러 제약 조건이 없고 그 계산 과정이 단순하며, 영상처리와 거리 연산에 소요되는 시간 및 부하를 줄이게 되고 오류를 최소화할 수 있는 특징적인 카메라를 이용한 영상촬영 시스템을 레이더 시스템, 및 AIS 시스템에 효율적으로 통합하는 해상 위험관리 시스템 및 해상 위험 관리방법을 제공할 수 있는 효과가 있다.
또한, 레이더 시스템, AIS 시스템 및 카메라를 이용한 해상 객체 거리측정 시스템을 통합한 해상 위험관리 시스템 및 해상 위험 관리방법으로, 단순한 방식으로 영상처리를 행하고 이를 기초로 실시간 거리 측정이 가능한 단안 카메라를 이용한 영상촬영 시스템을 이용한 해상 위험관리 시스템 및 해상 위험 관리방법을 제공할 수 있게 된다.
이에 따라, 저렴한 비용으로 정확도가 높고 위험감지능력이 향상된 해상 위험관리 시스템 및 해상 위험 관리방법을 제공할 수 있게 된다.
도 1은 본 발명의 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템의 구성도.
도 2는 본 발명의 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 방법의 흐름도
도 3a는 본 발명의 단안 카메라를 이용한 해상 객체 거리측정 시스템의 구성도.
도 3b는 본 발명의 단안 카메라를 이용한 해상 객체 거리측정 시스템의 촬영부의 구성도.
도 3c는 본 발명의 단안 카메라를 이용한 해상 객체 거리측정 시스템의 해상객체의 거리 측정방법의 흐름도.
도 3d은 본 발명의 카메라의 픽셀당 수직각을 이용한 해상객체의 거리 측정방법을 설명하기 위한 도면.
도 3e는 카메라의 픽셀당 수직각을 이용한 해상객체의 거리 측정방법에 사용되는 촬영 영상.
도 3f는 본 발명의 카메라의 픽셀당 수직각을 이용한 해상객체의 거리 측정방법의 카메라 영상정보 생성과정의 세부 흐름도.
도 4는 본 발명의 촬영된 해상 객체을 합성하여 출력하는 과정의 실시예의 세부 흐름도.
도 5는 본 발명의 촬영된 해상 객체을 합성하여 출력하는 과정의 다른 실시예의 세부 흐름도.
도 6은 본 발명의 촬영된 해상 객체을 합성하여 출력하는 과정의 또 다른 실시예의 세부 흐름도.
이하, 도면을 참조하여 본 발명을 실시하기 위한 구체적인 내용을 실시예에 기초하여 설명한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
도 1은 본 발명의 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템은, 단안 카메라를 이용한 해상 객체 거리측정 시스템(100), 해상 위험 관리 시스템(200), 레이더 정보 처리부(300), 및 AIS 정보 처리부(400)로 구성되며, 위 구성요소는 하나 이상의 신호 처리 및/또는 애플리케이션 전용 집적 회로(application specific integrated circuit), 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어 둘의 조합으로 구현될 수 있으며, 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 제어를 위한 별도의 제어부(미도시)를 포함하며, 특정 시스템의 하나의 구성모듈로 구현되는 경우 제어부(미도시)는 해당 시스템의 범용 또는 전용 중앙처리장치에 의하여 구현될 수 있다.
단안 카메라를 이용한 해상 객체 거리측정 시스템(100)은 관측지점에 사전 설정된 해수면으로부터의 높이로 설치되어 거리 측정에 사용되는 일정한 수직 화각과 수직 해상도를 가지는 1 개의 카메라를 포함하여 상기 카메라로부터 촬영되는 영상을 수신하여 출력하는 촬영부, 상기 촬영부로부터 촬영되는 영상을 입력받아 수평선을 검출하고 목표물인 해상 객체와 그 위치의 수면인 객체의 수면 경계선을 검출하고, 상기 수평선과 객체의 수면 경계선과의 거리를 연산하며, 상기 카메라의 설치 높이, 픽셀 당 수직각 및 수평선과 객체의 수면 경계선 간 거리로부터 관측지점에서 해상 객체까지의 거리를 연산하여 출력하는 객체 영상 처리부를 포함하여, 단안 카메라에 의하여 촬영된 해상 객체 영상과 이를 통해 연산된 해상 객체까지의 거리정보를 포함하여 카메라 영상정보로서 출력한다.
단안 카메라를 이용한 해상 객체 거리측정 시스템(100)에서 상기 객체 영상 처리부(120)의 관측지점에서 해상 객체까지의 거리연산에 있어, 상기 픽셀 당 수직각(θp)은
Figure 112015029604045-pat00005
(수식1)에 의하여 연산되어 설정된다. 여기서, A는 카메라의 수직 화각, H는 카메라의 수직 해상도이고, 수평선과 수면 경계선 사이의 각도(θ)는
Figure 112015029604045-pat00006
(수식2)에 의하여 연산되며, 여기서 Y0는 수평선의 픽셀의 Y 좌표값, Ytarget은 경계선의 픽셀의 Y 좌표값이고, 관측지점에서 해상 객체까지의 거리(D)는
Figure 112015029604045-pat00007
(수식3)에 의하여 연산되며, 여기서 T는 카메라의 설치 높이이다.
한편, 상기 객체 영상 처리부(120)는 촬영되는 영상으로부터 허프 변환(Hough Transformation)을 통한 선 검출 방법에 의하여 수평선을 검출하고 상기 수평선의 픽셀의 Y 좌표값(Y0)을 연산하며, 미리 획득하여 저장된 해수면의 텍스쳐 정보와 촬영되는 영상의 텍스쳐를 비교하여 미리 획득하여 저장된 텍스쳐 정보와 다른 텍스쳐 정보를 가지는 목표물인 객체를 검출하고, 검출된 객체의 하단을 객체와 수면의 경계선으로 검출하여 상기 객체와 수면의 경계선의 픽셀의 Y 좌표값(Ytarget)을 연산하는 방식으로 거리 연산을 수행하며, 실시예에 따라서는, 상기 객체 영상 처리부(120)는 상기 객체와 수면의 경계선의 픽셀의 Y 좌표값(Ytarget)이 상기 수평선의 픽셀의 Y 좌표값(Y0) 이하인 경우의 객체에 대하여만 거리 연산을 수행할 수도 있다.
본 발명의 특징적인 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)의 구성 및 카메라 영상정보의 생성 및 출력과정의 보다 상세한 설명은 도 3a 내지 도 3f를 통해 후술한다.
해상 위험 관리 시스템(200)은 상기 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)으로부터 촬영되는 해상 객체 영상과 관측지점에서 해상 객체까지의 거리정보를 카메라 영상정보로서 수신하고, 레이더 정보 처리부(300)로부터 해상 객체의 위치정보를 포함하는 레이더 정보를 수신하고, AIS 정보 처리부(400)로부터 AIS 정보를 수신하여, 수신된 카메라 영상정보, 레이더 정보 및 AIS 정보를 판독하여 해상 객체를 검출하여, 검출된 해상 객체의 위험 여부를 판단하고, 해상 객체와 연관된 영상 정보를 처리하여 출력하는 기능을 수행하며, 수신된 카메라 영상정보, 레이더 정보 및 AIS 정보의 판독결과 해상 객체가 검출된 경우, 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)의 카메라의 촬영위치를 검출된 해상 객체의 촬영을 위한 위치로 제어하는 구동제어신호를 발생시켜, 제어된 위치에서 촬영된 해상 객체의 객체영상을 처리하여 출력하도록 구성된다.
이를 위해, 객체 정보 처리부(210), 영상정보 처리부(220), 통합영상처리부(230), 경보 정보 처리부(240), 카메라 제어부(250) 및 해상 지도부(260)을 포함하며, 이외 경보 발생부 및 경보 스피커, 통합 디스플레이부를 추가적인 구성으로 포함한다. 경보 발생부는 경보 정보 처리부에서 위험객체가 발견되면 경보를 사전 설정된 방식 예컨대 음향경보, 영상경보, 또는 음향정보 및 영상정보를 발생하여, 경보 스피커 및/또는 디스플레이부로 출력하는 기능을 수행한다. 이때 경보 스피커, 디스플레이부는 기존에 선박에 장착된 레이더 시스템 또는 AIS 시스템을 그대로 활용할 수도 있다.
객체 정보 처리부(210)는 해상 객체 거리측정 시스템(100)으로부터 촬영되는 해상 객체 영상과 관측지점에서 해상 객체까지의 거리정보를 카메라 영상정보로서 수신하고, 레이더 정보 처리부(300)로부터 해상 객체의 위치정보를 포함하는 레이더 정보를 수신하며, AIS 정보 처리부(400)로부터 AIS 정보를 수신하여, 수신된 카메라 영상정보, 레이더 정보 및 AIS 정보를 판독하여 해상 객체를 검출하고 검출된 해상 객체의 정보를 추출한다.
영상정보 처리부(220)는 수신된 카메라 영상정보, 레이더 정보 및 AIS 정보를 수신하여 각 설정된 디스플레이 방식으로 변환하여 미리 설정된 디스플레이 장치에 표시되도록 하는 기능을 수행하며, 독립적인 장치로서 구성될 수도 있으나, 이미 설치된 레이더 시스템 또는 AIS 시스템의 영상정보 처리부의 집합체로서 구성될 수 있다.
통합영상처리부(230)는 수신된 제어된 위치에서 촬영된 해상 객체의 객체영상을 레이더 영상, AIS 영상, 및 촬영되는 해상 객체 영상 중 하나 이상에 합성하여 출력하는 기능을 수행하며, 합성되어 출력되는 영상을 사전 설정된 디스플레이 장치에 표시하게 된다.
경보 정보 처리부(240)는 상기 검출된 객체의 객체 정보 및 관측지점의 정보를 분석하여, 검출된 객체의 위험객체인지 여부를 판단하며, 검출된 객체가 위험객체로 판단된 경우 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)의 카메라의 촬영위치를 검출된 해상 객체의 촬영을 위한 위치로 제어하는 구동제어신호를 발생시키도록 카메라 제어부(250)를 제어한다.
카메라 제어부(250)는 경보 정보 처리부(240)의 제어에 따라, 해상 객체의 촬영을 위한 위치로 제어하는 구동제어신호를 생성하여, 해상 객체 거리측정 시스템(100)으로 전송한다.
후술하는 촬영부(110)의 카메라(111)는 통상 일정한 주기로 360도 회전상태로 제어되며, 해상 객체의 발견 또는 위 해상 객체가 위험객체로 판단된 경우 해당 객체를 촬영할 수 있는 위치와 각도로 카메라의 회전 및 틸팅이 상기 구동제어신호에 의하여 제어되며, 실시예에 따라서는 카메라(111)의 촬영배율 즉 줌인(zoom-in) 및 줌 아웃(zoom-out)이 함께 제어될 수 있다.
해상 지도부(260)는 일반적인 전자해도가 저장되며, 통상 AIS 시스템의 일부로서 AIS 정보와 병합되어 디스플레이 되며, 실시예에 따라서 카메라 영상정보, 레이더 정보 및 AIS 정보의 하나 이상과 병합되어 디스플레이된다.
레이더 정보 처리부(300)는 특정 위치의 해상 객체로부터 반사 또는 재발사되는 무선신호와 기준신호를 비교하여 해상 객체의 위치정보를 연산하여, 이를 포함하는 레이더 표시정보를 생성하여 레이더 정보로서 출력하며 일반적인 레이더 시스템의 전부 또는 일부로서 구성된다.
AIS 정보 처리부(400)는 특정 위치의 해상 객체로부터 AIS 신호를 수신하여, AIS 정보를 독출하고 이를 포함하는 AIS 표시정보를 생성하여 AIS 정보로서 출력하며, 일반적인 AIS 시스템의 전부 또는 일부로서 구성된다.
본 발명의 경우 레이더 정보 처리부(300) 및 AIS 정보 처리부(400)와 이와 연관된 구성 및 정보의 처리과정은 기존의 레이더 시스템 및 AIS 시스템의 정보 처리 및 정보 디스플레이와 관련된 구성 및 정보 처리과정을 그대로 적용시켜 구현이 가능하며, 이에 본 발명의 특징적인 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)이 통합된다.
미리 구축되어 있는 기존의 레이더 시스템 또는 AIS 시스템의 상황과 사전 설정에 따라, 상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 레이더 영상에 합성하여 출력하도록 설정될 수 있으며, 상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 AIS 영상에 합성하여 출력하도록 설정될 수 있으며, 상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 카메라 촬영영상에 합성하여 출력하도록 설정될 수도 있다.
특히 레이더 시스템, AIS 시스템, 단안 카메라를 이용한 해상 객체 거리측정 시스템에서 수신된 정보로부터 추출된 해상 객체가 위험 객체로 판단된 경우 제어된 위치에서 촬영된 해상 객체의 객체영상을 각 영상에 합성하여 출력한다.
객체영상과 각 레이더 영상 또는 AIS 영상은 오버레이방식으로 합성될 수도 있으며, 통상 PIP 기능(Picture in Picture; 동시화면 기능)화면, 또는 PBP(Picture By Picture) 기능의 화면 형태로 합성되어 기존의 레이더 영상 전용 디스플레이장치(미도시) 또는 AIS 영상 전용 디스플레이장치에 표시될 수 있으며, 별도의 통합 디스플레이 장치를 구비하여 이를 통해 표시될 수도 있다. 이 경우 상기 촬영된 해상 객체의 객체영상의 출력 시 객체 영상 처리부(120)에서 연산된 거리 정보를 함께 출력하여 표시되도록 한다.
또한, 카메라 영상정보, 레이더 정보 및 AIS 정보를 수신하여 판독하여 해상 객체를 검출하여, 검출된 해상 객체의 위험 여부를 판단하고, 위험으로 판단된 객체가 레이더 정보를 통해 발견되어 위험으로 판단된 객체이면, 상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 레이더 영상에 합성하여 출력하고, 위험으로 판단된 객체가 AIS 정보를 통해 발견되어 위험으로 판단된 객체이면, 상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 AIS 영상에 합성하여 출력하며, 위험으로 판단된 객체가 카메라 영상정보를 통해 발견되어 위험으로 판단된 객체이면, 상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 카메라 촬영영상에 합성하여 출력하도록 설정되어, 위험 해상 객체가 카메라 영상정보, 레이더 정보 및 AIS 정보 중 어느 정보를 통해 감지되었는 지에 기초하여 객체영상이 합성될 영상이 선택되도록 설정될 수도 있다.
여기서, 특히 상대적으로 수치적으로 정확도가 낮을 가능성이 있는 카메라 촬영영상으로부터 위험객체가 감지된 경우, 사용자의 선택입력에 따라, 카메라촬영영상을 레이더 영상 또는 AIS 영상으로 선택적으로 전환하여 출력하도록 하여, 레이더 영상 또는 AIS 영상과 이에 표시되는 해상 객체의 정보를 재확인할 수 있도록 구현될 수도 있다.
한편, 본 발명은 다른 측면에서 위와 같은 기본적인 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용하는 해상 위험관리 시스템을 운영하여 특징적인 해상 위험관리 방법을 수행한다.
도 2는 본 발명의 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 방법의 흐름도이며, 도 2를 참조하면, 본 발명의 해상 위험관리 방법은, 해상 객체 거리측정 시스템으로부터 출력되는 단안 카메라를 이용하여 촬영되는 해상 객체 영상과 연산된 관측지점에서 해상 객체까지의 거리정보를 카메라 영상정보로서 수신하는 카메라 영상정보 수신/처리 단계(S10), 레이더 정보 처리부(300)로부터 해상 객체의 위치정보를 포함하는 레이더 정보를 수신하고, AIS 정보 처리부(400)로부터 AIS 정보를 수신하는 레이더정보·AIS 정보 수신/처리 단계(S20), 상기 수신된 카메라 영상정보, 레이더 정보 및 AIS 정보의 판독하여 해상 객체를 검출하고, 검출된 해상 객체의 정보를 추출하는 객체 정보 처리/분석 단계(S30), 상기 검출된 객체의 객체 정보 및 관측지점의 정보를 분석하여, 검출된 객체의 위험객체인지 여부를 판단하는 객체 위험 판단 단계(S40), 검출된 객체가 위험객체로 판단된 경우 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)의 카메라의 촬영위치를 검출된 해상 객체의 촬영을 위한 위치로 제어하는 구동제어신호를 발생시켜, 제어된 위치에서 해상 객체의 객체영상을 촬영하도록 카메라를 제어하는 카메라 제어단계(S50), 상기 제어된 위치에서 촬영된 해상 객체의 객체영상을 수신하여 촬영된 해상 객체의 객체영상을 레이더 영상, AIS 영상, 및 촬영되는 해상 객체 영상 중 하나 이상에 합성하여 출력하는 영상 정보 처리 단계(S60); 및 상기 합성되어 출력되는 영상을 사전 설정된 디스플레이 장치에 표시하는 카메라 영상/통합 영상 표시단계(S70)를 포함하여 수행된다.
상기 카메라 영상정보 수신/처리 단계(S10) 및 레이더정보·AIS 정보 수신/처리 단계(S20)와 객체 정보 처리/분석 단계(S30)는 상술한 객체 정보 처리부(210) 및 영상정보 처리부(220)에 의하여 수행되며, 객체 정보 처리부(210)가 해상 객체 거리측정 시스템(100)으로부터 촬영되는 해상 객체 영상과 관측지점에서 해상 객체까지의 거리정보를 카메라 영상정보로서 수신하고, 레이더 정보 처리부(300)로부터 해상 객체의 위치정보를 포함하는 레이더 정보를 수신하며, AIS 정보 처리부(400)로부터 AIS 정보를 수신하여, 수신된 카메라 영상정보, 레이더 정보 및 AIS 정보를 판독하여 해상 객체를 검출하고 검출된 해상 객체의 정보를 추출한다.
한편, 카메라 영상정보 수신/처리 단계(S10)는 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)에서, 관측지점에 사전 설정된 해수면으로부터의 높이로 설치되어 거리 측정에 사용되는 카메라의 설치 높이, 수직 화각 및 수직 해상도를 입력받아 픽셀 당 수직각을 연산하여 저장하는 고정상수/정보 입력단계(S110), 관측지점에서 상기 카메라에 의하여 촬영되는 영상으로부터 수평선을 검출하는 수평선 검출단계(S120), 상기 카메라에 의하여 촬영되는 목표물인 해상 객체를 포함하는 영상으로부터 해상 객체와 그 위치의 수면인 객체와 수면의 경계선을 검출하는 객체의 수면 경계선 검출단계(S130), 상기 수평선과 객체의 수면 경계선과의 거리를 연산하는 수평선과 객체의 수면 경계선 간 거리 연산단계(140) 및 상기 카메라의 설치 높이(H), 픽셀 당 수직각(θp) 및 수평선과 객체의 수면 경계선 간 거리로부터 관측지점에서 해상객체까지의 거리를 연산하는 객체거리 연산단계(S150);를 포함하여 수행하며, 상기 픽셀 당 수직각(θp)은
Figure 112015029604045-pat00008
(수식1)에 의하여 연산되어 설정되며, 여기서, θp는 픽셀 당 수직각, A는 카메라의 수직 화각, H는 카메라의 수직 해상도이다. 이에 대한 보다 상세한 설명은 도 3a 내지 도 3f를 통해 후술한다.
이와는 별도로 영상정보 처리부(220)는 수신된 카메라 영상정보, 레이더 정보 및 AIS 정보를 수신하여 각 설정된 디스플레이 방식으로 변환하여 미리 설정된 디스플레이 장치에 표시되도록 처리하는 과정을 수행한다.
객체 위험 판단 단계(S40)는 경보 정보 처리부(240)에 의하여 수행되며, 상기 검출된 객체의 객체 정보 및 관측지점의 정보를 분석하여, 검출된 객체의 위험 객체인지 여부를 판단하며, 검출된 객체가 위험객체로 판단된 경우 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)의 카메라의 촬영위치를 검출된 해상 객체의 촬영을 위한 위치로 제어하는 구동제어신호를 발생시키도록 카메라 제어부(250)를 제어한다.
카메라 제어단계(S50)는 카메라 제어부(250)에 의하여 수행되며, 카메라 제어부(250)가 상기 경보 정보 처리부(240)의 제어에 따라, 해상 객체의 촬영을 위한 위치로 제어하는 구동제어신호를 생성하여, 해상 객체 거리측정 시스템(100)으로 전송한다.
영상 정보 처리 단계(S60)는 통합영상처리부(230)에 의하여 수행되며, 통합영상처리부(230)가 수신된 제어된 위치에서 촬영된 해상 객체의 객체영상을 레이더 영상, AIS 영상, 및 촬영되는 해상 객체 영상 중 하나 이상에 합성하여 출력하며, 합성되어 출력되는 영상은 카메라 영상/통합 영상 표시단계(S70)에서 사전 설정된 디스플레이 장치 즉, 통합디스플레이 장치 또는 AIS 시스템의 기존 디스플레이 장치나 레이더 시스템의 기존 디스플레이 장치에 합성된 영상을 표시하게 된다.
영상 정보 처리 단계(S60)는, 위험으로 판단된 객체가 레이더 정보를 통해 발견되어 위험으로 판단된 객체이면, 제어된 위치에서 촬영된 해상 객체의 객체영상을 레이더 영상에 합성하여 출력하고, 위험으로 판단된 객체가 AIS 정보를 통해 발견되어 위험으로 판단된 객체이면, 제어된 위치에서 촬영된 해상 객체의 객체영상을 AIS 영상에 합성하여 출력하며, 위험으로 판단된 객체가 카메라 영상정보를 통해 발견되어 위험으로 판단된 객체이면, 제어된 위치에서 촬영된 해상 객체의 객체영상을 카메라 촬영영상에 합성하여 출력하여, 위험 해상 객체가 카메라 영상정보, 레이더 정보 및 AIS 정보 중 어느 정보를 통해 감지되었는 지에 기초하여 객체영상이 합성될 영상이 선택되도록 수행된다.
또한, 상기 객체 위험 판단 단계(S40)에서 위험으로 판단되면 위험경보를 발생하여 출력하는 경보 발생단계(S80)을 더 포함하여 수행될 수 있으며, 경보 발생단계(S80)는 경보 정보 처리부(240)에서 검출된 위험객체로 판단된 경우 경보 발생부가 경보를 사전 설정된 방식 예컨대 음향경보, 영상경보, 또는 음향정보 및 영상정보를 발생하여, 경보 스피커 및/또는 디스플레이부로 출력하는 과정을 수행한다.
이하, 본 발명의 특징적인 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)의 구성 및 카메라 영상정보의 생성 및 출력과정의 보다 상세히 설명한다.
본 발명의 특징적인 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)은 상술한 본 발명의 해상 위험관리 시스템의 구성모듈로서 구현되나, 이에 한정되지 않고, 독립적인 장치 내지 시스템으로 구성되어, 본 발명의 해상 위험관리 시스템 이외의 다양한 선박 관제관련 장치 예컨대 레이더 장치 및 AIS 장비와 함께 선박의 실시간 위치확인, 접안, 충돌 방지, 및 선박감시/관제 시스템의 구성에 사용될 수 있는 형태를 가지며, 후술하는 구성요소는 하나 이상의 신호 처리 및/또는 애플리케이션 전용 집적 회로(application specific integrated circuit), 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어 둘의 조합으로 구현될 수 있으며, 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 제어를 위한 별도의 제어부(미도시)를 포함하며, 특정 시스템의 하나의 구성모듈로 구현되는 경우 제어부(미도시)는 해당 시스템의 범용 또는 전용 중앙처리장치에 의하여 구현될 수 있다.
도 3a는 본 발명의 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)의 구성도로서, 1대의 카메라 즉 단안 카메라의 픽셀당 수직각을 이용하여 해상객체의 거리를 측정하는 것을 기본적인 특징으로 갖는다.
도 3a를 참조하면, 본 발명의 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)은 카메라의 픽셀 당 수직각을 이용한 해상객체의 거리 측정 시스템으로서, 1개의 카메라를 포함하는 촬영부(110), 상기 촬영부로부터 촬영되는 영상을 입력받아 수평선을 검출하고 목표물인 해상 객체와 그 위치의 수면인 객체의 수면 경계선을 검출하고, 상기 수평선과 객체의 수면 경계선과의 거리를 연산하며, 상기 카메라의 설치 높이, 픽셀 당 수직각 및 수평선과 객체의 수면 경계선 간 거리로부터 관측지점에서 해상 객체까지의 거리를 연산하여 출력하는 객체 영상 처리부(120)를 기본적인 구성으로 포함한다.
객체 영상 처리부(120)는 촬영되는 영상으로부터 수평선을 검출하는 수평선 검출부(121)과 촬영되는 영상으로부터 해상 객체 및 객체의 수면 경계선을 검출하는 객체의 수면 경계선 검출부(122)로 구성되는 영상처리부(미도시)와 이를 기초로 관측지점에서 검출된 객체까지의 거리를 연산하는 거리연산부(123)를 포함하고, 객체 영상 처리부(120)에서 사용되는 고정상수 및 정보를 입력 인터페이스을 통하여 입력받아 저장/설정하는 고정상수/정보 설정부(124)를 포함하여 구성된다.
고정상수/정보 설정부(124)는 고정상수 및 정보를 저장하기 위한 메모리(미도시)를 포함할 수 있으며, 입력 인터페이스를 제어하여 사용자로부터 해당 상수 및 정보를 입력받기 위한 사용자 인터페이스 등을 포함하여 구성된다.
고정상수/정보 설정부(124)에 설정 및 저장된 상수 및 정보는 거리 연산부(123) 및 수평선 검출부(121)와 객체의 수면 경계선 검출부(122) 또는 이를 구성하는 어플리케이션의 요청에 의하여 실시간 제공된다.
또한, 촬영된 영상과 이를 통해 연산된 거리 정보를 포함하는 카메라 영상정보를 해상 위험관리 시스템(200)으로 전송하는 출력 인터페이스를 포함한다.
실시예에 따라 상기 출력 인터페이스는 이와는 별도로 청각적 및 시각적 정보로서 디스플레이 및 스피커 등으로 출력도록 구성될 수도 있으며, 이 경우 거리 연산부(123)는 검출된 해상 객체가 일정거리 이하로 접근시 상기 입력 인터페이스을 제어하여 연산된 거리 정보를 기초로 경보를 청각적 및 시각적 정보로서 디스플레이 및 스피커 등으로 출력하는 기능을 수행하도록 구성될 수 있다. 독자적으로 촬영부(110)에서 촬영되는 영상은 출력 인터페이스에서 거리 연산부(123)에서 제공되는 거리 정보와 결합되어 거리 정보가 통합된 영상 내지 카메라 영상정보를 별도의 디스플레이를 통해 시각적으로 제공할 수도 있다.
도 3b는 본 발명의 단안 카메라를 이용한 해상 객체 거리측정 시스템의 촬영부의 구성도이다. 촬영부(110)는 관측지점에 사전 설정된 해수면으로부터의 높이로 설치되어 거리 측정에 사용되는 일정한 수직 화각과 수직 해상도를 가지는 1 개의 카메라를 포함하여 상기 카메라로부터 촬영되는 영상을 수신하여 촬영영상을 출력 인터페이스와 수평선 검출부(121) 및 객체의 수면 경계선 검출부(122)로 구성되는 영상처리부(미도시)로 촬영영상을 전송하여 해상 위험관리 시스템(200)으로 촬영영상과 연산된 거리정보를 포함하는 카메라 영상정보를 전송하도록 하며, 도 3b를 참조하면, 본 실시예의 경우 360도 회전이 가능하고 상하 틸팅이 가능한 1 개의 단안 카메라(111)와 상기 단안 카메라(111)를 회전 및 상하 틸팅시키는 전동모터 등으로 구성되는 카메라 구동부(112), 및 상술한 해상 위험관리 시스템(200)으로부터의 카메라 구동제어신호에 따라, 카메라 구동부(112)를 제어하는 구동 제어부(113)으로 구성된다.
통상 카메라(111)는 일정한 주기로 360도 회전상태로 제어되며, 해상 객체의 발견 또는 위 해상 객체가 위험객체로 판단된 경우 해당 객체를 촬영할 수 있는 위치와 각도로 카메라의 회전 및 틸팅이 상기 구동제어신호에 의하여 제어되며, 실시예에 따라서는 카메라(111)의 촬영배율 즉 줌인(zoom-in) 및 줌 아웃(zoom-out)이 함께 제어된다.
상기 관측지점은 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)의 카메라(111)의 설치위치로서 본 실시예와 같이 선박의 선상의 특정지점이 일반적이나 이에 한정되지 않고, 지상의 항만 부두 등에 본 시스템이 설치되는 경우 관측지점는 지상의 카메라의 설치위치가 관측지점로서 특정될 수 있다.
본 실시예의 경우 선박의 선상의 특정지점에 설치되며, 사전 설정된 해수면으로부터의 높이로 설치되어 거리 측정에 사용된다. 본 발명의 특징상 카메라는 1대만이 포함되며, 해당 카메라의 화각(Angle of view, Field of view, FOV)은 렌즈를 통해서 카메라가 이미지를 담을 수 있는 각도 즉 시야각 중 본 발명에 있어서는 설치된 카메라의 수직 화각 A(°), 즉, 카메라가 보여 줄 수 있는 세로방향의 최대 시야각과 카메라의 수직 해상도 H (pixel) 즉, 카메라가 촬영하는 영상의 세로방향의 최대 해상도가 카메라의 고정상수 값으로 설정된다.
픽셀 당 수직각(θp) 즉, 카메라로 촬영된 영상의 Y축 좌표 1 픽셀 차이당 발생하는 각도차이로서
Figure 112015029604045-pat00009
(수식1)에 의하여 연산되어 설정되며, 여기서, A는 카메라의 수직 화각, H는 카메라의 수직 해상도이다.
예컨대, FLIR사의 HM-324XP+ 모델의 카메라의 경우, 시야각 : 24˚(H) X 18˚ (V), 카메라 해상도 : 320(H) X 240(V) 의 사양을 가지므로, 수직 화각 A = 18˚, 카메라 수직 해상도 H = 240이 된다. 따라서, θp = A / H = 0.075˚ 즉, HM-324XP+ 카메라로 촬영된 영상에서 픽셀의 Y 좌표값의 차이가 1픽셀 발생할 때 수직 방향 각의 차이인 픽셀 당 수직각은 0.075˚로 연산되어 상수로서 사용된다.
아울러, 카메라(111)의 설치 높이는 해수면으로부터의 카메라의 높이 값(T)으로 사용자에 의하여 사전 측정되어 입력 인터페이스를 통하여 입력되거나, 해발 고도 및 고도의 변화를 측정하여 실시간으로 출력하는 해발 고도 측정기(미도시)를 사용하여 자동 측정되어 실시간으로 입력될 수 있다. 해수면으로부터의 카메라의 높이 값(T)는 거리 측정에 있어 고정 상수값으로 사용되며, 자동 측정되어 실시간으로 입력되는 경우 높이 값의 실시간 변동이 거리 연산에 실시간으로 반영될 수 있다.
또한 카메라 설치 시 수평선이 보이는 곳에 설치하며, 이때 가능한 한 카메라는 수평을 유지하여 수평선의 Y좌표가 일정하도록 장착 위치가 조정된다.
영상처리부(미도시)의 수평선 검출부(121) 및 객체의 수면 경계선 검출부(122)는 상기 촬영부로부터 촬영되는 영상을 입력받아 수평선을 검출하고 목표물인 해상 객체와 그 위치의 수면인 객체의 수면 경계선을 검출하는 기능을 수행하며, 각 구성을 제어하는 제어부(미도시)에 내장될 수 있다.
이를 위하여 디지털 영상처리 방법의 에지 검출(Edge detection) 및/또는 라인 검출(Line detection) 방법이 사용될 수 있다.
수평선 검출부(121)는 촬영되는 영상으로부터 허프 변환(Hough Transformation)을 통한 선 검출 방법에 의하여 수평선을 검출하고 상기 수평선의 픽셀의 Y 좌표값(Y0)을 연산하여 출력하는 과정을 통하여 촬영되는 영상으로부터의 수평선의 검출하여 그 출력으로 픽셀의 Y 좌표값(Y0)을 거리 측정부(30)로 전송한다.
상기 촬영되는 영상이 그레이스케일 영상인 경우 상기 그레이스케일 영상의 그레이스케일 레벨 값의 최대값과 최소값의 중간값을 임계값(threshold)으로 설정하여 상기 촬영되는 영상의 상기 임계값 이상의 레벨 값을 가지는 픽셀을 레벨 값의 최대값으로 설정하고, 상기 임계값 미만의 레벨 값을 가지는 픽셀을 레벨 값의 최소값으로 설정하여 이진화한 뒤 이진화된 영상에 대하여 상기 허프 변환을 통한 선 검출방법을 수행하여, 영상처리에 소요되는 시간 및 부하를 절감시킬 수 있다.
상기 이진화를 위한 임계값을 그레이스케일 영상의 그레이스케일 레벨 값의 최대값과 최소값의 중간값을 설정하는 것은 수평선이 하늘(밝은색)과 바다(어두운색)의 경계로서, 수평선을 촬영한 그레이스케일 영상의 경우 하늘의 경우 레벨 값의 최대값 [256 레벨의 영상의 경우 255(백색)]에 근접하는 레벨 값을 가지고 바다의 경우 레벨 값의 최소값 [256 레벨의 영상의 경우 0(흑색)]에 근접하는 레벨 값을 가지고 레벨 값의 차가 큰 특성을 고려한 것이며, 중간값으로 256 레벨의 영상의 경우 128을 임계값으로 설정한다.
이진화를 위한 임계값은 입력 인터페이스를 통하여 카메라 및 카메라의 촬영 모드에 따라 사전 결정되어 설정/변경되나, 실시예에 따라서는 미리 촬영된 대상이 되는 하늘과 바다의 영상의 분석을 통해 촬영 환경 예컨대 날씨, 시간대, 지역에 최적화된 임계값을 얻을 수 있는 경우 해당 임계값을 설정하여 이진화를 진행하도록 구현될 수도 있다.
객체의 수면 경계선 검출부(122)는, 목표물인 해상 객체와 그 위치의 수면인 객체의 수면 경계선을 검출을 위해서는, 미리 획득하여 저장된 해수면의 텍스쳐 정보와 촬영되는 영상의 텍스쳐를 비교하여 미리 획득하여 저장된 텍스쳐 정보와 다른 텍스쳐 정보를 가지는 목표물인 객체를 검출하고, 검출된 객체의 하단을 객체와 수면의 경계선으로 검출하여 상기 객체와 수면의 경계선의 픽셀의 Y 좌표값(Ytarget)을 연산하여 출력하는 과정을 통하여, 촬영되는 영상으로부터 목표물인 해상 객체의 수면 경계선을 검출하여 그 출력으로 픽셀의 Y 좌표값(Ytarget)을 거리 연산부(123)로 전송한다. 이를 위하여 사전 단계로서, 해수면의 텍스쳐(texture) 정보를 미리 획득하여 입력받는 과정을 수행하게 되며, 이는 입력 인터페이스를 통하여 사용자의 선택에 의하여 입력되거나, 카메라로 촬영된 영상으로부터 자동적으로 해수면의 텍스쳐(texture) 정보를 미리 획득하여 자동적으로 저장하여 경계선의 검출에 사용되도록 설정될 수도 있다.
이와 같은 해상 객체의 특수성을 고려한 본 발명은 해상선박이라는 특수성에 의해 객체 검출을 위한 배경이 되는 부분이 해수 표면으로 거의 일정한 텍스쳐 정보즉 질감을 가지므로, 미리 획득한 해수면의 텍스쳐 정보를 사용하여 해수면의 텍스쳐 정보의 추출 및 해수면 검출을 위한 연산을 줄이고, 미리 획득한 해수면의 텍스쳐 정보와 영상에서 추출된 텍스쳐 정보들을 비교하는 방식으로 해수면과 텍스쳐 정보 즉 질감이 다른 물체를 검출하고 그 물체의 하단에 대한 픽셀의 Y 좌표값을 획득하는 방식이 채용되는 것이다. 이러한 텍스쳐를 이용한 객체 인식 내지 검출 방법으로 본 실시예의 경우 바람직하게는 MB-LBP(Multi-block Local Binary Patterns)방식이 사용된다.
이때, 수평선의 높이를 알고 있으므로 영상 중 픽셀의 Y 좌표값이 Y0보다 큰 부분(수평선보다 높은 위치)의 객체들은 거리측정의 의미가 없다. 따라서, 영상 중 픽셀의 Y 좌표값이 Y0보다 작은 범위 내에서만 객체를 검출하도록 하여 전체 연산을 줄일 수 있게 된다.
거리 연산부(123)는 수평선과 객체의 수면 경계선과의 거리를 연산하고, 상기 카메라의 설치 높이, 픽셀 당 수직각 및 수평선과 객체의 수면 경계선 간 거리로부터 관측지점에서 해상 객체까지의 거리를 연산하는 기능을 수행하며, 각 구성을 제어하는 제어부(미도시)에 내장될 수 있다.
수평면과 객체의 수면 경계선의 거리 연산은 상술한 수평선 검출부(121) 및 객체의 수면 경계선 검출부(122)로부터 전송되는 수평선의 픽셀의 Y 좌표값(Y0)과 객체와 수면의 경계선의 픽셀의 Y 좌표값(Ytarget)의 차로서 연산된다.
관측지점에서 해상 객체까지의 거리(D)는
Figure 112015029604045-pat00010
(수식1)에 의하여 연산되며, 여기서, A는 카메라의 수직 화각, H는 카메라의 수직 해상도이고, 수평선과 수면 경계선 사이의 각도(θ)는
Figure 112015029604045-pat00011
(수식2)에 의하여 연산되며, 여기서 Y0는 수평선의 픽셀의 Y 좌표값, Ytarget은 경계선의 픽셀의 Y 좌표값이고, 관측지점에서 해상 객체까지의 거리(D)는
Figure 112015029604045-pat00012
(수식3)에 의하여 연산되며, 여기서 T는 카메라의 설치 높이이다.
또한, 실시예에 따라서는 거리 측정부(30)에서 상기 객체와 수면의 경계선의 픽셀의 Y 좌표값(Ytarget)이 상기 수평선의 픽셀의 Y 좌표값(Y0) 이하인 경우의 객체에 대하여만 거리 연산을 수행하여, 전체 연산 및 검출오류를 감소시킬 수 있다.
거리 연산부(123)는 검출지에서 검출된 해상 객체의 거리를 연산하여 상기 출력 인터페이스를 통하여 해상객체의 촬영영상과 함께 카메라 영상정보로출력하여, 해상 위험관리 시스템으로 전송하도록 한다.
실시예에 따라서는 단안 카메라를 이용한 해상 객체 거리측정 시스템이 독립적으로 위험검출 및 경보기능을 수행하도록 구성하여, 상기 검출된 해상 객체의 거리를 실시간으로 모니터링하여, 일정거리 이하로 접근시 상기 출력 인터페이스을 제어하여 연산된 거리 정보를 기초로 경보를 청각적 및 시각적 정보로서 별도의 디스플레이(미도시) 및 스피커(미도시) 등으로 출력하는 기능을 수행할 수도 있다.
이하, 도 3c 내지 도 3f를 참조하여 본 발명의 카메라의 픽셀 당 수직각을 이용한 해상객체의 거리 측정방법 및 그 구체적인 실시예를 설명한다. 본 발명의 카메라의 픽셀 당 수직각을 이용한 해상객체의 거리 측정방법은 기본적으로 상술한 바와 같은 단안 카메라를 이용한 해상 객체 거리측정 시스템에 의하여 수행되나, 이에 한정되지 않고 타 시스템의 구성부분으로도 구성될 수 있다.
도 3c는 본 발명의 단안 카메라를 이용한 해상 객체 거리측정 시스템의 해상객체의 거리 측정방법의 흐름도, 도 3d은 본 발명의 카메라의 픽셀당 수직각을 이용한 해상객체의 거리 측정방법을 설명하기 위한 도면, 도 3e는 카메라의 픽셀당 수직각을 이용한 해상객체의 거리 측정방법에 사용되는 촬영 영상이다.
도 3c 및 도 3d를 참조하면, 본 발명의 본 발명의 카메라의 픽셀당 수직각을 이용한 해상객체의 거리 측정방법은 관측지점에 사전 설정된 해수면으로부터의 높이로 설치되어 거리 측정에 사용되는 카메라의 설치 높이, 수직 화각 및 수직 해상도를 입력받아 픽셀 당 수직각을 연산하여 저장하는 고정상수/정보 입력단계(S110), 관측지점에서 상기 카메라에 의하여 촬영되는 영상으로부터 수평선을 검출하는 수평선 검출단계(S120), 상기 카메라에 의하여 촬영되는 목표물인 해상 객체를 포함하는 영상으로부터 해상 객체와 그 위치의 수면인 객체와 수면의 경계선을 검출하는 객체의 수면 경계선 검출단계(S130), 상기 수평선과 객체의 수면 경계선과의 거리를 연산하는 수평선과 객체의 수면 경계선 간 거리 연산단계(S140), 상기 카메라의 설치 높이, 픽셀 당 수직각 및 수평선과 객체의 수면 경계선 간 거리로부터 관측지점에서 해상 객체까지의 거리를 연산하는 객체거리 연산단계(S150)를 포함하며, 촬영영상과 연산된 관측지점에서 해상 객체까지의 거리를 포함하는 카메라 영상정보를 출력한다.
도 3d(a)를 참조하면, 카메라의 픽셀당 수직각을 이용한 해상객체의 거리(D) 측정방법의 수행을 위하여, 해수면으로부터의 하나의 카메라의 설치 높이(T), 픽셀 당 수직각(θp)이 기본적인 고정상수로서 사용되며, 고정상수/정보 입력단계(S110)에서 설정 입력된다.
하나의 카메라에 의하여 촬영되는 단일 영상이 사용되며 상기 카메라에 의하여 촬영되는 촬영 영상은 도 3d(b)에서와 같이 수평 해상도 Hmax(pixel) X 수직 해상도 Vmax(pixel)을 가지며, 좌측 상단의 픽셀이 좌표값 (0.0)으로 우측 하단의 픽셀이 좌표값 (Hmax.Vmax)로 설정된다. 촬영 영상에 있어서, 수평선은 픽셀의 좌표값이 (O.Y0)에서 (Hmax.Y0)까지의 점(픽셀)이 구성하는 직선이며, 경계선은 촬영 영상의 해상 객체와 그 위치의 수면인 객체와 수면의 경계선으로, 픽셀의 좌표값이 (O.Ytarget)에서 (Hmax.Ytarget)까지의 점이 구성하는 직선으로, 수평선의 픽셀의 좌표값(Y0)과 경계선의 픽셀의 Y 좌표값(Ytarget)이 각각 수평선 검출단계(S120) 및 경계선 검출단계(S130)에서 검출되어 기본적으로 해상 객체의 거리의 연산에 변수로서 사용된다.
고정상수/정보 입력단계(S110)에서는 거리 측정에 사용되는 카메라의 설치 높이, 수직 화각 및 수직 해상도를 입력 인터페이스를 통하여 입력받아 픽셀 당 수직각을 연산하여 저장/설정한다.
앞서 살핀 바와 같이, 카메라의 설치 높이(T)는 사전 측정되어 입력 인터페이스를 통하여 입력되거나, 해발 고도 및 고도의 변화를 측정하여 실시간으로 출력하는 해발 고도 측정기(미도시)를 사용하여 자동 측정되어 실시간으로 입력되어, 거리 측정에 있어 고정 상수값으로 사용되며, 자동 측정되어 실시간으로 입력되는 경우 높이 값의 실시간 변동이 거리 연산에 실시간으로 반영될 수 있다.
상기 픽셀 당 수직각(θp)은
Figure 112015029604045-pat00013
(수식1)에 의하여 연산되어 설정되며, 여기서, θp는 픽셀 당 수직각, A는 카메라의 수직 화각, H는 카메라의 수직 해상도로서, 상술한 바와 같이, 카메라에 따라 사전 설정된 값을 가지며, 입력 인터페이스를 통하여 사용자에 의하여 입력되어 설정/저장된다.
아울러, 고정상수/정보 입력단계(S110)에서는 미리 획득한 해수면의 텍스쳐(texture) 정보를 입력받아 저장하며, 이는 상기 수면 경계선 검출단계(S30)에서 상기 저장된 미리 획득한 해수면의 텍스쳐 정보와 촬영되는 영상의 텍스쳐를 비교하여 상기 미리 저장된 텍스쳐 정보와 다른 텍스쳐 정보를 가지는 목표물인 객체를 검출하고, 검출된 객체의 하단을 객체와 수면의 경계선으로 검출하여 상기 객체와 수면의 경계선의 픽셀의 Y 좌표값(Ytarget)을 연산하기 위한 사전 설정정보로서 저장된다.
또한, 실시예에 따라서는, 미리 획득한 해수면 및 하늘의 색 관련 정보 예컨데 그레이스케일 레벨 및 미리 획득한 해수면의 텍스쳐(texture) 정보는 관측지점에서 상기 카메라에 의하여 촬영되는 영상으로부터 수평선을 검출하는 수평선 검출단계(S120)에서 수평선을 검출하기 위한 사전 설정정보 또는 경계선 검출단계(130)에서 경계선을 검출하기 위한 사전 설정 정보로서 저장될 수도 있다.
수평선 검출단계(S120)는 촬영되는 영상으로부터 수평선을 검출하고 상기 수평선의 픽셀의 Y 좌표값(Y0)을 연산하며, 본 실시예의 경우 허프 변환(Hough Transformation)을 통한 선 검출 방법에 의하여 수행된다. 수평선 검출에 있어 허프 변환(Hough Transformation)은 촬영되는 영상을 영상처리가 용이하도록 적절한 임계값(threshold)를 통해 이진화하는 과정 및 이진화된 영상에서 픽셀 간 색의 급격한 변화를 가지는 엣지(edge)를 검출하는 과정을 포함한다.
본 실시예의 경우, 이진화하는 과정은 상기 촬영되는 영상이 그레이스케일 영상인 경우 상기 그레이스케일 영상의 그레이스케일 레벨 값의 최대값과 최소값의 중간값을 임계값(threshold)으로 설정하여 상기 촬영되는 영상의 상기 임계값 이상의 레벨 값을 가지는 픽셀을 레벨 값의 최대값으로 설정하고, 상기 임계값 미만의 레벨 값을 가지는 픽셀을 레벨 값의 최소값으로 설정하여 이진화한 뒤 이진화된 영상에 대하여 상기 허프 변환을 통한 선 검출방법을 수행하여, 영상처리에 소요되는 시간 및 부하를 절감시킬 수 있다. 상기 이진화를 위한 임계값을 그레이스케일 영상의 그레이스케일 레벨 값의 최대값과 최소값의 중간값을 설정하는 것은 수평선이 하늘(밝은색)과 바다(어두운색)의 경계로서, 수평선을 촬영한 그레이스케일 영상의 경우 하늘의 경우 레벨 값의 최대값 [256 레벨의 영상의 경우 255(백색)]에 근접하는 레벨 값을 가지고 바다의 경우 레벨 값의 최소값 [256 레벨의 영상의 경우 0(흑색)]에 근접하는 레벨 값을 가지고 레벨 값의 차가 큰 특성을 고려한 것이며, 256 레벨의 영상의 경우 중간값인 128을 임계값으로 설정하여, 중간값(128)이상의 레벨 값을 가지는 픽셀은 레벨은 255(백색)로 처리하고 중간값 미만의 레벨 값을 가지는 픽셀은 0(흑색)으로 처리하는 방식으로 사전이진화 한다.
이진화를 위한 임계값은 입력 인터페이스를 통하여 카메라 및 카메라의 촬영 모드에 따라 사전 결정되어 설정/변경되나, 실시예에 따라서는 미리 촬영된 대상이 되는 하늘과 바다의 영상의 분석을 통해 촬영 환경 예컨대 날씨, 시간대, 지역에 최적화된 임계값을 얻을 수 있는 경우 해당 임계값을 설정하여 이진화를 진행하도록 구현될 수도 있다.
이어 이진화된 영상에 대하여 예컨대 캐니 엣지 검출기(canny edge detecter)와 같은 마스크를 이용하여 엣지(edge)를 검출하는 과정을 수행하여 수평선을 구성하는 후보가 되는 점(픽셀)을 검출하고, 각 검출된 점들에 대하여 허프 변환(Hough Transformation)은 가장 많은 점들이 포함되는 직선을 검출하고, 해당 직선의 방정식을 통해 수평에 가까운 경우 해당 직선을 수평선으로 검출하여, 수평선을 구성하는 픽셀의 Y 좌표값(Y0)을 연산한다.
수면 경계선 검출단계(S130)는 상기 카메라에 의하여 촬영되는 목표물인 해상 객체를 포함하는 영상으로부터 해상 객체를 검출하고, 이어 그 위치의 수면인 객체와 수면의 경계선을 검출하는 방식으로 수행되며, 사전 설정된 미리 획득한 해수면의 텍스쳐(texture) 정보를 사용하여, 상기 텍스쳐 정보와 촬영되는 영상의 텍스쳐를 비교하여 상기 미리 저장된 텍스쳐 정보와 다른 텍스쳐 정보를 가지는 목표물인 객체를 검출하고, 검출된 객체의 하단을 객체와 수면의 경계선으로 검출하여 상기 객체와 수면의 경계선의 픽셀의 Y 좌표값(Ytarget)을 연산하는 방식으로 수행된다.
이에 따라, 이와 같은 검출 대상 객체가 해상 선박이라는 특수성에 의해 객체 검출을 위한 배경이 되는 부분이 해수 표면으로 거의 일정한 텍스쳐 정보 즉 질감을 가지는 특성이 고려되어, 해상 객체 및 객체의 수면 경계선의 검출 및 연산에 소요되는 시간 및 부하를 줄일 수 있다. 본 실시예에 있어서, 텍스쳐를 이용한 객체 인식 내지 검출 방법으로 MB-LBP(Multi-block Local Binary Patterns)방식이 사용된다.
또한, 해상 객체 및 객체의 수면 경계선의 검출 및 연산에 소요되는 시간 및 부하를 줄이기 위하여, 상기 수면 경계선 검출단계는 촬영되는 영상의 픽셀의 Y 좌표값이 상기 수평선의 픽셀의 Y 좌표값(Y0) 이하인 부분에 대하여만 수행된다. 이는 검출 대상 객체가 해상 선박이라는 특수성으로 인해 객체 검출의 대상이 되는 해상 객체가 수평선 이래 부분의 경우 유의미하며, 영상 중 수평선 보다 높은 위치 즉, 수평선의 픽셀의 Y 좌표값보다 큰 부분의 객체들은 거리측정의 의미가 없기 때문이다.
수평선과 객체의 수면 경계선 간 거리 연산단계(S140)는 상기 수평선과 객체의 수면 경계선과의 거리를 연산하며, 전술한 수평선 검출단계(S120) 및 수면 경계선 검출단계(S30)에서 수평선의 픽셀의 Y 좌표값(Y0) 및 상기 객체와 수면의 경계선의 픽셀의 Y 좌표값(Ytarget)이 연산되는 경우 이들의 차를 수평선과 객체의 수면 경계선과의 거리로 연산하여 출력한다.
객체거리 연산단계(S150)는, 먼저 도3d(a)에서와 같이,
Figure 112015029604045-pat00014
(수식2)에 의하여 수평선과 수면 경계선 사이의 각도(θ)를 고정 상수로 저장된 픽셀 당 수직각(θp)과 검출된 Y0는 수평선의 픽셀의 Y 좌표값(Y0) 및 경계선의 픽셀의 Y 좌표값(Ytarget)을 이용하여 연산하고, 이어
Figure 112015029604045-pat00015
(수식3)에 의하여 고정 설정된 카메라의 설치 높이(T)와 연산된 수평선과 수면 경계선 사이의 각도(θ)를 이용하여 최종 관측지점에서 목표물인 해상 객체까지의 거리(D)를 연산한다.
도 3e는 카메라의 픽셀당 수직각을 이용한 해상객체의 거리 측정방법에 사용되는 촬영 영상의 예시로 열화상카메라(Thermal imaging cameras)로 촬영된 수평 해상도 320(pixel) X 수직 해상도 240(pixel)의 그레이스케일 영상이다. 좌측 상단의 픽셀이 좌표값 (0.0)으로 우측 하단의 픽셀이 좌표값 (320.240)로 설정된다. 특히, 본 발명은 열화상카메라(Thermal imaging cameras)와 같이 나이트비젼(Night vision)기술과 접목되어 선박의 야간 또는 악천 후 해무 폭우 시에도 해상 객체를 감지하며, 특히 레이더 또는 AIS로 감지할 수 없는 해상 부유물, 암초, 교량의 교각, 목선 등 선박에 피해를 줄 수 있는 장애물을 검출 및 그 거리를 실시간 연산하여 제공하고, 본 발명에서와 같이, 촬영 영상 내지 객체영상과 거리를 디스플레이하거나, 이를 기초로 해상 객체의 위험을 판단하도록 하여, 레이더 시스템 및 AIS 시스템과 통합되는 해상 위험관리 시스템의 구축이 가능하도록 한다.
도 3f는 본 발명의 카메라의 픽셀당 수직각을 이용한 해상객체의 거리 측정방법의 카메라 영상정보 생성과정의 세부 흐름도로서, 본 발명의 해상객체의 거리 측정방법이 상술한 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템과 연동되어 수행되는 경우의 흐름도이다.
도 3f를 참조하면, 먼저, 고정상수/정보 설정부(140)는 거리 측정방법의 수행에 필요한 고정상수/정보를 모두 입력받기 위하여 고정상수/정보입력과정(310)을 수행한다. 고정상수 등의 설정이 완료되면(320), 해상 위험관리 시스템(200)의 구동제어 신호에 따라 촬영부(110)가 제어되어(321) 영상촬영을 개시한다. 구동제어 과정(321)에 있어서 통상 카메라(111)는 일정한 주기로 360도 회전상태로 제어되며, 해상 객체의 발견 또는 위 해상 객체가 위험객체로 판단된 경우 해당 객체를 촬영할 수 있는 위치와 각도로 카메라의 회전 및 틸팅이 상기 구동제어신호에 의하여 제어되고, 실시예에 따라서는 카메라(111)의 촬영배율 즉 줌인(zoom-in) 및 줌 아웃(zoom-out)이 함께 제어된다.
촬영되는 영상은 영상처리전 실시간으로 해상 위험관리 시스템(200)으로 전송(336)되는 동시에, 영상처리부의 수평선 검출부(121) 및 객체의 수면 경계선 검출부(122)에 의하여 영상처리된다. 영상처리과정은 영상 내 수평선과 객체 및 상기 객체의 수면 경계선을 검출하는 과정으로 수평선 검출부(121)는 촬영되는 영상으로부터 수평선을 검출을 시도하여, 수평선이 검출되면 수평선의 픽셀의 Y 좌표값(Y0)을 연산하여 출력하고(332) 수평선이 검출되지 않으면 잘못된 영상으로 판단하여 영상촬영(320)과정으로 회귀하여 새로이 촬영된 영상을 입력받는다.
여기서 객체 및 객체의 수면 경계선의 검출을 위하여, 미리 획득하여 저장된 해수면의 텍스쳐 정보와 촬영되는 영상의 텍스쳐를 비교하여 미리 획득하여 저장된 텍스쳐 정보가 고정상수/정보 설정부(140)로부터 호출되어 사용되며, 수면 경계선 검출부(122)는 촬영되는 영상으로부터 목표물인 해상 객체를 검출을 시도하여(333) 목표물인 해상 객체가 검출되면, 객체영상을 해상 위험관리 시스템(200)으로 전송(336)하고, 해상 객체의 위치의 수면인 객체와 수면의 경계선을 검출하고(334) 검출된 경계선의 픽셀의 Y 좌표값(Ytarget)을 연산하여 출력한다(335). 상기 수면 경계선 검출과정은 촬영되는 영상의 픽셀의 Y 좌표값이 상기 수평선의 픽셀의 Y 좌표값(Y0) 이하인 부분에 대하여만 수행되도록 제어함으로써, 수면 경계선 검출에 소요되는 연산량 및 부하를 감소할 수 있게 된다.
이어, 소요되는 연산량 및 부하와 오류를 감소할 수 있도록 상기 객체와 수면의 경계선의 픽셀의 Y 좌표값(Ytarget)이 상기 수평선의 픽셀의 Y 좌표값(Y0) 이하인 지 여부를 판단하여(340) 객체의 수면 경계선의 픽셀의 Y 좌표값(Ytarget)이 상기 수평선의 픽셀의 Y 좌표값(Y0) 이하인 경우의 객체에 대하여만 수평선과 경계선의 거리를 연산하는 과정(350)으로 진행하여 관측지점과 객체간의 거리 연산(360)을 수행할 수 있다. 수면의 경계선의 픽셀의 Y 좌표값(Ytarget)이 상기 수평선의 픽셀의 Y 좌표값(Y0)보다 큰 경우 오류로 판단하여 거리연산과정을 종료한다.
해상 객체가 검출되지 않거나 경계선이 검출되지 않으면 잘못된 영상 또는 해상 객체가 없는 것으로 판단하여 영상촬영(320)과정으로 회귀하여 새로이 촬영된 영상을 입력받는다.
거리 연산부(123)은, 객체의 수면 경계선의 픽셀의 Y 좌표값(Ytarget)과 상기 수평선의 픽셀의 Y 좌표값(Y0)을 전달받아 이들 간 차 ┃Y0 －Ytarget┃를 거리로 연산하며(550), 이어
Figure 112015029604045-pat00016
(수식2)에 의하여 수평선과 수면 경계선 사이의 각도(θ)를 연산하고,
Figure 112015029604045-pat00017
(수식3)에 의하여 관측지점에서 해상 객체까지의 거리(D)를 연산하여 객체거리 정보를 포함하는 카메라 영상정보를 해상 위험관리 시스템(200)으로 전송한다(370). 여기서 T는 카메라의 설치 높이로 고정상수/정보 설정부(124)로부터 호출된다.
이하, 도 4 내지 도 5를 참조하여, 상술한 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용하여 카메라 영상정보 생성과정에서 생성되는 카메라 영상정보를 기반으로 단안 카메라를 이용한 해상 객체 거리측정 시스템과 해상 위험관리 시스템과의 연동을 통한 기존 시스템과의 통합 방식을 상술한 통합영상처리부(230) 또는 카메라 제어부(250)의 기능과, 카메라 제어단계(S50) 영상 정보 처리 단계(S60) 및 카메라 영상/통합 영상 표시단계(S70)와 관련하여 설명된 사항과 중복되지 않는 범위에서 설명한다.
도 4는 본 발명의 촬영된 해상 객체을 합성하여 출력하는 과정의 실시예의 세부 흐름도로서, 단안 카메라를 이용한 해상 객체 거리측정 시스템이 기존의 레이더 시스템과 연동하여 병합될 수 있는 실시예이다.
도 4를 참조하면, 레이더 시스템에서, 레이더 정보를 수신하여 디스플레이 장치에 표시하는 과정(410)이 수행되고, 레이더 정보의 분석(420)이 수행되어 레이더 정보를 분석하여 해상 객체의 존재 여부를 판단한다(430). 해상 객체가 존재하는 것으로 판단되면 해당 객체의 위치 진행 방향 속도 등의 레이더 정보를 분석하여 위험 객체인지 여부를 판단한다. 위험 객체로 판단되면 음향 또는 영상의 경보 신호를 발생시켜 출력(480)하며, 단안 카메라를 이용한 해상 객체 거리측정 시스템에 상술한 구동제어신호를 전송하여 카메라를 제어하고(450) 제어된 위치에서 촬영된 해상 객체의 객체영상을 수신하며, 제어된 위치에서 촬영된 해상 객체의 객체영상을 레이더 영상에 합성하여 디스플레이 장치에 출력하는(470) 일련의 과정으로 수행된다. 상기 촬영된 해상 객체의 객체영상의 레이더 영상에 합성 출력 시 객체 영상 처리부(120)에서 연산된 거리 정보를 함께 출력하여 표시되도록 구현될 수도 있다.
기존의 레이더 시스템의 구성에 따라, 일련의 과정 전부가 시스템에서 자동으로 처리될 수 있으며, 레이더 정보의 분석과정(420), 레이더 정보를 분석과정(430), 위험객체 여부 판단과정(440), 카메라 제어과정(450)의 전부 또는 일부는 사용자에 의하여 레이더 정보의 분석 및 판단이 이루어지고 그 결과를 입력받아 레이더 시스템에서 처리하는 과정으로 수행될 수도 있다.
실시예에 따라서는 레이더 정보의 정확도가 낮을 가능성을 대비하거나 재확인을 위하여, 사용자의 선택을 입력받아, 표시되는 영상을 카메라 촬영영상으로 전환표시하거나 AIS 영상으로 전환하여 출력하도록 구현될 수도 있다.
도 5는 본 발명의 촬영된 해상 객체을 합성하여 출력하는 과정의 다른 실시예의 세부 흐름도로서, 단안 카메라를 이용한 해상 객체 거리측정 시스템이 기존의 AIS 시스템과 연동하여 병합될 수 있는 실시예이다.
도 5를 참조하면, AIS 시스템에서, AIS 정보를 수신하여 디스플레이 장치에 표시하는 과정(510)이 수행되고, AIS 정보의 분석(520)이 수행되어 레이더 정보를 분석하여 해상 객체의 존재 여부를 판단한다(530). 해상 객체가 존재하는 것으로 판단되면 해당 객체의 위치 진행 방향 속도 등의 AIS 정보를 분석하여 위험 객체인지 여부를 판단한다. 위험 객체로 판단되면 음향 또는 영상의 경보 신호를 발생시켜 출력(580)하며, 단안 카메라를 이용한 해상 객체 거리측정 시스템에 상술한 구동제어신호를 전송하여 카메라를 제어하고(550) 제어된 위치에서 촬영된 해상 객체의 객체영상을 수신하며, 제어된 위치에서 촬영된 해상 객체의 객체영상을 AIS 영상에 합성하여 디스플레이 장치에 출력하는(570) 일련의 과정으로 수행된다. 기존의 AIS 시스템의 구성에 따라, 일련의 과정 전부가 시스템에서 자동으로 처리될 수 있으며, 레이더 정보의 분석과정(520), AIS 정보를 분석과정(530), 위험객체 여부 판단과정(540), 카메라 제어과정(550)의 전부 또는 일부는 사용자에 의하여 AIS 정보의 분석 및 판단이 이루어지고 그 결과를 입력받아 AIS 시스템에서 처리하는 과정으로 수행될 수도 있다. 상기 촬영된 해상 객체의 객체영상의 AIS 영상에 합성 출력 시 객체 영상 처리부(120)에서 연산된 거리 정보를 함께 출력하여 표시되도록 구현될 수도 있다.
실시예에 따라서는 AIS 정보의 정확도가 낮을 가능성을 대비하거나 재확인을 위하여, 사용자의 선택을 입력받아, 표시되는 영상을 카메라 촬영영상으로 전환표시하거나 레이더 영상으로 전환하여 출력하도록 구현될 수도 있다.
도 6은 본 발명의 촬영된 해상 객체을 합성하여 출력하는 과정의 또 다른 실시예의 세부 흐름도로서, 단안 카메라를 이용한 해상 객체 거리측정 시스템이 기존의 레이더 시스템 및 AIS 시스템과 연동하여 병합될 수 있는 실시예이다.
도 6을 참조하면, 단안 카메라를 이용한 해상 객체 거리측정 시스템, 레이더 시스템 및 AIS 시스템이 통합된 시스템에서, 카메라 영상정보, AIS 정보, 레이더 정보를 수신하여 각각 처리되고(610), 통합 디스플레이 장치가 사용되는 경우 사용자의 선택을 입력받아(610) 디스플레이 장치에 선택된 영상정보를표시하는 과정(620)이 수행되며, 카메라 영상정보, AIS 정보, 레이더 정보 각각을 분석하여 해상객체의 존재여부를 판단하는 객체정보처리/분석과정(630)이 수행되어 해상 객체의 존재 여부를 판단한다. 해상 객체가 존재하는 것으로 판단되면 해당 객체의 정보를 분석하여 위험 객체인지 여부를 판단한다. 위험 객체로 판단되면 음향 또는 영상의 경보 신호를 발생시켜 출력(680)하며, 위험으로 판단된 객체가 레이더 정보를 통해 발견되어 위험으로 판단된 객체이면(650), 디스플레이 장치에 디스플레이되는 영상을 레이더 영상으로 전환/표시하고(651), 단안 카메라를 이용한 해상 객체 거리측정 시스템에 상술한 구동제어신호를 전송하여 카메라를 제어하고(652) 제어된 위치에서 촬영된 해상 객체의 객체영상을 수신하며, 제어된 위치에서 촬영된 해상 객체의 객체영상을 레이더 영상에 합성하여 디스플레이 장치에 출력한다(654).
한편, 위험으로 판단된 객체가 레이더 정보를 통해 발견되어 위험으로 판단된 객체가 아니고 AIS 정보를 통해 발견되어 위험으로 판단된 객체이면(660), 디스플레이 장치에 디스플레이되는 영상을 AIS 영상으로 전환/표시하고(661), 단안 카메라를 이용한 해상 객체 거리측정 시스템에 상술한 구동제어신호를 전송하여 카메라를 제어하고(662) 제어된 위치에서 촬영된 해상 객체의 객체영상을 수신하며, 제어된 위치에서 촬영된 해상 객체의 객체영상을 AIS 영상에 합성하여 디스플레이 장치에 출력한다(664).
다른 한편, 한편, 위험으로 판단된 객체가 레이더 정보 또는 AIS 정보를 통해 발견되어 위험으로 판단된 객체가 아니고 카메라 영상정보를 통해 발견되어 위험으로 판단된 객체이면(670), 디스플레이 장치에 디스플레이되는 영상을 카메라 촬영 영상으로 전환/표시하고(671), 단안 카메라를 이용한 해상 객체 거리측정 시스템에 상술한 구동제어신호를 전송하여 카메라를 제어하고(672) 제어된 위치에서 촬영된 해상 객체의 객체영상을 수신하며, 제어된 위치에서 촬영된 해상 객체의 객체영상을 디스플레이되는 카메라 촬영영상에 합성하여 디스플레이 장치에 출력한다(674). 여기서, 카메라 촬영영상으로부터 위험객체가 감지된 경우, 상대적으로 수치적으로 정확도가 낮을 가능성을 대비하여 사용자의 선택을 입력받아(675), 카메라 촬영영상을 레이더 영상으로 전환표시(676)하거나 AIS 영상으로 전환하여 출력하도록 하여(677), 레이더 영상 또는 AIS 영상과 이에 표시되는 해상 객체의 정보를 재확인할 수 있도록 한다.
이상에서와 같이, 본 발명의 구성 또는 단계의 특별한 조합들이 상기 실시예를 통하여 상세히 설명되었으나 이러한 구성 및 단계의 다른 조합들이 마찬가지로 가능하다. 본 발명은 여기에 개시된 특정한 실시예에 제한되지 않으며, 이러한 다른 조합들은 본 발명의 권리범위에 통합된다. 따라서, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
100 : 단안 카메라를 이용한 해상 객체 거리측정 시스템
110 : 촬영부 120: 객체 영상 처리부
200 : 해상 위험 관리 시스템

Claims (15)

  1. 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템에 있어서,
    관측지점에 사전 설정된 해수면으로부터의 높이로 설치되어 거리 측정에 사용되는 일정한 수직 화각과 수직 해상도를 가지는 1 개의 카메라를 포함하여 상기 카메라로부터 촬영되는 영상을 수신하여 출력하는 촬영부(110), 상기 촬영부로부터 촬영되는 영상을 입력받아 수평선을 검출하고 목표물인 해상 객체와 그 위치의 수면인 객체의 수면 경계선을 검출하고, 상기 수평선과 객체의 수면 경계선과의 거리를 연산하며, 상기 카메라의 설치 높이, 픽셀 당 수직각 및 수평선과 객체의 수면 경계선 간 거리로부터 관측지점에서 해상 객체까지의 거리를 연산하여 출력하는 객체 영상 처리부(120)를 포함하는 단안 카메라를 이용한 해상 객체 거리측정 시스템(100),
    상기 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)으로부터 촬영되는 해상 객체 영상과 관측지점에서 해상 객체까지의 거리정보를 카메라 영상정보로서 수신하고, 레이더 정보 처리부(300)로부터 해상 객체의 위치정보를 포함하는 레이더 정보를 수신하고, AIS 정보 처리부(400)로부터 AIS 정보를 수신하여, 카메라 영상정보, 레이더 정보 및 AIS 정보를 수신하여 판독하여 해상 객체를 검출하여, 검출된 해상 객체의 위험 여부를 판단하고, 해상 객체와 연관된 영상 정보를 처리하여 출력하는 해상 위험 관리 시스템(200)을 포함하여,
    상기 해상 위험 관리 시스템(200)은 수신된 카메라 영상정보, 레이더 정보 및 AIS 정보의 판독결과 해상 객체가 검출된 경우, 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)의 카메라의 촬영위치를 검출된 해상 객체의 촬영을 위한 위치로 제어하는 구동제어신호를 발생시켜, 제어된 위치에서 촬영된 해상 객체의 객체영상을 처리하여 출력하고,
    상기 픽셀 당 수직각(θp)은
    Figure 112016045557917-pat00033
    (수식1)에 의하여 연산되어 설정되며, 여기서, A는 카메라의 수직 화각, H는 카메라의 수직 해상도이고, 수평선과 수면 경계선 사이의 각도(θ)는
    Figure 112016045557917-pat00034
    (수식2)에 의하여 연산되며, 여기서 Y0는 수평선의 픽셀의 Y 좌표값, Ytarget은 수면 경계선의 픽셀의 Y 좌표값이고, 관측지점에서 해상 객체까지의 거리(D)는
    Figure 112016045557917-pat00035
    (수식3)에 의하여 연산되며, 여기서 T는 카메라의 설치 높이인 것을 특징으로 하는 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 객체 영상 처리부(120)는 촬영되는 영상으로부터 허프 변환(Hough Transformation)을 통한 선 검출 방법에 의하여 수평선을 검출하고 상기 수평선의 픽셀의 Y 좌표값(Y0)을 연산하는 것을 특징으로 하는 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템.
  4. 제1항에 있어서,
    상기 객체 영상 처리부(120)는 미리 획득하여 저장된 해수면의 텍스쳐 정보와 촬영되는 영상의 텍스쳐를 비교하여 미리 획득하여 저장된 텍스쳐 정보와 다른 텍스쳐 정보를 가지는 목표물인 객체를 검출하고, 검출된 객체의 하단을 객체의 수면 경계선으로 검출하여 상기 객체의 수면 경계선의 픽셀의 Y 좌표값(Ytarget)을 연산하는 것을 특징으로 하는 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템.
  5. 제1항에 있어서,
    상기 객체 영상 처리부(120)는 상기 객체의 수면 경계선의 픽셀의 Y 좌표값(Ytarget)이 상기 수평선의 픽셀의 Y 좌표값(Y0) 이하인 경우의 객체에 대하여만 거리 연산을 수행하는 것을 특징으로 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템.
  6. 제1항에 있어서,
    상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 레이더 영상에 합성하여 출력하는 것을 특징으로 하는 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템.
  7. 제1항에 있어서,
    상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 AIS 영상에 합성하여 출력하는 것을 특징으로 하는 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템.
  8. 제1항에 있어서,
    상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 카메라 촬영영상에 합성하여 출력하는 것을 특징으로 하는 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템.
  9. 제1항에 있어서,
    카메라 영상정보, 레이더 정보 및 AIS 정보를 수신하여 판독하여 해상 객체를 검출하여, 검출된 해상 객체의 위험 여부를 판단하고, 위험으로 판단된 객체가 레이더 정보를 통해 발견되어 위험으로 판단된 객체이면, 상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 레이더 영상에 합성하여 출력하고, 위험으로 판단된 객체가 AIS 정보를 통해 발견되어 위험으로 판단된 객체이면, 상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 AIS 영상에 합성하여 출력하며, 위험으로 판단된 객체가 카메라 영상정보를 통해 발견되어 위험으로 판단된 객체이면,상기 구동제어신호를 발생시켜 제어된 위치에서 촬영된 해상 객체의 객체영상을 카메라 촬영영상에 합성하여 출력하는 것을 특징으로 하는 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템.
  10. 제8항에 있어서,
    사용자의 선택입력에 따라, 카메라 촬영영상을 레이더 영상 또는 AIS 영상으로 선택적으로 전환하여 출력하는 것을 특징으로 하는 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템.
  11. 제6항 내지 제10항 중 어느 한 항에 있어서,
    상기 촬영된 해상 객체의 객체영상의 출력 시 객체 영상 처리부(120)에서 연산된 거리 정보를 함께 출력하여 표시되도록 하는 것을 특징으로 하는 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템.
  12. 제6항 내지 제10항 중 어느 한 항에 있어서,
    검출된 해상 객체의 위험 여부를 판단하여, 위험으로 판단되면 위험경보를 발생하여 출력하는 것을 특징으로 하는 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템.
  13. 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리방법에 있어서,
    해상 객체 거리측정 시스템으로부터 출력되는 단안 카메라를 이용하여 촬영되는 해상 객체 영상과 연산된 관측지점에서 해상 객체까지의 거리정보를 카메라 영상정보로서 수신하는 카메라 영상정보 수신/처리 단계(S10);
    레이더 정보 처리부(300)로부터 해상 객체의 위치정보를 포함하는 레이더 정보를 수신하고, AIS 정보 처리부(400)로부터 AIS 정보를 수신하는 레이더정보·AIS 정보 수신/처리 단계(S20);
    상기 수신된 카메라 영상정보, 레이더 정보 및 AIS 정보의 판독하여 해상 객체를 검출하고, 검출된 상기 해상 객체의 정보를 추출하는 객체 정보 처리/분석 단계(S30);
    상기 검출된 객체의 객체 정보 및 관측지점의 정보를 분석하여, 검출된 객체의 위험객체인지 여부를 판단하는 객체 위험 판단 단계(S40);
    검출된 객체가 위험객체로 판단된 경우 단안 카메라를 이용한 해상 객체 거리측정 시스템(100)의 카메라의 촬영위치를 검출된 해상 객체의 촬영을 위한 위치로 제어하는 구동제어신호를 발생시켜, 제어된 위치에서 해상 객체의 객체영상을 촬영하도록 카메라를 제어하는 카메라 제어단계(S50);
    상기 제어된 위치에서 촬영된 해상 객체의 객체영상을 수신하여 촬영된 해상 객체의 객체영상을 레이더 영상, AIS 영상, 및 촬영되는 해상 객체 영상 중 하나 이상에 합성하여 출력하는 영상 정보 처리 단계(S60); 및
    상기 합성되어 출력되는 영상을 사전 설정된 디스플레이 장치에 표시하는 카메라 영상/통합 영상 표시단계(S70); 를 포함하고,
    카메라 영상정보 수신/처리 단계(S10)는
    단안 카메라를 이용한 해상 객체 거리측정 시스템에서,
    관측지점에 사전 설정된 해수면으로부터의 높이로 설치되어 거리 측정에 사용되는 카메라의 설치 높이, 수직 화각 및 수직 해상도를 입력받아 픽셀 당 수직각을 연산하여 저장하는 고정상수/정보 입력단계(S110);
    관측지점에서 상기 카메라에 의하여 촬영되는 영상으로부터 수평선을 검출하는 수평선 검출단계(S120);
    상기 카메라에 의하여 촬영되는 목표물인 해상 객체를 포함하는 영상으로부터 해상 객체와 그 위치의 수면인 객체의 수면 경계선을 검출하는 객체의 수면 경계선 검출단계(S130);
    상기 수평선과 객체의 수면 경계선과의 거리를 연산하는 수평선과 객체의 수면 경계선 간 거리 연산단계(140); 및
    상기 카메라의 설치 높이(H), 픽셀 당 수직각(θp) 및 수평선과 객체의 수면 경계선 간 거리로부터 관측지점에서 해상객체까지의 거리를 연산하는 객체거리 연산단계(S150);를 포함하여 수행하며, 상기 픽셀 당 수직각(θp)은
    Figure 112016045557917-pat00036
    (수식1)에 의하여 연산되어 설정되며, 여기서, θp는 픽셀 당 수직각, A는 카메라의 수직 화각, H는 카메라의 수직 해상도인 것을 특징으로 하는 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리방법.
  14. 삭제
  15. 제13항에 있어서,
    영상 정보 처리 단계(S60)는,
    위험으로 판단된 객체가 레이더 정보를 통해 발견되어 위험으로 판단된 객체이면, 제어된 위치에서 촬영된 해상 객체의 객체영상을 레이더 영상에 합성하여 출력하고, 위험으로 판단된 객체가 AIS 정보를 통해 발견되어 위험으로 판단된 객체이면, 제어된 위치에서 촬영된 해상 객체의 객체영상을 AIS 영상에 합성하여 출력하며, 위험으로 판단된 객체가 카메라 영상정보를 통해 발견되어 위험으로 판단된 객체이면, 제어된 위치에서 촬영된 해상 객체의 객체영상을 카메라 촬영영상에 합성하여 출력하는 것을 특징으로 하는 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리방법.
KR1020150042224A 2015-03-26 2015-03-26 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템 및 해상 위험 관리방법 KR101666466B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150042224A KR101666466B1 (ko) 2015-03-26 2015-03-26 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템 및 해상 위험 관리방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150042224A KR101666466B1 (ko) 2015-03-26 2015-03-26 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템 및 해상 위험 관리방법

Publications (2)

Publication Number Publication Date
KR20160115130A KR20160115130A (ko) 2016-10-06
KR101666466B1 true KR101666466B1 (ko) 2016-10-14

Family

ID=57157378

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150042224A KR101666466B1 (ko) 2015-03-26 2015-03-26 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템 및 해상 위험 관리방법

Country Status (1)

Country Link
KR (1) KR101666466B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971816A (zh) * 2019-11-11 2020-04-07 中标慧安信息技术股份有限公司 一种基于船只位置的摄像机调整方法及装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102661171B1 (ko) * 2018-11-02 2024-04-26 한화오션 주식회사 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템
KR102299090B1 (ko) * 2018-11-21 2021-09-07 주식회사 리안 Ais 선박정보 표시시스템
KR102211241B1 (ko) * 2018-12-10 2021-02-03 (주)버틀러네트워크 선박용 장애물 거리측정 시스템 및 그 방법
IL284251A (en) * 2021-06-21 2023-01-01 Orca Ai Ltd Automatic registration and calibration using marine sensors
CN114863373B (zh) * 2022-04-19 2024-06-04 华南理工大学 一种海上无人平台监控方法及海上无人监控平台
CN115082811A (zh) * 2022-07-27 2022-09-20 大连海事大学 一种依据图像数据的海上航行船舶识别与距离测量的方法
KR102670901B1 (ko) * 2023-12-22 2024-05-30 (주)에스이티시스템 해상 부유체 탐지 장치 및 해상 부유체 탐지 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006266848A (ja) * 2005-03-23 2006-10-05 Sharp Corp 距離測定装置
KR100720595B1 (ko) * 2006-08-02 2007-05-21 주식회사 아이센텍이엔씨 자동 추적 레이다 시스템과 연동하는 지능형 화상 감시시스템 및 그 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051390B1 (ko) * 2009-08-31 2011-07-22 주식회사 이미지넥스트 감시카메라의 객체 정보 추정장치 및 방법
KR101045323B1 (ko) 2011-04-07 2011-06-29 (주)에디넷 다시점 카메라 시스템을 이용한 실시간 항만 영상관제 시스템 및 그 방법
KR101480220B1 (ko) * 2013-05-10 2015-01-08 인하대학교 산학협력단 객체 인식 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006266848A (ja) * 2005-03-23 2006-10-05 Sharp Corp 距離測定装置
KR100720595B1 (ko) * 2006-08-02 2007-05-21 주식회사 아이센텍이엔씨 자동 추적 레이다 시스템과 연동하는 지능형 화상 감시시스템 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971816A (zh) * 2019-11-11 2020-04-07 中标慧安信息技术股份有限公司 一种基于船只位置的摄像机调整方法及装置

Also Published As

Publication number Publication date
KR20160115130A (ko) 2016-10-06

Similar Documents

Publication Publication Date Title
KR101666466B1 (ko) 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템 및 해상 위험 관리방법
US10234873B2 (en) Flight device, flight control system and method
KR101812994B1 (ko) 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법
US20210357655A1 (en) Ship and harbor monitoring device and method
KR102661171B1 (ko) 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템
KR101613740B1 (ko) 활주로 감시 시스템 및 방법
KR102112000B1 (ko) 레이더 기반 해상교량 및 해안시설물 충돌 경보 시스템
EP3096290A1 (en) Method and system for determining camera pose
US20110234761A1 (en) Three-dimensional object emergence detection device
EP4089660A1 (en) Method and device for monitoring port and ship in consideration of sea level
CN111435081B (zh) 海面测量***、海面测量方法以及存储介质
KR101880437B1 (ko) 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템
KR102530847B1 (ko) 항만 및 선박 모니터링 방법 및 장치
KR20180041524A (ko) 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템
KR102520844B1 (ko) 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치
KR101600820B1 (ko) 카메라의 픽셀 당 수직각을 이용한 해상객체의 거리 측정방법 및 해상객체의 거리 측정시스템.
CN111986517A (zh) 一种船只异常检测方法、装置及存储介质
KR20210090574A (ko) 선박 및 항만 모니터링 장치 및 방법
JP2018036117A (ja) 距離計測装置、撮像制御装置
JP2015059768A (ja) 段差計測装置、段差計測方法及びプログラム
KR102004455B1 (ko) 증강현실을 이용한 항로표지 관제 시스템 및 방법
JP2007013709A (ja) 設定装置
KR101893368B1 (ko) 교통 모니터링 카메라를 이용하는 3차원 시정 측정 방법 및 시스템
KR20220055556A (ko) 선박 및 항만 모니터링 장치 및 방법
KR20200039588A (ko) 선박 및 항만 실시간 모니터링 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191226

Year of fee payment: 4