KR20230036428A - 인식 기술을 이용한 공항 관제 시스템 및 방법 - Google Patents
인식 기술을 이용한 공항 관제 시스템 및 방법 Download PDFInfo
- Publication number
- KR20230036428A KR20230036428A KR1020210119270A KR20210119270A KR20230036428A KR 20230036428 A KR20230036428 A KR 20230036428A KR 1020210119270 A KR1020210119270 A KR 1020210119270A KR 20210119270 A KR20210119270 A KR 20210119270A KR 20230036428 A KR20230036428 A KR 20230036428A
- Authority
- KR
- South Korea
- Prior art keywords
- aircraft
- control
- information
- controller
- recognition
- Prior art date
Links
- 238000005516 engineering process Methods 0.000 title claims description 28
- 238000000034 method Methods 0.000 title description 27
- 238000004891 communication Methods 0.000 claims abstract description 60
- 238000012795 verification Methods 0.000 claims abstract description 23
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims description 52
- 230000033001 locomotion Effects 0.000 claims description 28
- 238000010191 image analysis Methods 0.000 claims description 5
- 238000012806 monitoring device Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 abstract description 18
- 238000010223 real-time analysis Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 230000002159 abnormal effect Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 9
- 238000012790 confirmation Methods 0.000 description 8
- 238000007405 data analysis Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000002360 preparation method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 238000001931 thermography Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 239000010865 sewage Substances 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001221 laser-assisted particle removal Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
- G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
- G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0043—Traffic management of multiple aircrafts from the ground
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
- Tourism & Hospitality (AREA)
- Operations Research (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
Abstract
조종사-관제사간 음성 교신을 실시간으로 분석하여 계류장 관제 상황에서 항공기 관제지시 이행사항 검증 및 경고 시스템을 구축하여 관제사 상황 인지력 향상에 기여할 수 있는 관제 시스템이 개시된다. 상기 관제 시스템은, 계류장내 항공기를 포함하는 이동 객체를 센싱하여 센싱 정보를 생성하는 센서계, 다수의 감시 장비로부터 상기 항공기에 대한 비행정보를 획득하는 관리 서버, 및 상기 센싱 정보 및 상기 비행정보를 이용하여 주기장에서 상기 항공기 상황에 관한 검증요소를 영상 인식 및 상기 관제사와 상기 이동 객체의 사용자간 음성 통신되는 관제 지시에 대한 음성 인식을 분석하는 관제탑 서버를 포함하는 것을 특징으로 한다.
Description
본 발명은 스마트 공항 관제 지원 기술에 관한 것으로서, 더 상세하게는 인식 기술을 이용하여 관제사의 전방 주시 및/또는 상황 인지력을 극대화할 수 있는 공항 관제 시스템 및 방법에 대한 것이다.
항공기간의 충돌방지, 항공기와 장애물간의 충돌방지, 항공교통흐름의 촉진을 위해 관제탑(비행장관제업무), 접근 관제소(접근관제업무) 및 지역 관제소(지역관제업무)에 의해 행해지는 항공기간의 분리, 레이더유도, 항공교통 관제허가 발부 등의 항공교통관제업무가 수행되고 있다.
특히, 비행장 관제 업무중 계류장 구역내에서 이동하는 항공기에 제공되는 항공 교통관제 업무가 있다. 계류장을 관리하기 위해 계류장 관제탑이 구성되며, 계류장 내에서 항공기의 엔진 시동 및 후방견인허가, 항공기 이동허가, 주 관제탑에 관제권 이양, 제방빙 지원, 견인 통제 및 지원 등의 업무를 수행한다.
그런데, 공항의 지속적인 확장으로 관제사 1인당 평균 감시구역은 축구장 약 180개 크기로 전 지역의 모든 항공기의 움직임을 실시간 감시하기에는 물리적인 어려움이 존재한다.
또한, 항공기간의 충돌, 항공기와 차량간의 충돌, 항공기의 유도로 오진입 및 관제지시 위반 등과 같은 비정상 상황 발생 시 이를 자동으로 알려주는 경보 시스템이 구축되어 있지 않아 관제사의 육안 관측 및 조종사의 보고에만 의존하게됨으로써 비정상 상황의 알림 시스템이 미비하다는 문제점이 있다.
또한, ICAO(International Civil Aviation Organization) 규정에 따라 항공기, 차량 및 인원과 공항 주변에서 비행 중인 항공기에 대하여 육안관측을 우선으로 감시하여야 하나 감시구역 전반에 걸쳐 건물 등에 의한 차폐구역이 발생하며 물리적인 거리에 따른 육안관측의 한계가 명확하다는 단점이 있다.
또한, 관제사의 업무 수행 시 안개, 강우, 강설 및 미세먼지 등과 같은 여러 가지 기상현상으로 관제사의 육안관측에 어려움 발생한다는 단점이 있다.
또한, 관제업무 수행에 필요한 다수의 데이터는 텍스트 또는 다양한 형태의 모양과 색상을 가지며, 이 데이터들은 다수의 디스플레이에 2차 평면상에 탑다운뷰(Top-Down View)로 표출되며 관제사의 주시 방위와 차이가 있는 방위로 표출된다.
또한, 관제사의 관제탑 외부 시야는 3차원의 Bird's-Eye View로 시각적 정보를 수집하게 되며 이 두 View의 차이로 관제사는 지속적인 방위 및 차원 인지 부조화(Orientational Difference와 Dimensional Difference)상황하에서 관제업무를 수행해야 된다. 이는 관제사의 상황 인지력에 악영향을 미침과 동시에 관제사 워크로드 증가로 이어지게 되며 결국 관제업무 효율에 큰 영향을 미친다는 점이다.
또한, 관제사의 관제업무 수행 시 비행 데이터 획득 및 항공기 이동 감시에 필요한 다양한 데이터는 평균 약 7개 이상의 디스플레이를 통해 제공되며, 이를 조작하기 위해 유사한 수의 입력장치(마우스 및 키보드)를 사용해야 한다. 따라서, 데이터 취득 및 조작 과정에서 장비의 설치 위치로 인해 헤드다운 타임(Head-Down Time) 발생은 필연적이며 이는 관제사의 육안감시능력에 영향을 미침과 동시에 주의력 분산을 야기한다.
또한, 기존의 관제 시스템의 경우, 키보드, 마우스로 제어, 입력 가능하나 이는 관제사의 헤드다운(Head-Down)을 유발하여 상황인식 저해 및 다수의 제어장치로 인한 인적오류를 유발한다는 단점이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해, 조종사-관제사간 음성 교신을 실시간으로 분석하여 계류장 관제 상황에서 항공기 관제지시 이행사항 검증 및 경고 시스템을 구축하여 관제사의 상황 인지력 향상에 기여할 수 있는 공항 관제 시스템 및 방법을 제공하는데 목적이 있다.
또한, 본 발명은 파노라마뷰(Panoramic View), 게이트뷰(Gate View) 및 어라운드뷰(Around View) 영상을 컴퓨터 비전 영상인식 기술 기반으로 분석 후 다양한 알고리즘을 적용하여 경고 시스템을 구축해 관제사 담당 구역 내 비정상상황에 대한 대응 능력 향상에 기여할 수 있는 공항 관제 시스템 및 방법을 제공하는데 다른 목적이 있다.
또한, 본 발명은 초고해상도 영상 촬영으로 확보한 데이터를 기반으로 컴퓨터비전 영상인식 기술을 활용해 항공기를 포함한 다수의 이동물체 인식, 추적하여 영상 기반으로 분석된 데이터를 다양한 표출 방식으로 관제사에게 제공할 수 있는 공항 관제 시스템 및 방법을 제공하는데 또 다른 목적이 있다.
또한, 본 발명은 합성 가공된 게이트뷰(Gate View) 영상을 컴퓨터비전 영상인식 기술 기반으로 게이트 내의 다양한 (항공기, 견인트럭, 터그카, 달리, ULD(Unit Load Device), GPU(Ground Power Unit), 화물, 급수트럭, 오수트럭, 케이터링트럭, 쓰레기차, 카고로더, 사다리, 스텝카 등)의 움직임 및 존재 유무를 해당 항공편 운항 데이터와 결합하여 분석 및 학습함으로써 운항 상황을 예측하며 이를 A-CDM((Airport Collaborative Decision Making)과 연계하여 정시성 달성에 기여할 수 있는 공항 관제 시스템 및 방법을 제공하는데 또 다른 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해, 조종사-관제사간 음성 교신을 실시간으로 분석하여 계류장 관제 상황에서 항공기 관제지시 이행사항 검증 및 경고 시스템을 구축하여 관제사 상황 인지력 향상에 기여할 수 있는 관제 시스템을 제공한다.
상기 관제 시스템은,
계류장내 항공기를 포함하는 이동 객체를 센싱하여 센싱 정보를 생성하는 센서계;
다수의 감시 장비로부터 상기 항공기에 대한 비행정보를 획득하는 관리 서버; 및
상기 센싱 정보 및 상기 비행정보를 이용하여 주기장에서 상기 항공기 상황에 관한 검증요소를 영상 인식 및 상기 관제사와 상기 이동 객체의 사용자간 음성 통신되는 관제 지시에 대한 음성 인식을 분석하는 관제탑 서버;를 포함하는 것을 특징으로 한다.
이때, 상기 관제탑 서버는 분석된 상기 영상 인식 및 상기 음성 인식결과에 따라 관제탑에 경고 메지지를 제공하는 것을 특징으로 한다.
또한, 상기 관제탑 서버는 상기 이동 객체의 움직임에 따라 수집되는 상기 센싱 정보와 상기 관제지시의 수행이 부합되는지를 판정하고, 상기 판정 결과에 따라 상기 경고 메시지를 출력하는 것을 특징으로 한다.
또한, 상기 관제 지시의 분석은, 음성 녹음으로 기록되는 상기 관제 지시를 텍스트로 변환되고, 상기 텍스트로부터 상기 관제 지시의 명령어를 추출하는 것을 통해 이루어지는 것을 특징으로 한다.
또한, 상기 관제탑 서버는 상기 관제사와 상기 이동 객체의 사용자간 음성 통신되는 교신 내용에 따라 항공기 위치를 출력하는 것을 특징으로 한다.
또한, 상기 관제탑 서버는 상기 교신 내용 및 상기 항공기 위치를 상기 뷰정보에 동시 출력하는 것을 특징으로 한다.
또한, 상기 관제탑 서버는 상기 교신 내용의 분석에 따른 항공기 위치, 항공기 상태, 운항 스테이지, 특이사항 및 복행사유를 동시 출력하는 것을 특징으로 한다.
또한, 상기 관제탑 서버는, 상기 항공기가 주기장 영역(Gate Zone)에 미리 설정되는 설정값이상 진입시 주기장 진입 상황으로 판단하고 출력하는 것을 특징으로 한다.
또한, 상기 관제탑 서버는, 상기 항공기의 항공기 편명, 등록기호, 및 도착 게이트를 포함하는 운항 정보와 상기 주기장 영역으로 진입하는 상기 항공기의 영상인식 정보를 비교하여 불일치 여부를 판단하고, 판단 결과를 상기 뷰정보에 표시하는 것을 특징으로 한다.
또한, 상기 관제탑 서버는, 상기 주기장 진입 상황이 완료된 후 상기 항공기의 이동 종료시 영상분석을 통해 상기 항공기의 운항 스테이지를 예측하는 것을 특징으로 한다.
다른 한편으로, 본 발명의 다른 일실시예는, (a) 센서계가 계류장내 항공기를 포함하는 이동 객체를 센싱하여 센싱 정보를 생성하는 단계; (b) 관리 서버가 다수의 감시 장비로부터 상기 항공기에 대한 비행정보를 획득하는 단계; 및 (c) 관제탑 서버가 상기 센싱 정보 및 상기 비행정보를 이용하여 주기장에서 상기 항공기 상황에 관한 검증요소를 영상 인식 및 상기 관제사와 상기 이동 객체의 사용자간 음성 통신되는 관제 지시에 대한 음성 인식을 분석하는 단계;를 포함하는 것을 특징으로 하는 인식 기술을 이용한 공항 관제 방법을 제공한다.
본 발명에 따르면, 컴퓨터비전 영상인식 기술을 활용하여 계류장 관제사의 상황 인지력을 향상시킴으로써 담당 관제구역의 통제력을 강화할 수 있고, 다양한 경고 및 알림 기능으로 인적오류 예방, 비정상상황의 대응능력을 향상시킬 수 있고, 공항 대형화로 인해 빈번히 발생하는 항공기의 유도로 오진입을 예방할 수 있다.
또한, 본 발명의 다른 효과로서는 음성인식 기술을 활용하여 관제지시 준수 여부 확인 및 경고 기능으로 비정상상황 인지 및 대응능력을 향상시킬 수 있다는 점을 들 수 있다.
또한, 본 발명의 다른 효과로서는 해당 시스템 도입 시 증가된 계류장 관제사의 상황 인지력과 비정상 상황 대응능력은 1인당 관제 처리량 증가로 이어지며 이로 인해 종합적인 지연감소와 공항운영능력의 향상을 기대할 수 있다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 획득한 영상분석을 통한 담당구역 데이터 분석 및 조종사-관제사 음성교신 분석을 통한 데이터 분석으로 담당구역의 디지털화된 상황 모니터링이 가능하며 이를 바탕으로 미래 운항의 상황 예측이 가능하다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 비행장 전용 컴퓨터 비전 강화학습 및 알고리즘 확보를 통해 향후 표준으로 발전할 수 있는 규격 확보가 가능하다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 국내 혹은 국외 신공항 건설 추진시 해당 시스템 적용으로 안전하고 효율적인 최첨단 관제 시스템의 운영이 가능하다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 항공기 제방빙 작업을 종합적으로 통제하는 아이스 하우스 또는 이와 유사한 통제업무에 해당 시스템을 수정 적용이 가능하며 저렴하고 안전하며 효율적인 시스템의 구성이 가능하다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 기존의 제어장치와 더불어 영상인식기술을 활용한 모션제어, 음성제어 방식을 적용하여 관제사가 Head-up을 유지한 상태에서 특정 모션과 음성으로 주요 관제시스템의 기능을 입력, 수정, 제어하는 방식으로 개선한다는 점을 들 수 있다.
도 1은 본 발명의 일실시예에 따른 스마트 공항 관제 시스템의 구성 블럭도이다.
도 2는 도 1에 도시된 관리 서버의 세부 구성도이다.
도 3은 도 1에 도시된 관제탑 서버의 세부 구성도이다.
도 4는 도 3에 도시된 처리부의 세부 구성도이다.
도 5는 본 발명의 일실시예에 따른 조종사-관제사간 음성교신 분석을 통한 관제지시 이행 검증 및 경고 과정을 보여주는 흐름도이다.
도 6은 본 발명의 일실시예에 따른 조종사-관제사간 음성교신 분석을 통한 항공기 위치 및 운항 스테이지 분석의 개념이다.
도 7은 본 발명의 일실시예에 따른 주기장 진입 상황을 보여주는 도면이다.
도 8은 도 7에 따른 진입후 푸쉬백 상황을 보여주는 도면이다.
도 9는 도 8에 따른 푸쉬백 준비 상태를 보여주는 도면이다.
도 10은 도 8에 따른 푸쉬백 불가 상황을 보여주는 도면이다.
도 11은 본 발명의 일실시예에 따른 항공기 후방견인 제한사항 식별 및 경고의 개념도이다.
도 2는 도 1에 도시된 관리 서버의 세부 구성도이다.
도 3은 도 1에 도시된 관제탑 서버의 세부 구성도이다.
도 4는 도 3에 도시된 처리부의 세부 구성도이다.
도 5는 본 발명의 일실시예에 따른 조종사-관제사간 음성교신 분석을 통한 관제지시 이행 검증 및 경고 과정을 보여주는 흐름도이다.
도 6은 본 발명의 일실시예에 따른 조종사-관제사간 음성교신 분석을 통한 항공기 위치 및 운항 스테이지 분석의 개념이다.
도 7은 본 발명의 일실시예에 따른 주기장 진입 상황을 보여주는 도면이다.
도 8은 도 7에 따른 진입후 푸쉬백 상황을 보여주는 도면이다.
도 9는 도 8에 따른 푸쉬백 준비 상태를 보여주는 도면이다.
도 10은 도 8에 따른 푸쉬백 불가 상황을 보여주는 도면이다.
도 11은 본 발명의 일실시예에 따른 항공기 후방견인 제한사항 식별 및 경고의 개념도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면에서 표시된 구성요소의 크기 및 상대적인 크기는 설명의 명료성을 위해 과장된 것일 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭하며, “및/또는”은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다” 및/또는 “구성된다”는 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
비록 제1, 제2 등의 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 대해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소와 구별하기 위하여 사용되는 것이다. 따라서, 이하에서 언급되는 제 1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 인식 기술을 이용한 공항 관제 시스템 및 방법을 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 스마트 공항 관제 시스템(100)의 구성 블럭도이다. 도 1을 참조하면, 스마트 공항 관제 시스템(100)은 센서계(120). 통신망(130), 관리 서버(140), 관제탑 서버(150) 등을 포함하여 구성될 수 있다.
센서계(120)는 제 1 내지 제 n 센서(120-1 내지 120-n)로 구성된다. 제1 내지 제 n 센서(120-1 내지 120-n)는 항공기(110) 그뿐만 아니라 게이트 내의 다양한 물체(항공기, 견인트럭, 터그카, 달리, ULD(Unit Load Device), GPU(Ground Power Unit), 화물, 급수트럭, 오수트럭, 케이터링트럭, 쓰레기차, 카고로더, 사다리, 스텝카 등)의 움직임 및/또는 존재 유무, 조종사의 복명복창 등을 감지하는 기능을 수행한다.
이를 위해 제 1 내지 제 n 센서(120-1 내지 120-n)는 디지털 카메라, CCTV(Closed Circuit Television), 음성 센서, 적외선 카메라, 열화상 센서, 위치 센서 등이 될 수 있다. CCTV(Closed Circuit Television)는 고정형 CCTV, 열화상 CCTV, 하이브리드 PTZ(Pan-Tilt-Zoom) 카메라등이 될 수 있다. 고정형 CCTV는 관제사 시야와 동일한 View 구성, 360° 파노라마 영상 구성, AR 통한 관제정보 제공, 주기장 감시 영상 제공 등을 위해 사용될 수 있다. 열화상 CCTV는 저시정 상황 시 시야 재현, 360° 파노라마 영상 구성, AR 통한 관제정보 제공 등을 위해 사용될 수 있다. 하이브리드 PTZ(Pan-Tilt-Zoom) 카메라는 대상 추적 영상 제공, 실화상 및 열화상 전환을 위해 사용될 수 있다.
물론, 제 1 내지 제 n 센서(120-1 내지 120-n)는 일부 블럭으로 구성될 수도 있다.
통신망(130)은 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 공중교환 전화망(PSTN), 공중교환 데이터망(PSDN), 종합정보통신망(ISDN: Integrated Services Digital Networks), 광대역 종합 정보 통신망(BISDN: Broadband ISDN), 근거리 통신망(LAN: Local Area Network), 대도시 지역망(MAN: Metropolitan Area Network), 광역 통신망(WLAN: Wide LAN) 등이 될 수 있다,
그러나, 본 발명은 이에 한정되지는 않으며, 무선 통신망인 CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), Wibro(Wireless Broadband), WiFi(Wireless Fidelity), HSDPA(High Speed Downlink Packet Access) 망, 블루투쓰(bluetooth), NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 될 수 있다. 또는, 이들 유선 통신망 및 무선 통신망의 조합일 수 있다.
관리 서버(140)는 통신망(130)에 연결되는 센서계(120), 단말, 서버들로부터 음성 정보, 영상 정보, 기상 정보, 운항 정보, 항공기 정보 등을 수집하여 데이터베이스(141)에 저장하고, 다수의 이동객체 인식, 분석 및 추적하며 이를 기반으로 데이터를 분석하여 분석 제공 정보를 생성하는 기능을 수행한다.
여기서, 이동 객체는 물체뿐만 아니라 사람을 포함할 수 있는 개념이다. 또한, 운항 정보, 항공기 정보 등은 항공기(110) 자체의 정보, 항공기(110)의 동작, 이동 경로 등을 나타내는 비행 정보에 포함될 수 있다.
특히, 관리 서버(140)는 기존의 감시장비(ASR(Airport Surveillance Radar), ASDE(Airport Surface Detection Equipment), MLAT(multilateration), ADS-B(Automatic Dependent Surveillance-Broadcast))에서 비행 정보를 획득할 수도 있다. 비행정보는 컴퓨터 비전 기술을 통해 획득될 수 있으며, 표출될 수 있다. 비행정보로는 항공기 편명, 등록기호, 도착 게이트 등이 될 수 있다.
물론, 도 1에서는 관리 서버(140)를 관제탑 서버(150)와 분리하여 구성하였으나, 관리 서버(140)를 관제탑 서버(150)에 병합하여 구성하는 것도 가능하다.
관제탑 서버(150)는 계류장(Apron)내에서 항공기(110)의 엔진 시동, 후방견인 허가, 항공기 이동허가, 주 관제탑에 관제권 이양, 제방빙 지원, 견인 통제 및 지원 등의 업무를 수행하기 위한 뷰정보를 제공한다. 따라서, 관제탑 서버(150)는 각 계류장마다 설치될 수도 있고, 하나의 관제탑 서버(150)로 여러 개의 계류장을 관리할 수도 있다. 관제탑 서버(150)가 서버 이중화 구조로 이루어질 수 있다. 서버 이중화는 물리적 또는 논리적인 서버(또는 LAPR) 등을 구성하여 하나의 서비스에 장애가 발생하는 경우 다른 서버를 통해 서비스를 지속가능하게 한다.
계류장은 공항내에서 여객 승하기, 화물, 우편물의 적재 및 적하, 급유, 주기, 제방빙(항공기 표면의 눈, 얼음 및 서리를 제거하고 생성을 방지하는 작업) 또는 정비 등의 목적으로 항공기가 이용할 수 있도록 설정된 구역을 말한다. 후방견인은 출발 항공기를 견인 차량으로 뒤로 밀어 유도로 상에 위치시키는 작업을 말한다.
관제탑 서버(150)는 관리 서버(140)로부터 전송되는 분석 제공 정보와 비행정보를 이용하여 생성된 운항 상황 정보에 기반한 뷰정보를 관제사에게 제공한다. 운항 상황 정보는 분석 제공 정보와 비행정보를 병합하여 항공기(110)의 위치, 이동 경로, 상태 등을 보여준다.
이러한 운항 상황 정보를 합성 기술 활용해 파노라마뷰(Panoramic View), 게이트뷰(Gate View) 및 어라운드뷰(Around View)로 가공하여 다수의 패널로 구성된 울트라 와이드(Ultra Wide) 디스플레이에 출력한다. 따라서, 관제사로 하여금 관제업무수행시 담당 관제구역내 감시 능력의 강화로 상황 인지력을 극대화시킨다.
도 2는 도 1에 도시된 관리 서버(140)의 세부 구성도이다. 도 2를 참조하면, 관리 서버(140)는 통신부(210), 수집부(220), 분석부(230), 분석 제공 정보 생성부(240), 출력부(250) 등을 포함하여 구성될 수 있다. 통신부(210)는 통신망(130)과 통신 연결을 수행하는 기능을 수행한다. 이를 위해, 통신부(210)는 랜카드, 모뎀 등을 포함하여 구성될 수 있다.
수집부(220)는 통신부(210)를 통해 통신망(130)과 연결되는 단말, 서버들로부터 데이터(즉 정보)를 수집하는 기능을 수행한다. 수집되는 데이터로는 음성 정보, 영상 정보, 기상 정보, 운항 정보, 항공기 정보, 비행정보 등이 될 수 있으며, 수집부(220)는 이러한 수집 데이터를 데이터베이스(141)에 저장한다.
데이터베이스(141)는 관리 서버(140) 자체내에 구성될 수도 있고, 별도의 데이터베이스 서버로 구성될 수도 있다. 수집 데이터는 공항에서 생성, 수집되는 항공정보와 상호 연계된다. 이들 데이터로는 영상자료, 항적 데이터, 비행 및 공항 자원 데이터, AFL(AirField Lighting) 데이터, 기상 데이터, 음성 통신 데이터 등이 될 수 있다.
- 영상자료 : 다수의 초고해상도 360도 광학 이미지 합성, 다기능 고배율 카메라 사용
- 항적 데이터 : 계류장 관제 플랫폼, ASDE(Airport Surface Detection Equipment), ADS-B(Automatic Dependent Surveillance-Broadcast)), MLAT(multilateration), 레이저 거리측정기(LASER RANGE FINDER), ASDE-EFS(Electronic Flight Strip), ASDE-EFS는 항공기 운항 관제정보, 항공기 출발 도착 정보, 특정지점 항공기 시간정보 등을 포함한다.
- 비행 및 공항자원 데이터 : 계류장 관제 플랫폼, IIS(Integrated Information System), FDT(Flight Data Terminal), 항공고시보(NOTAM:Notice to Airman), ATFM(Air Traffic Flow Management and Airspace Management), IIS는 일일운항편, 출발/도착 램프 출입시간, 출발 및 도착편 운항, A-CDM(Airport Collaborative Decision Making) 정보, 활주로 마찰계수, 탑승구 ON/OFF, 이동지역 차량, 이동지역 작업계획, 운항 스케쥴 등을 들 수 있다.
- 항공등화(AFL: AirField Lighting) 데이터 : A-SMGCS(Advanced-Surface Movement Guidance and Control System)
- 기상 데이터 : 공항 기상 관측 장비(Aerodrome Meteorolgical Observation System, AMOS), 저고도 윈드시어 경보시스템(Low Level Windshear Alert System, LLWAS, 공항기상 레이더(Terminal Doppler Weather Radar, TDWR)
- 음성통신 데이터: VCCS(Voice Communication Control System)
분석부(230)는 수집된 수집 데이터를 분석하여 이동 물체의 종류, 움직임, 위치 등의 정보를 추출한다. 분석부(230)는 실시간으로 수집부(220)로부터 수집 데이터를 전송받을 수 있으며, 데이터베이스(141)로부터 해당 데이터를 검색하여 획득할 수도 있다.
분석 제공 정보 생성부(240)는 분석부(230)에 생성된 분석 정보를 바탕으로 관제탑 서버(150)에 제공할 분석 제공 정보를 생성한다. 즉, 이동 객체의 움직임 및 위치를 포함하는 분석 제공 정보를 생성한다.
출력부(250)는 처리중인 정보를 표시하거나 설정 메뉴, 입력 메뉴 등을 나타내는 화면을 표시하는 기능을 수행한다. 이를 위해, 출력부(250)는 디스플레이, 사운드 시스템 등을 포함하여 구성될 수 있다. 디스플레이는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 디스플레이, PDP(Plasma Display Panel), OLED(Organic LED) 디스플레이, 터치 스크린, CRT(Cathode Ray Tube), 플렉시블 디스플레이, 마이크로 LED, 미니 LED 등이 될 수 있다. 이때, 터치 스크린의 경우, 입력 수단으로도 사용될 수 있다.
도 2에 도시된 수집부, 분석부, 분석 제공 정보 생성부는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 구현에 있어, 소프트웨어 구성 컴포넌트(요소), 객체 지향 소프트웨어 구성 컴포넌트, 클래스 구성 컴포넌트 및 작업 구성 컴포넌트, 프로세스, 기능, 속성, 절차, 서브 루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로 코드, 데이터, 데이터베이스, 데이터 구조, 테이블, 배열 및 변수를 포함할 수 있다. 소프트웨어, 데이터 등은 메모리에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.
도 3은 도 1에 도시된 관제탑 서버(150)의 세부 구성도이다. 도 3을 참조하면, 관제탑 서버(150)는, 입력부(310), 처리부(320), 뷰생성부(330), 저장부(340), 통신부(360) 등을 포함하여 구성될 수 있다.
입력부(310)는 관제사의 명령을 입력하는 기능을 수행한다. 따라서 입력부(310)는 마우스, 키보드, 마이크, 모션 센서 등이 될 수 있다. 따라서, 관제사는 마우스, 키보드 등을 이용하지 않고, 음성, 모션 등을 통해서도 명령을 입력할 수 있다. 일반적으로, 관제사는 헤드 다운, 헤드 업 등으로 모니터를 확인하고 마우스 클릭 및/또는 키보드 조작을 통해 결과를 확인하는 방식이었다. 이 경우, 관제사의 주시 방위와 차이가 있는 방위로 표출됨에따라 관제사는 지속적인 방위 및 차원 인지 부조화(Orientational Difference와 Dimensional Difference)상황하에서 관제업무를 수행해야 한다. 이는 관제사의 상황 인지력에 악영향을 미침과 동시에 관제사 워크로드 증가로 이어지게 되며 결국 관제업무 효율에 큰 영향을 미친다.
본 발명의 일실시예에서는 마우스, 키보드 등을 사용하지 않고 관제사의 모션(제스처를 포함함), 음성 등을 통해 명령을 입력할 수 있다. 따라서, 관제사가 Head-up을 유지한 상태에서 특정 모션과 음성으로 주요 관제시스템의 기능을 입력, 수정, 제어할 수 있다.
처리부(320)는 통신부(360)를 통해 전달된 분석 제공 정보와 비행정보를 이용하여 운항 상황을 예측하는 기능을 수행한다.
뷰생성부(330)는 운항 상황을 그래픽(영상을 포함할 수 있음)으로 보여주는 뷰정보를 생성하는 기능을 수행한다. 뷰정보는 파노라마뷰(351), 주기장뷰(352), 어라운드뷰(353), 추적용 CCTV뷰(354) 등을 포함하여 구성될 수 있다. 뷰정보는 실제 촬영된 영상, 가상 영상 등을 이용한 가상 현실(VR: Virtual Reality), 증강 현실(AR: augmented reality), 가상현실과 증강현실을 혼합한 혼합 현실(MR: Mixed Reality)로 표현될 수 있다. 실제 촬영된 영상은 FHD(Full High Definition) 이상의 해상도를 보유한 다수의 실화상 카메라 및 열화상 카메라를 사용해 획득된 초고해상도 전방위 비디오 기반 감시(Video-Based Surveillance) 영상이될 수 있다.
이를 이용하여 다음과 같이 표출될 수 있다.
- 전방위 합성 영상 및 다양한 영상에 각종 데이터 오버레이 형식으로 표출
- 항공기를 포함하여 움직이는 이동 객체의 탐지 및 트래킹
- 실제 탐지 및 트래킹 데이터와 각종 데이터 연동해 실시간 표출
- 기상 데이터(풍향 및 풍속, 활주로 가시거리(RVR: Runway Visual Range), 윈드시어, 마이크로버스트 경고 등) 표출
- 시야제한 상황 발생시 열영상 활용 및 가상항적 표출
- 게이트 정보 및 A-CDM((Airport Collaborative Decision Making) (TTOT(Target Take Off Time), TSAT(Target Start Up Approval Time)) 관련 정보 표출
- 관제용 주파수 설정값 및 송출여부 표출
- 개별 라우팅 정보(INDIVIDUAL ROUTING)를 포함하는 각종 등화 표출
- CPDLC(Controller Pilot Data Link Communications) 데이터 표출
- 각 게이트별 CCTV 영상 표출
또한, 뷰정보는 고해상도 CCTV에서 획득한 영상과 기존 관제 시스템을 통한 다양한 항공 정보를 AI(컴퓨터비전), AR 및 영상 합성 기술을 적용하여 통합 표출한다. 관제사뷰인 파노라마뷰(351)는 개별 카메라(즉 CCTV) 영상을 합성한 관제권역 전체의 단일뷰이며, 증강현실을 이용하여 가독성을 높일 수 있다. 주기장뷰(352)는 시야차폐 주기장에 대한 모니터링을 가능하게 하는 뷰이며, 항공기 상황별 필요 정보를 제공할 수 있으며, AI(Artificial Intelligence) 기술을 적용한 푸시백 상황 모니터링 및 알림이 가능하다.
어라운드뷰인 계류장뷰(353)는 3D 가상공간을 이용하여 게이트 전체 항공기 표출 상태를 보여주는 뷰이며, 항공기의 이동경로를 표출하고, 게이트별 스케쥴 및 상태 정보를 보여줄 수 있다.
추적용 CCTV뷰(354)는 입항중인 항공기를 자동으로 추적하여 보여주는 뷰이며, 상황인지 대상에 대한 영상 자동 추적을 보여주고, 관제사의 필요에 의한 계류장 영상을 보여줄 수 있다.
저장부(340)는 분석 제공 정보와 비행정보를 이용하여 운항 상황을 예측하는 알고리즘을 갖는 프로그램, 소프트웨어, 데이터 등을 저장하는 기능을 수행한다.
저장부(340)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD(Secure Digital) 또는 XD(eXtreme Digital) 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 인터넷(internet)상에서 저장 기능을 수행하는 웹 스토리지(web storage), 클라우드 서버와 관련되어 동작할 수도 있다.
도 3을 계속 참조하면, 통신부(360)는 통신망(130)과 통신 연결을 수행하는 기능을 수행한다. 이를 위해, 통신부(360)는 랜카드, 모뎀 등을 포함하여 구성될 수 있다.
도 4는 도 3에 도시된 처리부(320)의 세부 구성도이다. 도 4를 참조하면, 처리부(320)는 데이터 인식 모듈(410), 데이터 분석 모듈(420), 운항 상황 정보 생성 모듈(430) 등을 포함하여 구성될 수 있다.
데이터 인식 모듈(410)은 관리 서버(140)로부터 전송된 데이터에 대해(분석 제공 정보, 비행정보 등을 들 수 있음)에 대해 음성 인식, 영상 인식, 상황 인지 등을 수행한다. 음성 인식으로는 VCCS 및 TRS 음성정보의 TEXT 정보 전환, 호출부호(Callsign) 식별을 통한 통신대상 식별, 관제지시와 복명복창의 일치여부 판독이 될 수 있다. 호출부호(Callsign)는 항공기와 관제소간에 교신을 할 때 그 항공기의 소속 항공사와 편명을 명확하게 알리기 위한 호출부호이다. 부연하면, 관제통신서버(VCCS)에서 실시간 교신 내용을 수집하여 잡음을 제거하고, 특징을 추출하고, 추출된 특징의 패턴을 비교하여 텍스트화한다. 또한, 관제 지시에 대한 구문을 분석한다.
복명복창의 일치여부는 관제사와 조종사간 리드백을 통해 이루어지며 다음과 같다.
음성 인식의 경우, 다음과 같은 절차가 수행된다.
- 관제사 개인별 음성인식 및 식별 후 HMI(Human Machine Interface) 자동 로그인/아웃
- 관제용어 음성인식 후 각종 항공기 정보 및 기타 운항정보 제공
- 관제용어 음성인식의 경우 항공교통관제 용어와 절차를 분석 및 파악하여 텍스트로 변환작업을 거치고, 관제사와 조종사간의 교신 음성 내용을 분석 및 일치여부 확인
- 관제 교신 중 복명복창(리드백(Read Back)) 절차를 거쳐 인식된 항공기 정보를 토대로 현재 교신 중인 항공기 정보를 AR 모니터에서 표출 가능
- AR 내에서 해당 3D 모델링 된 항공기 하단에 항공기 정보 표출
영상 인식으로는 수신되는 영상에서 확인 가능한 항공기 및 차량에 대한 정보 식별, 계류장내 비정상 상황에 대한 인지 등이 될 수 있다. 상황 인지로는 충돌예측 인지 및 알림, 비정상 상황 인지 및 알림, 관제지시 불이행 인지 및 알림 등이 될 수 있다.
모션 인식은 손관절(Hand Tracking)을 통해 이루어질 수 있다. 즉, 주먹, 손가락 개수, 움직임이 될 수 있다. 따라서, 미리 정해진 손 모양으로 명령어를 전달한다. 예를 들면, 주먹을 쥐면 화면 이동 중단이 수행되고, 손가락 방향(검지)에 따라 AR 위치를 이동시킨다. 손바닥을 펴면 화면을 확대하고 모으면 축소된다.
데이터 분석 모듈(420)은 데이터 인식 모듈(410)에 의해 식별된 데이터를 이용하여 분석을 수행한다. 부연하면, 분석을 통해, 운항 상황 정보를 생성한다. 이 경우, 지도맵 정보와 운항 상황 정보를 합성한다.
또한, 데이터 분석 모듈(420)은 조종사-관제사간 음성 교신을 실시간으로 분석하여 비정상 상황 감지, 조종사의 복명복창 일치 여부 판별, 관제지시와 등화 점등 검증, 및 항공기 이동상황 검증 등을 수행한다.
또한, 데이터 분석 모듈(420)은 공항 건물 등과 같은 물리적인 장애물로 인한 LoS(Line of Sight) 시야 차폐, 기상현상(안개, 강우 및 강설 등)으로 인한 시야 차폐를 AI(Computer Vision)기술을 활용한 대상 인식 및 분석, AR(Augmented Reality)기술 및 디지털 트윈 기술을 활용한 가상 오브젝트(윤곽선 또는 오브젝트 3D 모델링 등)를 생성한다. 따라서, 관제사 시야차폐를 극복할 수 있다.
디지털 트윈 기술은 컴퓨터에 현실속 사물의 쌍둥이를 만들고, 현실에서 발생할 수 있는 상황을 컴퓨터로 시뮬레이션함으로써 결과를 미리 예측하는 기술이다.
또한, 데이터 분석 모듈(420)은 합성 가공된 Gate View 영상을 컴퓨터비전 영상인식 기술 기반으로 게이트 내의 다양한 물체(항공기, 견인트럭, 터그카, 달리, ULD, GPU. 화물, 급수트럭, 오수트럭, 케이터링트럭, 쓰레기차, 카고로더, 사다리, 스텝카 등)의 움직임 및 존재 유무를 해당 항공편 운항 데이터와 결합하여 분석 및 학습함으로써 운항 상황을 예측하며 이를 A-CDM과 연계한다. 학습은 일반적으로 딥러닝 기술을 이용하나, 이에 한정되는 것은 아니고 머신 러닝도 사용될 수 있다.
운항 상황 정보 생성 모듈(430)은 데이터 분석 모듈(420)에 의해 생성된 데이터를 이용하여 운항 상황 정보를 생성하는 기능을 수행한다. 부연하면, 계류장 관제사의 시야와 각종 시스템 데이터 간 차원 차이로 발생하는 인지 부조화, 다수의 독립된 장비와 개별 입력 장비조작에 따른 헤드다운(Head-Down)에 기인한 인적오류, 공항 내 터미널 등 물리적인 구조물에 의한 시야차폐, 기상(안개, 강우, 강설)현상으로 인한 시야 제한 상황등을 극복하기 위해 공항 내의 주요 관제 시스템과 운항 정보 시스템의 정보를 통합한다. 통합된 정보는 AI, AR 기반 컴퓨터비전 영상인식 및 음성인식 기술을 융합하여 계류장관제사의 전면 시야에 다중화면으로 구성된 텔레스코픽 디스플레이에 표시된다.
따라서, 실시간 통합 정보화면 제공, 각종 알림, 경고 시스템 도입, 비접촉(Touch-less) 제어 방식 적용, 단순·직관적인 인터페이스등이 적용될 수 있다.
도 4에 도시된 데이터 인식 모듈(410), 데이터 분석 모듈(420), 운항 상황 정보 생성 모듈(430)은 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 구현에 있어, 소프트웨어 구성 컴포넌트(요소), 객체 지향 소프트웨어 구성 컴포넌트, 클래스 구성 컴포넌트 및 작업 구성 컴포넌트, 프로세스, 기능, 속성, 절차, 서브 루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로 코드, 데이터, 데이터베이스, 데이터 구조, 테이블, 배열 및 변수를 포함할 수 있다. 소프트웨어, 데이터 등은 메모리에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.
도 5는 본 발명의 일실시예에 따른 조종사-관제사간 음성교신 분석을 통한 관제지시 이행 검증 및 경고 과정을 보여주는 흐름도이다. 항공기(110)의 조종사와 관제사간 음성교신이 있게 되면 관제탑에 있는 관제사는 관제탑 서버(150)를 이용하여 관제 지시를 한다(단계 S510). 관제 지시는 음성통신을 통해 항공기(110)의 조종사 또는 이동 객체의 운전자에게 전달된다. 이때 표준화된 관제사의 관제 지시는 음성 분석이 수행된다(단계 S520).
음성 분석 과정(S520)은 처리부(320)가 표준화된 관제사의 음성 녹음을 저장부(340)에 기록한다(단계 S521). 이후, 처리부(320)는 관제 지시의 문장을 분석하고 명령어를 추출한다(단계 S522,S523). 표준화된 관제사의 관제 지시는 음성녹음을 통해 기록되어 해당 교신의 문장을 분석하면 해당 관제지시의 의미 추출이 가능하다. 문장의 추출은 잡음을 제거하고 오디오 데이터만을 추출하고 이 오디오 데이터를 Speech-to-text로 변환한다. 이후, 텍스트에서 명령어를 추출한다.
여기서 추출된 관제지시의 해당 의미와 일치하는 특성 대상 항공기(110)(또는 특정 대상 이동 물체)의 움직임을 설정하고 센서계(120)를 이용하여 관련 촬영 영상을 수집할 수 있다(단계 S530). 예를 들면, 이동 객체의 지상 이동 움직임 및 일치여부를 확인할 수 있고, 푸시백 방향 일치 여부를 확인할 수 있다.
이후, 해당 항공기의 촬영 영상분석을 통해 관제지시와 항공기의 움직임 일치 여부의 검증이 가능하다(단계 S540).
예를 들면, 관제사의 관제 지시가 "Push back approved to face south"이라고 가정한다. 이 관제지시는 항공기(110)의 기수가 남측을 바라보고 후방견인을 수행하는 지시이지만 이를 어기고 항공기의 기수가 북측을 바라보게 되는 경우 영상분석을 통해 이를 감지하며 기존 공항 감시 장비의 항적 데이터와 혼합하여 해당 관제 수행 검증 능력을 향상시킬 수 있다. 위와 같은 경우가 발생하면 처리부(320)는 관제지시와 항공기의 실제 수행이 불일치함을 확인하여 분석 결과를 관제사 뷰(351)에 경고 메시지로 출력하게 된다. 관제사는 해당 경고기능을 통해 관제지시 불이행 및 비정상 상황을 조기에 인지 가능하며 적절한 대응에 필요한 충분한 시간을 확보 가능할 것으로 예상할 수 있다. 경고 메시지는 그래픽, 음성, 및 문자의 조합으로 구성될 수 있다.
도 6은 본 발명의 일실시예에 따른 조종사-관제사간 음성교신 분석을 통한 항공기 위치 및 운항 스테이지 분석의 개념이다. 교신 내용(610)을 토대로 항공기의 위치(620)를 표시한다. 부연하면, 현재 교신 중인 항공기의 위치를 파노라마뷰 등에 표시한다. 물론, 교신중인 항공기의 위치(620)와 교신 내용(610)을 함께 표시할 수도 있다. 교신 내용(610)은 항공기 ESR1234와 교신상황이다.
공항에서 운영 중인 기존 감시 장비(ASR, ASDE, MLAT 등)는 항공기의 정확한 위치 정보를 파악하는데 효과적이나 해당 항공기의 상태, 운항단계 및 관제 지시사항에 대한 정보 파악은 어렵다. 계류장 관제사(비행장 관제사)가 직접 조작하는 EFS(Electronic Flight Strip, 전자식 비행진행기록지) 시스템에는 해당 항공기의 운항단계 및 관제 지시사항이 기록되지만 모든 사항이 기록 되는 것은 아니다.
따라서, 관제지시 발부 이후 또는 특정 시점에 관제사의 추가적인 입력행위에 의해 기록되기 때문에 실제 지시와 입력 시점의 차이가 발생하게 된다. 따라서, 조종사-관제사 음성교신 분석을 통해 항공기의 위치와 운항 스테이지 분석 시에 관제사와 조종사의 교신 순간 즉각적인 위치추정, 항공기 상태 및 운항 스테이지 등을 뷰에 표시할 수 있다. 이 경우, 항공기의 상태에 대한 신속한 파악이 가능하며 해당 정보는 공항 운영 및 비정상 상황 파악이 가능하다. 예를 보면 다음과 같다.
예1)
"KAL123: Apron, KAL123 Request Push-Back Gate 253"
항공기 위치: T2터미널 253번 게이트 내
항공기 상태: All door closed, Engines-off, Tow Truck Connected, Ready for Push-back
운항 스테이지: 후방견인 준비 완료
예2)
"ICN TWR: KAL123, Incheon Tower, Line-up and Wait RWY33L"
항공기 위치: 활주로 33L 진입 전으로 추정
항공기 상태: Ready for Departure(Take-off Configuration), Engines Running, Taxing, On the Ground
운항 스테이지: 기동지역 평행유도로 지상활주
예3)
"ICN TWR: KAL124, Go-Around, Traffic on the RWY, Maintain RWY Heading, Climb to 3000ft.
KAL124: Going-Around, Maintain RWY Heading, Climb to 3000ft, KAL124
항공기 위치: 착륙활주로 최종접근 경로
항공기 상태: Airborne, Going-Around, Engines Running
운항 스테이지: 최종접근단계 수행 중 복행
특이사항: 복행절차 수행으로 착륙 예정시간 변경, 후속 접근 항공기 지연예상
복행사유: 활주로 상 트래픽
도 7은 본 발명의 일실시예에 따른 주기장 진입 상황을 보여주는 도면이고, 도 8은 도 7에 따른 진입후 푸쉬백 상황을 보여주는 도면이다. 도 7 및 도 8을 참조하면, 주기장 진/출입 항공기의 식별 및 주기장 안전 확보의 검증이 가능하다. 예를 들면, 항공기(110)가 주기장 영역(Gate Zone)에 50%이상 진입시 주기장 진입 상황으로 판단한다. 부연하면, 주기장 진/출입 항공기를 영상인식으로 식별하고 해당 주기장 상황을 검증하여 이를 경고하는 기능까지 포함한다. 주기장 진입전 검증 요소로는 주기장 개방, 작업인원 개방, 후방 GSE 도로(공항과 항공사 운영을 지원하는 활동을 수행하기 위하여 계류장과 항공기에 출입하도록. 설치된 도로) 개방, 윙가드 배치, PBB(Passenger Boarding Bridges) 정위치 등이 될 수 있다.
주기장 진입후 검증 요소로는 등록기호 및 편명 분석, 주기장 등급-주기 기종 비교, 엔진 온도 분석에 따른 엔진 정지 확인, 노즈기어 정지 위치 분석, 토잉카 준비 인식 등이 될 수 있다.
푸쉬백은 항공기 앞부분에 토잉카(Towing car)가 결합되어 있는 상태를 나타낸다. 토잉카와 항공기가 같은 방향, 같은 속도로 이동하는 경우 두 객체에 대해 푸쉬백 상태로 인식되어 추적 진행한다. 이와 달리, 푸쉬백 상태에서 일정거리 이상 떨어지면 다시 개별 개체로 인식된다. 푸쉬백 준비 상태 검증은 장비/인원 개방확인, 토잉카 인식, 후방개방확인, PBB 정위치 등의 확인을 통해서 이루어진다. 한편, 푸쉬백 불가 상태 검증은 장비 및 인원 감지, 토잉카 미인식, PBB 접현 등의 확인을 통해서 이루어진다. 부연하면, 후방 유도록 항공기 존재, 엔진 온/오프, 도어 개방, 토잉카 인식이라도 토잉카 미연결, 토잉카 미인식, PBB 접현을 들 수 있다.
주기장 전면에 설치한 디지털 카메라와 열영상 카메라에서 영상을 획득한 뒤 이를 분석하며 주기장 진/출입 항공기의 해당 기종을 커스텀 데이터 셋을 활용한 컴퓨터비전 분석으로 인식하여 운항정보화 비교하여 일치 여부를 확인한다.
항공기 출입전 주기장 사전 안전 검증 기능을 구성하며 해당 기능은 입항 항공기 착륙 예정시간으로부터 작동하여 해당 주기장의 준비상황을 검증한다. 해당 기능의 검증 항목에는 항공기 존재 여부 파악, 탑승교 정위치 확인, 항공기 주기 보호선 내 인원 및 물체 확인, 후면 GSE도로 차량 통행 여부 확인, Wing-guard 인원 배치여부 확인 등이 포함되며 이 항목들의 검토를 통해 안전 확보가 이뤄지지 않은 상태일 경우 이를 관제화면에 색상 변경, 심벌생성 및 점등을 통해 관제사에게 경고 메시지를 표출할 수 있다.
진입 항공기는 영상인식 기술을 활용하여 해당 입항 항공기의 기종을 파악하며 해당 주기장의 기종별 최대 수용능력과 비교하여 이를 초과하는 기종의 항공기 진입 시도 파악 시 관제화면에 이를 표시하여 초과기종 오진입 사고를 예방한다.
그리고 항공기 편명, 등록기호, 도착 게이트 등의 운항 정보와 진입 항공기의 영상인식 정보를 비교하여 해당 주기장 진입 진위여부를 판단하며 불일치 판단 시 이를 관제화면에 표출하여 주기장 오진입을 예방한다.
항공기의 주기장 진입 후 해당 항공기의 진입 속도 등을 판단하여 정지 여부를 판단하며 노즈기어의 위치를 인식하여 항공기의 적절한 주기 위치 파악으로 언더파킹 여부를 판단 가능하며 이를 관제화면에 경고로 표출하여 언더파킹 항공기와 후면 유도선 이동 항공기 간의 충돌을 예방할 수 있다.
진입 항공기의 운항 종료 여부는 열영상 영상에서 수집한 항공기 엔진의 온도 데이터 분석을 통해 가능하며 엔진 On/Off 여부를 참고 데이터로 확보 가능하다. 항공기 진입 단계에서 항공기 주기보호선 내로 차량 또는 인원이 진입하는 경우가 발생하거나 항공기 완전 정지 이전에 탑승교가 이동하는 경우 등을 분석하여 항공기 진출입시 안전을 확보할 수 있다.
견인 항공기가 주기장에 입항하는 경우 영상분석을 통해 견인 항공기 유/무 및 항공기 기종을 판단 가능하며 이를 운항 데이터와 검토하여 자력 입항 항공기와 동일한 검증 기능을 제공할 수 있다.
도 9는 도 8에 따른 푸쉬백 준비 상태를 보여주는 도면이다. 부연하면, 푸쉬백 준비 상태의 분석에 따라 주기장 조업 상황 분석 및 운항 스테이지를 예측한다. 자력 입항이 완료된 항공기 또는 견인으로 주기장에 이동이 완료된 항공기의 이동 종료시 해당 항공기의 조업상황 분석 및 운항 스테이지의 예측 분석을 시작한다.
분석은 해당 주기장에 설치된 디지털 카메라와 열영상 카메라 영상분석을 활용하며 해당 분석에는 주기장내 탑승교 접현, 승객 승/하기, 전/후방 카고도어 개폐여부, 카고로더 이동 및 작업 상황, 터그카 이동 및 작업 상황, 달리 및 달리탑재 카고와 ULD이동 및 탑재 상황, 벨트로더 운영상황, 애드백 차량 운영상황, 오수차량 운영상황, 청수차량 운영상황, 케이터링 트럭 운영상황, 쓰레기차 운영상황, 기내청소 및 소독, 기체 외부 강설 정도, 항공기 엔진 시동 여부, 정비차량 운영상황, 급유 펌프카 운영상황, 토잉카 존재 유무 확인, 토잉카 토우바 연결 여부 확인, Wing-guard 인원 배치여부 확인 등의 상황을 분석하여 이를 해당 항공기의 운항 스테이지별 예측의 자료로 사용한다.
도 9를 참조하면, 푸쉬백 준비 상태를 3 스테이지로 검증한다.
1)스테이지: 토잉카와 항공기(즉, 비행기)의 위치 확인
2)스테이지: 탑승교(PBB:Passenger boarding bridge) 분리 확인
3)스테이지: 항공기 좌우, 후방 차량 유무 확인
도 10은 도 8에 따른 푸쉬백 불가 상황을 보여주는 도면이다. 즉 다음의 3가지 상황에서는 푸쉬백 불가 판정을 한다.
1) 주위에 차량 존재
2) 탑승교 설치 상태
3) 토잉카 미인식
도 11은 본 발명의 일실시예에 따른 항공기 후방견인 제한사항 식별 및 경고의 개념도이다. 도 11을 참조하면, 1) 음성교신 내용을 분석, 2) 해당 항공기 후방견인 준비 상태 검증, 3) 해당 항공기 인근 교통상황 검증이 이루어진다.
1) 음성교신 내용을 분석은 조종사 출발 후방견인 요청, 음성 내용분석, 대상 항공기 및 주기장 특정이 될 수 있다.
2) 해당 항공기 후방견인 준비 상태 검증은 항공기 출발 준비 확인 영상 확인, 주기장(인원, 차량) 준비 영상 확인, 비행허가(ATC(Air Traffic Control) Clearance) 획득 확인, 항공 교통 흐름 관리 시간 확인이 될 수 있다.
3) 해당 항공기 인근 교통상황 검증은 자력 이동 항공기 확인, 인근 주기장 후방견인 항공기 확인, 작업인원, 차량 확인이 될 수 있다.
주기장의 영상 분석을 통해 인접 주기장에서 출발을 위한 후방견인 항공기가 근접했거나 소산이동을 위한 후방견인 항공기가 근접한 경우 해당 주기장의 후방견인 항공기의 안전 확보를 위해 강화된 주기장 영상분석과 제한사항 식별 및 경고 기능을 작동한다.
후방견인 허가의 발부 여부를 IIS, EFS 또는 관제음성 분석을 통해 획득하며 해당 주기장의 항공기에 후방견인 허가 발부 여부를 바탕으로 식별과 경고 기능이 작동한다. 주기장 주기 항공기의 후방견인 준비 여부는 항공기 존재 여부, 항공기 외장이 출발 후방견인에 적합한지(전/후방 카고도어 닫힘, 탑승구 닫힘 등)여부, 탑승교의 정위치 확인, 견인트럭의 존재 여부, 견인트럭과 토우바 그리고 항공기 노즈기어의 연결 여부, Wing-guard 인원 배치여부, 엔진 On/Off 여부, 항공기의 비행허가 획득 여부 등을 확인한다. 해당 조건들이 충족되지 않은 채 후방견인 허가 발부 시 이를 관제화면에 표출하여 관제사에게 해당 미충족 항목을 인지시켜 후방견인 안전 확보가 가능하다.
또한, 여기에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은, 마이크로프로세서, 프로세서, CPU(Central Processing Unit) 등과 같은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 (명령) 코드, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 매체에 기록되는 프로그램 (명령) 코드는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프 등과 같은 자기 매체(magnetic media), CD-ROM, DVD, 블루레이 등과 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 (명령) 코드를 저장하고 수행하도록 특별히 구성된 반도체 기억 소자가 포함될 수 있다.
여기서, 프로그램 (명령) 코드의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
100: 스마트 공항 관제 시스템
120: 센서계 130: 통신망
140: 관리 서버 141: 데이터베이스
150: 관제탑 서버
210: 통신부 220: 수집부
230: 분석부 240: 분석 제공 정보 생성부
250: 출력부 310: 입력부
320: 처리부 330: 뷰생성부
340: 저장부
351: 파노라마뷰 352: 주기장뷰
353: 어라운드뷰 354: 추적용 CCTV(Closed Circuit Television)뷰
410: 데이터 인식 모듈 420: 데이터 분석 모듈
430: 운항 상황 정보 생성 모듈
120: 센서계 130: 통신망
140: 관리 서버 141: 데이터베이스
150: 관제탑 서버
210: 통신부 220: 수집부
230: 분석부 240: 분석 제공 정보 생성부
250: 출력부 310: 입력부
320: 처리부 330: 뷰생성부
340: 저장부
351: 파노라마뷰 352: 주기장뷰
353: 어라운드뷰 354: 추적용 CCTV(Closed Circuit Television)뷰
410: 데이터 인식 모듈 420: 데이터 분석 모듈
430: 운항 상황 정보 생성 모듈
Claims (10)
- 계류장내 항공기(110)를 포함하는 이동 객체를 센싱하여 센싱 정보를 생성하는 센서계(120);
다수의 감시 장비로부터 상기 항공기(110)에 대한 비행정보를 획득하는 관리 서버(140); 및
상기 센싱 정보 및 상기 비행정보를 이용하여 주기장에서 상기 항공기 상황에 관한 검증요소를 영상 인식 및 상기 관제사와 상기 이동 객체의 사용자간 음성 통신되는 관제 지시에 대한 음성 인식을 분석하는 관제탑 서버(150);를 포함하며,
상기 관제탑 서버(150)는 분석된 상기 영상 인식 및 상기 음성 인식 결과에 따라 관제탑에 경고 메지지를 제공하는 것을 특징으로 하는 인식 기술을 이용한 공항 관제 시스템.
- 제 1 항에 있어서,
상기 관제탑 서버(150)는 상기 이동 객체의 움직임에 따라 수집되는 상기 센싱 정보와 상기 관제지시의 수행이 부합되는지를 판정하고, 상기 판정 결과에 따라 상기 경고 메시지를 출력하는 것을 특징으로 하는 인식 기술을 이용한 공항 관제 시스템.
- 제 2 항에 있어서,
상기 관제 지시의 분석은,
음성 녹음으로 기록되는 상기 관제 지시를 텍스트로 변환하고, 상기 텍스트로부터 상기 관제 지시의 명령어를 추출하는 것을 통해 이루어지는 것을 특징으로 하는 인식 기술을 이용한 공항 관제 시스템.
- 제 1 항에 있어서,
상기 관제탑 서버(150)는 상기 관제사와 상기 이동 객체의 사용자간 음성 통신되는 교신 내용(610)에 따라 항공기 위치(620)를 출력하는 것을 특징으로 하는 인식 기술을 이용한 공항 관제 시스템.
- 제 4 항에 있어서
상기 관제탑 서버(150)는 상기 교신 내용(610) 및 상기 항공기 위치(620)를 동시 출력하는 것을 특징으로 하는 인식 기술을 이용한 공항 관제 시스템.
- 제 4 항에 있어서,
상기 관제탑 서버(150)는 상기 교신 내용(610)의 분석에 따른 항공기 위치, 항공기 상태, 운항 스테이지, 특이사항 및 복행사유를 동시 출력하는 것을 특징으로 하는 인식 기술을 이용한 공항 관제 시스템.
- 제 2 항에 있어서,
상기 관제탑 서버(150)는, 상기 항공기(110)가 주기장 영역(Gate Zone)에 미리 설정되는 설정값이상 진입시 주기장 진입 상황으로 판단하고 출력하는 것을 특징으로 하는 인식 기술을 이용한 공항 관제 시스템.
- 제 7 항에 있어서,
상기 관제탑 서버(150)는, 상기 항공기(110)의 항공기 편명, 등록기호, 및 도착 게이트를 포함하는 운항 정보와 상기 주기장 영역으로 진입하는 상기 항공기(110)의 영상인식 정보를 비교하여 불일치 여부를 판단하고, 판단 결과를 표시하는 것을 특징으로 하는 인식 기술을 이용한 공항 관제 시스템.
- 제 7 항에 있어서,
상기 관제탑 서버(150)는, 상기 주기장 진입 상황이 완료된후 상기 항공기(110)의 이동 종료시 영상분석을 통해 상기 항공기(110)의 운항 스테이지를 예측하는 것을 특징으로 하는 인식 기술을 이용한 공항 관제 시스템.
- (a) 센서계(120)가 계류장내 항공기를 포함하는 이동 객체를 센싱하여 센싱 정보를 생성하는 단계;
(b) 관리 서버(140)가 다수의 감시 장비로부터 상기 항공기에 대한 비행정보를 획득하는 단계; 및
(c) 관제탑 서버(150)가 상기 센싱 정보 및 상기 비행정보를 이용하여 주기장에서 상기 항공기 상황에 관한 검증요소를 영상 인식 및 상기 관제사와 상기 이동 객체의 사용자간 음성 통신되는 관제 지시에 대한 음성 인식을 분석하는 단계; 를 포함하며,
상기 관제탑 서버(150)는 분석된 상기 영상 인식 및 상기 음성 인식 결과에 따라 관제탑에 경고 메지지를 제공하는 것을 특징으로 하는 인식 기술을 이용한 공항 관제 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210119270A KR102631326B1 (ko) | 2021-09-07 | 2021-09-07 | 인식 기술을 이용한 공항 관제 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210119270A KR102631326B1 (ko) | 2021-09-07 | 2021-09-07 | 인식 기술을 이용한 공항 관제 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230036428A true KR20230036428A (ko) | 2023-03-14 |
| KR102631326B1 KR102631326B1 (ko) | 2024-02-01 |
Family
ID=85502393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210119270A KR102631326B1 (ko) | 2021-09-07 | 2021-09-07 | 인식 기술을 이용한 공항 관제 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102631326B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102615009B1 (ko) * | 2023-06-07 | 2023-12-19 | (주)위플로 | 수평 조절이 가능한 비행체용 점검장치 |
| CN118116373A (zh) * | 2024-03-13 | 2024-05-31 | 首都机场集团有限公司 | 一种机场上道语音分析及安全管理方法、***、终端及计算机存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002074600A (ja) * | 2000-08-31 | 2002-03-15 | Hitachi Ltd | 空港内交通制御装置 |
| JP2004145566A (ja) * | 2002-10-23 | 2004-05-20 | Nec Corp | 航空管制指示誤り訂正装置、及び航空管制指示誤り訂正方法 |
| JP2012043200A (ja) * | 2010-08-19 | 2012-03-01 | Toshiba Corp | 管制操作支援装置及び管制操作指示方法 |
| KR101407862B1 (ko) * | 2012-11-01 | 2014-06-20 | 인하대학교 산학협력단 | 항공 관제용 현시 시스템 및 방법 |
| KR101922378B1 (ko) * | 2018-02-08 | 2018-11-26 | 강지이 | 실시간 관제상황 모니터링 서비스 제공 방법 |
| KR102063158B1 (ko) | 2018-08-20 | 2020-01-07 | 주식회사 유니텍 | 항공관제시설 감시시스템 |
-
2021
- 2021-09-07 KR KR1020210119270A patent/KR102631326B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002074600A (ja) * | 2000-08-31 | 2002-03-15 | Hitachi Ltd | 空港内交通制御装置 |
| JP2004145566A (ja) * | 2002-10-23 | 2004-05-20 | Nec Corp | 航空管制指示誤り訂正装置、及び航空管制指示誤り訂正方法 |
| JP2012043200A (ja) * | 2010-08-19 | 2012-03-01 | Toshiba Corp | 管制操作支援装置及び管制操作指示方法 |
| KR101407862B1 (ko) * | 2012-11-01 | 2014-06-20 | 인하대학교 산학협력단 | 항공 관제용 현시 시스템 및 방법 |
| KR101922378B1 (ko) * | 2018-02-08 | 2018-11-26 | 강지이 | 실시간 관제상황 모니터링 서비스 제공 방법 |
| KR102063158B1 (ko) | 2018-08-20 | 2020-01-07 | 주식회사 유니텍 | 항공관제시설 감시시스템 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102615009B1 (ko) * | 2023-06-07 | 2023-12-19 | (주)위플로 | 수평 조절이 가능한 비행체용 점검장치 |
| CN118116373A (zh) * | 2024-03-13 | 2024-05-31 | 首都机场集团有限公司 | 一种机场上道语音分析及安全管理方法、***、终端及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102631326B1 (ko) | 2024-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460995B (zh) | 用于防止跑道侵入的显示***和方法 | |
| RU2634502C2 (ru) | Способ и устройство для управления движением на аэродроме | |
| US20180061243A1 (en) | System and methods for automated airport air traffic control services | |
| US6606035B2 (en) | System and method for airport runway monitoring | |
| KR102631326B1 (ko) | 인식 기술을 이용한 공항 관제 시스템 및 방법 | |
| US20020109625A1 (en) | Automatic method of tracking and organizing vehicle movement on the ground and of identifying foreign bodies on runways in an airport zone | |
| CN109598983A (zh) | 一种机场场面光电监视告警***及方法 | |
| US9564055B2 (en) | Prediction and warning of transported turbulence in long-haul aircraft operations | |
| EP3444791A2 (en) | System and methods for automated airport air traffic control services | |
| KR19990087359A (ko) | 공항내 지상 교통 유도 및 제어 시스템 | |
| CN111462534B (zh) | 基于智能感知分析的机场运动目标检测***及方法 | |
| US9472111B2 (en) | Augmented aircraft autobrake systems for preventing runway incursions, related program products, and related processes | |
| CN111968409A (zh) | 一种基于实时ads-b数据的航空器中止起飞识别方法及*** | |
| AU2022220403A1 (en) | Systems and methods for monitoring activities in an aviation environment | |
| US20230038694A1 (en) | Airport ground collision alerting system | |
| CN109656496A (zh) | 提供基于优先方案的垂直情况显示器对象与横向地图显示器上显示的对象的情境自关联方法 | |
| CN116884277A (zh) | 可配置的低空环境感知与防撞***设计方法 | |
| KR102631325B1 (ko) | 스마트 공항 관제 시스템 및 방법 | |
| KR102631327B1 (ko) | 최종접근 경로의 항공기를 감시 및 경고하는 항공관제시스템 | |
| Franciscone et al. | Challenges to the Operational Safety and Security of eVTOL Aircraft in Metropolitan Regions: A Literature Review | |
| KR101277285B1 (ko) | 데이터 퓨전 시스템 및 방법 | |
| KR101119887B1 (ko) | 지능형 항공등화 제어시스템 | |
| CN113538976A (zh) | 一种基于Mask R-CNN目标检测技术的跑道侵入检测方法 | |
| Okolo et al. | Identification of safety metrics for airport surface operations | |
| Savvaris et al. | Advanced surface movement and obstacle detection using thermal camera for UAVs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |