KR102527522B1 - 항공정비사 작업 지원 시스템 및 그 방법 - Google Patents

항공정비사 작업 지원 시스템 및 그 방법 Download PDF

Info

Publication number
KR102527522B1
KR102527522B1 KR1020200151922A KR20200151922A KR102527522B1 KR 102527522 B1 KR102527522 B1 KR 102527522B1 KR 1020200151922 A KR1020200151922 A KR 1020200151922A KR 20200151922 A KR20200151922 A KR 20200151922A KR 102527522 B1 KR102527522 B1 KR 102527522B1
Authority
KR
South Korea
Prior art keywords
aircraft
maintenance
maintenance work
identified
operation control
Prior art date
Application number
KR1020200151922A
Other languages
English (en)
Other versions
KR20220065943A (ko
Inventor
최철순
이원찬
우승순
Original Assignee
(주)에이트원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이트원 filed Critical (주)에이트원
Priority to KR1020200151922A priority Critical patent/KR102527522B1/ko
Publication of KR20220065943A publication Critical patent/KR20220065943A/ko
Application granted granted Critical
Publication of KR102527522B1 publication Critical patent/KR102527522B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Manufacturing & Machinery (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 항공정비사의 정비 작업을 지원할 수 있는 시스템을 제안한다. 상기 시스템은 상기 항공정비사의 신체에 안경 형태로 착용되어, 상기 항공정비사의 시야 방향의 영상을 촬영하고, 증강 현실(Augmented Reality, AR)을 위해 구비된 글래스를 통해 외부로부터 수신된 그래픽 영상을 출력하는 AR 장치; 사전에 입력된 항공기의 운항 일정에 따라 항공기의 정비 작업 일정을 스케줄링하고, 상기 항공기를 구성하는 기관, 부품 및 소모품의 수명을 관리하는 MRO 서버; 및 상기 MRO 서버의 정비 작업 일정에 따라 정비 작업의 대상이 되는 항공기를 식별하고, 식별된 항공기의 정비 작업 목록을 항공정비사별로 할당하고, 상기 AR 장치에 의해 촬영된 영상과 상기 항공정비사별로 할당된 정비 작업 목록을 기초로 그래픽 영상으로 생성하여 상기 AR 장치에 전송하는 운용 통제 서버를 포함하여 구성될 수 있다.

Description

항공정비사 작업 지원 시스템 및 그 방법{System for supporting work of aircraft mechanic, and method therefor}
본 발명은 증강 현실(Augmented Reality, AR)에 관한 것이다. 보다 상세하게는, 증강 현실(AR)을 이용하여 항공정비사의 작업을 지원할 수 있는 시스템 및 그 방법에 관한 것이다.
증강 현실(AR)은 실제 현실 영상의 일부에 가상 이미지를 오버레이(overlay)하여 하나의 영상으로 보여주는 기술이다. 가상 현실(Virtual Reality, VR)은 착용자의 신체, 배경(background) 및 전경(foreground)가 모두 가상의 영상인 것과 비교하여, 증강 현실(AR)은 착용자의 신체, 배경 및 전경의 일부가 실제 현실 영상이라는 점에서 차이가 있다.
항공 정비(aircraft maintenance)는 항공기가 안전하게 운항하기 위하여 주기적으로 항공기를 검사, 분해 및 수리하는 작업을 일컫는다. 이와 같은, 항공 정비는 정비가 수행되는 장소에 따라 운항 정비, 공장 정비, 창 정비로 구분되며, 수행되는 정비 작업에 따라 기관 정비, 기체 정비, 전자·전기 정비, 객실 정비로 구분된다.
일반적으로, 항공 정비는 다음과 같이 진행될 수 있다. 우선, MRO(Maintenance, Repair, Operation) 시스템이 항공기의 운항 스케줄에 따라 항공기의 정비 대상을 결정한다. 그 다음, 관리자가 정비하고자 하는 항공기의 기관, 부품, 전기 계통 등이 기재된 작업 카드를 출력하여 항공정비사에게 분배한다. 그 다음, 각각의 항공정비사가 자신에게 분배된 작업 카드를 작업장에 구비된 바코드에 스캔한 후 정비 작업을 수행한다. 이 때, 항공정비사는 정비 작업을 수행하는 과정에서 작업장에 구비된 컴퓨팅 장치를 통해 전자식 기술 교범(Interactive Electronic Technical Manual, IETM)을 확인하기 위하여, 컴퓨팅 장치와 항공기 사이를 왔다 갔다 하게 된다. 마지막으로, 모든 항공정비사가 MRO 시스템에 정비 작업을 완료한 것으로 입력하면 항공 정비가 완료된다.
그러나, 상술한 바와 같은 종래의 항공 정비 작업은 종이로 출력되는 작업 카드를 이용하거나, 항공정비사가 정비 작업을 시작하기에 앞서 작업 카드를 바코드에 스캔하거나, 항공정시바가 정비 작업을 수행하는 과정에서 전자식 기술 교범(IETM)을 확인하기 위하여 컴퓨팅 장치와 항공기 사이를 왔다 갔다 하는 등의 비효율적인 측면이 많이 있었다.
대한민국 공개특허공보 제10-2015-0097885호, ‘항공기 정비공정 관리시스템 및 관리방법’, (2015.08.27 공개)
본 발명의 일 목적은 증강 현실(AR)을 이용하여 항공정비사의 작업을 지원할 수 있는 시스템을 제공하는 것이다.
본 발명의 다른 목적은 증강 현실(AR)을 이용하여 항공정비사의 작업을 지원할 수 있는 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상술한 바와 같은 기술적 과제를 달성하기 위하여, 항공정비사의 정비 작업을 지원할 수 있는 시스템을 제안한다. 상기 시스템은 상기 항공정비사의 신체에 안경 형태로 착용되어, 상기 항공정비사의 시야 방향의 영상을 촬영하고, 증강 현실(Augmented Reality, AR)을 위해 구비된 글래스를 통해 외부로부터 수신된 그래픽 영상을 출력하는 AR 장치; 사전에 입력된 항공기의 운항 일정에 따라 항공기의 정비 작업 일정을 스케줄링하고, 상기 항공기를 구성하는 기관, 부품 및 소모품의 수명을 관리하는 MRO 서버; 및 상기 MRO 서버의 정비 작업 일정에 따라 정비 작업의 대상이 되는 항공기를 식별하고, 식별된 항공기의 정비 작업 목록을 항공정비사별로 할당하고, 상기 AR 장치에 의해 촬영된 영상과 상기 항공정비사별로 할당된 정비 작업 목록을 기초로 그래픽 영상으로 생성하여 상기 AR 장치에 전송하는 운용 통제 서버를 포함하여 구성될 수 있다.
구체적으로, 상기 운용 통제 서버는 상기 AR 장치에 의해 촬영된 영상 내에서 객체를 식별하고, 상기 항공정비사에게 할당된 상기 정비 작업 목록 내에서 상기 식별된 객체에 대응되는 정비 작업을 검색하고, 상기 검색된 정비 작업에 대응되게 설정된 컨텐츠를 포함시켜 상기 그래픽 영상을 생성할 수 있다. 이와 같은, 컨텐츠에는 전자식 기술 교범(Interactive Electronic Technical Manual, IETM)과 관련된 컨텐츠의 일부가 포함될 수 있다.
상기 AR 장치에 의해 촬영된 영상 내에서 객체를 식별함에 있어, 상기 운용 통제 서버는 상기 AR 장치에 의해 촬영된 영상 내에 존재하는 엣지(edge)를 추출하고, 상기 추출된 엣지에 의해 폐쇄된 영역(enclosure)을 하나 이상 추출하고, 추출된 하나 이상의 폐쇄된 영역의 형상과 사전에 설정된 정비 대상 객체의 형상을 대비하여, 상기 객체를 식별할 수 있다.
한편, 상기 AR 장치는 셋 이상의 무선 액세스 포인트로부터 수신된 신호의 세기를 기초로 삼각측량(triangulation)을 수행하여 위치 정보를 생성한 후, 생성된 위치 정보를 상기 운용 통제 서버에 전송할 수 있다. 이 경우, 상기 운용 통제 서버는 상기 촬영된 영상 내에서 식별된 객체가 올바르게 식별되었는지 상기 위치 정보를 이용하여 검증할 수 있다.
상기 운용 통제 서버는 상기 AR 장치에 의해 촬영된 영상 내에서 상기 항공정비사의 신체를 식별하고, 상기 식별된 신체의 형상에 따른 제스처를 인식하고, 상기 인식된 제스처에 대응하여 상기 전자식 기술 교범(IETM)과 관련된 컨텐츠의 구성 순서, 방식 또는 컨텐츠의 유형을 변경할 수 있다.
일 예로, 상기 운용 통제 서버는 상기 인식된 제스처에 대응하여 상기 전자식 기술 교범(IETM)과 관련된 컨텐츠를 상기 항공정비사가 다음에 수행할 정비 작업과 관련된 컨텐츠로 변경하거나 또는 상기 항공정비사가 이전에 수행한 정비 작업과 관련된 컨텐츠로 변경할 수 있다. 다른 예로, 상기 운용 통제 서버는 상기 전자식 기술 교범(IETM)과 관련된 컨텐츠가 항공기의 기관, 부품 또는 전기 계통과 관련된 이미지(image)에 해당하는 경우, 상기 인식된 제스처에 대응하여 상기 이미지를 3차원 회전시킬 수도 있다.
또한, 상기 운용 통제 서버는 상기 AR 장치에 의해 촬영된 영상 내에서 상기 식별된 객체의 표면에 기록된 일련번호를 식별하고, 상기 식별된 일련번호를 기초로 상기 MRO 서버로부터 상기 식별된 객체의 교환시기를 조회하고, 상기 조회된 교환시기에 따라 사전에 설정된 컨텐츠를 상기 그래픽 영상에 포함시킬 수도 있다.
한편, 상기 운용 통제 서버는 상기 AR 장치에 의해 촬영된 영상과 상기 식별된 객체에 관한 정보를 사전에 설정된 원격 지원 장치에 전송한 후, 상기 원격 지원 장치와 상기 AR 장치 사이의 통화를 중개할 수도 있다.
본 발명은 상술한 바와 같은 기술적 과제를 달성하기 위하여, 항공정비사의 정비 작업을 지원할 수 있는 방법을 제안한다. 상기 방법은 운용 통제 서버가, MRO 서버에 의해 스케줄링된 항공기의 정비 작업 일정에 따라 정비 작업의 대상이 되는 항공기를 식별하는 단계; 상기 운용 통제 서버가, 상기 식별된 항공기의 정비 작업 목록을 사전에 항공정비사별로 할당하는 단계; 상기 항공정비사의 신체에 안경 형태로 착용되는 AR 장치가, 상기 항공정비사의 시야 방향의 영상을 촬영하는 단계; 상기 운용 통제 서버가, 상기 AR 장치에 의해 촬영된 영상과 상기 항공정비사별로 할당된 정비 작업 목록을 기초로 그래픽 영상을 생성하여 상기 AR 장치에 전송하는 단계; 및 상기 AR 장치가, 증강 현실(Augmented Reality)을 위해 구비된 글래스를 통해 상기 수신된 그래픽 영상을 출력하는 단계를 포함할 수 있다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시 예들에 따르면, 항공정비사가 정비 작업을 수행함에 있어 정비 작업의 착수를 기록하기 위해 작업 카드를 바코드로 스캔하거나, 전자식 기술 교범(IETM)을 확인하기 위하여 원거리에 위치하는 컴퓨팅 장치와 항공기 사이를 왔다 갔다 하는 등의 불필요한 행위를 수행하지 않게 되어, 항공정비 작업의 효율성이 향상될 수 있다.
특히, 항공정비사는 안경처럼 착용한 증강 현실(AR) 장치를 이용하여 세부적인 작업 절차를 시각적으로 확인할 수 있게 되어 자신이 수행해야할 정비 작업을 직관적으로 인지할 수 있으며, 외부의 전문가로부터 원격 지원을 받을 수도 있게 된다.
본 발명의 효과들은 이상에서 언급한 효과로 제한되지 아니하며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 본 발명이 속한 기술분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따라 항공 정비 작업을 수행하는 모습을 도시한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 운용 통제 서버의 논리적 구성도이다.
도 4는 본 발명의 일 실시예에 따른 운용 통제 서버의 하드웨어 구성도이다.
도 5는 본 발명의 일 실시예에 따라 항공기의 정비 작업을 지원하는 증강 현실(AR)의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 정비 작업 지원 방법을 설명하기 위한 도면이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다. 본 발명의 사상은 첨부된 도면 외에 모든 변경, 균등물 내지 대체물에 까지도 확장되는 것으로 해석되어야 한다.
상술한 바와 같은 종래의 항공 정비 작업은 종이로 출력되는 작업 카드를 이용하거나, 항공정비사가 정비 작업을 시작하기에 앞서 작업 카드를 바코드에 스캔하거나, 항공정시바가 정비 작업을 수행하는 과정에서 전자식 기술 교범(IETM)을 확인하기 위하여 컴퓨팅 장치와 항공기 사이를 왔다 갔다 하는 등의 비효율적인 측면이 많이 있었다.
따라서, 본 명세서는 증강 현실(AR)을 이용하여 항공정비사의 작업을 지원할 수 있는 시스템을 제안하고자 한다.
도 1은 본 발명의 일 실시예에 따라 항공 정비 작업을 수행하는 모습을 도시한 예시도이다.
도 1에 도시된 바와 같이, 본 발명에 따르면 항공정비사(10)가 항공기(20)의 정비 작업을 수행함에 있어, 안경처럼 착용 가능한 증강 현실(AR)을 구현할 수 있는 장치(100; 이하, AR 장치라 지칭한다)를 통해 지원을 받을 수 있다.
구체적으로 본 발명에 따르면, 항공기(20)의 정비 작업에 착수하는 과정에서 항공정비사(10)는 AR 장치(100)를 통해 자신에게 분배된 작업 카드를 확인할 수 있다. 항공기(20)의 실제 정비 작업을 수행하는 과정에서 항공정비사(10)는 AR 장치(100)를 통해 세부적인 작업 절차를 시각적으로 확인할 수 있으며, AR 장치(100)를 통해 전자식 기술 교범(Interactive Electronic Technical Manual, IETM)을 확인할 수 있다. 또한, 항공정비사(10)는 항공기(20)의 정비 작업에 외부의 지원이 필요한 경우, AR 장치(100)를 통해 외부의 전문가로부터 원격 지원을 받을 수 있다.
따라서, 본 발명에 따른 작업 지원 시스템을 이용할 경우, 항공정비사(10)가 정비 작업의 착수를 기록하기 위해 작업 카드를 바코드로 스캔하거나, 전자식 기술 교범(IETM)을 확인하기 위하여 원거리에 위치하는 컴퓨팅 장치와 항공기(20) 사이를 왔다 갔다 하는 등의 불필요한 행위를 수행하지 않게 되어 항공 정비 작업의 효율성이 향상될 수 있다.
특히, 본 발명에 따른 작업 지원 시스템을 이용할 경우, 항공정비사(10)는 AR 장치(100)를 이용하여 세부적인 작업 절차를 시각적으로 확인할 수 있게 되어 자신이 수행해야할 정비 작업을 직관적으로 인지할 수 있으며, 외부의 전문가로부터 원격 지원을 받을 수도 있게 된다.
이하, 상술한 바와 같은 특징을 가지는 본 발명의 일 실시예에 따른 작업 지원 시스템의 구성 요소들에 대하여 구체적으로 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 작업 지원 시스템의 구성도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 작업 지원 시스템은 하나 이상의 AR 장치(100), MRO 서버(200), 운용 통제 서버(300) 및 원격 지원 장치(400)를 포함하여 구성될 수 있다. 또한, 본 발명의 다른 실시예에 따른 작업 지원 시스템은 셋 이상의 무선 액세스 포인트(500)를 추가적으로 포함하여 구성될 수도 있다.
이와 같은, 작업 지원 시스템의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 어느 하나 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현될 수도 있다.
각각의 구성 요소에 대하여 설명하면, AR 장치(100)는 증강 현실(AR)을 이용하여 항공정비사(10)의 정비 작업을 지원하기 위한 장치이다.
구체적으로, AR 장치(100)는 안경(glasses) 형태로 항공정비사(10)의 신체에 착용될 수 있다. 이와 같은, AR 장치(100)는 항공정비사(10)의 시야 방향의 영상을 촬영할 수 있다. 이를 위하여, AR 장치(100)는 영상을 촬영할 수 있는 카메라를 포함하여 구성될 수 있다. 그리고, AR 장치(100)는 촬영된 영상을 클라이언트 장치(300)에 전송할 수 있다.
또한, AR 장치(100)는 위치 정보를 생성할 수 있다. 이를 위하여, AR 장치(100)는 셋 이상의 무선 액세스 포인트(500)로부터 신호를 수신하고, 셋 이상의 무선 액세스 포인트(500)로부터 수신된 신호의 세기를 기초로 삼각측량(triangulation)을 수행하여 위치 정보를 생성할 수 있다. 여기서, 신호의 세기는 RSSI(Receiver Signal Strength Indicator), RSRP(Reference Signals Received Power) 또는 RSRQ(Reference Signal Received Quality) 중 어느 하나가 될 수 있으나, 이에 한정되는 것은 아니다. 그리고, AR 장치(100)는 생성된 위치 정보를 운용 통제 서버(300)에 전송할 수 있다.
본 발명의 다른 실시예에 따른 AR 장치(100)는 관성 측정 장치(Inertial Measurement Unit, IMU)를 추가적으로 포함하여 구성될 수 있다. 이와 같은, 관성 측정 장치(IMU)는 가속도계(accelerometer) 및 각속도계(gyroscope) 등을 포함할 수 있으며, 이에 한정되지 않는다. 보다 구체적으로, 관성 측정 장치(IMU)에 포함된 가속도계는 항공정비사(10)의 움직임에 따라 변화되는 3축 방향의 가속도를 측정할 수 있다. 그리고, 관성 측정 장치(IMU)에 포함된 각속도계는 항공정비사(10)의 움직임에 따라 변화되는 롤링(roll), 피칭(pitch), 요(yaw)의 각속도를 측정할 수 있다. AR 장치(100)는 측정된 3축 방향의 가속도 및, 롤링, 피칭, 요의 각속도를 적분하여 트래킹 정보를 생성할 수 있다. 그리고, AR 장치(100)는 생성된 트래킹 정보를 운용 통제 서버(300)에 전송할 수 있다.
AR 장치(100)는 운용 통제 서버(300)로부터 그래픽 영상을 수신할 수 있다. 그리고, AR 장치(100)는 수신된 그래픽 영상을 증강 현실(AR)을 위해 구비된 글래스를 통해 출력하여, 증강 현실(AR)을 구현할 수 있다.
한편, 본 발명의 일 실시예에 따른 작업 지원 시스템은 항공기(20)의 정비 작업을 수행하는 항공정비사(10)의 수만큼 상술한 바와 같은 AR 장치(100)를 포함하여 구성될 수 있다.
다음 구성으로, MRO(Maintenance, Repair, Operation) 서버(200)는 항공기(20)가 상시 운항 가능한 상태를 유지하기 위한 작업들을 관리하는 장치이다.
구체적으로, MRO 서버(200)는 사전에 입력된 항공기(20)의 운항 일정에 따라, 항공기(20)의 정비 작업 일정을 스케줄링(scheduling)할 수 있다. MRO 서버(200)는 항공기(20)를 구성하는 기관, 부품 및 소모품의 수명을 관리할 수 있다. 또한, MRO 서버(200)는 항공정비사(10)가 수행 중인 항공기(20)의 정비 작업의 소요 시간, 진척 상황 및 인수인계 상황 등을 관리할 수 있다.
다음 구성으로, 운용 통제 서버(300)는 증강 현실(AR)을 이용한 항공정비사(10)의 정비 작업 지원의 전반적인 과정을 중앙에서 통제하기 위한 장치이다.
구체적으로, 운용 통제 서버(300)는 MRO 서버(200)의 스케줄링에 따라 정비 작업의 대상이 되는 항공기(20)를 식별할 수 있다. 운용 통제 서버(300)는 식별된 항공기(20)의 정비 작업 목록을 항공정비사(10)별로 할당하기 위한, 작업 카드를 생성할 수 있다. 운용 통제 서버(300)는 AR 장치(100)에 의해 촬영된 영상과 항공정비사(10)별로 할당된 정비 작업 목록을 기초로 그래픽 영상을 생성할 수 있다. 그리고, 운용 통제 서버(300)는 증강 현실(AR)이 구현되도록 그래픽 영상을 AR 장치(100)에 전송할 수 있다.
특히, 본 발명의 일 실시예에 따른 운용 통제 서버(300)는 AR 장치(100)를 통해 항공정비사(10)에게 전자식 기술 교범(IETM) 및 원격 지원을 제공할 수도 있다.
이와 같은, 운용 통제 서버(300)의 구체적인 구성 및 동작에 대해서는 추후 도 3 내지 도 6을 참조하여 보다 구체적으로 후술하기로 한다.
상술한 바와 같은, MRO 서버(200) 및 운용 통제 서버(300)는 서버(server)라는 용어에 한정되지 아니하고, 서로 데이터를 송수신하고 송수신된 데이터를 이용하여 연산을 수행할 수 있는 장치라면 어떠한 장치라도 허용될 수 있다. 예를 들어, MRO 서버(200) 또는 운용 통제 서버(300)는 데스크탑(desktop), 워크스테이션(workstation) 또는 서버 등과 같은 고정식 컴퓨팅 장치 중 어느 하나가 될 수 있으나, 이에 한정되는 것은 아니다.
다음 구성으로, 원격 지원 장치(400)는 외부 전문가의 원격 지원 서비스를 운용 통제 서버(300)에 제공하기 위한 장치이다.
구체적으로, 원격 지원 장치(400)는 AR 장치(100)에 의해 촬영된 영상 및 증강 현실(AR)의 구현을 위해 식별된 객체에 관한 정보를 운용 통제 서버(300)로부터 수신할 수 있다. 원격 지원 장치(400)는 수신된 영상 및 객체에 관한 정보를 디스플레이를 통해 출력할 수 있다.
원격 지원 장치(400)는 운용 통제 서버(300)의 중개에 따라, AR 장치(100)와 음성 통화 또는 화상 통화를 진행할 수 있다. 그리고, 원격 지원 장치(400)는 사용자로부터 입력된 텍스트 정보 또는 영상을 운용 통제 서버(300)로 전송할 수 있다.
이와 같은, 원격 지원 장치(400)는 AR 장치(100) 및 운용 통제 서버(300)와 데이터를 송수신하고 송수신된 데이터를 이용하여 연산을 수행할 수 있는 장치라면 어떠한 장치라도 허용될 수 있다. 예를 들어, 원격 지원 장치(400)는 고정식 컴퓨팅 장치 또는 이동식 컴퓨팅 장치 중 어느 하나가 될 수 있다. 예를 들어, 원격 지원 장치(400)는 스마트폰(smart phone), 랩탑(laptap), 태블릿(tablet), 패블릿(phablet), 휴대용 멀티미디어 재생장치(Portable Multimedia Player, PMP), 개인용 휴대 단말기(Personal Digital Assistants, PDA) 또는 전자책 단말기(E-book reader) 등과 같은 이동식 컴퓨팅 장치 중 어느 하나가 될 수 있으나, 이에 한정되는 것은 아니다.
다음 구성으로, 액세스 포인트(500)는 AR 장치(100)가 네트워크에 접속할 수 있도록 신호를 중계하는 무선 허브(radio hub) 장치이다. 이와 같은, 액세스 포인트(500)는 접근점 또는 서비스 포인트라 지칭될 수도 있다.
상술한 바와 같은, 운용 통제 서버(300), 원격 지원 장치(400) 및 액세스 포인트(500)가 서로 데이터를 송수신하기 위한 네트워크는 근거리 무선 통신망, 이동 통신망, 공용 유선 통신망 중 하나 이상의 조합으로 구성될 수 있다.
네트워크를 구성하기 위한 근거리 무선 통신망은 블루투스(Bluetooth), BLE(Bluetooth Low Energy), 지그비(Zigbee), NFC(Near Field Communication), 와이파이(Wi-Fi), 와이맥스(Wimax), 와이브로(Wibro) 중 하나 이상이 포함될 수 있다. 네트워크를 구성하기 위한 이동 통신망은 코드 분할 다중 접속(Code Division Multiple Access, CDMA), 와이드 밴드 코드 분할 다중 접속(Wideband CDMA, WCDMA), 고속 패킷 접속(High Speed Packet Access, HSPA), 롱텀 에볼루션(Long Term Evolution, LTE), 5세대 이동통신(5th generation mobile telecommunication) 중 하나 이상이 포함될 수 있다. 그리고, 네트워크를 구성하기 위한 공용 유선 통신망은 이더넷(ethernet), 디지털가입자선(x Digital Subscriber Line, xDSL), 광동축 혼합망(Hybrid Fiber Coax, HFC), 광가입자망(Fiber To The Home, FTTH) 중 하나 이상이 포함될 수 있다.
이하, 상술한 바와 같은 운용 통제 서버(300)의 논리적 구성에 대하여 보다 구체적으로 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 운용 통제 서버의 논리적 구성도이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 운용 통제 서버(300)는 통신부(305), 입출력부(310), MRO 연동부(315), 작업 카드 분배부(320), 증강 현실 스트리밍부(325) 및 원격 지원 중개부(330)를 포함하여 구성될 수 있다.
이와 같은, 운용 통제 서버(300)의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 실제 물리적 환경에서는 하나 이상의 구성 요소가 서로 통합되어 구현되거나, 또는 하나 이상의 구성 요소가 서로 다른 하드웨어 내에서 구현될 수 있다.
각각의 구성 요소에 대하여 설명하면, 통신부(305)는 AR 장치(100), MRO 서버(200) 및 원격 지원 장치(400) 중 하나 이상과 데이터를 송수신할 수 있다.
구체적으로, 통신부(305)는 AR 장치(100)에 의해 촬영된 영상을 AR 장치(100)로부터 수신할 수 있다. 통신부(305)는 증강 현실(AR) 구현하기 위한 그래픽 영상을 AR 장치(100)에 전송할 수 있다.
통신부(305)는 MRO 서버(200)로부터 항공기(20)의 정비 작업 일정을 수신할 수 있다. 통신부(305)는 MRO 서버(200)로부터 항공기(20)를 구성하는 기관, 부품 및 소모품의 교환시기를 수신할 수 있다. 통신부(305)는 MRO 서버(200)에 정비 작업의 소요 시간, 진척 상황 및 인수인계 상황 등을 보고할 수 있다.
통신부(305)는 증강 현실(AR) 구현의 기초가 되는 영상을 AR 장치(100)로부터 수신할 수 있다. 그리고, 통신부(305)는 AR 장치(100)와 원격 지원 장치(400) 사이의 음성 통화 또는 화상 통화를 위한 데이터를 송수신할 수 있다.
다음 구성으로, 입출력부(310)는 사용자 인터페이스를 수행하여, 운용 통제 서버(400)의 동작에 필요한 데이터를 입출력할 수 있다.
구체적으로, 입출력부(310)는 사용자로부터 전자식 기술 교범(IETM)에 관한 데이터를 입력 받을 수 있다. 입출력부(3109)는 사용자로부터 정비 작업에 대응되는 컨텐츠(contents)를 입력 받을 수 있다. 그리고, 입출력부(310)는 항공정비사(10)에 의해 수행되고 있는 정비 작업의 소요 시간, 진척 상황 및 인수인계 상황 등에 관한 정보를 출력할 수 있다.
다음 구성으로, MRO 연동부(315)는 MRO 서버(200)와 항공기(20)의 정비 작업과 관련된 정보의 연동을 수행할 수 있다.
구체적으로, MRO 연동부(315)는 통신부(305)를 통해 MRO 서버(200)로부터 항공기(20)의 정비 작업 일정을 수신할 수 있다. MRO 연동부(315)는 수신된 항공기(20)의 정비 작업 일정에 따라, 정비 작업의 대상이 되는 항공기(20)를 식별할 수 있다.
MRO 연동부(315)는 식별된 항공기(20)를 구성하는 기관, 부품 및 소모품의 교환시기를 MRO 서버(200)에 조회할 수 있다. 그리고, MRO 연동부(315)는 항공정비사(10)가 수행중인 정비 작업의 소요 시간, 진척 상황 및 인수인계 상황 등을 MRO 서버(200)에 보고할 수 있다.
다음 구성으로, 작업 카드 분배부(320)는 항공정비사(10)별로 정비 작업 목록을 할당할 수 있다.
구체적으로, 작업 카드 분배부(320)는 MRO 연동부(315)에 의해 식별된 정비 작업의 대상이 되는 항공기(20)과 관련하여 필요한 정비 작업을 식별할 수 있다. 작업 카드 분배부(320)는 항공기(20)의 정비 작업에 투입 가능한 항공정비사(10)의 수와 특징을 식별할 수 있다.
작업 카드 분배부(320)는 식별된 항공정비사(10)별로 정비 작업 목록을 작성할 수 있다. 그리고, 작업 카드 분배부(320)는 작성된 정비 작업 목록을 항공정비사(10)별로 할당할 수 있다. 이와 같이, 항공정비사(10)별로 할당된 정비 작업 목록은 가상의 작업 카드와 같은 역할을 수행할 수 있다.
다음 구성으로, 증강 현실 스트리밍부(325)는 AR 장치(100)가 증강 현실(AR)을 구현하기 위한 그래픽 영상을 생성하여 제공할 수 있다.
우선, 증강 현실 스트리밍부(325)는 통신부(305)를 통해 AR 장치(100)에 의해 촬영된 영상을 수신할 수 있다. 증강 현실 스트리밍부(325)는 작업 카드 분배부(320)에 의해 할당된 정비 작업 목록과, AR 장치(100)에 의해 촬영된 영상을 기초로, 증강 현실(AR)을 구현하기 위한 그래픽 영상을 생성할 수 있다. 그리고, 증강 현실 스트리밍부(325)는 생성된 그래픽 영상을 AR 장치(100)에 전송하여, 증강 현실(AR)을 구현하도록 제어할 수 있다.
구체적으로, 증강 현실 스트리밍부(325)는 AR 장치(100)에 의해 촬영된 영상 내에서 객체(object)를 식별할 수 있다.
이를 위하여, 증강 현실 스트리밍부(325)는 AR 장치(100)에 의해 촬영된 영상 내에 존재하는 엣지(edge)를 추출할 수 있다. 증가 현실 스트리밍부(325)는 영상으로부터 엣지를 추출(edge detection)하기 위하여, LoG(Laplacian of Gaussian) 알고리즘 또는 DoG(Difference of Gaussian) 알고리즘 중 어느 하나를 사용할 수 있다.
예를 들어 LoG 알고리즘을 이용할 경우, 증강 현실 스트리밍부(325)는 가우시안 필터(Gaussian filter)를 이용하여 영상 내에 존재하는 잡음을 제거할 수 있다. 증강 현실 스트리밍부(325)는 잡음이 제거된 영상에 라플라시안 필터(Laplacian)를 적용할 수 있다. 그리고, 증강 현실 스트리밍부(325)는 라플라시안 필터가 적용된 영상에 영교차(zerocrossing)을 검출하여 엣지를 추출할 수 있다.
다른 예를 들어 DoG 알고리즘을 이용할 경우, 증강 현실 스트리밍부(325)는 영상으로부터 분산이 서로 다른 가우시안 마스크(Gaussian mask)를 두 개 생성한다. 증강 현실 스트리밍부(325)는 생성된 하나의 마스크에서 다른 하나의 마스크를 뺀다. 그리고, 증강 현실 스트리밍부(325)는 뺀 마스크를 영상에 적용하여 엣지를 추출할 수 있다.
증강 현실 스트리밍부(325)는 추출된 엣지에 의한 폐쇄 영역(enclosure)을 하나 이상 추출할 수 있다. 이 경우, 증강 현실 스트리밍부(325)는 엣지 영역이 폐쇄되었는지 명확히 하기 위하여, 영상에 이진화(binarization)를 먼저 처리할 수 있다.
증강 현실 스트리밍부(325)는 추출된 하나 이상의 폐쇄된 영역의 형상과 사전에 설정된 정비 대상이 되는 객체의 형상을 대비하여, 영상으로부터 객체를 식별할 수 있다.
한편, 증강 현실 스트리밍부(325)는 통신부(305)를 통해 AR 장치(100)로부터 위치 정보를 더 수신할 수 있다. 그리고, 증강 현실 스트리밍부(325)는 영상으로부터 식별된 객체가 올바르게 식별되었는지 위치 정보를 이용하여 검증을 수행할 수 있다.
예를 들어, 영상으로부터 식별된 객체가 항공기(10)의 중간익(mid-wing)를 고정하기 위한 스트럿(strut)이나, AR 장치(100)로부터 수신된 위치 정보가 항공기(10)의 미익부(tail wing)인 경우, 증강 현실 스트리밍부(325)는 영상으로부터 식별된 객체가 올바르지 않다고 판단하고, 객체의 식별과정을 재수행할 수 있을 것이다.
증강 현실 스트리밍부(325)는 항공정비사(10)에게 할당된 정비 작업 목록 내에서 영상으로부터 식별된 객체에 대응되는 정비 작업을 검색할 수 있다. 그리고, 증강 현실 스트리밍부(325)는 검색된 정비 작업에 대응되게 설정된 컨텐츠(contents)를 포함시켜, 증강 현실(AR)을 구현하기 위한 그래픽 영상을 생성할 수 있다. 이와 같이, 증강 현실(AR)을 구현하기 위한 그래픽 영상에 포함되는 컨텐츠에는 전자식 기술 교범(IETM)과 관련된 컨텐츠의 일부가 포함될 수 있다.
한편, 증강 현실 스트리밍부(325)는 AR 장치(100)에 의해 촬영된 영상 내에서 항공정비사(10)의 제스처(gesture)를 인식하여 증강 현실(AR)을 구현하기 위한 그래픽 영상을 제어할 수 있다.
구체적으로, 증강 현실 스트리밍부(325)는 AR 장치(100)에 의해 촬영된 영상 내에서 항공정비사(10)의 신체를 식별할 수 있다. 증강 현실 스트리밍부(325)는 식별된 항공정비사(10) 신체의 형상에 따라 제스처를 인식할 수 있다. 그리고, 증강 현실 스트리밍부(325)는 인식된 제스처에 대응하여 그래픽 영상을 구성하는 컨텐츠의 구성 순서, 방식 또는 컨텐츠의 유형을 변경할 수 있다.
특히, 증강 현실 스트리밍부(325)는 인식된 제스처에 대응하여, 전자식 기술 교범(IETM)과 관련된 컨텐츠의 구성 순서, 방식 또는 컨텐츠의 유형을 변경할 수 있다.
예를 들어, 증강 현실 스트리밍부(325)는 인식된 제스처에 대응하여, 전자식 기술 교범(IETM)과 관련된 컨텐츠를 항공정비사(10)가 다음에 수행할 정비 작업과 관련된 컨텐츠로 변경하거나, 또는 항공정비사(10)가 이전에 수행한 정비 작업과 관련된 컨텐츠로 변경할 수 있다.
이와 다르게, 증강 현실 스트리밍부(325)는 전자식 기술 교범(IETM)과 관련된 컨텐츠가 항공기(20)의 기관, 부품 또는 전기 계통과 관련된 이미지(image)에 해당하는 경우, 인식된 제스처에 대응하여 전자식 기술 교범(ITEM)과 관련된 컨텐츠의 이미지를 3차원 회전시킬 수도 있다.
한편, 증강 현실 스트리밍부(325)는 AR 장치(100)를 통해 항공기(20)를 구성하는 기관, 부품 및 소모품의 교환시기를 안내할 수 있다.
구체적으로, 증강 현실 스트리밍부(325)는 정비 대상의 대상이 되는 객체(즉, 기관, 부품 또는 소모품)의 표면에 일련번호(serial)가 기록되어 있는 경우, AR 장치(100)에 의해 촬영된 영상 내에서 식별된 객체의 표면에 기록된 일련번호를 식별할 수 있다. 증강 현실 스트리밍부(325)는 통신부(305)를 통해 MRO 서버(200)로부터 식별된 객체의 교환시기를 조회할 수 있다. 그리고, 증강 현실 스트리밍부(325)는 조회된 교환시기에 따라 사전에 설정된 컨텐츠를 증강 현실(AR)을 구현하기 위한 그래픽 영상에 포함시킬 수 있다.
다음 구성으로, 원격 지원 중개부(330)는 항공기(20)의 정비 작업 과정에서 AR 장치(100)를 통해 외부 전문가의 원격 지원 서비스를 제공할 수 있다.
구체적으로, 원격 지원 중개부(330)는 AR 장치(100)에 의해 촬영된 영상과, 영상 내에서 식별된 객체에 관한 정보를 통신부(305)를 통해 원격 지원 장치(400)에 전송할 수 있다.
그 후, 원격 지원 중개부(330)는 원격 지원 장치(400)와 AR 장치(100) 사이의 음성 통화 또는 화상 통화를 중개할 수 있다. 그리고, 원격 지원 중개부(330)는 원격 지원 장치(400)로부터 텍스트 정보 또는 영상 정보가 수신되면, 이를 증강 현실(AR)을 구현하기 위한 그래픽 영상에 포함시킬 수 있다.
이하, 상술한 바와 같은 운용 통제 서버(300)의 논리적 구성요소를 구현하기 위한, 하드웨어에 대하여 보다 구체적으로 설명한다.
도 4는 본 발명의 일 실시예에 따른 운용 통제 서버의 하드웨어 구성도이다.
도 4에 도시된 바와 같이, 운용 통제 서버(300)는 프로세서(Processor, 350), 메모리(Memory, 355), 송수신기(Transceiver, 360), 입출력장치(Input/output device, 365) 및 데이터 버스(Bus, 370) 및 스토리지(Storage, 375)를 포함하여 구성될 수 있다.
프로세서(350)는 메모리(355)에 상주된 항공정비사(10)의 정비 작업을 지원하는 방법이 구현된 소프트웨어(380a)에 따른 명령어를 기초로, 운용 통제 서버(300)의 동작 및 기능을 구현할 수 있다. 메모리(355)에는 항공정비사(10)의 정비 작업을 지원하는 방법이 구현된 소프트웨어(380a)가 상주(loading)될 수 있다. 송수신기(360)는 AR 장치(100), MRO 서버(200) 및 원격 지원 장치(400)와 데이터를 송수신할 수 있다. 입출력장치(365)는 운용 통제 서버(300)의 동작에 필요한 데이터를 입출력할 수 있다. 데이터 버스(370)는 프로세서(350), 메모리(355), 송수신기(360), 입출력장치(365) 및 스토리지(375)와 연결되어, 각각의 구성 요소 사이가 서로 데이터를 전달하기 위한 이동 통로의 역할을 수행할 수 있다.
스토리지(375)는 항공정비사(10)의 정비 작업을 지원하는 방법이 구현된 소프트웨어(380a)의 실행을 위해 필요한 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API), 라이브러리(library) 파일, 리소스(resource) 파일 등을 저장할 수 있다. 스토리지(375)는 항공정비사(10)의 정비 작업을 지원하는 방법이 구현된 소프트웨어(380b)를 저장할 수 있다. 또한, 스토리지(375)는 데이터베이스(385)를 포함하여 저장할 수 있다. 여기서, 데이터베이스(385)에는 정비 작업에 대응되게 설정된 컨텐츠 자료 및 전자식 기술 교범(IETM)이 저장될 수 있으나, 이에 한정되는 것은 아니다.
메모리(355)에 상주되거나 또는 스토리지(375)에 저장된 항공정비사(10)의 정비 작업을 지원하는 방법을 구현하기 위한 소프트웨어(380a, 380b)는 MRO 서버(200)에 의해 스케줄링된 항공기(20)의 정비 작업 일정에 따라 정비 작업의 대상이 되는 항공기(20)를 식별하는 단계, 상기 식별된 항공기(20)의 정비 작업 목록을 사전에 항공정비사별(10)로 할당하는 단계, AR 장치(100)에 의해 촬영된 영상과 상기 항공정비사별로 할당된 정비 작업 목록을 기초로 그래픽 영상을 생성하여 상기 AR 장치(100)에 전송하는 단계를 실행시키기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.
보다 구체적으로, 프로세서(350)는 ASIC(Application-Specific Integrated Circuit), 다른 칩셋(chipset), 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리(355)는 ROM(Read-Only Memory), RAM(Random Access Memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다. 송수신기(360)는 유무선 신호를 처리하기 위한 베이스밴드 회로를 포함할 수 있다. 입출력장치(365)는 키보드(keyboard), 마우스(mouse), 및/또는 조이스틱(joystick) 등과 같은 입력 장치 및 액정표시장치(Liquid Crystal Display, LCD), 유기 발광 다이오드(Organic LED, OLED) 및/또는 능동형 유기 발광 다이오드(Active Matrix OLED, AMOLED) 등과 같은 영상 출력 장치 프린터(printer), 플로터(plotter) 등과 같은 인쇄 장치를 포함할 수 있다.
본 명세서에 포함된 실시 예가 소프트웨어로 구현될 경우, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리(355)에 상주되고, 프로세서(350)에 의해 실행될 수 있다. 메모리(355)는 프로세서(350)의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서(350)와 연결될 수 있다.
도 4에 도시된 각 구성요소는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
또한, 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한, 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이하, 상술한 바와 같은 본 발명의 일 실시예에 따른 작업 지원 시스템의 특징에 대하여 보다 구체적으로 설명하기로 한다.
도 5는 본 발명의 일 실시예에 따라 항공기의 정비 작업을 지원하는 증강 현실(AR)의 예시도이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 작업 지원 시스템은 증강 현실(AR)을 이용하여 항공기(10)의 정비 작업을 수행하고 있는 항공정비사(10)를 지원할 수 있다.
구체적으로, 작업 지원 시스템은 AR 장치(100)를 통해 항공정비사(10)가 수행해야 할 정비 작업 목록과 관련된 그래픽 영상(30)을 출력할 수 있다. 이와 같이, AR 장치(100)를 통해 출력되는 그래픽 영상(30)에는 전자식 기술 교범(IETM)이 포함될 수 있다. 그리고, AR 장치(100)를 통해 출력되는 정비 작업 목록과 관련된 그래픽 영상(30)은 항공정비사(10)의 제스처에 따라 용이하게 조정 또는 변경될 수 있다.
따라서, 본 발명에 따르면 항공정비사(10)가 자신이 수행해야할 정비 작업을 직관적으로 인지할 수 있게 되며, 결과적으로 항공 정비 작업의 효율성을 크게 향상시킬 수 있게 된다.
이하, 상술한 바와 같은 본 발명의 일 실시예에 따른 작업 지원 시스템의 동작에 대하여 보다 구체적으로 설명하기로 한다.
도 6은 본 발명의 일 실시예에 따른 작업 지원 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 작업 지원 시스템의 운용 통제 서버(300)는 MRO 서버(200)에 의해 스케줄링된 항공기(20)의 정비 작업 일정에 따라, 정비 대상이 되는 항공기(20)를 식별할 수 있다(S100).
운용 통제 서버(300)는 식별된 항공기(20)와 관련하여 필요한 정비 작업 목록을 항공정비사(10)별로 할당할 수 있다(S200). 이와 같이, 항공정비사(10)별로 할당된 정비 작업 목록은 가상의 작업 카드와 같은 역할을 수행할 수 있다.
항공정비사(10)의 신체에 안경 형태로 착용된 AR 장치(100)는 항공정비사(10)의 시야 방향의 영상을 촬영하여, 운용 통제 서버(300)에 전송할 수 있다(S300).
운용 통제 서버(300)는 AR 장치(100)에 의해 촬영된 영상과, 항공정비사(10)별로 할당된 정비 작업 목록을 기초로, 증강 현실(AR)을 구현하기 위한 그래픽 영상을 생성할 수 있다(S400). 이와 같이, 생성된 그래픽 영상에는 전자식 기술 교범(IETM)이 포함될 수 있다. 또한, 운용 통제 서버(300)는 AR 장치(100)에 의해 촬영된 영상 속의 항공정비사(10)의 제스처를 인식하여 그래픽 영상을 조정 또는 변경할 수도 있다.
그리고, 운용 통제 서버(300)는 생성된 그래픽 영상을 AR 장치(100)에 전송하여, 증강 현실(AR)을 구현하도록 제어할 수 있다(S500).
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으나, 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 선정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
아울러, 본 발명에 따른 장치나 단말은 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세스를 수행하도록 하는 명령에 의하여 구동될 수 있다. 예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같은 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Server Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.
또한, 본 발명에 따른 장치에 탑재되고 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
아울러, 본 발명에 따른 실시예를 설명하는데 있어서, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
AR 장치: 100 MRO 서버: 200
운용 통제 서버: 300 원격 지원 장치: 400
무선 액세스 포인트: 500
통신부: 305 입출력부: 310
MRO 연동부: 315 작업 카드 분배부: 320
증강 현실 스트리밍부: 325 원격 지원 중개부: 330

Claims (10)

  1. 항공정비사의 정비 작업을 지원할 수 있는 시스템으로서,
    상기 항공정비사의 신체에 안경 형태로 착용되어, 상기 항공정비사의 시야 방향의 영상을 촬영하고, 증강 현실(Augmented Reality, AR)을 위해 구비된 글래스를 통해 외부로부터 수신된 그래픽 영상을 출력하는 AR 장치;
    사전에 입력된 항공기의 운항 일정에 따라 항공기의 정비 작업 일정을 스케줄링하고, 상기 항공기를 구성하는 기관, 부품 및 소모품의 수명을 관리하는 MRO 서버; 및
    상기 MRO 서버의 정비 작업 일정에 따라 정비 작업의 대상이 되는 항공기를 식별하고, 식별된 항공기의 정비 작업 목록을 항공정비사별로 할당하고, 상기 AR 장치에 의해 촬영된 영상과 상기 항공정비사별로 할당된 정비 작업 목록을 기초로 그래픽 영상으로 생성하여 상기 AR 장치에 전송하는 운용 통제 서버를 포함하고,
    상기 운용 통제 서버는
    상기 AR 장치에 의해 촬영된 영상 내에서 객체를 식별하고, 상기 항공정비사에게 할당된 상기 정비 작업 목록 내에서 상기 식별된 객체에 대응되는 정비 작업을 검색하고, 상기 검색된 정비 작업에 대응되게 설정된 컨텐츠를 포함시켜 상기 그래픽 영상을 생성하되, 상기 AR 장치에 의해 촬영된 영상 내에 존재하는 엣지(edge)를 추출하고, 상기 추출된 엣지에 의해 폐쇄된 영역(enclosure)을 하나 이상 추출하고, 추출된 하나 이상의 폐쇄된 영역의 형상과 사전에 설정된 정비 대상 객체의 형상을 대비하여, 상기 객체를 식별하고,
    상기 AR 장치는
    셋 이상의 무선 액세스 포인트로부터 수신된 신호의 세기를 기초로 삼각측량(triangulation)을 수행하여 위치 정보를 생성한 후, 생성된 위치 정보를 상기 운용 통제 서버에 전송하고,
    상기 운용 통제 서버는
    상기 촬영된 영상 내에서 식별된 객체가 올바르게 식별되었는지 상기 위치 정보를 이용하여 검증하되, 상기 식별된 객체와 대응하는 정비 대상에 대한 항공기 내의 위치 정보와, 상기 삼각측량을 수행하여 생성된 위치 정보를 대비하여, 상기 식별된 객체가 올바르게 식별되었는지 검증하는 것을 특징으로 하는, 항공정비사 작업 지원 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1 항에 있어서, 상기 컨텐츠에는
    전자식 기술 교범(Interactive Electronic Technical Manual, IETM)과 관련된 컨텐츠의 일부가 포함되며,
    상기 운용 통제 서버는
    상기 AR 장치에 의해 촬영된 영상 내에서 상기 항공정비사의 신체를 식별하고, 상기 식별된 신체의 형상에 따른 제스처를 인식하고, 상기 인식된 제스처에 대응하여 상기 전자식 기술 교범(IETM)과 관련된 컨텐츠의 구성 순서, 방식 또는 컨텐츠의 유형을 변경하는 것을 특징으로 하는, 항공정비사 작업 지원 시스템.
  6. 제5 항에 있어서, 상기 운용 통제 서버는
    상기 인식된 제스처에 대응하여 상기 전자식 기술 교범(IETM)과 관련된 컨텐츠를 상기 항공정비사가 다음에 수행할 정비 작업과 관련된 컨텐츠로 변경하거나 또는 상기 항공정비사가 이전에 수행한 정비 작업과 관련된 컨텐츠로 변경하는 것을 특징으로 하는, 항공정비사 작업 지원 시스템.
  7. 제5 항에 있어서, 상기 운용 통제 서버는
    상기 전자식 기술 교범(IETM)과 관련된 컨텐츠가 항공기의 기관, 부품 또는 전기 계통과 관련된 이미지(image)에 해당하는 경우, 상기 인식된 제스처에 대응하여 상기 이미지를 3차원 회전시키는 것을 특징으로 하는, 항공정비사 작업 지원 시스템.
  8. 제1 항에 있어서, 상기 운용 통제 서버는
    상기 AR 장치에 의해 촬영된 영상과 상기 식별된 객체에 관한 정보를 사전에 설정된 원격 지원 장치에 전송한 후, 상기 원격 지원 장치와 상기 AR 장치 사이의 통화를 중개하는 것을 특징으로 하는, 항공정비사 작업 지원 시스템.
  9. 제1 항에 있어서, 상기 운용 통제 서버는
    상기 AR 장치에 의해 촬영된 영상 내에서 상기 식별된 객체의 표면에 기록된 일련번호를 식별하고, 상기 식별된 일련번호를 기초로 상기 MRO 서버로부터 상기 식별된 객체의 교환시기를 조회하고, 상기 조회된 교환시기에 따라 사전에 설정된 컨텐츠를 상기 그래픽 영상에 포함시키는 것을 특징으로 하는, 항공정비사 작업 지원 시스템.
  10. 항공정비사의 정비 작업을 지원할 수 있는 방법으로서,
    운용 통제 서버가, MRO 서버에 의해 스케줄링된 항공기의 정비 작업 일정에 따라 정비 작업의 대상이 되는 항공기를 식별하는 단계;
    상기 운용 통제 서버가, 상기 식별된 항공기의 정비 작업 목록을 사전에 항공정비사별로 할당하는 단계;
    상기 항공정비사의 신체에 안경 형태로 착용되는 AR 장치가, 상기 항공정비사의 시야 방향의 영상을 촬영하는 단계;
    상기 운용 통제 서버가, 상기 AR 장치에 의해 촬영된 영상과 상기 항공정비사별로 할당된 정비 작업 목록을 기초로 그래픽 영상을 생성하여 상기 AR 장치에 전송하는 단계; 및
    상기 AR 장치가, 증강 현실(Augmented Reality)을 위해 구비된 글래스를 통해 수신된 그래픽 영상을 출력하는 단계를 포함하고,
    상기 전송하는 단계에서, 상기 운용 통제 서버는
    상기 AR 장치에 의해 촬영된 영상 내에서 객체를 식별하고, 상기 항공정비사에게 할당된 상기 정비 작업 목록 내에서 상기 식별된 객체에 대응되는 정비 작업을 검색하고, 상기 검색된 정비 작업에 대응되게 설정된 컨텐츠를 포함시켜 상기 그래픽 영상을 생성하되, 상기 AR 장치에 의해 촬영된 영상 내에 존재하는 엣지(edge)를 추출하고, 상기 추출된 엣지에 의해 폐쇄된 영역(enclosure)을 하나 이상 추출하고, 추출된 하나 이상의 폐쇄된 영역의 형상과 사전에 설정된 정비 대상 객체의 형상을 대비하여, 상기 객체를 식별하고,
    상기 AR 장치로부터 셋 이상의 무선 액세스 포인트로부터 수신된 신호의 세기를 기초로 삼각측량(triangulation)을 수행하여 위치 정보를 생성한 후, 생성된 위치 정보를 수신하고,
    상기 촬영된 영상 내에서 식별된 객체가 올바르게 식별되었는지 상기 위치 정보를 이용하여 검증하되, 상기 식별된 객체와 대응하는 정비 대상에 대한 항공기 내의 위치 정보와, 상기 삼각측량을 수행하여 생성된 위치 정보를 대비하여, 상기 식별된 객체가 올바르게 식별되었는지 검증하는 것을 특징으로 하는, 항공정비사 정비 작업 지원 방법.
KR1020200151922A 2020-11-13 2020-11-13 항공정비사 작업 지원 시스템 및 그 방법 KR102527522B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200151922A KR102527522B1 (ko) 2020-11-13 2020-11-13 항공정비사 작업 지원 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200151922A KR102527522B1 (ko) 2020-11-13 2020-11-13 항공정비사 작업 지원 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220065943A KR20220065943A (ko) 2022-05-23
KR102527522B1 true KR102527522B1 (ko) 2023-05-04

Family

ID=81803828

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200151922A KR102527522B1 (ko) 2020-11-13 2020-11-13 항공정비사 작업 지원 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102527522B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102576677B1 (ko) * 2022-12-12 2023-09-08 (주)투비시스템 증강 현실 기반의 작업 검증 방법
CN116644967B (zh) * 2023-07-25 2023-10-20 江西航空有限公司 基于照片水印技术的飞机维修过程风险管控方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019106178A (ja) * 2017-12-13 2019-06-27 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 航空機整備の支援
KR102088012B1 (ko) * 2019-03-14 2020-03-11 이병호 웨어러블 오실로스코프를 이용한 증강현실 기반 정비 방법 및 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101392850B1 (ko) * 2012-04-04 2014-05-09 모본주식회사 영상인식 기반의 차선 이탈 감지 방법 및 시스템
KR20150097885A (ko) 2014-02-18 2015-08-27 새동엔지니어링 주식회사 항공기 정비공정 관리시스템 및 관리방법
KR20200030816A (ko) * 2018-09-13 2020-03-23 현대자동차주식회사 스마트 글라스 장치 및 이를 이용한 작업 지시 방법
KR20200109271A (ko) * 2019-03-12 2020-09-22 삼성디엠에스 주식회사 혼합 현실 기반 부품 정비를 지원하기 위한 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019106178A (ja) * 2017-12-13 2019-06-27 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 航空機整備の支援
KR102088012B1 (ko) * 2019-03-14 2020-03-11 이병호 웨어러블 오실로스코프를 이용한 증강현실 기반 정비 방법 및 시스템

Also Published As

Publication number Publication date
KR20220065943A (ko) 2022-05-23

Similar Documents

Publication Publication Date Title
CA3014403C (en) Tracking and/or analyzing facility-related activities
CN110162083B (zh) 利用无人机执行三维结构检查及维护任务的方法和***
KR102527522B1 (ko) 항공정비사 작업 지원 시스템 및 그 방법
KR20190062171A (ko) 자율 머신에서의 오작동 센서의 딥 러닝 기반의 실시간 검출 및 수정
US20170199645A1 (en) Data acquisition and encoding process linking physical objects with virtual data for manufacturing, inspection, maintenance and repair
CN111667605A (zh) 自动驾驶测试数据存储方法、装置、电子设备
CN112001585A (zh) 多智能体决策方法、装置、电子设备及存储介质
US20180276997A1 (en) Flight tag obtaining method, terminal, and server
US20200342521A1 (en) Utilizing machine learning to generate augmented reality vehicle information for a vehicle captured by cameras in a vehicle lot
CN113537374B (zh) 一种对抗样本生成方法
Knoch et al. Enhancing process data in manual assembly workflows
Bondi et al. Automatic detection of poachers and wildlife with UAVs
Thamm et al. Concept for an augmented intelligence-based quality assurance of assembly tasks in global value networks
US20180081375A1 (en) Systems, Devices, and Methods for Providing Drone Assistance
Bode Evaluation of an augmented reality assisted manufacturing system for assembly guidance
Hensel et al. Object Detection and Mapping with Unmanned Aerial Vehicles Using Convolutional Neural Networks
EP3637339A1 (en) Method for in-procedure initialization of new instructural flow procedure on head-mounted display device
KR102635741B1 (ko) 증강현실 기반의 항공 정비 지원 방법
CN113780706A (zh) 一种基于视觉增强的现场运维作业方法及装置
CN111898489A (zh) 用于标注手掌位姿的方法、装置、电子设备及存储介质
KR102467429B1 (ko) 항만 장비 유지 보수를 위한 가상 훈련 시스템 및 그 방법
Satish et al. ARTSAM: Augmented Reality App for Tool Selection in Aircraft Maintenance
Gillespie New Technologies and Design for the Laws of Armed Conflict
US20220335584A1 (en) Method and apparatus for generating training data of deep learning model for lane classification
US20220277221A1 (en) System and method for improving machine learning training data quality

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right