KR20210075722A

KR20210075722A - 제조 공정 현장에서 ar 공정 플랫폼 제공방법 및 시스템

Info

Publication number: KR20210075722A
Application number: KR1020190167130A
Authority: KR
Inventors: 김태화; 김용주; 김영찬
Original assignee: 주식회사 카프마이크로; 주식회사 사람과기술
Priority date: 2019-12-13
Filing date: 2019-12-13
Publication date: 2021-06-23

Abstract

본 발명에 따른 제조 공정 현장에서 AR 공정 플랫폼 제공방법은 사용자가 선택하는 AR 3D 객체 목록 중 어느 하나의 목록을 인식하는 단계; 인식된 AR 3D 객체 목록에 대응하는 프리뷰(preview)를 디스플레이 화면 상에 표시하는 단계; 벽면 또는 바닥면 중 적어도 어느 하나를 포함하는 평면을 인식하는 단계; 및 상기 디스플레이 화면을 터치하는 경우에, 상기 AR 3D 객체 목록에 대응하는 AR 3D 객체를 상기 평면 상에 표시하는 단계를 포함하는 것을 특징으로 한다.

Description

제조 공정 현장에서 AR 공정 플랫폼 제공방법 및 시스템{Method and system for providing Augmented Reality process platform in manufacturing process}

본 발명은 항공기 등의 제조 공정 현장에서 AR 공정 플랫폼 제공방법 및 시스템에 관한 것이다.

최근 산업분야의 트렌드는 단연 인공지능(AI), 사물인터넷(IoT), 빅 데이터(Big Data) 그리고 제4차 산업혁명일 것이다. 이러한 제조 산업 플랫폼 혁명에는 생산 공정을 효율적으로 분석하고, 제어, 실현할 수 있는 소프트웨어/하드웨어 융복합 기술 기반인 인공지능(AI), 증강현실(AR), 가상현실(VR)과 같은 IoT 기술, 다품종 생산에 적합한 유연하고 가변 가능한 설비의 하드웨어 기술이 복합적으로 요구되고 있다.

특히, 항공기 제조 분야에서, 항공용 비행훈련 시뮬레이터에서 시작된 가상현실 기술은 게임용 시뮬레이터뿐만 아니라 현재 레저나 의류 분야에 있어서는 관련 스마트 디바이스용 App들이 다수 나와 있지만, 항공기 제조 생산 현장을 위한 솔루션은 전무하다고 할 수 있으며, IDC RESEARCH사는 가상현실(VR) 및 증강현실(AR) 시장규모가 2016년 52억 달러에서 2020년 1,620억 달러로 확대될 것이라고 전망하고 있다.

항공기 기체 구조물 제조 생산현장에서 필수적인 치공구 및 Fixture 는 항공기 제조 생산에서 제작, 조립의 정밀도 및 효율성을 높이기 위해서는 없어서는 안 될 품목으로 특정 부품을 반복적으로 정확하게 위치시키고 유지, 위치 지정 등의 역할을 위한 형틀, 금형 같은 치구이며 기계가공, 용접, 조립등 공정을 거쳐 제작되고 기타 자동차, 철도차량, 조선 및 산업기계 분야에 사용 되고 있다.

그런데, 대부분의 치공구들은 한 가지 제조 부품에 특화되어 전용 치공구로서의 역할을 하다보니 여러 제품에 적용하기 위해서는 각각의 치공구를 모두 제작해야 하므로 설계, 비용, 시간 모든 점에 있어 많은 단점을 가지고 있으며 혹은 연구되고 있거나 이미 적용중인 유연성 있는 치공구들은 대부분 기계 가공에 초점을 맞추어 연구되고 제작되다 보니 조립 공정에 사용 되는 재구성 가능한 치공구에 대한 연구는 부족한 상황이다. 특히, 항공 산업분야는 다품종 소량 생산의 특성상 해당 되는 치구를 만들기도 어려울 뿐더러 한 가지에 특화되어 고정된 치공구는 항공 제조 분야에 자동화 기술의 도입을 더욱 어렵게 만드는 요인으로 작용한다.

본 발명은 항공기 등의 제조 공정에서 설계부서와 생산 현장과의 협업체계를 강화하고 설계자와 현장 작업자 간 증강현실(AR) 기술을 활용한 유연성 있는 제조/생산을 위한 제조 공정 현장에서 AR 공정 플랫폼 제공방법 및 시스템에 관한 것이다.

상기의 과제를 해결하기 위한 본 발명에 따른 제조 공정 현장에서 AR 공정 플랫폼 제공방법은 사용자가 선택하는 AR 3D 객체 목록 중 어느 하나의 목록을 인식하는 단계; 인식된 AR 3D 객체 목록에 대응하는 프리뷰(preview)를 디스플레이 화면 상에 표시하는 단계; 벽면 또는 바닥면 중 적어도 어느 하나를 포함하는 평면을 인식하는 단계; 및 상기 디스플레이 화면을 터치하는 경우에, 상기 AR 3D 객체 목록에 대응하는 AR 3D 객체를 상기 평면 상에 표시하는 단계를 포함하는 것을 특징으로 한다.

상기 사용자의 선택에 따라 상기 표시된 AR 3D 객체의 일측에 상기 AR 3D 객체의 컨텐츠 데이터를 표시하는 단계를 더 포함하는 것을 특징으로 한다.

상기의 과제를 해결하기 위한 본 발명에 따른 제조 공정 현장에서 AR 공정 플랫폼 제공 시스템은, AR 3D 객체를 표시하는 스마트 디바이스; 및 상기 스마트 디바이스와 통신하여 상기 AR 3D 객체의 표시를 위한 데이터를 교환하는 서버를 포함하고, 상기 스마트 디바이스는, 사용자가 선택하는 AR 3D 객체 목록 중 어느 하나의 목록을 인식하고, 인식된 AR 3D 객체 목록에 대응하는 프리뷰(preview)를 디스플레이 화면 상에 표시하는 사용자 인터페이스부; 벽면 또는 바닥면 중 적어도 어느 하나를 포함하는 평면을 인식하는 평면 인식부; 및 상기 디스플레이 화면을 터치하는 경우에, 상기 AR 3D 객체 목록에 대응하는 AR 3D 객체를 상기 평면 상에 표시하도록 제어하는 컨트롤러를 포함하는 것을 특징으로 한다.

상기 컨트롤러는, 상기 사용자의 선택에 따라 상기 표시된 AR 3D 객체의 일측에 상기 AR 3D 객체의 컨텐츠 데이터를 표시하도록 제어하는 것을 특징으로 한다.

본 발명에 따르면, 증강현실 기술이 접목된 3D Model 형상의 가상 작업물이 실제 제조 공정 상에 적용됨으로써, 효과적으로 공정 작업 추진이 가능하고 생산성 및 품질에 기여할 수 있다.

또한, 스마트 디바이스를 통하여 실사와 합성된 3차원 증강 현실 컨텐츠를 제공함으로써 제조 공정 상에서 부품(제품)이 정해진 제조 공정에 진입하면, 작업자가 작업이 편한 위치로 놓여지도록 3D형상을 위치시킬 수 있다.

도 1은 항공기 제조에 있어서 Flexible Fixture를 적용한 조립 공정을 예시하는 참조도이다.
도 2는 항공기 기체 조립 공정에서 전술한 헥사포드를 활용하기 위한 공정 설계방법으로서 AR 시스템을 예시하는 참조도이다.
도 3은 AR 브라우저를 예시하는 참조도이다.
도 4는 AR 브라우저에서 좌표계 생성을 위한 스퀘어 마커 추적과 인식을 설명하기 위한 참조도이다.
도 5는 스퀘어 마커를 사용한 좌표계 생성을 예시하는 참조도이다.
도 6은 IR 타깃을 이용한 좌표계 생성을 예시하는 참조도이다.
도 7은 IR 타깃을 이용한 트래킹 사례를 예시하는 참조도이다.
도 8은 스퀘어 마커를 이용한 가상물체의 생성을 예시하는 참조도이다.
도 9는 조립작업 반경과 작업자의 이동 경로 검증을 위한 좌표 이동을 예시하는 참조도이다.
도 10은 가상물체간의 상대적 위치 측정을 예시하는 참조도이다.
도 11은 AR Open Source Mixare AR를 나타내는 참조도이다.
도 12는 센서 테스트의 결과 및 보정 사례를 나타내는 참조도이다.
도 13은 일반적인 GPS 위치정보를 사용한 위치신호 검출 사례를 나타내는 참조도이다.
도 14는 indoor GPS 편차보정 화면을 예시하는 참조도이다.
도 15는 OPC UA System Architecture를 나타내는 참조도이다.
도 16은 OPC UA 기반의 Interface Module 구성을 나타내는 참조도이다.
도 17은 공장 오버뷰 화면을 예시하는 참조도이다.
도 18은 장비 대시보드 화면을 예시하는 참조도이다.
도 19는 REDAX 에서 생성된 장비 상태 리포트 화면을 예시하는 참조도이다.
도 20은 공구 관리 화면을 예시하는 참조도이다.
도 21은 본 발명에 따른 제조 공정 현장에서 AR 공정 플랫폼 제공 시스템을 설명하기 위한 일 실시예의 블록도이다.
도 22 내지 도 30은 본 발명에 따른 제조 공정 현장에서 AR 공정 플랫폼 제공 시스템을 설명하기 위한 각 과정을 예시하는 참조도이다.
도 31은 본 발명에 따른 제조 공정 현장에서 AR 공정 플랫폼 제공방법을 설명하기 위한 일 실시예의 흐름도이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 이하에서 기재의 "상부 (또는 하부)" 또는 기재의 "상 (또는 하)"에 임의의 구성이 구비 또는 배치된다는 것은, 임의의 구성이 상기 기재의 상면 (또는 하면)에 접하여 구비 또는 배치되는 것을 의미한다. 또한, 상기 기재와 기재 상에 (또는 하에) 구비 또는 배치된 임의의 구성 사이에 다른 구성을 포함하지 않는 것으로 한정하는 것은 아니다.

제조 공정 중 예를 들어, 항공기 기체구조물 생산 환경을 정량화하고 ICT 정보통신기술을 접목하여 제품 생산 공정에 대한 셀 자동화, 실시간 처리 및 품질데이터 DB 생성, ERP 연계 환경 구축 등을 통하여 다품종 소량 생산에 특화된 세계 일류수준의 고품질 항공기 기체 구조물 조립시스템 공급 체계 구축을 위해서는 ‘Flex-Fixture를 적용한 항공기 기체구조물 조립·생산 자동화 솔루션 개발’이 요구된다.

상대적으로 체계적인 공정 개발능력을 바탕으로 첨단 항공기 생산을 위한 완벽한 시스템을 구축하고 있는 대기업이 아니라 기술경쟁력이 취약하고 기술 인력과 인적구성이 빈약한 중소기업에서는, 주 고객사의 잦은 설계변경과 품질 요구, 원가 절감에 대한 빈번한 요구에 대응하기 위해 독자 기술개발능력 확보 및 생산자동화 구축이 절실한 상황이다.

도 1은 Flexible Fixture를 적용한 조립 공정을 예시하는 참조도이다.

도 1에서 보는 바와 같이, Reconfigurable Flex-Fixture 구현을 위한 병렬 기구 로봇인 헥사포드에 대해 설명한다.

Reconfigurable Flex-Fixture 구현을 위한 병렬 기구 로봇의 종류에는 Hexapod와 Flexapod로 구분된다. Hexapod와 Flexapod는 동일한 등급의 병렬 형태 로봇으로 설계 및 사용되는 부품의 구조에만 차이가 있고 기본적인 기구학적 형태는 동일하다. 따라서 이러한 디자인의 차이는 운동학이나 Reconfigurable Flex-Fixture 구현을 위한 아이디어에 큰 영향을 미치지 않기 때문에 Hexapod와 Flexapod를 별도로 구분하지 않고 병렬 로봇의 기본적인 구조를 바탕으로 개괄적인 설명을 한다.

병렬 기구 로봇은 최초 제안자인 D 스튜어트(Stewart)의 이름을 붙여 스튜어트 플랫폼(Stewart Platforms)이라고도 하며, 일반적으로 상부 Plate와 하부 Plate로 구성된 두 플랫폼을 Prismatic 형태의 Linear Motion Actuator(다리)로 연결시킨 병렬 구조 로봇인 Hexapod 로봇이라고 칭한다. 6개의 다리는 한쪽 끝의 기본 플랫폼에 연결되어 있고 다른 쪽 끝은 이동 플랫폼에 연결되어 있다. Flexapod과 표준 Hexapod의 설계상 차이점은 hexapod은 상위 연결 지점이 구형 조인트를 통해 다리에 연결되는 반면, Flexapod은 상위 연결 지점을 위한 범용 조인트를 가지고 있으며 자체 축을 기준으로 hexapod의 형태에서 최종 자유도인 구형 조인트 부품에 다리의 회전이 발생되도록 구성되어 있다.

본 발명은 항공기 기체 조립 공정에서 전술한 헥사포드를 활용하기 위한 공정 설계방법 및 시스템을 제공한다.

도 2는 항공기 기체 조립 공정에서 전술한 헥사포드를 활용하기 위한 공정 설계방법으로서 AR 시스템을 예시하는 참조도이다.

1. AR을 이용한 Reconfigurable Flex Fixture 가상 조립공정시스템을 살펴보면 다음과 같다.

모바일 AR 구현에 필요한 주요 기술로는 사용자의 위치, 방향, 움직임 등에 대한 추적(Tracking)기술, 컴퓨터 그래픽을 통해 가상의 물체를 만들어내고 실제 영상의 위치에 정확히 배치하는 정합(Registration)기술, 그리고 Display 등 사용자와의 상호작용을 처리하는 UI(User Interface)기술 등이 있다.

AR시스템은 상기 그림과 같이 현실세계의 카메라 촬영 영상을 전송하면, 비디오 인터페이스(Video Interface)를 통해 그 이미지를 사물의 위치와 움직임, 속도 방향 등을 추적하는 기능을 수행하는 추적(Tracking) 모듈로 전달한다.

랜더링(Rendering) 모듈은 추적 모듈을 통해 파악된 사물의 위치 기반으로 가상 물체의 생성이나 제거 작업을 통해 증강 이미지를 생성한다.

추적(Tracking) 모듈은 센서기반기술과 비전기반기술로 나눌 수 있는데 비전기반기술은 마커기반과 비마커기반 등으로 구분된다.

센서기반 기술은 모바일 디바이스에서 활용 가능한 GPS, 가속도 센서, 자이로센서 등을 이용하여 사물의 움직임, 위치, 방향 등을 추적하여 화면에 증강 위치를 파악하여 관련 콘텐츠를 시각화 하는 기술을 말하며 비교적 쉽게 구현할 수 있기 때문에 많이 활용되고 있으나 특정 위치에서 정확한 정보 증강이 어렵다는 단점이 있다.

비전기반기술 중에 마커기반기술은 카메라 등을 이용해서 QR코드와 같은 마커를 인식, 추적하고 매핑하는 기술이며, 비마커기반 기술도 카메라를 통하여 촬영된 이미지 와 비교 대상 물체를 필터링하고 이를 비교하여 관련된 정보를 제공하는 기술이다.

비전 기반 증강현실 기술의 활용 사례로는 AR Phone과 Studistube ES등이 있으며, 비전기반 사례로는 Phone Guide와 SR Engine 소프트웨어 등이 있다.

또한 정합기술은 가상의 물체를 실제 영상의 위치에 정확히 배치하는 기술로서 위치(Positioning), 랜더링(Rendering), 병합(Merging)의 3단계로 구성된다.

향후 AR기술은 추적기술 측면에서는 마커(Marker) 등을 통해 정보를 제공하는 비전 기반 및 GPS 등 위치 기반 AR에서 이미지 인식으로 진화하고 나아가 구글의 ‘Glass’와 같이 실제 3D 환경을 인지하고 관련 환경의 맥락을 이해하는 맥락 인식 기반 AR로 발전할 것으로 전망된다.

또한 스마트폰 칩셋에 AR기술이 기본 탑재되면 현재보다 진일보된 AR 애플리케이션(앱) 개발이 더 쉽게 용이하게 될 것이다.

증강현실 시스템의 구성과 종류

실제 환경에 가상의 물체를 정합하여 실제 환경의 현실감을 강화시키는 AR 시스템은 영상 및 가상물체의 처리를 위한 AR 브라우저와 관련 장치들의 인터페이스로 구성되며 카메라를 통해 획득되어진 영상은 AR 브라우저에서 영상 처리를 통해 가상물체와 정합이 이루어진다. 도 3은 AR 브라우저를 예시하는 참조도이다.

정합된 영상 정보는 모니터 또는 HMD(Head Mounted Display)와 같은 디스플레이 장치를 통해서 작업자에게 전달된다. 획득된 영상 정보를 기반으로 가상물체를 생성하기 위한 영상 처리를 수행하는 AR 브라우저는 크게 가상물체의 생성 기준 정보를 제공하는 마커를 인식하고 추적하기 위한 트래킹(tracking) 모듈, 가상물체의 생성/제거/이동을 위한 렌더링(rendering) 모듈과 가상물체간의 거리 측정 및 간섭을 검사하기 위한 측정(measurement) 모듈로 구성된다.

3가지 주요 모듈들은 영상 처리를 위한 기본적인 알고리즘과 수학적 연산처리를 수행하기 위한 C++ 기반의 라이브러리로 구성되어지며, 이들 각각의 모듈들은 비주얼 소프트웨어의 통합 표준인 액티브X(ActiveX)를 기반으로 상호 통합된다.

트래킹 모듈

실제 영상에 가상물체를 생성시키기 위해서는 가상물체와 실제 영상 사이의 매개체가 필요하다. AR 브라우저는 이러한 매개체를 지속적으로 추적하고 인식함으로써 가상물체의 생성을 위한 기준 좌표계를 설정한다. 이러한 역할을 수행하는 모듈이 트래킹 모듈이다.

도 4는 AR 브라우저에서 좌표계 생성을 위한 스퀘어 마커 추적과 인식을 설명하기 위한 참조도이다.

트래킹을 수행하기 위하여 기계, 자기, 광학 등의 다양한 원리가 제공되고 있지만 현재 이들 중에서 가장 높은 정밀도를 보이는 것이 광학을 이용하는 방법이기 때문에 정밀도 확보를 위해 스퀘어 마커를 이용한 광학 트래킹이 AR 시스템의 주류를 이루고 있다. 하지만 광학 기반의 트래킹 방법은 조명에 영향을 많이 받게 되므로 이를 극복하기 위해서 IR(infrared) 타깃을 사용하는 방법을 사용되기도 한다.

스퀘어 마커 기반의 트래킹 방법:

광학을 이용한 트래킹을 위해서 주로 스퀘어 마커가 사용된다. 스퀘어 마커를 기반으로 좌표계를 생성하기 위해서 AR 브라우저는 스퀘어 마커의 추적(detection)과 인식(Recognition)을 위한 이미지 프로세스를 순차적으로 수행한다.

또한 UI(User Interface)를 통하여 제공되는 마커의 크기 및 패턴정보와 마커 데이터베이스에 저장되어 있는 정보들간의 매칭을 통하여 가상물체를 생성하기 위한 기준 좌표계를 생성한다. 또한 기준 좌표계의 방향 결정을 위해서 흑백으로 구성된 2차원 행렬 마커나 템플릿이 사용된다.

동적인 현장 시스템의 운영 프로그램을 생성하기 위해 스퀘어 마커가 사용되는 경우에 있어서 다른 현장 구성 요소들에 의해서 스퀘어 마커가 가려질 수 있으며 또한 로봇과 같이 위치와 방향이 자주 변경되는 경우에도 카메라가 지속적으로 마커를 추적하는 것이 불가능하다. 이러한 문제점들을 해결하기 위해서 멀티 마커 시스템을 이용한 좌표계가 사용된다.

도 5는 스퀘어 마커를 사용한 좌표계 생성을 예시하는 참조도이다.

멀티 마커 시스템에 사용된 다수의 마커들 중에서 카메라가 하나 이상의 마커 영상을 획득하는 것이 가능하다면 AR 브라우저는 기준 좌표계를 지속적으로 유지할 수 있다.

IR 타깃을 이용한 트래킹 방법:

스퀘어 마커를 이용한 트래킹 방법은 AR 시스템이 적용되는 작업장의 조명 조건, 카메라와 마커와의 거리 및 각도, 마커의 크기 등과 같이 영상 처리에 영향을 미치는 주변 환경 변수에 의해서 가상물체의 정합 강건성에 많은 영향을 받게 된다. 일반적으로 작업 현장은 이러한 조건들을 충족시키지 못한다. 이러한 문제들을 해결하기 위해서 IR 타깃을 이용한 트래킹 방법론이 제시된다.

우선 둘 이상의 적외선 카메라를 이용하여 작업 영역을 정의하고 전체 좌표계의 기준이 되는 월드 좌표계를 설정한다. 그리고 IR 타깃을 이용하여 가상물체 생성을 위한 기준 좌표계를 생성한다.

도 6은 IR 타깃을 이용한 좌표계 생성을 예시하는 참조도이다.

ART(Advanced Realtime Tracking) GmbH사에서 제공하는 IR 타깃을 이용하는 경우에는 도 6과 같이 3가지 방법으로 국부 좌표계 설정 가능하다.

ART 트래킹시스템에서 적외선 카메라는 IR 타깃을 지속적으로 트래킹하고, 월드 좌표계를 기준으로 획득되어진 국부 좌표계의 상대적인 위치값들을 AR 시스템으로 전송한다. 전송된 데이터를 기반으로 AR 브라우저에서는 가상물체의 생성을 위한 기준 좌표계를 설정한다. 필요에 따라서 이들 두 가지 방법을 동시에 사용할 수 있다. 도 7은 IR 타깃을 사용한 AR 시스템의 적용 사례를 나타낸 것이다.

다음 아래 그림은 스퀘어 마커와 IR 타깃을 동시에 사용하는 AR 시스템에 대한 구성도를 나타낸 것이다.

렌더링 모듈

트래킹 모듈을 통해 생성된 좌표계를 기반으로 가상물체의 생성 및 제거는 렌더링 모듈을 통해서 수행된다. 하나의 마커를 이용하여 여러 개의 가상물체를 생성하는 것이 가능하다.

도 8은 스퀘어 마커를 이용한 가상물체의 생성을 예시하는 참조도이다. 도 8의 왼쪽 이미지와 같이 모든 가상물체가 상대적인 움직임을 가지지 않는 경우에는 하나의 마커로 가상 시스템 전체를 실제 환경에 정합할 수 있다. 하지만 도 8의 오른쪽 이미지와 같이 AGV처럼 가상물체간의 상대적인 움직임이 있는 경우에는 생성되는 구성요소들 마다 각각의 기준 좌표계가 필요하게 되므로 해당 가상물체마다 각각의 마커가 필요하다.

생성된 가상물체들은 카메라와의 거리 정보를 기반으로 정합되는 순서를 가진다. 즉 카메라에 가까이 있는 가상물체에 의해서 멀리 있는 가상물체는 가려지게 된다. 작업을 수행하는 과정에서 멀리 있는 가상물체의 정보가 요구될 수 있다. 이 경우에는 가까이 있는 가상물체를 제거함으로써 멀리 있는 가상물체의 정보를 얻을 수 있다.

가상물체의 좌표 이동

도 9는 조립작업 반경과 작업자의 이동 경로 검증을 위한 좌표 이동을 예시하는 참조도이다.

초기에 생성되는 가상물체는 마커의 중심을 원점으로 생성한다.

현장의 상황에 따라서 원하는 위치에 마커를 위치할 수 없거나 마커 트래킹을 수행하는 동안 다른 물체의 시각적인 간섭을 받을 수도 있다.

이러한 경우에는 마커를 트래킹이 용이한 위치에 설치하고 AR 브라우저상에서 가상물체를 정위치에 위치시키기 위해서 좌표이동을 수행한다.

또한, 생성되어진 가상물체를 시스템 검증을 위해서 임의의 위치로 이동이 요구되어질 수 있다. 아래 그림은 좌표이동을 수행하여 수조립 공정을 수행하는 작업자의 동선을 나타낸 것이다.

측정 모듈

AR 브라우저를 통해 획득되는 영상은 2차원이므로 가상물체들간의 위치 및 거리정보를 한눈에 파악하는 것이 용이하지 못하다.

생성된 가상물체들간의 거리 측정, 생성된 좌표계간의 거리와 방향 측정 및 가상물체간의 간섭 여부를 확인하기 위하여 다양한 측정 도구들이 필요하다. 이를 수행하는 것이 측정(measurement) 모듈이다.

가상물체간의 거리 측정

가상물체는 마커를 중심으로 생성되어지므로 임의의 두 점 사이의 거리는 마커를 기반으로 한 P1과 P2를 이용하여 구할 수 있다.

실제 공간의 마커들간의 거리 정보를 추가함으로써 서로 다른 마커를 기반으로 생성된 임의의 두 점 사이의 거리도 측정하는 것이 가능하다. 도 10은 가상물체간의 상대적 위치 측정을 예시하는 참조도이다.

가상물체와 실제 환경간의 간섭 체크

가상물체는 항상 실제 영상 위에 존재. 즉 가상물체와 실제 환경과의 간섭을 시각적으로 확인하는 것은 불가능하다.

이를 위해서 클리핑 플레인(clipping plane) 사용한다.

클리핑 플레인은 투명한 가상의 평판으로 역시 마커를 기반으로 생성한다.

클리핑 플레인의 기능은 해당되는 기준 평면을 기준으로 한 쪽의 가상물체를 제거하는 역할을 수행하며 벽면에 부착되어 있는 마커를 기준으로 클리핑 플레인을 생성함으로써 가상 차체와 주변 시스템과의 간섭을 육안으로 파악하는 것이 가능하다.

AR을 이용한 RFF 가상 조립공정시스템

증강현실 응용서비스를 위한 앱(Application, App)은 항공기 제조생산 현장 환경을 App에 구현된 AR(증강현실) 기술을 통하여 기준 형상과 치구 장칙 위치를 1:1로 매칭시키는 다양한 정보를 출력하여 실제 현장 환경과 가상의 형상 정보를 최대한 정확히 정합시켜 제공하는 서비스를 구현한다. 이를 위해 개발되는 앱에는 AR(증강현실) 모듈, 자이로스코프 센싱 기술, GPS 검출 및 적용 알고리즘과 Indoor DGPS 오차범위를 보정할 수 있는 GPS Map Utility 적용한다.

AR 응용서비스 App 모듈

안드로이드와 아이폰 3G 이상에서 사용할 수 있는 무료 증강현실 오픈소스이며 증강현실에 대한 기본적인 기능들이 구현되어 있는 Mixare AR을 기반으로 개발한다.

오픈소스가 많은 영상기반 증강현실과 다르게 위치기반 증강현실에는 Mixare가 거의 유일한 오픈소스이므로 이를 분석, 수정 보완하여 Reconfigurable Flex Fixture를 대상체로 하는 Mixare-RFF를 구현한다.

도 11은 AR Open Source Mixare AR를 나타내는 참조도이다.

Mixare AR 모듈은 상기 그림과 같이 스마트폰 카메라 view에 overlay 되는 object들이 특정한 원형라인을 따라 동작하므로 Mixare-RFF는 시각적 효과를 위해 overlay되는 object들의 아이콘의 사이즈를 거리에 따라 변경할 수 있도록 알고리즘을 적용하고 호출한다.

또한 치공구의 목표위치에 정합되는 점의 위치와 정확성을 증가시키기 위해 삼각측량 방위각을 활용한 알고리즘을 적용하고 레이저 트래커를 통해 방위각의 오차정도를 비교 분석한 후 결과를 도출하여 아래 표와 같이 방위각을 통해 두 지점간 거리 및 위치 정확도가 얼마나 향상되는지 정량화시킬 수 있다. 표 1은 Mixare와 Mixare-RFF의 성능 비교를 나타내는 표이다.

항목	Mixare	Mixare-RFF	비고
object 배치	원형	수평
object 사이즈	변경 불가	변경 가능	거리에 따른 아이콘 사이즈
object 정확성	위치파악 힘듦	위치파악 양호
센서 민감도	심함	보통

자이로스코프 센싱 기술 적용

회전이나 가속을 구성하는 센서 또한 제조사와 제조 단말기에 따라 다르고, 근접 센서의 반응속도는 빠르나 거리가 매우 짧아 근접 센서를 사용해서 프로그램을 구현하기 위해서는 많은 제약이 따른다.

도 12는 센서 테스트의 결과 및 보정 사례를 나타내는 참조도이다.

보통의 경우 가속, 조도, 근접, 자기 센서는 베이스 모듈이기에 개발에 필요한 센서 기능인 가속, 조도, 자기 센서만 추출 및 적용하며, 최근 스마트폰에 적용되는 자이로스코프센서는 섬세하게 스마트폰의 움직임을 감지하는 장점이 있다.

그러나 선행 실험에 따르면, 안드로이드 폰 자체의 자이로스코프 센서는 민감도가 너무 미세하여 센서 데이터값 호출시 소수점 부분 반올림 처리하여 상기 그림과 같이 민감도를 다소 조정할 경우 민감도가 둔화되는 경우가 발생하므로 주의해야 할 사항으로 조사된다.

휴대폰 위치와 카메라가 향하고 있는 목표지점의 좌표 데이터를 호출하여 그 목표지점까지의 방향 데이터를 취득하도록 구성할 계획이며 취득된 방향 데이터와 기기내 방향 데이터의 센서값에 따른 Object 위치 알고리즘을 적용한다.

Indoor DGPS 신호 검출 및 적용 알고리즘

도 13은 일반적인 GPS 위치정보를 사용한 위치신호 검출 사례를 나타내는 참조도이다.

정확한 거리와 위치를 산정하여 제시해 주는 것은 신뢰성 있는 정보제공을 통한 사용성 확보 측면에서 매우 중요한 사항이다. 따라서 GPS 센서를 통해 수신된 거리나 위치 정보를 실제와 비교해서 얼마만큼 정확하게 보여줄 수 있는지에 대한 사항이 매우 중요하다. 즉, 현재 자신의 위치에 대한 정보를 얼마나 정확하게 받아오는지에 대한 확인이 필요하다.

도 14는 indoor GPS 편차보정 화면을 예시하는 참조도이다.

스마트폰의 GPS는 기기의 특성에 따라 도 14와 같이 기본적인 오차범위는 약 5∼10m 내외 오차를 포함하고 있기 때문에 실제 거리와 기준이 되는 맵의 위치 차이를 계산하는 알고리즘이나 적극적 보정 방법이 필요하다. 이를 해결하기 위해 프로그램에서 GPS를 보정할 수 있는 기능을 도 14와 같이 구성한다. 표 2는 편차 보정후의 오차 비교의 예를 나타내는 표이다.

구분	안드로이드폰
일반 GPS오차	5 ~ 10m 내외
GPS오차 보정후 오차(정확성)	5m 이내(cm급 오차)

조립공정 정보시스템

항공기 구조물 조립생산과 관련된 정보시스템은 작업자의 수작업을 기본 모델로 하고 작업 대상물의 실측 사진 정보와 3차원 도면 등을 참고하여 안드로이드 기반으로 한다.

증강현실 개발 오픈소스인 Mixare를 수정 보완하여 개발된 Mixare-RFF, 자이로스코프 센싱기술의 적용과, GPS 계산 및 편차보정을 통하여 증강현실응용시스템으로서 조립공정 정보시스템(ASFP) 메뉴는 아래 표의 대분류, 중분류와 같이 구성한다.

메인 화면에는 대분류인 작업장 정보와 조립공정 OPR, Quick OPR, 대상품 관리, 환경설정 및 사용법(Help) 메뉴로 구성하며 본 App 개발의 핵심이라고 할 수 있는 증강현실 메뉴는 메인 화면에 있는 조립공정 OPR 메뉴의 하위 메뉴에 구성한다.

2. 항공기 기체구조물 생산 공정매니지먼트 시스템

일반적으로 항공기 부품 제작 공정은 일반적으로 소재를 절단 및 절삭, 성형하여 단위 부품들을 제작하는 기계가공 공정과 Fastening, Assembling 등 완성된 단품들을 대상으로 결합작업을 수행하는 조립 공정으로 대별할 수 있으며 이중 가장 많은 비중을 차지하는 작업이 Drilling 공정이다.

특히 항공기 제작에 있어서 Drilling 공정은 일반 산업 기계 공정에서 표현하는 드릴링 작업과는 달리 대형 판 구조물 소재의 영향에 따른 스프링백 현상, 알루미늄 합금 이종 접합에 따른 드릴링 절삭력 추정 곤란 등 다양한 작업 특성을 내포하고 있기 때문에 거의 대분의 항공기 생산 및 제조현장에서는 그림과 같이 현장 작업자의 숙련도에 의존하여 공정을 진행하는 비율이 상당히 높으며 공정 단위 작업에 대한 자동화 비율 역시 상당히 저조한 상황이다.

하지만 최근 미국 및 유럽 국가들은 이와 같이 비능률적이고 비효율적인 Drilling 공정을 자동화하여 항공기 부품에 대한 생산성을 극대화하기 위한 논의가 활발하게 진행 중이며 또한 차세대 항공기 혹은 신기종 항공기 개발에 있어서 중요한 요소로 제시되는 동시설계공학적 효과를 극대화하기 위하여 항공기 기체 제작과 관련된 자동화 공정개발 및 관련분야에 대한 연구가 활발하게 진행 중이다.

여기에서 Robotic Drilling System(RDS)이란 항공기와 같이 작업공정 대상물의 크기가 크고 작업 교시점에 해당하는 Hole의 갯수가 상당히 많아서 작업자가 단순히 티칭펜던트에 의한 교시조작만으로는 전체 공정 작업의 수행이 불가능한 Fastening Hole 가공 및 리벳공정을 진행하는 전용 자동화 시스템을 말한다.

항공기 제작 및 생산분야에서‘항공기 기체구조물 생산공정 매니지먼트 시스템’개발은 4차산업혁명과 관련하여 산업용 로봇을 적용한 솔루션 구축시 필수적으로 검토해야하는 기반 환경이며 시간이 지날수록 심화되는 선진국의 기술보호주의에 대응하고 범국가적으로 추진해야하는 필수적 사안이다.

도 15는 OPC UA System Architecture를 나타내는 참조도이다. 도 16은 OPC UA 기반의 Interface Module 구성을 나타내는 참조도이다.

OPC를 이용한 생산공정 매니지먼트 시스템 구성:

OPC 및 OPC UA의 개념 및 Architecture

OPC (OLE for Process Control)

OPC 표준은 MS의 OLE 기술을 기반으로 Client와 Server 사이에서 통신과 Data의 변환을 위한 산업 표준 메커니즘을 제공.

Process Data의 Client Application과 Server 사이의 인터페이스 방식의 규정으로 OPC 호환 Client는 다수의 OPC 호환 Server들로부터 Data Read/Write 가능.

OPC UA (Open Platform Communication Unified Architecture):

IEC 62541 표준으로 기존의 OPC DA/HAD/A&E 및 Security를 통합

표준 Ethernet 기반의 실시간 및 동기화 제공

OPC UA System Architecture:

OPC UA Information Model for IEC 61131-3 7.1.1 System Architecture General

OPC UA 표준 기반의 Interface Module:

OPC UA Protocol Unit의 내재화

OPC를 이용한 항공기 기체구조물 생산공정 매니지먼트 시스템

본 소프트웨어 시스템은 공정데이터 추적이 가능한 미들웨어를 이용한 생산공정관리 시스템이다.

OPC 서버로 로봇, PLC를 포함하는 PLC 의존성 디바이스와 센서, 카메라를 포함하는 PLC 비의존성 디바이스의 데이터의 일원화시킴으로써 OPC 서버를 통해 생산 공장의 모든 디바이스에 대해 데이터를 취합할 수 있도록 하고, 미들웨어와 데이터 저장서버를 이용하여 취합된 데이터를 실시간으로 감시 및 추적하여 데이터 저장서버에 기 저장된 생산품 및 공정 데이터와 비교하여 해당 공정에 대한 디바이스를 자동으로 제어할 수 있으며, 웹서버를 통해 서비스되어 단말장치에 구현되는 모듈로 사용자의 다양한 제어 명령을 전달받아 해당 공정을 제어하여 자동으로 생산 완성품을 만들어내고, 각 공정에 대한 결과를 제공받을 수 있는 공정데이터 추적이 가능한 미들웨어를 이용한 생산 공정관리 시스템이다.

이를 위하여 본 소프트웨어 시스템은 센서, 카메라를 포함하여 산업현장에서 데이터를 생성하고, 각 상이한 통신 규약에 의해 데이터를 송수신하는 PLC 비의존성 디바이스, 및 로봇, PLC를 포함하여 산업현장에서 데이터를 생성하고, 각 상이한 통신 규약에 의해 데이터를 송수신하는 PLC 의존성 디바이스를 포함하는 디바이스부; PLC 비의존성 디바이스로부터 데이터를 전송받아 PLC 기능을 대신 수행하고, 비표준 통신방식으로 통신하는 데이터를 전송받아 OPC 통신이 가능하도록 중계하는 디바이스 서버, PLC 비의존성 디바이스에 대해 OPC 통신을 가능하게 하는 디바이스 서버를 통해 전송된 데이터와 PLC 의존성 디바이스에서 전송된 데이터를 일원화하여 관리하는 OPC 서버, OPC 서버로부터 디바이스의 데이터 변경을 감지하여 디바이스를 제어하는 미들웨어, 미들웨어로부터 변경된 데이터를 전송받아 저장하고, 생산 공정에 따른 제어 수치를 포함하는 공정 데이터가 저장된 데이터 저장서버, 데이터 저장서버로 저장된 데이터를 전송받아 웹 환경에서 서비스할 수 있도록 하는 웹서버를 포함하는 서비스부 및 서비스부의 웹서버로 접속하여 전송된 공정 데이터를 기반으로 실시간 공정을 모니터링하여 생산 제품의 공정을 추적할 수 있고, 공정별로 제어 값을 입력하여 디바이스를 제어할 수 있는 컴퓨터, 모바일 기기를 포함하는 단말장치를 포함하는 공정데이터 추적이 가능한 미들웨어를 이용한 ‘항공기 기체구조물 생산 공정 매니지먼트 시스템’을 아래와 같이 제공한다.

원격 데이터 분석

실시간 장비 가동 현황을 모니터링 하는 다음의 두 가지 기능을 수행한다.

스마트 제조를 위한 국제 표준 통일 언어인 OPC UA(Open Platform Communication Unified Architecture)를 사용하여 장비 가동 상태를 모니터링하고 데이터 표시한다.

제3자 OPC 호환 가능한 사용자는 데이터를 수집하고 통합하여 실시간으로 웹 페이지에 표시한다.

사용자 로그인 웹 브라우저의 사용자 로그인과 비밀번호 인증 절차를 거쳐 서버로 접속한다.

관리자 (Administrator)메뉴는 관리자로 로그인 했을 경우에만 사용 가능하다.

관리자 메뉴에서는 장비를 추가하거나 전자 우편(E-Mail)과 SMS메시지에 관한 환경 설정 가능하다.

공장 오버뷰(Overview)

도 17은 공장 오버뷰 화면을 예시하는 참조도이다.

공장 내 등록된 장비 상태를 표시한다.

실시간 생산가동 현황을 표시한다. 예) 공구이름, 장비상태와 현황 1일 생산량, 스핀들 부하, 사용자 이름 및 장비상황 표시등의 상태를 표시

장비 가동 시간 및 사용자 작업 내용을 표시한다.

장비를 OFF한 경우나 서버의 네트웍 연결이 끊겼을 경우 메시지로 표시한다.

장비 대시보드

도 18은 장비 대시보드 화면을 예시하는 참조도이다.

공구와 공정작업 데이터, 이송속도 및 치공구 관리정보 표시한다.

장비상태, 작업리포트, 일/주별 생산 현황 및 기록 표시한다.

Loadermate 정보 및 사이클 타임 챠트를 표시한다.

스핀들 부하 그래프와 공정 능력지수(Cp/Cpk) 표시한다.

에러기록

도 19는 REDAX 에서 생성된 장비 상태 리포트 화면을 예시하는 참조도이다.

에러기록 페이지를 열면 가장 최근 20개 에러 메시지 기록 디스플레이한다.

특정 에러를 찾으려면 찾기 기능 사용 가능하다.

장비가 꺼지거나 네트웍 연결 이상으로 에러를 발생시키지 못한 경우에도 Log 이력 저장

드롭다운 메뉴에서 해당언어를 선택하여 에러 선택한다.

리포트 서버는 다음과 같은 종류의 리포트를 생성하며, 드롭다운 메뉴에서 설정된 기간이나 사용자 지정 형식으로 리포트를 작성한다.

모든 장비는 리포트를 생성하도록 설정, 특정 장비만 리포트를 생성하도록 드롭다운 메뉴에서 선택한다.

리포트 종류 및 다른 리포트 필터 설정이 된 후 리포트 작성 버튼을 눌러 출력한다.

생성된 리포트 데이터는 CSV형식으로 출력 하거나 리포트 페이지로 프린트 가능하다.

아래는 클라이언트에서 서버에 생성된 장비 상태 리포트를 디스플레이 하는 예를 나타낸 것이다.

이메일 및 SMS 메시지 통보기능

관리자가 지정한 수신 담당자에게 이메일이나 SMS메시지로 통보한다.

공구 관리

도 20은 공구 관리 화면을 예시하는 참조도이다.

공구관리는 서버상의 공구파일 중앙통합 관리 시스템과 연계한다.

마스터 파일과 사용공구 파일을 비교하여 차이점과 변경사항을 확인한다.

치공구 관리

치공구 정보관리는 서버상의 중앙통합 관리 시스템과 연계한다.

각 공정간 치공구 치수 및 정보의 호환 사용이 가능하다.

빠른 찾기 기능을 사용하여 원하는 치공구와 팩을 치공구 라이브러리에서 검색 가능하다.

다른 하나의 중요한 기능으로 공정 시뮬레이션 과정에서 사용한 치공구와 장비에 장착되어 실제 공정에 사용하는 치공구에 대한 중복 방지 기능 탑재로 치공구 파손 또는 손상 예방을 한다.

도 21은 본 발명에 따른 제조 공정 현장에서 AR 공정 플랫폼 제공 시스템을 설명하기 위한 일 실시예의 블록도이다.

도 21을 참조하면, AR 공정 플랫폼 제공 시스템은 스마트 디바이스 및 서버를 포함한다.

특히, 스마트 디바이스는 사용자 인터페이스부, 평면 인식부 및 컨트롤러를 포함한다.

사용자 인터페이스부는 사용자가 선택하는 AR 3D 객체 목록 중 어느 하나의 목록을 인식하고, 인식된 AR 3D 객체 목록에 대응하는 프리뷰(preview)를 디스플레이 화면 상에 표시한다.

평면 인식부는 벽면 또는 바닥면 중 적어도 어느 하나를 포함하는 평면을 인식한다.

컨트롤러는 상기 디스플레이 화면을 터치하는 경우에, 상기 AR 3D 객체 목록에 대응하는 AR 3D 객체를 상기 평면 상에 표시하도록 제어한다.

또한, 상기 컨트롤러는, 상기 사용자의 선택에 따라 상기 표시된 AR 3D 객체의 일측에 상기 AR 3D 객체의 컨텐츠 데이터를 표시하도록 제어한다.

이하, 각 과정의 세부 내용은 다음과 같다.

도 22 내지 도 30은 본 발명에 따른 제조 공정 현장에서 AR 공정 플랫폼 제공 시스템을 설명하기 위한 각 과정을 예시하는 참조도이다.

1. 접속시 첫 화면

1) 사용자 인터페이스부의 동작:

사용자 카메라 기능 권한 : 첫 접속 시 1회.

Device AR Engine 설치: 첫 접속 시 1회.

사용자 카메라 권한, AR Engine 사용 가능시 시작 버튼 활성화.

시작 버튼 Tap할 경우 AR 화면으로 전환.

2) 서버의 동작:

Application 실행시 Background에서 자사 서버와 Device를 TCP/IP Protocol 연결.

연결 실패시 시작버튼 비활성화.

2. AR 선택 화면

1) 사용자 인터페이스부의 동작:

AR 3d 객체를 이름으로 선택 할 수 있다.

선택할 시 AR preview 가능하다.

시작 버튼 누를 시 Camera로 AR 띄우게 한다.

3. 평면 인식 화면

1) 사용자 인터페이스부의 동작:

사용자의 camera preview와 함께 평면 인식 UI를 표시한다.

평면을 인식한 후 평면 위에 AR을 출력할 수 있도록 UI를 표시한다.

평면을 Tap하면 AR 출력한다.

돌아가기 버튼 tap 시 이전화면으로 돌아간다.

2) 서버 동작:

바닥, 책상 등을 Camera로 촬영하며 빛의 반사 또는 빛 색상으로 개별 평면 부분 인식한다.

평면부분 인식 후 사용자 Device의 IMU Sensor로 개별 평면을 Merge한다.

인식한 평면의 크기가 일정 이상일 경우 AR 출력 준비한다.

4. AR 컨텐츠 재생

1) 사용자 인터페이스부 동작:

사용자의 camera preview와 함께 Controller Data, Contents를 Rendering한다.

Controller Data를 AR과 함께 출력한다. 위치는 이후에 조정가능하다.

2) 서버의 동작:

서버 통신을 100ms(차후 조정) 간격으로 실행하며 Data를 받는다.

AR Contents를 Device IMU sensor로 추적한다.

5. 콘텐츠 표시

1) 사용자 인터페이스부 동작:

인식 실패화면 : 인식 실패시 재시도하게 한다.

콘텐츠 배치 예시: AR contents 와 데이터를 위와 같은 방식으로 출력한다.

AR 콘텐츠 재생 종료: 다시재생이 가능하도록 활성화한다.

도 31은 본 발명에 따른 제조 공정 현장에서 AR 공정 플랫폼 제공방법을 설명하기 위한 일 실시예의 흐름도이다.

사용자가 선택하는 AR 3D 객체 목록 중 어느 하나의 목록을 인식한다(S100 단계).

S100 단계 후에, 인식된 AR 3D 객체 목록에 대응하는 프리뷰(preview)를 디스플레이 화면 상에 표시한다(S102 단계).

S102 단계 후에, 벽면 또는 바닥면 중 적어도 어느 하나를 포함하는 평면을 인식한다(S104 단계).

S104 단계 후에, 상기 디스플레이 화면을 터치하는 경우에, 상기 AR 3D 객체 목록에 대응하는 AR 3D 객체를 상기 평면 상에 표시한다(S106 단계).

S106 단계 후에, 상기 사용자의 선택에 따라 상기 표시된 AR 3D 객체의 일측에 상기 AR 3D 객체의 컨텐츠 데이터를 표시한다(S108 단계).

이상, 본 발명의 제조 공정 현장에서 AR 공정 플랫폼 제공방법 및 시스템에 관한 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 실시 변형이 가능함은 자명하다.

그러므로 본 발명의 범위에는 설명된 실시예에 국한되어 전해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다. 즉, 전술된 실시예는 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로 이해되어야 하며, 본 발명의 범위는 상세한 설명보다는 후술될 청구범위에 의하여 나타내어지며, 그 청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

사용자가 선택하는 AR 3D 객체 목록 중 어느 하나의 목록을 인식하는 단계;
인식된 AR 3D 객체 목록에 대응하는 프리뷰(preview)를 디스플레이 화면 상에 표시하는 단계;
벽면 또는 바닥면 중 적어도 어느 하나를 포함하는 평면을 인식하는 단계; 및
상기 디스플레이 화면을 터치하는 경우에, 상기 AR 3D 객체 목록에 대응하는 AR 3D 객체를 상기 평면 상에 표시하는 단계를 포함하는 것을 특징으로 하는 제조 공정 현장에서 AR 공정 플랫폼 제공방법.
청구항 1에 있어서,
상기 사용자의 선택에 따라 상기 표시된 AR 3D 객체의 일측에 상기 AR 3D 객체의 컨텐츠 데이터를 표시하는 단계를 더 포함하는 것을 특징으로 하는 제조 공정 현장에서 AR 공정 플랫폼 제공방법.
AR 3D 객체를 표시하는 스마트 디바이스; 및
상기 스마트 디바이스와 통신하여 상기 AR 3D 객체의 표시를 위한 데이터를 교환하는 서버를 포함하고,
상기 스마트 디바이스는,
사용자가 선택하는 AR 3D 객체 목록 중 어느 하나의 목록을 인식하고, 인식된 AR 3D 객체 목록에 대응하는 프리뷰(preview)를 디스플레이 화면 상에 표시하는 사용자 인터페이스부;
벽면 또는 바닥면 중 적어도 어느 하나를 포함하는 평면을 인식하는 평면 인식부; 및
상기 디스플레이 화면을 터치하는 경우에, 상기 AR 3D 객체 목록에 대응하는 AR 3D 객체를 상기 평면 상에 표시하도록 제어하는 컨트롤러를 포함하는 것을 특징으로 하는 제조 공정 현장에서 AR 공정 플랫폼 제공 시스템.
청구항 3에 있어서,
상기 컨트롤러는,
상기 사용자의 선택에 따라 상기 표시된 AR 3D 객체의 일측에 상기 AR 3D 객체의 컨텐츠 데이터를 표시하도록 제어하는 것을 특징으로 하는 제조 공정 현장에서 AR 공정 플랫폼 제공 시스템.