KR101471852B1

KR101471852B1 - 스마트장치, 로봇정보 제공장치, 로봇 궤적 생성 방법 및 로봇 작업교시 방법

Info

Publication number: KR101471852B1
Application number: KR1020130148597A
Authority: KR
Inventors: 윤정원
Original assignee: 경상대학교산학협력단
Priority date: 2013-12-02
Filing date: 2013-12-02
Publication date: 2014-12-12

Abstract

본 발명은 스마트장치, 로봇정보 제공장치, 로봇 궤적 생성 방법 및 로봇 작업교시 방법에 관한 것으로서, 본 발명의 실시예에 따른 스마트장치는 로봇의 궤적 생성시 활용하기 위한 3차원 정보가 저장된 외부장치와 통신을 수행하는 스마트장치에 있어서, 임의의 공간 내에서 작업을 수행하는 로봇을 촬영하는 촬상부, 촬영한 촬영 영상을 외부장치로 전송하고, 전송한 촬영 영상에 근거하는 3차원 정보를 외부장치로부터 수신하는 통신인터페이스부, 촬영 영상 위에 3차원 정보를 중첩해 표시하는 디스플레이부, 3차원 정보를 활용하여 사용자가 설정하는 로봇의 궤적을 생성하는 로봇궤적 생성부, 및 3차원 정보를 표시하도록 디스플레이부를 제어하는 제어부를 포함할 수 있다.

Description

스마트장치, 로봇정보 제공장치, 로봇 궤적 생성 방법 및 로봇 작업교시 방법{Smart Device, Apparatus for Providing Robot Information, Method for Generating Trajectory of Robot, and Method for Teaching Work of Robot}

본 발명은 스마트장치, 로봇정보 제공장치, 로봇 궤적 생성 방법 및 로봇 작업교시 방법에 관한 것으로서, 더 상세하게는 예컨대 스마트폰과 같은 스마트장치의 조작으로 3차원 로봇 위치를 직관적이고 효율적으로 이동시키고, 로봇의 충돌 여부를 판단해 로봇의 작업을 교시할 수 있는 스마트장치, 로봇정보 제공장치, 로봇 궤적 생성 방법 및 로봇 작업교시 방법에 관한 것이다.

국제화 시대를 맞이하여 제조업은 혁신성의 요구 및 짧아진 생산 사이클, 제품의 다양화 등의 변화를 맞이하고 있고, 동시에 숙련공의 부족 및 높은 임금의 압력을 받고 있다. 2009년 현재 산업현장에서 18만 명의 근로자가 부족한 것으로 파악되고 있고, 철강·자동차·조선·석유화학·기계 등 제조업 선도기업의 경우, 인력구조에 대한 연령관리가 미흡하여 일부 기업의 경우는 인력 고령화가 동종업종의 평균에 비하여 빠르게 진행되고 있다. 하지만, 인력 고령화에 따른 생산성 저하를 방지하기 위한 공정개선, 작업환경 개선 등과 같은 하드웨어적인 성격의 투자는 그다지 고려되지 않고 있다.

자동화에 기반한 산업용 로봇(industrial robots)은 생산성과 유연성에서 최고의 솔루션(solution)을 제공하고 있지만, 특별한 분야에서 산업용 로봇의 프로그램은 여전히 어렵고, 시간이 많이 걸리며, 값비싼 편이다. 예를 들어, 규모가 큰 자동차의 제조를 위해 용접 로봇 시스템을 수동으로 프로그램하는 데 걸리는 시간은 8개월 이상이 소요되지만, 실제 용접작업 사이클은 16시간 이내로, 로봇 작업 프로그램 시간은 대략 로봇 실행 시간의 360배나 소요된다. 결과적으로 중소기업은 복잡하고 긴 시간이 소요되는 로봇 프로그래밍 작업의 비효율성 때문에 로봇을 이용한 자동화의 이득을 보기 어렵다.

최근 로봇 기술의 발전으로 산업용 로봇의 적용 분야가 기존의 대량생산에서 주조, 금형, 용접 등의 뿌리산업분야로 확대되고 있고 인력난을 겪고 있는 중소기업에서 로봇의 사용에 대한 요구가 증대되고 있다. 따라서, 로봇의 적용 분야 확장으로 로봇의 사용 경험이 없는 사용자에게도 로봇을 쉽게 사용할 수 있도록 휴먼-로봇-상호작용(HRI) 기술을 적용한 직관적인 사용자 인터페이스에 대한 개발 필요성이 증대되고 있다.

로봇 프로그래밍 방법과 관련하여 종래에는 촉각센서, 음성인식센서 등 상위 수준의 인터페이스를 가지고 있는 휴머노이드 로봇 혹은 모바일 로봇과 비교하여 전통적인 산업용 로봇은 로봇의 명령어 입력 입력방식으로 티치팬던트(teach pendant) 혹은 로봇 제어기와 연동된 PC기반 오프라인 프로그래밍(offline programming, OLP) 방식이 전통적으로 사용되고 있다. 전통적으로 온라인 프로그램으로 사용되는 티치팬던트 방식은 각 작업 단계에서 수동적으로 로봇의 끝단(end-effector)을 원하는 위치 및 방향으로 이동시키기 위해서 사용되고, 적합한 로봇 형상이 로봇 제어기에 의해 기록된다. 티치팬던트 방식은 개념이 간단한 반면 단순한 형상의 작업물에만 적용이 가능한 로봇프로그램 방법이다. 프로그램의 수준은 작업자의 숙련도에 제한되고, 한번 프로그램이 생성되면 추가적인 수정이 어려운 단점을 가진다. 이러한 단점에도 불구하고 직관성, 코딩 기술을 필요로 하지 않고, 초기의 저렴한 가격 등의 이유로 현재까지 널리 사용되고 있다.

산업용 로봇을 프로그램하는 과정은 일반적으로 직관적이지 못하고, 많은 시간이 소비되면서 사용자와 로봇의 충돌을 야기할 수 있어 안정성 문제도 고려가 되어야 한다. 이런 단점들을 극복하기 하기 위해서 최근에 추가적인 센서 및 제어 기술을 이용하는 방식이 제안되고 있다. PbD(Programming by Demonstration) 방식은 작업자가 직접 작업을 수동으로 실행하는 방식으로 사용자의 전문성을 구현할 수 있도록 하고 로봇이 작업을 관찰하고 사용자 행동을 모사하여 작업 궤적을 생성하는 온라인 로봇 프로그래밍의 다른 접근 방법이다. 하지만, PbD 방식은 속도 및 정밀도 관점에서 정확히 로봇의 능력을 활용하지 않기 때문에 최적화 값이라고 보기 어렵고, 데모 동안 발생할 수 있는 저크(jerk) 모션 및 지터들(jitters) 때문에 로봇이 재현된 궤적을 정확히 추종하기 어려운 경우가 발생한다.

로봇 프로그래밍에서 최근의 또 다른 연구 동향은 멀티모달 인터페이스로 옮겨가고 있으며 사용자에게 직관적이고 자연스런 제스쳐, 음성 등이 산업용 로봇 시스템을 제어하기 위하여 상위수준의 추상화된 입력명령을 사용하고 있지만, 이러한 방법들이 때로는 산업현장에 적합하지 않고 정확하지 않은 작업의 해석을 유도할 수 있는 문제점이 있다.

최근에는 복잡한 로봇 작업셀의 3차원 모델에 기반한 OLP 방법이 온라인 프로그램보다 인기를 얻고 있다. OLP는 작업장에서의 반복적인 프로그램의 부담을 로봇 조작자에게서 사무실의 소프트웨어 엔지니어로 작업을 옮긴 개념이다. OLP는 복잡한 시스템을 프로그램할 때 강점을 가지고 큰 부피의 생산 시스템에 보다 효율적이고 가격 경쟁력을 가진다. 온라인 프로그램 방법에 비해 보다 신뢰성이 높고 제품 설계의 변화에 유연성을 제공한다. 실제 구현된 작업물과 모델링된 작업물 사이에 오차가 존재하기 때문에 추가적인 보정(calibration) 절차가 프로세서의 정밀도 요구사항을 만족시키기 위해 필요하게 된다. 많은 상용화된 OLP가 제시되었지만, OLP 시스템을 사용하는 것은 일반적으로 프로그램 노력이 높고, 투자 비용이 크며, 오랜 시간이 소비된다.

가상현실 기술과 OLP를 혼합하여 수술로봇 혹은 원격로봇제어에 적용되었고, Liuetal.는 오프라인 피쳐매핑 알고리즘(feature mapping algorithm)을 개발하여 작업물(workpiece)이 바뀌던지 고정구(fixture)가 재설계될 경우, 혹은 로봇 셀 레이아웃(layout)이 바뀔 경우에 대해 용접로봇(arc welding robot)에 대하여 가상현실 기반 로봇 프로그래밍 기법을 적용하였다. 하지만, 가상현실 기반 로봇 프로그래밍은 작업물 및 작업영역에 대한 완벽한 정보를 필요로 하고 높은 계산량이 요구되어 환경이 완벽하게 결정되지 않은 작업환경에서는 적용이 용이하지 않다.

따라서, 직관성이 높은 온라인 로봇 프로그램의 장점 및 복잡한 형상의 작업물에 대응할 수 있는 오프라인 프로그램의 장점을 가지는 새로운 로봇 프로그램 기법이 절실히 요구되고 있다.

따라서 본 발명의 실시예는 예컨대 스마트폰과 같은 스마트장치의 조작으로 3차원 로봇 위치를 직관적이고 효율적으로 이동시키고, 로봇의 충돌 여부를 판단해 로봇의 작업을 교시할 수 있는 스마트장치, 로봇정보 제공장치, 로봇 궤적 생성 방법 및 로봇 작업교시 방법을 제공함에 그 목적이 있다.

본 발명의 실시예에 따른 스마트장치는 로봇의 궤적 생성시 활용하기 위한 3차원 정보가 저장된 외부장치와 통신을 수행하는 스마트장치에 있어서, 임의의 공간 내에서 작업을 수행하는 로봇을 촬영하는 촬상부, 상기 촬영한 촬영 영상을 상기 외부장치로 전송하고, 상기 전송한 촬영 영상에 근거하는 상기 3차원 정보를 상기 외부장치로부터 수신하는 통신인터페이스부, 상기 촬영 영상 위에 상기 3차원 정보를 중첩해 표시하는 디스플레이부, 상기 3차원 정보를 활용하여 사용자가 설정하는 상기 로봇의 궤적을 생성하는 로봇궤적 생성부, 및 상기 3차원 정보를 표시하도록 상기 디스플레이부를 제어하는 제어부를 포함한다.

상기 디스플레이부는 상기 3차원 정보로서 상기 로봇의 베이스(base) 좌표값 및 상기 로봇의 끝단(End-Effector) 좌표값을 표시할 수 있다.

상기 디스플레이부는 상기 좌표값 이외에 상기 로봇의 궤적, 이동속도 및 이동방향 정보 중 적어도 하나를 더 표시할 수 있다.

상기 스마트장치는 상기 공간 내에 존재하는 작업물, 장애물 또는 작업자와 상기 로봇의 충돌이 예상될 때, 상기 외부장치에서 제공하는 충돌상태 정보에 근거해 상기 사용자에게 충돌 가능성을 알리는 알림부를 더 포함할 수 있다.

상기 알림부는 경보음 발생, 진동 및 경고 메시지의 표시를 위한 메시지 생성 중 적어도 하나의 동작을 수행할 수 있다.

상기 스마트장치는 상기 공간 내에서 상기 스마트장치를 소지한 상기 사용자의 움직임을 센싱하고, 상기 센싱한 센싱 정보를 출력하는 센싱부를 더 포함하며, 상기 사용자의 위치는 상기 촬상부의 위치 정보와 상기 센싱 정보를 이용해 결정될 수 있다.

상기 촬상부의 위치 정보는 상기 촬영 영상의 로봇 베이스 형상에 일치하는 상기 외부장치에 기저장된 로봇 베이스 이미지에 매칭되는 좌표값일 수 있다.

상기 촬상부의 위치 정보는 상기 매칭된 좌표값에서 상기 로봇과 상기 촬상부간 거리가 반영되어 보정된 좌표값일 수 있다.

상기 센싱부는, 상기 사용자의 이동거리를 감지하는 가속도센서, 및 상기 사용자의 이동방향을 감지하는 자이로센서를 포함할 수 있다.

본 발명의 실시예에 따른 로봇정보 제공장치는 로봇의 궤적 생성시 활용하기 위한 3차원 정보를 증강현실(AR) 기반으로 표시하는 스마트장치와 통신을 수행하는 로봇정보 제공장치에 있어서, 임의의 공간 내에서 작업을 수행하는 로봇에 관련된 형상 정보 및 상기 형상 정보에 각각 매칭되는 3차원 정보를 저장하는 저장부, 상기 공간 내에서 작업을 수행하는 상기 로봇의 촬영 영상을 상기 스마트장치로부터 수신하는 통신인터페이스부, 상기 저장한 형상 정보 중 상기 수신한 촬영 영상 내의 로봇 형상과 일치하는 형상 정보에 매칭되는 상기 3차원 정보를 추출하는 플랫폼부, 상기 추출한 3차원 정보를 상기 스마트장치로 전송하도록 상기 통신인터페이스부를 제어하는 제어부를 포함한다.

상기 제어부는, 상기 스마트장치로 전송된 3차원 정보를 활용하여 사용자가 설정한 상기 로봇의 궤적 정보를 상기 저장부에 추가로 저장할 수 있다.

상기 플랫폼부는, 상기 촬영 영상 내에 작업물 또는 장애물이 존재할 때, 상기 로봇과 상기 작업물 또는 장애물간 거리에 근거해 충돌 여부를 판단하고, 충돌이 예상될 때 상기 스마트장치로 알릴 수 있다.

상기 저장부는 상기 로봇 및 상기 작업물에 대한 정보를 추가로 저장하며, 상기 플랫폼부는 상기 촬영 영상 내의 작업물 위치가 상기 저장한 작업물의 정보와 다를 때, 상기 충돌 여부를 판단할 수 있다.

상기 플랫폼부는 상기 스마트장치를 소지하는 사용자의 위치를 산출하고, 상기 산출한 결과에 따라 상기 로봇과 상기 사용자의 충돌 여부를 판단하며, 충돌이 예상될 때 상기 스마트장치로 알릴 수 있다.

상기 플랫폼부는 상기 스마트장치에 포함된 촬상부에 대한 위치 정보와 상기 스마트장치 내에 포함된 센싱부에 의해 센싱된 센싱정보를 이용하여 상기 사용자의 위치를 산출할 수 있다.

상기 플랫폼부는 상기 스마트장치의 위치 정보를 추출하기 위하여 상기 촬영 영상의 로봇 베이스 형상과 상기 저장한 형상 정보간 비율을 이용할 수 있다.

상기 촬상부의 위치 정보는 상기 저장된 형상 정보 중 상기 촬영 영상 내의 로봇 베이스 형상에 일치하는 형상 정보에 매칭되는 좌표값일 수 있다.

본 발명의 실시예에 따른 로봇 궤적 생성 방법은 로봇의 궤적 생성시 활용하기 위한 3차원 정보가 저장된 외부장치와 통신을 수행하는 스마트장치의 로봇 궤적 생성 방법에 있어서, 임의의 공간 내에서 작업을 수행하는 로봇을 촬영하는 단계, 상기 촬영한 촬영 영상을 상기 외부장치로 전송하는 단계, 상기 전송한 촬영 영상에 근거하는 상기 3차원 정보를 상기 외부장치로부터 수신하는 단계, 상기 촬영 영상 위에 상기 3차원 정보를 중첩해 표시하는 단계, 및 상기 3차원 정보를 활용하여 사용자가 설정하는 상기 로봇의 궤적을 생성하는 단계를 포함한다.

본 발명의 실시예에 따른 로봇 작업교시 방법은 로봇의 궤적 생성시 활용하기 위한 3차원 정보를 증강현실(AR) 기반으로 표시하는 스마트장치와 통신을 수행하는 로봇정보 제공장치의 로봇 작업교시 방법에 있어서, 임의의 공간 내에서 작업을 수행하는 로봇에 관련된 형상 정보 및 상기 형상 정보에 각각 매칭되는 3차원 정보를 저장하는 단계, 상기 공간 내에서 작업을 수행하는 상기 로봇의 촬영 영상을 상기 스마트장치로부터 수신하는 단계, 상기 저장한 형상 정보 중 상기 수신한 촬영 영상 내의 로봇 형상과 일치하는 형상 정보에 매칭되는 상기 3차원 정보를 추출하는 단계, 및 상기 추출한 3차원 정보를 상기 스마트장치로 전송하는 단계를 포함한다.

도 1은 본 발명의 실시예에 따른 AR 기반 직관적 입력 교시 플랫폼 구현 시스템을 나타내는 도면,
도 2A 및 도 2B는 AR 기반 로봇 프로그램 기법을 설명하기 위한 도면,
도 3은 스마트장치를 이용한 AR 기반 로봇 프로그래밍 구조를 도식화하여 나타낸 도면,
도 4는 도 1의 스마트장치의 구조를 나타내는 블록다이어그램,
도 5는 도 1의 로봇정보 제공장치의 구조를 나타내는 블록다이어그램,
도 6은 본 발명의 실시예에 따른 AR 기반 직관적 3D 로봇 조작 과정을 설명하기 위한 도면,
도 7은 본 발명의 제1 실시예에 따른 AR 기반 직관적 3D 로봇 작업 교시 과정을 설명하기 위한 도면,
도 8은 본 발명의 제2 실시예에 따른 AR 기반 직관적 3D 로봇 작업 교시 과정을 설명하기 위한 도면,
도 9는 본 발명의 실시예에 따른 스마트장치 기반 안전보호 기술에 대한 전체 개념도,
도 10A 및 도 10B는 본 발명의 실시예에 따른 AR 기반 입력 플랫폼의 초음파 검사 티치팬던트 적용 사례를 설명하기 위한 도면,
도 11은 본 발명의 실시예에 따른 스마트장치의 구동과정을 나타내는 흐름도, 그리고
도 12는 본 발명의 실시예에 따른 AR 기반의 3차원 정보 제공 과정을 나타내는 흐름도이다.

이하, 도면을 참조하면 본 발명의 실시예에 대하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 AR 기반 직관적 입력 교시 플랫폼 구현 시스템을 나타내는 도면이고, 도 2A 및 도 2B는 AR 기반 로봇 프로그램 기법을 설명하기 위한 도면이며, 도 3은 스마트장치를 이용한 AR 기반 로봇 프로그래밍 구조를 도식화하여 나타낸 도면이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 AR 기반 직관적 입력 교시 플랫폼 구현 시스템(90)은 스마트장치(100), 로봇(110), 통신망(120) 및 로봇정보 제공장치(130)를 포함한다.

스마트장치(100)는 스마트폰, 스마트 패드 및 스마트 노트 등과 같은 이동단말장치를 포함한다. 이동성 및 편의성 등을 감안하면 본 발명의 실시예에 따른 스마트장치(100)는 스마트폰이 가장 바람직하다. 그러나, 본 발명의 실시예에서는 이에 한정하지는 않을 것이며, 휴대가능하고 이동가능한 장치라면 어떠한 장치이어도 무관하다. 본 발명의 실시예에 따른 스마트장치(100)는 AR 기반의 직관적 입력 교시 동작이 가능하도록 하기 위하여 카메라와 관성센서 등의 지능형센서를 포함하며, 진동모터 등을 더 포함한다. 여기서, 관성센서에는 가속도센서 및 자이로센서 등이 포함될 수 있다.

스마트장치(100)는 이와 같은 카메라 및 지능형센서를 사용함으로써 직관적이고 효율적으로 3D 로봇(110)의 끝단을 이동시키거나 경로 생성 기능을 구현할 수 있다. 이를 위하여 스마트장치(100)는 AR 기반의 3D 로봇 프로그램을 저장하고, 저장한 프로그램을 실행시킬 수 있다. 예를 들어, 본 발명의 실시예에서는 도 2A에 도시된 바와 같이, 스마트장치(100)의 카메라를 이용하여 AR 기반으로 로봇(110)을 조작하거나 또는 교시를 위하여 카메라를 로봇(110)으로 향할 경우, 가령 로봇정보 제공장치(130)에 기저장된 것과 같이 이미 알려진 로봇 베이스 형상의 3차원 정보를 활용하여 카메라의 위치를 보정할 수 있다. 그리고 보정한 카메라의 위치 정보를 근거로 가령 로봇정보 제공장치(130)로부터 제공되는 로봇 끝단의 위치 및 자세 정보를 3차원 좌표의 형태로 실영상 위에 매칭시켜 그래픽과 같이 혼합하여 표시한다.

이를 통해 본 발명의 실시예는 스마트장치(100)를 활용하여 AR로 주어지는 시각적 정보 및 터치스크린을 활용한 스마트장치(100)의 조작으로 3차원 로봇 위치를 직관적이고 효율적으로 이동시킬 수 있다. 실질적으로 AR 기술로 화면에 표시되는 정보로는 로봇 끝단의 좌표계, 로봇 베이스 좌표계, 로봇의 궤적, 로봇의 이동 속도 및 방향 등이 포함될 수 있는데, 위의 그래픽 정보를 이용하여 실세계와 가상의 혼합으로 스마트장치(100)의 2D 화면상에서 3차원 환경의 로봇(110)을 효율적으로 조작할 수 있게 되는 것이다.

나아가, 도 2B에서와 같이 본 발명의 실시예는 실시간 로봇 형상 정보를 포함하는 로봇정보 제공장치(130)와의 통신으로 작업물(workpiece) 혹은 장애물(obstacle))과의 거리를 실시간으로 계산하여 경로 생성 동안의 충돌 상황을 시뮬레이션(혹은 추정)할 수 있고, 충돌 상황이 발생하거나 혹은 그 가능성이 있다고 판단될 때 스마트장치(100)의 진동모터 등을 이용해 사용자에게 알림으로써 사용자가 실시간으로 경로를 수정하거나 작업을 교시(teaching)할 수 있도록 한다.

예를 들어, 작업물이 투입되어 로봇(110)의 작업 환경이 바뀌었을 때, 스마트장치(100)는 바뀐 작업 환경에 대한 촬영 영상을 로봇정보 제공장치(130)로 제공해 줄 것이고, 그러면 로봇정보 제공장치(130)는 촬영 영상에 근거해 로봇(110)의 궤적 등에 의해 작업물과 충돌 가능성이 있는지를 판단해 볼 수 있다. 판단 결과, 가능성이 있다면 스마트 장치(100)는 로봇정보 제공장치(130)로부터 그 판단 결과를 수신하게 된다. 가령 로봇정보 제공장치(130)는 작업물에 대한 정보도 기저장할 수 있기 때문에 기저장된 작업물의 위치와 촬영 영상의 작업물의 위치가 일치하지 않을 때 충돌 가능성을 판단해 볼 수 있고, 나아가 그 충돌 가능성은 가령 로봇(110)의 끝단과 촬영 영상 내의 작업물의 간격을 계산함으로써 가능할 수 있다. 판단 결과 충돌 가능성이 있을 때 스마트장치(100)는 로봇정보 제공장치(130)로부터 판단 결과를 수신하여 사용자에게 충돌 가능성을 알리게 된다.

한편, 도 3에 나타낸 바와 같이 스마트장치(100)는 모드 선택에 따라 센서 입력정보가 오프라인프로그램으로 전달될 수도 있고, 온라인으로 서버 플랫폼, 즉 로봇정보 제공장치(130)에 직접적으로 연결되어 로봇(110)을 교시할 수 있다. 여기서, 오프라인프로그램으로 전달되는 경우, 스마트장치(100)는 가상 로봇셀 입력장치로서 활용 가능하게 된다.

로봇(110)은 본 발명의 실시예에 따라 산업용 로봇이 바람직하다. 로봇(110)은 스마트장치(100)와 통신을 수행하기 위한 통신모듈을 포함하며, 외부 명령에 따라 로봇(110)의 동작을 제어하기 위한 로봇 CNC 제어기를 더 포함할 수 있다. 예를 들어, 로봇 CNC 제어기는 스마트장치(100)의 경로를 수정하거나 작업의 교시 방식에 따라 로봇정보 제공장치(130)로부터 로봇 제어에 필요한 명령을 직접 제공받아 명령을 수행할 수 있다.

통신망(120)은 유무선 통신망을 모두 포함한다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로 망 등을 포함하는 의미이다. 따라서 통신망(120)이 유선 통신망인 경우 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.

또한 통신망(120)은 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국(AP)을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 스마트장치(100)를 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 AP는 스마트장치(100)와 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함한다. 본 발명의 실시예에서 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 AP는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 스마트장치(100)로 전달한다.

로봇정보 제공장치(130)는 일종의 서버이며, DB(130a)에 연동할 수 있다. 여기서 DB(130a) 내에는 로봇 끝단의 좌표계, 로봇 베이스 좌표계, 로봇의 궤적, 로봇의 이동 속도 및 방향 등의 다양한 3차원 정보가 기저장될 수 있다. 물론 이동 속도 및 방향 등은 3차원 정보가 아닐 수 있지만, 3차원 좌표계와 함께 표현되므로 3차원 정보의 범주에 포함되는 것으로 본다. 그 이외에도 DB(130a)에는 로봇(110)의 형상 및 작업물에 대한 정보가 저장될 수 있는데, 이러한 이미지 정보는 위의 3차원 정보와 매칭되어 저장될 수 있다. 뿐만 아니라, DB(130a) 내에는 새로운 작업 환경에 대한 정보들이 새롭게 저장되고, 갱신되며, 삭제될 수 있다. 이때 새롭게 저장된 정보들은 이미지 정보에 매칭되는 3차원 정보를 가질 수 있을 것이다.

좀더 살펴보면, 로봇정보 제공장치(130)가 로봇의 베이스 형상에 대한 3차원 정보를 기저장한 상태라 가정하자. 그러면 로봇정보 제공장치(130)는 로봇의 작업 현장에서 스마트장치(100)를 통해 제공되는 로봇(110)의 실영상을 기저장된 로봇의 베이스 형상에 대한 이미지들과 비교하여, 서로 일치할 때의 해당 이미지에 매칭되는 3차원 정보를 카메라 혹은 스마트장치(100)의 위치 정보로서 추출하고, 추출한 위치 정보를 저장할 수 있다. 이때, 스마트장치(100)의 위치는 작업자의 이동에 따라 변경될 수 있으므로, 로봇정보 제공장치(130)는 저장된 위치 정보를 갱신(혹은 보정)하게 된다. 물론 로봇(110)과 카메라의 거리 오차가 작다면, 로봇(110)의 베이스 형상에 대한 3차원 정보를 카메라의 위치 정보로 사용할 수 있다. 하지만, 정확도를 높이기 위하여 가령 두 이미지의 크기가 서로 다른 경우 그 비율을 반영하여 카메라의 위치 정보를 산출할 수 있다. 또는 카메라가 틸트(tilt)된 각을 이용하는 등 정확도를 높이기 위한 다양한 방법이 사용될 수 있을 것이다. 따라서 본 발명의 실시예에서는 위의 내용에 특별히 한정하지는 않을 것이다.

또한 로봇정보 제공장치(130)는 앞서 언급한 대로 스마트장치(100)에서 제공하는 촬영 영상을 통해 현장의 작업물 또는 장애물과의 거리를 실시간으로 계산하여 경로 생성 동안의 충돌 상황을 시뮬레이션할 수 있고, 충돌 상황이 발생할 가능성이 있는 경우 스마트장치(100)로 이를 알린다. 예를 들어, 보정된 카메라의 위치 정보에 근거해 제공되는 로봇(110)의 끝단의 좌표 정보와 로봇(110)의 궤적 정보 등을 고려하여 작업물 또는 작업자와의 충돌 가능성도 판단해 볼 수 있다.

뿐만 아니라, 본 발명의 실시예에 따른 로봇정보 제공장치(130)는 스마트장치(100)를 이용한 AR 기반 로봇(110)의 직접교시 방법에 의해 파악된 카메라의 위치와, 카메라의 위치를 기준으로 관성센서를 추가로 활용함으로써 작업자의 정확한 위치를 판단해 로봇 안전보호 기술을 구현할 수 있다. 이를 위해 로봇정보 제공장치(130)는 스마트장치(100)와 연동하여 작업을 수행하게 된다. 예를 들어, 로봇정보 제공장치(130)는 카메라의 위치 정보를 기저장하고 있기 때문에 스마트장치(100)에서 사용자의 이동속도 및 이동방향에 대한 정보가 전송되면, 카메라의 위치를 기준으로 상대적인 위치 값을 반영함으로써 작업자의 위치를 산출할 수 있다.

위의 기능들을 수행하기 위하여 로봇정보 제공장치(130)의 서버 플랫폼(또는 플랫폼)에서는 도 3에서와 같이 복잡한 이미지 처리 작업 및 카메라의 보정을 통해 카메라 위치 및 자세를 실시간으로 측정한다. 또한 기타 로봇 제어에 필요한 다양한 센서의 통합, 로봇제어 라이브러리(library), 실시간 작업 경로(routine)를 제공하고, 직접 로봇제어에 필요한 명령을 로봇 CNC 제어기로 전달하는 역할을 수행할 수도 있다.

본 발명의 실시예에 따르면, 간단한 스마트장치(100)의 조작으로 3차원 로봇 위치를 직관적이고 효율적으로 이동시킬 수 있게 된다. 또한 작업 환경의 변화에 따라 작업물 또는 장애물과의 충돌을 방지하기 위한 작업 교시 및 실시간 경로 수정이 가능하다. 나아가 작업자 및 작업물의 정확한 위치 파악이 가능해 로봇 안전보호 기술에도 적용이 가능할 것이다.

도 4는 도 1의 스마트장치의 구조를 나타내는 블록다이어그램이다.

도 4를 도 1과 함께 참조하면, 본 발명의 실시예에 따른 스마트장치(100)는 통신인터페이스부(400), 촬상부(410), 센싱부(420), 제어부(430), 저장부(440), 디스플레이부(450), 로봇궤적 생성부(460) 및 알림부(470)의 일부 또는 전부를 포함할 수 있다.

여기서, 일부 또는 전부를 포함한다는 것은 알림부(470)와 같은 일부 구성요소가 생략되거나, 촬상부(410)와 같은 구성요소가 센싱부(420)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

통신인터페이스부(400)는 로봇(110) 및 로봇정보 제공장치(130)와 통신을 수행한다. 이를 위하여 정보 변환 등의 동작을 추가로 수행할 수도 있다. 예를 들어, 통신인터페이스부(400)는 촬상부(410)를 통해 촬영된 촬영 영상을 로봇정보 제공장치(130)로 전송할 수 있으며, 제어부(430)에서 제공하는 로봇(110)의 제어 명령을 로봇(110)으로 전송할 수 있다. 나아가, 통신인터페이스부(400)는 가령 스마트폰의 특성상 일반적인 음성 및 데이터 통신을 수행할 수 있으며, 작업자의 측위에도 사용될 수 있다. 이를 위해 통신인터페이스부(400)는 GPS 모듈 및 와이파이 등의 근거리통신모듈을 포함할 수 있을 것이다.

촬상부(410)는 카메라를 포함하며, 카메라를 통해 사용자, 즉 작업자의 요청에 따라 로봇(110) 또는 로봇(110)과 작업 현장을 함께 촬영하여 영상을 제공한다.

센싱부(420)는 관성센서를 포함하며, 관성센서로서 가속도센서 및 자이로센서를 포함한다. 가속도센서는 이동거리를, 자이로센서는 이동방향에 대한 정보를 센싱하여 제공한다. 이와 같은 정보는 제어부(430)의 제어 하에 통신인터페이스부(400)로 전달되고, 통신인터페이스부(400)는 이를 로봇정보 제공장치(130)로 전송하게 된다.

제어부(430)는 스마트장치(100) 내의 구성요소들을 전반적으로 제어하는 역할을 담당한다. 다시 말해, 촬상부(410)에서 촬영된 영상을 통신인터페이스부(400)로 전달하고, 센싱부(420)에서 센싱된 정보를 저장부(440)에 저장하거나, 로봇궤적 생성부(460)에 제공해 줄 수 있다. 또한 로봇궤적 생성부(460)의 실행에 따라 로봇 제어를 위한 AR 기반의 3차원 로봇 프로그램을 디스플레이부(450)의 화면에 표시하도록 제어한다. 나아가, 제어부(430)는 로봇정보 제공장치(130)로부터 충돌상태 정보가 수신될 때, 이를 판단하여 알림부(470)에 알릴 수 있다.

저장부(440)는 스마트장치(100) 내에서 처리되는 다양한 정보들을 제어부(430)의 제어 하에 저장한다. 예를 들어, 저장부(440)는 센싱부(420)에서 센싱된 정보를 임시 저장한 후, 제어부(430)의 요청시 출력할 수 있다.

디스플레이부(450)는 로봇궤적 생성부(460)의 실행시 AR 기반의 3차원 로봇 프로그램을 화면에 표시한다. 이러한 화면은 이미 도 2A 및 도 2B를 통해 살펴본 바 있다. 디스플레이부(450)는 촬상부(410)에서 촬영된 실영상을 화면에 실시간으로 표시하고, 이때 촬영된 영상에 근거해 로봇정보 제공장치(130)에서 제공하는 로봇 끝단의 좌표값과 같은 로봇 관련 정보를 실영상 위에 겹쳐 표시해 준다. 이를 통해 AR을 구현하게 되는 것이다.

로봇궤적 생성부(460)는 본 발명의 실시예에 따른 AR 기반 3차원 로봇 제어를 위한 프로그램(또는 애플리케이션)을 저장하고, 저장한 프로그램을 작업자의 요청이 있을 때 실행시킨다. 이러한 점에서 로봇궤적 생성부(460)는 로봇 프로그래밍부라 명명될 수도 있다. 실행 결과, 도 2A 및 도 2B와 같은 형태의 화면이 형성될 수 있다. 이때, 도 2A의 화면상에서 가령 사용자가 AR 기반의 3차원 정보를 활용하여 로봇(110)의 경로를 설정하게 되면, 로봇궤적 생성부(460)는 해당 정보를 바탕으로 로봇(110)의 궤적을 새롭게 생성하거나 또는 기설정된 궤적을 수정할 수 있다.

알림부(470)는 본 발명의 실시예에 따라 진동모터를 포함한다. 또는 알림부(470)는 로봇(110)의 충돌을 알람으로 알리기 위한 경보기를 포함할 수 있다. 나아가 알림부(470)가 메시지의 형태로 알리는 경우에는 메시지를 생성해 줄 수 있다. 알림부(470)는 제어부(430)의 제어 하에 사용자에게 충돌 가능성을 알릴 수 있는데, 이때 제어부(430)는 로봇정보 제공장치(130)로부터 충돌 가능성을 알리는 상태정보가 수신될 때 알림부(470)를 제어하게 된다.

도 5는 도 1의 로봇정보 제공장치의 구조를 나타내는 블록다이어그램이다.

도 5를 도 1과 함께 참조하면, 본 발명의 실시예에 따른 로봇정보 제공장치(130)는 인터페이스부(500), 제어부(510) 및 플랫폼부(520)를 포함하며, 도 1의 DB(130a) 이외에 별도의 저장부를 더 포함할 수 있다.

인터페이스부(500)는 통신인터페이스부와 디스플레이부 등을 포함할 수 있다. 여기서 통신인터페이스부는 제어부(510)의 제어 하에 스마트장치(100) 및 DB(130a)와 통신을 수행하며, 디스플레이부는 플랫폼부(520)에서의 시뮬레이션 결과 또는 별도의 계산 결과를 화면에 표시해 줄 수 있다. 여기서 계산은 다양한 산출 또는 추출 과정을 포함할 수 있다.

제어부(510)는 로봇정보 제공장치(130) 내의 인터페이스부(500) 및 플랫폼부(520)를 제어하는 역할을 담당한다. 예를 들어, 제어부(510)는 인터페이스부(500)를 통해 수신된 촬영 영상을 DB(130a) 또는 별도의 저장부에 저장한 후, 저장한 촬영 영상을 불러내어 플랫폼부(520)에 제공할 수 있다. 이후, 플랫폼부(520)에서 제공하는 결과를 인터페이스부(500)로 전달한다. 여기서, 결과는 로봇 관련 3차원 정보가 될 수 있으며, 충돌 상태에 대한 정보가 될 수 있다.

플랫폼부(520)는 도 3의 기능들을 수행하기 위한 프로그램을 저장할 수 있다. 대표적으로 플랫폼부(520)는 산업 현장에서 사용자가 작업을 수행하는 로봇(110)과 충돌 가능성이 있을 때 이를 알리고, 또한 작업물과 로봇(110)의 충돌 가능성이 예측될 때 이를 알리는 등의 역할을 수행할 수 있다. 다시 말해 수시로 변동되는 작업 상황에서 위험을 경고하는 등의 작업 교시 기능을 수행하는 것이다. 이 때문에 사용자 즉 작업자와 작업물 등의 정확한 위치가 확인되어야 하는 것이다. 플랫폼부(520)는 이를 위하여 DB(130a)에 기저장된 로봇 관련 3차원 정보를 활용하고, 스마트장치(100)에서 제공하는 사용자의 움직임 정보를 이용하여 사용자의 정확한 위치를 산출할 수 있다. 이를 통해 충돌 가능성이 예측된다고 볼 수 있다.

예를 들어, 플랫폼부(520)는 스마트장치(100)가 제공하는 촬영 영상에서 로봇 베이스 이미지를 기저장된 로봇 베이스 형상의 이미지와 비교하고, 비교 결과 일치할 때 로봇 베이스 형상의 이미지에 매칭되는 좌표값을 추출한다. 그리고 이후 이미지 비율 또는 카메라의 틸트 정도를 감안하여 카메라와 로봇(110)의 거리를 산출할 수 있다. 따라서 산출한 거리만큼 추출한 좌표값을 보정함으로써 우선 카메라의 위치를 산출하게 된다. 이후 사용자의 위치를 판단하기 위하여 카메라를 쥐고 움직이는 사용자의 움직임 정보를 획득한다. 이는 스마트장치(100)의 관성센서에서 제공하는 이동거리 및 이동방향에 대한 정보를 활용한다. 이에 따라 보정된 카메라의 위치에 사용자의 움직임에 대한 상대적인 정보 값을 반영함으로써 사용자의 정확한 위치를 산출할 수 있다. 이를 통해 사용자의 위치가 특정 로봇(110)의 작업 반경 내에 들어갈 때 충돌 가능성이 있는 것으로 판단할 수 있다.

도 6은 본 발명의 실시예에 따른 AR 기반 직관적 3D 로봇 조작 과정을 설명하기 위한 도면이다.

설명의 편의 도 6을 도 1 및 도 2A와 함께 참조하면, 본 발명의 실시예에 따른 로봇정보 제공장치(130)는 로봇(110)의 형상 정보 및 로봇(110)의 궤적 생성시 활용하기 위한 3차원 정보를 기저장한다(S600). 여기서, 로봇(110)의 형상 정보는 베이스 형상 및 로봇 끝단에 대한 이미지 정보일 수 있다. 또한 3차원 정보는 베이스 및 로봇 끝단에 대한 3차원 좌표값이며, 이동속도 및 이동방향에 대한 정보를 포함할 수 있다.

이의 상태에서 스마트장치(100)는 로봇(110)을 촬영하여 촬영된 영상을 로봇정보 제공장치(130)로 제공할 수 있다(S610, S620).

로봇정보 제공장치(130)는 수신된 촬영 영상 내의 로봇 형상과 기저장된 로봇 형상에 대한 이미지를 서로 비교하고, 비교 결과 일치하는 이미지가 검색될 때, 해당 이미지의 로봇 형상에 대한 3차원 정보를 추출한다(S630).

그리고 추출한 3차원 정보를 스마트장치(100)로 전송해 준다(S640).

그러면 스마트장치(100)는 촬영된 실영상 위에 로봇정보 제공장치(130)에서 제공된 3차원 정보를 중첩하여 표시한다(S650). 이를 통해 스마트장치(100)는 AR을 구현하게 된다.

또한 스마트장치(100)는 이와 같은 3차원 정보를 활용, 즉 보면서 사용자가 설정한 로봇(110)의 궤적을 생성하게 된다(S660). 가령, 생성한 궤적에 대한 정보는 로봇정보 제공장치(130)에 제공해 줄 수도 있을 것이다.

상기의 결과 사용자는 간단하고 편한 스마트장치(100)를 이용해서 AR 기반으로 3차원 정보를 활용하기 때문에 로봇 제어를 위한 궤적을 더 정확하게 생성할 수 있게 된다.

도 7은 본 발명의 제1 실시예에 따른 AR 기반 직관적 3D 로봇 작업 교시 과정을 설명하기 위한 도면이다.

설명의 편의상 도 7을 도 1 및 도 2B와 함께 참조하면, 본 발명의 실시예에 따른 로봇정보 제공장치(130)는 로봇(110)의 형상 정보 및 로봇(110)의 궤적 생성시 활용하기 위한 3차원 정보를 저장한다(S700). 이때, 로봇(110)의 형상 정보와 함께 작업물에 대한 정보, 즉 이미지 정보가 함께 저장될 수 있다.

이후 스마트장치(100)는 임의의 작업 공간 내에 있는 로봇(110)과 작업물을 촬영하여 촬영 영상을 로봇정보 제공장치(130)로 전송한다(S710, S720).

로봇정보 제공장치(130)는 촬영 영상을 근거로 로봇(110)과 작업물의 거리를 계산할 수 있다(S730). 이의 과정에서 가령 로봇정보 제공장치(130)는 로봇(110)과 작업물이 포함된 촬영 영상을 기저장된 정보와 비교하고, 작업물이 서로 일치하지 않을 때 거리를 계산하는 과정을 수행할 수 있다.

이어 로봇정보 제공장치(130)는 계산된 결과를 통해 충돌 가능성을 판단할 수 있다(S740). 예를 들어, 오차가 발생하였는데 그 오차가 위험 범위 안에 있다면 충돌 가능성이 있는 것으로 판단하는 것이다.

만약 충돌 가능성이 있을 때, 로봇정보 제공장치(130)는 충돌 가능성을 스마트장치(100)로 알리고, 스마트장치(100)는 알림 동작을 수행한다(S750, S760). 여기서, 알림은 경보기를 울리거나, 진동모터를 구동하는 것 등이 해당될 수 있다.

도 8은 본 발명의 제2 실시예에 따른 AR 기반 직관적 3D 로봇 작업 교시 과정을 설명하기 위한 도면이다.

설명의 편의상 도 8을 도 1 및 도 2B와 함께 참조하면, 본 발명의 실시예에 따른 로봇정보 제공장치(130)는 로봇(110)의 형상 정보 및 로봇(110)의 궤적 생성시 활용하기 위한 3차원 정보를 저장한다(S800).

이후 스마트장치(100)는 임의의 작업 공간 내에서 작업하고 있는 로봇(110)을 촬영하여 촬영 영상을 로봇정보 제공장치(130)로 전송한다(S810, S820).

로봇정보 제공장치(130)는 촬영 영상을 근거로 기저장된 로봇의 형상 정보와 서로 비교하여 일치하는 이미지를 찾고, 검색 결과 일치하는 이미지가 있는 경우 해당 이미지에 매칭되어 있는 로봇 베이스 좌표값을 추출한다(S830).

그리고 추출한 좌표값을 이용해 이미지의 비율 또는 카메라 틸트 정도 등을 추가로 고려하여 스마트장치(100)의 위치 정보를 산출하고, 산출한 정보를 저장한다(S840).

이어 로봇정보 제공장치(130)는 스마트장치(100)로부터 사용자의 움직임에 대한 센싱 정보를 수신한다(S850, S860).

그리고 로봇정보 제공장치(130)는 산출한 카메라의 위치 정보와 수신한 센싱 정보를 이용해 사용자의 정확한 위치를 산출한다(S870). 다시 말해, 카메라의 위치 정보를 기준으로 사용자의 움직임에 대한 상대적 위치 정보를 반영하여 사용자의 정확한 위치를 산출하는 것이다.

이와 같은 방식으로 로봇정보 제공장치(130)는 산출된 사용자 즉 작업자의 위치 정보가 로봇(110)의 작업 반경 내에 포함되는지를 판단하여 충돌 여부를 파악한다(S880). 다시 말해, 로봇정보 제공장치(130)는 DB(130a) 내에 로봇(110)에 관련된 다양한 정보, 특히 로봇 끝단의 위치 정보를 저장하고 있으므로 이들과의 비교를 통해 충돌 여부를 가늠할 수 있는 것이다.

만약 충돌 가능성이 있을 때, 로봇정보 제공장치(130)는 충돌 가능성을 스마트장치(100)로 알리고, 스마트장치(100)는 알림 동작을 수행한다(S890, S895). 여기서, 알림은 경보기를 울리거나, 진동모터를 구동시키는 것이 해당될 수 있다

도 9는 본 발명의 실시예에 따른 스마트장치 기반 안전보호 기술에 대한 전체 개념도이다.

도 9를 도 1과 함께 참조하면, 뿌리 산업과 관련된 중소기업에서의 작업 혹은 아직까지 로봇자동화가 구현되지 않고 있는 항공제조의 조립 환경에서는 실제 작업자와의 상호작용이 많이 필요하게 된다. 이때, 로봇(110)과 함께 상호작용 작업을 수행할 경우 작업자와의 안전을 고려하는 것이 첫 번째로 고려되어야 할 요소이다.　

본 발명의 실시예에서는 스마트폰과 같은 스마트장치(100)의 위치기반서비스(LBS)를 활용할 경우 작업자의 위치파악이 가능하게 되고 이 정보를 오프라인 프로그램과 연동하여 작업자의 안정성을 보장할 수 있다. 이를 위하여 본 발명의 실시예에서는 스마트장치(100)의 GPS 모듈을 이용할 수 있다. 그러나, 스마트폰에 장착되어 있는 GPS 정보의 경우 대부분의 산업용 로봇(110)이 실내 작업장에 위치하기 때문에 활용하기 어렵고, 더욱이 GPS가 작동할 경우에도 10m 이내의 정도를 가져 로봇(110)과 작업자의 상호작용 동안 작업자의 안전을 보장하기 위한 용도로 활용하기는 어려운 경우가 발생할 수 있다. 물론 기타 실내 측위 관련된 연구가 최근에 활발히 진행되고 있지만, 대부분　위치 정도가 낮고 높은 정도를 제공하는 장치의 경우 고가인 문제점이 있게 된다.

이를 개선하고자 본 발명의 실시예에서는 관성센서(accelerometer와 Gyro 센서)가 제스쳐 기반의 UX 기술을 위해 스마트장치(100)에 포함되어 있어 실내 작업장에서 위의 센서정보를 활용할 수 있다. 즉 스마트장치(100)에 내장되어 있는 관성센서를 활용하여 작업자 위치를 정확히 파악할 수 있는 것이다. 이때, 관성센서는 기준점(reference point)이 필요하게 되고, 가속도(accelerometer)를 이용한 이동거리와 자이로(Gyro)의 이동방향을 이용하여 상대적인 위치 값을 파악한다. 여기서 기준점으로서 카메라의 위치 정보가 활용될 수 있다.

다시 말해, 본 발명의 실시예에 따라 스마트장치(100)를 이용한 AR 기반 로봇(110)의 직접교시 방법으로 카메라의 위치를 정확히 파악할 수 있고, 카메라를 손에 쥐고 있는 사용자의 위치 또한 획득 가능하다. 따라서, 카메라 위치 및 자세 정보를 관성센서의 기준점으로 활용하여 실내에서 더욱 정확한 작업자의 위치를 파악하고 이를 통해 로봇 안전보호 기술을 구현할 수 있다. 이와 관련해서는 앞서 충분히 설명하였으므로 더 이상의 설명은 생략한다.

한편, 도 9를 참조하면, 스마트장치(100)에서의 작업자 정보 및 로봇매니퓰레이터의 위치정보가 온라인 프로세싱을 통해 서버 플랫폼을 통해 오프라인 프로그램과 연계된다. 이때 오프라인 프로그램에서는 인공 포텐셜 장(artificial potential field) 방법을 활용하여 작업자 혹은 장애물의 경우에는 로봇(110)의 끝단을 기준으로 척력(repulsive force)이 발생하도록 하고, 로봇 끝단 및 작업 최종 위치의 경우 인력(attractive force)이 작동하도록 하여 최종적으로 새롭게 생성된 궤적이 로봇 제어기에 전달되도록 한다.

도 10A 및 도 10B는 본 발명의 실시예에 따른 AR 기반 입력 플랫폼의 초음파 검사 티치팬던트 적용 사례를 설명하기 위한 도면으로, 도 10A는 독일의 GE inspection에서 2개의 로봇을 활용하여 비파괴 검사에 필요한 로봇 위치를 설정하는 것을 나타내고, 도 10B는 더욱 빠르고 효율적인 작업을 위하여 오프라인 프로그램과 온라인 프로그램을 통합하고 있는 것을 보여주고 있다.

항공기 부품에서 많이 쓰는 초음파 비파괴 검사 시스템의 경우 대규모의 CNC 장비를 사용하지 않고 저렴하고 유연성이 높은 산업용 로봇을 활용한 자동화 시스템의 적용이 시작되고 있다. 복잡한 형상의 부품을 초음파 기반 비파괴 검사 방법으로 수행하고자 할 때 작업물과 로봇의 끝단과 항상 수직을 유지하고 있어야 한다. 따라서 오프라인 프로그램을 활용하여서 작업물 형상에 따른 로봇의 궤적 생성 작업이 우선 되어야 한다. 하지만, 실제 로봇을 이용하여 검사를 수행하고 할 때 위치 오차, 작업물의 변형, 작업물 위치 오차 등의 이유로 오프라인 프로그램에서 생성된 로봇 작업 궤적이 실제 적용할 때는 오차가 발생한다. 따라서, 최종 작업을 구현하기 위해서 티치팬던트로 일일이 추가 궤적 수정을 수행해야 하는데 이 작업 시간이 전체 공정에서 차지하는 시간이 높다.

따라서 본 발명의 실시예에서는 AR 기반 직관적 & 지능형 입력 인터페이스 플랫폼을 이용하여 비파괴 검사용 로봇 프로그램의 최종 수정 작업을 보다 효율적으로 구현 적용할 수 있다.

도 11은 본 발명의 실시예에 따른 스마트장치의 구동과정을 나타내는 흐름도이다.

설명의 편의상, 도 11을 도 1과 함께 참조하면 본 발명의 실시예에 따른 스마트장치(100)는 임의의 공간 내에서 작업을 수행하는 로봇(110)을 촬영하여 촬영된 영상을 도 1의 로봇정보 제공장치(130)와 같은 외부장치로 전송한다(S1100, S1110). 이때 촬영 영상은 작업물에 대한 영상을 포함할 수 있다.

이어 스마트장치(100)는 자신이 전송한 촬영 영상에 근거하여 제공되는 로봇(110)의 궤적 생성시 활용하기 위한 3차원 정보를 외부장치로부터 수신한다(S1120).

그리고 스마트장치(100)는 촬영된 실영상 위에 수신한 3차원 정보를 중첩해 화면에 표시한다(S1130). 이를 통해 3차원 정보를 AR로 구현하게 된다.

이후, 스마트장치(100)는 3차원 정보를 활용해서 사용자가 설정하는 로봇(110)의 궤적을 생성하게 된다(S1140). 그리고 스마트장치(100)는 새롭게 생성된 로봇(110)의 궤적 정보를 다시 외부장치로 전송해 주어 이를 저장하도록 하고, 다음 작업에서 저장한 궤적 정보를 사용하도록 할 수 있을 것이다.

도 12는 본 발명의 실시예에 따른 AR 기반의 3차원 정보 제공 과정을 나타내는 흐름도이다.

설명의 편의 도 12를 도 1과 함께 참조하면, 본 발명의 실시예에 따른 로봇정보 제공장치(130)는 임의의 공간 내에서 작업을 수행하는 로봇의 형상 정보 및 로봇의 궤적 생성시 활용하기 위한 3차원 정보를 기저장한다(S1200).

이어 로봇정보 제공장치(130)는 임의의 공간 내에서 작업을 수행하는 로봇(110)의 촬영 영상을 스마트장치(100)로부터 수신한다(S1210).

그리고 로봇정보 제공장치(130)는 수신한 촬영 영상의 로봇 형상을 기저장된 형성 정보와 비교하여 서로 일치할 때의 형상 정보에 매칭되는 3차원 정보를 추출한다(S1220).

이후 추출된 3차원 정보를 스마트장치(100)로 전송해 주어 스마트장치(100)가 촬영된 실영상 위에 3차원 정보를 AR로 구현할 수 있도록 한다(S1230).

한편, 별도의 도면으로 나타내지는 않았지만, 도 7 및 도 8의 로봇정보 제공장치(130)의 동작 과정은 본 발명의 실시예에 따른 로봇(110)의 작업교시 과정(혹은 방법)이 될 수 있다.

다시 말해, 로봇정보 제공장치(130)는 스마트장치(100)로부터 제공되는 촬영 영상을 근거로 임의의 공간 내에서 작업을 수행하는 로봇(110)의 작업 상태를 판단하고, 이를 사용자에게 알릴 수 있는데, 본 발명의 실시예에서는 이를 작업교시 과정으로 볼 수 있다.

따라서, 본 발명의 실시예에 따른 로봇(110)의 작업교시 과정과 관련한 자세한 내용은 도 7 및 도 8을 참조한 로봇정보 제공장치(130)의 동작 과정에서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.

또한 도 12를 참조한 AR 기반의 3차원 정보 제공 과정은 본 발명의 실시예에 따른 로봇(110)의 작업교시 과정에 포함되는 것으로 이해될 수 있을 것이다.

본 발명의 실시예에 따라 다양한 지능형센서를 포함하고 있으면서, 이동성, 편리성, 휴대성이 탁월한 스마트장치를 이용하여 별도의 추가 입력장치를 사용하지 않고 로봇의 알려진 3D 정보를 오프라인 프로그램을 통한 네트워크 연동을 통해 획득하고 스마트장치 카메라에서 획득된 정보와의 통합으로 3차원 그래픽 정보를 터치스크린의 조작이 가능한 2차원 스마트장치 스크린에 혼합하여 직관적이고 효율적인 AR기반 로봇 프로그래밍 기법을 구현할 수 있게 된다.

또한, AR기반 스마트 입력 인터페이스 장치를 활용해서 산업용 로봇의 작업자의 안정성을 보장하는 기술도 제시하는 것으로, 소량생산 다품종 환경에서 작업자와 로봇의 상호작용이 증대하는 환경에서 반드시 필요한 핵심 HRI 기술이라고 할 수 있다.

마지막으로, 현재까지 AR기반 로봇 조작 방식이 실제 현장에 적용된 사례가 없다.　예상되는 이유로, 가격대비 성능 만족도의 불일치 (비싼 입력 장치) 및 기존의 AR 방식이 한 곳에 고정되어 이동성, 편리성, 휴대성을 만족하지 못한 것이 주된 이유일 수 있다.　 본 발명의 실시예에 따른 스마트장치를 이용한 방식은 입력 장치에 뛰어난 호환성으로 각 작업 현장 환경에 적합하게 개발할 경우 실제 현장의 적용 가능성이 높다고 할 수 있다. 본 발명의 실시예에서는 스마트장치를 이용한 AR기반 로봇프로그래밍 기법을 비파괴 검사의 작업교시에 맞게 개발하여 AR을 이용한 로봇 프로그램의 현장 적용이 가능하게 될 것이다.

한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 스마트장치 110: 로봇
120: 통신망 130: 로봇정보 제공장치
400: 통신인터페이스부 410: 촬상부
420: 센싱부 430, 510: 제어부
440: 저장부 450: 디스플레이부
460: 로봇궤적 생성부 470: 알림부
500: 인터페이스부 520: 플랫폼부

Claims

로봇의 궤적 생성시 활용하기 위한 3차원 정보가 저장된 외부장치와 통신을 수행하는 스마트장치에 있어서,
임의의 공간 내에서 작업을 수행하는 로봇을 촬영하는 촬상부;
상기 촬영한 촬영 영상을 상기 외부장치로 전송하고, 상기 전송한 촬영 영상에 근거하는 상기 3차원 정보를 상기 외부장치로부터 수신하는 통신인터페이스부;
상기 촬영 영상 위에 상기 3차원 정보로서 로봇의 베이스(base)좌표값, 상기 로봇의 끝단(End Effector)좌표값, 상기 로봇의 궤적, 이동속도 및 이동방향 정보 중 적어도 하나를 중첩해 표시하는 디스플레이부;
상기 3차원 정보를 활용하여 사용자가 설정하는 상기 로봇의 궤적을 생성하는 로봇궤적 생성부; 및
상기 3차원 정보를 표시하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 스마트장치.
삭제
삭제
제1항에 있어서,
상기 공간 내에 존재하는 작업물, 장애물 또는 작업자와 상기 로봇의 충돌이 예상될 때, 상기 외부장치에서 제공하는 충돌상태 정보에 근거해 상기 사용자에게 충돌 가능성을 알리는 알림부;를 더 포함하는 것을 특징으로 하는 스마트장치.
제4항에 있어서,
상기 알림부는 경보음 발생, 진동 및 경고 메시지의 표시를 위한 메시지 생성 중 적어도 하나의 동작을 수행하는 것을 특징으로 하는 스마트장치.
제4항에 있어서,
상기 공간 내에서 상기 스마트장치를 소지한 상기 사용자의 움직임을 센싱하고, 상기 센싱한 센싱 정보를 출력하는 센싱부;를 더 포함하며,
상기 사용자의 위치는 상기 촬상부의 위치 정보와 상기 센싱 정보를 이용해 결정되는 것을 특징으로 하는 스마트장치.
제6항에 있어서,
상기 촬상부의 위치 정보는 상기 촬영 영상의 로봇 베이스 형상에 일치하는 상기 외부장치에 기저장된 로봇 베이스 이미지에 매칭되는 좌표값인 것을 특징으로 하는 스마트장치.
제7항에 있어서,
상기 촬상부의 위치 정보는 상기 매칭된 좌표값에서 상기 로봇과 상기 촬상부간 거리가 반영되어 보정된 좌표값인 것을 특징으로 하는 스마트장치.
제6항에 있어서,
상기 센싱부는,
상기 사용자의 이동거리를 감지하는 가속도센서; 및
상기 사용자의 이동방향을 감지하는 자이로센서;를 포함하는 스마트장치.
로봇의 궤적 생성시 활용하기 위한 3차원 정보를 증강현실(AR) 기반으로 표시하는 스마트장치와 통신을 수행하는 로봇정보 제공장치에 있어서,
임의의 공간 내에서 작업을 수행하는 로봇에 관련된 형상 정보 및 상기 형상 정보에 각각 매칭되는 3차원 정보를 저장하는 저장부;
상기 공간 내에서 작업을 수행하는 상기 로봇의 촬영 영상을 상기 스마트장치로부터 수신하는 통신인터페이스부;
상기 저장한 형상 정보 중 상기 수신한 촬영 영상 내의 로봇 형상과 일치하는 형상 정보에 매칭되는 상기 3차원 정보를 추출하는 플랫폼부; 및
상기 추출한 3차원 정보를 상기 스마트장치로 전송하도록 상기 통신인터페이스부를 제어하는 제어부;를 포함하는 로봇정보 제공장치.
제10항에 있어서,
상기 제어부는, 상기 스마트장치로 전송된 3차원 정보를 활용하여 사용자가 설정한 상기 로봇의 궤적 정보를 상기 저장부에 추가로 저장하는 것을 특징으로 하는 로봇정보 제공장치.
제10항에 있어서,
상기 플랫폼부는, 상기 촬영 영상 내에 작업물 또는 장애물이 존재할 때, 상기 로봇과 상기 작업물 또는 장애물간 거리에 근거해 충돌 여부를 판단하고, 충돌이 예상될 때 상기 스마트장치로 알리는 것을 특징으로 하는 로봇정보 제공장치.
제12항에 있어서,
상기 저장부는 상기 로봇 및 상기 작업물에 대한 정보를 추가로 저장하며,
상기 플랫폼부는 상기 촬영 영상 내의 작업물 위치가 상기 저장한 작업물의 정보와 다를 때, 상기 충돌 여부를 판단하는 것을 특징으로 하는 로봇정보 제공장치.
제10항에 있어서,
상기 플랫폼부는 상기 스마트장치를 소지하는 사용자의 위치를 산출하고, 상기 산출한 결과에 따라 상기 로봇과 상기 사용자의 충돌 여부를 판단하며, 충돌이 예상될 때 상기 스마트장치로 알리는 것을 특징으로 로봇정보 제공장치.
제14항에 있어서,
상기 플랫폼부는 상기 스마트장치에 포함된 촬상부에 대한 위치 정보와 상기 스마트장치 내에 포함된 센싱부에 의해 센싱된 센싱정보를 이용하여 상기 사용자의 위치를 산출하는 것을 특징으로 하는 로봇정보 제공장치.
제15항에 있어서,
상기 플랫폼부는 상기 스마트장치의 위치 정보를 추출하기 위하여 상기 촬영 영상의 로봇 베이스 형상과 상기 저장한 형상 정보간 비율 정보를 이용하는 것을 특징으로 하는 로봇정보 제공장치.
제16항에 있어서,
상기 촬상부의 위치 정보는 상기 저장된 형상 정보 중 상기 촬영 영상 내의 로봇 베이스 형상에 일치하는 형상 정보에 매칭되는 좌표값인 것을 특징으로 하는 로봇정보 제공장치.
제17항에 있어서,
상기 촬상부의 위치 정보는 상기 매칭된 좌표값에서 상기 로봇과 상기 촬상부간 거리가 반영되어 보정된 좌표값인 것을 특징으로 하는 로봇정보 제공장치.
로봇의 궤적 생성시 활용하기 위한 3차원 정보가 저장된 외부장치와 통신을 수행하는 스마트장치의 로봇 궤적 생성 방법에 있어서,
임의의 공간 내에서 작업을 수행하는 로봇을 촬영하는 단계;
상기 촬영한 촬영 영상을 상기 외부장치로 전송하는 단계;
상기 전송한 촬영 영상에 근거하는 상기 3차원 정보를 상기 외부장치로부터 수신하는 단계;
상기 촬영 영상 위에 상기 3차원 정보로서 로봇의 베이스(base)자표값, 상기 로봇의 끝단(End Effector)좌표값, 상기 로봇의 궤적, 이동속도 및 이동방향 정보 중 적어도 하나를 중첩해 표시하는 단계; 및
상기 3차원 정보를 활용하여 사용자가 설정하는 상기 로봇의 궤적을 생성하는 단계;를 포함하는 로봇 궤적 생성 방법.
로봇의 궤적 생성시 활용하기 위한 3차원 정보를 증강현실(AR) 기반으로 표시하는 스마트장치와 통신을 수행하는 로봇정보 제공장치의 로봇 작업교시 방법에 있어서,
임의의 공간 내에서 작업을 수행하는 로봇에 관련된 형상 정보 및 상기 형상 정보에 각각 매칭되는 3차원 정보를 저장하는 단계;
상기 공간 내에서 작업을 수행하는 상기 로봇의 촬영 영상을 상기 스마트장치로부터 수신하는 단계;
상기 저장한 형상 정보 중 상기 수신한 촬영 영상 내의 로봇 형상과 일치하는 형상 정보에 매칭되는 상기 3차원 정보를 추출하는 단계; 및
상기 추출한 3차원 정보를 상기 스마트장치로 전송하는 단계;를 포함하는 로봇 작업교시 방법.