KR101321984B1 - 협업기반 밸브 조작을 위한 로봇의 경로보상 방법 및 그 시스템 - Google Patents
협업기반 밸브 조작을 위한 로봇의 경로보상 방법 및 그 시스템 Download PDFInfo
- Publication number
- KR101321984B1 KR101321984B1 KR1020120048449A KR20120048449A KR101321984B1 KR 101321984 B1 KR101321984 B1 KR 101321984B1 KR 1020120048449 A KR1020120048449 A KR 1020120048449A KR 20120048449 A KR20120048449 A KR 20120048449A KR 101321984 B1 KR101321984 B1 KR 101321984B1
- Authority
- KR
- South Korea
- Prior art keywords
- robot
- path
- robot arm
- route
- valve
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/085—Force or torque sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
본 발명은 협업기반 밸브 조작을 위한 로봇의 경로보상 방법 및 그 시스템에 관한 것으로서 더욱 상세하게는 주변에 장애물이 많으나 다소 정형화되고, 사람의 접근이 용이하지 않는 작업 환경에서 원형의 밸브를 원격조종 로봇시스템으로 조작할 때 다수의 로봇을 작업자가 직접 원격제어 하거나 로봇 상호간 협업 작업이 가능하도록 하는 기술에 관한 것이다.
본 발명에 따르면, 로봇 원격제어 기반에서 밸브조작 작업 수행을 위한 로봇의 경로보상 방법에 있어서, 슬레이브 로봇 각각의 그리퍼 좌표계를 저장하고, 로봇 암의 운동 경로를 생성하며, 상기 생성된 경로의 초기 위치로 이동하는 단계; 상기 초기 위치로 이동한 로봇 암에서 경로를 추종할 때 경로 생성 오차로 인한 접촉력 발생 유무를 관측하되, 상기 접촉력이 기준값 이상으로 발생되는지의 여부를 관측하는 단계; 상기 접촉력이 기준값 이상으로 발생된 경우 로봇 암의 경로 추종을 정지하고, 알람 및 에러 메시지를 표시하는 단계; 상기 기준 값 이상의 접촉력 발생 원인으로 밸브조작 잠금 작업이 완료된 경우, 밸브 게이지의 목표치 도달 여부를 관측하는 단계; 및 상기 밸브 게이지가 목표치에 도달한 경우 상기 로봇 암을 초기 자세로 복귀시키고, 작업을 종료하는 단계;를 포함하는 것을 특징으로 하는 로봇의 경로 보상 방법을 제공한다.
본 발명에 따르면, 로봇 원격제어 기반에서 밸브조작 작업 수행을 위한 로봇의 경로보상 방법에 있어서, 슬레이브 로봇 각각의 그리퍼 좌표계를 저장하고, 로봇 암의 운동 경로를 생성하며, 상기 생성된 경로의 초기 위치로 이동하는 단계; 상기 초기 위치로 이동한 로봇 암에서 경로를 추종할 때 경로 생성 오차로 인한 접촉력 발생 유무를 관측하되, 상기 접촉력이 기준값 이상으로 발생되는지의 여부를 관측하는 단계; 상기 접촉력이 기준값 이상으로 발생된 경우 로봇 암의 경로 추종을 정지하고, 알람 및 에러 메시지를 표시하는 단계; 상기 기준 값 이상의 접촉력 발생 원인으로 밸브조작 잠금 작업이 완료된 경우, 밸브 게이지의 목표치 도달 여부를 관측하는 단계; 및 상기 밸브 게이지가 목표치에 도달한 경우 상기 로봇 암을 초기 자세로 복귀시키고, 작업을 종료하는 단계;를 포함하는 것을 특징으로 하는 로봇의 경로 보상 방법을 제공한다.
Description
본 발명은 협업기반 밸브 조작을 위한 로봇의 경로보상 방법 및 그 시스템에 관한 것으로서 더욱 상세하게는 주변에 장애물이 많으나 다소 정형화되고, 사람의 접근이 용이하지 않는 작업 환경에서 원형의 밸브를 원격조종 로봇시스템으로 조작할 때 다수의 로봇을 작업자가 직접 원격제어 하거나 로봇 상호간 협업 작업이 가능하도록 하는 기술에 관한 것이다.
일반적으로, 원격조종 로봇시스템(Tele-operating robotic system)이란 원격지의 로봇을 작업자가 조종하면서 작업을 수행할 수 있는 시스템을 말한다. 사람의 접근이 어려운 원격지의 작업현장, 가령 원자력 발전 설비의 유지보수, 감시 및 전투용 로봇의 원격조종, 국가 기간 설비 및 사회 간접 자본의 유지보수, 에너지 및 자원 탐사 등에 적용될 수 있다.
이러한 원격조종 로봇시스템은 대부분 작업자로부터 작업명령을 수집하는 마스터(Master) 장치 1기와 수집된 작업명령을 추종하는 슬레이브(Slave) 로봇 1기로 구성(이하; 1:1 로봇 원격제어)되어 있다.
따라서 현재의 기술 수준으로는 원격지의 작업현장에서 로봇을 통한 복잡한 작업을 수행하기 위해 다음과 같은 문제점이 발생되었다.
첫째 인간의 개입이 필수적이고, 둘째 전문적인 훈련을 통한 숙련된 작업자만이 작업을 수행할 수 있으며, 셋째 작업자는 통상 작업의 개시 및 종료 시점까지 전반적인 과정에 걸쳐 마스터 장치를 통해 작업 명령을 생성하므로 지속적으로 반복되는 작업일 경우 작업에 대한 피로도가 높아져 작업품질에 영향을 미친다.
마지막으로, 한 명의 작업자가 1기의 로봇만 제어할 수 있기 때문에 원격 제어를 적용할 수 있는 작업 대상에 한계가 있었다. 특히 원전 및 플랜트 내부의 밸브 조작 작업 시 1기의 로봇으로는 회전력이 부족하거나 밸브의 회전 범위가 로봇의 작업 공간을 벗어날 경우 1:1 로봇 원격제어로 작업을 수행하기 어려웠다.
또한 상기한 밸브 조작 작업에서 1:1 로봇 원격제어의 문제점을 해결하고자 한 명의 작업자가 최소 2기의 로봇을 원격에서 제어(1:N 로봇 원격제어, N: 슬레이브 로봇 수)할 수 있었으며, 단순 반복 작업이나 작업자의 원격 조작 방법으로 수행이 어려운 작업을 수행하기 위해 로봇이 자율적으로 운동 경로를 생성하고, 추종하는 1:N 로봇 원격제어 시스템에 관한 연구가 현재 활발히 진행 중에 있다.
따라서 본 발명은 상기한 종래의 문제점들을 해결하기 위해 이루어진 것으로서, 그 목적은 1:N 로봇 원격제어 시스템의 경로 생성 시 작업자의 조작 미숙으로부터 기인된 로봇 경로 생성 오차를 보상하고, 로봇의 경로 추종 동작 시 갑작스런 장애물의 개입으로 더 이상 로봇의 경로 추종이 불가능할 경우 무리한 조작 작업으로부터 로봇 및 밸브 구성부품의 파손을 방지하도록 하는 로봇의 경로보상 방법 및 그 시스템을 제공하는 데 있다.
본 발명의 다른 목적은 주변에 장애물이 많으나 다소 정형화되고, 사람의 접근이 용이하지 않는 작업 환경에서 원형의 밸브를 원격조종 로봇시스템으로 조작할 때 1기의 로봇으로는 회전력이 부족하거나, 밸브의 회전 범위가 로봇의 작업 공간을 벗어난 밸브를 대상으로 1:N(1:작업자 수, N:로봇 수) 방식, 즉 다수의 로봇을 작업자가 직접 원격제어 하거나 로봇 상호 간 협업 작업이 가능하도록 하는 로봇의 경로보상 방법 및 그 시스템을 제공하는 데 있다.
본 발명의 다른 목적은 작업자의 직접원격 조작과 작업자(1명)의 동작 개시 명령을 통해 로봇 간 협업을 수행하기 위한 로봇의 자율동작을 구현하도록 하는 로봇의 경로보상 방법 및 그 시스템을 제공하는 데 있다.
상기한 목적을 달성하기 위한 본 발명에 따르면, 로봇 원격제어 기반에서 밸브조작 작업 수행을 위한 로봇의 경로보상 방법에 있어서, (a) 슬레이브 로봇 각각의 그리퍼 좌표계를 저장하고, 로봇 암의 운동 경로를 생성하며, 상기 생성된 경로의 초기 위치로 이동하는 단계; (b) 상기 초기 위치로 이동한 로봇 암에서 경로를 추종할 때 경로 생성 오차로 인한 접촉력 발생 유무를 관측하되, 상기 접촉력이 기준값 이상으로 발생되는지의 여부를 관측하는 단계; (c) 상기 접촉력이 기준값 이상으로 발생된 경우 로봇 암의 경로 추종을 정지하고, 알람 및 에러 메시지를 표시하는 단계; (d) 상기 기준 값 이상의 접촉력 발생 원인으로 밸브조작 잠금 작업이 완료된 경우, 밸브 게이지의 목표치 도달 여부를 관측하는 단계; 및 (e) 상기 밸브 게이지가 목표치에 도달한 경우 상기 로봇 암을 초기 자세로 복귀시키고, 작업을 종료하는 단계;를 포함하는 것을 특징으로 하는 로봇의 경로 보상 방법을 제공한다.
또한, 상기 (b) 단계에서, 상기 기준값은 로봇 암의 말단부에 설치된 힘 또는 토오크 센서의 좌표계 각축 방향으로 측정된 최대 접촉력 크기로 설정된 것을 특징으로 한다.
또한, 상기 (d)의 관측 단계에서 밸브 게이지가 목표치에 도달하지 못한 경우 다시 경로보상 작업을 수행한 후, 상기 생성된 운동 경로를 따라 로봇 암이 경로를 추종하는 단계; 더 포함하는 것을 특징으로 한다.
본 발명에 따르면, 각각의 로봇 그리퍼 좌표계 정보와 지그로부터 측정된 밸브 치수정보를 바탕으로 상기 로봇의 자율 동작을 위한 로봇 암의 경로를 생성하고, 경로 보상을 수행하는 협업 및 자율동작 명령생성기; 및 상기 각각의 로봇 암의 경로 추종에 관련된 동작이 제어되어 밸브조작 작업을 수행하는 슬레이브 로봇; 를 포함하는 것을 특징으로 하는 로봇의 경로보상 시스템을 제공한다.
또한, 상기 협업 및 자율동작 명령생성기에서 상기 로봇 암의 경로 생성 및 추종 오차 발생 상황을 알람 또는 에러 메시지로 작업자에게 전달하는 것을 특징으로 한다.
또한, 상기 협업 및 자율동작 명령생성기에는 상기 로봇 암의 직교 좌표계 공간상에서 추종해야 할 경로를 생성하는 로봇암 경로생성기; 상기 로봇암 경로생성기를 통해 생성된 로봇 암이 추종해야 하는 경로의 초기 위치로 이동시키는 경로보상기; 상기 경로보상기를 통해 재생성된 로봇 암의 운동 경로를 전달하는 위치제어기; 및 상기 위치제어기를 통해 도출된 로봇 암의 목표치를 연산하여 슬레이브 로봇의 제어기로 전달하는 역동역학 연산기;를 포함하는 것을 특징으로 한다.
이상과 같이 본 발명에 따르면, 작업자의 직접원격 조작과 작업자(1명)의 동작 개시 명령을 통해 로봇 간 협업을 수행하기 위한 로봇의 자율동작을 구현함으로써 로봇의 자율 동작을 위한 경로생성 시 작업자의 조작 미숙으로부터 발생된 경로 생성 오차를 줄일 수 있다.
또한, 로봇이 생성된 경로를 추종할 때 갑작스런 장애물의 개입으로 더 이상 로봇의 경로 추종이 불가능할 경우 무리한 조작 작업으로부터 로봇 및 밸브 구성부품의 파손을 방지함으로써 작업자의 최초 원격조작 작업 이후 오차 및 돌발 상황을 해결하기 위한 추가 원격조작 작업을 최소화할 수 있다.
도 1은 본 발명에 따른 1:N 로봇 원격제어를 통한 밸브 회전 작업 과정을 나타낸 흐름도,
도 2는 본 발명에 따른 1:N 로봇 원격제어 시스템의 구성도,
도 3은 본 발명에 따른 1:N 로봇 원격제어 기반에서 밸브 회전 작업 과정을 나타낸 도면,
도 4는 본 발명에 따른 센서 좌표계 및 밸브 회전 작업 시 발생되는 접촉력을 나타낸 도면,
도 5는 도 2에 도시된 협업 및 자율동작 명령생성기의 세부 구성도이다.
도 2는 본 발명에 따른 1:N 로봇 원격제어 시스템의 구성도,
도 3은 본 발명에 따른 1:N 로봇 원격제어 기반에서 밸브 회전 작업 과정을 나타낸 도면,
도 4는 본 발명에 따른 센서 좌표계 및 밸브 회전 작업 시 발생되는 접촉력을 나타낸 도면,
도 5는 도 2에 도시된 협업 및 자율동작 명령생성기의 세부 구성도이다.
이하, 상기한 바와 같이 구성된 본 발명에 대해 첨부도면을 참조하여 상세히 설명한다.
도 1은 본 발명에 따른 1:N 로봇 원격제어를 통한 밸브 회전 작업 과정을 나타낸 흐름도이다.
도 1에서와 같이, 본 발명에 따른 밸브 회전 작업은 크게 작업자의 직접 원격조작과 로봇의 자율동작으로 구분된다.
먼저, 작업자의 직접 원격조작 과정은 작업자 원격조작 장치를 통해 각 슬레이브 로봇의 모바일 플랫폼(Mobile platform)을 특정 위치로 이동시키고(S110), 상기 로봇 암을 작동시켜 로봇 그리퍼(Gripper)가 지그의 핸들을 파지시키며(S120), 상기 로봇의 자율동작 선택스위치를 조작하고(S130), 전용 지그(Jig)로부터 측정된 밸브치수 정보를 마스터 장치에 입력하는 과정(S140)으로 구성된다. 상기 과정들은 모두 작업자의 원격조작을 위한 마스터 장치에 포함된다.
그리고 상기의 동작 과정을 모두 완료한 후 작업자가 마스터 장치에서 자율동작 선택스위치를 작동시키고, 전용 지그로부터 측정된 거리 정보를 입력함으로써 슬레이브 로봇의 자율적 협업을 통한 밸브 회전 작업이 시작된다.
상기한 로봇의 자율동작 과정은 최초 슬레이브 로봇의 그리퍼 좌표계를 저장하고(S210), 상기 슬레이브 로봇 암의 운동 경로를 생성하며(S220), 각각의 로봇 암이 생성된 경로의 초기 위치로 이동하게 된다(S230).
상기 각각의 초기 위치로 이동한 로봇 암에서 접촉력의 발생 유무를 관측하게 되는데(S240), 상기 관측 단계에서 접촉력이 발생된 경우 마스터 장치에 알람등 및 에러 메시지를 표시하며(S242), 경로 보상 작업을 수행하게 된다(S244). 이때, 상기 관측 단계에서 접촉력이 발생되지 않는 경우 상기 생성된 운동 경로를 따라 로봇 암이 상기 경로를 추종하게 된다(S250).
또한, 정상적인 밸브 조작 작업 시 로봇 암 말단부에 설치된 힘/토오크 센서의 좌표계 각축 방향으로 측정된 최대 접촉력(토오크 포함) 크기를 기준값으로 정의할 때, 현재 로봇 암이 경로 추종 시 발생되는 접촉력이 상기 기준값 이상으로 발생되는지의 여부를 관측하게 된다(S260).
이때, 상기 관측 단계에서 기준값 이상의 접촉력이 발생되지 않는 경우 상기 생성된 운동 경로를 따라 로봇 암이 상기 경로를 추종하게 된다(S250).
만약, 상기 관측 단계에서 기준값 이상의 접촉력이 발생된 경우 로봇 암의 경로 추종을 정지하고(S270), 마스터 장치에 알람등 및 에러 메시지를 표시하게 된다(S242).
또한, 상기 관측 단계에서 기준값 이상의 접촉력 발생 원인이 밸브 조작(잠금) 작업이 완료된 경우로 가정하고, 밸브 게이지가 목표치에 도달한지 여부를 관측하게 되는데(S280), 상기 밸브 게이지의 관측 단계에서 목표치에 도달하지 못한 경우 다시 경로 보상 작업을 수행한 후(S262) 생성된 운동 경로를 따라 로봇 암이 상기 경로를 추종하게 된다(S250).
만약, 상기 밸브 게이지의 관측 단계에서 밸브 게이지가 목표치에 도달한 경우 로봇 암을 사전에 정의된 초기 자세로 복귀시키고(S290), 마스터 장치에 작업 종료 상태를 표시함으로써(S300) 본 발명에 따른 로봇 자율 작업을 종료하게 된다.
도 2는 본 발명에 따른 1:N 로봇 원격제어 시스템의 구성도이고, 도 3은 본 발명에 따른 1:N 로봇 원격제어 기반에서 밸브 회전 작업 과정을 나타낸 도면이며, 도 4는 본 발명에 따른 센서 좌표계 및 밸브 회전 작업 시 발생되는 접촉력을 나타낸 도면이다.
도 2를 살펴보면, 본 발명은 로봇의 밸브조작 작업 수행 과정을 모니터링하며, 작업자의 직접 원격조작을 수행하는 마스터 장치(100); 상기 각각의 로봇 그리퍼 좌표계 정보와 지그로부터 측정된 밸브 치수정보를 바탕으로 상기 로봇의 자율 동작을 위한 로봇 암의 경로를 생성하고, 보상을 수행하는 협업 및 자율동작 명령생성기(200); 및 상기 각각의 로봇 암의 경로 추종에 관련된 동작이 제어되어 밸브조작 작업을 수행하는 슬레이브 로봇(300)으로 구성된다.
즉, 본 발명의 1:N 로봇 원격제어 시스템은 작업자의 직접 원격조작을 수행하도록 작업 영상출력, 지그 측정정보 입력, 작업 상태 표시 등을 나타내는 모니터링 기능과 원격조작장치(110)를 포함하는 마스터 장치(100)와; 로봇의 자율동작 중에서 로봇 암의 경로 생성 및 보상에 관련된 모든 동작을 수행하는 협업 및 자율동작 명령생성기(210)를 포함하는 협업 및 자율동작 명령생성장치(200) 및 그 밖의 접촉력 관측기(220), 밸브 게이지 관측기(230)를 구비하며; 그리고 밸브 게이지(330)를 구비하고, 로봇의 경로 추종에 관련된 모든 동작을 내부 제어기를 통해 수행하는 슬레이브 제 1 로봇(310) 및 제 2 로봇(320)을 포함하는 슬레이브 로봇(300)으로 구성된다.
이어서, 도 2 내지 도 4를 참조하여 로봇의 자율적 동작에 대해 좀 더 자세히 살펴보면, 작업자가 마스터 장치(100)에서 자율동작 선택스위치를 작동하면 제4 및 제 5스위치가 닫히고, 그 반면 작업자의 원격조작에 필요한 제 1스위치는 자동으로 열리게 된다.
이때, 상기 협업 및 자율동작 명령생성기(210)에 입력된 각 슬레이브 로봇(300)의 그리퍼 좌표계 정보(도 3에서 {G1},{G2})가 상기 협업 및 자율동작 명령생성기(210) 내부에 저장되고, 이어서 마스터 장치(100)에서 작업자가 입력한 밸브 치수 정보(도 3의 a,b,c) 역시 상기 협업 및 자율동작 명령생성기(210)에 입력된다. 이러한 상기 동작을 통해 협업 및 자율동작 명령생성기(210)는 제 2 코사인 법칙을 이용하여 상기 입력된 밸브 치수 정보로부터 도 3에 도시된 밸브 회전 중심과 양쪽 지그 핸들(312)(322) 중심을 만나는 이등변 삼각형의 내각인 α,β,θ의 정보를 구할 수 있게 된다.
또한, 상기 지그 핸들(312)(322) 중심 좌표계 {G1}의 X축을 중심으로 반시계 방향으로 지그 몸체가 회전한 각도, 마찬가지로 좌표계 {G1}에서 밸브 회전중심 좌표계 {O}를 연결한 가상선이 상기 X축을 중심으로 반시계 방향으로 회전한 각도를 삼각 함수 공식을 통해 구할 수 있게 된다.
또한, 상기 구해진 각도와 밸브 치수 정보(a)로부터 슬레이브 제1로봇(310)의 그리퍼 좌표계 {G1}에서 밸브 회전 중심의 좌표계 {O}까지의 상대 위치 및 방위 정보를 구할 수 있게 된다. 이와 마찬가지 방법으로, 상기 슬레이브 제2로봇(320)의 그리퍼 좌표계 {G2}에서 밸브 회전 중심의 좌표계 {O}까지의 상대 위치 및 방위 정보를 구할 수 있게 된다.
한편, 상기 슬레이브 제1로봇(310)의 목표 운동경로는 상기 {O}의 X축을 중심으로 가 기울어진 각도를 초기 각도로 하여 밸브를 열고 닫는 동작에 따라 시계 및 반시계 방향으로 θ만큼 회전할 때 의 좌표 로 표현된다.
다시 말해, 상기 {G1}로 표현된 가상의 회전축({O}의 X축)을 중심으로 가 θ만큼 회전 시 생성되는 궤적이 슬레이브 제1로봇(310)의 그리퍼가 추종해야할 목표 이동 경로이므로, 상기 슬레이브 제1로봇(310)의 목표 운동 경로는 상기 방법과 마찬가지로 상기 {O}의 X축을 중심으로 가 기울어진 각도를 초기 각도로 하여 밸브를 열고 닫는 동작에 따라 시계 및 반시계 방향으로 θ만큼 회전할 때 의 좌표 로 표현될 수 있다.
또한, 상기 방법으로 밸브 회전중심 좌표계 {O}의 X축을 중심으로 각 슬레이브 로봇(300)이 회전 방향에 따라 θ만큼 회전할 때 각 슬레이브 로봇(300)은 지그 핸들(312)(322)을 서로 교대로 파지하고, 각 슬레이브 로봇(300)의 경로 시작점은 나머지 슬레이브 로봇(300)의 경로 도착점이 된다.
즉, 도 3에서와 같이 상기 {G1}에서 슬레이브 제1로봇(310)이 {O}의 X축을 중심으로 시계 방향으로 θ만큼 회전하면, 상기 슬레이브 제1로봇(310)이 파지했던 지그 핸들(312)을 다음 회전 동작 시 슬레이브 제2로봇(320)이 파지하고, 상기 슬레이브 제2로봇(320)이 파지했던 지그 핸들(322)을 다음 회전 동작 시 슬레이브 제1로봇(310)이 파지하게 된다.
이때, 상기 슬레이브 제2로봇(320)이 {O}의 X축을 중심으로 시계 방향으로 θ만큼 회전 후 도착한 위치 및 방위 정보 ({Gx})는 상기 슬레이브 제1로봇(310)의 좌표계 {G1}으로 변환되고, 도 2의 협업 및 자율동작 명령생성기(210)에 저장되게 된다.
따라서 상기 슬레이브 제1로봇(310)이 다음 회전 동작을 위해 {Gx}로 자동으로 이동하는데, 이 좌표계 정보는 이전 회전 동작 시 슬레이브 제2로봇(320)이 도착했던 좌표계 정보와 동일하다.
즉, 상기 협업 및 자율동작 명령생성기(210)는 각 슬레이브 로봇(300)이 도 3의 {G1},{G2},{GX}를 경유점으로 하되, 서로 지그 핸들(312)(322)을 번갈아가며 파지하면서 하나의 슬레이브 로봇(300) 경로 도착점이 다른 슬레이브 로봇(300)의 경로 시작점이 되도록 각 슬레이브 로봇(300)의 목표 경로를 생성하게 된다.
이렇게 상기 각 슬레이브 로봇(300)이 상기 생성된 경로를 추종하면서 밸브 조작 작업을 수행하기 위해서는 밸브 구성 부품 간 마찰력과 밸브의 회전 관성모멘트를 견딜 수 있는 충분한 회전력이 발생되어야 한다. 이러한 상기 회전력은 각각의 로봇 암이 그리퍼를 통해 지그 핸들(312)(322)에 전달되는 힘을 말하고, 그 힘의 방향은 각 로봇 암이 추종해야할 운동 경로(원호 형태)의 접선 방향으로 작용하게 된다.
실제 각 로봇 암이 발생한 회전력의 크기는 로봇 암의 발단부에 장착된 힘/토오크 센서로부터 측정이 가능하지만, 상기 회전력의 방향을 검증하기 위해서는 도 4에서와 같이, 센서 좌표계({S1},{S2})가 밸브 조작 작업을 위한 로봇 암의 운동 경로에 상관없이 항상 일정한 방위를 유지해야 한다. 이때, 밸브가 정지 상태에서 로봇 암의 회전력을 통해 부품 간 마찰력 및 회전 관성모멘트를 견디고 회전 운동이 시작할 때 상기 힘/토오크 센서에서 측정되는 힘은 로봇의 회전력과 크기는 같고, 방향이 반대 방향인 회전력의 반력(도 4의 )이다.
만약, 상기 회전력의 방향이 각 로봇 암이 추종해야할 운동 경로의 접선 방향과 일치하지 않는다면, 생성된 로봇 암의 경로는 실제 밸브의 회전 경로와 일치하지 않는 경우로 간주할 수 있다. 다시 말해, 도 4에서의 밸브 회전 중심과 센서좌표계 중심을 연결하는 위치 벡터와 회전력 벡터 의 내적이 0이 되지 않는다면 로봇 암의 자율동작을 위한 밸브 회전중심 좌표 추정 또는 로봇 암 경로 생성 동작상에 오류가 발생된 경우로 간주되며, 상기 오류는 도 1에서 작업자의 원격조작 중 지그로부터 측정된 거리 입력 등 작업자의 원격 조작 미숙으로부터 발생된다.
따라서 도 1에서의 경로보상 작업은 상기 내적이 0이 되는 조건을 항상 만족하도록 경로 생성 및 추종 오차를 보상해야 한다. 상기 오류로 인해 실제 밸브의 회전 경로와 생성된 로봇 암의 운동 경로가 일치하지 않는다면 로봇 암이 경로 추종 동작을 수행할 때 힘/토오크 센서에서는 상기 로봇 암의 회전력 정보와 함께 상기 경로 생성 오차를 로봇 암이 무리하게 추종하지만 밸브의 구속 조건에 의해 추종하지 못하고 발생되는 접촉력 정보()가 합쳐진 새로운 회전력 벡터인 가 측정된다.
이러한 상기 접촉력 정보로부터 로봇 암의 운동 경로를 보상하기 위해서는 실제 힘/토오크 센서에서 상기 접촉력 정보만 추출해야하므로 먼저 로봇 암의 경로에 따라 상기 회전력 정보를 추정할 수 있도록 회전력에 대한 모델링 작업이 필요하게 된다. 상기 회전력은 앞서 언급했다시피 밸브 구성 부품 간 마찰력을 포함한 비선형 동특성을 가지므로 모델링 작업이 매우 어려웠다.
따라서 상기 센서로부터 측정되는 힘/토오크 정보 중에서 접촉력 정보만 추출하기 위해서는 먼저 회전력의 크기를 강제로 0이 되게, 즉 도 1에서와 같이 로봇 암을 현재 경로 상에서 멈추도록 하는 동작이 도 2의 협업 및 자율동작 명령생성기(210)에서 실행하게 된다.
한편, 상기 로봇 암이 경로 추종 동작을 수행할 때 로봇 암 말단부에 장착된 힘/토오크 센서에서 발생되는 접촉력 정보는 로봇 암이 경로 추종을 위해 초기 위치로 이동할 때 경로 생성 오차로 인해 실제 밸브 회전 경로에서 벗어난 경로의 초기 위치로 로봇 암이 이동하려고 할 때 발생되고, 상기 로봇 암이 경로 추종 동작 시 갑작스런 장애물의 개입으로 로봇 암의 경로 추종 동작을 방해할 때 발생하게 된다. 이뿐만 아니라 로봇 암이 경로 추종 동작을 완료했을 때, 즉 밸브 회전 작업을 완전히 수행하여 더 이상 회전이 불가능할 경우에 발생된다.
다시 말해, 상기 로봇 암의 경로 생성 및 추정 오차는 경로 추종 직전, 도중, 그리고 완료되었을 때 확인이 가능하며, 특히 경로 생성 오차는 경로 추종 직전에 확인이 가능하다. 상기 확인 작업은 먼저 접촉력의 크기 및 방향을 도 2에서의 접촉력 관측기(220)에서 관측하고, 목표 밸브 게이지 도달 유무는 도 2에서의 밸브 게이지 관측기(230)에서 관측된다.
상기 접촉력 관측기(220)를 통해 로봇 암의 자율동작을 통한 경로 추종 작업을 멈추기 위해서는 현재 관측되는 접촉력의 정보로부터 정상적인 작업 상황인지 아니면 경로 보상이 필요한 상황인지를 결정하기 위한 기준값 설정이 필요하다.
상기 로봇 암의 경로 추종 작업을 멈추게 하는 기준값은 사전에 로봇 암의 운동 경로를 실제 밸브의 회전 경로와 일치하도록 생성한 후 정상적인 밸브 회전 작업을 수행할 때 로봇 암 말단부에 장착된 힘/토오크 센서에서 측정되는 접촉력의 최대값으로 설정하게 된다.
다시 말해, 정상적인 밸브 회전 작업을 위해 로봇 암의 경로 상에서 발생되는 회전력의 크기가 상기 기준값을 크게 벗어난 경우 비정상적인 로봇 암 경로 생성 및 추종 동작으로 간주하고, 로봇 암의 경로 보상 동작이 협업 및 자율동작 명령생성기(210)에서 수행하게 된다.
도 5는 도 2에 도시된 협업 및 자율동작 명령생성기의 세부 구성도이다.
도 5를 살펴보면, 상기 협업 및 자율동작 명령생성기(210)에는 상기 로봇 암의 직교 좌표계 공간상에서 추종해야 할 경로를 생성하는 로봇암 경로생성기(212); 상기 로봇암 경로생성기(212)를 통해 생성된 로봇 암이 추종해야 하는 경로의 초기 위치로 이동시키는 경로보상기(214); 상기 경로보상기(214)를 통해 재생성된 로봇 암의 운동 경로를 전달하는 위치제어기(216); 및 상기 위치제어기(216)를 통해 도출된 로봇 암의 목표치를 연산하여 슬레이브 로봇(300)의 제어기로 전달하는 역동역학 연산기(218)를 포함하여 구성된다.
상기 협업 및 자율동작 명령생성기(210)는 지그로부터 측정된 밸브 치수 정보와 각 로봇 그리퍼의 좌표계 정보로부터 로봇의 자율 동작을 구현하기 위한 로봇 암의 운동 경로를 생성하는 역할을 하게 된다.
또한, 도 2에서와 같이 작업자의 원격 조작 시 슬레이브 로봇과 주변 장애물과 접촉 상황을 작업자에게 전달하기 위해 경로 추종 오차를 마스터 장치(100)의 내부 햅틱 장치(110)에 전달하는 역할과 로봇 암의 경로 생성 및 추종 오차 발생 상황을 작업자에게 전달하기 위해 마스터장치(100)의 내부 알람등 및 에러 메시지 표시창에 신호를 전달하는 역할도 한다. 상기 역할과 함께 협업 및 자율동작 명령생성기(210)의 가장 큰 역할 중에 하나인 로봇 암 경로 생성 오차 및 추종 오차 보상하는 방법과 관련된 세부 구성을 다음과 같이 설명한다.
먼저, 최초 로봇 암 경로생성기(212)를 통해 각 슬레이브 로봇(300)의 로봇 암이 직교 좌표계 공간상에서 추종해야 할 경로 가 생성된다. 이 후 각 로봇 암이 상기 경로를 추종하기 위해 경로의 초기 위치로 이동한 뒤 로봇 암 말단부 힘/토오크 센서에서 측정된 접촉력이 접촉력 관측기(220)를 통해 관측되고, 상기 접촉력 관측기(220)를 통해 과도한 접촉력이 발생된 경우로 판단된 경우 상기 센서로부터 측정된 접촉력 정보가 경로보상기(214)에 입력된다.
즉, 상기 초기 위치로 이동한 로봇 암에서 접촉력 관측기(220)를 통해 접촉력의 발생 유무를 관측하게 되는데, 상기 관측 과정에서 접촉력이 발생된 경우 마스터 장치(100)에 알람등 및 에러 메시지를 표시하며, 경로 보상 작업을 수행하게 된다. 만약, 상기 관측 과정에서 접촉력이 발생되지 않는 경우 상기 로봇 암 경로생성기(212)를 통해 생성된 운동 경로를 따라 로봇 암이 상기 경로를 추종하게 된다.
상기 경로보상기(214)는 임피던스 제어기가 포함되어 있기 때문에 입력된 로봇 암의 운동 경로 를 접촉력 정보 로부터 컴플라이언스(Compliance)가 부여된 새로운 로봇 암의 운동 경로 로 재생성하는 역할을 하게 된다. 다시 말해, 센서 좌표계를 중심으로 발생된 접촉력 방향의 반대 방향으로 로봇 암이 추종해야할 경로의 초기 위치를 이동하는 역할을 하게 된다.
여기서, 상기 로봇 암 말단부에 설치된 힘 또는 토오크 센서의 좌표계 각축 방향으로 측정된 최대 접촉력 크기를 기준값으로 정의할 때, 현재 로봇 암이 경로 추종 시 발생되는 접촉력이 상기 기준값 이상으로 발생되는지의 여부를 관측하게 된다.
만약, 상기 관측 과정에서 기준값 이상의 접촉력이 발생되지 않는 경우 상기 로봇 암 경로생성기(212)를 통해 생성된 운동 경로를 따라 로봇 암이 상기 경로를 추종하게 된다.
상기 경로보상기(214)를 통해 재생성된 로봇 암의 운동 경로 는 이후 위치 제어기(216)로 전달되는데, 상기 위치제어기(216)는 실제 로봇 암이 작업자가 원하는 제어 성능에 충족될 수 있도록 로봇 암의 경로 추종 성능을 결정하는 역할을 하게 된다.
상기 위치 제어기(216)를 통해 도출된 로봇 암의 목표 가속도 정보(a)는 로봇 암의 역동역학 연산기(218)의 작업을 통해 로봇 암의 경로 추종을 위해 각 관절에서 발생되어야할 토오크(τ) 값을 계산한 뒤 각 슬레이브 로봇(300)의 제어기로 전달된다.
이때, 상기 슬레이브 로봇(300)의 제어기로 신호 전달을 밸브 게이지 관측기(230) 및 접촉력 관측기(220)가 통제함으로써 로봇 암의 경로 보상 작업이 필요한 경우 각 슬레이브 로봇(300)의 동작을 제어할 수 있게 된다.
또한, 상기 관측 과정에서 기준값 이상의 접촉력 발생 원인이 밸브 조작(잠금) 작업이 완료된 경우로 가정한 상태에서 상기 밸브 게이지 관측기(230)에서 목표치에 도달한지 여부를 관측하게 되는데, 상기 밸브 게이지 관측기(230)에서 목표치에 도달하지 못한 경우 다시 경로 보상 작업을 수행한 후 생성된 운동 경로를 따라 로봇 암이 상기 경로를 추종하게 된다.
또한, 상기 로봇 암의 경로 추종 도중에 장애물의 개입 등으로 더 이상 추종 동작이 불가능한 경우 최초 접촉력 관측기(220)를 통해 상황을 인지함과 동시에 슬레이브 로봇(300)의 경로 추종 동작을 멈추고 작업자에게 알람등 및 에러 메시지 표시창을 통해 현재 상황을 전달하게 된다.
이후 관측된 접촉력은 경로보상기(214)에 전달된 후 장애물과의 접촉 상황을 벗어나 안전한 위치로 도달하기 위한 새로운 로봇 암의 운동 경로를 재생성한다.
상기 로봇 암을 통한 밸브 회전 작업이 완료된 경우에도 밸브 게이지관측기(230)를 통해 상황을 인지함과 동시에 슬레이브 로봇(300)의 경로 추종 동작을 멈추고 작업자에게 알람등 및 에러 메시지 표시창을 통해 작업 종료 상태를 표시한 후, 로봇 암을 자동으로 사전에 정의된 안전한 초기 자세로 복귀시키는 동작을 경로보상기(214)를 포함한 협업 및 자율동작 명령생성기(210)에 수행하게 된다.
100: 마스터 장치 110: 원격조작장치
210:협업 및 자율동작 명령생성기 212: 로봇암 경로생성기
214: 경로보상기 216: 위치제어기
218: 역동역학 연산기 220: 접촉력 관측기
230: 밸브게이지 관측기 300: 슬레이브 로봇
310: 슬레이브 제1로봇 312: 지그핸들
320: 슬레이브 제2로봇 322: 지그핸들
210:협업 및 자율동작 명령생성기 212: 로봇암 경로생성기
214: 경로보상기 216: 위치제어기
218: 역동역학 연산기 220: 접촉력 관측기
230: 밸브게이지 관측기 300: 슬레이브 로봇
310: 슬레이브 제1로봇 312: 지그핸들
320: 슬레이브 제2로봇 322: 지그핸들
Claims (6)
- 로봇 원격제어 기반에서 밸브조작 작업 수행을 위한 로봇의 경로보상 방법에 있어서,
(a) 슬레이브 로봇 각각의 그리퍼 좌표계를 저장하고, 로봇 암의 운동 경로를 생성하며, 상기 생성된 경로의 초기 위치로 이동하는 단계;
(b) 상기 초기 위치로 이동한 로봇 암에서 경로를 추종할 때 경로 생성 오차로 인한 접촉력 발생 유무를 관측하되, 상기 접촉력이 기준값 이상으로 발생되는지의 여부를 관측하는 단계;
(c) 상기 접촉력이 기준값 이상으로 발생된 경우 로봇 암의 경로 추종을 정지하고, 알람 및 에러 메시지를 표시하는 단계;
(d) 상기 기준 값 이상의 접촉력 발생 원인으로 밸브조작 잠금 작업이 완료된 경우, 밸브 게이지의 목표치 도달 여부를 관측하는 단계; 및
(e) 상기 밸브 게이지가 목표치에 도달한 경우 상기 로봇 암을 초기 자세로 복귀시키고, 작업을 종료하는 단계;를 포함하는 것을 특징으로 하는 로봇의 경로 보상 방법.
- 제 1항에 있어서, 상기 (b) 단계에서, 상기 기준값은 로봇 암의 말단부에 설치된 힘 또는 토오크 센서의 좌표계 각축 방향으로 측정된 최대 접촉력 크기로 설정된 것을 특징으로 하는 로봇의 경로 보상 방법.
- 제 1항에 있어서, 상기 (d)의 관측 단계에서 밸브 게이지가 목표치에 도달하지 못한 경우 다시 경로보상 작업을 수행한 후, 상기 생성된 운동 경로를 따라 로봇 암이 경로를 추종하는 단계; 더 포함하는 것을 특징으로 하는 로봇의 경로 보상 방법.
- 각각의 로봇 그리퍼 좌표계 정보와 지그로부터 측정된 밸브 치수정보를 바탕으로 상기 로봇의 자율 동작을 위한 로봇 암의 경로를 생성하고, 경로 보상을 수행하는 협업 및 자율동작 명령생성기; 및
상기 각각의 로봇 암의 경로 추종에 관련된 동작이 제어되어 밸브조작 작업을 수행하는 슬레이브 로봇;을 포함하며,
상기 협업 및 자율동작 명령생성기에서 상기 로봇 암의 경로 생성 및 추종 오차 발생 상황을 알람 또는 에러 메시지로 작업자에게 전달하는 것을 특징으로 하는 로봇의 경로보상 시스템. - 삭제
- 제 4 항에 있어서, 상기 협업 및 자율동작 명령생성기에는
상기 로봇 암의 직교 좌표계 공간상에서 추종해야 할 경로를 생성하는 로봇암 경로생성기;
상기 로봇암 경로생성기를 통해 생성된 로봇 암이 추종해야 하는 경로의 초기 위치로 이동시키는 경로보상기;
상기 경로보상기를 통해 재생성된 로봇 암의 운동 경로를 전달하는 위치제어기; 및
상기 위치제어기를 통해 도출된 로봇 암의 목표치를 연산하여 슬레이브 로봇의 제어기로 전달하는 역동역학 연산기;를 포함하는 것을 특징으로 하는 로봇의 경로보상 시스템.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120048449A KR101321984B1 (ko) | 2012-05-08 | 2012-05-08 | 협업기반 밸브 조작을 위한 로봇의 경로보상 방법 및 그 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120048449A KR101321984B1 (ko) | 2012-05-08 | 2012-05-08 | 협업기반 밸브 조작을 위한 로봇의 경로보상 방법 및 그 시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101321984B1 true KR101321984B1 (ko) | 2013-10-28 |
Family
ID=49639272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120048449A KR101321984B1 (ko) | 2012-05-08 | 2012-05-08 | 협업기반 밸브 조작을 위한 로봇의 경로보상 방법 및 그 시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101321984B1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109986558A (zh) * | 2019-02-26 | 2019-07-09 | 浙江树人学院(浙江树人大学) | 基于误差补偿的工业机器人运动控制方法 |
CN111203890A (zh) * | 2020-02-28 | 2020-05-29 | 中国科学技术大学 | 一种机器人的位置误差补偿方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0651819A (ja) * | 1992-07-28 | 1994-02-25 | Fujitsu Ltd | ロボット装置 |
JP2005205551A (ja) | 2004-01-23 | 2005-08-04 | Mitsubishi Heavy Ind Ltd | 衛星、マニピュレータ装置、衛星の制御方法 |
JP3765713B2 (ja) | 2000-07-10 | 2006-04-12 | 独立行政法人科学技術振興機構 | ロボットの協調制御方法及び協調制御装置 |
-
2012
- 2012-05-08 KR KR1020120048449A patent/KR101321984B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0651819A (ja) * | 1992-07-28 | 1994-02-25 | Fujitsu Ltd | ロボット装置 |
JP3765713B2 (ja) | 2000-07-10 | 2006-04-12 | 独立行政法人科学技術振興機構 | ロボットの協調制御方法及び協調制御装置 |
JP2005205551A (ja) | 2004-01-23 | 2005-08-04 | Mitsubishi Heavy Ind Ltd | 衛星、マニピュレータ装置、衛星の制御方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109986558A (zh) * | 2019-02-26 | 2019-07-09 | 浙江树人学院(浙江树人大学) | 基于误差补偿的工业机器人运动控制方法 |
CN111203890A (zh) * | 2020-02-28 | 2020-05-29 | 中国科学技术大学 | 一种机器人的位置误差补偿方法 |
CN111203890B (zh) * | 2020-02-28 | 2022-04-19 | 中国科学技术大学 | 一种机器人的位置误差补偿方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7068059B2 (ja) | 遠隔操作方法及び遠隔操作システム | |
JP7185639B2 (ja) | 技能伝承機械装置 | |
US9849595B2 (en) | Contact force limiting with haptic feedback for a tele-operated robot | |
US9889566B2 (en) | Systems and methods for control of robotic manipulation | |
EP3498433A1 (en) | Dynamical safety trajectories in a robotic system | |
US20180243899A1 (en) | Remote control robot system | |
Dietrich et al. | Extensions to reactive self-collision avoidance for torque and position controlled humanoids | |
Vick et al. | Safe physical human-robot interaction with industrial dual-arm robots | |
US20210053218A1 (en) | Robot controller | |
CN111515951A (zh) | 机器人的遥操作***及遥操作控制方法 | |
KR101321984B1 (ko) | 협업기반 밸브 조작을 위한 로봇의 경로보상 방법 및 그 시스템 | |
KR20100099501A (ko) | 로봇의 자세 제어 방법 및 그 장치 | |
CN110539315B (zh) | 基于虚拟现实控制的建筑机器人 | |
US20210347288A1 (en) | Crane, a vehicle, and a method of the crane | |
KR20160076449A (ko) | 경로 전진 변수들을 갖는 안전한 로봇 | |
CN113618731A (zh) | 机器人控制*** | |
JP6758915B2 (ja) | 自律作業制御システムおよび自律作業制御方法 | |
CN111699079B (zh) | 协调***、操作设备和方法 | |
Isma et al. | Time-dependant trajectory generation for tele-operated mobile manipulator | |
Pham et al. | Control allocation for mobile manipulators with on-board cameras | |
Pchelkin et al. | Integrated time-optimal trajectory planning and control design for industrial robot manipulator | |
KR101294348B1 (ko) | 원격제어 로봇의 자율적 협업 기반 밸브 조작 방법 및 그 시스템 | |
Ibarguren et al. | Control strategies for dual arm co-manipulation of flexible objects in industrial environments | |
Zhao et al. | A receding horizon motion planner for underwater vehicle manipulator systems | |
Anderson et al. | Coordinated control and range imaging for mobile manipulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160928 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170918 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180918 Year of fee payment: 6 |