KR102422355B1 - 증강현실 기반의 수중로봇 원격제어 시스템 - Google Patents

증강현실 기반의 수중로봇 원격제어 시스템 Download PDF

Info

Publication number
KR102422355B1
KR102422355B1 KR1020210001820A KR20210001820A KR102422355B1 KR 102422355 B1 KR102422355 B1 KR 102422355B1 KR 1020210001820 A KR1020210001820 A KR 1020210001820A KR 20210001820 A KR20210001820 A KR 20210001820A KR 102422355 B1 KR102422355 B1 KR 102422355B1
Authority
KR
South Korea
Prior art keywords
manipulator
joint
underwater robot
unit
augmented reality
Prior art date
Application number
KR1020210001820A
Other languages
English (en)
Other versions
KR20220099657A (ko
Inventor
박재한
배지훈
장가람
이동혁
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020210001820A priority Critical patent/KR102422355B1/ko
Publication of KR20220099657A publication Critical patent/KR20220099657A/ko
Application granted granted Critical
Publication of KR102422355B1 publication Critical patent/KR102422355B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 수중로봇 제어 시스템에 관한 것으로, 구체적으로는 증강현실기술을 활용하여 수중로봇을 원격으로 제어할 수 있는 로봇 제어 시스템에 관한 것이다.

Description

증강현실 기반의 수중로봇 원격제어 시스템{AN REMOTE CONTROL SYSTEM BASED ON AUGMENTED REALITY FOR UNDERATER ROBOT STERILIZATION ROBOT BASED ON 3D ENVIRONMENTAL RECOGNITION}
본 발명은 수중로봇 제어 시스템에 관한 것으로, 구체적으로는 증강현실기술을 활용하여 수중로봇을 원격으로 제어할 수 있는 로봇 제어 시스템에 관한 것이다.
수중에서 진행이 필요한 작업의 경우, 잠수부 등의 사람이 진행하기에는 시간 및 비용이 많이 소요되며, 나아가 많은 위험성이 있으며, 이러한 여러가지 제약 때문에 수중 환경 작업은 로봇의 도입을 필요로 하는 대표적인 분야라고 할 수 있다.
현재 수중에서 사람을 대신하여 작업을 수행하는 수중로봇의 경우, 통합되지 않은 정보를 다수 개의 모니터에 표시하고, 직관적이지 않은 조종장치로 다관절 로봇팔을 제어하며, 조종의 편이성이 개선된 조종장치의 경우 그 구조가 과도하게 복잡하다는 문제점이 있다.
나아가 다수의 작업자가 함께 협업하여 하나의 수중로봇을 조종하는 방식으로 운용되고 있어, 운용의 효율성이 떨어지고 수중로봇을 조정하기 위한 교육시간이 과도하게 길어진다는 문제점이 있다.
따라서 효율적인 수중로봇 조작 및 운용을 위한 컨트롤 시스템의 개발이 시급한 상황이다.
한편 하기 선행기술문헌에는 수중터널을 조사하는 수중로봇 및 수중로봇의 제어방법에 관한 기술을 개시하고 있으며, 본 발명의 기술적 요지는 개시하고 있지 않다.
대한민국 공개특허공보 제20-2019-0136384호
본 발명의 일 실시예에 따른 증강현실 기반의 수중로봇 원격제어 시스템 은 전술한 문제점을 해결하기 위하여 다음과 같은 해결과제를 목적으로 한다.
사람의 움직임을 로봇제어에 그대로 적용되도록 직관적 인터페이스를 구축함으로써 로봇의 작업 현장에 작업자의 작업 효율을 높일 수 있는 수중로봇 원격제어 시스템을 제공하는 것이다.
아울러 로봇 운용에 필요한 다양한 정보를 증강현실로 통합하여 조종자에게 제공함으로써 한명 또는 소수의 작업자만으로도 수중로봇의 조종이 가능한 수중로봇 원격제어 시스템을 제공하는 것이다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해되어 질 수 있을 것이다.
본 발명의 일 실시예에 따른 증강현실 기반의 수중로봇 원격제어 시스템 은, 수중의 환경정보를 검출하는 카메라와, 말단작업부, 실린더 액추에이터 및 관절을 구비하는 머니퓰레이터를 포함하는 수중로봇; 상기 말단작업부의 위치 및 방향의 조정을 위하여 사용자의 손으로 조작 가능하도록 구비되는 조정장치; 내부에 구비된 디스플레이를 통하여 상기 카메라가 검출한 수중의 환경정보에 상기 머니퓰레이터, 가상의 머니퓰레이터 및 상기 머니퓰레이터의 가상의 작업경로를 포함하는 가상정보를 렌더링하여 출력하되, 상기 사용자가 착용 가능하도록 구비되는 VR 디바이스; 및 상기 조정장치의 조작결과에 기초하여 상기 실린더 액추에이터의 구동명령을 생성하여 상기 실린더 액추에이터를 구동시키는 제어모듈;을 포함한다.
상기 카메라는 3DoF 능동 카메라이고, 상기 VR 디바이스의 회전에 기초하여 상기 카메라가 회전하는 것이 바람직하다.
상기 제어모듈은, 상기 조정장치로부터 전달받은 상기 말단작업부의 목표위치정보에 기초하여 상기 말단작업부의 목표 이동속도를 산출하는 말단작업부 목표 이동속도 산출유닛; 상기 말단작업부의 목표 이동속도에 기초하여 상기 관절의 목표 회전각속도를 산출하는 목표 회전각속도 산출유닛; 상기 목표 회전각속도에 기초하여 상기 실린더 액추에이터의 실린더 로드의 목표 속도를 산출하는 실린더 로드 목표속도 산출유닛; 상기 실린더 로드 목표속도 산출유닛에 의하여 구동된 상기 머니퓰레이터의 구동상황을 실시간으로 검출하여 상기 관절의 실제각도를 산출하는 관절각도 산출유닛; 상기 관절의 실제각도에 기초하여 상기 말단작업부의 실제위치를 산출하는 실제위치 산출유닛;을 포함하는 것이 바람직하다.
상기 관절의 실제각도는 상기 목표 회전각속도 산출유닛 및 상기 실린더 로드 목표속도 산출유닛 중 적어도 하나에 피드백되는 것이 바람직하다.
상기 말단작업부의 실제위치는 상기 말단작업부 목표 이동속도 산출유닛으로 피드백되는 것이 바람직하다.
사용자는 상기 조정장치를 이용하여 상기 증강현실 기반의 수중로봇 원격제어 시스템의 구동모드를 선택하도록 구성되되, 상기 구동모드는, 트레이닝 모드, 컨트롤 모드 및 환경검출 모드 중 적어도 하나인 것이 바람직하다.
사용자가 상기 구동모드로 트레이닝 모드를 선택할 경우, 상기 VR 디바이스의 디스플레이에는 상기 카메라가 검출한 수중의 환경정보에 상기 가상의 머니퓰레이터 및 상기 머니퓰레이터의 가상의 작업경로를 렌더링하여 출력하되, 상기 제어모듈은 상기 조정장치로부터 전달받은 상기 말단작업부의 목표위치정보에 기초하여 상기 가상의 머니퓰레이터로 시뮬레이션 제어를 수행하되, 상기 시뮬레이션 제어 과정에서 산출되는 상기 관절의 실제각도 및 상기 말단작업부의 실제위치에 기초하여 상기 수중로봇의 작용점이 상기 머니퓰레이터의 작업 범위 내에 있는지 여부를 실시간으로 판단하는 제어가능여부 판단유닛;을 더 포함하는 것이 바람직하다.
사용자가 상기 구동모드로 컨트롤 모드를 선택할 경우, 상기 VR 디바이스의 디스플레이에는 상기 카메라가 검출한 수중의 환경정보 및 상기 머니퓰레이터를 출력하되, 상기 제어모듈은, 상기 관절의 목표 회전각속도 및 상기 관절의 실제각도에 기초하여 상기 관절의 향후 각도를 실시간으로 예측하는 관절각도 예측유닛; 및 상기 관절의 향후 각도에 기초하여 미리 설정된 시간 이내에 상기 머니퓰레이터 내의 충돌 발생여부를 실시간으로 판단하는 충돌발생여부 판단유닛;을 더 포함하는 것이 바람직하다.
사용자가 상기 구동모드로 환경검출 모드를 선택할 경우, 상기 제어모듈은 상기 말단작업부를 미리 설정된 속도 미만으로 구동시키면서 상기 머니퓰레이터를 구동시키는 모터의 부하량을 실시간으로 검출하고, 상기 말단작업부의 위치 및 상기 모터의 부하량에 기초하여 상기 수중로봇 주변의 환경정보를 생성하는 환경정보 생성유닛을 더 포함하는 것이 바람직하다.
사용자가 상기 구동모드로 환경검출 모드를 선택할 경우, 상기 VR 디바이스의 디스플레이에는 상기 환경정보 생성유닛이 생성한 수중의 환경정보에 상기 머니퓰레이터, 가상의 머니퓰레이터 및 상기 머니퓰레이터의 가상의 작업경로를 포함하는 가상정보를 랜더링하여 출력되는 것이 바람직하다.
본 발명의 일 실시예에 따른 증강현실 기반의 수중로봇 원격제어 시스템은, 증강현실 기술을 활용하여 VR 장치를 통해 실제 작업 현장에 통합된 정보를 제공함으로써 한 명의 조정자가 증강현실로 통합된 정보들에 기초하여 직관적인 조정장치로 수중로봇을 원격으로 조정할 수 있다는 장점이 있다.
또한 직관적인 제어 인터페이스의 구축으로 인하여 조정자가 카메라 및 다관절 로봇팔을 용이하게 제어할 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해되어질 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 증강현실 기반의 수중로봇 원격제어 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 기반의 수중로봇 원격제어 시스템에서, VR 디바이스의 디스플레이를 통하여 출력되는 영상의 생성을 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 증강현실 기반의 수중로봇 원격제어 시스템에서, 수중로봇의 실린더 액추에이터의 제어를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 증강현실 기반의 수중로봇 원격제어 시스템에서의 기본적인 제어모듈을 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 증강현실 기반의 수중로봇 원격제어 시스템에서 트레이닝 모드에서의 제어 알고리즘을 설명하기 위한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 증강현실 기반의 수중로봇 원격제어 시스템에서 컨트롤 모드에서의 제어 알고리즘을 설명하기 위한 블록도이다.
첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
이하 도 1 내지 도 7을 참조하여 본 발명의 일 실시예에 따른 증강현실 기반의 수중로봇 원격제어 시스템의 구성들에 대하여 설명하도록 한다.
본 발명의 일 실시예에 따른 증강현실 기반의 수중로봇 원격제어 시스템은 도 1에 도시된 바와 같이 수중로봇(100), 조정장치(200), VR 디바이스(300) 및 제어모듈(400)을 포함하도록 구성된다.
수중로봇(100)은 카메라(110) 및 머니퓰레이터(120)를 포함하도록 구성되며, 여기에서 카메라(110)는 수중의 환경정보를 검출하는 기능을 수행하며, Yaw, Pitch, Roll의 공간의 회전을 감지할 수 있는 스테레오 카메라인 것이 바람직하며, 가능한 3DoF(Degree of Freedom) 카메라이며, 후술할 VR 디바이스(300)의 회전에 기초하여 회전하도록 구성된다.
머니퓰레이터(120)는 말단작업부(121), 실린더 액추에이터(122) 및 관절(123)을 구비하도록 구성되며, 후술할 조정장치(200)의 조작에 기초하여 구동되며, 이에 대한 자세한 내용은 후술하도록 한다.
조정장치(200)는 말단작업부(121)의 위치 및 방향의 조정을 위하여 사용자의 손으로 조작 가능하도록 구비되는 구성이다.
VR 디바이스(300)는 사용자가 착용 가능하도록 형성되되, 내부에 구비된 디스플레이를 통하여 상기 카메라(110)가 검출한 수중의 환경정보에 상기 머니퓰레이터(120), 가상의 머니퓰레이터 및 상기 머니퓰레이터(120)의 가상의 작업경로를 포함하는 가상정보를 렌더링하여 출력하도록 구성된다.
즉 도 2에 도시된 바와 같이 3-DOF 능동 카메라(110)에서 제공하는 stereo image에 머니퓰레이터 정보 및 3차원 환경 정보를 렌더링하여 VR 디바이스(300)에 실제 환경정보와 가상정보가 입체적으로 가시화되도록 구성된다.
제어모듈(400)은 상술한 조정장치(200)의 조작결과에 기초하여 실린더 액추에이터(122)의 구동명령을 생성하여 실린더 액추에이터를 구동시키는 기능을 수행하여, 이러한 제어모듈(400)은 별도로 구성될 수 있거나 또는 수중로봇(100) 내부에 구비될 수도 있다.
이러한 실린더 액추에이터(122)의 제어요소는 도 3에 도시된 바와 같이 관절각도(qk) 및 로드(122a)의 속도(dk)인데, 도 3에 표기된 부호를 참조하여 관절각도(qk) 및 로드(122a)의 속도(dk)에 대한 수식은 각각 하기 수식 (1) 및 수식 (2)와 같다.
<수식 (1)>
Figure 112021001901491-pat00001
<수식 (2)>
Figure 112021001901491-pat00002
본 발명의 일 실시예에 따른 증강현실 기반의 수중로봇 원격제어 시스템의 제어모듈(400)은 조정장치(200)를 통하여 생성되는 말단작업부(121)의 목표위치정보에 기초하여 상기 관절(123)의 목표 회전각속도 및 실린더 로드(122a)의 목표속도를 산출하고, 이에 기초하여 머니퓰레이터(120)의 구동을 제어한다.
이를 위하여 제어모듈(400)은 도 4에 도시된 바와 같이 말단작업부 목표 이동속도 산출유닛(410), 목표 회전각속도 산출유닛(420), 실린더 로드 목표속도 산출유닛(430), 관절각도 산출유닛(440) 및 실제위치 산출유닛(450)을 포함하도록 구성된다.
말단작업부 목표 이동속도 산출유닛(410)은 조정장치(200)로부터 전달받은 상기 말단작업부(121)의 목표위치정보에 기초하여 상기 말단작업부(121)의 목표 이동속도를 산출하는 기능을 수행한다.
목표 회전각속도 산출유닛(420)은 말단작업부 목표 이동속도 산출유닛(410)에서 산출한 말단작업부(121)의 목표 이동속도에 기초하여 관절(123)의 목표 회전각속도를 산출하는 기능을 수행한다.
실린더 로드 목표속도 산출유닛(430)은 목표 회전각속도 산출유닛(420)이 산출한 관절(123)의 목표 회전각속도에 기초하여 실린더 액추에이터(122)의 실린더 로드(122a)의 목표 속도를 산출하는 기능을 수행한다.
관절각도 산출유닛(440)의 실린더 로드 목표속도 산출유닛(430)에 의하여 구동되는 머니퓰레이터(120)의 구동상황을 실시간으로 검출하여 관절(123)의 실제각도를 산출하는 기능을 수행한다.
실제위치 산출유닛(450)은 관절각도 산출유닛(440)이 산출한 관절(123)의 실제각도에 기초하여 말단작업부(121)의 실제위치를 산출하는 기능을 수행한다.
실제위치 산출유닛(450)에서 산출된 말단작업부(121)의 실제위치는 말단작업부 목표 이동속도 산출유닛(410)으로 피드백되도록 구성된다.
한편, 본 발명의 일 실시예에 따른 증강현실 기반의 수중로봇 원격제어 시스템에서는 여러가지 구동모드를 구비하고 있으며, 사용자가 조정장치(200)를 이용하여 구동모드를 선택하도록 구성될 수 있다.
특히 구동모드로는 트레이닝 모드, 컨트롤 모드 및 환경검출 모드 중 적어도 하나로 구성되는 것이 바람직하다.
트레이닝 모드는 실제 머니퓰레이터(120)를 구동하기 전에 작업 가능 여부를 판단하기 위한 모드로, 가상의 머니퓰레이터로 시뮬레이션으로 제어를 수행하며 그 결과를 사용자에게 3D 시각화 및 Haptic으로 제공하는 기능을 수행한다.
이때 제어모듈(400)은 도 5에 도시된 바와 같이 조정장치(200)로부터 전달받은 상기 말단작업부의 목표위치정보에 기초하여 상기 가상의 머니퓰레이터로 시뮬레이션 제어를 수행하되, 도 5에 도시된 바와 같이 시뮬레이션 제어 과정에서 산출되는 상기 관절(123)의 실제각도 및 상기 말단작업부(121)의 실제위치에 기초하여 상기 수중로봇(100)의 작용점이 상기 머니퓰레이터(120)의 작업 범위 내에 있는지 여부를 실시간으로 판단하는 제어가능여부 판단유닛(460)을 더 포함하도록 구성된다.
제어가능여부 판단유닛(460)에서 수중로봇(100)의 작용점이 머니퓰레이터(120)의 작업 범위 내에 있지 않다고 판단할 경우, VR 디바이스(300)의 디스플레이에는 작업 범위를 벗어났다는 취지의 경고 메시지가 출력되도록 구성되는 것이 바람직하다.
컨트롤 모드는 사용자의 조정장치(200)의 조작에 의하여 실제 머니퓰레이터(120)를 구동시키는 모드로, 로봇의 제어명령에 따른 미래의 동작을 시뮬레이션을 통해 충돌검사를 수행하며 그 결과를 사용자에게 제공하도록 구성된다.
이때 현재 사용자의 조작에 의한 제어명령을 지속할 경우, 미리 설정된 T 시간 내 충돌이 발생하는지를 실시간으로 판단하여 충돌 발생 가능성을 사용자에게 알려주는 기능을 구비한다.
즉, 사용자가 상기 구동모드로 컨트롤 모드를 선택할 경우, 상기 VR 디바이스(300)의 디스플레이에는 상기 카메라(110)가 검출한 수중의 환경정보 및 상기 머니퓰레이터(120)를 출력하게 된다.
이때 제어모듈(400)은, 도 6에 도시된 바와 같이 관절(123)의 목표 회전각속도 및 관절(123)의 실제각도에 기초하여 관절(123)의 향후 각도를 실시간으로 예측하는 관절각도 예측유닛(470)과, 관절(123)의 향후 각도에 기초하여 미리 설정된 시간 이내에 머니퓰레이터(120) 내의 충돌 발생여부를 실시간으로 판단하는 충돌발생여부 판단유닛(480)을 더 포함하도록 구성된다.
특히 충돌발생여부 판단유닛(480)이 미리 설정된 시간 내에 머니퓰레이터(120) 내의 충돌이 발생하는 것으로 판단할 경우, VR 디바이스(300)의 디스플레이에는 미리 설정된 시간 내에 머니퓰레이터(120) 내의 충돌이 발생한다는 취지의 경고 메시지가 출력되도록 구성되는 것이 바람직하다.
환경검출 모드는, 수중로봇(100)이 시야가 제대로 확보되지 않는 환경에서 작업을 수행할 경우 카메라(110)에 의한 환경정보의 검출이 불가능한 상황일 때 활용될 수 있는 모드이다.
즉, 사용자가 환경검출 모드를 선택할 경우, 제어모듈(400)은 말단작업부(121)를 미리 설정된 속도 미만으로 구동시키면서 상기 머니퓰레이터(120)를 구동시키는 모터의 부하량을 실시간으로 검출하고, 말단작업부(121)의 위치 및 상기 모터의 부하량에 기초하여 상기 수중로봇(100) 주변의 환경정보를 생성하는 환경정보 생성유닛을 더 포함하도록 구성될 수 있다.
특히 머니퓰레이터(120)가 어느 한 방향으로 이동하다가 수중의 바위 등 장애물과 맞닿게 되는 경우 머니퓰레이터(120)는 더 이상 상기 방향으로의 이동이 불가능하게 되며, 이때 모터의 부하량이 커지게되며, 이를 통하여 해당 위치에 장애물이 있음을 파악할 수 있게 되며, 이 상태에서 환경정보 생성유닛은 머니퓰레이터(120)를 장애물의 표면을 따라 이동시키면서 획득되는 말단작업부(121)의 위치 및 모터의 부하량에 기초하여 해당 장애물의 형상 등을 파악한 후 이를 생성할 수 있게 된다.
이때 VR 디바이스(300)의 디스플레이에는 환경정보 생성유닛이 생성한 수중의 환경정보에 상기 머니퓰레이터, 가상의 머니퓰레이터 및 상기 머니퓰레이터의 가상의 작업경로를 포함하는 가상정보를 랜더링하여 출력되도록 함으로써 카메라(110)에 의한 수중 환경정보의 검출이 불가능한 상황에서도 수중 환경정보를 획득할 수 있게 된다.
특히 환경검출 모드에서의 말단작업부(121)의 이동속도를 너무 빠르게 설정하게 되면 말단작업부(121)의 장애물 도달시 장애물과의 충돌로 인하여 파손될 수 있으며, 말단작업부(121)의 이동속도를 너무 느리게 설정하게 되면 수중 환경검출에 필요한 시간이 너무 많이 소요되므로, 말단작업부(121)를 포함하는 머니퓰레이터(120) 전체의 내구성을 고려하여 말단작업부(121)의 이동속도를 결정하여야 할 것이다.
본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것이 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당해 기술분야에 있어서의 통상의 지식을 가진 자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 수중로봇
200: 조정장치
300: VR 디바이스
400: 제어모듈

Claims (10)

  1. 수중의 환경정보를 검출하는 카메라와, 말단작업부, 실린더 액추에이터 및 관절을 구비하는 머니퓰레이터를 포함하는 수중로봇;
    상기 말단작업부의 위치 및 방향의 조정을 위하여 사용자의 손으로 조작 가능하도록 구비되는 조정장치;
    내부에 구비된 디스플레이를 통하여 상기 카메라가 검출한 수중의 환경정보에 상기 머니퓰레이터, 가상의 머니퓰레이터 및 상기 머니퓰레이터의 가상의 작업경로를 포함하는 가상정보를 렌더링하여 출력하되, 상기 사용자가 착용 가능하도록 구비되는 VR 디바이스; 및
    상기 조정장치의 조작결과에 기초하여 상기 실린더 액추에이터의 구동명령을 생성하여 상기 실린더 액추에이터를 구동시키는 제어모듈;
    을 포함하고,
    사용자는 상기 조정장치를 이용하여 증강현실 기반의 수중로봇 원격제어 시스템의 구동모드를 선택하도록 구성되되,
    상기 구동모드는, 트레이닝 모드, 컨트롤 모드 및 환경검출 모드 중 적어도 하나이며,
    사용자가 상기 구동모드로 환경검출 모드를 선택할 경우, 상기 제어모듈은 상기 말단작업부를 미리 설정된 속도 미만으로 구동시키면서 상기 머니퓰레이터를 구동시키는 모터의 부하량을 실시간으로 검출하고, 상기 말단작업부의 위치 및 상기 모터의 부하량에 기초하여 상기 수중로봇 주변의 환경정보를 생성하는 환경정보 생성유닛을 포함하는 증강현실 기반의 수중로봇 원격제어 시스템.
  2. 청구항 1에 있어서,
    상기 카메라는 3DoF 능동 카메라이고, 상기 VR 디바이스의 회전에 기초하여 상기 카메라가 회전하는 증강현실 기반의 수중로봇 원격제어 시스템.
  3. 청구항 1에 있어서, 상기 제어모듈은,
    상기 조정장치로부터 전달받은 상기 말단작업부의 목표위치정보에 기초하여 상기 말단작업부의 목표 이동속도를 산출하는 말단작업부 목표 이동속도 산출유닛;
    상기 말단작업부의 목표 이동속도에 기초하여 상기 관절의 목표 회전각속도를 산출하는 목표 회전각속도 산출유닛;
    상기 목표 회전각속도에 기초하여 상기 실린더 액추에이터의 실린더 로드의 목표 속도를 산출하는 실린더 로드 목표속도 산출유닛;
    상기 실린더 로드 목표속도 산출유닛에 의하여 구동된 상기 머니퓰레이터의 구동상황을 실시간으로 검출하여 상기 관절의 실제각도를 산출하는 관절각도 산출유닛;
    상기 관절의 실제각도에 기초하여 상기 말단작업부의 실제위치를 산출하는 실제위치 산출유닛;
    을 더 포함하는 증강현실 기반의 수중로봇 원격제어 시스템.
  4. 청구항 3에 있어서,
    상기 관절의 실제각도는 상기 목표 회전각속도 산출유닛 및 상기 실린더 로드 목표속도 산출유닛 중 적어도 하나에 피드백되는 증강현실 기반의 수중로봇 원격제어 시스템.
  5. 청구항 3에 있어서,
    상기 말단작업부의 실제위치는 상기 말단작업부 목표 이동속도 산출유닛으로 피드백되는 증강현실 기반의 수중로봇 원격제어 시스템.
  6. 삭제
  7. 청구항 1에 있어서,
    사용자가 상기 구동모드로 트레이닝 모드를 선택할 경우, 상기 VR 디바이스의 디스플레이에는 상기 카메라가 검출한 수중의 환경정보에 상기 가상의 머니퓰레이터 및 상기 머니퓰레이터의 가상의 작업경로를 렌더링하여 출력하되,
    상기 제어모듈은 상기 조정장치로부터 전달받은 상기 말단작업부의 목표위치정보에 기초하여 상기 가상의 머니퓰레이터로 시뮬레이션 제어를 수행하되, 상기 시뮬레이션 제어 과정에서 산출되는 상기 관절의 실제각도 및 상기 말단작업부의 실제위치에 기초하여 상기 수중로봇의 작용점이 상기 머니퓰레이터의 작업 범위 내에 있는지 여부를 실시간으로 판단하는 제어가능여부 판단유닛;을 더 포함하는 증강현실 기반의 수중로봇 원격제어 시스템.
  8. 청구항 1에 있어서,
    사용자가 상기 구동모드로 컨트롤 모드를 선택할 경우, 상기 VR 디바이스의 디스플레이에는 상기 카메라가 검출한 수중의 환경정보 및 상기 머니퓰레이터를 출력하되,
    상기 제어모듈은,
    상기 관절의 목표 회전각속도 및 상기 관절의 실제각도에 기초하여 상기 관절의 향후 각도를 실시간으로 예측하는 관절각도 예측유닛; 및
    상기 관절의 향후 각도에 기초하여 미리 설정된 시간 이내에 상기 머니퓰레이터 내의 충돌 발생여부를 실시간으로 판단하는 충돌발생여부 판단유닛;
    을 더 포함하는 증강현실 기반의 수중로봇 원격제어 시스템.
  9. 삭제
  10. 청구항 1에 있어서,
    사용자가 상기 구동모드로 환경검출 모드를 선택할 경우, 상기 VR 디바이스의 디스플레이에는 상기 환경정보 생성유닛이 생성한 수중의 환경정보에 상기 머니퓰레이터, 가상의 머니퓰레이터 및 상기 머니퓰레이터의 가상의 작업경로를 포함하는 가상정보를 랜더링하여 출력되는 증강현실 기반의 수중로봇 원격제어 시스템.
KR1020210001820A 2021-01-07 2021-01-07 증강현실 기반의 수중로봇 원격제어 시스템 KR102422355B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210001820A KR102422355B1 (ko) 2021-01-07 2021-01-07 증강현실 기반의 수중로봇 원격제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210001820A KR102422355B1 (ko) 2021-01-07 2021-01-07 증강현실 기반의 수중로봇 원격제어 시스템

Publications (2)

Publication Number Publication Date
KR20220099657A KR20220099657A (ko) 2022-07-14
KR102422355B1 true KR102422355B1 (ko) 2022-07-19

Family

ID=82407166

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210001820A KR102422355B1 (ko) 2021-01-07 2021-01-07 증강현실 기반의 수중로봇 원격제어 시스템

Country Status (1)

Country Link
KR (1) KR102422355B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11807349B1 (en) 2022-09-16 2023-11-07 Fmc Technologies, Inc. Submersible remote operated vehicle vision assistance and control
WO2024058811A1 (en) * 2022-09-16 2024-03-21 Fmc Technologies, Inc. Submersible remote operated vehicle vision assistance and control

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019034352A (ja) * 2017-08-10 2019-03-07 セイコーエプソン株式会社 シミュレーション装置、ロボット制御装置およびロボット
WO2020094205A1 (en) * 2018-11-08 2020-05-14 Mcs Free Zone An enhanced reality underwater maintenance syestem by using a virtual reality manipulator (vrm)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10843330B2 (en) * 2017-12-07 2020-11-24 Sarcos Corp. Resistance-based joint constraint for a master robotic system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019034352A (ja) * 2017-08-10 2019-03-07 セイコーエプソン株式会社 シミュレーション装置、ロボット制御装置およびロボット
WO2020094205A1 (en) * 2018-11-08 2020-05-14 Mcs Free Zone An enhanced reality underwater maintenance syestem by using a virtual reality manipulator (vrm)

Also Published As

Publication number Publication date
KR20220099657A (ko) 2022-07-14

Similar Documents

Publication Publication Date Title
KR102584754B1 (ko) 로봇식 시스템 및 그를 역구동하는 방법
US11220002B2 (en) Robot simulation device
KR102422355B1 (ko) 증강현실 기반의 수중로봇 원격제어 시스템
JP6420229B2 (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP2008229800A (ja) アーム搭載移動ロボットとその制御方法
KR20180038479A (ko) 로봇시스템
JP6807280B2 (ja) 遠隔作業ロボット制御システムおよび遠隔作業ロボットの制御方法
KR102418451B1 (ko) 로봇 제어 시스템
JP2012011498A (ja) ロボットアーム操作システムおよびその操作方法
CN114728413A (zh) 用于控制远程机器人的图形用户界面的方法和***
JP4444884B2 (ja) 建設機械および建設機械に用いられる制御装置
JP6739544B2 (ja) 医療システムとその制御方法
WO2019046559A1 (en) UTILIZING INCREASED REALITY TO CONTROL INTELLIGENT DEVICES
JP2015174184A (ja) 制御装置
JP7160118B2 (ja) 制御装置、制御方法、プログラム
Ryu et al. Multi-modal user interface for teleoperation of ROBHAZ-DT2 field robot system
JP5904445B2 (ja) ロボット用制御装置
JP2017099820A (ja) 操作システム
JP2023166547A (ja) ロボットシステム
JP2012051043A (ja) ロボットシステムまたはロボット制御装置
KR101475210B1 (ko) 가상로봇 시뮬레이션 장치
US20230131269A1 (en) Continuum robot control system and control method, and program
JP2005161498A (ja) ロボット遠隔操作制御装置
JP2009045678A (ja) ロボットの作業成否判定方法およびロボットシステム
JP4822067B2 (ja) ロボットおよびその直接教示装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant