KR20220017893A - 원격작동로봇을 위한 시스템, 장치 및 방법 - Google Patents

원격작동로봇을 위한 시스템, 장치 및 방법 Download PDF

Info

Publication number
KR20220017893A
KR20220017893A KR1020217036199A KR20217036199A KR20220017893A KR 20220017893 A KR20220017893 A KR 20220017893A KR 1020217036199 A KR1020217036199 A KR 1020217036199A KR 20217036199 A KR20217036199 A KR 20217036199A KR 20220017893 A KR20220017893 A KR 20220017893A
Authority
KR
South Korea
Prior art keywords
robot
obstacle
path
control center
area
Prior art date
Application number
KR1020217036199A
Other languages
English (en)
Inventor
나가난드 머티
군지트 싱
자레트 제프리 헤롤드
Original Assignee
일렉트릭 쉽 로보틱스, 아이앤씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 일렉트릭 쉽 로보틱스, 아이앤씨. filed Critical 일렉트릭 쉽 로보틱스, 아이앤씨.
Priority claimed from PCT/US2020/026846 external-priority patent/WO2021002911A1/en
Publication of KR20220017893A publication Critical patent/KR20220017893A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/60—Tethered aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B64U2201/202—Remote controls using tethers for connecting to ground station
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/30—Supply or distribution of electrical power
    • B64U50/34—In-flight charging
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/30—Supply or distribution of electrical power
    • B64U50/37—Charging when not in flight
    • B64U50/38—Charging when not in flight by wireless transmission
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39212—Select between autonomous or teleoperation control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40174—Robot teleoperation through internet
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40184—Compliant teleoperation, operator controls motion, system controls contact, force
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40424—Online motion planning, in real time, use vision to detect workspace changes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40476—Collision, planning for collision free path
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40477—Plan path independent from obstacles, then correction for obstacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Remote Sensing (AREA)
  • Human Resources & Organizations (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Astronomy & Astrophysics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

여기에 개시된 시스템, 장치 및 방법은 알려지거나 알려지지 않은 장애물 주변의 자산을 유지하기 위해 원격작동로봇의 자율 및 원격 작동을 가능하게 한다. 방법은 자산 및 자산 내 장애물과 관련된 추가 데이터를 얻기 위해 무인항공기를 사용하고 원격작동로봇에 탑재된 센서의 데이터와 항공이미지를 사용하여 장애물 주변 경로를 계획하는 과정을 포함할 수 있다. 방법은 또한 자산의 장애물 주변에서 원격작동로봇을 경로이동시키거나 자산의 장애물을 제거하기 위해 수동 개입이 필요한 상황에서 자산유지 관리를 수행하는 데 필요한 총 시간과 인건비의 최적화를 달성할 수 있다.

Description

원격작동로봇을 위한 시스템, 장치 및 방법
여기에 개시된 시스템, 장치 및 방법은 원격작동로봇에 관련되며, 특히 옥외 자산유지에 사용되는 원격작동로봇에 관한 것이다.
<관련 출원에 대한 상호 참조>
본 출원은 2019년 4월 6일에 출원된 미국 가출원 번호 62/830,447에 대한 우선권을 주장하며, 이 가출원의 전체 내용은 모든 목적을 위해 여기에 참조로 포함된다.
원격작동로봇(Tele-operated robot)은 폭탄 해체, 원자력 또는 화학 플랜트의 검사와 같은 위험한 상황, 또는 작업자가 위험한 환경에 노출될 수 있는 여타 상황에서 일반적으로 사용되어 왔다. 원격작동로봇의 또 다른 응용으로는 로봇이 외과 의사의 능력을 증진시키고 절개의 사이즈를 줄이는 로봇 보조 수술이 있다.
원격작동로봇에 대한 미개척 응용분야 중 하나는 경로이동(navigation), 잔디 관리, 조경, 훈증, 해충 방제, 표면 살포 등과 같은 옥외 자산유지관리(property maintenance) 동안 발생하는 다양한 공정들에 있다.
본 발명의 일 측면에서, 자산유지(property maintenance)를 위한 원격작동로봇의 작동 방법은 무인항공기(UAV)를 사용하여 자산의 항공이미지를 획득하는 과정을 포함한다. 항공이미지(aerial image)는 UAV 및 원격작동로봇과 통신 가능하게 연결된 제어센터로 전송된다. 제어센터에는 프로세서가 포함된다. 제어센터에서는 항공이미지를 기반으로 자산관리를 수행할 자산 내 관심영역을 결정한다. 항공이미지를 기반으로 제어센터에서 관심영역은 원격작동로봇이 자율적으로 경로이동할 수 있는 제1영역과 원격작동로봇이 자율적으로 경로이동할 수 없는 제2영역으로 분류된다. 제1영역과 제2영역의 상대적인 크기를 기반으로 제어센터에서 관심영역의 자산관리를 위한 원격로봇의 작동 스케줄을 결정한다. 스케줄은 자산유지 관리를 수행하는 데 소요되는 노동 시간과 총 시간을 최소화하도록 구성된다.
본 발명의 다른 측면에서, 자산유지를 위한 원격작동로봇의 작동 방법은, 자산유지를 위한 원격작동로봇의 작동 동안에 장애물에 관한 데이터를 획득하는 과정을 포함한다. 원격작동로봇의 센서를 이용하여 장애물이 감지되면, 제어센터에서 장애물과 관련된 데이터를 기반으로 장애물 회피 경로를 추정할 수 있는지 여부를 판단한다. 제어센터는 프로세서를 포함하고 원격작동로봇과 통신 가능하게 연결된다. 장애물 회피 경로를 추정할 수 없다고 판단되면 제어센터에서 UAV 비행을 개시한다. 무인항공기의 비행경로는 원격작동로봇의 동작경로로부터의 편차를 최소화하면서 장애물을 회피하는 경로를 추정할 수 있도록 장애물 주변 지역의 항공이미지를 획득하도록 구성된다.
본 발명의 또 다른 측면에서, 자산유지를 위한 원격작동로봇의 작동 방법은, 자산유지를 위하여 원격작동로봇이 자율 작동을 수행하는 동안 장애물과 관련된 데이터를 획득하는 과정을 포함한다. 원격작동로봇의 센서를 이용하여 원격작동로봇의 동작경로에서 제어센터에서는 장애물의 위치와 분류 중 하나 또는 둘 모두를 사전에 알고 있는지 여부를 판단한다. 제어센터는 원격작동로봇에 통신 가능하게 결합된 프로세서를 포함한다. 제어센터에서는 장애물의 위치와 분류가 사전에 알려져 있지 않다고 판단되면, 장애물을 피하면서 자산의 미관리지역을 보존하는 대체 작동경로를 관련 데이터를 기반으로 추정할 수 있는지 여부를 판단한다. 제어센터에서는 대체 작동경로를 추정할 수 있다고 판단되면 대체 작동경로를 추정한다. 원격작동로봇의 자율 작동은 대체 작동경로를 사용하여 계속된다.
개시된 실시예의 측면들은 개시된 측면들을 설명하기 위해 제공되지 제한하기 위해 제공되는 것이 아니며, 첨부된 도면과 함께 이하에서 설명될 것이다. 여기서 유사한 명칭은 유사한 요소를 나타낸다.
도 1은 본 개시의 일 실시예에 따른 원격작동로봇 시스템의 블록도를 도시한다.
도 2는 본 개시의 일 실시예에 따른 장애물 회피를 위한 방법에 대한 흐름도를 도시한다.
도 3a, 3b 및 3c는 본 개시의 일 실시예에 따라 자산유지를 위해 원격작동로봇을 작동시키는 방법에 대한 흐름도를 도시한다.
도 4는 본 개시의 일 실시예에 따라 자산 관리를 위한 원격작동로봇의 작동 방법에 대한 흐름도를 도시한다.
휴먼-인-더-루프 기반 감독(human-in-the-loop based supervision)은 전자 기계식 액추에이터가 장착된 부분 자동화 로봇 또는 도구에 대한 백스톱으로서 인간을 이용하는 프로세스이다. 이것은 더 일반적으로 조건부 자동화로 알려져 있다. 자동차 용어로 이를 레벨 3 자동화라고도 한다. 여기에서 수행되는 작업은 사람의 감독이 거의 필요하지 않은 작업 영역으로부터 사람의 감독이 필요한 작업에 이르기까지 범위가 다양하다.
시스템은 원격 작업자에게 현장 로봇(on-site robot) 및 주변 도구에 설치된 센서(힘, 온도, 압력 등) 및 비디오 카메라가 캡처한 데이터를 제공하고, 원격 측정 데이터 링크를 통해 현장 로봇의 액추에이터에 명령을 다시 전달하기 위한 인터페이스를 제공하는 것을 포함한다.
자산유지(property maintenance)는 개념적으로는 복잡하지만 요구되는 능숙함 정도에서 상대적으로 낮은 다양한 작업을 포함한다. 이 시나리오에서는, 인간 노동의 최대 부가가치는, 예측하지 못한 상황 또는 로봇의 의사결정 능력에 대한 확신이 아직 높지 않은 상황을 다룰 때 다수의 기계에 대한 원격관리 계층(layer of remote management)을 제공하는 능력에서 비롯된다. 더욱이 특정 결정 경로를 적용해야 하는 드문 경우의 점근선을 오르는 것보다 예상치 못한 돌발 상황에 대처할 수 있는 백스톱이 있다는 점을 감안할 때 기계를 자동화하는 것이 상대적으로 더 쉽다.
많은 작업에서 이것은 비용 효율성을 달성할 수 있는 유일한 방법이다. 로봇을 인간 감독의 일부와 짝을 이루어, 종종 노동 비용이 상대적으로 저렴한 원격 위치에서 이루어진다. 이를 통해 자산유지(잔디 관리, 나무 관리, 근린 보안, 소포 배달, 집 청소 등을 포함하지만 이에 국한되지 않음)의 많은 산업이 가능하게 한다.
도 1은 본 개시의 일 실시예에 따른 원격작동로봇 시스템의 블록도를 도시한다. 구현예에서, 원격작동로봇 시스템(100)은 원격작동로봇(110) 및 제어센터(130)를 포함한다. 일부 구현예에서, 원격작동로봇 시스템(100)은 무인항공기(UAV, 본 명세서에서 드론으로도 지칭됨)를 추가로 포함할 수 있다.
A. 원격작동로봇
본 명세서에서 사용되는 용어 "원격작동로봇(tele-operated robot)"은 자율적으로 기능을 수행할 수 있을 뿐만 아니라 인간 사용자에 의해 로컬 또는 원격으로 작동 또는 감독될 수 있는 로봇을 의미한다. 자율적으로 기능한다는 것이 인간의 감독이나 지원 없이 완전히 자율적으로 기능하는 것을 반드시 의미하지는 않는다는 점을 이해해야 한다. 즉, 여기에서 사용된 자율적으로 기능한다는 것은 자동차 레벨 5 자동화와 유사한 자동화를 의미하지 않는다. 따라서, 본 개시의 구현예에 따른 원격작동로봇은 자율적으로 기능할 수 있는 한편, 인간 사용자는 원격작동로봇의 자율 제어를 무시하고 로컬 또는 원격으로 이를 제어할 수 있다.
도 1을 참조하면, 원격작동로봇(110)은 툴킷(toolkit, 112), 프로세서(114), 센서 모듈(116) 및 통신 모듈(118)을 포함할 수 있다. 도면에는 도시되지 않았지만, 일 실시예에서 원격작동로봇은 선택적으로 증강현실(AR) 또는 가상 현실(VR) 마커, 형태(shape) 또는 등고선(contour line), 또는 기본적인 머신 비전 접근 방식을 사용하여 상공을 비행하는 UAV에 의해 쉽게 식별될 수 있도록 하는 페인트, 예를 들어 작동 중에 UAV가 원격작동로봇(110)과 낮은 고도의 장애물 또는 지상 지형을 구별할 수 있게 하는 것 등이다.
툴킷(112)은 원격작동로봇(110)이 그 기능을 수행할 수 있게 하는 하나 이상의 툴 또는 액추에이터를 포함할 수 있다. 예를 들어, 원격 작동식 로봇 잔디 깎는 기계의 툴킷은 관리되고 있는 부지 내에서 지면의 잔디를 깎기 위해 구성되고 하나 이상의 블레이드 세트를 포함할 수 있다. 원격작동로봇 잔디 깎는 기계의 툴킷에는 일반적으로 지상의 풀을 자르고/자르거나 잔디의 모양을 만드는 데 적합한 각종 도구뿐만 아니라, 절단된 잔디 및 기타 잔해를 흡입하기 위한 흡입 모터, 흡입된 잔디 및 기타 잔해를 수집하기 위한 용기 또는 바구니, 흡입 모터를 용기에 연결하기 위한 호스가 포함될 수도 있다.
자산유지를 위한 원격작동로봇과 같은 맥락에서, 원격작동로봇은 잔디 깎는 기계; 담벼락 정리기(hedge trimmer); 줄 잔디깍기(string trimmer); 경운기(tiller); 경작기(cultivator); 제초기; 장대톱(pole saw); 잎 송풍기(leaf blower); 체인 톱; 헤지 가위; 표면 세척용 압력 세척기; 살충제 살포기, 살충제, 제초제, 항바이러스 스프레이, 항균 스프레이, 표면 및 자주 만지는 표면을 소독하기 위한 UV 봉; 또는 조경 및/또는 자산 관리에 적합한 기타 도구를 포함할 수 있다. 따라서 원격작동로봇용 툴킷은 로봇의 주요 기능에 따라 달라질 수 있다. 일 실시예에서, 원격작동로봇용 툴킷에 포함된 도구의 일부 또는 전부는 원격작동로봇의 주요 기능이 변경되도록 다른 도구로 교체될 수 있다.
프로세서(processor, 114)는 하나 이상의 모션 프로세싱 유닛(MPU), 디지털 신호 프로세서(DSP), 범용 마이크로프로세서, 주문형 집적 회로(ASIC), 주문형 명령어세트 프로세서(ASIP), FPGA(Field Programmable Gate Array), 또는 기타 이와 동등한 집적 또는 이산 논리회로와 같은 하나 이상의 프로세서를 포함할 수 있다. 본 명세서에 사용된 용어 "프로세서"는 전술한 구조 중 어느 하나 또는 본 명세서에 설명된 기술의 구현예에 적합한 임의의 다른 구조를 지칭할 수 있다. 또한, 일부 측면에서, 여기에 설명된 기능은, 설명된 바와 같이 구성된 전용 소프트웨어 모듈 또는 하드웨어 모듈로 제공될 수 있다. 또한, 이러한 기술은 하나 이상의 회로 또는 논리 요소로 완전히 구현될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 이와 다르게 프로세서는 임의의 종래의 프로세서, 컨트롤러, 마이크로컨트롤러 또는 상태 머신일 수 있다. 프로세서는 또한 컴퓨팅 장치의 조합, 예를 들어 MPU와 마이크로프로세서의 조합, 복수의 마이크로프로세서, MPU 코어를 가진 하나 이상의 마이크로프로세서, 또는 그러한 구성을 가진 임의의 다른 종류로 구현될 수 있다.
일 실시예에서, 프로세서(114)는 원격조종 로봇(110)을 경로이동시키고(navigate) 작동시키기(operate) 위해 센서 모듈(116) 및/또는 통신 모듈(118)로부터 수신된 데이터를 처리한다. 일 실시예에서, 프로세서(114)는 원격작동로봇(110)을 경로이동시키고 작동하기 위하여 통신 모듈(118)로부터 수신된 데이터를 처리한다.
일 실시예에서, 프로세서(114)는 하나 이상의 액추에이터의 동작을 제어할 수 있다. 예를 들어, 일 실시예에서, 프로세서(114)는 제어센터(control center)로부터 수신되는 통신(예를 들어, 이동 또는 작동 명령)의 지연시간(latency)에 기초하여 액추에이터가 작업을 수행하는 작동 속도를 변경할 수 있다. 일 실시예에서, 프로세서(114)는 이 반응 시간의 제약 하에서 주어진 장애물 밀도(및 주어진 시야)에서 원격 감독/원격 작동하는 데 필요한 최소 반응 시간을 계산하고 최소 정지 거리(모션/모든 종류의 기민한 조작 모두에 대해)를 계산할 수 있다.
센서 모듈(116)은 원격작동로봇의 자율 작동을 가능하게 하거나 원격작동로봇의 로컬 또는 원격 조작자 또는 감독자가 원격작동로봇을 둘러싼 환경을 감지할 수 있게 하는 하나 이상의 센서를 포함할 수 있다. 자산유지를 위해 원격작동로봇에 포함될 수 있는 다양한 센서의 예로는 카메라, 스테레오 카메라, LiDAR, RADAR, 초음파 센서, GPS 위치 시스템, IR 센서, 빛의 다양한 부분을 커버하는 스펙트럼 센서, 및 자이로스코프가 포함되지만 이에 국한되지는 않는다. 또한, 센서 모듈(116)은 원격작동로봇이 그 성능을 감지할 수 있게 하는 센서를 포함할 수도 있다. 예를 들어, 잔디 깎는 기계는 예초된 잔디의 높이뿐만 아니라 깎인 잔디의 높이를 감지하는 센서를 포함할 수 있다. 일 실시예에서, 잔디 깎는 기계는 예를 들어 잔디의 스펙트럼 분석을 사용하여 잔디의 품질을 검출하기 위한 센서를 포함할 수 있다. 다른 예로서, 센서는 주어진 표면 위에 분무된 가스/액체의 커버리지 영역 및 확산정도를 감지할 수 있다.
센서 모듈(116)은 예를 들어 광학 이미지, LiDAR 데이터 및/또는 초음파 데이터의 형태로 원격작동로봇(110)을 둘러싼 환경에 관한 데이터를 획득할 수 있다. 일 실시예에서, 센서 모듈(116)은 원격작동로봇(110)의 (절대적 또는 상대적) 위치 또는 방향에 대한 정보를 추가적으로 또는 대안적으로 획득할 수 있다.
일 실시예에서, 센서 모듈(116)에 의해 획득된 데이터는 원격작동로봇(110)을 작동시키기 위해 프로세서(114)에 의해 사용된다. 일 실시예에서, 센서 모듈(116)에 의해 획득된 데이터는 인간 조작자로부터 원격작동로봇(110)에 의해 수신된 명령어를 증강하기(augment) 위해 프로세서(114)에 의해 사용된다. 일 실시예에서, 센서 모듈(116)에 의해 획득된 데이터는 원격작동로봇(110)의 환경 및/또는 작동에 대한 피드백을 인간 조작자에게 추가적으로 또는 대안적으로 제공하기 위해 프로세서(114)에 의해 사용된다.
통신 모듈(118)은 시스템(100)의 다른 구성요소와 무선으로 통신하도록 구성된 수신기 및 송신기를 포함할 수 있다. 통신 모듈(118)의 송신기 및/또는 수신기는 예를 들어, 4G, 5G, WiMax, WiFi, 또는 이들의 조합을 통해 네트워크, 예를 들어 인터넷을 통해 시스템(100)의 다른 구성요소와 통신할 수 있다. 일 실시예에서, 통신 모듈(118)은 통신의 신뢰성을 개선하기 위해 다중 통신 프로토콜을 활용하도록 구성될 수 있다. 예를 들어, 원격작동로봇(110)은 4G 또는 5G 통신 프로토콜을 사용하여 제어센터(130)와 통신하면서 WiFi를 사용하여 UAV(150)와 통신할 수 있다. 통신 모듈(118)에 의해 사용되는 통신 프로토콜은 현재 이용 가능한 것에 제한되지 않으며, 통신 기술이 발전함에 따라 미래에 다른 프로토콜이 사용될 수 있음을 이해할 것이다. 따라서, 본 개시의 범위는 현재 이용가능한 통신 프로토콜에 제한되지 않고, 미래에 이용가능할 수 있는 임의의 통신 프로토콜을 포함한다.
예를 들어, 통신 모듈(118)은 원격작동로봇(110)이 제어센터(130) 또는 UAV(150)와 통신하는 것을 가능하게 한다. 일 실시예에서, 통신 모듈(118)은 원격작동로봇(110)으로부터 제어센터(130)로 센서 데이터를 전송할 수 있으며, 제어센터(130)로부터 명령어 및 제어 데이터를 수신할 수 있다. 일 실시예에서, 통신 모듈(118)은 추가로 또는 대안적으로 UAV(150)로부터 항공이미지 정보를 수신할 수 있다.
B. 제어센터
[0030] 본 명세서에 사용된 용어 "제어센터"는 원격작동로봇에 대한 제어 및 명령을 제공하는 원격작동로봇 시스템의 구성요소를 지칭한다. 따라서, 제어센터는 원격작동로봇에 인간 조작자 또는 감독자가 제공하는 경로이동 및/또는 작동 명령을 제공할 수 있다. 일 실시예에서, 제어센터는 추가로 또는 대안적으로 제어센터에 의해 수신된 데이터의 분석(원격작동로봇 또는 UAV와 같은 시스템의 다른 구성요소로부터)에 기초하여 경로이동 및/또는 작동 명령을 제공할 수 있다.
도 1을 참조하면, 제어센터(130)는 명령 모듈(132), 프로세서(134), 통신 모듈(136), 및 선택적으로 가상 제어실(138)을 포함할 수 있다.
명령 모듈(command module, 132)은, 예를 들면, 랩탑, 콘솔, 데스크탑, 태블릿, 모바일 컴퓨팅 디바이스, 또는 모바일 폰과 같은 입력 단말(input terminal)을 포함할 수 있다. 입력 단말에는 인간 사용자가 입력 단말에 명령을 입력할 수 있도록 키보드, 조이스틱, 마우스, 마이크, 게임 컨트롤러 또는 이들의 조합과 같은 입력 장치가 제공될 수 있다.
인간 사용자가 입력한 명령(command)은 입력단말에서 처리되어 제어센터(130)를 거쳐 원격작동로봇(110)으로 전달된다. 제어센터(130)로부터 원격작동로봇(110)에 보내진 명령은 특정 경로를 따라 관심영역(area of interest) 주위를 이동하고, 작동 모드를 변경하고, 이동 속도를 변경하고, 작동 속도를 변경한다. 일 실시예에서 원격작동로봇(110)은 제어센터(130)로부터 명령이 전송되지 않는다면 자율적으로 계속 작동할 수 있다.
프로세서(134)는 하나 이상의 모션 프로세싱 유닛(MPU), 디지털 신호 프로세서(DSP), 범용 마이크로프로세서, 주문형 집적 회로(ASIC), 주문형 명령 세트 프로세서(ASIP), FPGA(Field Programmable Gate Array), 또는 기타 동등한 집적 또는 이산 논리 회로와 같은 하나 이상의 프로세서를 포함할 수 있다. 본 명세서에 사용된 용어 "프로세서"는 전술한 구조 중 어느 하나 또는 본 명세서에 설명된 기술의 구현예에 적합한 임의의 다른 구조를 지칭할 수 있다. 또한, 일부 실시예에서, 여기에 설명된 기능은 여기에 설명된 바와 같이 구성된 전용 소프트웨어 모듈 또는 하드웨어 모듈 형태로 제공될 수 있다. 또한, 기술은 하나 이상의 회로 또는 논리 요소로 완전히 구현될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 대안으로 프로세서는 임의의 기존 프로세서, 컨트롤러, 마이크로컨트롤러 또는 상태 머신(state machine)일 수 있다. 프로세서는 또한 컴퓨팅 장치의 조합, 예를 들어 MPU와 마이크로프로세서의 조합, 복수의 마이크로프로세서, MPU 코어와 함께 하나 이상의 마이크로프로세서, 또는 임의의 다른 그러한 구성으로도 구현될 수 있다.
일 실시예에서, 프로세서(134)는 명령 모듈(132)의 입력 단말의 일부일 수 있다. 일 실시예에서, 프로세서(134)는 명령 모듈(132)의 입력 단말로부터 분리될 수 있고, 예를 들어 원격작동로봇(110) 및/또는 UAV(150)와 같은 시스템(100)의 다른 구성요소로부터 제어센터(130)에 의해 수신된 데이터를 전용으로 처리할 수 있다.
일 실시예에서, 제어센터(130)는, 명령 모듈(132)이 원격 사이트에 제공되는 경우에도 프로세서(134)가 원격작동로봇(110)에 배치될 수 있도록 구현된다. 일 실시예에서, 프로세서는 UAV(150)에 탑재되는 반면 명령 모듈(132)은 원격 사이트에 제공된다. 일 실시예에서, 프로세서(134) 및 명령 모듈(132)은 원격작동로봇(110)에 배치되고 추가의 동일한(또는 상이한) 명령 모듈(132)은 원격 사이트에 제공된다. 다른 조합의 구성이 본 개시의 범위 내에서 고려될 수 있다.
일 실시예에서, 프로세서(134)는 원격작동로봇(110) 및/또는 UAV(150)로부터 수신된 데이터를 처리하고 원격작동로봇(110)의 경로이동 및/또는 작동을 위한 명령을 생성할 수 있다. 프로세서(134)에 의해 생성된 명령은 명령 모듈(132)을 통해 인간 사용자에 의해 발생된 명령을 더 포함할 수 있다.
[0038] 통신 모듈(136)은 시스템(100)의 다른 구성요소와 무선으로 통신하도록 구성된 수신기 및 송신기를 포함할 수 있다. 통신 모듈(136)의 송신기 및/또는 수신기는 인터넷과 같은 통신망을 통해 시스템(100)의 다른 구성요소와 통신하기 위하여, 예를 들어, LTE, 5G, WiMax, WiFi 등의 이용 가능한 통신 프로토콜을 활용할 수 있다. 통신 모듈(136)에 의해 사용되는 통신 프로토콜은 현재 이용 가능한 것에 제한되지 않으며, 통신 기술이 발전함에 따라 미래에 다른 프로토콜이 사용될 수 있음을 이해할 것이다. 따라서, 본 개시의 범위는 현재 이용가능한 통신 프로토콜에 제한되지 않고, 또한 미래에 이용가능할 수 있는 임의의 통신 프로토콜을 포함한다.
[0039] 예를 들어, 통신 모듈(136)은 제어센터(130)가 원격작동로봇(110) 또는 UAV(150)와 통신할 수 있게 한다. 일 실시예에서, 통신 모듈(136)은 제어센터(130)로부터 원격으로 명령 및 제어를 원격작동로봇(110)에 전송할 수 있으며, 원격작동로봇(110) 및/또는 UAV(150)와 같은 시스템(100)의 다른 구성요소로부터 데이터를 수신한다.
가상 제어실(138)은 예를 들어 인간 사용자(human user)가 제어센터(130)를 통해 조작하거나 감독하는 원격작동로봇(110)을 둘러싼 환경을 시각화 및/또는 청각화하는 디스플레이 및 스피커와 같은 출력 장치를 포함할 수 있다.
일 실시예에서, 자산 지도(map of property)는 인간 감독자/조작자(human supervisor/operator)가 원격작동로봇에 대한 명령(command)을 입력할 수 있는 가상 공간에 탑재(load)될 수 있다. 이러한 명령에는 활성화(actuation) 명령, 경로이동(navigation) 명령 등이 포함될 수 있지만 이에 국한되지 않는다. 이러한 명령은 가상 공간에서 필요한 변경(change)을 생성할 수 있으며 원하는 출력이 생성될 때까지 반복적으로 또는 지속적으로 변경될 수 있다. 그런 다음 원격작동로봇이 원하는 작업을 생성하는 현실세계에서 시퀀스(sequence)가 로봇에 전달된다. 즉, 가상 공간에서 제공되는 일련의 명령은 원격작동로봇이 수행하는 작업에 대한 청사진 역할을 한다. 이러한 청사진은 고대역폭 데이터의 실시간 전송 또는 대기 시간을 줄이는 데 도움이 될 수 있다. 예를 들어, 일 실시예에서, 전체 장면(scene)과 관련된 데이터를 전송하는 대신 장면의 변경과 관련된 데이터만 전송될 수 있으며, 이는 가상 공간에서 적절하게 렌더링될(rendered) 수 있다.
일 실시예에서, 가상 제어실(virtual control room, 138)은 인간 감독자/조작자를 위한 보다 몰입감 있는 경험을 위한 돔(dome) 스크린 디스플레이를 포함할 수 있다. 예를 들어, 직접적인 1:1 원격 조작이 필요한 경우 인간 감독자/조작자는 반구형 돔 앞의 의자에 착석할 수 있다. 일 실시예에서, 인간 감독자/조작자의 위치는 직관적일 수 있게 원근감을 생성하는 데 도움이 되도록 계산된다. 일 실시예에서, 의자에는 원격작동로봇에 전달되는 촉각 피드백이 효율성에 중요한 상황을 위한 힘 피드백(force feedback) 및 조이스틱이 제공된다. 입체음향 오디오가 청각 피드백을 재생하기 위해 인간 감독자/조작자에게 제공된다.
이하의 논의는 원격 작동 잔디 깎는 기계(본 명세서에서 로봇식 잔디 깎는 기계로 상호 교환 가능하게 지칭됨)를 이용하여 설명할 수 있지만, 본 개시에 따른 다양한 방법이 작동하는 방법의 예로서, 본 개시의 범위를 제한하는 것을 의미하지는 않는다. 통상의 기술자는 본 개시를 이해하면 여기서의 설명이 다른 유형의 원격작동로봇에 대해서도 동등하게 적용가능하고 또는 쉽게 수정가능하다는 것을 알게 될 것이다.
C. 무인항공기(Unmanned Aerial Vehicle)
다시 도 1을 참조하면, 시스템(100)은 선택적으로 무인항공기(150, 본 명세서에서 UAV 또는 드론으로 상호 교환가능하게 지칭됨)를 포함할 수 있다. 일 실시예에서, UAV(150)는 비행제어 모듈(152), 센서 모듈(154) 및 통신 모듈(156)을 포함할 수 있다.
UAV(150)는 자율 비행, 반자율 비행 또는 원격제어 비행이 가능한 임의의 무인항공기일 수 있다. UAV는 드론, 헬리콥터, 멀티콥터, 헥사콥터, 옥토콥터, 기구(balloon), 소형 비행선(blimp) 등 및 수직 이착륙(VTOL)이 가능한 드론과 비행체의 혼합체를 포함할 수 있지만 이에 국한되지 않는다.
일 실시예에서, UAV는 현재 위치를 결정하고 목표 위치에 대한 경로를 계획하기 위해 GPS 컨트롤러를 장착할 수 있다. 일 실시예에서, UAV는 전원, 재충전 가능한 배터리 및/또는 연소 엔진(combustion engine)으로 작동될 수 있다. UAV가 전원으로 작동되는 실시예에서, 전기는 연료전지(fuel cell)를 사용하여 생성될 수 있다.
비행제어 모듈(152)은 예를 들어 착륙, 이륙, 항법, 공중 장애물 회피 등을 포함하여 UAV의 비행을 주로 제어하는 역할을 한다. 비행제어 모듈(152)은 프로세서를 갖는 컨트롤러를 포함할 수 있다.
일 실시예에서, 프로세서는 제어센터(130) 및/또는 원격작동로봇(110)에 전송하기 전에 센서 모듈(154)의 센서에 의해 획득된 데이터를 추가로 또는 선택적으로 처리할 수 있다.
센서 모듈(154)은 UAV의 자율 작동을 가능하게 하는 하나 이상의 센서를 포함할 수 있다. 또한, 센서 모듈(154)은 자산에 관한 데이터의 수집을 가능하게 하고 센서 모듈(116)로부터 원격작동로봇(110)에 사용되는 데이터를 증강시키는 하나 이상의 센서를 포함할 수 있다. 예를 들어 센서 모듈(154)은 깊이 카메라(depth camera), 비디오 카메라, 스테레오 카메라, LiDAR, RADAR, 초음파 센서, GPS 포지셔닝 시스템, IR 센서, 광 스펙트럼의 다양한 부분을 커버하는 스펙트럼 센서 및 자이로스코프를 제한 없이 포함할 수 있다.
일 실시예에서, 인간 감독자/조작자, 원격작동로봇(110)의 프로세서, 또는 제어센터(130)의 자율 항법 프로세서를 위하여 원격작동로봇(110) 주변의 환경에 대한 더 명확한 뷰를 얻기 위해 실시간으로 (UAV의) 위치, 줌, 또는 초점 영역과 같은 센서 파라미터를 포함한다. 예를 들어, 원격작동로봇이 수목(tree)의 캐노피 아래로 이동하는 경우 UAV는 45도 각도와 같은 각도로 나무를 피하면서 원격작동로봇(110) 바로 위의 호버링 높이(hovering height)를 조정할 수 있다. 대안적으로 또는 추가적으로, 예를 들어 광학 센서의 줌 레벨은 원격 조작 또는 자율 경로이동 기능을 향상시키기 위해 원격작동로봇(110)을 둘러싼 환경의 국지적인 부분의 더 선명한 이미지를 얻기 위해 증가 또는 감소될 수 있다.
따라서, 일 실시예에서, 센서 모듈(154)의 센서는 원격작동로봇(110)의 경로이동을 가능하게 하는 원격작동로봇(110)에 탑재된 센서를 보강하거나 대체하도록 선택되고 구성된다.
일 실시예에서, 센서 모듈(154)은 원격작동로봇(110)을 둘러싼 환경에서 특정 구조, 인공물 또는 결함을 검출하기 위한 센서를 포함할 수 있다. 예를 들어, 센서 모듈(154)은 특정 파장을 검출하도록 구성된 스펙트럼 센서를 포함할 수 있다. 원격작동로봇(110)이 잡초를 감지하고 잡초 방제를 위한 최적의 작동경로를 계획할 수 있도록 잡초가 방출하는 신호를 감지한다. 다른 예로서, 스펙트럼 센서는 광 스펙트럼의 상이한 부분에서 얻어진 이미지를 이용하여, 덜 잘렸거나 다르게 처리된 잔디 패치를 검출하도록 구성될 수 있다.
통신 모듈(156)은 제어센터(130) 및/또는 원격작동로봇(110) 또는 시스템(100)의 임의의 다른 구성요소와 통신하기 위한 무선 송신기 및 수신기를 포함할 수 있다. 통신 모듈(156)을 통해 UAV(150)는 명령, 예를 들어, 관리되고 있는 자산의 좌표 및 자산의 상공으로 비행하기 위한 비행 경로를 포함하는 명령을 제어센터(130)로부터 수신할 수 있다.
D. 장애물 회피 방법
여기서 논의된 바와 같이, 원격작동로봇(110)과 같은 원격작동로봇은 자산유지를 수행하는 데 사용될 수 있다. 예를 들어, 일 실시예에서, 원격 작동식 잔디 깎는 기계와 같은 원격 작동식 로봇은 예를 들어 골프 코스와 같은 넓은 땅에서 잔디를 깎는 데 사용될 수 있다. 그러한 토지에는 잔디를 깎을 때 원격 작동식 잔디 깎는 기계에 장애물이 될 수 있는 알려진 물체와 알려지지 않은 물체가 포함될 수 있다. 원격작동로봇의 움직임을 방해할 수 있는 장애물을 피하기 위한 방법 및 시스템이 여기에 개시된다.
도 2는 본 개시의 일 실시예에 따른 장애물 회피를 위한 방법에 대한 흐름도를 도시한다. 구현예에서, 로봇 잔디 깎는 기계와 같은 자산의 유지 관리를 위한 원격작동로봇을 작동시키는 방법은, S202에서 원격작동로봇의 센서를 이용하여 자산의 유지 관리를 위한 원격작동로봇의 자율 작동 중에 원격작동로봇의 동작경로에 있는 물체와 관련된 데이터를 획득하는 과정을 포함한다. 일 실시예에서, 작동경로는 자산에 대한 사전 조사를 기반으로 사전에 결정될 수 있다. 일 실시예에서, 작동경로는 원격작동로봇을 둘러싼 환경의 실시간 분석에 기초하여 결정될 수 있다. 실시간 분석은 일 실시예에서 원격작동로봇에 탑재된 센서로부터 획득된 데이터에 기초하여 수행될 수 있다.
S204 과정에서, 제어센터에서는 물체에 관한 데이터에 기초하여 물체가 장애물일 확률이 임계값보다 큰지 여부를 판단한다. 물체가 장애물일 확률의 결정은, 예를 들어 물체의 감지된 모양 및 크기와 같은 요소를 기반으로 한다. 제어센터는 원격작동로봇에 통신 가능하게 결합된 프로세서를 포함한다. 예를 들어, 일 실시예에서, 제어센터는 시스템(100)의 제어센터(130)일 수 있다. 일 실시예에서, 제어센터는 원격작동로봇 내에 포함될 수 있다.
물체가 장애물일 확률이 임계값 이하인 것으로 판단되면, 제어센터는 원격작동로봇이 작동경로에서 계속 작동하도록 한다(S206).
물체가 장애물일 확률이 임계값보다 크면, 장애물의 위치 및 분류 중 하나 또는 둘 모두가 사전에 알려져 있는 것인지 여부를 판단한다(S208). 장애물은 예를 들어 움직일 수 있는 것, 움직일 수 없는 것, 수정할 수 있는(modifiable) 것, 수정할 수 없는 것, 횡단할 수 있는 것, 횡단할 수 없는 것, 새 것 또는 오래된 것으로 분류될 수 있다. 위치는 지구 좌표를 기준으로 한 절대 위치 또는 자산의 사전 식별된 랜드마크에 대한 상대적 위치로 파악될 수 있다.
장애물의 위치 또는 분류가 불명확한 경우, 제어센터는 장애물의 위치가 불명인지 여부를 판단한다(S210). 장애물의 위치가 알려져 있다고 판단되면, 제어센터에서 물체의 분류가 불명인지 여부를 판단한다(S212). 분류를 알고 있다고 판단되면, 제어센터에서 미관리영역을 보존하는(preserve) 대체 작동경로(alternate operating path)를 결정하고(S220), 제어센터는 원격작동로봇을 대체 작동경로에서 계속 동작하게 한다(S206).
한편, 장애물의 위치는 알지만 장애물의 분류를 알 수 없는 것으로 판단되면, 제어센터는 S214에서 장애물의 판단을 가능하게 하기 위해 장애물 검사 프로세스를 개시한다. 일 실시예에서, 프로세스는 장애물의 분류를 결정하기 위해 인간 감독자가 배치되게 하는 것을 포함한다. 일 실시예에서, 인간 감독자는 S216에서 장애물이 자산으로부터 제거 가능한지 여부를 추가로 결정할 수 있다.
일 실시예에서, 장애물의 검사를 위한 프로세스는 UAV가 장애물의 분류를 결정하도록 구성된 자산 상의 비행 경로로 비행하게 하는 것을 포함한다. 일 실시예에서, UAV 비행 경로는 자산의 3차원(3D) 기하학적으로 보정된 합성 지도(three-dimensional geometrically corrected composite map)를 포함하는 항공이미지(aerial image)를 획득하도록 구성된다. 그런 다음 3차원 기하학적으로 수정된 합성 지도를 제어센터 또는 원격작동로봇으로 전송하여 관리되지 않은 영역을 보존하도록 하는 대체 작동경로를 추정할 수 있다.
다시 도 2를 참조하면, 장애물의 위치를 알고 있는 것으로 판단되면 장애물의 분류를 알고 있는지 판단하고, S216에서 제어센터에서 객체(이제 장애물로 판단됨)와 관련된 자산 데이터에 기초하여 장애물이 제거가 가능한지 여부를 판단한다.
장애물 제거가 불가능한 것으로 판단되면, S220에서 제어센터에서 미관리영역을 보존하는 대체 작동경로를 결정하고, 원격작동로봇을 계속 운행하게 하고, S206에서는 원격작동 로봇이 대체 작동경로에서 계속 작동하도록 한다.
반면에 장애물 제거가 가능한 것으로 판단되면, 제어센터는 먼저 장애물이 통과 가능한지 여부를 판단한다(S218). 장애물을 통과할 수 있다고 결정되면 제어센터는 원격작동로봇이 S206에서 대체 작동경로에서 작동을 계속하도록 한다. 그리고 장애물을 통과할 수 없다고 판단되면 제어센터에서 S222 과정에서 수동으로 장애물을 제거하는 과정을 시작한다. 일 실시예에서, 프로세스는 장애물을 제거하기 위해 지상작업자(ground-crew)를 배치시키는 것을 포함할 수 있다.
일 실시예에서, 장애물이 제거 가능하지 않고 통과할 수 없는 것으로 결정되면, 제어센터는 원격작동로봇이 경로이동 및 작동 제어를 인간 조작자에게 양도하도록 할 수 있다. 일 실시예에서, 작업자는 자산의 현장에 있을 수 있다(예: 지상작업자). 일 실시예에서, 인간 조작자는 원격 사이트에서 원격으로 원격작동로봇을 작동할 수 있다.
E. 드론 기반 원격조작 및 자율 경로이동
특정 상황에서는 자산의 지형 및 자산의 주어진 영역 내의 장애물의 수에 따라 원격작동로봇에 탑재된 센서만을 사용하여 원격작동로봇을 자율적으로 이동하게 하고 작동시키는 것이 어려울 수 있다. 그러한 상황에서 인간 감독자 또는 조작자는 원격작동로봇을 이동 및/또는 조작할 수 있다. 그러나 이러한 상황에서도 원격작동로봇에 탑재된 센서로부터 입수한 데이터의 고유한 한계 때문에 인간 감독자 또는 조작자가 원격작동로봇의 작동경로를 추정하기 어려울 수 있다. 그러한 상황에서, 예를 들어 인간 감독자 또는 조작자가 원격작동로봇을 적절하게 경로이동시키고 작동시키기 위해 드론으로부터 항공뷰와 같은 조감도를 입수하는 것이 도움이 될 수 있다.
UAV용 센서를 적절하게 선택함으로써, 원격작동로봇의 경로이동을 가능하게 하는 원격작동로봇에 탑재된 센서를 보강하거나 대체할 수 있다. 예를 들어, UAV 상에 적절한 센서 세트를 사용하면 원격작동로봇에 탑재된 경로이동 센서(예: LiDAR)가 완전히 제거되어 원격작동로봇의 비용을 상당히 줄일 수 있다. 또한, 여기에 더 자세히 설명된 바와 같이, 특정 상황에서 여러 원격작동로봇 간에 UAV를 공유하여 장비 비용을 훨씬 더 줄일 수 있다.
도 3a, 3b 및 3c는 본 개시의 실시예에 따른, 자산유지를 위해 원격작동로봇을 작동시키는 방법에 대한 흐름도를 도시한다. 일 실시예에서, 이 방법은 원격작동로봇 및 UAV에 통신 가능하게 결합된 제어센터에서 구현될 수 있다. 제어센터는 원격작동로봇에 통신 가능하게 결합된 프로세서를 포함한다. 예를 들어, 일 실시예에서, 제어센터는 시스템(100)의 제어센터(130)일 수 있다. 일 실시예에서, 제어센터는 원격작동로봇 내에 포함될 수 있다.
일 실시예에서, 이 방법은 S302에서, 자산유지를 위한 원격작동로봇의 작동 동안에 원격작동로봇의 작동경로 상에서 검출된 장애물과 관련된 데이터를 제어센터에서 수신하는 과정을 포함한다. 일 실시예에서 장애물과 관련된 데이터는 원격작동로봇에 탑재된 센서를 사용하여 획득된다. 장애물과 관련된 데이터는 광학 이미지, LiDAR 데이터, 초음파 데이터, 스펙트럼 데이터 및 적외선(IR) 데이터를 포함할 수 있지만 이에 국한되지 않는다.
S304 과정에서, 제어센터에서는, 장애물에 관한 데이터에 기초하여 장애물 회피 경로를 추정할 수 있는지 여부를 판단한다. 일 실시예에서, 장애물을 회피하는 경로가 장애물과 관련된 데이터에 기초하여 추정될 수 있는지 여부는, S321에서 제어센터에서 장애물의 위치 및 분류 중 하나 또는 둘 모두가 이전에 알려진 것인지 여부를 판단함으로써 결정된다. S322 과정에서, 장애물의 위치 및 분류가 사전에 알려져 있지 않다고 판단되면, 제어센터에서 장애물과 관련된 데이터를 기반으로 장애물을 둘러싸는 바운더리 박스(boundary box)를 추정할 수 있는지 여부를 제어센터에서 판단한다. 장애물과 관련된 데이터에 기초하여 바운더리 박스를 추정할 수 있다고 판단되면, S323에서, 장애물과 관련된 데이터를 기반으로 장애물을 회피하는 경로를 추정할 수 있다고 판단한다. 바운더리 박스를 추정할 수 없다고 판단되면, S324에서 제어센터에서 장애물과 관련된 데이터를 기반으로 장애물 회피 경로를 계획할 수 없다고 판단한다.
장애물과 관련된 데이터를 기반으로 장애물 회피 경로를 추정할 수 있는 것으로 판단되면, S306에서 장애물과 관련된 데이터를 이용하여 동작경로로부터의 편차를 최소화하는 대체 작동경로를 추정하고, S308에서, 제어센터는 원격작동로봇이 대체 작동경로에서 계속 작동하도록 한다.
한편, 장애물과 관련된 데이터를 기반으로 장애물 회피 경로를 추정할 수 없다고 판단되면, 제어센터는 S310 과정에서 무인항공기(UAV)의 비행을 개시한다. 무인항공기의 비행경로는 원격작동로봇의 동작경로로부터의 편차를 최소화하면서 장애물을 회피하는 경로를 추정할 수 있도록 장애물 주변 지역의 항공이미지를 획득하도록 구성된다. 일 실시예에서, 항공이미지는 광학 이미지, LiDAR 데이터, 또는 초음파 센서 데이터 중 하나 이상을 포함할 수 있다.
S312에서, 제어센터에서 장애물과 항공이미지에 관한 데이터를 이용하여 장애물을 회피하는 경로가 추정될 수 있는지 여부가 결정된다. 일 실시예에서, 장애물 및 항공이미지에 관한 데이터에 기초하여 장애물 회피 경로가 추정될 수 있는지 여부는, S341에서 제어센터에서, 장애물 및 항공이미지와 관련된 데이터를 기반으로 장애물을 둘러싸는 바운더리 박스가 기반으로 추정될 수 있는지 여부를 판단함으로써 결정된다. S342 과정에서, 장애물에 관한 데이터 및 항공이미지에 기초하여 바운더리 박스를 추정할 수 있다고 판단되면, 장애물에 관한 데이터에 기초하여 장애물을 회피하는 경로를 추정할 수 있다고 판단한다. S343에서, 바운더리 박스를 추정할 수 없다고 판단되면, 제어센터에서 장애물과 관련된 데이터를 기반으로 장애물 회피 경로를 계획할 수 없다고 결정한다.
장애물과 관련된 데이터를 기초로 장애물 회피 경로를 추정할 수 있다고 판단되면, S314 과정에서 장애물 및 항공이미지와 관련된 데이터를 이용하여 작동경로로부터의 편차를 최소화하는 대체 작동경로를 추정한다. S308에서 제어센터는 원격작동로봇이 대체 작동경로에서 계속 작동하도록 한다.
한편, 장애물 및 항공이미지에 대한 데이터를 기반으로 장애물 회피 경로를 추정할 수 없는 것으로 판단되면, S316에서 제어센터는 원격작동로봇으로 하여금 인간 감독자 또는 조작자에게 제어권을 양도하게 한다(S316).
일 실시예에서, UAV는 원격작동로봇 상의 특정 높이에서 호버링하도록 구성될 수 있고/있거나 원격작동로봇으로부터 특정 거리를 유지하도록 구성될 수 있다. 일 실시예에서, UAV는 원격작동로봇에 테더링된다(tethered). 그러한 실시예에서, 테더는 원격작동로봇에 탑재된 전원(예를 들어, 배터리)으로부터 UAV에 전력을 제공할 수 있다.
일 실시예에서, 원격작동로봇은 UAV가 착륙하기 위한 착륙 패드를 포함할 수 있다. 제어센터에 의해 비행을 시작하면 UAV는 착륙 패드로부터 이륙했다가 필요한 항공이미지를 입수한 후 복귀할 수 있다.
일 실시예에서, 착륙 패드는 UAV가 연속 비행 사이에 배터리를 보충할 수 있도록 하는 유도 충전 포트를 포함할 수 있다.
일 실시예에서, UAV는 인근 자산에서 자산유지를 수행하는 제2 원격작동로봇에 통신 가능하게 결합될 수 있고, 본 원격작동로봇이 작동 및/또는 경로이동을 위한 항공이미지가 필요 없을 때 제2 원격작동로봇에 의해 활용(즉, 공유)될 수 있다. 유리하게는, 이러한 공유는 주어진 지역 내에서 필요한 드론의 수를 줄여 투자 비용을 줄인다.
F. 라이다 기반 원격 조작 및 경로이동
일 실시예에서, 항공이미지 대신에, 원격작동로봇에 제공된 LiDAR의 포인트 클라우드가 제어센터에 제공된다(궁극적으로 인간 감독자 또는 조작자에게 제공될 수 있다). 유리하게는, 온보드 LiDAR를 사용하면 UAV에 대한 필요성이 없어지고, LiDAR 포인트 클라우드가 UAV로 얻은 광학 이미지 대비 덜 데이터 집약적이기 때문에 대역폭도 상당히 적게 필요하다. 따라서 지연 시간이 짧은 원격 조작이 가능할 수 있다.
G. 원격작동로봇 및 지상작업자의 스케줄링 동작
관리 중인 자산에 험난한 지형이 있거나 많은 장애물이 있는 경우 원격작동로봇을 지원하기 위해 인간 감독자/조작자 및/또는 지상작업자가 필요할 수 있다. 이러한 상황에서는 비용을 최적화하기 위해 자산유지 관리를 수행하는 데 소요되는 인적 노동시간과 총 시간을 최소화하는 것이 중요하다. 따라서, 본 발명의 일 측면은 인간의 노동시간 및 총 소요시간을 최소화하면서 자산유지를 위한 원격작동로봇을 운용하는 방법을 포함한다.
도 4는 본 발명의 일 실시예에 따른 자산 관리를 위한 원격작동로봇의 작동 방법에 대한 흐름도를 도시한다.
일 구현예에서, 본 방법은 402에서 UAV를 사용하여 획득된 자산의 항공이미지를 제어센터가 수신하는 과정을 포함할 수 있다. 제어센터는 원격작동로봇에 통신 가능하게 결합된 프로세서를 포함한다. 예를 들어, 일 실시예에서, 제어센터는 시스템(100)의 제어센터(130)일 수 있다. 일 실시예에서, 제어센터는 원격작동로봇 내에 포함될 수 있다.
일 실시예에서, 항공이미지는 광학 이미지, LiDAR 데이터, 또는 초음파 센서 데이터 중 적어도 하나를 포함한다. 일 실시예에서, 항공이미지는 3차원(3D) 기하학적으로 보정된 자산의 합성 맵(composite map)을 포함한다.
S404에서, 항공이미지를 기반으로 제어센터에서 자산유지가 수행될 자산 내 관심영역을 결정한다.
S406에서, 항공이미지를 기반으로, 제어센터에서 관심영역을 원격작동로봇이 자율적으로 경로이동할 수 있는 제1영역과 원격으로 자율적으로 경로이동할 수 없는 제2영역으로 분류한다. 일 실시예에서, 제2영역은 원격작동로봇의 원격 조작에 의해 경로이동 가능한 제3영역과 지상작업자의 현장개입이 필요한 제4영역으로 더 분류된다.
일 실시예에서, 지상작업자에 의한 현장개입은, 제4영역을 제1영역 또는 제3영역으로 렌더링하기 위해 제4영역의 환경을 수정(modify)하는 것을 포함할 수 있다. 이러한 수정은 다음과 같은 작업을 수행함으로써 이루어진다: 제4영역으로부터 물체를 제거; 제4영역의 일부 지형 평활화; 제4영역 내의 물체를 다른 위치로 이동; 제4영역의 일부에 자외선 가시성 페인트 분사; 장애물이 제거된 제4영역의 영역 확장; 제4영역 내 알려진 장애물 근처의 작동 여유(margin of operation) 확대; 수리를 위해 제4영역의 일부에 플래그 지정; 부가 작업을 위해 제4영역의 일부에 플래그 지정; 또는 이들의 조합.
일 실시예에서, 관심영역을 분류하는 것은 관심영역 내의 원격작동로봇에 대한 작동경로를 결정하고, 다음 중 하나 이상을 판단하는 것을 포함할 수 있다. 이러한 판단은: 관심영역 내 원격작동로봇의 작동을 방해하는 장애물의 수; 관심영역 내 단위면적당 장애물의 밀도; 관심영역 내 장애물의 크기; 장애물의 종류; 항공이미지를 기반으로 한 관심영역 내 장애물의 상대적 위치를 포함한다.
제1, 제3 및 제4영역은 지도의 분리된 부분 또는 범주가 한정된 상호 연결된 공간(disjoint portions of a map or an enclosed connected space)을 지칭하는 것이 아니라 자산 내에서의 복수의 분리된 비연결된 공간(disjoint non-connected spaces)을 지칭하는 것으로 이해될 것이다. 따라서, 일 실시예에서, 관심영역은 다수의 연결되지 않은 제1영역, 다수의 연결되지 않은 제3영역 및 다수의 연결되지 않은 제4영역을 포함할 수 있다.
S408과정에서, 제어센터에서 제1영역과 제2영역의 상대적인 크기에 기초하여 관심영역의 자산관리를 위한 원격작동로봇의 운행스케줄을 결정한다. 스케줄은 자산유지 관리를 수행하는 데 소요되는 노동 시간과 총 시간을 최소화하도록 구성된다. 스케줄이 하루 중 특정 시간에 제한되지 않음을 이해해야 한다. 예를 들어, 스케줄에는 야간에 자율적 자산유지 관리를 수행하는 것이 포함될 수 있으며, 지상작업자 또는 사람 감독자/조작자가 필요한 작업은 낮에(또는 사람 감독자/조작자가 근무하는 시간대에 따라서는 밤에) 수행될 수 있다.
일 실시예에서, 스케줄은 서로 다른 영역에서의 작동 시간 및 유사하게 분류된 영역 간에 원격작동로봇을 이동시키는 데 필요한 시간에 대한 허락을 포함할 수 있다. 예를 들어, 시간 허락은, 제1영역과 제2 제1영역이 제4영역에 의해 분리되어 서로 연결되지 않은 경우, 원격작동로봇을 제1영역으로부터 제2영역으로 이동시키는 것을 포함할 수 있다.
일 실시예에서, 작동 스케줄은 작동경로의 시작 및 종료 지점의 좌표를 포함하는 상이한 영역 각각에서 원격작동로봇에 대한 작동경로뿐만 아니라 상이한 영역에서의 작동 시간을 포함한다. 예를 들어, 스케줄은 원격 작동 로봇의 제1영역의 좌표 및 상기 제1영역 내에서 자율적으로 자산 관리를 수행하기 위한 작동경로의 종료 지점 및 시작 지점의 좌표를 포함할 수 있다.
일 실시예에서, 유사하게 분류된 영역 사이의 거리를 최소화하기 위해 주어진 영역에서 원격작동로봇에 대한 작동경로가 생성될 수 있다. 예를 들어, 스케줄은 제1영역의 자산유지 관리를 자율적으로 수행하기 위한 제1 동작경로 및 인간 조작자에 의한 원격작동로봇에 의한 원격 조작에 의해 제2영역의 자산유지 관리를 수행하기 위한 제2 동작경로를 포함할 수 있다. 이러한 실시예에서, 원격작동로봇을 제1 제1영역에서 제2 제1영역으로 이송하는 데 필요한 시간을 최소화함으로써 스케줄이 최적화된다. 이것은 예를 들어, 제1 제1영역과 제2 제1영역 사이의 최단 경로를 결정하고, 제1 제1영역 및 제2 제1영역에 대한 작동경로가, 제1 제1영역에 대한 작동경로가 제1 제1영역과 제2 제1영역 사이의 최단 경로의 일단에서 끝나는 식으로 자산유지를 수행하기 위하여 동작경로를 생성함으로써 수행된다.
일 실시예에서, 스케줄은 지상작업자의 정상적인 작업 스케줄과의 간섭을 최소화하도록 추가로 구성된다.
H. 자산 지도 사전 기록
일 실시예에서, 무인항공기를 이용한 작업 현장에 대한 작업 전 상공비행이, 관심 기록 데이터(예를 들어, 장애물, 경계, 센서 판독값 등)를 기록(record)하기 위해 수행된다. 기록된 관심 데이터는 지상 차량 기록에 의해 사이트 매핑 당 한번씩 페어링(pairing)될 수 있다. 따라서 LiDAR, 깊이 카메라, 초음파 데이터를 항공 데이터와 융합하여 자산의 3차원 지도를 만들 수 있다. 이 3차원 지도는 해당 자산 내에서 작업을 수행할 때 빠른 검색 및 경로이동을 위해 저장될 수 있다.
예를 들어 잔디 깎는 기계 또는 조경 도구와 같은 자산유지 도구를 자동적으로 작동하는 데 있어서의 과제 중 하나는 장애물(나무, 덤불, 벽 등) 근처에서 정확한 위치를 파악하는 것이다. 실시간 운동(Real-time Kinenatic) GPS(RTK GPS) 포지셔닝은 오류 허용 오차(tolerances of error )를 제공하지만 이러한 허용 오차는 특히 다중 경로 오류를 고려하면 충분하지 않을 수 있다. 이러한 상황에서 위치 파악의 정확도를 높이고 상공에 대한 가시성(line of sight) 및 도구에 대한 가시성 및 근접성 유지를 위해 UAV에는 기지국(base station)이 장착될 수 있다.
일 실시예에서, UAV는 지상으로부터의 일정한 고도를 제외하고, 원격작동로봇이 진행하는 작동경로와 유사한 경로 상의 영역 위를 비행한다. 이러한 사전 성능 확인(pre-performance check) 동안 시각 데이터, LiDAR 데이터, GPS(RTK 및 비 RTK) 데이터를 포함하되 이에 국한되지 않는 여러 센서로부터의 데이터가 해당 자산에 대해 기록되고, 임 알려진 움직일 수 없는 장애물이 분류 및 매핑된다. 이 분류 프로세스는 드론 자체에서 실행되는 알고리즘을 통해 수행되거나, 항공기 중량을 줄여야 할 필요가 있는 경우에는 제어센터에서 수행될 수 있다.
추가적으로 또는 대안적으로, 일 실시예에서, 원격작동로봇이 수동 모드(즉, 원격 또는 현장에 있는 인간 사용자에 의해 동작하는)로 동작할 때, 도구(tool) 및 위성(satellite)을 가시권에 둔 장애물 주변에서의 UAV GPS 판독값이 얻어질 수 있다. 이러한 판독값은 다른 결정의 기반이 되는 자산의 지도/경로에 대한 지상실측정보(ground truth)로 기능할 수 있다.
I. 항목들(clauses)
항목 1. 자산유지(property maintenance)를 위한 원격작동로봇(tele-operated robot)의 작동(operation)방법에 있어서, 무인항공기(UAV)를 사용하여 획득한 자산의 항공이미지(aerial image)를, 프로세서를 갖는 제어센터에서 수신하는 과정 - 상기 제어센터는 상기 UAV 및 상기 원격작동로봇과 통신 가능하게 연결됨 -; 상기 항공이미지를 기반으로 상기 자산유지가 수행될 자산 내 관심영역을 상기 제어센터에서 결정하는 과정; 상기 제어센터에서 상기 항공이미지를 기반으로 상기 관심영역을 상기 원격작동로봇이 자율적으로 경로이동(navigate)할 수 있는 제1영역과 상기 원격작동로봇이 자율적으로 경로이동할 수 없는 제2영역으로 분류하는 과정; 상기 제어센터에서, 상기 제1영역과 상기 제2영역의 상대적인 크기에 기초하여 상기 관심영역의 자산관리를 수행하는 원격작동로봇의 작동 스케줄을 결정하는 과정 - 상기 스케줄은 노동시간 및 상기 자산유지를 수행하는 데 소요된 총 시간을 최소화하도록 설정됨; 및 결정된 스케줄에 따라 상기 자산유지를 수행하는 과정을 포함하는 원격작동로봇의 운용방법.
항목 2. 항목 1에 있어서, 상기 제2영역은, 상기 원격작동로봇의 원격조작이 가능한 제3영역과 지상작업자의 현장개입(on-site intervention)이 필요한 제4영역으로 더 구분되는 것을 특징으로 하는 원격작동로봇의 운용방법.
항목 3. 항목 2에 있어서, 상기 스케줄을 결정하는 과정은, 지상작업자의 정상적인 작업 스케줄에 대한 간섭을 최소화하도록 더 구성되는 원격작동로봇의 운용방법.
항목 4. 항목 2에 있어서, 상기 지상작업자에 의한 현장개입은: 상기 제4영역에서 물체를 제거; 상기 제4영역의 일부 지형 평활화; 상기 제4영역 내의 물체를 다른 위치로 이동; 상기 제4영역의 일부에 자외선 가시성 페인트 분사; 상기 제4영역 내에서 장애물이 제거된 부분의 확장; 상기 제4영역 내 알려진 장애물 근처의 작동 여유(margin of operation) 확대; 수리를 위해 상기 제4영역의 일부에 플래그 지정; 또는 이들의 조합을 수행함으로써, 상기 제4영역을 상기 제1영역 또는 상기 제3영역으로 렌더링하도록 상기 제4영역의 환경을 수정하는 것을 포함하는 원격작동로봇의 운용방법.
항목 5. 항목 1에 있어서, 상기 제어센터로부터 상기 원격작동로봇으로 상기 제1영역의 좌표를 전송하여 상기 원격작동로봇이 상기 제1영역의 자산관리를 자율적으로 수행할 수 있도록 하는 과정을 포함하는 원격작동로봇의 운용방법.
항목 6. 항목 1에 있어서, 상기 항공이미지는 광학 이미지, LiDAR 데이터 또는 초음파 센서 데이터 중 적어도 하나를 포함하는 원격작동로봇의 운용방법.
항목 7. 항목 1에 있어서, 상기 관심영역을 분류하는 과정은, 상기 관심영역 내에서 상기 원격작동로봇의 동작경로(operating path)를 결정하는 과정; 및 상기 관심영역 내에서 상기 원격작동로봇의 작동을 방해하는 장애물의 수, 상기 관심영역 내 단위 영역당 상기 장애물의 밀도, 상기 관심영역 내 상기 장애물의 크기, 상기 장애물의 종류 및 항공이미지(aerial image)를 기반으로 관심영역 내 상기 장애물의 상호간 상대적인 위치 중 하나 이상을 결정하는 과정을 포함하는 원격작동로봇의 운용방법.
항목 8. 항목 1에 있어서, 상기 제어센터에서, 상기 항공이미지에 기초하여, 상기 제1영역의 자산유지를 자율적으로 수행하기 위한 제1 작동경로 및 사람이 원격작동로봇을 원격으로 조작하여 상기 제1영역의 유지를 수행하기 위한 제2 작동경로를 결정하는 과정을 더 포함하는 원격작동로봇의 운용방법.
항목 9. 자산유지(property maintenance)를 위한 원격작동로봇으로서, 상기 자산유지를 수행하도록 구성된 하나 이상의 액추에이터를 포함하는 툴킷; 상기 원격작동로봇의 주변 환경을 감지하는 센서를 포함하는 센서 모듈; 및 프로세서에 결합된 비일시적 메모리를 포함하되, 상기 비일시적 메모리는 명령어를 포함하고, 상기 명령어는 프로세서가: 상기 자산유지를 위한 원격작동로봇의 작동 중에 상기 원격작동로봇의 센서를 사용하여 상기 원격작동로봇의 작동경로에서 감지된 장애물과 관련된 데이터를 수신하고, - 상기 제어센터는 통신적으로 연결된 프로세서를 포함함; 상기 장애물과 관련된 데이터에 기초하여 상기 장애물을 회피하는 경로가 추정될 수 있는지 여부를 결정하고; 장애물 회피 경로를 추정할 수 없다고 판단되면, 무인항공기(UAV)의 비행을 개시하고, - 상기 UAV의 비행 경로는, 원격작동로봇의 동작경로와의 편차를 최소화하면서 상기 장애물을 피하는 경로를 추정 가능하도록 장애물 주변 영역의 항공이미지를 획득하도록 구성됨- 를 수행하는, 원격작동로봇.
항목 10. 항목 9에 있어서, 상기 항공이미지는 광학 이미지, LiDAR 데이터 또는 초음파 센서 데이터 중 적어도 하나를 포함하는 원격작동로봇.
항목 11. 항목 9에 있어서, 상기 장애물 회피 경로를 추정할 수 있는지 여부를 판단하는 과정은, 상기 장애물의 위치 및 분류 중 하나 또는 둘 모두가 사전에 알려져 있는지 여부를 결정하는 과정; 상기 장애물의 위치 및 분류가 사전에 알려지지 않은 것으로 판단되면, 상기 장애물과 관련된 데이터에 기초하여 상기 장애물을 둘러싸고 있는 바운더리 박스를 추정할 수 있는지 여부를 판단하는 과정; 상기 장애물에 관한 데이터에 기초하여 상기 바운더리 박스를 추정할 수 있다고 판단되면, 상기 장애물에 관한 데이터에 기초하여 장애물 회피 경로가 추정 가능하다고 판단하는 과정; 및 상기 장애물에 관한 데이터에 기초하여 상기 바운더리 박스를 추정할 수 없다고 판단되면, 상기 장애물에 관한 데이터에 기초하여 상기 장애물을 회피하는 경로를 계획할 수 없다고 판단하는 과정을 포함하는 원격작동로봇.
항목 12. 항목 11에 있어서, 상기 대체 작동경로가 결정되면, 상기 명령어는 상기 프로세서가 상기 대체 작동경로를 사용하여 상기 원격작동로봇의 자율 작동을 계속하도록 하는 원격작동로봇.
항목 13. 항목 11에 있어서, 대체 작동경로가 결정되면, 대체 작동경로를 사용하여 원격작동로봇의 자율 동작을 계속하는 과정을 더 포함하는 방법.
항목 14. 항목 9에 있어서, 상기 명령어는 프로세서가: 장애물 및 항공이미지에 관한 데이터에 기초하여 바운더리 박스가 추정될 수 있는지 여부를 결정하고; 상기 장애물 및 상기 항공이미지에 관한 데이터에 기초하여 바운더리 박스가 추정될 수 있다고 결정하면, 장애물을 회피하는 경로가 추정될 수 있다고 결정하고; 상기 제어센터에서 상기 장애물 및 상기 항공이미지와 관련된 데이터를 기반으로 상기 바운더리 박스를 추정할 수 없다고 판단되면 장애물 회피경로를 추정할 수 없다고 판단하고 원격작동로봇의 제어권을 인간 원격조작자에게 양도하도록 하는, 원격작동로봇.
항목 15. 항목 14에 있어서, 상기 명령어는 상기 프로세서가: 상기 장애물 회피 경로를 추정할 수 있다고 판단되면, 상기 제어센터에서 상기 작동경로부터의 편차를 최소화하는 대체 작동경로를 추정하도록 하는, 원격작동로봇.
항목 16. 항목 14에 있어서, 상기 명령어는, 상기 프로세서가, 대체 작동경로의 결정이 있는 경우 대체 작동경로를 이용하여 상기 원격작동로봇의 자율 작동을 계속하도록 하는, 원격작동로봇.
항목 17. 항목 9에 있어서, 상기 UAV는 상기 원격작동로봇에 테더링되는(tethered) 원격작동로봇.
항목 18. 항목 9에 있어서, 상기 항공이미지는 상기 자산의 3차원(3D) 기하학적으로 보정된 합성 지도를 포함하는 원격작동로봇.
항목 19. 항목 18에 있어서, 상기 명령어는 상기 프로세서가: 상기 원격작동로봇에 3차원 기하학적으로 수정된 합성 지도를 전송하고; 상기 3차원 기하학적으로 수정된 합성 지도를 기반으로 상기 자산의 고정 장애물에 대한 상기 원격작동로봇의 위치 및 거리를 실시간으로 추정하도록 하는 원격작동로봇.
항목 20. 자산유지를 위한 원격작동로봇의 작동 방법에 있어서, 상기 원격작동로봇의 자산관리를 위한 자율운행 중, 상기 원격작동로봇의 센서를 이용하여 상기 원격작동로봇의 동작경로에 있는 장애물과 관련된 데이터를 획득하는 과정; 상기 원격작동로봇에 통신 가능하게 결합된 프로세서를 포함하는 상기 장애물의 위치 및 분류 중 하나 또는 둘 모두가 사전에 알려져 있는지 여부를 상기 제어센터에서 결정하는 과정; 상기 장애물의 위치와 분류가 사전에 알려져 있지 않다고 판단되면, 상기 장애물을 회피하면서 상기 자산의 관리되지 않은 영역을 보존하는 대체 작동경로가 상기 장애물 관련 데이터를 기반으로 추정될 수 있는지 여부를 상기 제어센터에서 결정하는 과정; 상기 대체 작동경로가 추정될 수 있다고 결정되면 상기 대체 작동경로를 상기 제어센터에서 추정하는 과정; 및 상기 대체 작동경로를 이용하여 상기 원격작동로봇의 자율 작동을 계속하도록 하는 과정을 포함하는 원격작동로봇의 작동 방법.
항목 21. 항목 20에 있어서, 상기 대체 작동경로를 계획할 수 없다고 결정되면, 상기 장애물을 제거할 수 있는지 여부를 상기 제어센터에서 결정하는 과정; 및 상기 장애물이 제거 가능하다고 결정되면 상기 제어센터에서 상기 장애물을 수동으로 제거하는 프로세스를 시작하는 과정을 더 포함하는 원격작동로봇의 작동 방법.
항목 22. 항목 20에 있어서, 상기 장애물과 관련된 데이터를 기반으로 상기 대체 작동경로를 추정할 수 없다고 판단되면, 상기 제어센터에서 상기 원격작동로봇의 제어를 인간 원격조작자에게 양도하는 과정을 더 포함하는 원격작동로봇의 작동 방법.
항목 23. 자산유지를 위한 원격작동로봇으로서, 자산유지 관리를 수행하도록 구성된 하나 이상의 액추에이터를 포함하는 툴킷; 원격작동로봇의 주변 환경을 감지하는 센서를 포함하는 센서 모듈; 및 명령어(instructions)를 갖는 비일시적 메모리에 결합된 프로세서를 포함하되, 상기 명령어는 프로세서로 하여금: 자산의 유지를 위한 원격작동로봇의 작동 동안, 로봇의 작동경로에서 검출된 장애물과 관련된 데이터를 수신하고 - 제어센터는 원격작동로봇에 통신 가능하게 결합된 프로세서를 포함함-; 장애물과 관련된 데이터에 기초하여 장애물을 회피하는 경로가 추정될 수 있는지 여부를 결정하고; 장애물 회피 경로를 추정할 수 없다고 판단되면, 무인항공기(UAV)의 비행을 개시하고, 원격작동로봇의 동작경로와의 편차를 최소화하면서 장애물을 회피하면서 UAV의 비행 경로는 추정을 가능하게 하기 위해 장애물 주변 영역의 항공이미지를 획득하도록 하는 원격작동로봇.
항목 24. 항목 23에 있어서, 항공이미지는 광학 이미지, LiDAR 데이터, 또는 초음파 센서 데이터 중 적어도 하나를 포함하는 원격작동로봇.
항목 25. 항목 23에 있어서, 장애물 회피 경로가 추정될 수 있는지 여부를 결정하는 과정은, 장애물의 위치 및 분류 중 하나 또는 둘 모두가 사전에 알려져 있는지 여부를 결정하는 과정; 상기 장애물의 위치 및 분류가 사전에 알려지지 않은 것으로 판단되면, 상기 장애물과 관련된 데이터에 기초하여 장애물을 둘러싸고 있는 바운더리 박스를 추정할 수 있는지 여부를 판단하는 과정; 상기 장애물에 관한 데이터에 기초하여 바운더리 박스를 추정할 수 있다고 판단되면, 상기 장애물에 관한 데이터에 기초하여 장애물 회피 경로를 추정할 수 있다고 판단하는 과정; 및 상기 장애물에 관한 데이터에 기초하여 바운더리 박스를 추정할 수 없다고 판단되면, 상기 장애물에 관한 데이터에 기초하여 장애물 회피 경로를 계획할 수 없다고 판단하는 과정을 포함한다.
항목 26. 항목 25에 있어서, 명령어는 프로세서가 장애물을 피하는 경로가 추정될 수 있다고 결정하면 동작경로로부터의 편차를 최소화하는 대체 작동경로를 추정하게 하는 원격작동로봇.
항목 27. 항목 25에 있어서, 명령어는 또한 프로세서가 대안 작업 경로의 결정 시에 대안 작업 경로를 사용하여 원격작동로봇의 자율 작동을 계속하도록 하는 원격작동로봇.
항목 28. 항목 23에 있어서, 명령어는 프로세서로 하여금: 장애물 및 항공이미지에 관한 데이터에 기초하여 바운더리 박스가 추정될 수 있는지 여부를 결정하고; 장애물 및 항공이미지에 관한 데이터에 기초하여 바운더리 박스가 추정될 수 있다고 결정하면, 장애물을 회피하는 경로가 추정될 수 있다고 결정하고; 제어센터에서 장애물 및 항공이미지에 관한 데이터를 기반으로 경계 상자를 추정할 수 없다고 결정하면 장애물을 피하는 경로를 추정할 수 없다고 결정하고 원격작동로봇의 제어를 인간 원격조작자에게 넘기는 원격작동로봇.
항목 29. 항목 28에 있어서, 명령어는 프로세서가 제어센터에서 장애물을 피하는 경로가 추정될 수 있다고 결정하면 편차를 최소화하는 대체 작동경로를 추정하게 하는 원격작동로봇.
항목 30. 항목 28에 있어서, 명령어는 프로세서가 대체 작동경로의 결정 시에 대체 작동경로를 사용하는 원격작동로봇의 자율 작동을 계속하도록 추가로 지시하는 원격작동로봇.
항목 31. 항목 23에 있어서, UAV는 원격작동로봇에 테더링되는 원격작동로봇.
항목 32. 항목 23에 있어서, 항공이미지는 자산의 3차원(3D) 기하학적으로 보정된 합성 맵을 포함하는 원격작동로봇.
항목 33. 항목 32에 있어서, 명령어는 프로세서로 하여금: 3차원 기하학적으로 보정된 합성맵을 원격작동로봇에 전송하고; 3차원 기하학적으로 보정된 합성맵을 기반으로 자산의 고정 장애물에 대한 원격작동로봇의 위치 및 거리를 실시간으로 추정하는 원격작동로봇.
항목 34. 자산유지를 위한 원격작동로봇으로서, 자산유지 관리를 수행하도록 구성된 하나 이상의 액추에이터를 포함하는 툴킷; 원격작동로봇의 주변 환경을 감지하는 센서를 포함하는 센서 모듈; 및 프로세서에 결합된 비일시적 메모리 - 상기 비일시적 메모리는 명령어를 갖고, 상기 명령은 프로세서가: 무인항공기(UAV)를 사용하여 획득된 자산의 항공이미지를 수신하고, 제어센터는 통신 가능하게 결합됨 - UAV 및 원격작동로봇에 연결되고 프로세서를 포함하고; 항공이미지를 기반으로 자산유지 관리가 수행될 자산 내 관심영역을 결정하고; 항공이미지에 기초하여 관심영역을 원격작동로봇에 의해 자율적으로 경로이동할 수 있는 제1영역과 원격작동로봇에 의해 자율적으로 경로이동할 수 없는 제2영역으로 분류하고; 제 1 영역과 제 2 영역의 상대적인 크기를 기반으로 관심영역의 자산유지 관리를 수행하는 원격작동로봇의 작동 스케줄을 결정하며, 스케줄은 수행에 소요되는 총 시간과 노동 시간을 최소화하도록 구성되는 원격작동로봇.
항목 35. 항목 34에 있어서, 상기 제2영역은 원격작동로봇의 원격 조작에 의해 경로이동 가능한 제3영역과 지상작업자의 현장개입이 필요한 제4영역으로 더 분류되는 원격작동로봇.
항목 36. 항목 35에 있어서, 스케줄을 결정하는 과정은 지상작업자의 정상적인 작업 스케줄에 대한 간섭을 최소화하도록 추가로 구성되는 원격작동로봇.
항목 37. 항목 35에 있어서, 지상작업자에 의한 현장개입은 제4영역을 제1영역 또는 제3영역으로 렌더링하기 위해 제4영역에서 물체 제거, 제4영역의 일부에서 지형 평활화, 제4영역 내의 물체를 다른 위치로 이동, 제4영역의 일부에 자외선 가시성 페인트 스프레이, 영역 확장 제4영역 내에서 장애물이 제거되는 경우, 제4영역 내 알려진 장애물 근처의 작동 여유 확대, 수리를 위해 제4영역의 일부에 플래그 지정, 액세서리 작업을 위해 제4영역의 일부에 플래그 지정 또는 이들의 조합을 수행하는 원격작동로봇.
항목 38. 항목 34의 원격작동로봇에 있어서, 상기 명령어는 프로세서로 하여금: 원격작동로봇이 자산유지 관리를 자율적으로 수행할 수 있도록 원격작동로봇에 제1영역의 좌표를 전송하게 하는 것을 특징으로 하는 원격작동로봇.
항목 39. 항목 34에 있어서, 항공이미지는 광학 이미지, LiDAR 데이터, 또는 초음파 센서 데이터 중 적어도 하나를 포함하는 원격작동로봇.
항목 40. 항목 34에 있어서, 관심영역을 분류하는 과정은, 관심영역 내 원격작동로봇의 작동경로를 결정하는 과정; 및 관심영역 내에서 원격작동로봇의 작동을 방해하는 장애물의 수, 관심영역 내 단위 영역당 장애물의 밀도, 관심영역 내 장애물의 크기, 항공이미지를 기반으로 장애물의 종류 및 관심영역 내 장애물의 상대적 위치를 기반으로 하는 원격작동로봇.
항목 41. 항목 34에 있어서, 명령어는 프로세서가 항공이미지에 기초하여 제1영역에서 자산의 유지 관리를 자율적으로 수행하기 위한 제1 작동경로를 더 결정하게 하고, 인간 조작자에 의한 원격작동로봇의 원격 조작에 의해 제2영역의 자산유지를 수행하기 위한 제2 작동경로를 결정하도록 하는 원격작동로봇.
항목 42. 자산유지를 위한 원격작동로봇으로서, 자산유지 관리를 수행하도록 구성된 하나 이상의 액추에이터를 포함하는 툴킷; 원격작동로봇의 주변 환경을 감지하는 센서를 포함하는 센서 모듈; 및 프로세서에 결합된 비일시적 메모리 - 상기 비일시적 메모리는 명령어를 갖고, 상기 명령어는 프로세서가: 자산의 유지를 위한 원격작동로봇의 자율 작동 동안 장애물과 관련된 데이터를 획득하고; 원격작동로봇의 센서를 이용하여 원격작동로봇의 동작경로에서 원격작동로봇에 통신 가능하게 결합된 프로세서를 포함하는 장애물의 위치 및 분류 중 하나 또는 둘 모두가 사전에 알려져 있는지 여부를 결정하고; 장애물의 위치와 분류가 사전에 알려지지 않은 경우 장애물을 회피하면서 자산의 유지 관리되지 않은 영역을 보존하는 대체 작동경로가 장애물과 관련된 데이터를 기반으로 추정될 수 있는지 여부를 결정하고; 대체 작동경로가 추정될 수 있다고 결정되면 대체 작동경로를 추정하고; 대체 작동경로를 사용하여 원격작동로봇의 자율 작동을 계속하도록 하는 원격작동로봇.
항목 43. 항목 42에 있어서, 명령어는 프로세서로 하여금: 제어센터에서, 대체 작동경로를 계획할 수 없다는 결정에 따라 장애물이 제거 가능한지 여부를 결정하고; 장애물이 제거 가능하다고 결정되면 제어센터에서 장애물을 수동으로 제거하기 위한 프로세스를 시작하는 원격작동로봇.
항목 44. 항목 42에 있어서, 명령어는 프로세서가 제어센터에서 장애물에 관한 데이터에 기초하여 대체 작동경로를 추정할 수 없다는 결정을 내리면, 원격작동로봇에 대한 제어권을 원격조작자에게 이양하는, 원격작동로봇.
J. 추가 고려 사항
전술한 설명은 통상의 기술자가 여기에 설명된 다양한 구성을 실시할 수 있도록 제공된다. 대상 기술이 다양한 도면 및 구성을 참조하여 특히 설명되었지만, 이는 단지 예시를 위한 것이며 대상 기술의 범위를 제한하는 것으로 간주되어서는 안 된다는 것을 이해해야 한다.
본 기술을 구현하는 다른 많은 방법이 있을 수 있다. 본 명세서에서 설명되는 다양한 기능 및 구성요소는 본 기술의 범위를 벗어나지 않으면서 도시된 것과는 다르게 분리될 수 있다. 이러한 구성에 대한 다양한 수정은 통상의 기술자에게 용이하게 명백할 것이며, 여기에 정의된 일반적인 원리는 다른 구성에 적용될 수 있다. 따라서, 본 기술 분야의 통상의 지식을 가진 자에 의해 본 기술의 범위를 벗어나지 않고 본 기술에 많은 변경 및 수정이 이루어질 수 있다.
개시된 프로세스에서 과정의 특정 순서 또는 계층은 예시적인 접근법의 예시인 것으로 이해된다. 설계 선호도에 따라 프로세스의 특정 순서 또는 단계 계층이 재배열될 수 있음을 이해한다. 일부 단계는 동시에 수행될 수 있다. 첨부된 방법 청구항은 다양한 단계의 요소를 샘플 순서로 제시하며, 제시된 특정 순서 또는 계층 구조로 제한되지 않는다.
일 실시예에서, 본 명세서의 임의의 항목(clause)은 독립 항목 중 임의의 하나 또는 종속 항목 중 임의의 하나에 의존할 수 있다. 일 측면에서, 임의의 항목(예를 들어, 종속 또는 독립 항목)은 임의의 다른 하나 이상의 항목(예를 들어, 종속 또는 독립 항목)과 결합될 수 있다. 일 측면에서, 청구항은 절, 문장, 구 또는 단락에서 인용된 단어(예를 들어, 단계, 동작, 수단 또는 구성요소)의 일부 또는 전부를 포함할 수 있다. 일 측면에서, 청구항은 하나 이상의 절, 문장, 구 또는 단락에 인용된 단어의 일부 또는 전부를 포함할 수 있다. 일 측면에서, 절, 문장, 구 또는 단락 각각의 단어 중 일부가 제거될 수 있다. 일 측면에서, 추가적인 단어 또는 요소가 절, 문장, 구 또는 단락에 추가될 수 있다. 일 측면에서, 본 기술은 여기에 설명된 구성요소, 요소, 기능 또는 동작 중 일부를 활용하지 않고 구현될 수 있다. 일 측면에서, 본 기술은 추가 컴포넌트, 요소, 기능 또는 동작을 이용하여 구현될 수 있다.
단수 형태 "a", "an" 및 "the"는 문맥이 명백하게 달리 지시하지 않는 한 복수 지시 대상을 포함한다. 따라서, 예를 들어, "플런저 구성요소"에 대한 참조는 하나 이상의 플런저 구성요소에 대한 참조를 포함하고, "자석"에 대한 참조는 하나 이상의 자석에 대한 참조를 포함한다.
하나 이상의 측면에서, 용어 "약(about)", "실질적으로(substantially)" 및 "대략(approximately)"은 1% 미만에서 5%까지와 같이 항목 간의 상대성 및/또는 해당 용어에 대해 업계에서 허용되는 허용오차를 제공할 수 있다.
본 명세서에 사용된 바와 같이, 용어 "실질적으로(substantially)"는 작용, 특성, 자산, 상태, 구조, 항목 또는 결과의 완전하거나 거의 완전한 정도 또는 정도를 지칭한다.
범위 형식(range format)은 단지 편의와 간결함을 위해 사용되며 따라서 범위의 한계로서 명시적으로 언급된 숫자 값뿐만 아니라 모든 개별 숫자 값을 포함하도록 유연하게 해석되어야 함을 이해해야 한다. 또는 각 수치 및 하위 범위가 명시적으로 인용된 것처럼 해당 범위 내에 포함된 하위 범위. 예시로서, "약 0.5 내지 10 cm"의 수치 범위는 약 0.5 cm 내지 약 10.0 cm의 명시적으로 인용된 값뿐만 아니라 지시된 범위 내의 개별 값 및 하위 범위를 포함하는 것으로 해석되어야 한다. 따라서 이 숫자 범위에는 2, 5, 7과 같은 개별 값과 2에서 8, 4에서 6 등의 하위 범위가 포함된다. 이 동일한 원칙은 하나의 숫자 값만 인용하는 범위에 적용된다. 더욱이 그러한 해석은 서술되는 범위나 특성에 관계없이 적용되어야 한다.
달리 정의되지 않는 한, 본 명세서에서 사용되는 모든 기술 및 과학 용어는 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 것과 동일한 의미를 갖는다. 본 명세서에 기재된 것과 유사하거나 등가인 임의의 방법, 장치 및 재료가 본 개시의 실시 또는 시험에 사용될 수 있지만, 대표적인 방법, 장치 및 재료가 아래에 기재되어 있다.
단수의 요소에 대한 언급은 구체적으로 언급되지 않는 한 "하나 및 하나뿐(one and only one)"를 의미하는 것이 아니라 "하나 이상"을 의미하도록 의도된다. 남성 대명사(예: his)에는 여성 및 중성 성(예: her 및 its)이 포함되며 그 반대의 경우도 마찬가지다. "일부(some)"라는 용어는 하나 또는 그 이상을 나타낸다. 밑줄 및/또는 기울임꼴 제목 및 부제목은 편의상 사용되었으며 대상 기술을 제한하지 않으며 대상 기술 설명의 해석과 관련하여 참조되지 않는다. 통상의 기술자에게 알려져 있거나 이후에 알려지게 되는 본 개시 전체에 걸쳐 설명된 다양한 구성의 요소에 대한 모든 구조적 및 기능적 등가물은 참조에 의해 본원에 명시적으로 포함되고 본 기술에 포함되는 것으로 의도된다. 더욱이, 여기에 개시된 어떤 것도 그러한 개시가 위의 설명에서 명시적으로 인용되었는지 여부에 관계없이 일반대중에게 기부되는(dedicated to the public) 것으로 의도되지 않는다.
여기에 설명된 기술은 특정 방식으로 구현되는 것으로 구체적으로 설명되지 않는 한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 모듈 또는 구성 요소로 설명된 모든 기능은 통합 논리 장치에서 함께 구현되거나, 개별적이지만 상호 운용 가능한 논리 장치로 별도로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 기술은 실행될 때 위에서 설명된 방법 중 하나 이상을 수행하는 명령을 포함하는 비일시적 프로세서 판독가능 저장 매체에 의해 적어도 부분적으로 실현될 수 있다.
비일시적 프로세서 판독 가능 저장 매체는 동기식 동적 랜덤 액세스 메모리(SDRAM), 판독 전용 메모리(ROM), 비휘발성 랜덤 액세스 메모리(NVRAM), 전기적으로 소거 가능한 랜덤 액세스 메모리(RAM), EEPROM(programmable read-only memory), FLASH 메모리, 기타 알려진 저장 매체 등을 포함할 수 있다. 추가로 또는 대안적으로 기술은 명령 또는 데이터 구조의 형태로 코드를 전송하거나 전달하고 컴퓨터 또는 다른 프로세서에 의해 전자 메일을 전송 및 수신하거나 인터넷 또는 LAN(Local Area Network)과 같은 네트워크에 액세스하는 데 사용되는 것과 같은 컴퓨터 판독 가능 전자 데이터를 전달하는 데 사용될 수 있다. 청구된 주제의 범위 또는 정신을 벗어나지 않고 이러한 구성에 대해 많은 수정이 이루어질 수 있다.
상세한 설명이 많은 세부사항을 포함하지만, 이들은 본 기술의 범위를 제한하는 것으로 해석되어서는 안 되며 단지 본 기술의 상이한 예시 및 측면을 제시하는 것으로 해석되어야 한다. 본 기술의 범위는 위에서 상세히 논의되지 않은 일 실시예를 포함한다는 것을 이해해야 한다. 본 개시의 범위를 벗어나지 않고 본 명세서에 개시된 대상 기술의 방법 및 장치의 배열, 동작 및 세부사항에서 다양한 다른 수정, 변경 및 변형이 이루어질 수 있다. 달리 표현되지 않는 한, 단수의 요소에 대한 언급은 명시적으로 언급되지 않는 한 "하나 또는 하나뿐"을 의미하는 것이 아니라 "하나 이상"을 의미하는 것으로 의도된다. 또한, 장치 또는 방법이 본 발명의 범위 내에 포함되기 위해 본 발명의 상이한 실시예에 의해 해결될 수 있는(또는 달성 가능한 모든 이점을 보유하는) 모든 문제를 해결할 필요는 없다. 여기에서 "할 수 있는(can)" 및 그 파생어의 사용은 그 긍정적인 능력만으로가 아니라 "가능하게" 또는 "선택적으로"의 의미로 이해되어야 한다.

Claims (22)

  1. 자산유지(property maintenance)를 위한 원격작동로봇(tele-operated robot)의 작동(operation)방법에 있어서,
    무인항공기(UAV)를 사용하여 획득한 자산의 항공이미지(aerial image)를, 프로세서를 갖는 제어센터에서 수신하는 과정 - 상기 제어센터는 상기 UAV 및 상기 원격작동로봇과 통신 가능하게 연결됨 -;
    상기 항공이미지를 기반으로 상기 자산유지가 수행될 자산 내 관심영역을 상기 제어센터에서 결정하는 과정;
    상기 제어센터에서 상기 항공이미지를 기반으로 상기 관심영역을 상기 원격작동로봇이 자율적으로 경로이동(navigate)할 수 있는 제1영역과 상기 원격작동로봇이 자율적으로 경로이동할 수 없는 제2영역으로 분류하는 과정;
    상기 제어센터에서, 상기 제1영역과 상기 제2영역의 상대적인 크기에 기초하여 상기 관심영역의 자산관리를 수행하는 원격작동로봇의 작동 스케줄을 결정하는 과정 - 상기 스케줄은 노동시간 및 상기 자산유지를 수행하는 데 소요된 총 시간을 최소화하도록 설정됨; 및
    결정된 스케줄에 따라 상기 자산유지를 수행하는 과정
    을 포함하는 원격작동로봇의 운용방법.
  2. 제1항에 있어서,
    상기 제2영역은, 상기 원격작동로봇의 원격조작이 가능한 제3영역과 지상작업자의 현장개입(on-site intervention)이 필요한 제4영역으로 더 구분되는 것을 특징으로 하는 원격작동로봇의 운용방법.
  3. 제2항에 있어서,
    상기 스케줄을 결정하는 과정은, 지상작업자의 정상적인 작업 스케줄에 대한 간섭을 최소화하도록 더 구성되는 원격작동로봇의 운용방법.
  4. 제2항에 있어서,
    상기 지상작업자에 의한 현장개입은: 상기 제4영역에서 물체를 제거; 상기 제4영역의 일부 지형 평활화; 상기 제4영역 내의 물체를 다른 위치로 이동; 상기 제4영역의 일부에 자외선 가시성 페인트 분사; 상기 제4영역 내에서 장애물이 제거된 부분의 확장; 상기 제4영역 내 알려진 장애물 근처의 작동 여유(margin of operation) 확대; 수리를 위해 상기 제4영역의 일부에 플래그 지정; 또는 이들의 조합을 수행함으로써,
    상기 제4영역을 상기 제1영역 또는 상기 제3영역으로 렌더링하도록 상기 제4영역의 환경을 수정하는 것을 포함하는 원격작동로봇의 운용방법.
  5. 제1항에 있어서,
    상기 제어센터로부터 상기 원격작동로봇으로 상기 제1영역의 좌표를 전송하여 상기 원격작동로봇이 상기 제1영역의 자산관리를 자율적으로 수행할 수 있도록 하는 과정을 포함하는 원격작동로봇의 운용방법.
  6. 제1항에 있어서,
    상기 항공이미지는 광학 이미지, LiDAR 데이터 또는 초음파 센서 데이터 중 적어도 하나를 포함하는 원격작동로봇의 운용방법.
  7. 제1항에 있어서,
    상기 관심영역을 분류하는 과정은,
    상기 관심영역 내에서 상기 원격작동로봇의 동작경로(operating path)를 결정하는 과정; 및
    상기 관심영역 내에서 상기 원격작동로봇의 작동을 방해하는 장애물의 수, 상기 관심영역 내 단위 영역당 상기 장애물의 밀도, 상기 관심영역 내 상기 장애물의 크기, 상기 장애물의 종류 및 항공이미지(aerial image)를 기반으로 관심영역 내 상기 장애물의 상호간 상대적인 위치 중 하나 이상을 결정하는 과정을 포함하는 원격작동로봇의 운용방법.
  8. 제1항에 있어서,
    상기 제어센터에서, 상기 항공이미지에 기초하여, 상기 제1영역의 자산유지를 자율적으로 수행하기 위한 제1 작동경로 및 사람이 원격작동로봇을 원격으로 조작하여 상기 제1영역의 유지를 수행하기 위한 제2 작동경로를 결정하는 과정을 더 포함하는 원격작동로봇의 운용방법.
  9. 자산유지(property maintenance)를 위한 원격작동로봇으로서,
    상기 자산유지를 수행하도록 구성된 하나 이상의 액추에이터를 포함하는 툴킷;
    상기 원격작동로봇의 주변 환경을 감지하는 센서를 포함하는 센서 모듈; 및
    프로세서에 결합된 비일시적 메모리를 포함하되,
    상기 비일시적 메모리는 명령어를 포함하고, 상기 명령어는 프로세서가:
    상기 자산유지를 위한 원격작동로봇의 작동 중에 상기 원격작동로봇의 센서를 사용하여 상기 원격작동로봇의 작동경로에서 감지된 장애물과 관련된 데이터를 수신하고, - 상기 제어센터는 통신적으로 연결된 프로세서를 포함함;
    상기 장애물과 관련된 데이터에 기초하여 상기 장애물을 회피하는 경로가 추정될 수 있는지 여부를 결정하고; 및
    장애물 회피 경로를 추정할 수 없다고 판단되면, 무인항공기(UAV)의 비행을 개시하고, - 상기 UAV의 비행 경로는, 원격작동로봇의 동작경로와의 편차를 최소화하면서 상기 장애물을 피하는 경로를 추정 가능하도록 장애물 주변 영역의 항공이미지를 획득하도록 구성됨- 를 수행하는, 원격작동로봇.
  10. 제9항에 있어서,
    상기 항공이미지는 광학 이미지, LiDAR 데이터 또는 초음파 센서 데이터 중 적어도 하나를 포함하는 원격작동로봇.
  11. 제9항에 있어서,
    상기 장애물 회피 경로를 추정할 수 있는지 여부를 판단하는 과정은,
    상기 장애물의 위치 및 분류 중 하나 또는 둘 모두가 사전에 알려져 있는지 여부를 결정하는 과정;
    상기 장애물의 위치 및 분류가 사전에 알려지지 않은 것으로 판단되면, 상기 장애물과 관련된 데이터에 기초하여 상기 장애물을 둘러싸고 있는 바운더리 박스를 추정할 수 있는지 여부를 판단하는 과정;
    상기 장애물에 관한 데이터에 기초하여 상기 바운더리 박스를 추정할 수 있다고 판단되면, 상기 장애물에 관한 데이터에 기초하여 장애물 회피 경로가 추정 가능하다고 판단하는 과정; 및
    상기 장애물에 관한 데이터에 기초하여 상기 바운더리 박스를 추정할 수 없다고 판단되면, 상기 장애물에 관한 데이터에 기초하여 상기 장애물을 회피하는 경로를 계획할 수 없다고 판단하는 과정을 포함하는 원격작동로봇.
  12. 제11항에 있어서,
    상기 명령어는 상기 프로세서가:
    장애물을 회피하는 경로가 추정될 수 있다고 판단되면, 상기 작동경로로부터의 편차를 최소화하는 대체 작동경로를 추정하도록 하는, 원격작동로봇.
  13. 제11항에 있어서,
    상기 대체 작동경로가 결정되면, 상기 명령어는 상기 프로세서가 상기 대체 작동경로를 사용하여 상기 원격작동로봇의 자율 작동을 계속하도록 하는 원격작동로봇.
  14. 제9항에 있어서,
    상기 명령어는 프로세서가:
    장애물 및 항공이미지에 관한 데이터에 기초하여 바운더리 박스가 추정될 수 있는지 여부를 결정하고;
    상기 장애물 및 상기 항공이미지에 관한 데이터에 기초하여 바운더리 박스가 추정될 수 있다고 결정하면, 장애물을 회피하는 경로가 추정될 수 있다고 결정하고;
    상기 제어센터에서 상기 장애물 및 상기 항공이미지와 관련된 데이터를 기반으로 상기 바운더리 박스를 추정할 수 없다고 판단되면 장애물 회피경로를 추정할 수 없다고 판단하고 원격작동로봇의 제어권을 인간 원격조작자에게 양도하도록 하는, 원격작동로봇.
  15. 제14항에 있어서,
    상기 명령어는 상기 프로세서가:
    상기 장애물 회피 경로를 추정할 수 있다고 판단되면, 상기 제어센터에서 상기 작동경로부터의 편차를 최소화하는 대체 작동경로를 추정하도록 하는, 원격작동로봇.
  16. 제14항에 있어서,
    상기 명령어는, 상기 프로세서가, 대체 작동경로의 결정이 있는 경우 대체 작동경로를 이용하여 상기 원격작동로봇의 자율 작동을 계속하도록 하는, 원격작동로봇.
  17. 제9항에 있어서,
    상기 UAV는 상기 원격작동로봇에 테더링되는(tethered) 원격작동로봇.
  18. 제9항에 있어서,
    상기 항공이미지는 상기 자산의 3차원(3D) 기하학적으로 보정된 합성 지도를 포함하는 원격작동로봇.
  19. 제18항에 있어서,
    상기 명령어는 상기 프로세서가:
    상기 원격작동로봇에 3차원 기하학적으로 수정된 합성 지도를 전송하고;
    상기 3차원 기하학적으로 수정된 합성 지도를 기반으로 상기 자산의 고정 장애물에 대한 상기 원격작동로봇의 위치 및 거리를 실시간으로 추정하도록 하는 원격작동로봇.
  20. 자산유지를 위한 원격작동로봇의 작동 방법에 있어서,
    상기 원격작동로봇의 자산관리를 위한 자율운행 중, 상기 원격작동로봇의 센서를 이용하여 상기 원격작동로봇의 동작경로에 있는 장애물과 관련된 데이터를 획득하는 과정;
    상기 원격작동로봇에 통신 가능하게 결합된 프로세서를 포함하는 상기 장애물의 위치 및 분류 중 하나 또는 둘 모두가 사전에 알려져 있는지 여부를 상기 제어센터에서 결정하는 과정;
    상기 장애물의 위치와 분류가 사전에 알려져 있지 않다고 판단되면, 상기 장애물을 회피하면서 상기 자산의 관리되지 않은 영역을 보존하는 대체 작동경로가 상기 장애물 관련 데이터를 기반으로 추정될 수 있는지 여부를 상기 제어센터에서 결정하는 과정;
    상기 대체 작동경로가 추정될 수 있다고 결정되면 상기 대체 작동경로를 상기 제어센터에서 추정하는 과정; 및
    상기 대체 작동경로를 이용하여 상기 원격작동로봇의 자율 작동을 계속하도록 하는 과정을 포함하는 원격작동로봇의 작동 방법.
  21. 제20항에 있어서,
    상기 대체 작동경로를 계획할 수 없다고 결정되면, 상기 장애물을 제거할 수 있는지 여부를 상기 제어센터에서 결정하는 과정; 및
    상기 장애물이 제거 가능하다고 결정되면 상기 제어센터에서 상기 장애물을 수동으로 제거하는 프로세스를 시작하는 과정을 더 포함하는 원격작동로봇의 작동 방법.
  22. 제20항에 있어서,
    상기 장애물과 관련된 데이터를 기반으로 상기 대체 작동경로를 추정할 수 없다고 판단되면, 상기 제어센터에서 상기 원격작동로봇의 제어를 인간 원격조작자에게 양도하는 과정을 더 포함하는 원격작동로봇의 작동 방법.


KR1020217036199A 2019-04-06 2020-04-06 원격작동로봇을 위한 시스템, 장치 및 방법 KR20220017893A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962830447P 2019-04-06 2019-04-06
US62/830,447 2019-04-06
PCT/US2020/026846 WO2021002911A1 (en) 2019-04-06 2020-04-06 System, devices and methods for tele-operated robotics

Publications (1)

Publication Number Publication Date
KR20220017893A true KR20220017893A (ko) 2022-02-14

Family

ID=73457963

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217036199A KR20220017893A (ko) 2019-04-06 2020-04-06 원격작동로봇을 위한 시스템, 장치 및 방법

Country Status (4)

Country Link
US (3) US10906181B2 (ko)
EP (1) EP3953115A1 (ko)
JP (1) JP2022527029A (ko)
KR (1) KR20220017893A (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220017893A (ko) * 2019-04-06 2022-02-14 일렉트릭 쉽 로보틱스, 아이앤씨. 원격작동로봇을 위한 시스템, 장치 및 방법
US11461867B2 (en) * 2019-09-19 2022-10-04 Sanctuary Cognitive Systems Corporation Visual interface and communications techniques for use with robots
CN113276130B (zh) * 2021-05-28 2022-10-04 山东大学 一种基于点云切片的自由曲面喷涂路径规划方法及***
CN113815529A (zh) * 2021-08-23 2021-12-21 华人运通(上海)云计算科技有限公司 一种基于无人机的倒车辅助方法、设备、***及车辆
US11866194B2 (en) 2021-10-30 2024-01-09 Beta Air, Llc Systems and methods for a visual system for an electric aircraft
CN114952870B (zh) * 2022-07-29 2023-09-29 山东亚历山大智能科技有限公司 用于高频接触物体消毒的四轴机械臂运动控制方法及***
WO2024102415A1 (en) * 2022-11-08 2024-05-16 Electric Sheep Robotics, Inc. Grounds maintenance vehicle with modified cutting mechanism
CN117170411B (zh) * 2023-11-02 2024-02-02 山东环维游乐设备有限公司 基于视觉辅助的竞速无人机辅助避障方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8527094B2 (en) * 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US8463435B2 (en) * 2008-11-25 2013-06-11 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
US10343283B2 (en) * 2010-05-24 2019-07-09 Intouch Technologies, Inc. Telepresence robot system that can be accessed by a cellular phone
US10521896B2 (en) * 2012-07-05 2019-12-31 Bernard Fryshman Object image recognition and instant active response with enhanced application and utility
US9235763B2 (en) * 2012-11-26 2016-01-12 Trimble Navigation Limited Integrated aerial photogrammetry surveys
ES2684643T3 (es) * 2014-01-10 2018-10-03 Pictometry International Corp. Sistema y procedimiento de evaluación de estructura mediante aeronave no tripulada
EP3570132B1 (en) * 2014-09-30 2022-03-02 SZ DJI Technology Co., Ltd. System and method for data recording and analysis
CA2952484A1 (en) * 2015-12-23 2017-06-23 Wal-Mart Stores, Inc. Apparatus and method for monitoring premises
US10029790B2 (en) * 2016-01-28 2018-07-24 Panasonic Intellectual Property Corporation Of America Device that controls flight altitude of unmanned aerial vehicle
CN108883825B (zh) * 2016-04-29 2022-02-01 深圳市大疆创新科技有限公司 用于无人飞行器运输和数据采集的***和方法
US10464212B2 (en) * 2017-03-28 2019-11-05 Amazon Technologies, Inc. Method and system for tele-operated inventory management system
JP6850183B2 (ja) * 2017-04-11 2021-03-31 川崎重工業株式会社 ロボットシステム及びその運転方法
CN108701373B (zh) * 2017-11-07 2022-05-17 深圳市大疆创新科技有限公司 基于无人机航拍的三维重建方法、***及装置
US20200159252A1 (en) * 2018-11-21 2020-05-21 Eagle View Technologies, Inc. Navigating unmanned aircraft using pitch
KR20220017893A (ko) * 2019-04-06 2022-02-14 일렉트릭 쉽 로보틱스, 아이앤씨. 원격작동로봇을 위한 시스템, 장치 및 방법

Also Published As

Publication number Publication date
US11715072B2 (en) 2023-08-01
US20210129338A1 (en) 2021-05-06
US10906181B2 (en) 2021-02-02
EP3953115A1 (en) 2022-02-16
JP2022527029A (ja) 2022-05-27
US20240086862A1 (en) 2024-03-14
US20200368912A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
KR20220017893A (ko) 원격작동로봇을 위한 시스템, 장치 및 방법
US20240077883A1 (en) Vehicle Controllers For Agricultural And Industrial Applications
US11778934B2 (en) Agricultural lane following
CN106662452B (zh) 割草机器人的地图构建
US9274524B2 (en) Method for machine coordination which maintains line-of-site contact
EP2169507B1 (en) Distributed knowledge base method for vehicular localization and work-site management
US8996171B2 (en) Pheromone for robotic boundary
KR101827251B1 (ko) 작업영역의 탐색과 탐색된 작업영역에서 연속작업을 수행하는 방법 및 이를 수행하는 무인비행체
EP2169505B1 (en) Distributed knowledge base for vehicular localization and work-site management
JP6993439B2 (ja) 表現を生成するための方法およびそのような表現に基づいて自律デバイスに動作を学習させるためのシステム
CA3132165A1 (en) System, devices and methods for tele-operated robotics
CN110268356A (zh) 前导无人机的***
JP2018042477A (ja) 自動刈取システム
EP3761136B1 (en) Control device, mobile body, and program
US20220046859A1 (en) System and method for selective harvesting at night or under poor visibility conditions, night dilution and agriculture data collection
Hameed et al. Task and motion planning for selective weed conrol using a team of autonomous vehicles
ES2968924T3 (es) Método, sistema y producto de programa informático de control de vehículos aéreos no tripulados
WO2023204821A1 (en) Navigating an unmanned ground vehicle
US20210378171A1 (en) Control interface for autonomy
KR101701905B1 (ko) 무인 항공기를 이용한 작업 차량 운행 관리 시스템