KR20210085465A - 원격제어장치 및 방법 - Google Patents
원격제어장치 및 방법 Download PDFInfo
- Publication number
- KR20210085465A KR20210085465A KR1020190178513A KR20190178513A KR20210085465A KR 20210085465 A KR20210085465 A KR 20210085465A KR 1020190178513 A KR1020190178513 A KR 1020190178513A KR 20190178513 A KR20190178513 A KR 20190178513A KR 20210085465 A KR20210085465 A KR 20210085465A
- Authority
- KR
- South Korea
- Prior art keywords
- mobile robot
- image
- driving
- master mobile
- images
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000012544 monitoring process Methods 0.000 claims abstract description 46
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 238000010304 firing Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
- G05D1/0291—Fleet control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Selective Calling Equipment (AREA)
Abstract
본 발명의 바람직한 일 실시예로서, 원격제어장치는 센서에서 트래킹한 사용자의 시선에 대응하는 주행영상 또는 감시 영상과 해당 영상에 대응하는 이동로봇의 시선이 일치되는 경우 해당 이동로봇에 대한 제어권을 제공하는 제어부; 주행용 조이스틱; 감시용 조이스틱;을 포함하고, 상기 제어부는 상기 이동로봇이 복수 개인 경우, 복수개의 이동로봇이 상기 사용자의 시선을 공유하도록 구현되는 것을 특징으로 한다.
Description
본 발명은 단일 운용장치를 이용하는 단일 사용자의 시선으로 원격에 있는 무인이동로봇, 무인이동차량 내지 무인이동비행기 등을 군집으로 제어하는 방법에 관한 것이다.
운용자가 자신이 원격통제할 로봇을 선택하여 해당 로봇의 주행카메라를 보면서 원격주행을 하는 무인로봇-원격통제 시스템이 많이 연구되고 있다. 그러나, 운용자는 단일 운용장치를 이용하여 단일 로봇만을 제어하는 방법이 연구되고 있어, 로봇과 자동차들을 군집제어에 대한 필요성이 높아지고 있다.
본 발명의 바람직한 일 실시예에서는, 운영자가 하나의 운영화면을 바라보면서 동시에 여러 대의 무인이동객체들을 시선을 이용하여 군집제어하고자 한다.
본 발명의 바람직한 일 실시예로서, 원격제어장치는 센서에서 트래킹한 사용자의 시선에 대응하는 주행영상 또는 감시 영상과 해당 영상에 대응하는 이동로봇의 시선이 일치되는 경우 해당 이동로봇에 대한 제어권을 제공하는 제어부; 주행용 조이스틱; 감시용 조이스틱;을 포함하고, 상기 제어부는 상기 이동로봇이 복수 개인 경우, 복수개의 이동로봇이 상기 사용자의 시선을 공유하도록 구현되는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 원격제어장치는 N개의 이동로봇으로부터 각각 주행영상 및 감시영상을 수신하여, 수신한 N개의 주행영상과 M개의 감시영상을 표시하는 디스플레이; 사용자의 시선을 트래킹하는 센서부; 상기 2N 개의 영상 중 상기 센서부에서 트래킹한 사용자의 시선이 상기 디스플레이에 머무는 곳에 대응되는 영상 내의 마스터이동로봇에 대한 제어권을 제공하는 로봇제어부;및 상기 제어권을 제공한 이후 일정 시간 내에 상기 사용자가 상기 디스플레이를 터치하여 상기 N개의 주행영상 중 적어도 하나 또는 상기 M개의 감시영상 중 적어도 하나를 선택하면, 상기 마스터이동로봇과 상기 선택된 주행영상 또는 상기 선택된 감시영상 내의 각 이동로봇에 대해 군집제어를 수행하는 군집제어부;를 포함하는 것을 특징으로 한다. N, M은 임의의 자연수이다.
본 발명의 바람직한 일 실시예로서, 상기 군집제어부는 상기 제 1 인터페이스를 통해 선택된 적어도 하나의 주행영상 내의 적어도 하나의 이동로봇과 상기 마스터이동로봇을 상기 센서부에서 트래킹한 상기 사용자 시선이 상기 마스터이동로봇이 검출된 주행영상 내에서 이동하는 지점으로 이동하도록 군집으로 제어하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 군집제어부는 상기 제 1 인터페이스를 통해 선택된 적어도 하나의 주행영상 내의 적어도 하나의 이동로봇과 상기 마스터이동로봇을 조이스틱을 이용하여 군집제어방식으로 추종주행 또는 경로주행을 수행하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 군집제어부는 상기 제 2 인터페이스를 통해 선택된 적어도 하나의 감시영상 내의 적어도 하나의 이동로봇과 상기 마스터이동로봇이 상기 센서부에서 트래킹한 상기 사용자 시선이 상기 마스터이동로봇이 검출된 감시영상 내에서 이동하는 지점을 향해 사격하도록 군집으로 제어하는 것을 특징으로 한다. 이 경우, 상기 군집제어부는 상기 제 2 인터페이스를 통해 선택된 적어도 하나의 감시영상 내의 적어도 하나의 이동로봇과 상기 마스터이동로봇을 조이스틱을 더 이용하여 군집제어방식으로 사격을 수행할 수 있는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 군집제어부가 군집으로 제어하는 적어도 하나의 이동로봇 또는 마스터이동로봇이 검출된 영상 각각에 군집으로 제어되고 있음을 알리는 식별정보가 표시되는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 원격제어방법은 수신부에서 N개의 이동로봇으로부터 각각 주행영상 및 감시영상을 수신하는 단계; 디스플레이에 수신한 N개의 주행영상과 M개의 감시영상을 표시하는 단계; 센서부에서 사용자의 시선을 트래킹하는 단계; 로봇제어부에서 상기 트래킹한 사용자의 시선이 상기 디스플레이에 머무는 곳에 대응되는 영상 내의 마스터이동로봇에 대한 제어권을 제공하는 단계;및 상기 제어권을 제공한 이후 일정 시간 내에 상기 사용자가 상기 디스플레이를 터치하여 상기 N개의 주행영상 중 적어도 하나 또는 상기 M개의 감시영상 중 적어도 하나를 선택하면, 군집제어부에서 상기 마스터이동로봇과 상기 선택된 주행영상 또는 상기 선택된 감시영상 내의 각 이동로봇에 대해 군집제어를 수행하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 원격제어장치 및 방법은 단일 운용장치에 표시되는 여러 대의 이동객체들을 단일 운용자의 시선으로 군집으로 주행, 감시, 사격 등의 제어를 수행할 수 있는 효과가 있다.
도 1 내지 2는 본 발명의 바람직한 일 실시예로서, 원격제어장치의 내부 구성도(100) 및 실제 구현예(200)를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 제 1 또는 제 2 인터페이스가 활성화된 일 예를 도시한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 군집제어의 대상이 되는 이동 객체들을 디스플레이에서 활성화하여 표시하는 일 예를 도시한다.
도 5 는 본 발명의 바람직한 일 실시예로서, 마스터이동로봇을 변경하는 일 실시예를 도시한다.
도 6 은 본 발명의 바람직한 일 실시예로서 주행영상을 나타내고, 도 7 은 감시영상의 일 예를 도시한다.
도 8 은 본 발명의 바람직한 일 실시예로서, 이동 객체의 내부 구성도를 도시한다.
도 9 는 본 발명의 바람직한 일 실시예로서, n개의 이동 객체를 군집제어하여 사격을 수행할 때, 사격전에 Lock on 성공여부를 표시한 일 예를 도시한다.
도 10 는 본 발명의 바람직한 일 실시예로서, 원격제어장치에서 적어도 하나 이상의 이동객체를 시선으로 군집제어하기 위한 흐름도를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 제 1 또는 제 2 인터페이스가 활성화된 일 예를 도시한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 군집제어의 대상이 되는 이동 객체들을 디스플레이에서 활성화하여 표시하는 일 예를 도시한다.
도 5 는 본 발명의 바람직한 일 실시예로서, 마스터이동로봇을 변경하는 일 실시예를 도시한다.
도 6 은 본 발명의 바람직한 일 실시예로서 주행영상을 나타내고, 도 7 은 감시영상의 일 예를 도시한다.
도 8 은 본 발명의 바람직한 일 실시예로서, 이동 객체의 내부 구성도를 도시한다.
도 9 는 본 발명의 바람직한 일 실시예로서, n개의 이동 객체를 군집제어하여 사격을 수행할 때, 사격전에 Lock on 성공여부를 표시한 일 예를 도시한다.
도 10 는 본 발명의 바람직한 일 실시예로서, 원격제어장치에서 적어도 하나 이상의 이동객체를 시선으로 군집제어하기 위한 흐름도를 도시한다.
이하에서는 도면을 참고하여 설명한다.
도 1 은 본 발명의 바람직한 일 실시예로서, 원격제어장치(100)의 내부 구성도를 도시한다. 원격제어장치(100)는 이동로봇, 무인자동차, 무인비행기 등을 원격으로 제어하는 장치를 지칭한다.
본 발명의 바람직한 일 실시예로서, 원격제어장치(100)는 원격으로 통제하고자 하는 이동 로봇, 무인자동차, 무인비행기 등을 포함하는 이동 객체를 운용자의 시선을 이용하여 적어도 하나 선택하고, 적어도 하나의 선택된 객체들에 대한 제어권을 획득하여 원격으로 통제가 가능하다. 본 발명의 바람직한 일 실시예로서, 원격제어장치(100)는 기등록된 사용자의 시선을 이용하여 다수의 로봇을 군집으로 원격제어가 가능하도록 구현된다.
본 발명의 바람직한 일 실시예로서, 이동 객체는 원격제어장치(100)의 제어신호에 따라 제어될 수 있다. 본 발명의 바람직한 일 실시예로서, 제어는 자율주행, 목표지점 주행, 감시, 사격 등의 임무를 포함한다. 도 8에 개시된 일 실시예와 같이 이동 객체(810)는 구동명령을 산출하며 메인 제어를 수행하는 VCU(Vehicle Control Unit)(811), 동력구동부(812), 자율장치모듈(813), 원격제어장치에 영상을 무선으로 제공하는 통신부(814), 도 6의 일 실시예와 같이 이동객체의 주행방향 영상(600)을 획득하는 주행카메라(820), 도 7의 일 실시예와 같이 감시용 영상(700)을 획득하는 감시카메라(830)를 포함한다. 또한 필요에 따라 감시 및 무장 장치를 하나의 모듈형태로 또는 각각 더 포함할 수 있다. 또한 휠(815)을 더 포함할 수 있다.
일 실시예에 따라, 감시카메라는 팬, 틸트, 줌 기능이 가능하며, IR 센서가 부착되고, 주행카메라(820)는 팬, 틸트, 줌 기능이 지원되지 않는 형태로 구현될 수 있다.
본 발명의 바람직한 일 실시예로서, 원격제어장치(100)는 디스플레이(110), 센서부(120) 및 제어부(130)를 포함한다. 또한, 이동로봇, 무인자동차, 무인비행기 , 자율주행장치 등과 유무선으로 통신을 수행하는 통신부를 포함한다.
디스플레이(110)는 화면을 분할하여 적어도 하나의 영상촬영장치에서 수신한 영상을 분할된 영역에 각각 표시할 수 있다. 디스플레이(110)는 복수의 감시카메라와 복수의 주행카메라 각각으로부터 수신한 복수의 감시영상과 복수의 주행영상을 한 화면에 표시할 수 있다. 도 2 를 참고하면, 디스플레이(210)에는 복수 개의 감시영상 및 주행영상이 표시될 수 있다. 도 2 에서 좌측의 열은 모두 감시영상이 표시되거나 모두 주행영상이 표시되도록 배치될 수 있고, 또는 디스플레이의 위측에서 순서대로 감시영상을 모두 표시하고, 그 이후에 주행영상을 표시하도록 배치될 수 있다. 또는 디스플레이에 랜덤으로 주행영상과 감시영상의 순서를 배치하거나 사용자가 각각의 주행영상과 각각의 감시영상을 배치한 순서대로 배치될 수 있다. 디스플레이(110)는 또한 스크롤링 인터페이스를 지원할 수 있다.
본 발명의 바람직한 일 실시예로서, 디스플레이(110)는 제 1 인터페이스(112)와 제 2 인터페이스(114)를 제공할 수 있다. 제 1 인터페이스(112)는 디스플레이(110)에 표시되는 적어도 하나의 주행영상 만을 활성화한다. 제 1 인터페이스(112)가 활성화되면, 사용자는 디스플레이(110)에 표시된 적어도 하나의 주행영상과 적어도 하나의 감시영상 중 적어도 하나의 주행영상 만을 선택할 수 있다.
제 2 인터페이스(114)는 디스플레이(110)에 표시되는 적어도 하나의 감시영상만을 활성화한다. 제 2 인터페이스(114)가 활성화되면, 사용자는 디스플레이(110)에 표시된 적어도 하나의 주행영상과 적어도 하나의 감시영상 중 적어도 하나의 감시영상 만을 선택할 수 있다.
본 발명의 바람직한 일 실시예로서 센서부(120)는 라이더 센서, 레이다 센서 등의 다양한 형태의 센서를 모두 포함할 수 있다. 또한, 센서부(120)는 사용자의 눈동자 움직임을 트래킹하거나 사용자의 시선 방향을 센싱하는 센서를 포함한다. 도 2 를 참고하면, 센서부(220)는 사용자의 눈동자 움직임 또는 사용자 시선의 움직임을 트래킹할 수 있다.
제어부(130)는 선택된 이동로봇들의 주행, 감시, 사격 등을 제어할 수 있으며, 로봇제어부(132), 군집제어부(134), 시선제어부(136) 및 조이스틱(138)을 포함한다.
로봇제어부(132)는 원격제어장치(100)의 센서부(120)에서 센싱한 사용자의 시선이 디스플레이(110)에 머무는 지점 내의 이동로봇에 대한 제어권을 제공한다. 그리고, 제어권을 제공한 이동로봇을 마스터이동로봇으로 설정한다.
로봇제어부(132)는 또한 사용자의 시선과 로봇의 시선이 일치되면 해당 로봇의 제어권을 제공한다. 로봇제어부(132)는 주행영상 내의 로봇을 마스터이동로봇으로 설정할 때와 감시영상 내의 로봇을 마스터이동로봇으로 설정할 때의 사용자의 시선과 로봇의 시선이 일치되는 시간을 상이하게 설정할 수 있다.
로봇제어부(132)는 주행영상 내의 로봇을 마스터이동로봇으로 설정할 때 사용자의 시선과 로봇의 시선이 일치되는 시간이 ta인 경우, 감시영상 내의 로봇을 마스터이동로봇으로 설정할 때 사용자의 시선과 로봇의 시선이 일치되는 시간으로 tb 시간을 요구할 수 있다. 이 경우, tb>ta 이다.
본 발명의 바람직한 일 실시예로서, 마스터이동로봇은 적어도 하나의 이동로봇 또는 이동객체를 군집으로 제어할 때 마스터 역할을 하는 이동객체를 지칭한다. 예를 들어, 4대의 이동로봇을 군집으로 제어하는 경우, 사용자는 마스터이동로봇을 촬영한 화면을 응시하게 되고, 다른 3대의 이동로봇은 마스터이동로봇을 추종한다. 이 경우, 각 이동로봇은 마스터이동로봇과의 상대적인 거리를 고려하여 주행, 감시 또는 사격시 안정된 포메이션을 유지하도록 상호간의 거리와 배치가 기설정될 수 있다.
본 발명의 바람직한 일 실시예로서, 다른 3대의 이동로봇은 마스터이동로봇과의 거리에 따라 마스터이동로봇을 순차적으로 추종한다. 마스터이동로봇이 변경되는 경우에는, 변경된 마스터이동로봇을 마스터로 추종한다.
도 3 의 일 실시예를 참고하면, 로봇제어부(132)는 사용자의 시선이 t1 시간에 일정시간 이상 디스플레이에 머무는 지점에 대응하는 영상(340b) 내의 이동로봇을 마스터이동로봇으로 설정하고 제어권을 제공할 수 있다. 사용자는 마스터이동로봇으로 설정된 이동로봇에 대한 제어권을 받으며, 시선제어부(136)를 통해 시선으로 제어하거나 또는 조이스틱(138)을 이용하여 마스터이동로봇을 제어할 수 있다. 도 2 를 참고하면, 원격제어장치(200)는 적어도 하나의 조이스틱(238a, 238b)를 지원할 수 있다. 예를 들어, 주행용 조이스틱(238a)과 감시용 조이스틱(238b)을 지원할 수 있다. 사용자는 제어권을 획득한 이동로봇에 대해 주행용 조이스틱(238a)을 이용하여 주행을 수행하거나, 감시용 조이스틱(238b)을 이용하여 감시와 사격을 수행할 수 있고, 또한 자율주행중인 이동 로봇의 경우에는 감시용 조이스틱(238b)을 이용하여 자율주행을 수행하며 감시와 사격을 수행하도록 제어할 수 있다.
도 5의 일 실시예를 더 참고하면, 로봇제어부(132)는 사용자의 시선이 t2시간에 일정시간 이상 디스플레이의 특정 지점에 머무는 경우, 사용자의 시선이 머무는 지점에 대응하는 영상(312c) 내의 이동로봇을 마스터이동로봇으로 설정하고 제어권을 제공할 수 있다.
이 경우, t1시간에 마스터이동로봇으로 설정하였던 이동로봇이 포함된 영상이 주행영상이고, t2시간에 마스터이동로봇으로 재설정된 이동로봇이 포함된 영상 역시 주행영상인 경우 사용자는 t2시간에 마스터이동로봇으로 재설정된 이동로봇과 t1시간에 마스터이동로봇으로 설정되었던 이동로봇을 모두 군집으로 제어하는 제어권을 획득할 수 있다.
또 다른 바람직한 일 실시예에서, 사용자는 t2시간에 마스터이동로봇으로 재설정된 이동로봇에 대한 제어권만을 획득하고, t1시간에 마스터이동로봇으로 설정되었던 이동로봇에 대한 제어권은 상실할 수 있다. 이 경우 t1시간의 이동로봇은 이전에 기설정된 임무를 다시 수행하며, 사용자는 t2시간의 마스터이동로봇에 대한 신규 제어권을 획득한다.
마찬가지로 t1시간에 마스터이동로봇으로 설정하였던 이동로봇이 포함된 영상이 감시영상이고, t2시간에 마스터이동로봇으로 재설정된 이동로봇이 포함된 영상 역시 감시영상인 경우 사용자는 t2시간에 마스터이동로봇으로 재설정된 이동로봇과 t1시간에 마스터이동로봇으로 설정되었던 이동로봇을 모두 군집으로 제어하는 제어권을 획득할 수 있다. 또는 사용자는 t2시간에 마스터이동로봇으로 재설정된 이동로봇에 대한 제어권만을 획득하고, t1시간에 마스터이동로봇으로 설정되었던 이동로봇에 대한 제어권은 상실할 수 있다.
본 발명의 바람직한 일 실시예로서, 군집제어부(134)는 마스터이동로봇으로 설정된 이동로봇이 주행영상에서 검출된 경우에는 제 1 인터페이스(112)를 활성하여 주행영상들 속의 이동로봇들 중 추가로 제어하고자 하는 이동로봇을 선택하고, 선택된 주행영상 속의 이동로봇과 마스터이동로봇을 군집으로 제어하는 제어권을 제공할 수 있다. 다시 말해, 사용자는 제 1 인터페이스(112)를 통해 디스플레이에 표시된 N개의 주행영상 중 마스터이동로봇이 검출된 주행영상을 제외한 나머지 주행영상들 중에서 적어도 하나를 선택할 수 있다.
도 3을 참고하면, 도 3에서 사용자의 시선(340a)이 머문 영상(340b)이 주행영상이라고 가정할 경우, 제 1 인터페이스(312)는 디스플레이에 N개의 주행영상(312a, 312b, 312c)를 활성화하여, 사용자에게 군집주행할 이동 로봇을 추가로 선택하도록 구현된다. 도 3 에서 마스터이동로봇이 표시되는 영상(312a)외에 2개의 주행영상(312a, 312c)를 선택한 경우, 도 4의 일 실시예와 같이 3개의 주행영상 속의 이동로봇이 선택되어 군집으로 제어되고 있음을 디스플레이에 표시할 수 있다(350a, 350b, 350c). 디스플레이에 표시하는 방법은 해당 화면의 테두리를 다른 색으로 표시하거나, 또는 해당 화면상단에 제어권 획득을 식별할 수 있는 정보를 제공하는 등의 방식을 이용할 수 있다. 다만, 이에 제한되는 것은 아니며 다양한 변형이 가능함을 유의하여야 한다.
마찬가지로, 군집제어부는 사용자의 시선이 머문 영상이 감시영상이라고 가정할 경우, 제 2 인터페이스는 디스플레이에 M개의 감시영상를 활성화하여, 사용자에게 군집주행할 이동 로봇을 추가로 선택하도록 구현된다.
군집제어부는 상기 제 1 인터페이스를 통해 선택된 적어도 하나의 주행영상 내의 적어도 하나의 이동로봇과 상기 마스터이동로봇을 상기 센서부에서 트래킹한 상기 사용자 시선이 상기 마스터이동로봇이 검출된 주행영상 내에서 이동하는 지점으로 이동하도록 군집으로 제어
군집제어부(134)는 마스터이동로봇으로 설정된 이동로봇이 감시영상에서 검출된 경우에는 제 2 인터페이스(114)를 활성하여 감시영상들 속의 이동로봇들 중 추가로 제어하고자 하는 이동로봇을 선택하고, 선택된 감시영상 속의 이동로봇과 마스터이동로봇을 군집으로 제어하는 제어권을 제공할 수 있다. 다시 말해, 사용자는 제 2 인터페이스(114)를 통해 디스플레이에 표시된 M개의 감시영상 중 마스터이동로봇이 검출된 감시영상을 제외한 나머지 감시영상들 중에서 적어도 하나를 선택할 수 있다.
군집제어부(134)는 시선제어부(143)와 조이스틱(138)을 모두 이용할 수 있으며, 시선제어부(136)는 단일 또는 복수의 이동로봇을 이동시키고자 할 때는 마스터이동로봇이 표시되는 화면에서 이동목표점을 응시하여, 마스터이동로봇과 그 외의 이동로봇들이 특정 지점으로 이동하도록 군집으로 제어할 수 있다.
시선제어부(136)는 감시가 목적인 경우, 마스터이동로봇이 표시되는 화면상에서 감시대상(도 7, 710, 720 참고)을 선정하여 응시하고, 감시대상을 추종하도록 제어할 수 있다.
시선제어부(136)는 사격이 목적인 경우에는, 눈을 깜빡이거나 기설정된 눈의 패턴신호를 제공하여 사격제어를 수행하고자 함을 알린다. 눈의 패턴신호는 예를 들어 눈동자를 움직여 특정 모형을 만드는 경우 등을 포함한다. 또는 좌측, 우측 이동을 일정 횟수 이상 움직이는 경우 등의 특정패턴을 포함한다. 사격을 수행하고자 하는 것이 인지되면 디스플레이는 화면(900)에 도 9의 일 실시예와 같이 복수의 이동로봇의 배치 상태(920a, 920b, 920c, 920d, 920e)와 사격을 하고자 하는 목표지점(910)을 표시한다. 그리고, 복수의 이동 로봇의 배치상태가 락온(Lock ON) 하기에 적합한지 여부를 화면(900)에 메시지(930)로 알려준다. 복수의 이동 로봇 중 락온(Lock on)에 실패한 로봇은 "Lock on 실패"(930)등의 메시지를 띄우고, 나머지 로봇들만 사격을 수행하도록 제어한다.
본 발명의 바람직한 일 실시예로서, 상기 로봇제어부는 t1시간에 상기 마스터이동로봇에 제어권을 제공한 후, 상기 센서부에서 트래킹한 사용자의 시선이 이동하여 t2 시간에 상기 2N개의 영상 중 상기 t1 시간에 상기 마스터이동로봇을 검출한 영상 외의 다른 영상에 기설정된 시간 이상 머무르는 경우, 상기 다른 영상 내의 이동로봇을 마스터이동로봇으로 변경하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 도 10 은 원격제어방법의 흐름도를 도시한다.
원격제어장치는 수신부에서 N개의 이동객체로부터 주행영상 또는 감시영상을 수신한다(S1010). 이동객체는 무인이동로봇, 무인자율주행차량, 무인자율비행기 등을 포함한다.
원격제어장치는 디스플레이에 수신한 N개의 주행영상 또는 M개의 감시영상을 표시한다(S1020). 센서부는 디스플레이에 표시된 N개의 주행영상 또는 M개의 감시영상 중 사용자가 바라보고 있는 영상을 파악하기 위해 사용자의 시선을 트래킹한다(S1030).
로봇제어부는 사용자의 시선이 디스플레이에 머무는 곳에 대응되는 영상 내의 마스터이동로봇에 대한 제어권을 제공한다(S1040). 마스터이동로봇이 검출된 영상이 주행영상인 경우, 마스터이동로봇에 대한 제어권을 수신한 후 일정시간 내에 N개의 주행영상 중 마스터이동로봇이 검출된 주행영상을 제외한 주행영상들 중 적어도 하나를 선택한다. 마스터이동로봇이 검출된 영상이 감시영상인 경우, 마스터이동로봇에 대한 제어권을 수신한 후 일정시간 내에 M개의 감시영상 중 마스터이동로봇이 검출된 감시영상을 제외한 감시영상들 중 적어도 하나를 선택한다.
군집제어부는 마스터이동로봇과 선택된 주행영상에 대해 군집제어를 수행하거나 또는 마스터이동로봇과 선택된 감시영상에 대해 군집제어를 수행한다(S1050).
본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프린터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
Claims (15)
- N개의 이동로봇으로부터 각각 주행영상 및 감시영상을 수신하여, 수신한 N개의 주행영상과 M개의 감시영상을 표시하는 디스플레이;
사용자의 시선을 트래킹하는 센서부;
상기 (N+M) 개의 영상 중 상기 센서부에서 트래킹한 사용자의 시선이 상기 디스플레이에 머무는 곳에 대응되는 영상 내의 마스터이동로봇에 대한 제어권을 제공하는 로봇제어부;및
상기 제어권을 제공한 이후 일정 시간 내에 상기 사용자가 상기 디스플레이를 터치하여 상기 N개의 주행영상 중 적어도 하나 또는 상기 M개의 감시영상 중 적어도 하나를 선택하면, 상기 마스터이동로봇과 상기 선택된 주행영상 또는 상기 선택된 감시영상 내의 각 이동로봇에 대해 군집제어를 수행하는 군집제어부;를 포함하는 것을 특징으로 하는 원격제어장치. - 제 1 항에 있어서, 상기 디스플레이는
상기 마스터이동로봇을 주행영상으로부터 검출한 경우, 상기 사용자에게 상기 N개의 주행영상 중 상기 마스터이동로봇이 검출된 주행영상을 제외한 나머지 주행영상들 중에서 적어도 하나를 선택하도록 제 1 인터페이스를 제공하는 것을 특징으로 하는 원격제어장치. - 제 1 항에 있어서, 상기 디스플레이는
상기 마스터이동로봇을 감시영상으로부터 검출한 경우, 상기 사용자에게 상기 M개의 감시영상 중 상기 마스터이동로봇이 검출된 감시영상을 제외한 나머지 감시영상들 중에서 적어도 하나를 선택하도록 제 2 인터페이스를 제공하는 것을 특징으로 하는 원격제어장치. - 제 2 항에 있어서,
상기 군집제어부는 상기 제 1 인터페이스를 통해 선택된 적어도 하나의 주행영상 내의 적어도 하나의 이동로봇과 상기 마스터이동로봇을 상기 센서부에서 트래킹한 상기 사용자 시선이 상기 마스터이동로봇이 검출된 주행영상 내에서 이동하는 지점으로 이동하도록 군집으로 제어하는 것을 특징으로 하는 원격제어장치. - 제 2 항에 있어서,
상기 군집제어부는 상기 제 1 인터페이스를 통해 선택된 적어도 하나의 주행영상 내의 적어도 하나의 이동로봇과 상기 마스터이동로봇을 조이스틱을 이용하여 군집제어방식으로 추종주행 또는 경로주행을 수행하는 것을 특징으로 하는 원격제어장치. - 제 3 항에 있어서,
상기 군집제어부는 상기 제 2 인터페이스를 통해 선택된 적어도 하나의 감시영상 내의 적어도 하나의 이동로봇과 상기 마스터이동로봇이 상기 센서부에서 트래킹한 상기 사용자 시선이 상기 마스터이동로봇이 검출된 감시영상 내에서 이동하는 지점을 향해 사격하도록 군집으로 제어하는 것을 특징으로 하는 원격제어장치. - 제 3 항에 있어서,
상기 군집제어부는 상기 제 2 인터페이스를 통해 선택된 적어도 하나의 감시영상 내의 적어도 하나의 이동로봇과 상기 마스터이동로봇을 조이스틱을 이용하여 군집제어방식으로 사격을 수행할 수 있는 것을 특징으로 하는 원격제어장치. - 제 1 항에 있어서, 상기 로봇제어부는
t1시간에 상기 마스터이동로봇에 제어권을 제공한 후, 상기 센서부에서 트래킹한 사용자의 시선이 이동하여 t2 시간에 상기 2N개의 영상 중 상기 t1 시간에 상기 마스터이동로봇을 검출한 영상 외의 다른 영상에 기설정된 시간 이상 머무르는 경우, 상기 다른 영상 내의 이동로봇을 마스터이동로봇으로 변경하는 것을 특징으로 하는 원격제어장치. - 제 8 항에 있어서, 상기 t1시간에 상기 마스터이동로봇이 검출된 영상과 상기 t2 시간에 마스터이동로봇이 검출된 영상이 모두 주행영상이거나 또는 모두 감시영상인 경우에만 상기 군집제어부에서 선택된 이동로봇들에 대한 군집 제어권이 유지되는 것을 특징으로 하는 원격제어장치.
- 제 1 항에 있어서, 상기 군집제어부가 군집으로 제어하는 적어도 하나의 이동로봇 또는 마스터이동로봇이 검출된 영상 각각에 군집으로 제어되고 있음을 알리는 식별정보가 표시되는 것을 특징으로 하는 원격제어장치.
- 수신부에서 N개의 이동로봇으로부터 각각 주행영상 및 감시영상을 수신하는 단계;
디스플레이에 수신한 N개의 주행영상과 M개의 감시영상을 표시하는 단계;
센서부에서 사용자의 시선을 트래킹하는 단계;
로봇제어부에서 상기 트래킹한 사용자의 시선이 상기 디스플레이에 머무는 곳에 대응되는 영상 내의 마스터이동로봇에 대한 제어권을 제공하는 단계;및
상기 제어권을 제공한 이후 일정 시간 내에 상기 사용자가 상기 디스플레이를 터치하여 상기 N개의 주행영상 중 적어도 하나 또는 상기 M개의 감시영상 중 적어도 하나를 선택하면, 군집제어부에서 상기 마스터이동로봇과 상기 선택된 주행영상 또는 상기 선택된 감시영상 내의 각 이동로봇에 대해 군집제어를 수행하는 단계;를 포함하는 것을 특징으로 하는 원격제어방법. - 제 11 항에 있어서, 상기 디스플레이는
상기 마스터이동로봇이 검출된 영상이 주행영상인 경우 제 1 인터페이스를 활성화 하여 상기 N개의 주행영상 중 적어도 하나를 선택하도록 구현되고,
상기 마스터이동로봇이 검출된 영상이 감시영상인 경우 제 2 인터페이스를 활성화 하여 상기 M개의 감시영상 중 적어도 하나를 선택하도록 구현되는 것을 특징으로 하는 원격제어방법. - 제 12항에 있어서,
상기 제 1 인터페이스가 활성화되어 선택된 주행영상 내의 적어도 하나의 이동로봇과 상기 마스터이동로봇을 상기 사용자 시선이 상기 마스터이동로봇이 검출된 주행영상 내에서 이동하는 지점으로 이동하도록 군집으로 제어하는 것을 특징으로 하는 원격제어방법. - 제 12항에 있어서,
상기 제 2 인터페이스가 활성화되어 선택된 감시영상 내의 적어도 하나의 이동로봇과 상기 마스터이동로봇을 상기 사용자 시선이 상기 마스터이동로봇이 검출된 주행영상 내에서 이동하는 지점으로 사격하도록 군집으로 제어하는 것을 특징으로 하는 원격제어방법. - 제 11항에 있어서, 상기 로봇제어부는
t1시간에 상기 마스터이동로봇에 제어권을 제공한 후, 상기 센서부에서 트래킹한 사용자의 시선이 이동하여 t2 시간에 상기 2N개의 영상 중 상기 t1 시간에 상기 마스터이동로봇을 검출한 영상 외의 다른 영상에 기설정된 시간 이상 머무르는 경우, 상기 다른 영상 내의 이동로봇을 마스터이동로봇으로 변경하는 것을 특징으로 하는 원격제어방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190178513A KR20210085465A (ko) | 2019-12-30 | 2019-12-30 | 원격제어장치 및 방법 |
| US16/842,161 US11237553B2 (en) | 2019-12-30 | 2020-04-07 | Remote control device and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190178513A KR20210085465A (ko) | 2019-12-30 | 2019-12-30 | 원격제어장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210085465A true KR20210085465A (ko) | 2021-07-08 |
Family
ID=76547166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190178513A KR20210085465A (ko) | 2019-12-30 | 2019-12-30 | 원격제어장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11237553B2 (ko) |
| KR (1) | KR20210085465A (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20240085981A1 (en) * | 2022-09-08 | 2024-03-14 | Hamilton Sundstrand Corporation | Multimodal spacesuit smart glove |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190098925A (ko) | 2019-08-05 | 2019-08-23 | 엘지전자 주식회사 | Xr 디바이스 및 그 제어 방법 |
| KR20190109336A (ko) | 2019-09-05 | 2019-09-25 | 엘지전자 주식회사 | 운전자 시선에 기반한 길 안내 서비스 지원 장치 및 이를 이용한 자동차 내비게이션 시스템 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101620983B1 (ko) | 2014-08-22 | 2016-05-13 | 엘아이지넥스원 주식회사 | 실시간 3차원 전술정보 표시 시스템 및 그 방법 |
| KR101832593B1 (ko) | 2016-02-02 | 2018-02-27 | 국방과학연구소 | 다수의 지상무인체계 임무통제와 통신기능 점검을 위한 개발용 시뮬레이터 구축방법 및 시스템 |
| KR20190115506A (ko) * | 2018-03-15 | 2019-10-14 | 주식회사 유진엠에스 | 산업용 로봇의 원격 모니터링, 제어 및 무인 관리를 위한 이동식로봇 |
-
2019
- 2019-12-30 KR KR1020190178513A patent/KR20210085465A/ko unknown
-
2020
- 2020-04-07 US US16/842,161 patent/US11237553B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190098925A (ko) | 2019-08-05 | 2019-08-23 | 엘지전자 주식회사 | Xr 디바이스 및 그 제어 방법 |
| KR20190109336A (ko) | 2019-09-05 | 2019-09-25 | 엘지전자 주식회사 | 운전자 시선에 기반한 길 안내 서비스 지원 장치 및 이를 이용한 자동차 내비게이션 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11237553B2 (en) | 2022-02-01 |
| US20210200202A1 (en) | 2021-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11756307B2 (en) | Vehicle video system | |
| US10984356B2 (en) | Real-time logistics situational awareness and command in an augmented reality environment | |
| CN107223223B (zh) | 一种无人机第一视角飞行的控制方法及***、智能眼镜 | |
| JP7059937B2 (ja) | 可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラム | |
| US20180247463A1 (en) | Information processing apparatus, information processing method, and program | |
| CN112468765B (zh) | 跟踪目标对象的方法、装置、***、设备及存储介质 | |
| US20160182814A1 (en) | Automatic camera adjustment to follow a target | |
| JP2021144260A (ja) | 情報処理装置、情報処理方法、プログラム、および情報処理システム | |
| CA3044049A1 (en) | Amusement park attraction control management system and method | |
| KR20170090888A (ko) | Hmd를 이용한 무인기 조종 장치 | |
| US20210304624A1 (en) | Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path | |
| JP6266675B2 (ja) | 捜索支援装置、捜索支援方法及び捜索支援プログラム | |
| KR20210085465A (ko) | 원격제어장치 및 방법 | |
| US20230162610A1 (en) | Graphical User Interface For Enhanced Unmanned Aerial Vehicle Flight Along Computed Splines | |
| CN107566783B (zh) | 用于沉浸式且协作式视频监控的***和方法 | |
| JP6685742B2 (ja) | 操作装置、移動装置、およびその制御システム | |
| US20210179131A1 (en) | Driver assistance device, non-transitory storage medium storing driver assistance program, and driver assistance system | |
| EP3547079B1 (en) | Presenting images on a display device | |
| US20180376075A1 (en) | Method and system for recording video data using at least one remote-controllable camera system which can be aligned with objects | |
| JP6855616B2 (ja) | 操作装置、移動装置、およびその制御システム | |
| US20230324906A1 (en) | Systems and methods for remote viewing of self-driving vehicles | |
| JP2009301175A (ja) | 監視方法 | |
| KR20180099098A (ko) | 촬영 대상의 움직임 추적 기능을 가진 융합형 영상 감시 시스템 | |
| JP6842968B2 (ja) | 監視システム | |
| WO2022091787A1 (ja) | コミュニケーションシステム、ロボット、及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant |