KR20160148761A

KR20160148761A - 작업로봇 원격제어시스템

Info

Publication number: KR20160148761A
Application number: KR1020150084982A
Authority: KR
Inventors: 송영은; 백상훈; 정태일; 최종웅
Original assignee: 삼성중공업 주식회사
Priority date: 2015-06-16
Filing date: 2015-06-16
Publication date: 2016-12-27

Abstract

작업로봇 원격제어시스템이 개시된다. 본 발명의 일실시예에 따른 작업로봇 원격제어시스템은 선체를 주행하며 작업하는 작업로봇 및 작업로봇을 원격 제어하는 원격제어기를 포함하고, 원격제어기는 작업로봇이 선체를 주행하면서 작업한 위치정보를 근거로 작업로봇이 작업한 영역과 작업하지 않은 영역을 인식하고, 선체 영역을 작업한 영역과 작업하지 않은 영역으로 구분하여 표시시킨다.

Description

작업로봇 원격제어시스템{REMOTE CONTROL SYSTEM FOR WORKING ROBOT}

본 발명은 작업로봇 원격제어시스템에 관한 것으로, 보다 상세하게는 선박의 선체를 주행하며 작업하는 작업로봇을 원격 제어하는 작업로봇 원격제어시스템에 관한 것이다.

일반적으로, 선박은 경제적 운항 및 안전 항해를 위하여 선급의 검사규정에 따라 검사를 반드시 받아야 하며 검사를 위한 선체 청소 등의 작업도 필수적이다.

선체 청소는 선박의 하부 및 측면에 붙은 해양생물 등의 이물질을 떼어내는 작업이다.

선박은 선체의 하부 및 측면이 물에 잠긴 상태에서 운항되거나 정박된 상태를 유지한다. 바닷물에는 따개비 등의 많은 해양생물이 살고 있다. 따라서, 시간이 지남에 따라 선체의 하부 및 측면에는 조개류인 따개비(Barnacle) 등의 해양생물이 부착되어 서식한다. 최근에는 친환경적인 페인트 도료의 사용으로 인해 선체에 더욱 많은 해양생물이 부착되는 실정이다.

선체에 부착된 해양생물은 선박의 표면 저항력을 증가시키기 때문에 선박의 운행 속도가 떨어지며, 연료 소모량을 증가시키는 요인이 되어 전체적인 운항비용을 증가시킨다. 또한, 선체에 부착된 해양생물은 선체의 페인트를 떨어지게 하여 선체 부식의 요인이 되고 있다.

이러한 해양생물을 떼어내기 위해서는 작업로봇을 이용하여 선체에 붙은 해양생물을 청소하고 있다.

운전자는 선상에서 작업로봇에 장착된 카메라를 통해 촬영된 영상을 제공받아 보면서 원격 조종해서 작업로봇을 이용하여 선체를 청소한다.

작업로봇에 장착된 카메라를 통해 촬영된 영상에는 해저와 선박 표면만 나타난다. 따라서, 기존에는 운전자의 시각을 통한 영상 판독에 의존하여 청소한 영역과 청소하지 않은 영역을 구분하여 청소해야 하기 때문에 청소한 영역과 청소하지 않은 영역을 구분하기 어려워 청소 작업을 수행하는 데 어려움이 있다.

대한민국 등록특허공보 제10-0811540호

본 발명의 실시예는 작업로봇이 작업한 영역과 작업하지 않은 영역을 선체 영상에 시각화함으로써 운전자의 작업 편의성을 향상시킬 수 있는 작업로봇 원격제어시스템을 제공하고자 한다.

본 발명의 다른 실시예는 증강현실(augmented reality)을 이용하여 작업로봇이 작업한 영역과 작업하지 않은 영역을 선체를 촬영한 실시간 영상에 시각화함으로써 운전자의 조작 편의성을 향상시킬 수 있는 작업로봇 원격제어시스템을 제공하고자 한다.

본 발명의 또 다른 실시예는 증강현실을 이용하여 작업로봇이 작업이 불가능한 영역에 접근할 경우 선체를 촬영한 실시간 영상에 가상의 장애물을 시각화함으로써 운전자의 조작 안전성을 향상시킬 수 있는 작업로봇 원격제어시스템을 제공하고자 한다.

본 발명의 일 측면에 따르면, 선체를 주행하며 작업하는 작업로봇; 및 상기 작업로봇을 원격 제어하는 원격제어기;를 포함하고, 상기 원격제어기는, 상기 작업로봇이 상기 선체를 주행하면서 작업한 위치정보를 근거로 상기 작업로봇이 작업한 영역과 작업하지 않은 영역을 인식하고, 선체 영역을 상기 작업한 영역과 작업하지 않은 영역으로 구분하여 표시시키는 작업로봇 원격제어시스템이 제공될 수 있다.

또한, 상기 원격제어기는, 상기 작업로봇과 정보를 송수신하는 인터페이스부; 상기 선체 영역을 표시시키는 표시부; 상기 인터페이스부를 통해 상기 작업로봇으로부터 상기 작업로봇이 상기 선체를 주행하면서 작업한 위치정보를 수신하고, 상기 수신된 위치정보를 근거로 하여 상기 작업로봇이 작업한 영역과 작업하지 않은 영역을 인식하고, 상기 인식된 영역 정보를 근거로 상기 선체 영역을 상기 작업한 영역과 작업하지 않은 영역으로 구분한 영상을 생성하는 원격제어부; 및 상기 원격제어부에 의해 생성된 영상을 표시시키는 표시부;를 포함할 수 있다.

또한, 상기 인식된 영역 정보를 근거로 증강현실기법을 이용하여 상기 작업로봇에 의해 상기 선체를 촬영한 실시간 영상 상의 선체 영역을 상기 작업한 영역과 작업하지 않은 영역으로 시각화한 증강현실영상을 생성하는 증강현실구현부를 포함할 수 있다.

또한, 상기 증강현실구현부는 상기 실시간 영상 상의 선체 영역을 복수의 블록으로 구분하고, 상기 구분된 각 블록별로 상기 작업한 영역인지 작업하지 않은 영역인지를 판단하고, 상기 판단결과에 따라 상기 작업한 블록과 작업하지 않은 블록을 서로 다른 색상으로 표시시킬 수 있다.

또한, 상기 증강현실구현부는 상기 실시간 영상 상의 선체 영역을 복수의 블록으로 구분하고, 상기 구분된 각 블록별로 상기 작업한 영역인지 작업하지 않은 영역인지 또는 작업이 불가능한 영역인지를 판단하고, 상기 판단결과에 따라 상기 작업한 블록, 작업하지 않은 블록 또는 작업이 불가능한 영역을 서로 다른 색상으로 표시시킬 수 있다.

또한, 상기 증강현실구현부는, 상기 작업로봇이 상기 작업이 불가능한 영역에 접근할 경우, 상기 실시간 영상 상에 상기 작업이 불가한 영역으로의 주행을 막기 위한 장애물을 시각화한 증강현실영상을 생성할 수 있다.

또한, 상기 증강현실구현부는, 상기 실시간 영상 상에서 상기 작업이 불가능한 영역에 대응하는 위치에 상기 장애물을 시각화한 증강현실영상을 생성할 수 있다.

또한, 상기 작업로봇이 상기 작업이 불가능한 영역에 접근하는 것을 운전자에게 경고하는 경고부를 더 포함할 수 있다.

또한, 상기 원격제어부는 상기 경고부를 통해 상기 작업로봇이 상기 작업이 불가능한 영역에 접근한 거리에 따라 서로 다른 주기의 경고음을 출력시킬 수 있다.

본 발명의 실시예는 작업로봇이 작업한 영역과 작업하지 않은 영역을 선체 영상에 가시화하여 함께 표시함으로써 작업한 영역과 작업하지 않은 영역을 쉽게 구분할 수 있어 운전자의 작업 편의성을 향상시킬 수 있는 작업로봇 원격제어시스템을 제공하고자 한다.

본 발명의 다른 실시예는 증강현실(augmented reality)을 이용하여 작업로봇이 작업한 영역과 작업하지 않은 영역을 선체를 촬영한 실시간 영상에 가시화하여 함께 표시함으로써 작업한 영역과 작업하지 않은 영역을 쉽게 구분할 수 있어 운전자의 조작 편의성을 향상시킬 수 있다.

또한, 본 발명의 또 다른 실시예는 증강현실을 이용하여 작업로봇이 작업 불가능한 영역에 접근할 경우 선체를 촬영한 실시간 영상에 가상의 장애물을 가시화하여 함께 표시함으로써 운전자가 작업로봇을 안전하게 주행시킬 수 있어 운전자의 조작 안전성을 향상시킬 수 있다.

도 1은 본 발명의 일실시예에 따른 작업로봇 원격제어시스템이 적용되는 선박의 개략적인 측면도이다.
도 2는 본 발명의 일실시예에 따른 작업로봇 원격제어시스템의 작업로봇의 구성도이다.
도 3은 본 발명의 일실시예에 따른 작업로봇 원격제어시스템의 제어블록도이다.
도 4는 본 발명의 일실시예에 따른 작업로봇 원격제어시스템의 원격제어기에 표시된 화면을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 작업로봇 원격제어시스템의 작업로봇이 촬영한 영상을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 작업로봇 원격제어시스템의 원격제어기가 증강현실을 이용하여 작업로봇이 촬영한 영상에 청소한 영역과 청소하지 않은 영역을 가상으로 시각화한 영상을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 작업로봇 원격제어시스템에서 작업로봇이 청소 불가 영역에 접근하는 것을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른 작업로봇 원격제어시스템의 원격제어기가 작업로봇이 청소 불가 영역에 접근할 경우 증강현실을 이용하여 작업로봇이 촬영한 영상에 가상의 장애물을 시각화한 영상을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 작업로봇 원격제어시스템에서 작업로봇과 청소 불가 영역사이의 거리에 따라 경고음을 다르게 출력하는 것을 설명하기 위한 도면이다.

이하에서는 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명한다. 이하에 소개되는 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 충분히 전달할 수 있도록 하기 위해 예로서 제공하는 것이다. 본 발명은 이하 설명되는 실시예들에 한정하지 않고 다른 형태로 구체화할 수도 있다. 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 도면에서 생략하였으며 도면들에 있어서, 구성요소의 폭, 길이, 두께 등은 편의를 위하여 과장하여 표현할 수 있다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.

도 1은 본 발명의 일실시예에 따른 작업로봇 원격제어시스템이 적용되는 선박의 개략적인 측면도이다.

도 1을 참조하면, 최근에는 좀 더 많은 양의 화물을 신속하게 운반하기 위해 선박의 대형화 및 고속화가 진행되고 있다.

이러한 선박은 중앙부위에 물건을 저장하기 위한 저장탱크가 위치하고 이 저장 탱크의 후미에 선실과 엔진룸이 위치하는 선체(10)와, 이 선체(10)의 후미에 엔진룸과 연결된 프로펠러(20)와, 이 프로펠러(20)의 후미에 마련된 선박의 조향장치인 방향키(30)를 포함한다.

선체(10)의 측면부는 좌우대칭 구조의 평면으로 이루어져 있으며, 수직하거나 하측으로 갈수록 경사진 형태로 배치되어 있다. 또한, 선체(10)의 측면부는 평면이 아닌 곡면을 가질 수도 있다.

본 발명의 일실시예에 따른 작업로봇 원격제어시스템의 작업로봇은 선체 벽면, 선저 등의 선체를 대상으로 용접, 검사 또는 청소 등의 작업을 수행한다.

이하에서는 설명의 편의상 작업로봇이 수행하는 작업이 청소인 것을 예를 들어 설명한다.

도 2는 본 발명의 일실시예에 따른 작업로봇 원격제어시스템의 작업로봇의 개략적인 구성도이다.

도 2를 참조하면, 작업로봇(100)은 로봇 본체(110)와, 이동부(120), 선체밀착부(130) 및 청소부(140)를 포함할 수 있다.

이동부(120)는 작업로봇(100)을 이동시키는 역할을 한다.

이동부(120)는 로봇 본체(110)의 프레임 양 측면 전방에 위치하는 전방바퀴(121)와 양 측면 후방에 위치하는 후방바퀴(122)를 포함한다. 전방바퀴(121)와 후방바퀴(122)는 이동부 타이밍 벨트(123)에 의해 연결되어 있다.

전방바퀴(121)에는 2개의 이동부 샤프트(124)가 연결되어 있는데, 이동부 샤프트 지지대(125)가 전방바퀴(121)의 사이 중앙에 위치하여 이동부 샤프트(124)를 지지해 준다.

이동부 샤프트(124)의 일 측에는 기어가 형성되어 있고, 이 기어와 베벨기어를 형성하는 기어가 일 단에 형성된 2개의 이동부 모터(126)가 이동부 타이밍벨트(123)의 사이에 위치하고 있다.

작업로봇(100)이 직진하는 경우 2개의 이동부 모터(126)는 동일한 속도로 회전하지만, 작업로봇(100)이 좌측이나 우측으로 회전하거나 제자리에서 회전하는 경우에는 2개의 이동부 모터(126)는 각기 다른 속도로 회전한다. 따라서 작업로봇(100)은 제자리에서 방향 전환이 가능하고 전진 주행할 수 있다.

선체밀착부(130)는 작업로봇(100)이 주행하는 동안 선체로부터 떨어지지 않고 선체에 밀착된 상태로 주행할 수 있도록 작업로봇(100)을 선체(10)에 밀착시키기 위한 것으로, 밀착력으로 영구자석을 이용하는 자기력을 사용하는 자석 부착부와, 밀착력으로 진공 펌프를 이용한 진공 흡입력을 사용하는 진공 흡착부 중 어느 하나 혹은 둘 다를 포함할 수 있다. 작업로봇(100)은 선체밀착부(130)에 의해 최소한의 선체 부착력을 확보하면서 선체를 원활히 주행할 수 있다.

청소부(140)는 브러쉬(141)를 회전시켜 선체(10)에 붙은 이물질을 제거할 수 있다. 또한, 청소부(140)는 브러쉬(141) 대신에 고압의 물을 분사시켜 선체(10)에 붙은 이물질을 제거할 수 있다. 또한, 이외에도 청소부(140)는 여러 다양한 형태의 이물질 제거수단을 이용하여 이물질을 제거할 수 있다.

상기한 구성을 가진 작업로봇(100)은 밀착부(130)를 통해 선체(10)의 벽면이나 선저에 밀착하고, 밀착된 상태에서 이동부(120)를 통해 선체(10)의 벽면이나 선저를 따라 주행하며, 주행과 함께 청소부(140)를 통해 선체(10)의 벽면이나 선저에 붙은 이물질을 제거함으로써 선체(10)를 청소한다.

도 3은 본 발명의 일실시예에 따른 작업로봇 원격제어시스템의 제어블록도이다.

도 3을 참조하면, 작업로봇 원격제어시스템은 작업로봇(100)과, 이 작업로봇(100)을 원격 제어하는 원격제어기를 포함한다.

작업로봇(100)은 작업로봇(100)의 전반적인 제어를 수행하는 로봇제어부(150)를 포함한다.

로봇제어부(150)의 입력측에는 위치감지부(160)가 전기적으로 연결되어 있다.

로봇제어부(150)의 출력측에는 이동부(120), 선체밀착부(130), 청소부(140), 카메라부(170)가 전기적으로 연결되어 있다.

로봇제어부(150)의 입출력측에는 인터페이스부(170)가 전기적으로 연결되어 있다.

위치감지부(160)는 LBL(Long Base Line) 시스템을 포함할 수 있다. LBL 시스템은 로봇 본체(110)에 설치되는 음향신호 송신기와, 작업로봇(100)이 청소하는 영역의 적어도 3개의 지점에 설치되는 음향신호 수신기를 포함하고, 음향신호 송신기에서 보낸 신호를 각 음향신호 수신기에서 받아서 각각의 신호가 도달하는 데 걸린 시간을 통해서 각각의 거리를 계산하고, 삼각측정기법에 의해 최종적으로 송신기의 위치를 계산하여 로봇 본체(110)의 위치를 감지한다.

한편, 위치감지부(160)는 LBL 시스템 대신에 로봇 본체(110)가 수중에 위치한 장소의 수심을 감지하는 압력센서와 로봇 본체(110)의 방위각을 감지하는 관성센서를 포함하고, 로봇 본체(110)의 수심과 방위각을 근거로 로봇 본체(110)의 위치를 감지할 수 있다. 압력센서는 로봇 본체(110)가 수중에 위치한 장소의 깊이에 대응하는 압력값을 출력하는 방식으로, 로봇 본체(110)의 수심을 측정한다. 관성센서는 1축 센서인 광섬유 자이로 센서 혹은 3축 혹은 3축 이상의 센서인 자세방위측정장치((Attitude and Heading Reference System ; AHRS) 중 어느 하나일 수 있다. 자세방위측정장치는 가속도계 센서(Accelerometer), 각속도계 센서(gyro) 및 지자계 센서(compass)를 포함하고, 이 세 개의 센서들에 의해 감지된 정보를 근거로 하여 로봇의 롤(roll), 피치(pitch), 요각(yaw) 등의 로봇 자세와 방위각을 측정한다.

카메라부(170)는 로봇 본체(110)의 전면부에 마련되어 선체의 작업 전후의 상태를 확인할 수 있도록 선체를 포함하는 영상을 촬영한다. 카메라부(170)는 선체의 청소전과 청소후의 상태를 파악 가능하도록 주행 경로 전방의 선체 주위의 영상을 촬영한다. 카메라부(170)는 입력된 광 신호를 전기적 신호로 변환하는 이미지 센서와, 이미지 센서로부터 입력되는 전기적 신호를 디지털 영상 데이터로 변환하는 이미지 신호 처리부 등을 포함하여 구성될 수 있다. 이미지 센서는 CCD(Charge-coupled Device) 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 등의 방식을 이용하는 센서를 포함할 수 있다. 이외에도 여러 다양한 형태의 촬영수단을 포함할 수 있다.

인터페이스부(180)는 작업로봇(100)과 원격제어기(200)사이의 통신을 지원한다. 인터페이스부(180)은 원격제어기(200)로부터 전송된 정보를 수신하여 작업로봇(100)의 로봇제어부(150)에 전송하고, 로봇제어부(150)로부터 전송된 정보를 원격제어기(200)로 전송한다.

로봇제어부(150)는 원격제어기(200)의 제어신호에 따라 선체밀착부(130)를 통해 로봇 본체(110)를 선체(10)에 밀착시킴과 함께 이동부(120)를 통해 로봇 본체(110)를 선체(10)를 따라 이동시키고, 청소부(140)를 통해 선체(10)에 부착된 이물질을 청소한다.

또한, 로봇제어부(150)는 청소 작업을 수행하는 동안 카메라부(170)를 통해 촬영된 선체 영상을 인터페이스부(180)를 통해 원격제어기(200)로 전송한다.

또한, 로봇 제어부(150)는 청소 작업을 수행하는 동안 위치감지부(160)를 통해 로봇 본체(110)의 위치정보를 감지하고, 감지된 위치정보를 인터페이스부(180)를 통해 원격제어기(200)로 전송한다.

원격제어기(200)는 원격제어기(200)의 전반적인 제어를 수행하는 원격제어부(210)를 포함한다.

원격제어부(210)의 입력측에는 조작부(220)가 전기적으로 연결되어 있다.

원격제어부(210)의 출력측에는 표시부(230)와 경고부(240)가 전기적으로 연결되어 있다.

원격제어부(210)의 입출력측에는 증강현실 구현부(250), 인터페이스부(260) 및 저장부(270)가 전기적으로 연결되어 있다.

조작부(220)는 작업로봇을 원격 조작하도록 운전자로부터 작업명령을 입력받는다.

표시부(230)는 원격제어부(210)의 제어신호에 따라 작업로봇의 청소작업을 위한 화면을 표시할 수 있다.

표시부(230)는 가상의 선박 영상(예를 들면, 선박 2D 맵 또는 3D 맵) 상에 작업로봇(100)에 의해 청소한 영역과 청소하지 않은 영역을 서로 다른 색상으로 나타낸 영상을 표시할 수 있다.

표시부(230)는 작업로봇(100)에 의해 청소한 영역과 청소하지 않은 영역에 대한 가상의 정보를 작업로봇(100)에 의해 촬영된 선체 영상에 오버레이 방식으로 합성한 증강 현실 영상을 표시할 수 있다.

표시부(230)는 작업로봇(100)가 청소가 불가능한 영역에 접근하는 것을 방지하기 위한 가상의 장애물을 작업로봇(100)에 의해 촬영된 선체 영상 상의 청소가 불가능한 영역 부근에 오버레이 방식으로 합성한 증강 현실 영상을 표시할 수 있다. 청소가 불가능한 영역은 미리 설정되어 있으며, 선체(10)의 굴곡이 심하여 주행이 불가능하거나 청소가 불필요한 영역일 수 있다.

경고부(240)는 원격제어기(200)의 내부 적소에 설치되는 경고램프와 같은 시각적인 구성 또는 부저와 같은 청각적인 구성으로 구현되어 원격제어부(210)의 제어신호에 따라 경고램프 또는 부저를 작동하여 작업로봇(100)이 청소가 불가능한 영역에 접근할 경우 운전자에게 경고한다. 부저와 경고램프는 작업로봇(100)이 청소가 불가능한 영역에 접근하는 거리에 따라 경고음과 램프의 색깔을 다르게 발생시켜 운전자에게 경고할 수 있다. 참고로, 표시부(230)와 경고부(240)는 통합하여 하나로 구성될 수 있다.

증강현실 구현부(250)는 저장부(270)에 저장된 선박 2D 맵 또는 3D 맵의 해당 위치에 작업로봇(100)에 의해 청소한 영역과 청소하지 않은 영역을 서로 다르게 나타낸 영상을 생성할 수 있다.

증강현실 구현부(250)는 청소한 영역과 청소하지 않은 영역은 물론, 청소가 불가능한 영역을 서로 다르게 나타낸 영상을 생성할 수 있다. 청소한 영역, 청소하지 않은 영역 및 청소가 불가능한 영역은 서로 다른 색상으로 나타낼 수 있다.

증강현실 구현부(250)는 선박 맵 상의 선체 표면에 대하여 선체 영역을 복수의 블록으로 구분하고, 구분된 각 블록에 대하여 청소 작업을 수행하는 동안의 작업로봇(100)의 각 위치정보를 근거로 하여 청소한 블록인지 청소하지 않은 블록인지 아니면 청소불가블록인지를 판단하고, 각 블록의 상태에 따라 그에 해당하는 색상으로 블록간을 구별할 수 있는 영상을 생성할 수 있다.

증강현실 구현부(250)는 작업로봇(100)에 의해 촬영되어 수신된 선체 영상(252)에 대한 영상분석을 통해 선체 영역을 인식하고, 인식된 선체 영역을 복수의 블록으로 구분하며, 구분된 각 블록에 대하여 청소 작업을 수행하는 동안의 작업로봇(100)의 각 위치정보를 근거로 하여 청소한 블록인지 청소하지 않은 블록인지를 판단하고, 각 블록이 청소한 블록인지 청소하지 않은 블록인지를 운전자가 시각적으로 확인할 수 있는 가상의 영상(블록 좌표, 청소한 영역, 청소 안 된 영역 정보를 포함함)을 생성하고, 생성된 가상의 영상을 작업로봇(100)에 의해 촬영된 선체 영상에 중첩시켜 합성한 증강 현실 영상을 생성한다. 증강 현실 영상은 작업로봇(100)의 주행경로를 나타내는 정보를 포함할 수 있다.

증강현실 구현부(250)는 청소 작업을 수행하는 동안의 작업로봇(100)의 위치정보를 근거로 하여 작업로봇(100)이 청소가 불가능한 영역에 접근하는지를 판단하고, 작업로봇(100)이 청소가 불가능한 영역에 접근할 경우 작업로봇(100)이 청소가 불가능한 영역에 접근하는 것을 방지하기 위한 가상의 장애물 영상을 생성하고, 생성된 가상의 장애물 영상을 작업로봇(100)에 의해 촬영된 선체 영상 상의 청소가 불가능한 영역 부근에 오버레이 방식으로 합성한 증강 현실 영상을 생성한다.

인터페이스부(260)는 작업로봇(100)과 원격제어기(200)사이의 통신을 지원한다. 인터페이스부(260)은 작업로봇(100)으로부터 전송된 정보를 수신하여 원격제어기(200)의 원격제어부(210)에 전송하고, 원격제어부(210)로부터 전송된 정보를 작업로봇(100)으로 전송한다.

저장부(270)는 선박 모양의 가상의 선박 영상을 저장하고 있다. 저장부(270)는 선박의 2D 맵 또는 3D 맵을 저장하고 있다. 저장부(270)는 작업로봇(100)으로부터 전송된 선체 영상을 저장한다. 저장부(270)는 작업로봇(100)으로부터 전송된 청소작업을 수행하는 동안의 작업로봇(100)의 위치정보를 각각 저장한다.

원격제어부(210)는 조작부(220)를 통해 입력된 운전자의 조작명령을 수신하고, 인터페이스부(260)를 통해 작업로봇(100)에 전송한다.

원격제어부(210)는 작업로봇(100)로부터 전송된 영상정보와 위치정보를 인터페이스부(260)를 통해 수신하고, 저장부(270)에 저장함과 함께 증강현실구현부(250)에 전송한다.

원격제어부(210)는 저장부(270)에 저장된 선박의 2D 맵 또는 3D 맵 정보를 증강현실구현부(250)에 전송한다.

원격제어부(210)는 증강현실구현부(250)에 의해 생성된 영상을 표시부(230)에 표시시킨다.

도 4는 본 발명의 일실시예에 따른 작업로봇 원격제어시스템의 원격제어기에 표시된 화면을 설명하기 위한 도면이다.

도 4를 참조하면, 원격제어부(210)는 증강현실 구현부(250)를 통해 선박 맵 상의 선체 표면에 대하여 선체 영역을 복수의 블록(B)으로 구분하고, 구분된 각 블록에 대하여 청소 작업을 수행하는 동안의 작업로봇(100)의 각 위치정보를 근거로 하여 청소한 블록인지 청소하지 않은 블록인지 아니면 청소불가블록인지를 판단하고, 각 블록의 상태에 따라 그에 해당하는 색상으로 블록간을 구별할 수 있는 영상(251)을 생성한다.

원격제어부(210)는 증강현실 구현부(250)에 의해 생성된 영상(251)을 표시부(230)를 통해 표시시킨다.

이와 같이, 선체(10)의 벽면을 블록화시켜 구분하여 가상으로 표시함으로써 바다와 선체 표면만 나타나는 화면에서 작업로봇(100)이 정상 주행을 하면서 청소 작업을 수행할 수 있도록 도울 수 있다. 이때, 각 블록의 청소 순서에 따라 블록 좌표를 매기거나 블록 번호를 숫자를 표시할 수 있다.

도 5는 본 발명의 일실시예에 따른 작업로봇 원격제어시스템의 작업로봇이 촬영한 영상을 설명하기 위한 도면이고, 도 6은 본 발명의 일실시예에 따른 작업로봇 원격제어시스템의 원격제어기가 증강현실을 이용하여 작업로봇이 촬영한 영상에 청소한 영역과 청소하지 않은 영역을 가상으로 시각화한 영상을 설명하기 위한 도면이다.

도 5 및 도 6을 참조하면, 원격제어부(210)는 증강현실 구현부(250)를 통해 작업로봇(100)로부터 수신한 실시간 영상인 선체 영상(252)에 대한 영상분석을 통해 선체 영역을 인식하고, 인식된 선체 영역을 복수의 블록으로 구분하며, 구분된 각 블록에 대하여 청소 작업을 수행하는 동안의 작업로봇(100)의 각 위치정보를 근거로 하여 청소한 블록인지 청소하지 않은 블록인지를 판단한다.

원격제어부(210)는 증강현실 구현부(250)를 통해 각 블록이 청소한 블록인지 청소하지 않은 블록인지를 운전자가 시각적으로 확인할 수 있는 가상의 영상(블록 좌표, 청소한 영역, 청소 안 된 영역 정보를 포함함)을 생성하고, 생성된 가상의 영상을 작업로봇(100)로부터 수신한 선체 영상(252)에 중첩시켜 합성한 증강 현실 영상(253)을 생성한다. 원격제어부(210)는 증강실 구현부(250)를 통해 증강 현실 영상(253)에 작업로봇(100)의 주행경로를 나타내는 정보를 포함시킬 수 있다.

원격제어부(210)는 증강현실 구현부(250)에 의해 생성된 증강현실영상(253)을 표시부(230)를 통해 표시시킨다.

이와 같이, 작업로봇(100)이 청소한 영역, 청소하지 않은 영역, 주행경로 등을 증강현실 기법으로 나타내어 표시함과 함께 각 블록을 표시함으로써 운전자가 보다 직관적으로 작업로봇의 위치 및 방향 등을 알 수 있고 효율적인 청소 진행방향 등을 알 수 있게 할 수 있다.

도 7은 본 발명의 일실시예에 따른 작업로봇 원격제어시스템에서 작업로봇이 청소 불가 영역에 접근하는 것을 설명하기 위한 도면이고, 도 8은 본 발명의 일실시예에 따른 작업로봇 원격제어시스템의 원격제어기가 작업로봇이 청소 불가 영역에 접근할 경우 증강현실을 이용하여 작업로봇이 촬영한 영상에 가상의 장애물을 시각화한 영상을 설명하기 위한 도면이다.

도 7 및 도 8을 참조하면, 원격제어부(210)는 증강현실 구현부(250)를 통해 청소 작업을 수행하는 동안의 작업로봇(100)의 위치정보를 근거로 하여 작업로봇(100)이 청소가 불가능한 영역에 접근하는지를 판단한다. 원격제어부(210)는 증강현실 구현부(250)를 통해 작업로봇(100)이 청소가 불가능한 영역에 접근할 경우 작업로봇(100)이 청소가 불가능한 영역에 접근하는 것을 방지하기 위한 가상의 장애물을 작업로봇(100)에 의해 촬영된 선체 영상 상의 청소가 불가능한 영역 부근에 나타나는 증강 현실 영상(255)을 생성한다.

원격제어부(210)는 증강현실 구현부(250)에 의해 생성된 증강현실영상(255)을 표시부(230)를 통해 표시시킨다.

이와 같이, 선체(10)의 굴곡이 심하여 작업로봇(100)이 더 이상 주행이 불가한 청소 불가 영역과 가까운 가상의 블록(2,22)에 도달하면, 앞에 가상의 장애물(OB)을 가시화시켜, 더 이상 주행하지 말 것을 운전자에게 알려 작업로봇(100)의 안전한 주행을 돕는다.

원격제어부(210)와 증강현실 구현부(250)은 하나의 장치로 구현할 수 있다.

다시 도 3을 참조하면, 원격제어부(210)는 작업로봇(100)이 청소가 불가능한 영역에 접근할 경우 경고부(240)를 통해 경고음을 출력한다.

도 9는 본 발명의 일실시예에 따른 작업로봇 원격제어시스템에서 작업로봇과 청소 불가 영역사이의 거리에 따라 경고음을 다르게 출력하는 것을 설명하기 위한 도면이다.

도 9를 참조하면, 원격제어부(210)는 작업로봇(100)과 청소가 불가능한 영역사이의 거리에 따라 경고음을 서로 다르게 출력한다.

즉, 청소가 불가능한 영역과 작업로봇(100)사이의 거리가 일정거리로(예를 들면, 3m) 이내로 가까워지면 가까워질수록 경고음의 발생주기를 짧게 하여 운전ㅈ자로 하여금 거리감을 청각적으로 제공할 수 있다.

이상에서와 같이, 작업로봇(100)이 청소한 영역과 청소하지 않은 영역을 선체 영상에 가시화하여 함께 표시함으로써 청소한 영역과 청소하지 않은 영역을 쉽게 구분할 수 있어 운전자의 작업 편의성을 향상시킬 수 있다. 또한, 증강현실을 이용하여 작업로봇이 청소한 영역과 청소하지 않은 영역을 선체를 촬영한 실시간 영상에 가시화하여 함께 표시함으로써 청소한 영역과 청소하지 않은 영역을 쉽게 구분할 수 있어 운전자의 조작 편의성을 향상시킬 수 있다. 또한, 증강현실을 이용하여 작업로봇이 청소가 불가능한 영역에 접근할 경우 선체를 촬영한 실시간 영상에 가상의 장애물을 가시화하여 함께 표시함으로써 운전자가 작업로봇을 안전하게 주행시킬 수 있어 운전자의 조작 안전성을 향상시킬 수 있다.

100 : 작업로봇 110 : 로봇 본체
120 : 이동부 130 : 선체밀착부
140 : 청소부 150 : 로봇제어부
160 : 위치감지부 170 : 카메라부
180 : 인터페이스부 200 : 원격제어기
210 : 원격제어부 220 : 조작부
230 : 표시부 240 : 경고부
250 : 증강현실구현부 260 : 인터페이스부
270 : 저장부

Claims

선체를 주행하며 작업하는 작업로봇; 및
상기 작업로봇을 원격 제어하는 원격제어기;를 포함하고,
상기 원격제어기는, 상기 작업로봇이 상기 선체를 주행하면서 작업한 위치정보를 근거로 상기 작업로봇이 작업한 영역과 작업하지 않은 영역을 인식하고, 선체 영역을 상기 작업한 영역과 작업하지 않은 영역으로 구분하여 표시시키는 작업로봇 원격제어시스템.
제1항에 있어서,
상기 원격제어기는,
상기 작업로봇과 정보를 송수신하는 인터페이스부;
상기 선체 영역을 표시시키는 표시부;
상기 인터페이스부를 통해 상기 작업로봇으로부터 상기 작업로봇이 상기 선체를 주행하면서 작업한 위치정보를 수신하고, 상기 수신된 위치정보를 근거로 하여 상기 작업로봇이 작업한 영역과 작업하지 않은 영역을 인식하고, 상기 인식된 영역 정보를 근거로 상기 선체 영역을 상기 작업한 영역과 작업하지 않은 영역으로 구분한 영상을 생성하는 원격제어부; 및
상기 원격제어부에 의해 생성된 영상을 표시시키는 표시부;를 포함하는 작업로봇 원격제어시스템.
제2항에 있어서,
상기 인식된 영역 정보를 근거로 증강현실기법을 이용하여 상기 작업로봇에 의해 상기 선체를 촬영한 실시간 영상 상의 선체 영역을 상기 작업한 영역과 작업하지 않은 영역으로 시각화한 증강현실영상을 생성하는 증강현실구현부를 포함하는 작업로봇 원격제어시스템.
제3항에 있어서,
상기 증강현실구현부는 상기 실시간 영상 상의 선체 영역을 복수의 블록으로 구분하고, 상기 구분된 각 블록별로 상기 작업한 영역인지 작업하지 않은 영역인지를 판단하고, 상기 판단결과에 따라 상기 작업한 블록과 작업하지 않은 블록을 서로 다른 색상으로 표시시키는 작업로봇 원격제어시스템.
제3항에 있어서,
상기 증강현실구현부는 상기 실시간 영상 상의 선체 영역을 복수의 블록으로 구분하고, 상기 구분된 각 블록별로 상기 작업한 영역인지 작업하지 않은 영역인지 또는 작업이 불가능한 영역인지를 판단하고, 상기 판단결과에 따라 상기 작업한 블록, 작업하지 않은 블록 또는 작업이 불가능한 영역을 서로 다른 색상으로 표시시키는 작업로봇 원격제어시스템.
제5항에 있어서,
상기 증강현실구현부는, 상기 작업로봇이 상기 작업이 불가능한 영역에 접근할 경우, 상기 실시간 영상 상에 상기 작업이 불가한 영역으로의 주행을 막기 위한 장애물을 시각화한 증강현실영상을 생성하는 작업로봇 원격제어시스템.
제6항에 있어서,
상기 증강현실구현부는, 상기 실시간 영상 상에서 상기 작업이 불가능한 영역에 대응하는 위치에 상기 장애물을 시각화한 증강현실영상을 생성하는 작업로봇 원격제어시스템.
제7항에 있어서,
상기 작업로봇이 상기 작업이 불가능한 영역에 접근하는 것을 운전자에게 경고하는 경고부를 더 포함하는 작업로봇 원격제어시스템.
제8항에 있어서,
상기 원격제어부는 상기 경고부를 통해 상기 작업로봇이 상기 작업이 불가능한 영역에 접근한 거리에 따라 서로 다른 주기의 경고음을 출력시키는 작업로봇 원격제어시스템.