KR102504743B1

KR102504743B1 - 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정장치 및 보정방법

Info

Publication number: KR102504743B1
Application number: KR1020210111737A
Authority: KR
Inventors: 박찬호; 윤혁진; 김대현
Original assignee: 한국철도기술연구원
Priority date: 2021-08-24
Filing date: 2021-08-24
Publication date: 2023-03-03

Abstract

본 발명은 시설물 점검하는 드론의 자율비행에 관한 것으로, 보다 상세하게는 시설물 점검 중인 드론이 GPS 음영지역으로 인해 측위 알고리즘이 원활히 동작되지 않을 때 시설물의 모델링을 기반으로 점검 드론의 위치를 보정하는 장치 및 방법에 관한 것이다. 이를 위해, 상호 무선통신이 가능한 드론(100)과 드론관제부(200)에 있어서, (i-1) 점검할 시설물(10)의 모델링(10a) 데이터가 저장된 3D모델링부(230); (i-2) 모델링(10a)에 대한 상기 드론(100)의 비행경로(30)를 생성하는 경로생성부(260); (i-3) 비행경로(30) 상의 임의 위치에서 카메라 포즈(60)에 대한 프레임 이미지(55)를 추출하는 키프레임 추출부(280); (i-4) 프레임 이미지(55)로부터 시설물(10)의 특징을 추출하는 특징추출부(290); 및 (i-5) 드론(100)과 무선 통신하는 관제통신부(220);를 포함하는 드론관제부(200); 및 (ii-1) 관제통신부(220)와 무선 통신하는 무선통신부(140); (ii-2) 비행경로(30)가 저장되는 경로저장부(190); 및 (ii-3) 특징추출부(290)로부터 수신된 특징에 기초하여 드론(100)의 예측위치(102)를 보정하는 드론제어부(110);를 포함하는 드론(100);으로 구성되는 것을 특징으로 하는 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정장치가 제공된다.

Description

시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정장치 및 보정방법{Position correction device and correction method of inspection drone based on the model of the facility}

본 발명은 시설물 점검하는 드론의 자율비행에 관한 것으로, 보다 상세하게는 시설물 점검 중인 드론이 GPS 음영지역으로 인해 측위 알고리즘이 원활히 동작되지 않을 때 시설물의 모델링을 기반으로 점검 드론의 위치를 보정하는 장치 및 방법에 관한 것이다.

일반적으로, 열차 선로, 교량 등에 대해서는 드론(또는 멀티콥터 등과 같은 무인비행체)를 이용하여 거더, 하부 구조물, 교대 등을 촬영한 뒤 균열, 변형, 기울어짐 등을 점검한다. 이러한 촬영과 점검은 정기적으로 수행되며, 시간과 비용이 단축되기 때문에 최근 크게 각광을 받으면서 널리 행해지고 있다.

즉, 드론을 탑재한 차량으로 시설물 근처까지 이동한 후, 드론을 띄운다. 조작자는 차량 내부에서 드론을 통제하며, 촬영과 점검 과정을 모니터링하게 된다.

그런데, 철도교량이나 거더의 하부 구조물 검사 중에서는 시설물로 인해 드론의 위성항법정보(GPS신호)의 음영지역이 발생하여 수신율이 저하되는 문제점이 있다. 이러한 수신율의 저하로 인해, 드론이 현재 위치를 정확히 인식하기 어렵고, 시설물에 충돌하거나 오작동하는 사례가 있었다. 종래에는 이러한 문제점이 발생하는 경우 조작자가 자동비행을 끄고 수동으로 드론을 조정했어야만 했다. 따라서, 조작자의 비행조작 숙련도가 필요했으며, 자동 점검과 수동점검이 혼재되어 혼선을 일으키고, 점검시간이 증가하는 단점들이 있었다.

1. 대한민국 특허등록 제10-1782039호(드론을 이용한 하천 및 하천시설물 측량장치 및 위치 측정방법), 2. 대한민국 특허등록 제10-1881121호(거리를 측량하는 드론 및 드론의 제어 방법), 3. 대한민국 특허공개 제10-2019-0092789호(드론의 위치 측정 방법 및 이를 이용한 드론의 위치 보정 시스템).

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 해결하고자 하는 과제는 시설물의 음영 등으로 인해 위성항법정보의 수신이 원활하지 않고 이로 인해 드론의 측위가 부정확할 때 대상물의 3D 모델링을 기반으로 드론의 위치를 보정할 수 있는 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정장치 및 보정방법을 제공하는 것이다.

다만, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기의 기술적 과제를 달성하기 위하여, 상호 무선통신이 가능한 드론(100)과 드론관제부(200)에 있어서, (i-1) 점검할 시설물(10)의 모델링(10a) 데이터가 저장된 3D모델링부(230); (i-2) 모델링(10a)에 대한 드론(100)의 비행경로(30)를 생성하는 경로생성부(260); (i-3) 비행경로(30) 상의 임의 위치에서 카메라 포즈(60)에 대한 프레임 이미지(55)를 추출하는 키프레임 추출부(280); (i-4) 프레임 이미지(55)로부터 시설물(10)의 특징을 추출하는 특징추출부(290); 및 (i-5) 드론(100)과 무선 통신하는 관제통신부(220);를 포함하는 드론관제부(200); 및 (ii-1) 관제통신부(220)와 무선 통신하는 무선통신부(140); (ii-2) 비행경로(30)가 저장되는 경로저장부(190); 및 (ii-3) 특징추출부(290)로부터 수신된 특징에 기초하여 드론(100)의 예측위치(102)를 보정하는 드론제어부(110);를 포함하는 드론(100);으로 구성되는 것을 특징으로 하는 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정장치에 의해 달성될 수 있다.

또한, 특징추출부(290)는, 카메라 포즈(60)에 관한 정보를 추출하는 카메라 포즈 추출부(292); 프레임 이미지로부터 촬영평면(80, 82)을 추출하는 촬영평면 추출부(294); 및 촬영평면(80, 82)으로부터 외곽선(84)을 추출하는 외곽선 추출부(296);를 포함할 수 있다.

또한, 드론(100)은 예측위치(102)를 산출하기 위해, 카메라(120), GPS(130), 및 IMU(160) 중 적어도 하나를 더 포함한다.

또한, 드론제어부(110)는 예측위치(102)를 보정하기 위해 깊이센서(150)를 더 포함한다.

또한, 드론제어부(110)는 예측위치(102)를 보정하기 위해, 예측위치(102)로부터 보정위치(104)까지의 상대거리(Dx, Dy, Dz); 및 드론(100)의 기수 회전각(θyaw);을 산출한다.

상기와 같은 본 발명의 목적은 또 다른 카테고리로써, 전술한 위치 보정장치를 이용한 보정방법에 있어서, 드론제어부(110)가 드론관제부(200)로부터 비행경로(30)를 수신하여 경로저장부(190)에 저장하는 사전단계(S90); 드론제어부(110)가 카메라(120), GPS(130), 및 IMU(160) 중 적어도 하나의 출력신호에 기초하여 예측위치(102)를 산출하고, 카메라(120)의 포즈를 추출하는 단계(S100); 카메라(120) 포즈가 상방 촬영인 경우, 드론관제부(200)의 특징추출부(290)로부터 수신된 모델링의 특징에 기초하여 예측위치(102)로부터 보정위치(104)까지의 Z축 상대거리(Dz)를 보정하는 단계(S130); 및 모델링의 특징에 기초하여 예측위치(102)로부터 보정위치(104)까지의 X축 상대거리(Dx), Y축 상대거리(Dy) 및 드론(100)의 기수 회전각(θyaw)을 보정하는 단계(S140);를 포함하고, 카메라(120) 포즈가 전방 촬영인 경우, 모델링의 특징에 기초하여 예측위치(102)로부터 보정위치(104)까지의 X축 상대거리(Dx) 및 기수 회전각(θyaw)을 보정하는 단계(S160); 및 모델링의 특징에 기초하여 예측위치(102)로부터 보정위치(104)까지의 Y축 상대거리(Dy) 및 Z축 상대거리(Dz)를 보정하는 단계(S170);를 포함하고, 드론제어부(110)가 보정위치(104)로 비행하는 단계(S150);를 포함하는 것을 특징으로 하는 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정방법에 의해서도 달성될 수 있다.

또한, 보정단계(S130, S160)에서 모델링의 특징은, 특징추출부(290) 중 촬영평면 추출부(294)가 모델링(10a)으로부터 추출한 촬영평면(80, 82) 데이터를 포함한다.

또한, 보정단계(S140, S170)에서 모델링의 특징은, 특징추출부(290) 중 촬영평면의 외곽선 추출부(296)가 모델링(10a)으로부터 추출한 외곽선(84) 데이터를 포함한다.

또한, 카메라(120) 포즈가 상방 촬영인 경우, 드론(100)은 시설물(10)의 하부를 비행한다.

또한, 보정단계(S130, S140, S160, S170)에서, 드론제어부(110)는 깊이센서(150)의 출력신호를 더 기초로 하여 보정할 수 있다.

또한, 모델링은 시설물의 3-D 모델링이다.

본 발명의 일실시예에 따르면, 시설물의 점검 도중 위성항법정보(GPS신호)의 수신율이 저하되거나 음영지역을 비행하더라도 시설물의 모델링을 기반으로 드론이 위치를 보정함으로써 정확한 위치를 산출할 수 있다.

이를 통해, 원활하고 신속한 시설물의 점검이 이루어질 수 있으며, 조작자는 드론의 비행 보다는 시설물의 점검이나 판정에 더욱 신경을 집중할 수 있다.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어서 해석되어서는 아니된다.
도 1은 본 발명에 따른 드론이 시설물을 점검하는 상태를 나타내는 동작 상태도,
도 2는 본 발명에 사용되는 시설물의 3D 모델링(50) 중 일부를 나타내는 사시도면,
도 3은 본 발명에 따른, 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정에서 드론(100)의 예측위치(102)와 보정위치(104)를 개념적으로 나타내는 평면도,
도 4는 본 발명의 일실시예에 따른, 시설물의 모델링을 기반으로 하는 점검 드론(100) 및 드론관제부(200)의 개략적인 블록도,
도 5는 도 4 중 특징추출부(290)의 세부적인 블록도,
도 6은 촬영평면추출부(294)와 촬영평면의 외곽선 추출부(296)가 프레임 이미지(55)로부터 촬영평면과 외곽선을 추출하는 일예를 도시한 정면도,
도 7은 본 발명의 일실시예에 따라, 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정방법을 나타내는 흐름도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

실시예의 구성

이하, 첨부된 도면을 참조하여 바람직한 실시예의 구성을 상세히 설명하기로 한다. 도 1은 본 발명에 따른 드론이 시설물을 점검하는 상태를 나타내는 동작 상태도이다. 도 1에 도시된 바와 같이, 시설물(10)은 열차 선로, 교량, 교각(20), 거더, 하부 구조물, 교대 등이 될 수 있다. 드론(100)은 소형의 무인비행체이며, 무인헬기, 멀티콥터 등이 될 수 있다. 이러한 드론(50)은 시설물(10) 주변에 주차된 차량형 드론관제부(200)에 의해 이동, 회수, 관제되고 통신된다. 도 1에 도시된 바와 같이 드론(100)은 미리 정해진 비행경로(30)를 따라 이동하면서 시설물(10)의 측면, 하부를 촬영하고, 촬영된 영상으로부터 균열, 기울어짐, 변형, 이물질, 박리, 누수 등을 점검한다.

도 2는 본 발명에 사용되는 시설물의 3D 모델링(50) 중 일부를 나타내는 사시도면이다. 도 2에 도시된 바와 같이, 드론관제부(200)의 3D모델링부(230)에는 점검하고자 하는 해당 시설물(10)의 시설물 모델링(10a)이 3D 형태로 저장되어 있다.

3D 모델링(50) 중 드론위치(70)는 비행경로(30)를 따라 이동 가능하고, 카메라 포즈(60)는 드론(100) 카메라(120)의 촬영방향을 나타낸다. 3D모델링부(230)에서는 드론위치(70)에 대한 좌표 데이터 및 카메라 포즈(60)에 대한 방향 데이터가 발생된다.

도 3은 본 발명에 따른, 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정에서 드론(100)의 예측위치(102)와 보정위치(104)를 개념적으로 나타내는 평면도이다. 도 3에 도시된 바와 같이, 예측위치(102)는 드론(100)이 카메라(120), GPS(130) 및 IMU(160)의 출력신호에 기초하여 측정한 위치이다. 이러한 예측위치(102)는 GPS의 수신율 저하 또는 음영지역으로 인해 실제 드론(100)의 위치와 차이나게 된다. 이러한 위치의 차이는 점검이 진행됨에 따라 점차 확대될 수 있다.

보정위치(104)는 본 발명의 보정방법에 따라 보정된 드론(100)의 위치이며, 실제 드론(100)의 위치에 더 부합된다. 상대거리(Dx, Dy, Dz)는 X-Y-Z축 공간상에서 예측위치(102)로부터 보정위치(104)까지의 상대 거리이다.

드론(100)의 기수 회전각(θyaw)은 X-Y 평면상에서 예측위치(102)에 있는 드론(100)의 선단부(기수)가 향하는 방향과 보정위치(104)에 있는 드론(100)의 선단부가 향하는 방향 사이의 사이각이다. 드론(100)은 자율비행중 스스로 수평상태를 유지하므로 Z축 방향의 회전인 기수 회전각(θyaw)의 보정으로 충분할 수 있다. 보정위치가 산출되면 드론(100)은 보정위치(104)로 비행한다.

도 4는 본 발명의 일실시예에 따른, 시설물의 모델링을 기반으로 하는 점검 드론(100) 및 드론관제부(200)의 개략적인 블록도이다. 도 4에 도시된 바와 같이, 본 발명은 크게 드론(100)과 드론관제부(200)로 구성된다.

드론(100)의 드론제어부(110)는 마이크로프로세서 또는 CPU가 될 수 있으며, 점검, 촬영, 및 비행에 필요한 프로그램이 탑재되고 실행된다.

카메라(120)는 시설물(10)을 촬영하고, 드론제어부(110)는 촬영된 영상을 영상처리하여 균열, 기울어짐, 변형, 이물질, 박리, 누수 등을 검출할 수 있다. 선택적으로, 촬영된 영상을 드론관제부(200)로 전송하여 검출할 수도 있다. 특히, 카메라(120)의 포즈(X, Y, Z 축 방향의 회전 정보과 줌 정보) 데이터가 드론제어부(110)로 전송된다.

GPS(130)는 위성항법정보를 수신하여 위치정보를 출력한다.

무선통신부(140)는 드론관제부(200)의 관제통신부(220)와 양방향 무선 데이터 통신이 가능하다. 이를 위해 무선통신부(140)는 와이파이모듈, 블루투스모듈, 4G통신모듈, 무선인터넷모듈, 무선-LAN모듈, 지그비통신모듈 중 하나를 포함한다.

깊이센서(Depth Sensor, 150)는 TOF(time-Of-flight) 측정 방식을 이용하여 영상이나 이미지의 깊이를 측정한다. 즉, 깊이센서(150)는 소스로부터 방사된 신호가 시설물에 의해 반사되어 되돌아 올 때까지의 지연 시간을 측정하여 깊이센서(150)와 시설물까지의 거리를 산출한다. 깊이센서(150)의 출력신호는 드론제어부(110)로 입력되어 특징추출부(290)로부터 전송된 데이터와 함께 위치 측정에 사용된다.

IMU(Inertial Measurement Unit, 관성측정장치, 160)는 드론(100)의 3축 가속도계와 3축 각가속도계가 내장되어 드론(100)의 비행, 회전, 선회, 가감속 등을 감지하여 드론제어부(110)로 전송한다. IMU(160)의 일예로는 자이로센서가 될 수 있다.

블레이드모터(170)는 드론(100)의 비행을 위한 블레이드에 회전을 제공한다. 블레이드모터(170)는 블레이드의 개수에 따라 2개 ~ 8개가 구비될 수 있다.

전원부(180)는 드론(100)의 비행, 통신, 제어, 촬영, 저장 등을 위한 전력을 제공한다. 전원부(180)는 착탈식 2차전지가 될 수 있다.

경로저장부(190)는 드론(100)이 시설물(10) 점검을 위해 비행하여야 하는 경로를 저장한다. 경로저장부(190)에는 경로의 위치, 속도, 방향, 카메라의 포즈 등이 저장된다. 경로는 비행전 드론관제부(200)로부터 수신하여 저장한다.

드론관제부(200)의 제어부(210)는 마이크로프로세서 또는 CPU가 될 수 있으며, 드론관제부(200)의 운영, 드론(100)의 통제와 모니터링 등에 필요한 프로그램이 탑재되고 실행된다.

관제통신부(220)는 무선통신부(140)와 양방향 무선 데이터 통신이 가능하다. 이를 위해 관제통신부(220)는 와이파이모듈, 블루투스모듈, 4G통신모듈, 무선인터넷모듈, 무선-LAN모듈, 지그비통신모듈 중 하나를 포함한다.

3D모델링부(230)는 도 2에 도시된 바와 같이 시설물(10)의 3D 모델링 정보를 저장한다. 즉, 3D모델링부(230)는 열차 선로, 교량, 교대, 교각(20), 거더, 하부 구조물, 타워 등의 3D 모델링 정보를 가지고 있다.

디스플레이(240)는 드론(100)의 촬영한 영상, 시설물(10)의 점검 과정, 3D모델링 정보 등이 표출된다. 디스플레이(240)는 터치스크린 기능을 갖는 모니터나 LCD 패널이 될 수 있다.

입력부(250)는 조작자가 필요한 정보를 입력하기 위한 것으로 마우스, 키보드, USB포트, 터치스크린, 수동비행을 위한 드론 리모트콘트롤러 등이 될 수 있다.

경로생성부(260)는 시설물(10)의 주변을 비행하는 드론의 경로를 지정하거나 생성하고, 저장한다. 경로생성부(260)에서 생성된 경로정보는 드론(100)의 경로저장부(190)로 전송된다.

가상깊이 이미지생성부(270)는 3D모델링부(230)의 해당 시설물 모델링(10a)으로부터 특정 부위, 특정 줌인(Zoom-in) 및 특정 카메라 포즈의 3D 이미지를 생성(예 : 캡쳐, 변환)한다. 생성된 가상깊이 이미지는 JPG파일이 될 수 있다. 이때, 특정 부위는 GPS 음영지역에 있는 시설물 중 카메라 식별이 용이한 부분(예 : 돌출부위, 모서리, 벽면, 경사면, 기둥 등)이 될 수 있다.

키프레임 추출부(280)는 생성된 가상깊이 이미지로부터 특정 부위를 프레임으로 추출(예 : 크롭, cropping)한다.

특징추출부(290)는 추출된 프레임 이미지로부터 특징(예 : 촬영평면 또는 외곽선)을 추출한다.

도 5는 도 4 중 특징추출부(290)의 세부적인 블록도이고, 도 6은 촬영평면추출부(294)와 촬영평면의 외곽선 추출부(296)가 프레임 이미지(55)로부터 촬영평면과 외곽선을 추출하는 일예를 도시한 정면도이다. 도 5 및 도 6에 도시된 바와 같이, 특징추출부(290)의 카메라포즈 추출부(292)는 가상깊이 이미지 생성부(270)에서 생성된 특정 카메라 포즈(60)를 추출한다. 카메라 포즈(60)는 특정 위치(예 : 드론위치, 70)로부터 카메라가 바라보는 방향의 X, Y, Z축 카메라 회전 정보과 줌 정보를 포함한다.

촬영평면(Planar Feature) 추출부(294)는 프레임 이미지(55)로부터 촬영평면을 추출한다. 도 6은 철도교량과 교각 부위의 확대 프레임 이미지(55)이고, 촬영평면 추출부(294)가 이러한 프레임 이미지(55)로부터 제 1 촬영평면(80)과 제 2 촬영평면(82)을 각각 추출한다.

촬영평면의 외곽선 추출부(296)는 촬영평면으로부터 외곽선(Edge)을 추출한다. 도 6에서 외곽선 추출부(296)는 제 2 촬영평면(82)으로부터 다수의 외곽선(84)을 인식하여 추출한다. 외곽선(84)은 복수개의 직선으로 구성될 수 있다.

촬영평면 추출부(294)는 정밀한 보정을 위해 깊이센서(150)의 출력신호를 이용하며, 제 1, 2 촬영평면(80, 85)에 깊이 데이터를 포함할 수 있다.

실시예의 동작

이하에서는 상기와 같은 구성을 갖는 본 발명의 동작에 관하여 상세히 설명하도록 한다. 도 7은 본 발명의 일실시예에 따라, 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정방법을 나타내는 흐름도이다.

도 7에 도시된 바와 같이, 먼저, 드론제어부(110)가 드론관제부(200)로부터 비행경로(30)를 수신하여 경로저장부(190)에 저장한다(S90).

그 다음, 드론제어부(110)가 경로정보, 카메라(120), GPS(130)의 위치신호 및 IMU(160)의 출력신호에 기초하여 예측위치(102)를 산출하고, 카메라(120)의 포즈를 추출한다(S100). 카메라의 포즈에는 현재 카메라의 촬영방향이 포함된다.

만약, 카메라(120) 포즈가 상방 촬영인 경우, 드론(100)은 시설물(10)의 하부를 비행하면서, 교량의 저면을 상향 촬영한다. 이때, 드론관제부(200)의 특징추출부(290)로부터 수신된 모델링의 특징(예 : 촬영평면) 및 깊이센서(150)의 출력신호에 기초하여 예측위치(102)로부터 Z축 상대거리(Dz)를 보정한다(S130). Z축 상대거리(Dz)는 드론(100)과 교량 저면 사이의 높이 방향(Z축 방향)에 대해 드론(100)의 예측높이과 실제 비행중인 높이의 차이가 된다. 이러한 Z축 상대거리(Dz)의 발생은 드론(100)이 교량의 하부로 진입함에 따라 GPS 음영이 발생하거나 그밖의 다른 오차 들이 중첩됨으로써 발생된다.

그 다음, 모델링의 특징(예 : 외곽선)에 기초하여 예측위치(102)로부터 보정위치(104)까지의 X축 상대거리(Dx), Y축 상대거리(Dy) 및 드론(100)의 기수 회전각(θyaw)을 보정한다(S140). 이 단계에서 드론은 수평면(X-Y평면) 상에서 위치와 기수 방향을 정확히 보정한다. 기수 회전각(θyaw)을 보정함으로써 카메라(120)의 포즈도 함께 보정되는 효과가 있다.

만약, 카메라(120) 포즈가 전방 촬영인 경우, 드론(100)은 시설물(10)의 측면을 비행하면서 교량의 측면, 교각(20)의 측면을 촬영한다. 이때, 비행방향을 수평방향이나 수직방향 또는 원형 경로가 될 수 있다. 모델링의 특징 및 깊이센서(150)의 출력신호에 기초하여 예측위치(102)로부터 보정위치(104)까지의 X축 상대거리(Dx) 및 기수 회전각(θyaw)을 보정한다(S160). X축 상대거리(Dx)는 드론(100)과 교량 측면 사이의 수평(X축 방향) 거리에 대해 드론(100)의 예측거리과 실제 비행중인 거리의 차이가 된다.

그 다음, 모델링의 특징에 기초하여 예측위치(102)로부터 보정위치(104)까지의 Y축 상대거리(Dy) 및 Z축 상대거리(Dz)를 보정한다(S170).

이와 같이 각축의 상대거리와 기수 회전각(θyaw)가 보정되면, 이러한 보정위치를 현재의 예측위치로 갱신한다. 그 다음, 드론은 보정위치로 보정비행함으로써(S150), 드론은 정확한 경로 상에 놓이게 된다.

이와 같은 과정은 일정 간격으로 수행될 수 있고, GPS의 수신율에 따라 수행될 수도 있으며, 특정 경로에서 수행되도록 할 수도 있다.

상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

10 : 시설물,
10a : 시설물 모델링,
20 : 교각,
30 : 비행경로,
50 : 3D 모델링,
55 : 프레임 이미지,
60 : 카메라 포즈,
70 : 드론 위치,
80 : 제 1 촬영평면,
82 : 제 2 촬영평면,
84 : 외곽선,
100 : 드론,
102 : 예측위치,
104 : 보정위치,
110 : 드론제어부,
120 : 카메라,
130 : GPS,
140 : 무선통신부,
150 : 깊이센서,
160 : IMU,
170 : 블레이드 모터,
180 : 전원부,
190 : 경로저장부,
200 : 드론관제부,
210 : 제어부,
220 : 관제통신부,
230 : 3D모델링부,
240 : 디스플레이,
250 : 입력부,
260 : 경로생성부,
270 : 가상깊이 이미지 생성부,
280 : 키프레임 추출부,
290 : 특징 추출부,
292 : 카메라 포즈 추출부,
294 : 촬영평면 추출부,
296 : 촬영평면의 외곽선 추출부,
Dx, Dy, Dz : X축, Y축, Z축 상의 보정거리,
θyaw : 드론의 기수 회전각.

Claims

상호 무선통신이 가능한 드론(100)과 드론관제부(200)에 있어서,
(i-1) 점검할 시설물(10)의 모델링(10a) 데이터가 저장된 3D모델링부(230);
(i-2) 상기 모델링(10a)에 대한 상기 드론(100)의 비행경로(30)를 생성하는 경로생성부(260);
(i-3) 상기 비행경로(30) 상의 임의 위치에서 카메라 포즈(60)에 대한 프레임이미지(55)를 추출하는 키프레임 추출부(280);
(i-4) 상기 프레임 이미지(55)로부터 상기 시설물(10)의 특징을 추출하는 특징추출부(290); 및
(i-5) 상기 드론(100)과 무선 통신하는 관제통신부(220);를 포함하는 상기 드론관제부(200); 및
(ii-1) 상기 관제통신부(220)와 무선 통신하는 무선통신부(140);
(ii-2) 상기 비행경로(30)가 저장되는 경로저장부(190); 및
(ii-3) 상기 특징추출부(290)로부터 수신된 상기 특징에 기초하여 상기 드론(100)의 예측위치(102)를 보정하는 드론제어부(110);를 포함하는 상기 드론(100);으로 구성되고,
상기 특징추출부(290)는,
상기 카메라 포즈(60)에 관한 정보를 추출하는 카메라 포즈 추출부(292);
상기 프레임 이미지로부터 촬영평면(80, 82)을 추출하는 촬영평면 추출부(294); 및
상기 촬영평면(80, 82)으로부터 외곽선(84)을 추출하는 외곽선 추출부(296);를 포함하는 것을 특징으로 하는 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정장치.
삭제
제 1 항에 있어서,
상기 드론(100)은 상기 예측위치(102)를 산출하기 위해,
카메라(120), GPS(130), 및 IMU(160) 중 적어도 하나를 더 포함하는 것을 특징으로 하는 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정장치.
제 1 항에 있어서,
상기 드론제어부(110)는 상기 예측위치(102)를 보정하기 위해 깊이센서(150)를 더 포함하는 것을 특징으로 하는 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정장치.
제 1 항에 있어서,
상기 드론제어부(110)는 상기 예측위치(102)를 보정하기 위해,
상기 예측위치(102)로부터 보정위치(104)까지의 상대거리(Dx, Dy, Dz); 및
상기 드론(100)의 기수 회전각(θyaw);을 산출하는 것을 특징으로 하는 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정장치.
제 5 항에 따른 위치 보정장치를 이용한 보정방법에 있어서,
드론제어부(110)가 드론관제부(200)로부터 비행경로(30)를 수신하여 경로저장부(190)에 저장하는 사전단계(S90);
상기 드론제어부(110)가 카메라(120), GPS(130), 및 IMU(160) 중 적어도 하나의 출력신호에 기초하여 예측위치(102)를 산출하고, 상기 카메라(120)의 포즈를 추출하는 단계(S100);
상기 카메라(120) 포즈가 상방 촬영인 경우,
드론관제부(200)의 특징추출부(290)로부터 수신된 모델링의 특징에 기초하여 상기 예측위치(102)로부터 상기 보정위치(104)까지의 Z축 상대거리(Dz)를 보정하는 단계(S130); 및
상기 모델링의 특징에 기초하여 상기 예측위치(102)로부터 상기 보정위치(104)까지의 X축 상대거리(Dx), Y축 상대거리(Dy) 및 상기 드론(100)의 기수 회전각(θyaw)을 보정하는 단계(S140);를 포함하고,
상기 카메라(120) 포즈가 전방 촬영인 경우,
상기 모델링의 특징에 기초하여 상기 예측위치(102)로부터 보정위치(104)까지의 X축 상대거리(Dx) 및 상기 기수 회전각(θyaw)을 보정하는 단계(S160); 및
상기 모델링의 특징에 기초하여 상기 예측위치(102)로부터 상기 보정위치(104)까지의 Y축 상대거리(Dy) 및 Z축 상대거리(Dz)를 보정하는 단계(S170);를 포함하고,
상기 드론제어부(110)가 상기 보정위치(104)로 비행하는 단계(S150);를 포함하는 것을 특징으로 하는 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정방법.
제 6 항에 있어서,
상기 보정단계(S130, S160)에서 상기 모델링의 특징은,
상기 특징추출부(290) 중 촬영평면 추출부(294)가 상기 모델링(10a)으로부터 추출한 촬영평면(80, 82) 데이터를 포함하는 것을 특징으로 하는 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정방법.
제 6 항에 있어서,
상기 보정단계(S140, S170)에서 상기 모델링의 특징은,
상기 특징추출부(290) 중 촬영평면의 외곽선 추출부(296)가 상기 모델링(10a)으로부터 추출한 외곽선(84) 데이터를 포함하는 것을 특징으로 하는 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정방법.
제 6 항에 있어서,
상기 카메라(120) 포즈가 상방 촬영인 경우, 상기 드론(100)은 시설물(10)의 하부를 비행하는 것을 특징으로 하는 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정방법.
제 6 항에 있어서,
상기 보정단계(S130, S140, S160, S170)에서,
상기 드론제어부(110)는 깊이센서(150)의 출력신호를 더 기초로 하여 보정하는 것을 특징으로 하는 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정방법.
제 6 항에 있어서,
상기 모델링은 상기 시설물의 3-D 모델링인 것을 특징으로 하는 시설물의 모델링을 기반으로 하는 점검 드론의 위치 보정방법.