KR102520923B1

KR102520923B1 - Method for state estimation of construction machinary

Info

Publication number: KR102520923B1
Application number: KR1020210065642A
Authority: KR
Inventors: 박민철; 김동목
Original assignee: 현대두산인프라코어(주)
Priority date: 2021-05-21
Filing date: 2021-05-21
Publication date: 2023-04-11
Also published as: KR20220157731A

Abstract

본 개시의 실시 예들은 센서 퓨전 및 칼만 필터를 이용하여 건설 기계의 상태를 더욱 정밀하게 예측하는 방법에 관한 것으로, 건설 기계의 상태를 예측하는 방법은 관성 센서 측정 값에 잡음이 존재하는 지 판단하는 동작, 이중 GNSS(Global Navigation Satellite System) 측정 값에 잡음이 존재하는 지 판단하는 동작, 상기 관성 센서 측정 값 및 상기 이중 GNSS 측정 값 모두에 잡음이 존재하는 경우, 상기 이중 GNSS 측정 값이 이전 측정 값과 비교하여 미리 설정된 제1 범위 이상으로 변하는 지 판단하는 동작, 상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위보다 작게 변한다면 칼만 필터(Kalman filter)에 기반하여 상기 건설 기계의 상태를 예측하는 동작을 포함할 수 있다.Embodiments of the present disclosure relate to a method for more precisely predicting the state of a construction machine using sensor fusion and a Kalman filter, and the method for predicting the state of a construction machine determines whether noise exists in an inertial sensor measurement value. operation, determining whether there is noise in the double GNSS (Global Navigation Satellite System) measurement value, if noise exists in both the inertial sensor measurement value and the double GNSS measurement value, the double GNSS measurement value is the previous measurement value If the double GNSS measurement value changes by less than the first preset range compared to the previous measurement value, the construction based on a Kalman filter It may include an operation to predict the state of the machine.

Description

건설 기계의 상태 예측 방법{METHOD FOR STATE ESTIMATION OF CONSTRUCTION MACHINARY}State prediction method of construction machinery {METHOD FOR STATE ESTIMATION OF CONSTRUCTION MACHINARY}

본 개시의 다양한 실시 예들은 센서 퓨전에 기반한 건설 기계의 상태 예측에 있어서 상태 예측의 실패를 고려한 건설 기계의 상태 예측 방법에 관한 것이다.Various embodiments of the present disclosure relate to a method for predicting a state of a construction machine in consideration of a state prediction failure in predicting a state of a construction machine based on sensor fusion.

건설 현장에서 토공 작업을 위한 장비들은 지속적으로 개선 및 발전해 왔다. 건설 현장에서 사용되는 건설 기계는 숙련자가 조종자로서 건설 기계에 탑승하여 직접 조종하여 작업을 수행하도록 되어 있다.Equipment for earthworks at construction sites has been continuously improved and developed. A construction machine used at a construction site is designed to perform work by directly manipulating a construction machine as an operator by a skilled worker.

하지만, 숙련된 기능공의 부재로 인한 어려움을 겪고 있으며, 안전 관리 문제, 숙련공의 임금 상승으로 인한 채산성이 계속해서 악화되고 있다. 또한, 기능공 개개인의 숙련도 차이에 따라 시공 품질의 균일성 확보에 어려움을 겪고 있다.However, it is experiencing difficulties due to the absence of skilled craftsmen, and profitability continues to deteriorate due to safety management problems and rising wages of skilled workers. In addition, it is difficult to secure the uniformity of construction quality according to the difference in skill level of each craftsman.

최근에는 숙련된 기능공의 부재, 안전 관리, 및 채산성 문제를 해결할 수 있는 자동화된 무인 건설 기계에 대한 연구가 활발히 진행되고 있다. Recently, studies on automated unmanned construction machines that can solve the problems of absence of skilled craftsmen, safety management, and profitability have been actively conducted.

건설 기계의 무인화를 위해서는 속도 예측이 필요하다. 무인 건설 기계의 속도 제어를 통하여 정밀하게 작업을 수행할 수 있을 뿐만 아니라 주변 동적 장애물과 충돌할지 예측을 하기 위해서는 건설 기계의 속도가 필요하기 때문이다. 하지만, 건설 기계는 비포장 지형에서 주행을 하여 트랙 혹은 바퀴의 슬립이 많이 발생하여 트랙과 바퀴에 센서를 장착하여 속도를 측정하는 자동차에서 사용하는 방식은 정확하지 않기 때문에 건설 기계의 속도 예측에 용이하지 않다는 문제점이 있다. Speed prediction is necessary for unmanned construction machinery. This is because not only can work be performed precisely through speed control of unmanned construction machines, but also the speed of construction machines is required to predict whether they will collide with nearby dynamic obstacles. However, since construction machines drive on unpaved terrain and slippage of tracks or wheels occurs a lot, it is not easy to predict the speed of construction machines because the method used in cars that measure speed by mounting sensors on tracks and wheels is not accurate. There is a problem that it is not.

삭제delete

1. 일본 공개특허공보 특개2006-057448호(20060302)1. Japanese Unexamined Patent Publication No. 2006-057448 (20060302) 2. 등록특허공보 제10-1687230호(20161228)2. Registered Patent Publication No. 10-1687230 (20161228) 3. 일본 공개특허공보 특개2011-099873호(20110519)3. Japanese Unexamined Patent Publication No. 2011-099873 (20110519)

건설 기계의 주행 주변 환경 특성 상 건설 기계의 속도 예측은 어렵지만 가속화되는 무인화를 위해서는 정밀한 속도 예측이 필요하다. 또한, 속도 예측이 실패한 경우, 이를 빠르게 확인하고 그에 따라 건설 기계 동작의 정지 등과 같은 추가 위험성을 제거하기 위한 동작을 수행할 필요가 있다.Although it is difficult to predict the speed of construction machines due to the nature of the driving environment, precise speed prediction is necessary for the accelerated unmanned environment. In addition, when the speed prediction fails, it is necessary to quickly check this and accordingly perform an operation to remove additional risks such as stoppage of operation of the construction machine.

본 개시에서는 스윙 센서, IMU, 이중 GNSS의 센서 퓨전을 통하여 건설 기계의 속도를 포함하는 상태를 예측하는 방법을 제공하고자 한다. The present disclosure intends to provide a method for predicting a state including the speed of a construction machine through sensor fusion of a swing sensor, an IMU, and dual GNSS.

또한, 본 개시에서는 상태 예측이 실패한 것을 결정하는 방법을 제공하고자 한다.Additionally, the present disclosure seeks to provide a method for determining that state prediction has failed.

본 개시에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problem to be achieved in the present disclosure is not limited to the above-mentioned technical problem, and other technical problems not mentioned can be clearly understood by those skilled in the art from the description below. There will be.

본 개시의 다양한 실시 예에 따르면, 건설 기계의 상태를 예측하는 방법은 관성 센서 측정 값에 잡음이 존재하는 지 판단하는 동작, 이중 GNSS(Global Navigation Satellite System) 측정 값에 잡음이 존재하는 지 판단하는 동작, 상기 관성 센서 측정 값 및 상기 이중 GNSS 측정 값 모두에 잡음이 존재하는 경우, 상기 이중 GNSS 측정 값이 이전 측정 값과 비교하여 미리 설정된 제1 범위 이상으로 변하는 지 판단하는 동작, 상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위보다 작게 변한다면 칼만 필터(Kalman filter)에 기반하여 상기 건설 기계의 상태를 예측하는 동작을 포함할 수 있다.According to various embodiments of the present disclosure, a method for predicting a state of a construction machine includes an operation of determining whether noise exists in an inertial sensor measurement value, and determining whether noise exists in a double GNSS (Global Navigation Satellite System) measurement value. Operation, when noise exists in both the inertial sensor measurement value and the double GNSS measurement value, comparing the double GNSS measurement value with a previous measurement value and determining whether the change is greater than a preset first range, the double GNSS measurement and predicting the state of the construction machine based on a Kalman filter if the value changes by less than the preset first range compared to the previous measurement value.

본 개시의 다양한 실시 예에 따르면, 상기 방법은 상기 예측된 건설 기계의 상태에 기초하여 주행 제어를 수행하는 동작, 상기 주행 제어에 기초하여 상기 이중 GNSS 측정 값이 변하는 지 판단하는 동작 및 상기 주행 제어에 기초하여 상기 이중 GNSS 측정 값이 변하지 않는다고 판단하는 경우, 관제 센터 또는 작업자에게 확인을 요청하는 동작을 더 포함할 수 있다.According to various embodiments of the present disclosure, the method includes performing driving control based on the predicted state of the construction machine, determining whether the double GNSS measurement value is changed based on the driving control, and the driving control When it is determined that the double GNSS measurement value does not change based on , an operation of requesting confirmation from a control center or an operator may be further included.

본 개시의 다양한 실시 예에 따르면, 상기 관성 센서 측정 값 및 상기 이중 GNSS 측정 값 중 적어도 하나에 잡음이 존재하지 않는다고 판단하는 경우, 관제 센터 또는 작업자에게 확인을 요청하는 동작을 더 포함할 수 있다.According to various embodiments of the present disclosure, when it is determined that noise does not exist in at least one of the inertial sensor measurement value and the double GNSS measurement value, an operation of requesting confirmation from a control center or an operator may be further included.

본 개시의 다양한 실시 예에 따르면, 상기 건설 기계가 굴삭기인 경우, 상기 방법은 상기 굴삭기의 상부체와 하부체 간의 상대 각도를 측정하는 스윙(swing) 센서의 측정 값이 변하는 지 판단하는 동작 및 상기 스윙 센서의 측정 값이 변하지 않는 경우, 관제 센터 또는 작업자에게 확인을 요청하는 동작을 더 포함할 수 있다.According to various embodiments of the present disclosure, when the construction machine is an excavator, the method includes an operation of determining whether a measured value of a swing sensor for measuring a relative angle between an upper body and a lower body of the excavator is changed, and the When the measured value of the swing sensor does not change, an operation of requesting confirmation from a control center or a worker may be further included.

본 개시의 다양한 실시 예에 따르면, 상기 칼만 필터(Kalman filter)에 기반하여 상기 건설 기계의 상태를 예측하는 동작은 상기 칼만 필터의 예측 단계에 기초하여 상기 건설 기계의 상태 변수 값 및 에러 코베리언스(error covariance)를 예측하는 동작, 상기 칼만 필터의 보정 단계에 기초하여 상기 예측한 상태 변수 값 및 상기 에러 코베리언스를 상기 관성 센서 측정 값 및 상기 이중 GNSS 측정 값에 기반하여 보정하는 동작을 포함할 수 있다.According to various embodiments of the present disclosure, the operation of predicting the state of the construction machine based on the Kalman filter is based on the state variable value and error coverage of the construction machine based on the prediction step of the Kalman filter. An operation of predicting (error covariance), and an operation of correcting the predicted state variable value and the error covariance based on the correction step of the Kalman filter based on the inertial sensor measurement value and the dual GNSS measurement value. can do.

본 개시의 다양한 실시 예에 따르면, 상기 칼만 필터(Kalman filter)에 기반하여 상기 건설 기계의 상태를 예측하는 동작은 상기 칼만 필터의 예측 단계에 기초하여 상기 건설 기계의 상태 변수 값 및 에러 코베리언스(error covariance)를 예측하는 동작, 상기 스윙 센서로 측정한 상기 상대 각도를 기초로 상기 상부체에서 측정한 상기 관성 센서의 측정 값 및 상기 이중 GNSS의 측정 값을 상기 하부체의 대응하는 측정 값으로 변환하는 동작 및 상기 칼만 필터의 보정 단계에 기초하여 상기 예측한 상태 변수 값 및 상기 에러 코베리언스를 상기 하부체의 대응하는 측정 값에 기초하여 보정하는 동작을 포함할 수 있다.According to various embodiments of the present disclosure, the operation of predicting the state of the construction machine based on the Kalman filter is based on the state variable value and error coverage of the construction machine based on the prediction step of the Kalman filter. Operation of predicting (error covariance), the measurement value of the inertial sensor and the measurement value of the dual GNSS measured in the upper body based on the relative angle measured by the swing sensor as the corresponding measurement value of the lower body The method may include converting and correcting the predicted state variable value and the error coverage based on the Kalman filter correction step based on the corresponding measured value of the lower body.

본 개시의 다양한 실시 예에 따르면, 상기 방법은 상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위보다 크게 변한다면, 상기 칼만 필터의 보정 단계를 수행하지 않고, 상기 칼만 필터의 예측 단계만을 수행하여 상기 건설 기계의 상태를 예측하는 동작, 미리 설정된 시간 이내에 상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위 이내로 줄어드는 지 판단하는 동작, 상기 미리 설정된 시간 이내에 상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위 이내로 줄어들지 않으면 관제 센터 또는 작업자에게 확인을 요청하는 동작을 더 포함할 수 있다.According to various embodiments of the present disclosure, in the method, if the double GNSS measurement value changes more than the preset first range compared to the previous measurement value, the Kalman filter correction step is not performed, and the Kalman filter Operation of predicting the state of the construction machine by performing only the prediction step of, operation of determining whether the double GNSS measurement value is reduced within the first preset range by comparing the double GNSS measurement value with the previous measurement value within a preset time, the preset time The method may further include requesting confirmation from a control center or an operator when the double GNSS measurement value does not decrease within the preset first range compared to the previous measurement value within the first range.

본 개시의 다양한 실시 예에 따르면, 상기 상태 변수는 상기 건설 기계의 위치, 방향, 지연된 위치, 지연된 방향, 속도, 각속도, 가속도를 포함하고, 상기 관성 센서 측정 값은 상기 건설 기계의 속도, 가속도 및 각속도를 포함하고, 상기 이중 GNSS 측정 값은 상기 건설 기계의 방향 및 위치를 포함할 수 있다.According to various embodiments of the present disclosure, the state variable includes the position, direction, delayed position, delayed direction, speed, angular velocity, and acceleration of the construction machine, and the inertial sensor measurement values include the speed, acceleration, and angular velocity, and the double GNSS measurement value may include the direction and position of the construction machine.

본 개시의 다양한 실시 예에 따르면, 건설 기계는 관성 센서 및 이중 GNSS(Global Navigation Satellite System)를 포함하는 복수의 센서 및 상기 복수의 센서와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는 상기 관성 센서 측정 값 및 상기 이중 GNSS 측정 값에 잡음이 존재하는 지 판단하고, 상기 관성 센서 측정 값 및 상기 이중 GNSS 측정 값 모두에 잡음이 존재하는 경우, 상기 이중 GNSS 측정 값이 이전 측정 값과 비교하여 미리 설정된 제1 범위 이상으로 변하는 지 판단하고, 상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위보다 작게 변한다면 칼만 필터(Kalman filter)에 기반하여 상기 건설 기계의 상태를 예측할 수 있다.According to various embodiments of the present disclosure, a construction machine includes a plurality of sensors including an inertial sensor and a dual global navigation satellite system (GNSS) and a processor electrically connected to the plurality of sensors, and the processor measures the inertial sensor value and the double GNSS measurement value, and if noise exists in both the inertial sensor measurement value and the double GNSS measurement value, the double GNSS measurement value is compared with a previous measurement value to obtain a preset first It is determined whether the change is greater than or equal to 1 range, and if the double GNSS measurement value is compared with the previous measurement value and changes less than the preset first range, the condition of the construction machine can be predicted based on a Kalman filter. .

본 개시의 다양한 실시 예에 따르면, 상기 프로세서는 추가적으로 상기 예측된 건설 기계의 상태에 기초하여 주행 제어를 수행하고, 상기 주행 제어에 기초하여 상기 이중 GNSS 측정 값이 변하는 지 판단하고, 상기 주행 제어에 기초하여 상기 이중 GNSS 측정 값이 변하지 않는다고 판단하는 경우, 관제 센터 또는 작업자에게 확인을 요청할 수 있다.According to various embodiments of the present disclosure, the processor additionally performs driving control based on the predicted state of the construction machine, determines whether the double GNSS measurement value is changed based on the driving control, and determines whether the driving control Based on this, if it is determined that the double GNSS measurement value does not change, a control center or operator may be requested for confirmation.

본 개시의 다양한 실시 예에 따르면, 상기 프로세서는 상기 관성 센서 측정 값 및 상기 이중 GNSS 측정 값 중 적어도 하나에 잡음이 존재하지 않는다고 판단하는 경우, 관제 센터 또는 작업자에게 확인을 요청할 수 있다.According to various embodiments of the present disclosure, when it is determined that noise does not exist in at least one of the inertial sensor measurement value and the double GNSS measurement value, the processor may request confirmation from a control center or an operator.

본 개시의 다양한 실시 예에 따르면, 상기 건설 기계가 굴삭기인 경우, 상기 복수의 센서는 상기 굴삭기의 상부체와 하부체 간의 상대 각도를 측정하는 스윙(swing) 센서를 더 포함하고, 상기 프로세서는 상기 스윙 센서의 측정 값이 변하는 지 판단하고, 상기 스윙 센서의 측정 값이 변하지 않는 경우, 관제 센터 또는 작업자에게 확인을 요청할 수 있다.According to various embodiments of the present disclosure, when the construction machine is an excavator, the plurality of sensors further include a swing sensor for measuring a relative angle between an upper body and a lower body of the excavator, and the processor performs the It is determined whether the measured value of the swing sensor is changed, and when the measured value of the swing sensor is not changed, a control center or an operator may be requested to confirm.

본 개시의 다양한 실시 예에 따르면, 상기 프로세서는 상기 칼만 필터의 예측 단계에 기초하여 상기 건설 기계의 상태 변수 값 및 에러 코베리언스(error covariance)를 예측하고, 상기 칼만 필터의 보정 단계에 기초하여 상기 예측한 상태 변수 값 및 상기 에러 코베리언스를 상기 관성 센서 측정 값 및 상기 이중 GNSS 측정 값에 기반하여 보정할 수 있다.According to various embodiments of the present disclosure, the processor predicts the state variable value and error covariance of the construction machine based on the Kalman filter prediction step, and based on the Kalman filter correction step, The predicted state variable value and the error coverage may be corrected based on the inertial sensor measurement value and the double GNSS measurement value.

본 개시의 다양한 실시 예에 따르면, 상기 프로세서는 상기 칼만 필터의 예측 단계에 기초하여 상기 건설 기계의 상태 변수 값 및 에러 코베리언스(error covariance)를 예측하고, 상기 스윙 센서로 측정한 상기 상대 각도를 기초로 상기 상부체에서 측정한 상기 관성 센서의 측정 값 및 상기 이중 GNSS의 측정 값을 상기 하부체의 대응하는 측정 값으로 변환하고, 상기 칼만 필터의 보정 단계에 기초하여 상기 예측한 상태 변수 값 및 상기 에러 코베리언스를 상기 하부체의 대응하는 측정 값에 기초하여 보정할 수 있다.According to various embodiments of the present disclosure, the processor predicts state variable values and error covariance of the construction machine based on the predicting step of the Kalman filter, and the relative angle measured by the swing sensor. Converting the measured value of the inertial sensor and the measured value of the dual GNSS measured in the upper body to the corresponding measured value of the lower body based on, and the predicted state variable value based on the Kalman filter correction step and correct the error coverliance based on the corresponding measured value of the lower body.

본 개시의 다양한 실시 예에 따르면, 상기 프로세서는 추가적으로 상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위보다 크게 변한다면, 상기 칼만 필터의 보정 단계를 수행하지 않고, 상기 칼만 필터의 예측 단계만을 수행하여 상기 건설 기계의 상태를 예측하고, 미리 설정된 시간 이내에 상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위 이내로 줄어드는 지 판단하고, 상기 미리 설정된 시간 이내에 상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위 이내로 줄어들지 않으면 관제 센터 또는 작업자에게 확인을 요청할 수 있다.According to various embodiments of the present disclosure, the processor additionally does not perform the Kalman filter correction step, if the double GNSS measurement value changes more than the preset first range compared to the previous measurement value, and Predicting the state of the construction machine by performing only the prediction step of the filter, determining whether the double GNSS measurement value is reduced within the first preset range by comparing it with the previous measurement value within a preset time, and within the preset time When the double GNSS measurement value does not decrease within the preset first range compared to the previous measurement value, a control center or operator may be requested for confirmation.

본 개시의 실시 예들은 건설 기계에서 센서 퓨전을 통해 획득한 데이터에 기반하여 건설 기계의 속도 등 상태를 예측함으로써 상태 예측의 정밀도를 높이고 그 결과 건설 기계의 동작을 정밀하게 제어할 수 있고 안전 사고를 예방할 수 있도록 할 수 있다. Embodiments of the present disclosure increase the precision of state prediction by predicting the state of the construction machine based on data acquired through sensor fusion in the construction machine, and as a result, the operation of the construction machine can be precisely controlled and safety accidents can be prevented. can be prevented.

또한, 본 개시의 실시 예들은 상태 예측에 있어 예측 실패의 조건을 빠르게 검증하도록 함으로써 안전 사고를 예방할 수 있다.In addition, the embodiments of the present disclosure can prevent safety accidents by quickly verifying conditions for prediction failure in state prediction.

또한, 본 개시의 실시 예들에서 제안하는 시스템 또는 방법을 건설 기계에 적용함으로써, 건설 기계의 속도 예측 정밀도를 높이고, 안전성을 향상시킬 수 있다. In addition, by applying the system or method proposed in the embodiments of the present disclosure to a construction machine, it is possible to increase the accuracy of predicting the speed of the construction machine and improve safety.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Effects obtainable in the present disclosure are not limited to the effects mentioned above, and other effects not mentioned may be clearly understood by those skilled in the art from the description below. will be.

도 1은 본 개시의 다양한 실시 예에 따른 자율 작업 시스템을 도시한 도면이다.
도 2a는 본 개시의 다양한 실시 예에 따른 건설 기계를 설명하기 위한 도면이다.
도 2b는 굴삭기에 구비된 센서를 설명하기 위한 도면이다.
도 2c는 굴삭기에 구비된 상태 예측을 위한 센서를 도시한 도면이다. \
도 2d는 도저에 구비된 상태 예측을 위한 센서를 도시한 도면이다.
도 3은 본 개시의 다양한 실시 예에 따른 건설 기계를 개념적으로 나타낸 도면이다.
도 4는 건설 기계의 상태를 예측하기 위하여 사용되는 모션 모델(motion model)을 도시한 도면이다.
도 5는 칼만 필터의 동작 예를 도시한 도면이다.
도 6은 칼만 필터를 이용하여 건설 기계의 속도를 포함하는 상태를 예측하는 방법을 도시한 흐름도이다.
도 7은 본 개시에서 제안하는 방법의 적용에 의한 건설 기계의 속도에 대한 결과를 도시한 도면이다.
도 8은 GNSS에서 측정한 건설 기계의 위치와 본 개시에서 예측한 건설 기계의 위치를 비교한 도면이다.
도 9는 관성 센서에 의해 측정된 각속도 및 가속도와 본 개시에서 예측한 각속도 및 가속도를 비교한 도면이다.
도 10은 다양한 실시 예에 따른 건설 기계의 상태 예측 실패를 판단하는 방법을 도시한 흐름도이다.1 is a diagram illustrating an autonomous working system according to various embodiments of the present disclosure.
2A is a diagram for explaining a construction machine according to various embodiments of the present disclosure.
2B is a diagram for explaining a sensor provided in an excavator.
2C is a diagram illustrating a sensor for predicting a state provided in an excavator. \
2d is a diagram illustrating a sensor for predicting a state provided in a dozer.
3 is a diagram conceptually illustrating a construction machine according to various embodiments of the present disclosure.
4 is a diagram illustrating a motion model used to predict a state of a construction machine.
5 is a diagram illustrating an operation example of a Kalman filter.
6 is a flowchart illustrating a method of predicting a state including a speed of a construction machine using a Kalman filter.
7 is a diagram showing the result of the speed of a construction machine by applying the method proposed in the present disclosure.
8 is a diagram comparing the position of a construction machine measured by GNSS and the position of a construction machine predicted in the present disclosure.
9 is a diagram comparing angular velocity and acceleration measured by an inertial sensor with angular velocity and acceleration predicted in the present disclosure.
10 is a flowchart illustrating a method of determining a state prediction failure of a construction machine according to various embodiments of the present disclosure.

본 개시물의 이점 및 특징, 그리고 그것들을 달성하는 장치 및 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시물은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 개시물의 개시가 완전하도록 하며, 본 개시물이 속하는 기술분야에서 통상의 지식을 가진 자에게 개시물의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시물은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present disclosure, and an apparatus and method for achieving them will become clear with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present disclosure is not limited to the embodiments disclosed below, but will be implemented in various different forms, and only the present embodiments make the disclosure of the present disclosure complete, and common knowledge in the art to which the present disclosure belongs. It is provided to fully inform the person who has the scope of the disclosure, and the disclosure is only defined by the scope of the claims. Like reference numbers designate like elements throughout the specification.

하나의 구성 요소가 다른 구성 요소와 "연결된(connected to)" 또는 "커플링된(coupled to)" 이라고 지칭되는 것은, 다른 구성 요소와 직접 연결 또는 커플링된 경우 또는 중간에 다른 구성 요소를 개재한 경우를 모두 포함한다. 반면, 하나의 구성 요소가 다른 구성 요소와 "직접 연결된(directly connected to)" 또는 "직접 커플링된(directly coupled to)"으로 지칭되는 것은 중간에 다른 구성 요소를 개재하지 않은 것을 나타낸다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.A component is said to be "connected to" or "coupled to" another component when it is directly connected or coupled to the other component or through another component in between. include all cases. On the other hand, when one component is referred to as “directly connected to” or “directly coupled to” another component, it indicates that another component is not intervened. “And/or” includes each and every combination of one or more of the recited items.

본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 개시물을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.Terminology used herein is for describing embodiments and is not intended to limit the present disclosure. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, "comprises" and/or "comprising" means that a stated component, step, operation, and/or element is present in the presence of one or more other components, steps, operations, and/or elements. or do not rule out additions.

비록 제 1, 제 2 등이 다양한 구성 요소들을 서술하기 위해서 사용되나, 이들 구성 요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성 요소를 다른 구성 요소와 구별하기 위하여 사용하는 것이다.Although first, second, etc. are used to describe various components, these components are not limited by these terms, of course. These terms are only used to distinguish one component from another.

따라서, 이하에서 언급되는 제 1 구성 요소는 본 개시물의 기술적 사상 내에서 제2 구성 요소 일 수도 있음은 물론이다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시물이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Accordingly, it goes without saying that the first component mentioned below may also be the second component within the technical spirit of the present disclosure. Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those of ordinary skill in the art to which this disclosure belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined.

본 실시 예에서 사용되는 '부' 또는 '모듈'이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부' 또는 '모듈'은 어떤 역할들을 수행한다. 그렇지만 '부' 또는 '모듈'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부' 또는 '모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부' 또는 '모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성 요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 구성요소들과 '부' 또는 '모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부' 또는 '모듈'들로 결합되거나 추가적인 구성요소들과 '부' 또는 '모듈'들로 더 분리될 수 있다.The term 'unit' or 'module' used in this embodiment means software or a hardware component such as FPGA or ASIC, and the 'unit' or 'module' performs certain roles. However, 'unit' or 'module' is not meant to be limited to software or hardware. A 'unit' or 'module' may be configured to reside in an addressable storage medium and may be configured to reproduce one or more processors. Thus, as an example, 'unit' or 'module' includes components such as software components, object-oriented software components, class components and task components, processes, functions, properties, may include procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. Functions provided within components and 'units' or 'modules' may be combined into smaller numbers of components and 'units' or 'modules', or may be combined into additional components and 'units' or 'modules'. can be further separated.

본 개시물의 몇몇 실시 예들과 관련하여 설명되는 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 당업계에 알려진 임의의 다른 형태의 기록 매체에 상주할 수도 있다. 예시적인 기록 매체는 프로세서에 커플링되며, 그 프로세서는 기록 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 기록 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 기록 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다.Steps of a method or algorithm described in connection with some embodiments of the present disclosure may be directly implemented as hardware executed by a processor, a software module, or a combination of the two. A software module may reside in RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, a removable disk, a CD-ROM, or any other form of recording medium known in the art. An exemplary recording medium is coupled to the processor, and the processor can read information from and write information to the storage medium. Alternatively, the recording medium may be integral with the processor. The processor and recording medium may reside within an application specific integrated circuit (ASIC). An ASIC may reside within a user terminal.

도 1은 본 개시의 다양한 실시 예에 따른 자율 작업 시스템(100)을 도시한 도면이다.1 is a diagram illustrating an autonomous working system 100 according to various embodiments of the present disclosure.

도 1을 참조하면, 다양한 실시 예에 따른 자율 작업 시스템(100)은 관제 센터(110)와 적어도 하나의 건설 기계(또는 자율 작업 건설 기계)(120 내지 150)를 포함할 수 있다. Referring to FIG. 1 , an autonomous working system 100 according to various embodiments may include a control center 110 and at least one construction machine (or autonomous working construction machine) 120 to 150 .

다양한 실시 예에 따르면, 건설 기계(120 내지 150)는 토목공사나 건축공사 현장에서 작업을 수행하는 기계를 지칭하는 것으로, 도 1을 통해 도시된 바와 같이, 믹서트럭(mixer truck) (120), 덤프 트럭(dump truck)(130), 도저(dozer)(140), 굴삭기(excavator)(150)를 포함할 수 있다. 그러나, 이는 예시적일 뿐, 건설 기계는 굴착기(drilling machine), 크레인(crane), 휠로더(wheel loader), 스크레이퍼(scraper) 등과 같은 다양한 기계를 포함할 수 있다. 이러한 건설 기계는 사용자의 조작에 기반하여 작업을 수행하거나, 사용자없이 자율 작업을 수행할 수 있다. 자율 작업은 사용자의 조작없이 건설 기계(120 내지 150)가 자율적으로 이동하는 동작, 건설 기계(120 내지 150)에 의해 수행될 수 있는 작업을 자율적으로 수행하는 동작 등을 모두 포함하는 의미일 수 있다.According to various embodiments, the construction machines 120 to 150 refer to machines that perform work at a civil engineering or construction site, and as shown in FIG. 1, a mixer truck 120, a dump It may include a dump truck 130, a dozer 140, and an excavator 150. However, this is only exemplary, and the construction machine may include various machines such as a drilling machine, a crane, a wheel loader, a scraper, and the like. These construction machines may perform tasks based on a user's manipulation or perform autonomous tasks without a user. Autonomous work may mean including both an operation in which the construction machines 120 to 150 move autonomously without user manipulation, an operation in which a work that can be performed by the construction machines 120 to 150 is autonomously performed, and the like. .

일 실시 예에 따르면, 건설 기계(120 내지 150)는 관제 센터(110)로부터 수신하는 작업 지시에 따라, 작업을 수행할 수 있다. 작업 지시는 해당 건설 기계가 작업을 해야 하는 작업 영역, 작업 영역에서 수행해야 하는 작업 등과 관련된 정보를 포함할 수 있다. 예를 들어, 건설 기계(120 내지 150)는 작업 지시에 따라 사용자의 조작없이 작업 영역으로 이동하여 작업을 수행할 수 있다. 건설 기계(120 내지 150)는 다양한 센서를 구비할 수 있으며, 센서를 통해 획득되는 정보에 기초하여 건설 기계의 상태 및/또는 건설 기계의 주변 환경을 감지하고, 감지 결과를 작업 수행에 고려할 수 있다. According to one embodiment, the construction machines 120 to 150 may perform work according to work instructions received from the control center 110 . The work instruction may include information related to a work area in which the corresponding construction machine is to work and a work to be performed in the work area. For example, the construction machines 120 to 150 may perform work by moving to a work area without a user's manipulation according to work instructions. The construction machines 120 to 150 may include various sensors, detect the state of the construction machine and/or the surrounding environment of the construction machine based on information obtained through the sensor, and consider the detection result in performing the task. .

다양한 실시 예에 따르면, 관제 센터(110)는 작업 현장에 투입되는 적어도 하나의 건설 기계(120 내지 150)를 관리하는 시스템일 수 있다. 일 실시 예에 따르면, 관제 센터(110)는 적어도 하나의 건설 기계(120 내지 150)로 작업을 지시할 수 있다. 예를 들어, 관제 센터(110)는 작업 영역 및 해당 작업 영역에서 수행해야 하는 작업을 정의한 작업 지시를 생성하고, 이를 적어도 하나의 건설 기계(120 내지 150)로 전송할 수 있다. According to various embodiments, the control center 110 may be a system that manages at least one construction machine 120 to 150 put into a work site. According to one embodiment, the control center 110 may instruct work with at least one construction machine (120 to 150). For example, the control center 110 may generate a work order defining a work area and a work to be performed in the work area, and transmit it to at least one construction machine 120 to 150 .

도 2a는 본 개시의 다양한 실시 예에 따른 건설 기계를 설명하기 위한 도면이다. 이하 설명에서는, 도 1에 도시된 건설 기계 중 굴삭기를 예를 들어 설명하나 건설 기계를 굴삭기로 한정하는 것은 아니다.2A is a diagram for explaining a construction machine according to various embodiments of the present disclosure. In the following description, an excavator among the construction machines shown in FIG. 1 will be described as an example, but the construction machine is not limited to the excavator.

도 2a를 참조하면, 굴삭기(200)는 이동 역할을 하는 하부체(210), 하부체(210)에 탑재되어 360도 회전하는 상부체(220) 및 상부체(220)의 전방에 결합된 프론트 작업 장치(230)로 구성될 수 있다. 그러나, 이는 예시적일 뿐, 본 개시의 실시 예가 이에 한정되는 것이 아니다. 예컨대, 전술한 굴삭기(200)의 구성요소 외에 하나 이상의 다른 구성 요소(예: 하부체(210)의 후방에 결합된 플레이드 등)가 추가될 수도 있다.Referring to FIG. 2A , the excavator 200 includes a lower body 210 that serves to move, an upper body 220 that is mounted on the lower body 210 and rotates 360 degrees, and a front coupled to the front of the upper body 220. It may be configured as a working device 230 . However, this is only exemplary, and embodiments of the present disclosure are not limited thereto. For example, one or more other components (eg, a plate coupled to the rear of the lower body 210, etc.) may be added in addition to the components of the excavator 200 described above.

다양한 실시 예에 따르면, 상부체(220)는 운전자가 탑승하여 조작할 수 있는 운전실(222)이 내장되고 동력발생 장치(예: 엔진)가 장착될 수 있는 내부공간(미도시)이 구비될 수 있다. 운전실(222)은 작업 영역과 가까운 부분에 구비될 수 있다. 작업 영역은 굴삭기(200)가 작업을 하는 공간으로서, 굴삭기(200) 전방에 위치할 수 있다. 예를 들어, 탑승한 운전자가 확보된 시야 아래에서 작업을 진행하고, 프론트 작업 장치(230)가 장착되는 위치를 고려하여 운전실(222)은, 도 2a에서와 같이 작업 영역과 근접하면서 상부체(220)에서 일측으로 편향된 곳에 위치할 수 있다.According to various embodiments, the upper body 220 may include an interior space (not shown) in which a cab 222 in which a driver can ride and operate is built in and a power generating device (eg, an engine) can be mounted. there is. The operator's cabin 222 may be provided in a part close to the work area. The work area is a space in which the excavator 200 works, and may be located in front of the excavator 200 . For example, in consideration of the position where the driver on board works under the secured field of view and the front work device 230 is mounted, the cab 222 is close to the work area as shown in FIG. 2A and the upper body ( 220) may be located at a location deflected to one side.

다양한 실시 예에 따르면, 프론트 작업 장치(230)는 상부체(220)의 상면에 장착되고, 토지 굴삭이나 하중이 큰 물체의 운반 등의 작업을 진행하기 위한 장치일 수 있다. 일 실시 예에 따르면, 프론트 작업 장치(230)는 상부체(220)에 회전 가능하게 결합되는 붐(231), 붐(231)을 회전시키는 붐 실린더(232), 붐(231)의 선단부에 회전 가능하게 결합되는 암(233), 암(233)을 회전시키는 암 실린더(234), 암(233)의 선단부에 회전 가능하게 결합되는 버켓(235), 버켓(235)을 회전시키는 버켓 실린더(236)를 포함할 수 있다. 굴삭기(200)의 작업시에는 붐(231)의 일단과 암(233)의 일단 그리고 버켓(235)의 일단에서 각각 개별적으로 회전 운동하여 버켓(235)이 도달할 수 있는 영역을 최대화할 수 있다. 전술한 프론트 작업 장치(230)는 많은 문서에서 공지되어 있는 바, 이에 대한 상세한 설명을 생략한다.According to various embodiments, the front work device 230 is mounted on the upper surface of the upper body 220 and may be a device for performing work such as excavating land or transporting an object having a large load. According to one embodiment, the front work device 230 includes a boom 231 rotatably coupled to the upper body 220, a boom cylinder 232 rotating the boom 231, and a front end portion of the boom 231 rotates An arm 233 capable of being coupled, an arm cylinder 234 rotating the arm 233, a bucket 235 rotatably coupled to the front end of the arm 233, and a bucket cylinder 236 rotating the bucket 235 ) may be included. During the operation of the excavator 200, one end of the boom 231, one end of the arm 233, and one end of the bucket 235 individually rotate to maximize the reachable area of the bucket 235. . Since the above-described front working device 230 is known from many documents, a detailed description thereof will be omitted.

다양한 실시 예에 따르면, 하부체(210)는 상부체(220)의 하면에 결합될 수 있다. 하부체(210)는 바퀴를 사용하는 휠 타입 또는 무한궤도를 사용하는 크롤러 타입으로 형성된 주행체를 포함할 수 있다. 주행체는 동력발생 장치에 의해 발생되는 동력을 구동력으로 하여 굴삭기의 전후좌우 움직임을 구현할 수 있다. 일 실시 예에 따르면, 하부체(210)와 상부체(220)는 센터 조인트(center joint)에 의해 회전 가능하게 결합될 수 있다. According to various embodiments, the lower body 210 may be coupled to the lower surface of the upper body 220 . The lower body 210 may include a traveling body formed of a wheel type using wheels or a crawler type using caterpillars. The traveling body can implement forward, backward, left and right movement of the excavator by using the power generated by the power generator as a driving force. According to one embodiment, the lower body 210 and the upper body 220 may be rotatably coupled by a center joint.

도 2b는 굴삭기(200)에 구비된 센서를 설명하기 위한 도면이다. 2B is a diagram for explaining a sensor provided in the excavator 200.

다양한 실시 예에 따르면, 굴삭기(200)는 무인 자동화, 다시 말해서, 자율 작업을 수행할 수 있는 것으로, 다수의 센서들을 포함할 수 있다.According to various embodiments, the excavator 200 may perform unmanned automation, that is, autonomous work, and may include a plurality of sensors.

일 실시 예에 따르면, 다수의 센서들은 굴삭기(200)의 상태를 감지하기 위한 제 1 센서를 포함할 수 있다. 예를 들어, 굴삭기(200)의 상태는 상부체(220)(또는 하부체(210)의 회전 상태를 포함할 수 있다. 제 1 센서는 센터 조인트에 배치되어 상부체(220)의 회전 상태를 감지할 수 있다. 또한, 굴삭기(200)의 상태는 프론트 작업 장치(230)의 회전 상태를 포함할 수 있다. 제 1 센서는 붐(231), 암(233), 및 버켓(235) 각각에 배치되거나 붐(231), 암(233), 및 버켓(235)의 관절부(예: 힌지 연결부)에 배치되어 적어도 붐(231), 암(233) 및 버켓(235) 각각에 대한 회전 상태를 감지할 수도 있다. 전술한 제 1 센서의 위치는 하나의 실시 예로 본 개시가 이에 한정되는 것은 아니며, 제 1 센서는 굴삭기(200)의 상태를 감지할 수 있는 다양한 위치에 배치될 수 있다.According to one embodiment, the plurality of sensors may include a first sensor for detecting a state of the excavator 200 . For example, the state of the excavator 200 may include the rotation state of the upper body 220 (or the lower body 210). The first sensor is disposed at the center joint to detect the rotation state of the upper body 220. In addition, the state of the excavator 200 may include the rotational state of the front work device 230. The first sensor is applied to each of the boom 231, the arm 233, and the bucket 235. or disposed at the joints (eg, hinge connections) of the boom 231, the arm 233, and the bucket 235 to detect the rotational state of each of the boom 231, the arm 233, and the bucket 235 at least The location of the above-described first sensor is an example, and the present disclosure is not limited thereto, and the first sensor may be disposed at various locations capable of detecting the state of the excavator 200 .

일 실시 예에 따르면, 다수의 센서들은 굴삭기(200)가 작업을 진행하는 작업 영역을 감지하기 위한 제 2 센서를 포함할 수 있다. 전술한 바와 같이, 작업 영역은 굴삭기가 작업을 하는 공간으로서, 굴삭기(200) 전방에 위치할 수 있다. 제 2 센서는 상부체(220)에서 작업 영역과 가까운 부분, 예를 들어, 운전실(222)의 상면에서 프론트 작업 장치(230)에 근접한 일측에 배치되어 작업영역을 감지할 수 있다. 그러나, 이는 예시적일 뿐, 제 2 센서의 위치가 이에 한정되는 것이 아니다. 예컨대, 제 2 센서는 추가적으로 또는 선택적으로 작업 영역을 감지하도록 프론트 작업 장치(230), 예를 들어, 암(233) 또는 버켓(235)에 배치될 수 있다. According to one embodiment, the plurality of sensors may include a second sensor for detecting a work area in which the excavator 200 is working. As described above, the work area is a space where the excavator works and may be located in front of the excavator 200 . The second sensor may be disposed on a part of the upper body 220 close to the work area, for example, on one side close to the front work device 230 on the upper surface of the cab 222 to detect the work area. However, this is only exemplary, and the location of the second sensor is not limited thereto. For example, the second sensor may be disposed on the front work device 230, for example, the arm 233 or the bucket 235 to additionally or selectively sense the work area.

일 실시 예에 따르면, 다수의 센서들은 굴삭기(200) 주변의 장애물을 감지하기 위한 제 3 센서를 포함할 수 있다. 제 3 센서는 상부체(220)의 전방, 측방 및 후방에 배치되어 굴삭기 주변의 장애물을 감지할 수 있다. 전술한 제 3 센서의 위치는 하나의 실시 예로 본 개시가 이에 한정되는 것은 아니며, 제 3 센서는 굴삭기(200) 주변의 장애물을 감지할 수 있는 다양한 위치에 배치될 수 있다.According to one embodiment, the plurality of sensors may include a third sensor for detecting obstacles around the excavator 200 . The third sensor may be disposed at the front, side, and rear of the upper body 220 to detect obstacles around the excavator. The position of the above-described third sensor is an example, and the present disclosure is not limited thereto, and the third sensor may be disposed in various positions capable of detecting obstacles around the excavator 200.

다양한 실시 예에 따르면, 전술한 다양한 센서들은 각도 센서, 관성(inertial measurement unit; IMU) 센서, 회전 센서, 스윙(swing) 센서, 전자기파 센서, 카메라 센서, 레이다, 라이다 또는 초음파 센서 등을 포함할 수 있다. 예를 들어, 제 1 센서는 각도 센서, 관성 센서, 회전 센서 또는 스윙(swing) 센서 중 적어도 하나로 구성될 수 있으며, 제 2 센서 및 제 3 센서는 전자기파 센서, 카메라 센서, 레이다, 라이다 또는 초음파 센서 중 적어도 하나로 구성될 수 있다. 예를 들어, 도 2b의 참조부호 240과 같이, 운전실(222)의 상면과 굴삭기(200)의 암(233)에 배치된 카메라 센서가 제 2 센서로 사용될 수 있다. 또한, 도 2b의 참조부호 250과 같이 굴삭기(200) 전면에 배치된 라이다, 도 2b의 참조부호 260과 같이 굴삭기(200) 측면 및 후면에 배치된 초음파 센서 또는 도 2b의 참조부호 270과 같이, 굴삭기(200) 전면, 측면 및 후면에 배치된 카메라 센서가 제 3 센서로 사용될 수 있다. 추가적으로 또는 선택적으로, 이미지 센서가 제 2 센서 및 제 3 센서로 사용되는 경우, 대상체의 거리 정보를 알 수 있는 영상을 획득할 수 있는 스테레오 비전 시스템으로 구성될 수 있다. According to various embodiments, the various sensors described above may include an angle sensor, an inertial measurement unit (IMU) sensor, a rotation sensor, a swing sensor, an electromagnetic wave sensor, a camera sensor, a radar, lidar, or an ultrasonic sensor. can For example, the first sensor may be composed of at least one of an angle sensor, an inertial sensor, a rotation sensor, or a swing sensor, and the second sensor and the third sensor may be electromagnetic wave sensors, camera sensors, radar, lidar, or ultrasonic waves. It may consist of at least one of the sensors. For example, as shown by reference numeral 240 in FIG. 2B , a camera sensor disposed on the upper surface of the cab 222 and the arm 233 of the excavator 200 may be used as the second sensor. In addition, as shown in reference numeral 250 in FIG. 2B, a lidar disposed on the front of the excavator 200, an ultrasonic sensor disposed on the side and rear surface of the excavator 200 as shown in reference numeral 260 in FIG. , Camera sensors disposed on the front, side, and rear surfaces of the excavator 200 may be used as the third sensor. Additionally or alternatively, when the image sensor is used as the second sensor and the third sensor, it may be configured as a stereo vision system capable of obtaining an image capable of knowing distance information of an object.

또한, 제 1 센서, 제 2 센서, 제 3 센서 각각은 다른 센서와 동일하거나 또는 유사한 동작을 수행할 수 있다. 예를 들어, 굴삭기(200) 주변의 장애물을 감지하기 위한 제 3 센서를 이용하여, 굴삭기(200)가 작업을 진행하는 작업 영역을 감지하는 제 2 센서의 동작을 수행할 수도 있다.In addition, each of the first sensor, the second sensor, and the third sensor may perform the same or similar operation as the other sensors. For example, by using the third sensor for detecting obstacles around the excavator 200, the operation of the second sensor for detecting the work area in which the excavator 200 is working may be performed.

다양한 실시 예에 따르면, 굴삭기(200)는 무인 자동화, 다시 말해서, 자율 작업을 수행할 수 있는 것으로, 적어도 하나의 측위 장치를 포함하거나 측위 정보를 외부 장치로부터 획득할 수 있다. According to various embodiments, the excavator 200 is capable of performing unmanned automation, that is, autonomous work, and may include at least one positioning device or obtain positioning information from an external device.

일 실시 예에 따르면, 측위 장치는 위성 신호를 수신할 수 있는 GNSS(Global Navigation Satellite System) 모듈이 사용될 수 있으며, 정밀한 측정을 위해 RTK(Real Time Kinematic) GNSS 모듈이 사용될 수도 있다. 예를 들어, 굴삭기(200)의 상부체(220)에는 적어도 하나의 측위 장치가 배치될 수 있다. 그리고 RTK GNSS 모듈이 사용되는 경우에는 정밀한 위치 측정을 위하여 굴삭기(200)는 주변의 적어도 하나의 베이스 스테이션(base station)으로부터 보정신호를 수신할 수 있다.According to an embodiment, a global navigation satellite system (GNSS) module capable of receiving satellite signals may be used as the positioning device, and a real time kinematic (RTK) GNSS module may be used for precise measurement. For example, at least one positioning device may be disposed on the upper body 220 of the excavator 200 . In addition, when the RTK GNSS module is used, the excavator 200 may receive a correction signal from at least one nearby base station for precise location measurement.

도 2c는 굴삭기(200)에 구비된 상태 예측을 위한 센서를 도시한 도면이고, 도 2d는 도저에 구비된 상태 예측을 위한 센서를 도시한 도면이다.FIG. 2C is a diagram showing a sensor for predicting a state provided in the excavator 200, and FIG. 2D is a diagram showing a sensor for predicting a state provided in a dozer.

도 2c 및 도 2d를 참조하면, 본 개시에서 제안하는 센서 퓨전에 기반한 상태 예측 방법은 관성 센서(284) 및 이중 GNSS(282)에서 획득한 데이터를 이용하여 상태를 예측할 수 있다. 관성 센서(284)와 이중 GNSS(282)가 부착되는 건설 기계 내의 위치는 임의의 위치가 될 수 있다. 일 실시 예에 따라, 이중 GNSS(282)의 경우에는 베이스 스테이션과의 통신 연결을 위하여 운전실(222)의 상부에 부착될 수 있고, 다른 일 실시 예에 따라, 건설 기계의 정밀한 방향 정보 획득을 위하여 이중 GNSS의 각 GNSS 서로 간에 일정 거리 이상 간격을 두고 건설 기계에 구비될 수 있다.Referring to FIGS. 2C and 2D , the method for predicting a state based on sensor fusion proposed in the present disclosure may predict a state using data obtained from an inertial sensor 284 and a dual GNSS 282 . The position in the construction machine to which the inertial sensor 284 and the dual GNSS 282 are attached may be any position. According to one embodiment, in the case of the dual GNSS 282, it may be attached to the top of the driver's cab 222 for communication with the base station, and according to another embodiment, in order to obtain precise direction information of the construction machine Each GNSS of the dual GNSS may be provided in a construction machine with a predetermined distance or more between each other.

굴삭기(200)의 경우에는 추가적으로 스윙 센서(280)를 더 구비할 수 있다. 스윙 센서(280)는 상부체(220)와 하부체(210) 간의 상대 각도를 측정하기 위한 것으로 관성 센서(284) 및 이중 GNSS(282)가 상부체(220)에 부착되어 있는 반면에 굴삭기의 경우 속도는 하부체(210)의 속도이므로, 관성 센서(284) 및 이중 GNSS(282)로부터 획득한 데이터는 하부체(210) 연관 정보로 변경될 필요가 있다. 그리고 굴삭기(200)는 스윙 센서(280)의 측정 값에 기반하여 관성 센서(284) 및 이중 GNSS(282)로부터 획득한 데이터를 하부체(210) 연관 정보로 변경할 수 있다.In the case of the excavator 200, a swing sensor 280 may be further provided. The swing sensor 280 is for measuring the relative angle between the upper body 220 and the lower body 210, and while the inertial sensor 284 and the double GNSS 282 are attached to the upper body 220, the excavator's In this case, since the speed is the speed of the lower body 210, the data acquired from the inertial sensor 284 and the double GNSS 282 need to be changed to lower body 210 related information. Further, the excavator 200 may change data acquired from the inertial sensor 284 and the dual GNSS 282 to lower body 210 related information based on the measurement value of the swing sensor 280 .

도 3은 본 개시의 다양한 실시 예에 따른 건설 기계(300)를 개념적으로 나타낸 도면이다. 이하 설명에서는, 건설 기계(300)의 일 예로 굴삭기에 기초하여 도 3을 설명할 수 있으나, 본 개시가 굴삭기에 한정되는 것은 아니다.3 is a conceptual view of a construction machine 300 according to various embodiments of the present disclosure. In the following description, FIG. 3 may be described based on an excavator as an example of the construction machine 300, but the present disclosure is not limited to the excavator.

도 3을 참조하면, 건설 기계(300)는 프로세서(310), 통신 장치(320), 저장 장치(330), 센서 장치(340) 및 작업 제어 장치(350)를 포함할 수 있다. 그러나, 이는 예시적일 뿐, 본 개시의 실시 예가 이에 한정되는 것이 아니다. 예컨대, 전술한 건설 기계(300)의 구성요소 중 적어도 하나가 생략되거나 또는 하나 이상의 다른 구성 요소(예: 입력 장치, 출력 장치 등)가 건설 기계(300)의 구성으로 추가될 수도 있다.Referring to FIG. 3 , a construction machine 300 may include a processor 310, a communication device 320, a storage device 330, a sensor device 340, and a job control device 350. However, this is only exemplary, and embodiments of the present disclosure are not limited thereto. For example, at least one of the aforementioned components of the construction machine 300 may be omitted or one or more other components (eg, an input device, an output device, etc.) may be added to the configuration of the construction machine 300 .

다양한 실시 예에 따르면, 통신 장치(320)는 무선 통신 기술을 이용하여 외부 장치와 데이터를 송수신할 수 있다. 외부 장치는 관제 센터(110) 및 다른 건설 기계(120 내지 150)를 포함할 수 있다. 예컨대, 통신 장치(320)는 외부 장치로부터 작업 지시를 수신하고, 외부 장치로 작업과 관련된 정보(예: 작업 결과)를 전송할 수 있다. 이때, 통신 장치(320)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다. 또한, 통신 장치(320)는 도 2b를 통해 전술한 바와 같이, 적어도 하나의 측위 장치를 포함할 수 있다. According to various embodiments, the communication device 320 may transmit/receive data with an external device using wireless communication technology. External devices may include the control center 110 and other construction machines 120 to 150 . For example, the communication device 320 may receive a task instruction from an external device and transmit task-related information (eg, a task result) to the external device. At this time, the communication technology used by the communication device 320 includes Global System for Mobile communication (GSM), Code Division Multi Access (CDMA), Long Term Evolution (LTE), 5G, Wireless LAN (WLAN), and Wireless-Fi (Wi-Fi). Fidelity), Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), ZigBee, Near Field Communication (NFC), and the like. Also, the communication device 320 may include at least one positioning device as described above with reference to FIG. 2B.

다양한 실시 예에 따르면, 저장 장치(330)는 건설 기계(300)의 적어도 하나의 구성요소(예를 들어, 프로세서(310), 통신 장치(320), 센서 장치(340) 또는 작업 제어 장치(350))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 일 실시 예에 따르면, 저장 장치(330)는 건설 기계(300)의 제원(예: 모델명, 고유번호, 기본 사양), 맵 데이터 등을 저장할 수 있다. 예를 들어, 저장 장치(330)는 비휘발성 메모리 장치 및 휘발성 메모리 장치 중 적어도 하나를 포함할 수 있다.According to various embodiments, the storage device 330 may include at least one component of the construction machine 300 (eg, the processor 310, the communication device 320, the sensor device 340, or the work control device 350). )) can store various data used by. According to an embodiment, the storage device 330 may store specifications (eg, model name, serial number, basic specifications), map data, and the like of the construction machine 300 . For example, the storage device 330 may include at least one of a non-volatile memory device and a volatile memory device.

다양한 실시 예에 따르면, 센서 장치(340)는 다양한 센서들을 이용하여 건설 기계(300)의 상태, 건설 기계(300)의 작업 영역 또는 건설 기계(300) 주변의 장애물 중 적어도 하나와 관련된 정보를 수집할 수 있다. 센서 장치(340)는 도 2a 및 도 2b를 통해 전술한 바와 같이, 제 1 센서, 제 2 센서 및 제 3 센서를 포함할 수 있다. 예를 들어, 건설 기계(300)의 상태와 관련된 정보를 수집하기 위한 각도 센서, 관성 센서 또는 회전 센서 중 적어도 하나가 센서 장치(340)의 구성으로 사용될 수 있으며, 건설 기계(300)의 작업 영역 및 주변 장애물과 관련된 정보를 수집하기 위한 전자기파 센서, 카메라 센서, 레이다, 라이다 또는 초음파 센서 중 적어도 하나가 센서 장치(340)의 구성으로 사용될 수 있다. 그러나, 이는 예시적일 뿐, 본 개시의 실시 예가 이에 한정되는 것이 아니다. 예컨대, 건설 기계(300)의 상태, 건설 기계(300)의 작업 영역 또는 건설 기계(300) 주변의 장애물과 관련된 정보를 수집할 수 있는 다양한 종류의 센서들이 센서 장치(340)의 구성으로 사용될 수 있다.According to various embodiments, the sensor device 340 collects information related to at least one of a state of the construction machine 300, a work area of the construction machine 300, or obstacles around the construction machine 300 using various sensors. can do. As described above with reference to FIGS. 2A and 2B , the sensor device 340 may include a first sensor, a second sensor, and a third sensor. For example, at least one of an angle sensor, an inertial sensor, or a rotation sensor for collecting information related to the state of the construction machine 300 may be used as a component of the sensor device 340, and the work area of the construction machine 300 And at least one of an electromagnetic wave sensor, a camera sensor, a radar sensor, a lidar sensor, or an ultrasonic sensor for collecting information related to surrounding obstacles may be used as a component of the sensor device 340 . However, this is only exemplary, and embodiments of the present disclosure are not limited thereto. For example, various types of sensors capable of collecting information related to the state of the construction machine 300, a work area of the construction machine 300, or obstacles around the construction machine 300 may be used as a configuration of the sensor device 340. there is.

다양한 실시 예에 따르면, 작업 제어 장치(350)는 건설 기계(300)의 작업을 제어할 수 있다. According to various embodiments, the job control device 350 may control the job of the construction machine 300 .

다양한 실시 예에 따르면, 작업 제어 장치(350)는, 관제 센터(110) 및/또는 운전자의 운전 조작에 기인하여 건설 기계(300)로부터 작업 지시를 수신할 수 있다. According to various embodiments, the work control device 350 may receive work instructions from the control center 110 and/or the construction machine 300 due to a driver's driving operation.

일 실시 예에 따르면, 작업 지시는 작업 영역 및 해당 작업 영역에서 수행되어야 하는 작업 종류(또는 작업 내용)를 포함할 수 있다. 작업 종류는 건설 기계(300)에 의해 수행될 수 있는 굴삭(digging) 작업, 호파기(trench) 작업, 평탄화 (grading) 작업, 파쇄(breaking) 작업, 굴삭한 토사를 상차시키는 덤핑(dumping) 작업, 상부체(220)를 회전시키는 스윙(swing) 작업, 건설 기계(300)의 위치를 변경하는 이동(moving) 작업 등을 포함할 수 있다. 또한, 작업 영역은 작업 현장의 일부분으로, 적어도 하나의 작업이 수행되어야 하는 영역(예: 굴삭 영역, 평탄화 영역 등)일 수 있다. 추가적으로, 작업 지시는 작업 현장으로부터 벗어나 대기하고 있는 건설 기계(300)를 작업 현장으로 안내하는 이동 경로를 포함할 수 있다. 이러한 경우, 건설 기계(300)는 이동 경로에 기초하여 대기 장소를 출발하여 작업 현장으로 이동할 수 있다.According to an embodiment, the work instruction may include a work area and a type of work (or work content) to be performed in the work area. Types of work include a digging work, a trench work, a grading work, a breaking work, and a dumping work for loading and unloading excavated soil that can be performed by the construction machine 300 , a swing work for rotating the upper body 220, a moving work for changing the position of the construction machine 300, and the like. Also, the work area is a part of a work site and may be an area where at least one work is to be performed (eg, an excavation area, a flattening area, etc.). Additionally, the work instruction may include a movement path for guiding the construction machine 300 waiting out of the work site to the work site. In this case, the construction machine 300 may leave the waiting area and move to the work site based on the movement route.

다양한 실시 예에 따르면, 작업 제어 장치(350)는 작업 지시에 기초하여, 작업 계획을 수립할 수 있다. 작업 계획은 작업 영역에 대한 작업 처리 지점, 다시 말해서, 주행체(예: 바퀴, 무한궤도 트랙)의 정지 위치를 포함할 수 있다. 예를 들어, 작업 제어 장치(350)는, 작업 종류에 따라 작업 효율성과 안전성을 보장하기 위하여, 동일한 작업 영역에서 서로 다른 작업 처리 지점을 결정할 수 있다. According to various embodiments, the job control device 350 may establish a job plan based on a job instruction. The work plan may include a work processing point for a work area, that is, a stop position of a traveling body (eg, a wheel, a caterpillar track). For example, the job control device 350 may determine different job processing points in the same work area in order to ensure work efficiency and safety according to the type of work.

일 실시 예에 따르면, 스윙 동작 및 덤핑 동작이 수반되는 작업(예: 굴삭 또는 호파기 작업)을 지시받은 경우, 작업 제어 장치(350)는 건설 기계(300)의 작업 반경(예: 상부체(220) 또는 프론트 작업 장치(230)의 회전 반경)을 고려하여 작업 영역의 제 1 지점을 작업 처리 지점을 결정할 수 있다. 작업 반경은 건설 기계(300)의 제원, 작업의 안전성 등이 고려될 수 있다. According to one embodiment, when a task involving a swinging motion and a dumping motion (eg, excavation or hobber operation) is instructed, the operation control device 350 controls the working radius of the construction machine 300 (eg, the upper body ( 220) or the rotation radius of the front work device 230), the first point of the work area may be determined as the work processing point. The working radius may take into consideration the specifications of the construction machine 300, the safety of work, and the like.

또한, 작업 제어 장치(350)는, 작업 계획의 일부로, 작업 영역에서 건설 기계(300)가 수행하고자 하는 작업의 처리 순서를 결정할 수 있다. 예를 들어, 작업 현장 내의 복수의 작업 영역에 대한 작업을 지시받은 경우, 작업 제어 장치(350)는 우선 순위로 처리해야하는 작업 영역과 차순위로 처리해야하는 작업 영역을 결정할 수 있다. 다른 예로, 하나의 작업 영역에서 복수의 작업을 지시받은 경우, 작업 제어 장치(350)는 작업 영역에서 우선순위로 처리할 작업과 차순위로 처리할 작업을 계획할 수 있다. 그러나, 이는 예시적일 뿐, 본 개시가 이에 한정되는 것은 아니다. 예컨대, 작업 계획의 적어도 일부, 예를 들어, 작업의 처리 순서는 관제 센터(110)에 의해 지정되어 건설 기계(300)로 제공될 수도 있다.Also, the job control device 350 may determine a processing sequence of jobs to be performed by the construction machine 300 in the work area as part of a work plan. For example, when a work order is given for a plurality of work areas in a work site, the job control device 350 may determine a work area to be processed in priority and a work area to be processed in a second order. As another example, when a plurality of tasks are instructed in one work area, the job control device 350 may plan a task to be processed in priority and a task to be processed in the next priority in the work area. However, this is only exemplary, and the present disclosure is not limited thereto. For example, at least a part of the work plan, eg, the processing order of the work, may be designated by the control center 110 and provided to the construction machine 300 .

다양한 실시 예에 따르면, 작업 제어 장치(350)는, 작업 계획에 기초하여, 작업 처리를 위한 작업 경로를 획득할 수 있다. 작업 경로는 작업 영역(또는 작업 처리 지점)으로 건설 기계(300)가 이동해야 하는 경로로, 앞서 설명한 관제 센터(110)에 의해 제공되는 이동 경로와는 구분된다. 일 실시 예에 따르면, 작업 경로는 작업 현장 내의 건설 기계(300)의 위치를 시작점으로 하고, 작업 처리 지점을 목적지로 하는 작업 경로를 결정할 수 있다. 예를 들어, 작업 제어 장치(350)는 통신 장치(320)(예: 측위 장치)를 통해 획득된 위치 정보와 저장 장치(330)에 저장된 맵 데이터를 이용하여, 제 1 간격(예: 대략 1m)의 중간점(waypoint)들로 포함하는 작업 경로를 결정할 수 있다. 중간점은 건설 기계(300)가 작업을 위해 이동하는 작업 경로에 배치된 다양한 객체들에 대한 식별 정보일 수 있다. 또한, 중간점은 객체의 명칭, 종류, 위치, 방향 등을 포함할 수 있다. 그러나, 이는 예시적일 뿐, 본 개시의 실시 예가 이에 한정되는 것이 아니다. 예컨대, 작업 경로는 외부 장치에 의해 결정될 수 있다. 이러한 경우, 작업 제어 장치(350)는, 외부 장치로부터 작업 경로를 수신할 수 있다.According to various embodiments, the job control device 350 may acquire a job path for job processing based on a job plan. The work path is a path along which the construction machine 300 must move to a work area (or work processing point), and is distinguished from the previously described moving path provided by the control center 110 . According to an embodiment, the work path may determine a work path having a location of the construction machine 300 in a work site as a starting point and a work processing point as a destination. For example, the job control device 350 uses the location information obtained through the communication device 320 (eg, a positioning device) and the map data stored in the storage device 330 to determine a first interval (eg, approximately 1 m). ) can determine a working path including waypoints. The intermediate point may be identification information on various objects disposed on a work path along which the construction machine 300 moves for work. In addition, the middle point may include the name, type, location, direction, and the like of the object. However, this is only exemplary, and embodiments of the present disclosure are not limited thereto. For example, the working path may be determined by an external device. In this case, the job control device 350 may receive a job path from an external device.

일 실시 예에 따르면, 작업 현장 내에 복수의 작업 영역이 존재하는 경우, 작업 제어 장치(350)는 작업 처리 순서에 기초하여, 복수의 작업 영역을 경유지와 목적지로 하는 작업 경로를 결정할 수도 있다. 다른 실시 예에 따르면, 하나의 작업 영역에 복수의 작업 처리 지점이 존재하는 경우, 작업 제어 장치(350)는 작업 처리 순서에 기초하여, 복수의 작업 처리 지점을 경유지와 목적지로 하는 작업 경로를 결정할 수도 있다.According to an embodiment, when a plurality of work areas exist in a work site, the job control device 350 may determine a work path having the plurality of work areas as stopovers and destinations based on a work processing sequence. According to another embodiment, when a plurality of job processing points exist in one work area, the job control device 350 determines a job path having the plurality of job processing points as waypoints and destinations based on the job processing order. may be

다양한 실시 예에 따르면, 작업 제어 장치(350)는 작업 경로에 기초하여, 건설 기계(300)의 운동 궤적을 결정할 수 있다. 운동 궤적은 작업 경로를 따라 이동하기 위한 건설 기계(300)의 움직임을 의미할 수 있다. 일 실시 예에 따르면, 작업 제어 장치(350)는 작업 경로에 포함된 중간점들 가운데 건설 기계(300)와 가까운 중간점을 운동 궤적의 일부로 결정할 수 있다. According to various embodiments, the job control device 350 may determine a motion trajectory of the construction machine 300 based on the work path. The movement trajectory may refer to a movement of the construction machine 300 to move along a work path. According to an embodiment, the job control device 350 may determine an intermediate point close to the construction machine 300 among intermediate points included in the work path as part of the movement trajectory.

예를 들어, 작업 제어 장치(350)는 정밀한 운동 궤적을 결정하기 위하여, 작업 경로를 정밀 작업 경로로 변환시킬 수 있으며, 정밀 작업 경로에 포함된 중간점들 중 건설 기계(300)와 가까운 중간점을 선택할 수 있다. For example, the work control device 350 may convert a work path into a precise work path in order to determine a precise motion trajectory, and among midpoints included in the precise work path, an intermediate point close to the construction machine 300 can choose

다양한 실시 예에 따르면, 작업 제어 장치(350)는 운동 궤적에 기초하여 건설 기계(300)의 조향 정보를 획득할 수 있다. 일 실시 예에 따르면, 작업 제어 장치(350)는 운동 궤적으로 결정된 중간점을 추종하기 위한 조향 정보를 획득할 수 있다. 조향 정보는 조향 속도, 조향 각도 등을 포함할 수 있다. 예를 들어, 작업 제어 장치(350)는 센서 장치(340)(예: 관성 센서)를 통해 획득된 센서 정보(예: 건설 기계(300)의 상태와 관련된 정보) 또는 통신 장치(320)(예: RTK GNSS 모듈)를 통해 획득되는 정보(예: 상기 건설 기계(300)의 위치 및/또는 방향과 관련된 정보) 중 적어도 하나에 기초하여 건설 기계(300)(예: 하부체(210))의 위치 및 방향을 결정할 수 있으며, 이를 결정된 중간점의 위치 및 방향과 비교하여 조향 정보를 획득할 수 있다.According to various embodiments, the job control device 350 may obtain steering information of the construction machine 300 based on the movement trajectory. According to one embodiment, the job control device 350 may obtain steering information for following an intermediate point determined as a motion trajectory. Steering information may include steering speed, steering angle, and the like. For example, the job control device 350 may include sensor information (eg, information related to the state of the construction machine 300) obtained through the sensor device 340 (eg, an inertial sensor) or the communication device 320 (eg, an inertial sensor). : Based on at least one of the information (eg, information related to the position and/or direction of the construction machine 300) obtained through the RTK GNSS module) of the construction machine 300 (eg, the lower body 210) The position and direction may be determined, and steering information may be obtained by comparing the position and direction of the determined intermediate point.

다양한 실시 예에 따르면, 작업 제어 장치(350)는 조향 정보에 기초하여 건설 기계(300)를 제어하기 위한 제어 정보를 결정할 수 있다. 일 실시 예에 따르면, 작업 제어 장치(350)는 건설 기계(300)의 제원에 기초하여 조향 정보를 구동 제어 값으로 변환할 수 있다. 예를 들어, 작업 제어 장치(350)는 건설 기계(300)의 제원에 기초하여, 조향 정보를 건설 기계(300)의 주행체에 대한 속도 제어 값 및 방향 제어 값으로 변환할 수 있다. 또한, 작업 제어 장치(350)는 변환된 제어 값에 따라 건설 기계(300)가 구동되도록 좌측 및 우측 주행체(예: 바퀴, 무한궤도 트랙)를 제어할 수 있다.According to various embodiments, the job control device 350 may determine control information for controlling the construction machine 300 based on steering information. According to an embodiment, the job control device 350 may convert steering information into a driving control value based on the specifications of the construction machine 300 . For example, the job control device 350 may convert steering information into a speed control value and a direction control value for a traveling body of the construction machine 300 based on the specifications of the construction machine 300 . In addition, the job control device 350 may control the left and right traveling bodies (eg, wheels and tracks) so that the construction machine 300 is driven according to the converted control value.

다양한 실시 예에 따르면, 프로세서(310)는 건설 기계(300)의 전반적인 동작을 제어하도록 구성될 수 있다. 일 실시 예에 따르면, 프로세서(310)는, 저장 장치(330)에 저장된 소프트웨어(예를 들어, 프로그램)를 실행하여, 프로세서(310)에 연결된 구성 요소(예를 들어, 통신 장치(320), 저장 장치(330), 센서 장치(340) 또는 작업 제어 장치(350)) 중 적어도 하나의 구성 요소를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 예를 들어, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(310)는 다른 구성 요소로부터 수신된 명령 또는 데이터를 저장 장치(330)에 저장하고, 저장 장치(330)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 저장 장치(330)에 저장할 수 있다. 프로세서(310)는 메인 프로세서 및 메인 프로세서와 독립적으로 또는 함께 운영 가능한 보조 프로세서로 구성될 수 있다. 일 실시 예에 따르면, 프로세서(310)는 전술한 구성 요소(예를 들어, 통신 장치(320), 저장 장치(330), 센서 장치(340) 또는 작업 제어 장치(350))와 CAN(Controller Area Network) 통신을 수행할 수 있으나, 본 개시가 이에 한정되는 것은 아니다. According to various embodiments, the processor 310 may be configured to control overall operations of the construction machine 300 . According to one embodiment, the processor 310 executes software (eg, a program) stored in the storage device 330, and components connected to the processor 310 (eg, the communication device 320, At least one component of the storage device 330 , the sensor device 340 , or the job control device 350 may be controlled, and various data processing or calculations may be performed. For example, as at least part of data processing or operation, the processor 310 stores instructions or data received from other components in the storage device 330, processes the instructions or data stored in the storage device 330, and , result data may be stored in the storage device 330 . Processor 310 may be composed of a main processor and a secondary processor that can operate independently of or together with the main processor. According to one embodiment, the processor 310 includes the aforementioned components (eg, the communication device 320, the storage device 330, the sensor device 340, or the task control device 350) and a CAN (Controller Area). Network) communication may be performed, but the present disclosure is not limited thereto.

다양한 실시 예에 따르면, 프로세서(310)는 센서 장치(340)로부터 획득한 데이터에 기초하여 건설 기계(300)의 상태를 예측할 수 있다. According to various embodiments, the processor 310 may predict the state of the construction machine 300 based on data obtained from the sensor device 340 .

일 실시 예에 따라, 건설 기계(300)가 도 2d에 도시된 도저인 경우, 프로세서(310)는 2축 차체 각도(roll, pitch), 3축 가속도 및/또는 3축 각속도를 측정하는 관성 센서 및 도저의 정밀한 위치와 방향을 측정하는 이중 GNSS를 이용하여 도저의 속도를 예측할 수 있다.According to an embodiment, when the construction machine 300 is the dozer shown in FIG. 2D , the processor 310 is an inertial sensor that measures 2-axis body angle (roll, pitch), 3-axis acceleration, and/or 3-axis angular velocity. And the speed of the doser can be predicted using dual GNSS that measures the precise position and direction of the doser.

다른 일 실시 예에 따라, 건설 기계(300)가 도 2c에 도시된 굴삭기(200)인 경우, 상부체가 스윙을 하는 경우에는 상부체(220)와 하부체(210)가 나뉘어져 있고, 하부체(210)로 배선을 연결할 수 없어서 하부체(210)의 속도를 예측하는 센서를 장착하더라도 해당 데이터가 프로세서(310)로 전달되기 힘들 수 있다. 이에 따라, 프로세서(310)는 2축 차체 각도(roll, pitch), 3축 가속도 및/또는 3축 각속도를 측정하는 관성 센서, 상부체와 하부체의 상대 각도를 측정하는 스윙 센서 및 상부체의 정밀한 위치와 방향을 측정하는 이중 GNSS를 이용하여 하부체(210)의 속도를 예측할 수 있다. 일 실시 예에 따라, 이중 GNSS는 정밀한 위치 측정을 위하여 보정 신호를 전송하는 주변의 적어도 하나의 베이스 스테이션과 통신을 수행할 수 있다.According to another embodiment, when the construction machine 300 is the excavator 200 shown in FIG. 2C, when the upper body swings, the upper body 220 and the lower body 210 are divided, and the lower body ( 210), even if a sensor for estimating the speed of the lower body 210 is installed, it may be difficult for the corresponding data to be transmitted to the processor 310. Accordingly, the processor 310 includes an inertial sensor for measuring 2-axis body angle (roll, pitch), 3-axis acceleration and/or 3-axis angular velocity, a swing sensor for measuring the relative angle between the upper body and the lower body, and the upper body. The speed of the lower body 210 can be predicted using double GNSS that accurately measures the position and direction. According to an embodiment, the double GNSS may perform communication with at least one base station in the vicinity that transmits a correction signal for precise location measurement.

도 4는 건설 기계(300)의 상태를 예측하기 위하여 사용되는 모션 모델(motion model)을 도시한 도면이다.FIG. 4 is a diagram illustrating a motion model used to predict a state of the construction machine 300. Referring to FIG.

도 4를 참조하면, 건설 기계(300)의 모션 모델은 동쪽 방향으로의 위치(x), 북쪽 방향으로의 위치(y), 건설 기계의 진행방향(yaw; φ), 방향가속도(w), 속도(v), 가속도(a)의 6개의 상태 변수를 예측하고자 하는 모델일 수 있다.. Referring to FIG. 4 , the motion model of the construction machine 300 includes a position in the east direction (x), a position in the north direction (y), a moving direction of the construction machine (yaw; φ), direction acceleration (w), It may be a model that wants to predict six state variables of velocity (v) and acceleration (a).

프로세서(310)는 도 4에 도시된 6개의 상태 변수로 나타나는 상태를 예측하기 위하여 칼만 필터(Kalman filter)를 사용할 수 있다. The processor 310 may use a Kalman filter to predict a state represented by the six state variables shown in FIG. 4 .

도 5는 칼만 필터의 동작 예를 도시한 도면이다.5 is a diagram illustrating an operation example of a Kalman filter.

도 5를 참조하면, 칼만 필터는 잡음이 포함되어 있는 데이터를 바탕으로 선형 역학계의 상태를 예측하는 필터로서 과거에 획득한 데이터를 바탕으로 현재의 상태 변수의 결합 분포를 예측할 수 있도록 하여 준다. 도 5에 도시된 바와 같이 칼만 필터는 예측과 보정의 두 단계로 구성되며, 예측 단계에서는 현재 상태 변수의 값과 정확도를 나타내는 에러 코베리언스(error covariance)를 예측하고, 현재 상태 변수의 값이 실제로 측정된 이후, 보정 단계에서는 예측된 에러 코베리언스 값에 기초하여 칼만 게인을 계산하고, 실측 값에 기반하여 이전에 예측한 상태 변수의 예측 값을 보정하고, 에러 코베리언스 또한 보정할 수 있다. 칼만 필터는 이처럼 예측 단계와 보정 단계를 반복하여 수행하면서 정확도를 높일 수 있다. Referring to FIG. 5 , the Kalman filter is a filter that predicts the state of a linear dynamics system based on noise-containing data, and makes it possible to predict the joint distribution of current state variables based on data obtained in the past. As shown in FIG. 5, the Kalman filter consists of two steps: prediction and correction. In the prediction step, the value of the current state variable and error covariance representing accuracy are predicted, and the value of the current state variable is predicted. After the actual measurement, the correction step calculates the Kalman gain based on the predicted error coveriance value, corrects the predicted value of the previously predicted state variable based on the actually measured value, and corrects the error coveriance as well. there is. As such, the Kalman filter can increase accuracy while repeating the prediction step and the correction step.

도 5에 도시된 수식에서 행렬 A는 잡음이나 제어없이 상태 변수를 개선시키는 행렬이고, 행렬 B는 제어 입력이 상태 변수의 예측에 영향을 미치도록 하는 행렬이고, 행렬 H는 관찰 행렬로 측정 값과 상태 변수 사이의 관계를 나타내는 행렬이고, 행렬 Q는 시스템 잡음 모델로 칼만 필터의 조절 값을 나타내고, 행렬 R은 측정 잡음 모델로서 센서의 스팩에 의하여 결정되는 것일 수 있다. 이중에서 행렬 A, Q 및 R은 시스템 설계자에 의하여 설계되어야 하는 행렬이며 이들 행렬을 어떻게 설계하느냐에 따라 시스템 성능이 개선될 수 있다. In the equations shown in FIG. 5, matrix A is a matrix that improves state variables without noise or control, matrix B is a matrix that allows control inputs to affect predictions of state variables, and matrix H is an observation matrix that measures values and It is a matrix representing the relationship between state variables, matrix Q represents the adjustment value of the Kalman filter as a system noise model, and matrix R as a measurement noise model may be determined by the specifications of the sensor. Among them, matrices A, Q, and R are matrices to be designed by a system designer, and system performance can be improved depending on how these matrices are designed.

본 개시에서는 도 4에 도시된 상태 변수들의 값을 예측하기 위하여 칼만 필터의 상태 변수로서 다음 표 1에 나타나 있는 변수들을 사용할 것을 제안한다. 다음 표 1에 도시된 바와 같이 본 개시에서 제안하는 칼만 필터를 위한 상태 변수에는 건설 기계의 지연된 위치 및 방향을 포함하고 있어, 이로 인하여 시스템 지연에 의한 영향을 상태 변수의 예측 값을 결정하는데 포함시킬 수 있도록 하였다.In the present disclosure, it is proposed to use the variables shown in Table 1 as the state variables of the Kalman filter in order to predict the values of the state variables shown in FIG. 4 . As shown in Table 1 below, the state variables for the Kalman filter proposed in the present disclosure include the delayed position and direction of the construction machine, so that the effect of the system delay can be included in determining the predicted value of the state variable. made it possible

상태 변수state variable 정의Justice x_k x _k 건설 기계의 동쪽 위치east position of construction machinery y_k y _k 건설 기계의 북쪽 위치North position of construction machinery φ_k φ _k 건설 기계의 방향(동향을 기준으로 한 방향)Orientation of construction machinery (direction based on trend) xd_k xd _k 건설 기계의 지연된 동쪽 위치Delayed east position of construction machinery yd_k yd _k 건설 기계의 지연된 북쪽 위치Delayed north position of construction machinery φd_k φd _k 건설 기계의 지연된 방향Delayed orientation of construction machinery v_k v _k 건설 기계의 속도speed of construction machinery w_k w _k 건설 기계의 각속도Angular velocity of construction machinery a_k a _k 건설 기계의 가속도acceleration of construction machinery

그리고 도 5의 상태 변수 예측을 위한 수학식으로 다음 수학식 1을 사용할 것을 제안한다. 수학식 1로부터 도 5의 행렬 A를 결정할 수 있다.In addition, it is proposed to use the following Equation 1 as an equation for predicting the state variable in FIG. 5 . Matrix A of FIG. 5 can be determined from Equation 1.

여기서, dt는 샘플링 시간(sampling time) 또는 제어 주기를 나타내며, 일 실시 예에 따라, 제어 주기 또는 샘플링 주기는 0.01초일 수 있다. tau는 GNSS 지연 시간(delay time)으로 0.5초일 수 있다. 즉, GNSS 센서는 시스템 처리 시간에 의하여 0.5초전의 건설 기계의 위치를 측정하고 처리하여 프로세서(310)로 전달할 수 있다. 이에 따라, 건설 기계(300)의 현재의 위치는 GNSS 센서가 출력하는 위치에서 변경될 수 있으며, 이를 보상해 주지 아니하면 정확한 속도 예측이 용이하지 않을 수 있다.

는 각속도 시스템 모델 잡음을 나타내는 행렬이며,

는 가속도 시스템 모델 잡음을 나타내는 행렬이다. Here, dt represents a sampling time or control period, and according to an embodiment, the control period or sampling period may be 0.01 second. tau may be 0.5 seconds as a GNSS delay time. That is, the GNSS sensor may measure and process the position of the construction machine 0.5 seconds ago according to the system processing time, and transmit the result to the processor 310 . Accordingly, the current position of the construction machine 300 may be changed from the position output by the GNSS sensor, and it may not be easy to accurately predict the speed if this is not compensated for.

is a matrix representing the angular velocity system model noise,

is a matrix representing the accelerometer model noise.

이하의 계산에서 추가적으로 가속도와 각속도는 일정한 것으로 가정한다.In the following calculations, acceleration and angular velocity are additionally assumed to be constant.

일 실시 예에 따라, 시스템 모델로 칼만필터의 성능을 개선하기 위해 조절하는 행렬인 Q는 다음 수학식 2의 행렬일 수 있고, 측정 잡음 모델인 R은 다음 수학식 3의 행렬일 수 있다.According to an embodiment, Q, which is a matrix adjusted to improve performance of the Kalman filter as a system model, may be a matrix of Equation 2 below, and R, a measurement noise model, may be a matrix of Equation 3 below.

여기서,

는 0.03(m)이고,

는 0.05453(rad)이고,

는 0.000804(rad)이고,

는 0.809223(m/s)이고,

는 0.000804(m/s²)일 수 있다.here,

is 0.03 (m),

is 0.05453 (rad),

is 0.000804 (rad),

is 0.809223 (m/s),

may be 0.000804 (m/s ² ).

도 6은 칼만 필터를 이용하여 건설 기계의 속도를 포함하는 상태를 예측하는 방법을 도시한 흐름도이다.6 is a flowchart illustrating a method of predicting a state including a speed of a construction machine using a Kalman filter.

도 6을 참조하면, 프로세서(310)는 동작 S610에서, 도 5에 도시된 칼만 필터의 예측 단계에 도시된 수학식 계산을 통한 예측을 수행하여 건설 기계(300)의 상태에 대한 예측값을 예측할 수 있다. 예측 단계에서 예측되는 상태는 표 1에 나타나 있는 바와 같이 건설 기계(300)의 위치(x, y), 방향(φ), 속도(v), 가속도(a) 및 각속도(w)일 수 있다.Referring to FIG. 6 , in operation S610, the processor 310 may predict a predicted value for the state of the construction machine 300 by performing prediction through calculation of the equation shown in the Kalman filter prediction step shown in FIG. 5. there is. The state predicted in the prediction step may be the position (x, y), direction (φ), velocity (v), acceleration (a), and angular velocity (w) of the construction machine 300, as shown in Table 1.

이후, 프로세서(310)는 동작 S620 및 동작 S630에 따라 관성 센서 및 GNSS 센서를 이용하여 실제 측정치를 획득할 수 있다. 즉, 동작 S620에서, 프로세서(310)는 관성 센서로부터 건설 기계(300)의 각속도 및 가속도 정보를 획득할 수 있다. 또한, 프로세서(310)는 이중 GNSS 센서를 이용하여 건설 기계(300)의 위치, 속도 및 방향 정보를 획득할 수 있다. Thereafter, the processor 310 may obtain actual measurement values using the inertial sensor and the GNSS sensor according to operations S620 and S630. That is, in operation S620, the processor 310 may obtain angular velocity and acceleration information of the construction machine 300 from the inertial sensor. Also, the processor 310 may obtain position, speed, and direction information of the construction machine 300 using the dual GNSS sensors.

도저와 같은 건설 기계의 경우에는 서로 회전할 수 있는 상부체와 하부체 구조가 아닌 단일 구조이기 때문에 동작 S620에서 측정된 값이 도저의 측정 값이 될 수 있다. 하지만 굴삭기와 같은 건설 기계의 경우에는 서로 회전할 수 있는 상부체와 하부체 구조로 되어 있고 관성 센서 및 GNSS 센서는 모두 상부체에 부착되어 있기 때문에, 실제 기동하는 하부체의 상태 측정 값은 동작 S620에서 측정된 값을 스윙 센서에서 측정된 상부체와 하부체 간의 상대 각도에 기반하여 변경하여 획득될 수 있다. In the case of a construction machine such as a dozer, the value measured in operation S620 may be the measured value of the doser because it has a single structure rather than a structure of an upper body and a lower body that can rotate with each other. However, in the case of a construction machine such as an excavator, since it has an upper and lower body structure that can rotate with each other, and both the inertial sensor and GNSS sensor are attached to the upper body, the state measurement value of the actually moving lower body is Operation S620 It can be obtained by changing the value measured by the swing sensor based on the relative angle between the upper body and the lower body.

따라서, 프로세서(310)는 동작 S630에서, 스윙 센서를 이용하여 상부체와 하부체 간의 상대 각도를 획득하고, 이 값과 동작 S620에서 측정한 값에 기초하여 하부체의 방향 및 각속도를 결정할 수 있다. 프로세서(310)는 동작 S630을 기동을 위한 하부체와 프론트 작업 장치(230)가 구비되는 상부체가 서로 회전할 수 있도록 되어 있는 굴삭기와 같은 건설 기계에서만 수행하고, 도저와 같은 상부체와 하부체가 따로 구분되지 않는 건설 기계에서는 수행하지 않을 수 있다.Accordingly, the processor 310 may obtain a relative angle between the upper body and the lower body using the swing sensor in operation S630, and determine the direction and angular velocity of the lower body based on this value and the value measured in operation S620. . The processor 310 performs operation S630 only on a construction machine such as an excavator in which the lower body for starting and the upper body provided with the front work device 230 are mutually rotatable, and the upper body and lower body such as a dozer are separated. It may not be performed on unclassified construction machines.

동작 S640에서, 프로세서(310)는 도 5의 보정 단계에 도시되어 있는 계산식들에 따라, 칼만 필터 보정 단계를 수행할 수 있다. 칼만 필터 보정 단계를 수행함으로써 프로세서(310)는 동작 S610에서 예측한 상태 변수 값 및 에러 코베리언스 값을 보정할 수 있다. 그리고 보정된 상태 변수 값 및 에러 코베리언스 값은 다음 제어 주기의 동작 S610의 입력으로 사용될 수 있다.In operation S640, the processor 310 may perform a Kalman filter correction step according to the calculation equations shown in the correction step of FIG. 5 . By performing the Kalman filter correction step, the processor 310 may correct the predicted state variable value and the error coverage value in operation S610. In addition, the corrected state variable value and error coveriance value may be used as inputs of operation S610 of the next control cycle.

프로세서(310)는 도 6에 도시된 흐름도에 따른 칼만 필터 동작을 수행함으로써 GNSS 시스템 딜레이가 보상되고 잡음이 개선된 건설 기계(300)의 위치, 방향, 및 속도 값을 예상할 수 있고, 잡음이 개선된 가속도 및 각속도 값을 예상할 수 있다.The processor 310 can estimate the position, direction, and speed values of the construction machine 300 with compensated for GNSS system delay and improved noise by performing the Kalman filter operation according to the flowchart shown in FIG. Improved acceleration and angular velocity values can be expected.

도 7 내지 도 9는 본 개시에서 제안하는 방법의 적용 결과의 예를 도시한 도면들이다.7 to 9 are diagrams illustrating examples of results of applying the method proposed in the present disclosure.

도 7은 본 개시에서 제안하는 방법의 적용에 의한 건설 기계의 속도에 대한 결과를 도시한 도면이다.7 is a diagram showing the result of the speed of a construction machine by applying the method proposed in the present disclosure.

도 7을 참조하면, 정지 상태(52초)에서의 결과를 보면 GNSS 차분 데이터(파란색 점)와 차분 데이터를 LPF(low pass filter)에 통과시킨 값(녹색 점선)은 속도 값이 0으로 떨어지지 않지만 칼만 필터로 예측한 값(빨간색 긴점선)은 0으로 떨어지는 것을 확인함으로 칼만 필터로 예측한 값이 정확도가 높음을 알 수 있다.Referring to FIG. 7, looking at the results in the stationary state (52 seconds), the GNSS difference data (blue dot) and the value (green dotted line) passing the difference data through the LPF (low pass filter) do not drop to 0, but By confirming that the value predicted by the Kalman filter (long red dotted line) falls to 0, it can be seen that the value predicted by the Kalman filter has high accuracy.

또한, 차분 데이터는 10Hz, 즉 1초에 10번의 데이터를 생성할 수 있지만, GNSS와 관성 센서의 융합을 통해 칼만 필터를 적용한 본 개시에서 제안하는 방법은 100Hz, 즉 1초에 100번의 데이터를 생성하여 정확성을 높일 수 있음을 알 수 있다.In addition, the difference data can generate data at 10 Hz, that is, 10 times per second, but the method proposed in the present disclosure applying the Kalman filter through the fusion of GNSS and the inertial sensor generates data at 100 Hz, that is, 100 times per second It can be seen that the accuracy can be improved by doing this.

또한, 56초 부근과 같이 가속도가 일정하지 않고 급격하게 변경되는 구간에서는 LPF를 통과시킨 결과는 크게 진동을 하지만, 본 개시에서 제안하는 방법의 경우에는 확률 기반으로 상태를 예측하므로 급격하게 진동함이 없이 결과를 예측함을 확인할 수 있다.In addition, in a section where the acceleration is not constant and rapidly changes, such as around 56 seconds, the result of passing the LPF oscillates greatly, but in the case of the method proposed in the present disclosure, since the state is predicted based on probability, it oscillates rapidly. It can be confirmed that the result is predicted without

GNSS 측정 값이 차분 데이터를 LPF에 통과시키면 잡음을 개선시킬 수 있지만 시스템 딜레이가 발생하는 치명적인 단점이 발생할 수 있다. 일 실시 예에 따라, 아주 나쁜 경우 이미 지나간 시점의 결과를 생성할 수도 있다. 반면에 본 개시에서 제안하는 칼만 필터로 상태를 예측하게 될 경우, 관성 센서 값을 기반으로 미리 예측을 하여 GNSS의 차분 데이터에 기반한 것보다 더 빨리 속도 값을 예측할 수 있음을 알 수 있다. 이는 도 7의 본 개시의 예측값(빨간색)이 차분 데이터를 LPF에 통과시킨 값(녹색값)보다 왼쪽에 있는 것으로부터 확인할 수 있다.If the GNSS measurement value passes the differential data through the LPF, the noise can be improved, but the fatal disadvantage of system delay can occur. According to an embodiment, in a very bad case, a result of a point in time that has already passed may be generated. On the other hand, when a state is predicted using the Kalman filter proposed in the present disclosure, it can be seen that a speed value can be predicted more quickly than based on differential data of GNSS by pre-prediction based on the inertial sensor value. This can be confirmed from the fact that the predicted value (red) of the present disclosure in FIG. 7 is to the left of the value (green value) obtained by passing the difference data through the LPF.

도 8은 GNSS에서 측정한 건설 기계의 위치와 본 개시에서 예측한 건설 기계의 위치를 비교한 도면이다.8 is a diagram comparing the position of a construction machine measured by GNSS and the position of a construction machine predicted in the present disclosure.

도 8을 참조하면, 건설 기계의 동쪽 위치와 북쪽 위치를 비교하여 보면, GNSS 측정 데이터는 시스템 지연에 의하여 0.5초정도 뒤에 나오는 반면에, 시스템 지연을 고려한 칼만 필터에 의한 본 개시의 예측 값은 GNSS 측정 데이터보다 더 앞에 있으므로 시스템 지연이 잘 보상되었음을 확인할 수 있다. Referring to FIG. 8, when comparing the east and north positions of the construction machine, the GNSS measurement data is delayed by about 0.5 seconds due to the system delay, whereas the predicted value of the present disclosure by the Kalman filter considering the system delay is GNSS Since it precedes the measurement data, it can be confirmed that the system delay is well compensated.

도 9는 관성 센서에 의해 측정된 각속도 및 가속도와 본 개시에서 예측한 각속도 및 가속도를 비교한 도면이다.9 is a diagram comparing angular velocity and acceleration measured by an inertial sensor with angular velocity and acceleration predicted in the present disclosure.

도 9는 건설 기계의 급 출발, 급 제동 시의 각속도 및 가속도를 관성 센서로 측정한 값과 본 개시에서 예측한 값을 비교한 것으로 잡음이 제거된 것을 확인할 수 있다.FIG. 9 compares the values measured by the inertial sensor for the angular velocity and acceleration during sudden start and sudden braking of the construction machine with the values predicted in the present disclosure, and it can be confirmed that noise is removed.

도 7 내지 도 9에 도시된 바처럼 본 개시에서 제안하는 방법은 복수의 센서를 이용하여 획득한 데이터를 이용하여 건설 기계의 속도, 가속도 등의 상태를 시스템 지연없이 더욱 정확하게 예측할 수 있도록 하여 준다. As shown in FIGS. 7 to 9 , the method proposed in the present disclosure makes it possible to more accurately predict the state of the speed, acceleration, etc. of a construction machine without system delay using data acquired using a plurality of sensors.

이러한 정확한 예측은 센서로 측정한 동적 장애물의 상대속도와 건설 기계의 속도의 차이를 통해 장애물의 속도 벡터를 계산하고, 속도 벡터를 기반으로 동적 장애물의 경로를 예측하여 긴급 정지를 판단하거나 회피 경로를 생성하는데 더욱 효과적으로 작용할 수 있다. This accurate prediction calculates the speed vector of the obstacle through the difference between the relative speed of the dynamic obstacle measured by the sensor and the speed of the construction machine, and predicts the path of the dynamic obstacle based on the speed vector to determine an emergency stop or an avoidance route. It can work more effectively to create.

또한, 이러한 정확한 예측을 바탕으로 건설 기계가 속도 추종 제어기를 통하여 일정한 속도로 주행하도록 하여 경사면 혹은 지반이 약한 지역에서의 주행 제어 성능을 개선하는데 도움을 줄 수도 있다. In addition, based on these accurate predictions, the construction machine can be driven at a constant speed through the speed follow-up controller to help improve driving control performance on a slope or in an area with weak ground.

상술한 바와 같은 건설 기계의 상태 예측은 입력되는 센서 측정 값에 이상이 없는 경우에 이상없이 동작할 수 있다. 입력되는 센서 측정 값에 이상이 있다고 판단되는 경우에는 건설 기계의 상태 예측에 실패가 발생할 수 있다. 이러한 건설 기계 상태 예측에 있어서의 실패는 안전 사고를 유발할 가능성을 높일 수 있다. 따라서, 상태 예측의 실패 여부를 판단할 필요가 있다.State prediction of the construction machine as described above may operate without any abnormality when there is no abnormality in the input sensor measurement value. If it is determined that there is an abnormality in the input sensor measurement value, a failure may occur in predicting the condition of the construction machine. A failure in predicting the condition of such a construction machine may increase the possibility of causing a safety accident. Therefore, it is necessary to determine whether state prediction has failed.

도 10은 다양한 실시 예에 따른 건설 기계의 상태 예측 실패를 판단하는 방법을 도시한 흐름도이다.10 is a flowchart illustrating a method of determining a state prediction failure of a construction machine according to various embodiments of the present disclosure.

도 10을 참조하면, 건설 기계(300) 또는 건설 기계의 프로세서(310)는 동작 S1010에서, 입력되는 관성 센서의 측정 값을 확인하여 관성 센서의 측정 값에 잡음이 존재하는 지를 판단할 수 있다. 예를 들면, 프로세서(310)는 관성 센서로부터 입력되는 측정 값이 항상 동일한 값인지 아니면 입력될 때마다 약간이라도 다른 값인지를 확인할 수 있다. 프로세서(310)는 관성 센서로부터 입력되는 측정 값이 항상 동일한 경우, 잡음이 존재하지 않는다고 판단하고, 입력되는 측정 값dp 변화가 있는 경우 잡음이 존재한다고 판단할 수 있다.Referring to FIG. 10 , the construction machine 300 or the processor 310 of the construction machine may determine whether noise is present in the measured value of the inertial sensor by checking the input measurement value of the inertial sensor in operation S1010. For example, the processor 310 may check whether the measurement value input from the inertial sensor is always the same value or whether the value is slightly different each time it is input. The processor 310 may determine that noise does not exist when the measurement value input from the inertial sensor is always the same, and may determine that noise exists when there is a change in the input measurement value dp.

프로세서(310)는 잡음이 존재하지 않는다고 판단하면, 동작 S1020에서 관성 센서와 프로세서(310) 간의 통신이 끊겼거나 관성 센서의 고장으로 관성 센서의 측정 값에 이상이 있다고 판단할 수 있고, 나아가 동작 S1095에서 관제 센터(110) 또는 작업자 확인을 요청할 수 있다.If the processor 310 determines that there is no noise, it may determine that there is an abnormality in the measurement value of the inertial sensor due to disconnection of communication between the inertial sensor and the processor 310 or failure of the inertial sensor in operation S1020, and further operation S1095. In the control center 110 or operator confirmation can be requested.

프로세서(310)는 잡음이 존재한다고 판단하면, 동작 S1030에서 스윙 센서 측정 값을 확인하여 측정 값이 변하는 지를 판단할 수 있다. If it is determined that noise exists, the processor 310 may determine whether the measurement value changes by checking the swing sensor measurement value in operation S1030.

프로세서(310)는 스윙 센서 측정 값이 변하지 않는 경우, 동작 S1035에서, 통신 불량 또는 센서 고장으로 인한 스윙 센서 측정 값이 이상하거나 또는 건설 기계가 움직일 수 없는 작업 불가능한 상황으로 판단할 수 있다.When the swing sensor measurement value does not change, in operation S1035, the processor 310 may determine that the swing sensor measurement value is abnormal due to communication failure or sensor failure, or that the construction machine cannot move.

동작 S1030 및 동작 S1035는 굴삭기와 같이 상부체와 하부체가 서로 회전하며 결합되는 건설 기계에서만 수행될 수 있고, 도저와 같이 상부체와 하부체가 하나로 구성되는 건설 기계에서는 수행되지 않을 수 있다.Operations S1030 and S1035 may be performed only on a construction machine in which an upper body and a lower body are rotated and coupled to each other, such as an excavator, and may not be performed on a construction machine in which an upper body and a lower body are configured as one, such as a dozer.

프로세서(310)는 스윙 센서 측정 값이 변하는 경우에는 스윙 센서에 의한 측정이 정상적으로 이루어지는 것으로 판단하고, 동작 S1040에서 이중 GNSS의 측정 값에 잡음이 존재하는 지를 판단할 수 있다. 예를 들면, 프로세서(310)는 이중 GNSS로부터 입력되는 측정 값이 항상 동일한 값인지 아니면 입력될 때마다 약간이라도 다른 값인지를 확인할 수 있다. 프로세서(310)는 이중 GNSS로부터 입력되는 측정 값이 항상 동일한 경우, 잡음이 존재하지 않는다고 판단하고, 입력되는 측정 값에 변화가 있는 경우 잡음이 존재한다고 판단할 수 있다.When the swing sensor measurement value changes, the processor 310 may determine that the measurement by the swing sensor is normally performed, and determine whether noise exists in the double GNSS measurement value in operation S1040. For example, the processor 310 may check whether the measurement values input from the double GNSS are always the same or slightly different each time they are input. The processor 310 may determine that noise does not exist when the measured values input from the double GNSS are always the same, and may determine that noise exists when there is a change in the input measured values.

프로세서(310)는 이중 GNSS로부터 입력되는 측정 값에 잡음이 존재하지 않는 것으로 판단하면, 동작 S1050에서 통신이 끊겼거나, GNSS의 고장으로 인하여 측정 값에 이상이 있다고 판단할 수 있고, 나아가 동작 S1095에서 관제 센터(110) 또는 작업자 확인을 요청할 수 있다.When the processor 310 determines that there is no noise in the measurement value input from the double GNSS, it may determine that the communication is disconnected in operation S1050 or there is an error in the measurement value due to a failure of the GNSS, and further, in operation S1095 The control center 110 or operator confirmation may be requested.

프로세서(310)는 이중 GNSS로부터 입력되는 측정 값에 잡음이 존재한다고 판단하면, 동작 S1055에서 GNSS 측정 값이 이전 측정 값보다 일정 범위 이상으로 크게 변경되었는 지를 판단할 수 있다.When the processor 310 determines that there is noise in the measured values input from the double GNSS, it can determine whether the GNSS measured values have changed more than a certain range from the previous measured values in operation S1055.

프로세서(310)는 GNSS 측정 값이 일정 범위 이상으로 크게 변경되지 않았다면, 정상 측정 값으로 판단하여 동작 S1060에서 칼만 필터에 기반하여 건설 기계의 상태를 예측할 수 있다. 일 실시 예에 따라, 동작 S1060은 도 6의 동작 S640 및 동작 S610에 도시된 칼만 필터에 기반한 건설 기계 상태 예측일 수 있다. If the GNSS measurement value does not significantly change beyond a certain range, the processor 310 determines the measurement value to be normal and predicts the state of the construction machine based on the Kalman filter in operation S1060. According to an embodiment, operation S1060 may be construction machine state prediction based on the Kalman filter shown in operation S640 and operation S610 of FIG. 6 .

프로세서(310)는 GNSS 측정 값이 일정 범위 이상 또는 이하로 크게 변경되었다면, 동작 S1065에서, 건설 기계(300)가 정밀한 위치 예측을 위해 연결되어야 하는 베이스 스테이션과 통신 연결이 되지 않는 음영 지역에 들어가 있거나 또는 베이스 스테이션 자체가 동작하지 않는다고 판단할 수 있다. 이 경우 프로세서(310)는 동작 S1070에서 도 6의 동작 S640에 따른 보정 단계는 수행하지 않고 동작 S610에 따른 칼만 필터 예측 단계만을 수행하여 건설 기계(300)의 상태를 예측할 수 있다. Processor 310, if the GNSS measurement value is greatly changed to more than or less than a certain range, in operation S1065, the construction machine 300 is in a shaded area where there is no communication connection with the base station to be connected for precise position prediction, or Alternatively, it may be determined that the base station itself is not operating. In this case, the processor 310 may predict the state of the construction machine 300 by performing only the Kalman filter prediction step according to operation S610 without performing the correction step according to operation S640 of FIG. 6 in operation S1070.

다른 일 실시 예에 따라, 프로세서(310)는 크게 변경된 현재의 측정 값 대신에 이전 측정 값을 그대로 사용하여 도 6의 동작 S640에 따른 칼만 필터 보정 단계를 수행하고 동작 S610에 따른 칼만 필터 예측 단계를 수행하여 건설 기계의 상태를 예측할 수 있다. 정상적이지 아니한 데이터를 사용하는 경우 상태 예측에 있어 추가적인 오차를 제공할 수 있기 때문이다.According to another embodiment, the processor 310 performs the Kalman filter correction step according to operation S640 of FIG. 6 using the previous measurement value instead of the greatly changed current measurement value and performs the Kalman filter prediction step according to operation S610. It is possible to predict the state of construction machinery by performing This is because if abnormal data is used, an additional error may be provided in state prediction.

그리고 프로세서(310)는 동작 S1080에서 예측된 상태에 기초하여 주행 제어 명령을 할 수 있다.Also, the processor 310 may issue a driving control command based on the predicted state in operation S1080.

프로세서(310)는 동작 S1075에서, GNSS 측정 값의 변경이 일정 범위 이내로 줄어드는 지 판단할 수 있다. 프로세서(310)는 일정 시간이 지난 이후에도 GNSS 측정 값의 변경이 일정 범위 이상으로 크다면 베이스 스테이션이 고장이 났거나 베이스 스테이션과의 통신에 이상이 있다고 판단하여 동작 S1095에서 관제 센터(110) 또는 작업자 확인을 요청할 수 있다.The processor 310 may determine whether the change in the GNSS measurement value is reduced within a predetermined range in operation S1075. If the change of the GNSS measurement value is greater than a certain range even after a certain time has elapsed, the processor 310 determines that the base station is out of order or there is an error in communication with the base station, and in operation S1095 the control center 110 or the operator You can ask for confirmation.

동작 S1075에서 시간이 상기 일정 시간을 지나지 않았거나 또는 GNSS 측정 값의 변경이 일정 범위 이내로 줄어들었다면, 프로세서(310)은 동작 S1070에서 예측한 상태에 기초하여 주행 제어 명령을 할 수 있다.In operation S1075, if the time has not passed or the change in the GNSS measurement value has decreased within a predetermined range, the processor 310 may issue a driving control command based on the predicted state in operation S1070.

프로세서(310)는 동작 S1085에서 동작 S1080의 주행 제어 명령에 의해 건설 기계의 위치가 변경됨에 따라 GNSS 측정 값이 변하는 지를 판단할 수 있다. 동작 S1085의 판단 결과, GNSS 측정 값이 변하지 않는 경우에, 프로세서(310)는 동작 S1090에서 건설 기계(300)가 주행 불가능 상태에 있거나 또는 GNSS 측정 값이 이상하다고 판단할 수 있다. 그리고 동작 S1095에서 프로세서(310)는 관제 센터(110) 또는 작업자에게 확인 요청을 할 수 있다.In operation S1085, the processor 310 may determine whether the GNSS measurement value changes as the location of the construction machine is changed by the driving control command of operation S1080. As a result of the determination in operation S1085, when the GNSS measurement value does not change, the processor 310 may determine that the construction machine 300 is in a driving impossible state or the GNSS measurement value is abnormal in operation S1090. In operation S1095, the processor 310 may request confirmation from the control center 110 or the operator.

동작 S1085의 판단 결과, GNSS 측정 값이 변한 경우에는 다시 동작 S1010으로 진행하여 상태 예측 실패 판단하는 동작을 반복하여 수행할 수 있다.As a result of the determination in operation S1085, when the GNSS measurement value is changed, the operation proceeds to operation S1010 and the operation of determining state prediction failure may be repeatedly performed.

일 실시 예에 따라, 동작 S1075에서 사용되는 일정 시간은 1초일 수 있으며, 상술한 바처럼 샘플링 주기(dt)가 0.01초라면 베이스 스테이션의 고장을 파악하기 전까지 적어도 100번의 루프(loop)를 돌면서 상태 예측을 수행할 수 있다. According to an embodiment, the predetermined time used in operation S1075 may be 1 second, and as described above, if the sampling period (dt) is 0.01 second, the status state is looped at least 100 times until a failure of the base station is detected. can make predictions.

일 실시 예에 따라, 동작 S1055에서 일정 범위는 카이제곱 분포표 또는 마할라노비스 거리(Mahalanobis distance)에 기초하여 결정할 수 있다. According to an embodiment, in operation S1055, the predetermined range may be determined based on a chi-square distribution table or a Mahalanobis distance.

예를 들면, 카이제곱 분포표에서 이중 GNSS에서 측정하는 동쪽 위치, 북쪽 위치 및 방향 값의 신뢰도가 99%를 벗어는 경우 GNSS 측정 값이 일정 범위를 벗어났다고 판단할 수 있다.For example, if the reliability of the east position, north position, and direction values measured by dual GNSS in the chi-square distribution table is out of 99%, it may be determined that the GNSS measurement value is out of a certain range.

마할라노비스 거리는 공분산이 곱해진 거리를 의미하며 마할라노비스 거리가 11.345보다 크면 GNSS 측정 값이 일정 범위를 벗어났다고 판단할 수 있다. 마할라노비스 거리가 11.345이면 카이제곱 분포표에서의 99%의 신뢰도에 해당하는 값이다. 여기서 마할라노비스 거리(

)는 다음 수학식 4와 같이 구해질 수 있다.The Mahalanobis distance means the distance multiplied by the covariance, and if the Mahalanobis distance is greater than 11.345, it can be determined that the GNSS measurement value is out of a certain range. If the Mahalanobis distance is 11.345, it is a value corresponding to 99% confidence in the chi-square distribution table. where the Mahalanobis distance (

) can be obtained as in Equation 4 below.

여기서,

는 측정 값이고,

는 예측 값이고,

는 공분산이다. here,

is the measured value,

is the predicted value,

is the covariance.

본 개시에서는 건설 기계의 상태를 좀 더 정확하게 예측할 수 있는 칼만 필터 기반의 예측 모델을 제안하고 있다.In the present disclosure, a prediction model based on a Kalman filter capable of more accurately predicting the state of a construction machine is proposed.

또한, 본 개시는 건설 기계의 상태 예측에 있어 상태 예측을 실패하게 만들 수 있는 요소를 검증함으로써 상태 예측 실패를 파악하고 그에 맞게 대처하여 안전 사고를 효과적으로 줄일 수 있도록 할 수 있다. In addition, the present disclosure can effectively reduce safety accidents by identifying failures in state prediction and coping accordingly by verifying factors that can cause state prediction to fail in state prediction of construction machinery.

본 개시는 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the present disclosure has been described with reference to the embodiments shown in the drawings, this is only exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present disclosure should be determined by the technical spirit of the attached claims.

200: 굴삭기 210: 하부체
220: 상부체 222: 운전실
230: 프론트 작업 장치 231: 붐
232: 붐 실린더 233: 암
234: 암 실린더 235: 버켓
236: 버켓 실린더 280: 스윙 센서
282: GNSS 284: 관성 센서
300: 건설 기계 310: 프로세서
320: 통신 장치 330: 저장 장치
340: 센서 장치 350: 작업 제어 장치200: excavator 210: lower body
220: upper body 222: cab
230: front work device 231: boom
232: boom cylinder 233: arm
234: arm cylinder 235: bucket
236: bucket cylinder 280: swing sensor
282: GNSS 284: inertial sensor
300: construction machine 310: processor
320: communication device 330: storage device
340: sensor device 350: operation control device

Claims

건설 기계의 상태를 예측하는 방법에 있어서,
관성 센서 측정 값에 잡음이 존재하는 지 판단하는 동작;
이중 GNSS(Global Navigation Satellite System) 측정 값에 잡음이 존재하는 지 판단하는 동작;
상기 관성 센서 측정 값 및 상기 이중 GNSS 측정 값 모두에 잡음이 존재하는 경우, 상기 이중 GNSS 측정 값이 이전 측정 값과 비교하여 미리 설정된 제1 범위 이상으로 변하는 지 판단하는 동작;
상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위보다 작게 변한다면 칼만 필터(Kalman filter)에 기반하여 상기 건설 기계의 상태를 예측하는 동작을 포함하고,
상기 건설 기계가 굴삭기인 경우,
상기 굴삭기의 상부체와 하부체 간의 상대 각도를 측정하는 스윙(swing) 센서의 측정 값이 변하는 지 판단하는 동작; 및
상기 스윙 센서의 측정 값이 변하지 않는 경우, 관제 센터 또는 작업자에게 확인을 요청하는 동작을 더 포함하는, 건설 기계의 상태를 예측하는 방법.
In the method for predicting the condition of a construction machine,
An operation of determining whether noise exists in an inertial sensor measurement value;
An operation of determining whether noise exists in a double GNSS (Global Navigation Satellite System) measurement value;
when noise exists in both the inertial sensor measurement value and the double GNSS measurement value, comparing the double GNSS measurement value with a previous measurement value and determining whether the change exceeds a preset first range;
Predicting a state of the construction machine based on a Kalman filter if the double GNSS measurement value changes by less than the preset first range compared to the previous measurement value,
If the construction machine is an excavator,
determining whether a measured value of a swing sensor measuring a relative angle between an upper body and a lower body of the excavator is changed; and
When the measured value of the swing sensor does not change, the method of predicting the state of the construction machine further comprising an operation of requesting confirmation from a control center or a worker.

제1항에 있어서,
상기 예측된 건설 기계의 상태에 기초하여 주행 제어를 수행하는 동작;
상기 주행 제어에 기초하여 상기 이중 GNSS 측정 값이 변하는 지 판단하는 동작; 및
상기 주행 제어에 기초하여 상기 이중 GNSS 측정 값이 변하지 않는다고 판단하는 경우, 관제 센터 또는 작업자에게 확인을 요청하는 동작을 더 포함하는, 건설 기계의 상태를 예측하는 방법.
According to claim 1,
performing driving control based on the predicted state of the construction machine;
determining whether the double GNSS measurement value changes based on the driving control; and
When it is determined that the double GNSS measurement value does not change based on the driving control, the method of predicting the state of the construction machine, further comprising requesting confirmation from a control center or a worker.

제1항에 있어서,
상기 관성 센서 측정 값 및 상기 이중 GNSS 측정 값 중 적어도 하나에 잡음이 존재하지 않는다고 판단하는 경우, 관제 센터 또는 작업자에게 확인을 요청하는 동작을 더 포함하는, 건설 기계의 상태를 예측하는 방법.
According to claim 1,
When it is determined that noise does not exist in at least one of the inertial sensor measurement value and the double GNSS measurement value, requesting a confirmation from a control center or a worker. Method for predicting the state of the construction machine.

삭제delete

제1항에 있어서,
상기 칼만 필터(Kalman filter)에 기반하여 상기 건설 기계의 상태를 예측하는 동작은,
상기 칼만 필터의 예측 단계에 기초하여 상기 건설 기계의 상태 변수 값 및 에러 코베리언스(error covariance)를 예측하는 동작;
상기 칼만 필터의 보정 단계에 기초하여 상기 예측한 상태 변수 값 및 상기 에러 코베리언스를 상기 관성 센서 측정 값 및 상기 이중 GNSS 측정 값에 기반하여 보정하는 동작을 포함하는, 건설 기계의 상태를 예측하는 방법.
According to claim 1,
The operation of predicting the state of the construction machine based on the Kalman filter,
predicting a state variable value and an error covariance of the construction machine based on the prediction step of the Kalman filter;
Correcting the predicted state variable value and the error coverage based on the correction step of the Kalman filter based on the inertial sensor measurement value and the dual GNSS measurement value Predicting the state of the construction machine, including method.

제1항에 있어서,
상기 칼만 필터(Kalman filter)에 기반하여 상기 건설 기계의 상태를 예측하는 동작은,
상기 칼만 필터의 예측 단계에 기초하여 상기 건설 기계의 상태 변수 값 및 에러 코베리언스(error covariance)를 예측하는 동작;
상기 스윙 센서로 측정한 상기 상대 각도를 기초로 상기 상부체에서 측정한 상기 관성 센서의 측정 값 및 상기 이중 GNSS의 측정 값을 상기 하부체의 대응하는 측정 값으로 변환하는 동작; 및
상기 칼만 필터의 보정 단계에 기초하여 상기 예측한 상태 변수 값 및 상기 에러 코베리언스를 상기 하부체의 대응하는 측정 값에 기초하여 보정하는 동작을 포함하는, 건설 기계의 상태를 예측하는 방법.
According to claim 1,
The operation of predicting the state of the construction machine based on the Kalman filter,
predicting a state variable value and an error covariance of the construction machine based on the prediction step of the Kalman filter;
converting the measured value of the inertial sensor and the double GNSS measured by the upper body into corresponding measured values of the lower body based on the relative angle measured by the swing sensor; and
and correcting the predicted state variable value and the error coverage based on the correction step of the Kalman filter based on the corresponding measured value of the lower body.

제5항 또는 제6항에 있어서,
상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위보다 크게 변한다면, 상기 칼만 필터의 보정 단계를 수행하지 않고, 상기 칼만 필터의 예측 단계만을 수행하여 상기 건설 기계의 상태를 예측하는 동작;
미리 설정된 시간 이내에 상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위 이내로 줄어드는 지 판단하는 동작;
상기 미리 설정된 시간 이내에 상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위 이내로 줄어들지 않으면 관제 센터 또는 작업자에게 확인을 요청하는 동작을 더 포함하는, 건설 기계의 상태를 예측하는 방법.
According to claim 5 or 6,
If the double GNSS measurement value changes more than the preset first range compared to the previous measurement value, only the Kalman filter prediction step is performed without performing the Kalman filter correction step to determine the state of the construction machine predictive behavior;
comparing the double GNSS measurement value with the previous measurement value within a preset time period and determining whether the double GNSS measurement value is reduced within the preset first range;
Requesting a confirmation from a control center or a worker if the double GNSS measurement value does not decrease within the first preset range compared to the previous measurement value within the preset time period, Method for predicting the state of the construction machine .

제7항에 있어서,
상기 상태 변수는 상기 건설 기계의 위치, 방향, 지연된 위치, 지연된 방향, 속도, 각속도, 가속도를 포함하고,
상기 관성 센서 측정 값은 상기 건설 기계의 속도, 가속도 및 각속도를 포함하고,
상기 이중 GNSS 측정 값은 상기 건설 기계의 방향 및 위치를 포함하는, 건설 기계의 상태를 예측하는 방법.
According to claim 7,
The state variable includes the position, direction, delayed position, delayed direction, speed, angular velocity, and acceleration of the construction machine,
The inertial sensor measurement value includes the speed, acceleration, and angular velocity of the construction machine,
The method of predicting the condition of the construction machine, wherein the double GNSS measurement value includes the direction and position of the construction machine.

건설 기계에 있어서,
관성 센서 및 이중 GNSS(Global Navigation Satellite System)를 포함하는 복수의 센서; 및
상기 복수의 센서와 전기적으로 연결된 프로세서를 포함하고,
상기 프로세서는,
상기 관성 센서 측정 값 및 상기 이중 GNSS 측정 값에 잡음이 존재하는 지 판단하고,
상기 관성 센서 측정 값 및 상기 이중 GNSS 측정 값 모두에 잡음이 존재하는 경우, 상기 이중 GNSS 측정 값이 이전 측정 값과 비교하여 미리 설정된 제1 범위 이상으로 변하는 지 판단하고,
상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위보다 작게 변한다면 칼만 필터(Kalman filter)에 기반하여 상기 건설 기계의 상태를 예측하고,
상기 건설 기계가 굴삭기인 경우,
상기 복수의 센서는 상기 굴삭기의 상부체와 하부체 간의 상대 각도를 측정하는 스윙(swing) 센서를 더 포함하고,
상기 프로세서는,
상기 스윙 센서의 측정 값이 변하는 지 판단하고,
상기 스윙 센서의 측정 값이 변하지 않는 경우, 관제 센터 또는 작업자에게 확인을 요청하는, 건설 기계.
In construction machinery,
a plurality of sensors including an inertial sensor and a dual GNSS (Global Navigation Satellite System); and
A processor electrically connected to the plurality of sensors;
the processor,
Determining whether noise exists in the inertial sensor measurement value and the dual GNSS measurement value;
When noise exists in both the inertial sensor measurement value and the double GNSS measurement value, determining whether the double GNSS measurement value changes by a preset first range or more compared with a previous measurement value;
If the double GNSS measurement value changes by less than the preset first range compared to the previous measurement value, predicting the state of the construction machine based on a Kalman filter,
If the construction machine is an excavator,
The plurality of sensors further include a swing sensor for measuring a relative angle between an upper body and a lower body of the excavator,
the processor,
Determining whether the measured value of the swing sensor changes,
When the measured value of the swing sensor does not change, requesting confirmation from the control center or the operator, the construction machine.

제9항에 있어서,
상기 프로세서는, 추가적으로
상기 예측된 건설 기계의 상태에 기초하여 주행 제어를 수행하고,
상기 주행 제어에 기초하여 상기 이중 GNSS 측정 값이 변하는 지 판단하고,
상기 주행 제어에 기초하여 상기 이중 GNSS 측정 값이 변하지 않는다고 판단하는 경우, 관제 센터 또는 작업자에게 확인을 요청하는, 건설 기계.
According to claim 9,
The processor additionally
Perform driving control based on the predicted state of the construction machine,
Determine whether the double GNSS measurement value changes based on the driving control;
When it is determined that the double GNSS measurement value does not change based on the travel control, the construction machine requests confirmation from the control center or the operator.

제9항에 있어서,
상기 프로세서는,
상기 관성 센서 측정 값 및 상기 이중 GNSS 측정 값 중 적어도 하나에 잡음이 존재하지 않는다고 판단하는 경우, 관제 센터 또는 작업자에게 확인을 요청하는, 건설 기계.
According to claim 9,
the processor,
When it is determined that noise does not exist in at least one of the inertial sensor measurement value and the double GNSS measurement value, the construction machine requests confirmation from a control center or a worker.

삭제delete

제9항에 있어서,
상기 프로세서는,
상기 칼만 필터의 예측 단계에 기초하여 상기 건설 기계의 상태 변수 값 및 에러 코베리언스(error covariance)를 예측하고,
상기 칼만 필터의 보정 단계에 기초하여 상기 예측한 상태 변수 값 및 상기 에러 코베리언스를 상기 관성 센서 측정 값 및 상기 이중 GNSS 측정 값에 기반하여 보정하는, 건설 기계.
According to claim 9,
the processor,
Predict state variable values and error covariance of the construction machine based on the prediction step of the Kalman filter,
The construction machine according to claim 1 , wherein the predicted state variable value and the error coverage based on the Kalman filter correction step are corrected based on the inertial sensor measurement value and the dual GNSS measurement value.

제9항에 있어서,
상기 프로세서는,
상기 칼만 필터의 예측 단계에 기초하여 상기 건설 기계의 상태 변수 값 및 에러 코베리언스(error covariance)를 예측하고,
상기 스윙 센서로 측정한 상기 상대 각도를 기초로 상기 상부체에서 측정한 상기 관성 센서의 측정 값 및 상기 이중 GNSS의 측정 값을 상기 하부체의 대응하는 측정 값으로 변환하고,
상기 칼만 필터의 보정 단계에 기초하여 상기 예측한 상태 변수 값 및 상기 에러 코베리언스를 상기 하부체의 대응하는 측정 값에 기초하여 보정하는, 건설 기계.
According to claim 9,
the processor,
Predict state variable values and error covariance of the construction machine based on the prediction step of the Kalman filter,
Converting the measured values of the inertial sensor and the double GNSS measured in the upper body into corresponding measured values of the lower body based on the relative angle measured by the swing sensor;
and correcting the predicted state variable value and the error coverage based on the correction step of the Kalman filter based on the corresponding measured value of the lower body.

제13항 또는 제14항에 있어서,
상기 프로세서는, 추가적으로
상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위보다 크게 변한다면, 상기 칼만 필터의 보정 단계를 수행하지 않고, 상기 칼만 필터의 예측 단계만을 수행하여 상기 건설 기계의 상태를 예측하고,
미리 설정된 시간 이내에 상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위 이내로 줄어드는 지 판단하고,
상기 미리 설정된 시간 이내에 상기 이중 GNSS 측정 값이 상기 이전 측정 값과 비교하여 상기 미리 설정된 제1 범위 이내로 줄어들지 않으면 관제 센터 또는 작업자에게 확인을 요청하는, 건설 기계.
According to claim 13 or 14,
The processor additionally
If the double GNSS measurement value changes more than the preset first range compared to the previous measurement value, only the Kalman filter prediction step is performed without performing the Kalman filter correction step to determine the state of the construction machine predict,
determining whether the double GNSS measurement value is reduced within the first preset range by comparing the double GNSS measurement value with the previous measurement value within a preset time;
Construction machine requesting confirmation from a control center or a worker if the double GNSS measurement value does not decrease within the first preset range compared to the previous measurement value within the preset time.

제15항에 있어서,
상기 상태 변수는 상기 건설 기계의 위치, 방향, 지연된 위치, 지연된 방향, 속도, 각속도, 가속도를 포함하고,
상기 관성 센서 측정 값은 상기 건설 기계의 속도, 가속도 및 각속도를 포함하고,
상기 이중 GNSS 측정 값은 상기 건설 기계의 방향 및 위치를 포함하는, 건설 기계.
According to claim 15,
The state variable includes the position, direction, delayed position, delayed direction, speed, angular velocity, and acceleration of the construction machine,
The inertial sensor measurement value includes the speed, acceleration, and angular velocity of the construction machine,
Wherein the double GNSS measurement value includes the direction and position of the construction machine.