KR20190039250A

KR20190039250A - 작업 기계의 검출 처리 장치 및 작업 기계의 검출 처리 방법

Info

Publication number: KR20190039250A
Application number: KR1020197007345A
Authority: KR
Inventors: 도요히사 마쓰다; 다이키 스가와라; 고우다　도시히코
Original assignee: 가부시키가이샤 고마쓰 세이사쿠쇼
Priority date: 2016-09-30
Filing date: 2017-09-29
Publication date: 2019-04-10
Also published as: DE112017004096T5; WO2018062523A1; CN109661494A; JP2018059268A; CN109661494B; JP6867132B2; US20190253641A1

Abstract

작업 기계의 검출 처리 장치는, 작업 기계에 설치된 계측 장치에 의해 계측된 대상의 계측 데이터를 취득하는 계측 데이터 취득부와, 작업 기계의 작업기의 위치를 나타내는 작업기 위치 데이터를 산출하는 작업기 위치 데이터 산출부와, 계측 데이터 및 작업기 위치 데이터에 기초하여, 작업기 중 적어도 일부가 제거된 3차원 데이터인 대상 데이터를 산출하는 3차원 데이터 산출부를 구비한다.

Description

작업 기계의 검출 처리 장치 및 작업 기계의 검출 처리 방법

본 발명은, 작업 기계(work machine)의 검출 처리 장치 및 작업 기계의 검출 처리 방법에 관한 것이다.

촬상(撮像) 장치를 탑재한 작업 기계가 알려져 있다. 특허문헌 1에는, 시공 계획 데이터와 스테레오 카메라의 위치 정보에 기초하여 시공 계획 화상 데이터를 작성하고, 시공 계획 화상 데이터와 스테레오 카메라로 촬상된 현황 화상 데이터를 중첩시키고, 중첩한 합성 화상을 3차원 표시 장치에 3차원 표시시키는 기술이 개시되어 있다.

일본 공개특허 제2013―036243호 공보

작업 기계에 설치되어 있는 촬상 장치에 의해 작업 기계의 전방의 지형을 촬영할 때, 작업 기계의 작업기(work implement)가 비쳐버릴 가능성이 있다. 촬상 장치에 의해 취득된 화상 데이터에 있어서, 촬영된 작업기는 노이즈 성분이므로, 지형이 양호한 3차원 데이터를 취득하는 것이 곤란해진다. 촬상 장치에 의해 지형을 촬영할 때, 작업기를 상승시킴으로써 작업기의 비쳐버리는 것이 억제된다. 그러나, 촬상 장치에 의한 촬영 시마다 작업기를 상승시키면, 작업 효율이 저하된다.

본 발명의 태양(態樣)은, 작업 효율의 저하를 억제하면서 양호한 3차원 데이터를 취득할 수 있는 작업 기계의 검출 처리 장치 및 작업 기계의 검출 처리 방법을 제공하는 것을 목적으로 한다.

본 발명의 제1 태양에 따르면, 작업 기계에 설치된 계측 장치에 의해 계측된 대상의 계측 데이터를 취득하는 계측 데이터 취득부와, 상기 작업 기계의 작업기의 위치를 나타내는 작업기 위치 데이터를 산출하는 작업기 위치 데이터 산출부와, 상기 계측 데이터 및 상기 작업기 위치 데이터에 기초하여, 상기 작업기 중 적어도 일부가 제거된 3차원 데이터인 대상 데이터를 산출하는 3차원 데이터 산출부를 구비하는 작업 기계의 검출 처리 장치가 제공된다.

본 발명의 제2 태양에 따르면, 작업 기계에 설치된 계측 장치에 의해 계측된 대상의 계측 데이터를 취득하는 계측 데이터 취득부와, 다른 작업 기계의 위치 데이터를 취득하는 위치 데이터 취득부와, 상기 계측 데이터 및 다른 작업 기계의 위치 데이터에 기초하여, 다른 상기 작업 기계 중 적어도 일부가 제거된 3차원 데이터인 대상 데이터를 산출하는 3차원 데이터 산출부를 구비하는 작업 기계의 검출 처리 장치가 제공된다.

본 발명의 제3 태양에 따르면, 작업 기계에 설치된 계측 장치에 의해 계측된 대상의 계측 데이터를 취득하는 것과, 상기 작업 기계의 작업기의 위치를 나타내는 작업기 위치 데이터를 산출하는 것과, 상기 계측 데이터 및 상기 작업기 위치 데이터에 기초하여, 상기 작업기 중 적어도 일부가 제거된 3차원 데이터인 대상 데이터를 산출하는 것을 포함하는 작업 기계의 검출 처리 방법이 제공된다.

본 발명의 제4 태양에 따르면, 작업 기계에 설치된 계측 장치에 의해 계측된 대상의 계측 데이터를 취득하는 것과, 상기 계측 데이터 및 다른 작업 기계의 위치 데이터에 기초하여, 다른 상기 작업 기계 중 적어도 일부가 제거된 3차원 데이터인 대상 데이터를 산출하는 것을 포함하는 작업 기계의 검출 처리 방법이 제공된다.

본 발명의 태양에 의하면, 작업 효율의 저하를 억제하면서 양호한 3차원 데이터를 취득할 수 있는 작업 기계의 검출 처리 장치 및 작업 기계의 검출 처리 방법이 제공된다.

도 1은, 제1 실시형태에 관한 작업 기계의 일례를 나타낸 사시도이다.
도 2는, 제1 실시형태에 관한 촬상 장치의 일례를 나타낸 사시도이다.
도 3은, 제1 실시형태에 관한 작업 기계를 모식적으로 나타낸 측면도이다.
도 4는, 제1 실시형태에 관한 작업 기계의 제어 시스템 및 형상 계측 시스템의 일례를 모식적으로 나타낸 도면이다.
도 5는, 제1 실시형태에 관한 검출 처리 장치의 일례를 나타낸 기능 블록도이다.
도 6은, 제1 실시형태에 관한 한 쌍의 촬상 장치에 의해 3차원 데이터를 산출하는 방법을 설명하기 위한 모식도이다.
도 7은, 제1 실시형태에 관한 형상 계측 방법의 일례를 나타낸 플로우차트이다.
도 8은, 제1 실시형태에 관한 화상 데이터의 일례를 나타낸 도면이다.
도 9는, 제2 실시형태에 관한 형상 계측 방법의 일례를 나타낸 플로우차트이다.
도 10은, 제3 실시형태에 관한 형상 계측 방법의 일례를 모식적으로 나타낸 도면이다.

이하, 본 발명에 관한 실시형태에 대하여 도면을 참조하면서 설명하지만, 본 발명은 이에 한정되지 않는다. 이하에서 설명하는 실시형태의 구성 요소는 적절히 조합시키는 것이 가능하다. 또한, 일부의 구성 요소를 사용하지 않을 경우도 있다.

이하의 설명에 있어서는, 3차원의 글로벌 좌표계(Xg, Yg, Zg), 3차원의 차체 좌표계(Xm, Ym, Zm), 및 3차원의 카메라 좌표계(Xs, Ys, Zs)를 규정하여, 각 부의 위치 관계에 대하여 설명한다.

글로벌 좌표계는, 수평면 내의 Xg축과, 수평면 내에 있어서 Xg축과 직교하는 Yg축과, Xg축 및 Yg축과 직교하는 Zg축에 의해 규정된다. Xg축을 중심으로 하는 회전 또는 경사 방향을 θXg 방향이라고 하고, Yg축을 중심으로 하는 회전 또는 경사 방향을 Yg 방향이라고 하고, Zg축을 중심으로 하는 회전 또는 경사 방향을 Zg 방향이라고 한다. Zg축 방향은 연직(沿直) 방향이다.

차체 좌표계는, 작업 기계의 차체에 규정된 원점을 기준으로 하여 일방향으로 연장되는 Xm축과, Xm축과 직교하는 Ym축과, Xm축 및 Ym축과 직교하는 Zm축에 의해 규정된다. Xm축 방향은 작업 기계의 전후 방향이며, Ym축 방향은 작업 기계의 차폭 방향이며, Zm축 방향은 작업 기계의 상하 방향이다.

카메라 좌표계는, 촬상 장치에 규정된 원점을 기준으로 하여 일방향으로 연장되는 Xs축과, Xs축과 직교하는 Ys축과, Xs축 및 Ys축과 직교하는 Zs축에 의해 규정된다. Xs축 방향은 촬상 장치의 상하 방향이며, Ys축 방향은 촬상 장치의 폭 방향이며, Zs축 방향은 촬상 장치의 전후 방향이다. Zs축 방향은 촬상 장치의 광학계의 광축과 평행이다.

{제1 실시형태}

[작업 기계]

도 1은, 본 실시형태에 관한 작업 기계(1)의 일례를 나타낸 사시도이다. 본 실시형태에 있어서는, 작업 기계(1)가 유압 셔블인 예에 대하여 설명한다. 이하의 설명에 있어서는, 작업 기계(1)를 적절히, 유압 셔블(1)이라고 한다.

도 1에 나타낸 바와 같이, 유압 셔블(1)은, 차체(1B)와, 작업기(2)를 구비한다. 차체(1B)는, 선회체(旋回體)(3)와, 선회체(3)를 선회 가능하게 지지하는 주행체(5)를 구비한다.

선회체(3)는, 선회축 Zr을 중심으로 선회할 수 있다. 선회축 Zr과 Zm축과는 평행이다. 선회체(3)는, 운전실(4)을 구비한다. 유압(油壓) 펌프 및 내연 기관이 선회체(3)에 배치된다. 주행체(5)는, 크롤러 벨트(crawler belts)(5a, 5b)를 구비한다. 크롤러 벨트(5a, 5b)가 회전함으로써, 유압 셔블(1)이 주행한다.

작업기(2)는, 선회체(3)에 연결된다. 작업기(2)는, 선회체(3)에 연결되는 붐(boom)(6)과, 붐(6)에 연결되는 암(arm)(7)과, 암(7)에 연결되는 버킷(bucket)(8)과, 붐(6)을 구동시키는 붐 실린더(10)와, 암(7)을 구동시키는 암 실린더(11)와, 버킷(8)을 구동시키는 버킷 실린더(12)를 구비한다. 붐 실린더(10), 암 실린더(11), 및 버킷 실린더(12)는 각각, 유압에 의해 구동되는 유압 실린더이다.

붐(6)은, 붐 핀(boom pin)(13)을 통하여 선회체(3)에 회전 가능하게 연결된다. 암(7)은, 암 핀(arm pin)(14)을 통하여 붐(6)의 선단부에 회전 가능하게 연결된다. 버킷(8)은, 버킷 핀(bucket pin)(15)을 통하여 암(7)의 선단부에 회전 가능하게 연결된다. 붐 핀(13)은, 선회체(3)에 대한 붐(6)의 회전축(AX1)을 포함한다. 암 핀(14)은, 붐(6)에 대한 암(7)의 회전축(AX2)을 포함한다. 버킷 핀(15)은, 암(7)에 대한 버킷(8)의 회전축(AX3)을 포함한다. 붐(6)의 회전축(AX1), 암(7)의 회전축(AX2), 및 버킷(8)의 회전축(AX3)은, 차체 좌표계의 Ym축과 평행이다.

버킷(8)은, 작업구(working tool)의 일종이다. 그리고, 암(7)에 연결되는 작업구는, 버킷(8)에 한정되지 않는다. 암(7)에 연결되는 작업구는, 예를 들면, 틸트 버킷(tilt bucket)이라도 되고, 법면(法面; slope) 버킷 또는 삭암용(削岩用)의 팁(tip)을 구비한 삭암용의 부속품(attachment)이라도 된다.

본 실시형태에 있어서, 글로벌 좌표계(Xg, Yg, Zg)에 의해 규정되는 선회체(3)의 위치가 검출된다. 글로벌 좌표계는, 지구에 고정된 원점을 기준으로 하는 좌표계이다. 글로벌 좌표계는, GNSS(Global Navigation Satellite System)에 의해 규정되는 좌표계이다. GNSS란, 전지구(全地球) 항법 위성 시스템을 말한다. 전지구 항법 위성 시스템의 일례로서, GPS(Global Positioning System)를 들 수 있다. GNSS는, 복수의 측위 위성을 가진다. GNSS는, 위도, 경도, 및 고도의 좌표 데이터로 규정되는 위치를 검출한다.

차체 좌표계(Xm, Ym, Zm)는, 선회체(3)에 고정된 원점을 기준으로 하는 좌표계이다. 차체 좌표계의 원점은, 예를 들면, 선회체(3)의 스윙 서클(swing circle)의 중심이다. 스윙 서클의 중심은, 선회체(3)의 선회축 Zr에 존재한다.

유압 셔블(1)은, 작업기(2)의 각도를 검출하는 작업기 각도 검출기(22)와, 선회체(3)의 위치를 검출하는 위치 검출기(23)와, 선회체(3)의 자세를 검출하는 자세 검출기(24)와, 선회체(3)의 방위를 검출하는 방위 검출기(25)를 구비한다.

[촬상 장치]

도 2는, 본 실시형태에 관한 촬상 장치(30)의 일례를 나타낸 사시도이다. 도 2는, 유압 셔블(1)의 운전실(4)의 근방을 나타낸 사시도이다.

도 2에 나타낸 바와 같이, 유압 셔블(1)은, 촬상 장치(30)를 구비한다. 촬상 장치(30)는, 유압 셔블(1)에 설치되고, 유압 셔블(1)의 전방의 대상을 계측하는 계 장 장치로서 기능한다. 촬상 장치(30)는, 유압 셔블(1)의 전방의 대상을 촬영한다. 그리고, 유압 셔블(1)의 전방이란, 차체 좌표계에서의 ＋Xm 방향을 말하고, 선회체(3)에 대하여 작업기(2)가 존재하는 방향을 말한다.

촬상 장치(30)는, 운전실(4)의 내측에 설치된다. 촬상 장치(30)는, 운전실(4)의 전방(＋Xm 방향) 또한 위쪽(＋Zm 방향)에 배치된다.

위쪽(＋Zm 방향)이란, 크롤러 벨트(5a, 5b)의 접지면(接地面)과 직교하는 방향으로서 접지면으로부터 이격되는 방향이다. 크롤러 벨트(5a, 5b)의 접지면이란, 크롤러 벨트(5a, 5b) 중 적어도 한쪽이 접지(接地)하는 부분의 동일 직선 상에는 존재하지 않는 적어도 3점에서 규정되는 평면을 말한다. 아래쪽(―Zm 방향)은, 위쪽의 반대 방향이며, 크롤러 벨트(5a, 5b)의 접지면과 직교하는 방향으로서 접지면을 향하는 방향이다.

운전석(4S) 및 조작 장치(35)가 운전실(4)에 배치된다. 운전석(4S)은, 등받이(4SS)를 가진다. 전방(＋Xm 방향)은, 운전석(4S)의 등받이(4SS)로부터 조작 장치(35)를 향하는 방향이다. 후방(―Xm 방향)은, 전방의 반대 방향이며, 조작 장치(35)로부터 운전석(4S)의 등받이(4SS)를 향하는 방향이다. 선회체(3)의 전부(前部)는, 선회체(3)의 전방의 부분이며, 선회체(3)의 카운터웨이트(counterweight) WT와는 반대측의 부분이다. 조작 장치(35)는, 작업기(2) 및 선회체(3)의 조작을 위해 운전자에 의해 조작된다. 조작 장치(35)는, 우측 조작 레버(35R) 및 좌측 조작 레버(35L)를 포함한다. 운전실(4)에 탑승한 운전자는, 조작 장치(35)를 조작하여, 작업기(2)의 구동 및 선회체(3)의 선회를 실시한다.

촬상 장치(30)는, 선회체(3)의 전방에 존재하는 촬영 대상을 촬영한다. 본 실시형태에 있어서, 촬영 대상은, 시공 현장에 있어서 시공되는 시공 대상을 포함한다. 시공 대상은, 유압 셔블(1)의 작업기(2)에 의해 굴삭(掘削; excavation)되는 굴삭 대상을 포함한다. 그리고, 시공 대상은, 다른 유압 셔블(1ot)의 작업기(2)에 의해 굴삭되는 굴삭 대상이라도 되고, 촬상 장치(30)를 가지는 유압 셔블(1)은 다른 작업 기계에 의해 시공되는 시공 대상이라도 된다. 그리고, 시공 대상은, 작업자에 의해 시공되는 시공 대상이라도 된다.

또한, 시공 대상은, 시공 전의 시공 대상, 시공 중인 시공 대상, 및 시공 후의 시공 대상를 포함하는 개념이다.

촬상 장치(30)는, 광학계와, 이미지 센서를 가진다. 이미지 센서는, CCD(Couple Charged Device) 이미지 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 포함한다.

본 실시형태에 있어서, 촬상 장치(30)는, 복수의 촬상 장치(30a, 30b, 30c, 30d)를 포함한다. 촬상 장치(30a, 30c)는, 촬상 장치(30b, 30d)보다 ＋Ym측[작업기(2) 측]에 배치된다. 촬상 장치(30a)와 촬상 장치(30b)는 Ym축 방향으로 간격을 두고 배치된다. 촬상 장치(30c)와 촬상 장치(30d)는 Ym축 방향으로 간격을 두고 배치된다. 촬상 장치(30a, 30b)는, 촬상 장치(30c, 30d)보다 ＋Zm 측에 배치된다. Zm축 방향에 있어서, 촬상 장치(30a)와 촬상 장치(30b)는 실질적으로 동일한 위치에 배치된다. Zm축 방향에 있어서, 촬상 장치(30c)와 촬상 장치(30d)는 실질적으로 동일한 위치에 배치된다.

4개의 촬상 장치(30)[30a, 30b, 30c, 30d] 중 2개의 촬상 장치(30)의 조합에 의해 스테레오 카메라가 구성된다. 스테레오 카메라란, 촬영 대상을 복수의 상이한 방향으로부터 동시에 촬영함으로써, 촬영 대상의 안쪽 방향에 대한 데이터도 취득할 수 있는 카메라를 말한다. 본 실시형태에 있어서는, 촬상 장치(30a, 30b)의 조합에 의해 제1 스테레오 카메라가 구성되고, 촬상 장치(30c, 30d)의 조합에 의해 제2 스테레오 카메라가 구성된다.

본 실시형태에 있어서, 촬상 장치(30a, 30b)는 위쪽(＋Zm 방향)을 향한다. 촬상 장치(30c, 30d)는 아래쪽(―Zm 방향)을 향한다. 또한, 촬상 장치(30a, 30c)는, 전방(＋Xm 방향)을 향한다. 촬상 장치(30b, 30d)는, 전방보다 약간 ＋Ym측[작업기(2) 측]을 향한다. 즉, 촬상 장치(30a, 30c)는, 선회체(3)의 정면을 향하고, 촬상 장치(30b, 30d)는, 촬상 장치(30a, 30c) 측을 향한다. 그리고, 촬상 장치(30b, 30d)가 선회체(3)의 정면을 방향, 촬상 장치(30a, 30c)가 촬상 장치(30b, 30d) 측을 향해도 된다.

촬상 장치(30)는, 선회체(3)의 전방에 존재하는 촬영 대상을 스테레오 촬영한다. 본 실시형태에 있어서는, 적어도 한 쌍의 촬상 장치(30)에 의한 스테레오 화상 데이터를 사용하여 시공 대상이 3차원 계측되고, 시공 대상의 3차원 데이터가 산출된다. 시공 대상의 3차원 데이터는, 시공 대상의 표면(지표)의 3차원 데이터이다. 시공 대상의 3차원 데이터는, 글로벌 좌표계에서의 시공 대상의 3차원 형상 데이터를 포함한다.

복수의 촬상 장치(30)[30a, 30b, 30c, 30d]의 각각에 대하여 카메라 좌표계(Xs, Ys, Zs)가 규정된다. 카메라 좌표계는, 촬상 장치(30)에 고정된 원점을 기준으로 하는 좌표계이다. 카메라 좌표계의 Zs축은 촬상 장치(30)의 광학계의 광축과 일치한다. 또한, 본 실시형태에 있어서는, 복수의 촬상 장치(30a, 30b, 30c, 30d) 중, 촬상 장치(30c)가 기준 촬상 장치로 설정된다.

[검출 시스템]

다음에, 본 실시형태에 관한 유압 셔블(1)의 검출 시스템에 대하여 설명한다. 도 3은, 본 실시형태에 관한 유압 셔블(1)을 모식적으로 나타낸 측면도이다.

도 3에 나타낸 바와 같이, 유압 셔블(1)은, 작업기(2)의 각도를 검출하는 작업기 각도 검출기(22)와, 선회체(3)의 위치를 검출하는 위치 검출기(23)와, 선회체(3)의 자세를 검출하는 자세 검출기(24)와, 선회체(3)의 방위를 검출하는 방위 검출기(25)를 구비한다.

위치 검출기(23)는, GPS 수신기를 포함한다. 위치 검출기(23)는, 선회체(3)에 설치된다. 위치 검출기(23)는, 글로벌 좌표계에 의해 규정되는 선회체(3)의 위치인 절대 위치를 검출한다. 선회체(3)의 절대 위치는, Xg축 방향의 좌표 데이터, Yg축 방향의 좌표 데이터, 및 Zg축 방향의 좌표 데이터를 포함한다.

선회체(3)에 한 쌍의 GPS 안테나(21)가 설치된다. 본 실시형태에 있어서, 한 쌍의 GPS 안테나(21)는, 선회체(3)의 상부에 설치된 난간(9)에 설치된다. 한 쌍의 GPS 안테나(21)는, 차체 좌표계의 Ym축 방향으로 배치된다. 한 쌍의 GPS 안테나(21)는, 일정 거리만큼 이격되어 있다. 한 쌍의 GPS 안테나(21)는, GPS 위성으로부터 전파를 수신하고, 수신한 전파에 기초하여 생성한 신호를 위치 검출기(23)에 출력한다. 위치 검출기(23)는, 한 쌍의 GPS 안테나(21)로부터 공급된 신호에 기초하여, 글로벌 좌표계에 의해 규정되는 한 쌍의 GPS 안테나(21)의 위치인 절대 위치를 각각 검출한다.

위치 검출기(23)는, 한 쌍의 GPS 안테나(21)의 절대 위치 중 적어도 한쪽에 기초하여 연산 처리를 실시하여, 선회체(3)의 절대 위치를 산출한다. 본 실시형태에 있어서, 선회체(3)의 절대 위치는, 한쪽의 GPS 안테나(21)의 절대 위치로 해도 된다. 그리고, 선회체(3)의 절대 위치는, 한쪽의 GPS 안테나(21)의 절대 위치와 다른 쪽의 GPS 안테나(21)의 절대 위치와의 사이의 위치라도 된다.

자세 검출기(24)는, 관성 계측 장치(IMU: Inertial Measurement Unit)를 포함한다. 자세 검출기(24)는, 선회체(3)에 설치된다. 자세 검출기(24)는, 글로벌 좌표계에 의해 규정되는 수평면(XgYg 평면)에 대한 선회체(3)의 경사 각도를 산출한다. 수평면에 대한 선회체(3)의 경사 각도는, Ym축 방향(차폭 방향)에서의 선회체(3)의 경사 각도를 나타내는 롤각(θ1)과, Xm축 방향(전후 방향)에서의 선회체(3)의 경사 각도를 나타내는 피치각(θ2)을 포함한다.

자세 검출기(24)는, 자세 검출기(24)에 작용하는 가속도 및 각속도(角速度)를 검출한다. 자세 검출기(24)에 작용하는 가속도 및 각속도가 검출되는 것에 의해, 선회체(3)에 작용하는 가속도 및 각속도가 검출된다. 선회체(3)에 작용하는 가속도 및 각속도에 따라 선회체(3)의 자세가 도출된다.

방위 검출기(25)는, 한쪽의 GPS 안테나(21)의 절대 위치와 다른 쪽의 GPS 안테나(21)의 절대 위치에 기초하여, 글로벌 좌표계에 의해 규정되는 기준 방위에 대한 선회체(3)의 방위를 산출한다. 기준 방위는, 예를 들면, 북쪽이다. 방위 검출기(25)는, 한쪽의 GPS 안테나(21)의 절대 위치와 다른 쪽의 GPS 안테나(21)의 절대 위치를 연결하는 직선을 산출하고, 산출한 직선과 기준 방위가 이루는 각도에 기초하여, 기준 방위에 대한 선회체(3)의 방위를 산출한다. 기준 방위에 대한 선회체(3)의 방위는, 기준 방위와 선회체(3)의 방위가 이루는 각도를 나타내는 요각(yaw angle)(방위각)(θ3)을 포함한다.

작업기(2)는, 붐 실린더(10)에 배치되고 붐 실린더(10)의 구동량을 나타내는 붐 스트로크를 검출하는 붐 스트로크 센서(16)와, 암 실린더(11)에 배치되고 암 실린더(11)의 구동량을 나타내는 암 스트로크를 검출하는 암 스트로크 센서(17)와, 버킷 실린더(12)에 배치되고 버킷 실린더(12)의 구동량을 나타내는 버킷 스트로크를 검출하는 버킷 스트로크 센서(18)를 구비한다.

작업기 각도 검출기(22)는, 붐(6)의 각도, 암(7)의 각도, 및 버킷(8)의 각도를 검출한다. 작업기 각도 검출기(22)는, 붐 스트로크 센서(16)에 의해 검출된 붐 스트로크에 기초하여, 차체 좌표계의 Zm축에 대한 붐(6)의 경사 각도를 나타내는 붐 각도 α를 산출한다. 작업기 각도 검출기(22)는, 암 스트로크 센서(17)에 의해 검출된 암 스트로크에 기초하여, 붐(6)에 대한 암(7)의 경사 각도를 나타내는 암 각도 β를 산출한다. 작업기 각도 검출기(22)는, 버킷 스트로크 센서(18)에 의해 검출된 버킷 스트로크에 기초하여, 암(7)에 대한 버킷(8)의 날끝(cutting edge)(8BT)의 경사 각도를 나타내는 버킷 각도 γ를 산출한다.

그리고, 붐 각도 α, 암 각도 β, 및 버킷 각도 γ는, 스트로크 센서를 이용하지 않고, 예를 들면, 작업기(2)에 설치된 각도 센서에 의해 검출되어도 된다.

[형상 계측 시스템]

도 4는, 본 실시형태에 관한 유압 셔블(1)의 제어 시스템(50) 및 서버(61)를 포함하는 형상 계측 시스템(100)의 일례를 모식적으로 나타낸 도면이다.

제어 시스템(50)은, 유압 셔블(1)에 배치된다. 서버(61)는, 유압 셔블(1)의 원격지에 설치된다. 제어 시스템(50)과 서버(61)는, 통신 회선 NTW를 통하여 데이터 통신 가능하다. 또한, 통신 회선 NTW에는, 제어 시스템(50) 및 서버(61)뿐만아니라, 휴대 단말기 장치(64) 및 다른 유압 셔블(1ot)의 제어 시스템(50ot)가 접속된다. 유압 셔블(1)의 제어 시스템(50)과, 서버(61)와, 휴대 단말기 장치(64)와, 다른 유압 셔블(1ot)의 제어 시스템(50ot)과는, 통신 회선 NTW를 통하여 데이터 통신 가능하다. 통신 회선 NTW는, 휴대 전화망 및 인터넷 중 적어도 한쪽을 포함한다. 그리고, 통신 회선 NTW가 무선 LAN(Local Area Network)를 포함해도 된다.

제어 시스템(50)은, 복수의 촬상 장치(30)[30a, 30b, 30c, 30d]와, 검출 처리 장치(51)와, 시공 관리 장치(57)와, 표시 장치(58)와, 통신 장치(26)를 구비한다.

또한, 제어 시스템(50)은, 작업기 각도 검출기(22)와, 위치 검출기(23)와, 자세 검출기(24)와, 방위 검출기(25)를 구비한다.

검출 처리 장치51, 시공 관리 장치57, 표시 장치58, 통신 장치26, 위치 검출기 23, 자세 검출기 24, 및 방위 검출기(25)는, 신호선(59)에 접속되고 서로 데이터 통신 가능하다. 신호선(59)에 적용되는 통신 규격은, 예를 들면, CAN(Controller Area Network)이다.

제어 시스템(50)은, 컴퓨터 시스템을 포함한다. 제어 시스템(50)은, CPU(Central Processing Unit)와 같은 프로세서를 포함하는 연산 처리 장치와, RAM(Random Access Memory)과 같은 불휘발성 메모리 및 ROM(Read Only Memory)과 같은 휘발성 메모리를 포함하는 기억 장치를 가진다. 통신용 안테나(26A)가 통신 장치(26)와 접속된다. 통신 장치(26)는, 서버(61), 휴대 단말기 장치(64), 및 다른 유압 셔블(1ot)의 제어 시스템(50ot) 중 하나 이상으로 통신 회선 NTW를 통하여 데이터 통신 가능하다.

검출 처리 장치(51)는, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 시공 대상의 한 쌍의 화상 데이터에 기초하여, 시공 대상의 3차원 데이터를 산출한다. 검출 처리 장치(51)는, 시공 대상의 한 쌍의 화상 데이터를 스테레오 방식으로 화상 처리함으로써, 3차원 좌표계에서의 시공 대상의 복수 부위의 좌표를 나타내는 3차원 데이터를 산출한다. 스테레오 방식의 화상 처리란, 동일한 촬영 대상을 2개의 상이한 촬상 장치(30)로부터 관측하여 얻어지는 2개의 화상으로부터, 그 촬영 대상까지의 거리를 얻는 방법을 말한다. 촬영 대상까지의 거리는, 예를 들면, 촬영 대상까지의 거리 데이터를 농담(濃淡)에 의해 가시화한 거리 화상으로서 표현된다.

허브(31) 및 촬상 스위치(32)가 검출 처리 장치(51)에 접속된다. 허브(31)은, 복수의 촬상 장치(30a, 30b, 30c, 30d)와 접속된다. 촬상 장치(30a, 30b, 30c, 30d)에 의해 취득된 화상 데이터는, 허브(31)를 통하여 검출 처리 장치(51)에 공급된다. 그리고, 허브(31)는 생략되어도 된다.

촬상 스위치(32)는, 운전실(4)에 설치된다. 본 실시형태에 있어서는, 운전실(4)의 운전자에 의해 촬상 스위치(32)가 조작되었을 때, 촬상 장치(30)에 의한 시공 대상의 촬상이 실시된다. 그리고, 유압 셔블(1)이 가동(稼動)하고 있는 상태에 있어서, 소정 기간마다 자동적으로 촬상 장치(30)에 의한 시공 대상의 촬상이 실시되어도 된다.

시공 관리 장치(57)는, 유압 셔블(1) 상태 및 유압 셔블(1)에 의한 시공의 상황을 관리한다. 시공 관리 장치(57)는, 예를 들면, 1일의 작업의 종료 단계에서의 시공의 결과를 나타내는 완료 시공 데이터를 취득하여, 서버(61) 및 휴대 단말기 장치(64) 중 적어도 한쪽으로 송신한다. 또한, 시공 관리 장치(57)는, 1일의 작업의 도중 단계에서의 시공의 결과를 나타내는 중간 시공 데이터를 취득하여, 서버(61) 및 휴대 단말기 장치(64) 중 적어도 한쪽으로 송신한다.

완료 시공 데이터 및 중간 시공 데이터는, 촬상 장치(30)에 의해 취득된 화상 데이터에 기초하여 검출 처리 장치(51)에 의해 산출된 시공 대상의 3차원 데이터를 포함한다. 즉, 1일의 작업의 도중 단계 및 종료 단계에서의 시공 대상의 현황 지형 데이터가 서버(61) 및 휴대 단말기 장치(64) 중 적어도 한쪽으로 송신된다. 그리고, 시공 관리 장치(57)는, 완료 시공 데이터 및 중간 시공 데이터에 더하여, 예를 들면, 촬상 장치(30)에 의해 취득된 화상 데이터의 취득 일시 데이터, 취득 위치 데이터, 및 화상 데이터를 취득한 유압 셔블(1)의 식별 데이터 중 하나 이상을 포함하여 서버(61) 및 휴대 단말기 장치(64) 중 적어도 한쪽으로 송신해도 된다. 그리고, 유압 셔블(1)의 식별 데이터는, 예를 들면, 유압 셔블(1)의 형번을 포함한다.

표시 장치(58)는, 액정 디스플레이(LCD: Liquid Crystal Display) 또는 유기 EL 디스플레이(OELD: Organic Electroluminescence Display)와 같은 평판 디스플레이를 포함한다.

휴대 단말기 장치(64)는, 예를 들면, 유압 셔블(1)의 작업을 관리하는 관리자에게 소지된다.

서버(61)는, 컴퓨터 시스템을 포함한다. 서버(61)는, CPU와 같은 프로세서를 포함하는 연산 처리 장치와, RAM과 같은 휘발성 메모리 및 ROM과 같은 불휘발성 메모리를 포함하는 기억 장치를 포함한다. 통신 장치(62) 및 표시 장치(65)가 서버(61)와 접속된다. 통신 장치(62)는, 통신용 안테나(63)와 접속된다. 통신 장치(62)는, 유압 셔블(1)의 제어 시스템(50), 휴대 단말기 장치(64), 및 다른 유압 셔블(1ot)의 제어 시스템(50ot) 중 하나 이상으로 통신 회선 NTW를 통하여 데이터 통신 가능하다.

도 5는, 본 실시형태에 관한 검출 처리 장치(51)의 일례를 나타낸 기능 블록도이다. 검출 처리 장치(51)는, 프로세서를 포함하는 연산 처리 장치와, 불휘발성 메모리 및 휘발성 메모리를 포함하는 기억 장치와, 입출력 인터페이스를 가지는 컴퓨터 시스템을 포함한다.

검출 처리 장치(51)는, 화상 데이터 취득부(101)와, 3차원 데이터 산출부(102)와, 위치 데이터 취득부(103)와, 자세 데이터 취득부(104)와, 방위 데이터 취득부(105)와, 작업기 각도 데이터 취득부(106)와, 작업기 위치 데이터 산출부(107)와, 표시 제어부(108)와, 기억부(109)와, 입출력부(110)를 구비한다.

화상 데이터 취득부(101), 3차원 데이터 산출부(102), 위치 데이터 취득부(103), 자세 데이터 취득부(104), 방위 데이터 취득부(105), 작업기 각도 데이터 취득부(106), 작업기 위치 데이터 산출부(107), 및 표시 제어부(108)의 기능은, 연산 처리 장치에 의해 발휘된다. 기억부(109)의 기능은, 기억 장치에 의해 발휘된다. 입출력부(110)의 기능은, 입출력 인터페이스에 의해 발휘된다.

촬상 장치(30), 작업기 각도 검출기(22), 위치 검출기(23), 자세 검출기(24), 방위 검출기(25), 촬상 스위치(32), 및 표시 장치(58)는, 입출력부(110)와 접속된다. 화상 데이터 취득부(101)와, 3차원 데이터 산출부(102)와, 위치 데이터 취득부(103)와, 자세 데이터 취득부(104)와, 방위 데이터 취득부(105)와, 작업기 각도 데이터 취득부(106)와, 작업기 위치 데이터 산출부(107)와, 표시 제어부(108)와, 기억부(109)와, 촬상 장치(30)와, 작업기 각도 검출기(22)와, 위치 검출기(23)와, 자세 검출기(24)와, 방위 검출기(25)와, 촬상 스위치(32)와, 표시 장치(58)는, 입출력부(110)를 통하여 데이터 통신 가능하다.

화상 데이터 취득부(101)는, 유압 셔블(1)에 설치된 적어도 한 쌍의 촬상 장치(30)에 의해 촬영된 시공 대상의 화상 데이터를 한 쌍의 촬상 장치(30)로부터 취득한다. 즉, 화상 데이터 취득부(101)는, 적어도 한 쌍의 촬상 장치(30)에 의한 스테레오 화상 데이터를 취득한다. 화상 데이터 취득부(101)는, 유압 셔블(1)에 설치된 촬상 장치(30)(계측 장치)에 의해 촬영(계측)된 유압 셔블(1)의 전방의 시공 대상의 화상 데이터(계측 데이터)를 취득하는 계측 데이터 취득부로서 기능한다.

3차원 데이터 산출부(102)는, 화상 데이터 취득부(101)에 의해 취득된 화상 데이터에 기초하여, 시공 대상의 3차원 데이터를 산출한다. 3차원 데이터 산출부(102)는, 화상 데이터 취득부(101)에 의해 취득된 화상 데이터에 기초하여, 카메라 좌표계에서의 시공 대상의 3차원 형상 데이터를 산출한다.

위치 데이터 취득부(103)는, 유압 셔블(1)의 위치 데이터를 위치 검출기(23)로부터 취득한다. 유압 셔블(1)의 위치 데이터는, 위치 검출기(23)에 의해 검출된 글로벌 좌표계에서의 선회체(3)의 위치를 나타내는 위치 데이터를 포함한다.

자세 데이터 취득부(104)는, 유압 셔블(1)의 자세 데이터를 자세 검출기(24)로부터 취득한다. 유압 셔블(1)의 자세 데이터는, 자세 검출기(24)에 의해 검출된 글로벌 좌표계에서의 선회체(3)의 자세를 나타내는 자세 데이터를 포함한다.

방위 데이터 취득부(105)는, 유압 셔블(1)의 방위 데이터를 방위 검출기(25)로부터 취득한다. 유압 셔블(1)의 방위 데이터는, 방위 검출기(25)에 의해 검출된 글로벌 좌표계에서의 선회체(3)의 방위를 나타낸 방위 데이터를 포함한다.

작업기 각도 데이터 취득부(106)는, 작업기(2)의 각도를 나타내는 작업기 각도 데이터를 작업기 각도 검출기(22)로부터 취득한다. 작업기 각도 데이터는, 붐 각도 α, 암 각도 β, 및 버킷 각도 γ를 포함한다.

작업기 위치 데이터 산출부(107)는, 작업기(2)의 위치를 나타내는 작업기 위치 데이터를 산출한다. 작업기 위치 데이터는, 붐(6)의 위치 데이터, 암(7)의 위치 데이터, 및 버킷(8)의 위치 데이터를 포함한다.

작업기 위치 데이터 산출부(107)는, 작업기 각도 데이터 취득부(106)에 의해 취득된 작업기 각도 데이터와, 기억부(109)에 기억되어 있는 작업기 데이터에 기초하여, 차체 좌표계에서의 붐(6)의 위치 데이터, 암(7)의 위치 데이터, 및 버킷(8)의 위치 데이터를 산출한다. 붐(6), 암(7), 및 버킷(8)의 위치 데이터는, 붐(6), 암(7), 및 버킷(8)의 복수의 부위 각각의 좌표 데이터를 포함한다.

또한, 작업기 위치 데이터 산출부(107)는, 위치 데이터 취득부(103)에 의해 취득된 선회체(3)의 위치 데이터와, 자세 데이터 취득부(104)에 의해 취득된 선회체(3)의 자세 데이터와, 방위 데이터 취득부(105)에 의해 취득된 선회체(3)의 방위 데이터와, 작업기 각도 데이터 취득부(106)에 의해 취득된 작업기 각도 데이터와, 기억부(109)에 기억되어 있는 작업기 데이터에 기초하여, 글로벌 좌표계에서의 붐(6), 암(7), 및 버킷(8)의 위치 데이터를 산출한다.

작업기 데이터는, 작업기(2)의 설계 데이터 또는 제원(諸元) 데이터를 포함한다. 작업기(2)의 설계 데이터는, 작업기(2)의 3차원 CAD 데이터를 포함한다. 작업기 데이터는, 작업기(2)의 외형 데이터 및 작업기(2)의 치수 데이터 중 적어도 한쪽을 포함한다. 본 실시형태에 있어서는, 도 3에 나타낸 바와 같이, 작업기 데이터는, 붐 길이(boom length) L1, 암 길이(arm length) L2, 및 버킷 길이 L3을 포함한다. 붐 길이 L1은, 회전축(AX1)와 회전축(AX2)와의 거리이다. 암 길이 L2는, 회전축(AX2)와 회전축(AX3)와의 거리이다. 버킷 길이 L3은, 회전축(AX3)과 버킷(8)의 날끝(8BT)과의 거리이다.

3차원 데이터 산출부(102)는, 화상 데이터 취득부(101)에 의해 취득된 시공 대상의 화상 데이터에 기초하여, 차체 좌표계에서의 시공 대상의 3차원 데이터를 산출한다. 차체 좌표계에서의 시공 대상의 3차원 데이터는, 차체 좌표계에서의 시공 대상의 3차원 형상 데이터를 포함한다. 3차원 데이터 산출부(102)는, 카메라 좌표계에서의 시공 대상의 3차원 데이터를 좌표 변환하여, 차체 좌표계에서의 시공 대상의 3차원 데이터를 산출한다.

또한, 3차원 데이터 산출부(102)는, 위치 데이터 취득부(103)에 의해 취득된 선회체(3)의 위치 데이터, 자세 데이터 취득부(104)에 의해 취득된 선회체(3)의 자세 데이터, 방위 데이터 취득부(105)에 의해 취득된 선회체(3)의 방위 데이터, 및 화상 데이터 취득부(101)에 의해 취득된 시공 대상의 화상 데이터에 기초하여, 글로벌 좌표계에서의 시공 대상의 3차원 데이터를 산출한다. 글로벌 좌표계에서의 시공 대상의 3차원 데이터는, 글로벌 좌표계에서의 시공 대상의 3차원 형상 데이터를 포함한다. 3차원 데이터 산출부(102)는, 차체 좌표계에서의 시공 대상의 3차원 데이터를 좌표 변환하여, 글로벌 좌표계에서의 시공 대상의 3차원 데이터를 산출한다.

표시 제어부(108)는, 3차원 데이터 산출부(102)에 의해 산출된 시공 대상의 3차원 데이터를 표시 장치(58)에 표시시킨다. 표시 제어부(108)는, 3차원 데이터 산출부(102)에 의해 산출된 시공 대상의 3차원 데이터를 표시 장치(58)가 표시 가능한 표시 형식의 표시 데이터로 변환하여, 그 표시 데이터를 표시 장치(58)에 표시시킨다.

[3차원 처리]

도 6은, 본 실시형태에 관한 한 쌍의 촬상 장치(30)에 의해 3차원 데이터를 산출하는 방법을 설명하기 위한 모식도이다. 이하의 설명에 있어서는, 한 쌍의 촬상 장치(30a, 30b)에 의해 3차원 데이터가 산출되는 방법에 대하여 설명한다. 3차원 데이터를 산출하는 3차원 처리는, 이른바 스테레오 계측 처리를 포함한다. 그리고, 한 쌍의 촬상 장치(30a, 30b)에 의해 3차원 데이터가 산출되는 방법과, 한 쌍의 촬상 장치(30c, 30d)에 의해 3차원 데이터가 산출되는 방법은, 마찬가지이다.

한 쌍의 촬상 장치(30a, 30b)를 나타내는 계측 장치 위치 데이터인 촬상 장치 위치 데이터가 기억부(109)에 기억되어 있다. 촬상 장치 위치 데이터는, 촬상 장치(30a) 및 촬상 장치(30b) 각각의 위치 및 자세를 포함한다. 또한, 촬상 장치 위치 데이터는, 한 쌍의 촬상 장치(30a)와 촬상 장치(30b)와의 상대(相對) 위치를 포함한다. 촬상 장치 위치 데이터는, 촬상 장치(30a, 30b)의 설계 데이터 또는 제원 데이터로부터 알 수 있는 기지(旣知) 데이터이다. 촬상 장치(30a, 30b)의 위치를 나타내는 촬상 장치 위치 데이터는, 촬상 장치(30a)의 광학 중심 Oa의 위치 및 광축의 방향, 촬상 장치(30b)의 광학 중심 Ob의 위치 및 광축의 방향, 촬상 장치(30a)의 광학 중심 Oa와 촬상 장치(30b)의 광학 중심 Ob를 연결하는 베이스 라인의 치수 중 하나 이상을 포함한다.

도 6에 있어서, 3차원 공간에 존재하는 계측점(P)이, 한 쌍의 촬상 장치(30a, 30b)의 투영면에 투영된다. 또한, 촬상 장치(30a)의 투영면에 계측점(P)의 상(像) 및 촬상 장치(30b)의 투영면의 점 Eb의 상이 투영되고, 에피폴라선(epipolar line)이 규정된다. 마찬가지로, 촬상 장치(30b)의 투영면에 계측점(P)의 상 및 촬상 장치(30a)의 투영면의 점 Ea의 상이 투영되고, 에피폴라선이 규정된다. 또한, 계측점(P)과 점 Ea와 점 Eb에 의해 에피폴라 평면이 규정된다.

본 실시형태에 있어서, 화상 데이터 취득부(101)는, 촬상 장치(30a)에 의해 촬상된 화상 데이터와, 촬상 장치(30b)에 의해 촬상된 화상 데이터를 취득한다. 촬상 장치(30a)에 의해 촬상된 화상 데이터 및 촬상 장치(30b)에 의해 촬상된 화상 데이터는 각각, 투영면에 투영된 2차원의 화상 데이터이다. 이하의 설명에 있어서는, 촬상 장치(30a)에 의해 촬상된 2차원의 화상 데이터를 적절히, 우측 화상 데이터라고 하고, 촬상 장치(30b)에 의해 촬상된 2차원의 화상 데이터를 적절히, 좌측 화상 데이터라고 한다.

화상 데이터 취득부(101)에 의해 취득된 우측 화상 데이터 및 좌측 화상 데이터는, 3차원 데이터 산출부(102)에 출력된다. 3차원 데이터 산출부(102)는, 카메라 좌표계에 있어서 규정되는 우측 화상 데이터에서의 계측점(P) 상의 좌표 데이터와, 좌측 화상 데이터에서의 계측점(P) 상의 좌표 데이터와, 에피폴라 평면에 기초하여, 카메라 좌표계에서의 계측점(P)의 3차원 좌표 데이터를 산출한다.

3차원 화상 데이터는, 우측 화상 데이터 및 좌측 화상 데이터에 기초하여, 시공 대상의 복수의 계측점(P) 각각의 3차원 좌표 데이터를 산출한다. 이로써, 시공 대상의 3차원 데이터가 산출된다.

본 실시형태에 있어서, 3차원 데이터 산출부(102)는, 스테레오 화상 처리에 있어서, 카메라 좌표계에서의 복수의 계측점(P)의 3차원 좌표 데이터를 포함하는 3차원 데이터를 산출한 후, 좌표 변환함으로써, 차체 좌표계에서의 복수의 계측점(P)의 3차원 좌표 데이터를 포함하는 3차원 데이터를 산출한다.

[형상 계측 방법]

다음에, 본 실시형태에 관한 형상 계측 방법에 대하여 설명한다. 촬상 장치(30)를 사용하여 시공 대상을 촬상할 때, 유압 셔블(1)의 작업기(2) 중 적어도 일부가 촬상 장치(30)에 의해 촬상되는 화상 데이터에 비쳐버릴 가능성이 있다. 촬상 장치(30)에 의해 촬상된 화상 데이터에 있어서, 촬영된 작업기(2)는 노이즈 성분이므로, 시공 대상이 양호한 3차원 데이터를 취득하는 것이 곤란해진다.

본 실시형태에 있어서, 3차원 데이터 산출부(102)는, 화상 데이터 취득부(101)에 의해 취득된 화상 데이터 및 작업기 위치 데이터 산출부(107)에 의해 산출된 작업기 위치 데이터에 기초하여, 작업기(2) 중 적어도 일부가 제거된 3차원 데이터인 대상 데이터를 산출한다.

본 실시형태에 있어서, 3차원 데이터 산출부(102)는, 작업기 위치 데이터 산출부(107)에 의해 산출된 차체 좌표계에서의 작업기 위치 데이터를 좌표 변환하여, 카메라 좌표계에서의 작업기 위치 데이터를 산출한다. 3차원 데이터 산출부(102)는, 카메라 좌표계에서의 작업기 위치 데이터에 기초하여, 화상 데이터 취득부(101)에 의해 취득된 화상 데이터에서의 작업기(2)의 위치를 특정하여, 작업기(2) 중 적어도 일부가 제거된 3차원 데이터인 대상 데이터를 산출한다. 3차원 데이터 산출부(102)는, 카메라 좌표계에 있어서 산출된 3차원 데이터인 대상 데이터를 좌표 변환하여, 차체 좌표계에서의 3차원 데이터인 대상 데이터를 산출한다.

도 7은, 본 실시형태에 관한 형상 계측 방법의 일례를 나타낸 플로우차트이다. 화상 데이터 취득부(101)는, 촬상 장치(30)로부터 우측 화상 데이터 및 좌측 화상 데이터를 취득한다(스텝 SA10). 전술한 바와 같이, 우측 화상 데이터 및 좌측 화상 데이터는, 2차원의 화상 데이터이다.

3차원 데이터 산출부(102)는, 작업기 위치 데이터 산출부(107)에 의해 산출된 차체 좌표계에서의 작업기 위치 데이터를 좌표 변환하여 카메라 좌표계에서의 작업기 위치 데이터를 산출한다. 3차원 데이터 산출부(102)는, 카메라 좌표계에서의 작업기 위치 데이터에 기초하여, 우측 화상 데이터 및 좌측 화상 데이터의 각각에서의 작업기(2)의 위치를 특정한다(스텝 SA20).

전술한 바와 같이, 기억부(109)에는, 촬상 장치(30a, 30b)의 위치를 나타내는 촬상 장치 위치 데이터가 기억되어 있다. 3차원 데이터 산출부(102)는, 촬상 장치 위치 데이터 및 작업기 위치 데이터에 기초하여, 우측 화상 데이터에서의 작업기(2)의 위치, 및 좌측 화상 데이터에서의 작업기(2)의 위치를 특정할 수 있다.

예를 들면, 차체 좌표계에서의 작업기(2)의 위치와, 차체 좌표계에서의 촬상 장치(30)의 위치 및 자세(방향)를 알면, 촬상 장치(30)의 촬상 범위[촬상 장치(30)의 광학계의 시야 영역]에 있어서 작업기(2)가 비치는 범위가 특정된다. 3차원 데이터 산출부(102)는, 작업기(2)와 촬상 장치(30)와의 상대 위치에 기초하여, 우측 화상 데이터에서의 작업기(2)의 위치, 및 좌측 화상 데이터에서의 작업기(2)의 위치를 산출할 수 있다.

도 8은, 본 실시형태에 관한 우측 화상 데이터의 일례를 나타낸 도면이다. 그리고, 도 8을 참조하는 설명에 있어서는, 우측 화상 데이터에 대하여 설명하지만, 좌측 화상 데이터에 대하여도 마찬가지이다.

도 8에 나타낸 바와 같이, 우측 화상 데이터에 작업기(2)가 촬영될 가능성이 있다. 3차원 데이터 산출부(102)는, 촬상 장치 위치 데이터 및 작업기 위치 데이터에 기초하여, 카메라 좌표계에 의해 규정되는 우측 화상 데이터에서의 작업기(2)의 위치를 특정한다. 전술한 바와 같이, 작업기 위치 데이터는, 작업기 데이터를 포함하고, 작업기 데이터는, 3차원 CAD 데이터와 같은 작업기(2)의 설계 데이터를 포함한다. 또한, 작업기 데이터는, 작업기(2)의 외형 데이터 및 작업기(2)의 치수 데이터를 포함한다. 따라서, 3차원 데이터 산출부(102)는, 우측 화상 데이터를 구성하는 복수의 픽셀 중, 작업기(2)를 나타내는 픽셀을 특정할 수 있다.

3차원 데이터 산출부(102)는, 작업기 위치 데이터에 기초하여, 우측 화상 데이터로부터, 작업기(2)를 포함하는 부분 데이터를 제거한다. 마찬가지로, 3차원 데이터 산출부(102)는, 작업기 위치 데이터에 기초하여, 좌측 화상 데이터로부터, 작업기(2)를 포함하는 부분 데이터를 제거한다(스텝 SA30).

즉, 3차원 데이터 산출부(102)는, 우측 화상 데이터의 복수의 픽셀 중, 스테레오 계측 처리에 사용되는 작업기(2)를 나타내는 픽셀을 무효화한다. 마찬가지로, 3차원 데이터 산출부(102)는, 좌측 화상 데이터의 복수의 픽셀 중, 스테레오 계측 처리에 사용되는 작업기(2)를 나타내는 픽셀을 무효화한다. 환언하면, 3차원 데이터 산출부(102)는, 촬상 장치(30a, 30b)의 투영면에 투영된 작업기(2)를 나타내는 계측점(P)의 상을 제거 또는 무효화한다.

3차원 데이터 산출부(102)는, 작업기(2)를 포함하는 부분 데이터가 제거된 화상 데이터인 주변 데이터에 기초하여, 작업기(2)가 제거된 3차원 데이터인 대상 데이터를 산출한다(스텝 SA40).

즉, 3차원 데이터 산출부(102)는, 우측 화상 데이터로부터 작업기(2)를 포함하는 부분 데이터가 제거된 2차원의 주변 데이터와, 좌측 화상 데이터로부터 작업기(2)를 포함하는 부분 데이터가 제거된 2차원의 주변 데이터에 기초하여, 3차원 처리를 실시하여, 작업기(2)가 제거된 3차원 데이터인 대상 데이터를 산출한다. 3차원 데이터 산출부(102)는, 카메라 좌표계에 있어서 규정되는 대상 데이터를 좌표 변환하여, 차체 좌표계 또는 글로벌 좌표계에 있어서 규정되는 대상 데이터를 산출한다.

[작용 및 효과]

이상 설명한 바와 같이, 본 실시형태에 의하면, 작업기(2)가 비쳐도, 화상 데이터 취득부(101)에 의해 취득된 화상 데이터 및 작업기 위치 데이터 산출부(107)에 의해 산출된 작업기 위치 데이터에 기초하여, 작업기(2) 중 적어도 일부가 제거된 3차원 데이터인 대상 데이터가 산출된다.

촬상 장치(30)에 의해 취득된 화상 데이터에 있어서, 촬영된 작업기(2)는 노이즈 성분이다. 본 실시형태에 있어서는, 노이즈 성분인 작업기(2)를 포함하는 부분 데이터가 제거되므로, 3차원 데이터 산출부(102)는, 주변 데이터에 기초하여, 시공 대상이 양호한 3차원 데이터를 산출할 수 있다. 또한, 작업기(2)를 상승시키지 않고 촬상 장치(30)에 의해 시공 대상을 촬상해도, 시공 대상이 양호한 3차원 데이터가 산출되므로, 작업 효율의 저하가 억제된다.

그리고, 본 실시형태에 있어서는, 부분 데이터는, 도 8을 참조하여 설명한 바와 같이, 작업기(2)의 외형을 따라 규정되어 있다. 부분 데이터가 작업기(2)의 일부를 포함하고, 주변 데이터가 작업기의 일부를 포함해도 된다. 또한, 부분 데이터가 시공 대상의 일부를 포함해도 된다.

{제2 실시형태}

제2 실시형태에 대하여 설명한다. 이하의 설명에 있어서, 전술한 실시형태와 동일하거나 또는 동등한 구성 요소에 대하여는 동일한 부호를 부여하고, 그 설명을 간략 또는 생략한다.

전술한 실시형태에 있어서는, 2차원의 우측 화상 데이터 및 좌측 화상 데이터로부터 부분 데이터를 제거하는 것으로 하였다. 본 실시형태에 있어서는, 우측 화상 데이터 및 좌측 화상 데이터에 기초하여 작업기(2)를 포함하는 3차원 데이터가 산출된 후, 그 3차원 데이터로부터 작업기(2)를 포함하는 부분 데이터가 제거되는 예에 대하여 설명한다.

도 9는, 본 실시형태에 관한 형상 계측 방법의 일례를 나타낸 플로우차트이다. 화상 데이터 취득부(101)는, 촬상 장치(30)로부터 우측 화상 데이터 및 좌측 화상 데이터를 취득한다(스텝 SB10).

3차원 데이터 산출부(102)는, 화상 데이터 취득부(101)에 의해 취득된 우측 화상 데이터 및 좌측 화상 데이터에 기초하여 3차원 처리를 실시하여, 시공 대상의 3차원 데이터를 산출한다(스텝 SB20). 3차원 데이터 산출부(102)는, 카메라 좌표계에서의 시공 대상의 3차원 데이터를 산출한 후, 좌표 변환하여, 차체 좌표계에서의 시공 대상의 3차원 데이터를 산출한다.

3차원 데이터 산출부(102)는, 작업기 위치 데이터 산출부(107)에 의해 산출된 차체 좌표계에서의 작업기 위치 데이터에 기초하여, 차체 좌표계에서의 작업기(2)의 위치를 특정한다(스텝 SB30). 3차원 데이터 산출부(102)는, 차체 좌표계에서의 작업기(2)의 위치를 좌표 변환하여, 카메라 좌표계에서의 작업기(2)의 위치를 특정한다.

3차원 데이터 산출부(102)는, 스텝 SB20에서 산출한 3차원 데이터로부터, 스텝 SB30에서 특정한 작업기(2)를 포함하는 부분 데이터(3차원 데이터)를 제거하여, 작업기(2)가 제거된 3차원 데이터인 대상 데이터를 산출한다(스텝 SB40).

즉, 3차원 데이터 산출부(102)는, 3차원 처리에 의해 취득된 복수의 계측점(P)으로 이루어지는 3차원 점군(点群) 데이터로부터, 작업기 위치 데이터에 기초하여 작업기(2)를 나타내는 복수의 계측점(P)을 추정하고, 추정한 작업기(2)를 나타내는 복수의 계측점(P)으로 이루어지는 3차원의 부분 데이터를, 3차원 점군 데이터로부터 제거한다.

3차원 데이터 산출부(102)는, 카메라 좌표계에 있어서 규정되는 대상 데이터를 좌표 변환하여, 차체 좌표계 또는 글로벌 좌표계에 있어서 규정되는 대상 데이터를 산출한다.

이상 설명한 바와 같이, 본 실시형태에 있어서는, 촬상 장치(30)에 의해 촬상된 화상 데이터에 작업기(2)가 촬영된 경우, 우측 화상 데이터 및 좌측 화상 데이터에 기초하여 작업기(2)를 포함하는 3차원 데이터가 산출된 후, 그 3차원 데이터로부터 작업기(2)를 포함하는 부분 데이터가 제거된다. 본 실시형태에 있어서도, 작업 효율의 저하를 억제하면서 유압 셔블(1)의 전방의 시공 대상이 양호한 3차원 데이터를 취득할 수 있다.

{제3 실시형태}

제3 실시형태에 대하여 설명한다. 이하의 설명에 있어서, 전술한 실시형태와 동일하거나 또는 동등한 구성 요소에 대하여는 동일한 부호를 부여하고, 그 설명을 간략 또는 생략한다.

전술한 실시형태에 있어서는, 작업기(2)를 포함하는 부분 데이터가 제거되는 예에 대하여 설명하였다. 본 실시형태에 있어서, 다른 유압 셔블(1ot)을 포함하는 부분 데이터가 제거되는 예에 대하여 설명한다.

도 10은, 본 실시형태에 관한 형상 계측 방법의 일례를 모식적으로 나타낸 도면이다. 도 10에 나타낸 바와 같이, 유압 셔블(1)에 설치되어 있는 촬상 장치(30)를 사용하여 시공 대상 OBP를 촬상할 때, 다른 유압 셔블(1ot) 중 적어도 일부가 촬상 장치(30)에 의해 촬상되는 화상 데이터에 비쳐버릴 가능성이 있다. 촬상 장치(30)에 의해 촬상된 화상 데이터에 있어서, 촬영된 다른 유압 셔블(1ot)는 노이즈 성분이므로, 시공 대상이 양호한 3차원 데이터를 취득하는 것이 곤란해진다.

본 실시형태에 있어서, 위치 데이터 취득부(103)는, 다른 유압 셔블(1ot)의 위치 데이터를 취득한다. 3차원 데이터 산출부(102)는, 화상 데이터 취득부(101)에 의해 취득된 화상 데이터 및 위치 데이터 취득부(103)에 의해 취득된 다른 유압 셔블(1ot)의 위치 데이터에 기초하여, 다른 유압 셔블(1ot) 중 적어도 일부가 제거된 3차원 데이터인 대상 데이터를 산출한다.

유압 셔블(1)과 마찬가지로, 다른 유압 셔블(1ot)은, GPS 안테나(21)와, 차량의 위치를 검출하는 위치 검출기(23)를 구비한다. 다른 유압 셔블(1ot)은, 위치 검출기(23)에 의해 검출된 다른 유압 셔블(1ot)의 위치 데이터를, 통신 회선 NTW를 통하여 서버(61)에 순차 송신한다.

서버(61)는, 다른 유압 셔블(1ot)의 위치 데이터를, 유압 셔블(1)의 검출 처리 장치(51)의 위치 데이터 취득부(103)에 송신한다. 유압 셔블(1)의 검출 처리 장치(51)의 3차원 데이터 산출부(102)는, 다른 유압 셔블(1ot)의 위치 데이터에 기초하여, 화상 데이터 취득부(101)에 의해 취득된 화상 데이터에서의 다른 유압 셔블(1ot)의 위치를 특정하여, 다른 유압 셔블(1ot) 중 적어도 일부가 제거된 3차원 데이터인 대상 데이터를 산출한다.

본 실시형태에 있어서, 3차원 데이터 산출부(102)는, 다른 유압 셔블(1ot)의 위치 데이터에 기초하여, 화상 데이터 취득부(101)에 의해 취득된 화상 데이터에서의 다른 유압 셔블(1ot)의 범위를 특정한다. 3차원 데이터 산출부(102)는, 예를 들면, 다른 유압 셔블(1ot)의 위치 데이터를 중심으로 하는 소정 거리{예를 들면, Xg축 방향, Yg축 방향, 및 Zg축 방향으로 각각 ±5[m], 또는 반경 5[m]의 구체(球體)}의 범위를, 화상 데이터에서의 다른 유압 셔블(1ot)의 범위로 해도 된다. 3차원 데이터 산출부(102)는, 화상 데이터 취득부(101)에 의해 취득된 화상 데이터와, 다른 유압 셔블(1ot)의 위치 데이터와, 기지 데이터인 다른 유압 셔블(1ot)의 외형 데이터 및 치수 데이터 중 적어도 한쪽에 기초하여, 화상 데이터에서의 다른 유압 셔블(1ot)의 범위를 특정해도 된다. 다른 유압 셔블(1ot)의 외형 데이터 및 치수 데이터는, 서버(61)에 보유되고, 서버(61)로부터 유압 셔블(1)에 송신되어도 되고, 기억부(109)에 기억되어 있어도 된다.

그리고, 본 실시형태에 있어서도, 2차원의 우측 화상 데이터 및 좌측 화상 데이터로부터 다른 유압 셔블(1ot)을 포함하는 부분 데이터가 제거되어도 되고, 우측 화상 데이터 및 좌측 화상 데이터에 기초하여 다른 유압 셔블(1ot)을 포함하는 3차원 데이터가 산출된 후, 그 3차원 데이터로부터 다른 유압 셔블(1ot)을 포함하는 부분 데이터가 제거되어도 된다.

이상 설명한 바와 같이, 본 실시형태에 의하면, 다른 유압 셔블(1ot)이 비쳐도, 노이즈 성분인 다른 유압 셔블(1ot)을 포함하는 부분 데이터가 제거되므로, 3차원 데이터 산출부(102)는, 주변 데이터에 기초하여, 시공 대상이 양호한 3차원 데이터를 산출할 수 있다.

그리고, 전술한 실시형태에 있어서, 차체 좌표계에서의 작업기 위치 데이터가 산출되고, 3차원 처리에 있어서는 작업기 위치 데이터를 카메라 좌표계에 좌표 변환하고, 카메라 좌표계에 있어서 부분 데이터를 제거하는 것으로 하였다. 부분 데이터의 제거는, 차체 좌표계에 있어서 실시되어도 되고, 글로벌 좌표계에 있어서 실시되어도 된다. 임의의 좌표계에 있어서 부분 데이터를 제거하여 좌표 변환을 적절히 실시해도 된다.

그리고, 전술한 본 실시형태에 있어서는, 유압 셔블(1)에 촬상 장치(30)이 4개 설치되는 예에 대하여 설명하였다. 촬상 장치(30)는, 유압 셔블(1)에 2개 이상 설치되어 있으면 된다.

그리고, 전술한 실시형태에 있어서, 서버(61)가 검출 처리 장치(51)의 일부 또는 전부의 기능을 가져도 된다. 즉, 서버(61)가, 화상 데이터 취득부(101), 3차원 데이터 산출부(102), 위치 데이터 취득부(103), 자세 데이터 취득부(104), 방위 데이터 취득부(105), 작업기 각도 데이터 취득부(106), 작업기 위치 데이터 산출부(107), 표시 제어부(108), 기억부(109), 및 입출력부(110) 중 하나 이상을 가져도 된다. 예를 들면, 유압 셔블(1)의 촬상 장치(30)에 의해 촬상된 화상 데이터, 작업기 각도 검출기(22)에 의해 검출된 작업기(2)의 각도 데이터, 위치 검출기(23)에 의해 검출된 선회체(3)의 위치 데이터, 자세 검출기(24)에 의해 검출된 선회체(3)의 자세 데이터, 및 방위 검출기(25)에 의해 검출된 선회체(3)의 방위 데이터가, 통신 장치(26) 및 통신 회선 NTW를 통하여, 서버(61)에 공급되어도 된다. 서버(61)의 3차원 데이터 산출부(102)는, 화상 데이터 및 작업기 위치 데이터에 기초하여, 작업기(1) 중 적어도 일부가 제거된 3차원 데이터인 대상 데이터를 산출할 수 있다.

서버(61)에는, 유압 셔블(1) 및 복수의 다른 유압 셔블(1ot)로부터, 화상 데이터 및 작업기 위치 데이터의 양쪽이 공급된다. 서버(61)는, 유압 셔블(1) 및 복수의 다른 유압 셔블(1ot)로부터 공급된 화상 데이터 및 작업기 위치 데이터에 기초하여, 광범위하게 걸쳐 시공 대상 OBP의 3차원 데이터를 수집할 수 있다.

그리고, 전술한 실시형태에 있어서는, 우측 화상 데이터 및 좌측 화상 데이터의 각각으로부터 작업기(2)를 포함하는 부분 데이터가 제거되는 것으로 하였다. 우측 화상 데이터 및 좌측 화상 데이터 중 어느 한쪽으로부터 작업기(2)를 포함하는 부분 데이터가 제거되어도 된다. 우측 화상 데이터 및 좌측 화상 데이터 중 어느 한쪽으로부터 작업기(2)를 포함하는 부분 데이터가 제거된 경우, 3차원 데이터를 산출할 때 작업기(2)의 부분 데이터는 산출되지 않는다.

그리고, 전술한 실시형태에 있어서는, 유압 셔블(1)의 전방의 시공 대상을 계측하는 계측 장치가 촬상 장치(30)인 것으로 하였다. 유압 셔블(1)의 전방의 시공 대상을 계측하는 계측 장치가 3차원 레이저 스캐너라도 된다. 이 경우, 3차원 레이저 스캐너에 의해 계측된 3차원 형상 데이터가 계측 데이터에 해당한다.

그리고, 전술한 실시형태에 있어서는, 작업 기계(1)가 유압 셔블인 것으로 하였다. 작업 기계(1)는, 시공 대상을 시공 가능한 작업 기계이면 되고, 시공 대상을 굴삭 가능한 굴삭 기계 및 토사를 운반 가능한 운반 기계라도 된다. 작업 기계(1)는, 예를 들면, 휠 로더(wheel loader)라도 되고, 불도저(bulldozer)라도 되고, 덤프 트럭이라도 된다.

1: 유압 셔블(작업 기계), 1B: 차체, 2: 작업기, 3: 선회체, 4: 운전실, 4S: 운전석, 4SS: 등받이, 5: 주행체, 6: 붐, 7: 암, 8: 버킷, 8BT: 날끝, 10: 붐 실린더, 11: 암 실린더, 12: 버킷 실린더, 13: 붐 핀, 14: 암 핀, 15: 버킷 핀, 16: 붐 스트로크 센서, 17: 암 스트로크 센서, 18: 버킷 스트로크 센서, 21: GPS 안테나, 22: 작업기 각도 검출기, 23: 위치 검출기, 24: 자세 검출기, 25: 방위 검출기, 26: 통신 장치, 26A: 통신용 안테나, 30(30a, 30b, 30c, 30d) 촬상 장치, 31: 허브, 32: 촬상 스위치, 35: 조작 장치, 35L: 좌측 조작 레버, 35R: 우측 조작 레버, 50: 제어 시스템, 51: 검출 처리 장치, 57: 시공 관리 장치, 58: 표시 장치, 59: 신호선, 61: 서버, 62: 통신 장치, 63: 통신용 안테나, 64: 휴대 단말기 장치, 65: 표시 장치, 100: 형상 계측 시스템, 101: 화상 데이터 취득부(계측 데이터 취득부), 102: 3차원 데이터 산출부, 103: 위치 데이터 취득부, 104: 자세 데이터 취득부, 105: 방위 데이터 취득부, 106: 작업기 각도 데이터 취득부, 107: 작업기 위치 데이터 산출부, 108: 표시 제어부, 109: 기억부, 110: 입출력부, AX1: 회전축, AX2: 회전축, AX3: 회전축, NTW: 통신 회선.

Claims

작업 기계(work machine)에 설치된 계측 장치에 의해 계측된 대상의 계측 데이터를 취득하는 계측 데이터 취득부;
상기 작업 기계의 작업기(working equipment)의 위치를 나타내는 작업기 위치 데이터를 산출하는 작업기 위치 데이터 산출부; 및
상기 계측 데이터 및 상기 작업기 위치 데이터에 기초하여, 상기 작업기 중 적어도 일부가 제거된 3차원 데이터인 대상 데이터를 산출하는 3차원 데이터 산출부;
를 포함하는 작업 기계의 검출 처리 장치.
제1항에 있어서,
상기 3차원 데이터 산출부는, 상기 작업기 위치 데이터에 기초하여 상기 계측 데이터로부터 상기 작업기를 포함하는 부분 데이터를 제거하고, 상기 부분 데이터가 제거된 상기 계측 데이터에 기초하여, 상기 대상 데이터를 산출하는, 작업 기계의 검출 처리 장치.
제2항에 있어서,
상기 3차원 데이터 산출부는, 상기 계측 장치의 위치를 나타내는 계측 장치 위치 데이터 및 상기 작업기 위치 데이터에 기초하여, 상기 계측 데이터에서의 상기 작업기의 위치를 특정하는, 작업 기계의 검출 처리 장치.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 작업기 위치 데이터 산출부는, 상기 작업기의 각도 데이터, 및 상기 작업기의 외형 데이터 또는 치수 데이터에 기초하여, 작업기 위치 데이터를 산출하는, 작업 기계의 검출 처리 장치.
제1항에 있어서,
상기 3차원 데이터 산출부는, 상기 계측 데이터에 기초하여 산출된 3차원 데이터로부터 상기 작업기 위치 데이터에 기초하여 상기 작업기를 포함하는 부분 데이터를 제거하여, 상기 대상 데이터를 산출하는, 작업 기계의 검출 처리 장치.
작업 기계에 설치된 계측 장치에 의해 계측된 대상의 계측 데이터를 취득하는 계측 데이터 취득부;
다른 작업 기계의 위치 데이터를 취득하는 위치 데이터 취득부; 및
상기 계측 데이터 및 다른 작업 기계의 위치 데이터에 기초하여, 다른 상기 작업 기계 중 적어도 일부가 제거된 3차원 데이터인 대상 데이터를 산출하는 3차원 데이터 산출부;
를 포함하는 작업 기계의 검출 처리 장치.
제6항에 있어서,
상기 3차원 데이터 산출부는, 상기 계측 데이터, 다른 작업 기계의 위치 데이터, 및 다른 작업 기계의 외형 데이터 또는 치수 데이터에 기초하여, 상기 대상 데이터를 산출하는, 작업 기계의 검출 처리 장치.
작업 기계에 설치된 계측 장치에 의해 계측된 대상의 계측 데이터를 취득하는 단계;
상기 작업 기계의 작업기의 위치를 나타내는 작업기 위치 데이터를 산출하는 단계; 및
상기 계측 데이터 및 상기 작업기 위치 데이터에 기초하여, 상기 작업기 중 적어도 일부가 제거된 3차원 데이터인 대상 데이터를 산출하는 단계;
를 포함하는 작업 기계의 검출 처리 방법.
작업 기계에 설치된 계측 장치에 의해 계측된 대상의 계측 데이터를 취득하는 단계; 및
상기 계측 데이터 및 다른 작업 기계의 위치 데이터에 기초하여, 다른 상기 작업 기계 중 적어도 일부가 제거된 3차원 데이터인 대상 데이터를 산출하는 단계;
를 포함하는 작업 기계의 검출 처리 방법.