KR101144727B1 - 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템 - Google Patents

스테레오 비전 기술을 이용한 굴삭작업 지원 시스템 Download PDF

Info

Publication number
KR101144727B1
KR101144727B1 KR1020090041402A KR20090041402A KR101144727B1 KR 101144727 B1 KR101144727 B1 KR 101144727B1 KR 1020090041402 A KR1020090041402 A KR 1020090041402A KR 20090041402 A KR20090041402 A KR 20090041402A KR 101144727 B1 KR101144727 B1 KR 101144727B1
Authority
KR
South Korea
Prior art keywords
excavator
excavation
stereo vision
angle
bucket
Prior art date
Application number
KR1020090041402A
Other languages
English (en)
Other versions
KR20100122389A (ko
Inventor
김영석
유병인
유현석
한승우
이정호
임흥순
옥치을
태용호
김주학
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020090041402A priority Critical patent/KR101144727B1/ko
Publication of KR20100122389A publication Critical patent/KR20100122389A/ko
Application granted granted Critical
Publication of KR101144727B1 publication Critical patent/KR101144727B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

본 발명은 굴삭기의 굴삭 작업을 지원하기 위한 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템에 관한 것으로, 더욱 상세하게는 굴삭 작업중 굴삭기 운전자에게 최종 굴삭 깊이 대비 작업 진행 정보를 제공함은 물론, 굴삭기 및 굴삭기 버켓의 자세 정보를 제공하는 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템에 관한 것이다.
이를 위해, 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템은, 굴삭 작업면에 대한 3차원 영상을 획득하기 위한 스테레오 비전(stereo vision)과, 최종 굴삭 깊이 및 형상에 대한 3차원 계획도면이 저장되는 계획도면 저장부와, 디스플레이 기능을 구비한 사용자 인터페이스 및 상기 스테레오 비전를 통해 촬상하여 획득한 상기 굴삭중인 작업면의 3차원 영상과 상기 계획도면 저장부에 저장된 상기 3차원 계획도면을 서로 매칭시켜 상기 사용자 인터페이스를 통해 디스플레이하는 마이콤을 포함하는 것을 특징으로 한다.
굴삭기, 스테레오 비전, DGPS, 자세제어 센서, 각도 센서, 가상 현실

Description

스테레오 비전 기술을 이용한 굴삭작업 지원 시스템{Excavation supporting system using stereo vision technology}
본 발명은 굴삭기의 굴삭 작업을 지원하기 위한 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템에 관한 것으로, 특히 굴삭 작업중 굴삭기 운전자에게 최종 굴삭 깊이 대비 작업 진행 정보를 제공함은 물론, 굴삭기 및 굴삭기 버켓의 자세 정보를 제공하는 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템에 관한 것이다.
토공사는 도로, 공항, 단지 조성 등과 같이 대부분의 토목 및 건축 공사에 필요한 가장 기본적인 공종으로 주로 굴삭기, 로더, 도저와 같은 건설장비를 활용하여 수행되고 있다. 그리고, 이러한 여러 건설장비 중 굴삭기는 가장 널리 사용되는 토공장비로서 전체 건설기계 중 약 31%를 차지하고 있으며 매년 등록대수가 증가하고 있는 실정이다.
한편, 굴삭기에 의해 수행되는 터파기 작업은 토공사 중에 가장 큰 비중을 차지하는 작업으로, 굴삭기 운전자가 정확한 터파기 작업을 수행하기 위해서는 굴삭작업 지시를 위한 측량기사와 굴삭기의 작업 유도를 위한 작업유도자의 투입이 필수적이다.
이때, 굴삭기에 의한 터파기는 측량기사가 설계도면을 확인한 후 굴삭 깊이를 굴삭기 운전자에게 전달하는 것으로 시작되며, 굴삭기 운전자는 측량기사가 설계도면을 확인하여 전달한 계획 깊이를 바탕으로 경험적인 판단에 의해 작업을 진행한다.
그리고, 굴삭기 운전자의 직감에 의해 터파기 작업이 진행된 후 측량기사와 작업유도자는 레벨기 및 측량막대(staff)를 이용해 측량작업을 수행하여 계획 깊이 까지의 잔여 굴삭 깊이를 굴삭기 운전자에게 재전달한다.
이러한 측량작업은 정확한 계획 깊이(계획면 대비 ±5cm)를 맞출 때까지 반복되며, 그 후 바닥면 고르기 작업시에는 작업유도자가 굴삭기의 버켓 주변에서 작업의 진행 상황을 관찰하여 작업면의 높낮이 정보 및 굴삭면에 접촉한 버켓의 높낮이 정보를 굴삭기 운전자에게 전달함으로써 정확한 작업이 이루어지도록 한다.
따라서, 종래에는 터파기 작업 시작시 및 터파기 작업 도중 측량 작업(보통 5~10m 마다 1회 측정)을 하여 굴삭기 운전자에게 전달하는 과정이 포함되어 작업 중단이 발생하고, 그에 따라 전체 굴삭 작업 시간이 길어진다는 문제점이 있었다.
또한, 굴삭 작업의 지원을 위해서 위험 지역인 굴삭기 버켓(bucket)의 선회 반경이나 굴삭기 작업 영역에 작업유도자를 배치하여야 함에 따라 버켓과의 충돌사고나 토사붕괴로 인한 안전사고 등을 발생시킨다는 문제점이 있었다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위해 제안된 것으로, 굴삭 작업중 굴삭기 운전자에게 최종 굴삭 깊이 대비 작업 진행 정보를 제공함은 물론 굴삭기 및 굴삭기 버켓의 자세 정보를 제공하여, 굴삭 작업 시간을 단축시키고 안전사고의 발생을 방지할 수 있는 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템을 제공하고자 한다.
이를 위해, 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템은, 굴삭 작업면에 대한 3차원 영상을 획득하기 위한 스테레오 비전과; 최종 굴삭 깊이 및 형상에 대한 3차원 계획도면이 저장되는 계획도면 저장부와; 디스플레이 기능을 구비한 사용자 인터페이스; 및 상기 스테레오 비전을 통해 획득한 상기 굴삭 작업면의 3차원 영상과 상기 계획도면 저장부에 저장된 상기 3차원 계획도면을 서로 매칭시켜 상기 사용자 인터페이스를 통해 디스플레이하는 마이콤;을 포함하는 것을 특징으로 한다.
이때, 상기 마이콤에 의해 매칭된 화면을 가상 현실 화면으로 변환하는 가상 현실 엔진을 포함하는 것을 특징으로 한다.
또한, 상기 가상 현실 화면이 절대좌표로 표시될 수 있도록, 상기 굴삭기의 절대위치를 측정하는 위성항법장치를 포함하는 것을 특징으로 한다.
또한, 상기 위성항법장치는 이미 확인된 절대좌표 기준점 및 복수개의 위성을 이용하여 상기 굴삭기의 절대위치를 측정하는 상대 측위 방식의 위성항법장치인 것을 특징으로 한다.
또한, 상기 가상 현실 화면에 상기 굴삭기의 자세가 반영되도록, 상기 굴삭기의 자세를 측정하는 자세제어 센서를 포함하는 것을 특징으로 한다.
또한, 상기 굴삭기의 굴삭부는 붐과, 암 및 버켓으로 이루어지며, 상기 붐의 각도와, 상기 붐과 암 사이의 각도 및 상기 암과 버켓 사이의 각도를 측정하도록, 상기 붐과 암 및 버켓의 각 절점에 각각 설치되는 절점 각도 센서를 포함하는 것을 특징으로 한다.
또한, 상기 마이콤은 아래의 수학식 1을 이용하여 상기 버켓의 위치 및 각도를 계산하고 상기 가상 현실 화면에 표시하는 것을 특징으로 한다.
[수학식 1]
버켓의 위치 = ((xcosθ1 + ycos(θ2-θ1) - zcos(θ2-θ1+θ3)), (xsinθ1 - ysin(θ2-θ1) + ysin(θ2-θ1+θ3)))
버켓의 각도 = θ2-θ1+θ3
(여기서, x는 붐의 길이, y는 암의 길이, z는 버켓의 길이, θ1은 붐의 각도, θ2는 붐과 암 사이의 각도, θ3는 암과 버켓 사이의 각도 임)
또한, 상기 스테레오 비전은 상기 굴삭기 캐빈(cabin)의 상부에서 전방을 향 하도록 설치되어 있는 것을 특징으로 한다.
또한, 상기 스테레오 비전은 틸팅 각도를 조절할 수 있도록, 회동장치를 통해 상기 굴삭기에 설치되는 것을 특징으로 한다.
또한, 상기 스테레오 비전은 상기 굴삭기로부터 전달되는 진동을 저감하도록, 진동 저감장치를 통해 상기 굴삭기에 설치되는 것을 특징으로 한다.
또한, 상기 마이콤은 상기 굴삭 작업면의 3차원 영상의 모델링 데이터 중 단면을 구성하는 단면 데이터만을 추출하여 상기 사용자 인터페이스를 통해 디스플레이하는 것을 특징으로 한다.
또한, 상기 마이콤은 상기 굴삭 작업면의 3차원 영상과 3차원 계획도면을 서로 매칭시킨 후, 상기 굴삭 작업면의 3차원 영상과 3차원 계획도면 사이의 편차 값을 컬러로 표현하여 디스플레이하는 것을 특징으로 한다.
이상과 같은 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템은 굴삭 작업중 굴삭기 운전자에게 최종 굴삭 깊이 대비 작업 진행 정보를 제공함은 물론 굴삭기 및 굴삭기 버켓의 자세 정보를 제공한다. 따라서, 굴삭 작업 시간을 단축시키고 안전사고의 발생을 방지할 수 있게 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템에 대해 상세히 설명하도록 한다.
도 1은 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템의 설치 상태를 나타낸 도이고, 도 2는 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템을 나타낸 블록도이다.
도 1에 도시된 바와 같이, 굴삭기(10)는 굴삭기 운전자가 탑승하는 캐빈(cabin)을 구비한 몸체(11) 및 붐(boom, 12), 암(arm, 13) 및 버켓(bucket, 14)으로 이루어진 굴삭부 등을 포함하여 터파기나 바닥면 고르기 등의 굴삭 작업을 수행할 수 있도록 한다.
그리고, 도 1 및 도 2에 도시된 바와 같이, 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템은 스테레오 비전(stereo vision, 110)과, 위성항법장치(GPS: Global Positioning System, 120)와, 자세제어 센서(130)와, 절점 각도 센서(140)와, 계획도면 저장부(150)와, 가상현실 엔진(160)과, 사용자 인터페이스(GUI: Graphic User Interface, 170) 및 마이콤(MICOM: Micro Computer, 180)을 포함한다.
따라서, 스테레오 비전(110)을 통해 굴삭 작업면에 대한 3차원 영상을 굴삭기 운전자(이하, '운전자'라 함)에게 제공하면, 운전자가 계획도면 저장부(150)에 저장된 3차원 계획도면의 최종 굴삭 깊이 대비 굴삭 작업 진행 상황을 확인할 수 있어서, 종래와 같이 측량기사나 작업유도자의 도움 없이도 터파기 작업 등을 진행할 수 있게 한다.
또한, 굴삭 작업 진행 상황을 디스플레이 기능을 구비한 사용자 인터페이스(170)를 통해 표시함에 있어서, 가상현실 엔진(160)을 통해 현실감 있게 제공하며, 이때 가상현실에는 위성항법장치(120)를 통해 제공받은 굴삭기(10)의 절대위치 및 자세제어 센서(130)를 통해 측정된 굴삭기(10)의 자세가 반영될 수 있게 한다.
나아가, 절점 각도 센서(140)를 통해 붐(12)과, 암(13) 및 버켓(14)의 각도를 측정하고, 이를 이용하여 버켓(14)의 위치 및 각도를 예측하여 운전자에게 제공함으로써, 약 5Cm 이내의 미세한 오차 범위 내에서 작업이 이루어져야 하는 바닥면 고르기 작업 등도 운전자 단독으로 수행할 수 있게 한다.
좀더 구체적으로 설명하면, 스테레오 비전(110)은 인간의 시각 체계를 모방하여 3차원 영상을 획득하기 위한 것으로서, 서로 소정 거리 이격된 2대의 카메라로 이루어져 있으며, 상기 2대의 카메라를 통해 획득된 좌우 스테레오 영상을 정합(matching)하여 3차원 영상을 제공한다.
그리고, 2대의 카메라로 이루어진 스테레오 비전(110)은 굴삭기(10)의 최상부 즉, 굴삭기(10) 캐빈의 상부에서 전방을 향하도록 설치되어 있어서 굴삭 작업면(예: 터파기 작업면 등)의 3차원 영상을 획득하며, 이러한 영상은 굴삭기(10)의 굴삭부가 들려져 전방 촬영을 방해하지 않는 동안에 주로 획득된다.
또한, 스테레오 비전(110)은 틸팅(tilting) 각도를 조절할 수 있도록 회동장치(미도시)를 통해 굴삭기(10)에 설치되어 있어서 작업 환경에 적합한 촬영 각도를 확보할 수 있게 한다. 예컨대, 굴삭 작업면이 굴삭기(10)가 지지되는 지반(이하, ' 플랫폼'이라 함)보다 낮은 위치인 경우에는 스테레오 비전(110)이 약 30°가량 하향 조절되도록 회동시킨 다음 고정함으로써 충분한 촬영 각도를 확보할 수 있게 한다.
또한, 스테레오 비전(110)은 엔진 구동 등에 의해 굴삭기(10)로부터 전달되는 진동을 저감하도록 탄성체 등으로 이루어진 진동 저감장치(미도시)를 통해 굴삭기(10)에 설치되어 있어서 굴삭 작업면의 촬영시 흔들림을 방지할 수 있도록 한다.
위성항법장치(120)는 해당 굴삭기(10)의 절대위치 정보를 제공하기 위한 것으로, 리시버(receiver, 121) 및 위성용 안테나(122)를 포함하며, 위성으로부터의 신호 수신에 적합하도록 굴삭기(10) 외부의 일측 상단에 설치된다.
특히, 본 발명에서 사용되는 위성항법장치(120)는 이미 확인된 절대좌표 기준점(예: 기준 기지국 등) 및 복수개의 위성을 이용하여 굴삭기(10)의 절대위치를 측정하는 상대 측위 방식의 위성항법장치(120)(DGPS: Differential GPS)인 것이 바람직한데, 상대 측위 방식의 위성항법장치(120)는 약 10Cm 이내의 오차 범위에서 굴삭기(10)의 절대위치 정보를 제공한다.
따라서, 상기 가상현실 엔진(160)을 통해 굴삭기(10)의 작업 상태를 가상 현실 화면상에 제공시 굴삭기(10)의 절대위치 좌표가 반영되도록 하여, 좀더 현실감 있는 정보를 제공할 수 있게 한다.
자세제어 센서(130)는 상술한 가상 현실 화면에 굴삭기(10)의 자세가 반영되 도록 해당 굴삭기(10)의 자세를 측정하는데, 굴삭기(10)의 자세는 x, y, z 각 축에 대한 회전으로 정의되는 각 좌표계(angle coordinate system)로 나타낼 수 있으며, 이들은 각각 도 1과 같이 롤(roll), 피치(pitch) 및 요(yaw)로 구분된다.
즉, 롤은 전/후축을 기준으로 회전하는 굴삭기(10)의 자세를 나타내고, 피치는 좌/우측을 기준으로 회전하는 굴삭기(10)의 자세를 나타내며, 요는 상/하축을 기준으로 회전하는 굴삭기(10)의 자세를 나타낸다.
절점 각도 센서(140)는 붐(12)의 각도와, 붐(12)과 암(13) 사이의 각도 및 암(13)과 버켓(14) 사이의 각도를 측정하도록, 상기 붐(12)과 암(13) 및 버켓(14)의 각 절점에 각각 설치되는데, 이러한 절점 각도 센서(140)는 도 9를 참조하여 후술하는 바와 같이, 붐(12)과, 암(13) 및 버켓(14)으로 이루어진 굴삭부의 동작 상태를 운전자에게 제공할 수 있게 한다.
특히, 약 5Cm 이내의 미세한 오차 범위 내에서 이루어지는 바닥면 고르기 작업 등을 수행하는 경우에는 버켓(14)의 위치 및 각도가 매우 중요하므로, 이러한 작업시 운전자에게 버켓(14)의 위치 및 각도 상태를 제공하여 작업유도자 없이도 해당 작업을 수행할 수 있게 한다.
계획도면 저장부(150)는 굴삭기(10)의 캐빈 내부에 설치되고, 최종 굴삭 깊이 및 형상에 대한 3차원 계획도면이 저장되어 있으며, 이러한 3차원 계획도면은 굴삭작업 현장에서 바로 또는 굴삭작업 현장으로 이동하기 이전에 측량기사 등으로 부터 제공되어 저장된다.
그리고, 계획도면 저장부(150)에 저장된 3차원 계획도면은 최초 굴삭 작업 시작시 또는 새로운 굴착 작업을 위해 굴삭기(10)가 새로운 플랫폼으로 이동시 사용되는데, 운전자는 당해 3차원 계획도면과 스테레오 비전(110)을 통해 제공되는 작업면의 3차원 지반 형상을 비교하여 작업 진행 정도를 확인한다.
가상현실 엔진(160)은 굴삭기(10)의 모델, 촬영된 작업면의 3차원 지반 영상 모델 및 3차원 계획도면을 서로 매칭(matching)시켜 가상 현실 화면을 생성하는 것으로, 운전자에게 현실감있는 작업 환경을 제공한다.
또한, 가상 현실 화면을 제공함에 있어서, 위성항법장치(120)를 통한 굴삭기(10)의 절대위치가 그 가상 현실에 반영됨은 물론, 자세제어 센서(130)를 통한 굴삭기(10)의 자세나 절점 각도 센서(140)를 통한 굴삭부의 동작 상태 역시 반영되도록 함으로써, 더욱 현실감 있는 작업 상태를 제공한다.
사용자 인터페이스(170)는 운전자가 작업 진행 상태를 용이하게 확인할 수 있도록 캐빈 내부의 굴삭기 조작부측에 설치되며, 가상 현실 화면을 표시하는 LCD 등의 디스플레이부를 포함한다.
또한, 운전자가 다양한 뷰 모드(view mode)를 선택하거나, 혹은 3차원 계획도면을 계획도면 저장부(150)에 저장하는 동작을 수행할 수 있도로 터치 스크린(touch screen)을 구비할 수도 있다.
마이콤(180)은 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템의 전반적인 프로세싱을 담당하는 것으로, 굴삭기(10)의 각종 전자 장치를 제어하는 기존의 전자 장치 제어용 컴퓨터 내부에 일체로 임베드(embedded)될 수도 있지만 별도로 설치될 수도 있다.
이하, 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템의 실시예에 대해 설명한다.
도 3에 도시된 바와 같이, 굴삭기(10)의 최초 굴삭 작업 시작시 혹은 플랫폼 이동 후 새로운 장소에서의 굴착 작업시, 마이콤(180)의 제어하에 위성항법장치(120)에서 제공하는 절대좌표가 반영된 3차원 계획도면 및 자세제어 센서(130)에서 제공하는 굴삭기(10)의 자세 정보 등을 가상현실 엔진(160)에서 제공하는 가상현실로 로딩(loading)하고, 이들을 서로 매칭시킨다.
따라서, 운전자가 3차원 계획도면 상의 최종 굴삭면(T)과, 위성항법장치(120)를 통해 확인된 굴삭기(10)가 위치한 플랫폼(P) 및 굴삭기(10)의 모델이 사용자 인터페이스(170)의 화면에 표시된다.
또한, 굴삭 깊이 정보 제공창(window)를 통해서는 플랫폼 높이와, 계획면 높이 및 굴삭 깊이를 숫자로 표시해 준다.
예컨대, 플랫폼 높이가 +1.231m이고, 계획면 높이가 -1.210m이면 최종 굴삭 깊이는 2.441m임을 표시함으로써, 운전자는 측량기사로부터 별도의 작업 지시를 받 지 않고도 최종 굴삭 깊이를 인지하고 굴삭 작업을 시작할 수 있다.
또한, 도 4에 도시된 바와 같이, 굴삭 작업이 진행 중에는 도 3을 통해 설명한 가상현실 상에 스테레오 비전(110)을 통해 획득한 3차원 지반 형상 모델링 정보를 로딩하여 매칭한다.
따라서, 운전자가 3차원 계획도면을 통해 제공되는 최종 굴삭면(T) 대비 현재 작업중인 굴삭면의 차이를 사용자 인터페이스(170)를 통해 확인할 수 있게 한다.
즉, 종래와 같이 굴삭 작업 도중에 측량 스태프(staff)를 세우고 레벨기를 통해 작업된 굴삭 깊이를 수동으로 확인하는 공정을 수행할 필요 없이 운전자가 작업된 굴삭 깊이를 실시간으로 확인할 수 있게 된다.
한편, 스테레오 비전(110)을 통해 획득되는 3차원 지반 형상 모델링 데이터는 (x, y, z, R, G, B, row, column) 값으로 표현되는데, 이 중 (x, y, z)는 각 지점의 극좌표이고, (R, G, B)는 각 지점의 색상 정보이며, (row, column)은 각 지점의 행열값이다. 그리고, 상기 (x, y, z) 극좌표는 스테레오 비전(110)의 카메라를 영점(zero point)으로 하는 상대좌표이다.
이에, 상대좌표로 표현된 3차원 지반 형상 모델링 데이터를 절대좌표로 표현된 가상현실 상에 매칭시키기 위해서는 상대좌표를 절대좌표로 변환하는 좌표 변환이 필요하다.
좌표 변환은 도 5에 도시된 바와 같이, 자세제어 센서(130)에서 제공되는 굴 삭기(10)의 자세 정보(즉, roll, yaw, pitch)를 참조한 회전 변환 및 위성항법장치(120)에서 제공되는 굴삭기(10) 절대좌표를 참조한 변환을 포함한다.
도 5에서 (x1, y1, z1)은 스테레오 비전(110)을 통해 제공되는 3차원 지반 형상 모델링 데이터의 좌표이고, (x2, y2, z2)는 상기 (x1, y1, z1)에 굴삭기(10)의 자세 정보를 참조한 회전 변환이 반영된 것이며, (x3, y3, z3)는 상기 (x2, y2, z2)에 위성항법장치(120)에서 제공된 절대좌표값이 반영된 것이다.
따라서, 운전자에게 가상 현실을 통해 계획 굴삭 깊이와 작업 굴삭 깊이를 실시간 제공함에 있어서, 굴삭기(10)의 자세 및 절대위치를 반영하여 더욱더 현실감 있는 정보를 제공할 수 있게 한다.
한편, 본 발명은 이상과 같은 가상 현실을 단면 화면 혹은 컬러 뎁스 맵(depth map)으로 표시할 수 있는데, 단면 화면은 도 6에 도시된 바와 같이 로딩된 3차원 계획도면과 3차원 지반형상 모델링 데이터 중 단면 데이터(점선 부분의 데이터) 만을 추출함으로써 생성된다.
따라서, 도 7에 도시된 바와 같이 굴삭 작업면(IL)을 단면으로 표시하여 운전자에게 정확한 정보를 제공할 수 있게 한다.
그리고, 컬러 뎁스 맵은 도 8에 도시된 바와 같이, 3차원 계획도면과 3차원 지반형상 모델링 데이터를 서로 매칭시킨 후, 서로 대응하는 좌표(즉, 도면기준 상하 대응 좌표)들 간의 데이터 편차 값(즉, 각 지점에서의 계획 굴삭 깊이와 작업 굴삭 깊이의 차이값)을 구하고, 그 편차 값에 따라 서로 다른 색상으로 표현한다.
따라서, 계획면까지의 거리창(window)을 통해 알 수 있는 바와 같이 굴삭 작업면의 각 지점을 굴삭 진행에 따라 서로 다른 색상으로 표시함으로써, 시각적인 정보전달 효과를 높이고 운전자가 잔여 작업량을 한눈에 파악할 수 있게 한다.
물론, 이러한 컬러 뎁스 맵을 제공시 등고선(contour line)이나 메쉬(mesh) 곡선 등을 함께 표시하여 운전자가 작업면의 편평도를 더욱 용이하게 확인하게 할 수도 있다.
나아가, 상술한 바와 같이 바닥면 고르기 작업 등을 수행하는 경우에는 버켓(14)의 위치 및 각도가 매우 중요하다. 따라서, 이러한 작업을 수행하는 경우에는 운전자에게 버켓(14)의 위치 및 각도 상태를 제공하여 작업유도자 없이도 미세한 작업을 수행할 수 있도록 하여야 한다.
예컨대, 바닥면 고르기를 수행시 바닥면이 플랫폼보다 약 5m 정도 낮은 것이 일반적이어서, 바닥면 고르기를 할 때 플래폼에 위치한 굴삭기(10)에 탑승한 운전자는 바닥면에 놓인 버켓(14)이 잘 보이지 않는다.
따라서, 종래에는 작업유도자가 굴삭 작업면(즉, 바닥면)으로 내려가 버켓(14)의 위치나 각도를 확인 후 운전자에게 알려 주었다. 그러나, 본 발명은 작업유도자가 버켓(14)의 선회 반경 내에 해당하는 바닥면에 내려갈 필요 없이도 버켓(14)의 위치 및 각도 정보를 제공할 수 있게 한다.
이를 위해, 본 발명은 도 9에 도시된 바와 같이 붐(12)과, 암(13) 및 버켓(14)의 각 절점에 각각 절점 각도 센서(141, 142, 143)를 설치하고, 상기 절점 각도 센서(141, 142, 143)에서 측정한 붐(12)의 각도와, 붐(12)과 암(13) 사이의 각도 및 암(13)과 버켓(14) 사이의 각도, 및 제조사에서 제공하는 붐(12)과 암(13) 및 버켓(14)의 길이를 이용하여 상기 버켓(14)의 위치 및 각도를 측정한다.
즉, 붐(12)의 일단이 굴삭기(10)의 몸체(11)에 결합하는 점 A의 좌표를 원점(0, 0)으로 하면, 붐(12)의 타단과 암(13)의 일단이 결합하는 점 B의 좌표는 (xcosθ1 xsinθ1)이고, 암(13)의 타단과 버켓(14)의 일단이 결합하는 점 C의 좌표는 (xcosθ1 + ycos(θ2-θ1), xsinθ1 - ysin(θ2-θ1))이다.
따라서, 티스(teeth)가 장치된 버켓(14) 타단의 위치 및 각도를 아래의 수학식 1을 통해 계산하여 운전자에게 제공함으로써 미세한 작업이 가능하게 한다.
[수학식 1]
버켓의 위치 = ((xcosθ1 + ycos(θ2-θ1) - zcos(θ2-θ1+θ3)), (xsinθ1 - ysin(θ2-θ1) + ysin(θ2-θ1+θ3)))
버켓의 각도 = θ2-θ1+θ3
(여기서, x는 붐(12)의 길이, y는 암(13)의 길이, z는 버켓(14)의 길이, θ1은 붐(12)의 각도, θ2는 붐(12)과 암(13) 사이의 각도, θ3는 암(13)과 버켓(14) 사이의 각도 임)
한편, 도 10과 도 11은 본 발명에 따른 사용자 인터페이스(170)를 도시한 것으로, 이중 도 10은 운전자가 터치 스크린을 통해 지반형상 모델링 버튼을 선택함으로써, 가상 현실을 단면 화면 및 컬러 뎁스 맵으로 표시하고, 버켓(14)의 위치나 각도 정보 및 작업된 굴삭깊이 정보 등을 운전자에게 제공하고 있는 상태를 보인 것이다.
그리고, 도 11은 운전자가 터치 스크린을 통해 측량모드 버튼을 선택함으로써 단면 화면 가상 현실을 줌 인(zoom in) 모드로 표시한 것을 나타낸 것이다.
물론, 단면 화면 가상 현실을 줌 아웃(zoom out)하여 표시할 수도 있을 것이나 그에 대한 상세한 설명은 생략하도록 한다.
이상, 본 발명의 특정 실시예에 대하여 설명하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형이 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다.
따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템은 굴삭 작업중 굴삭기 운전자에게 최종 굴삭 깊이 대비 작업 진행 정보를 제공함은 물론 굴삭기 및 굴삭기 버켓의 자세 정보를 제공한다. 따라서, 굴삭 작업의 시간을 단축시키고 안전사고의 발생을 방지할 수 있게 한다.
도 1은 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템의 설치 상태를 나타낸 도이다.
도 2는 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템을 나타낸 블록도이다.
도 3은 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템의 계획 굴삭 깊이 정보전달 화면을 나타낸 것이다.
도 4는 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템의 작업 굴삭 깊이 정보전달 화면을 나타낸 것이다.
도 5는 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템의 절대좌표 변환과정을 나타낸 것이다.
도 6은 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템의 단면 데이터 추출 상태를 나타낸 것이다.
도 7은 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템의 단면 화면을 나타낸 것이다.
도 8은 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템의 컬러 뎁스 맵을 나타낸 것이다.
도 9는 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템의 굴삭부를 나타낸 것이다.
도 10은 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템 의 지반형상 모델링 상태를 나타낸 것이다.
도 11은 본 발명에 따른 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템의 측량모드 상태를 나타낸 것이다.
<도면의 주요 부분에 대한 부호의 설명>
10: 굴삭기 11: 몸체
12: 붐 13: 암
14: 버켓 110: 스테레오 비전
120: 위성항법장치 130: 자세제어 센서
140: 절점 각도 센서 150: 계획도면 저장부
160: 가상현실 엔진 170: 사용자 인터페이스
180: 마이콤 P: 플랫폼
T: 최종 굴삭면 IL: 굴삭 작업면

Claims (12)

  1. 굴삭기의 굴삭 작업을 지원하기 위한 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템에 있어서,
    굴삭 작업면에 대한 3차원 영상을 획득하기 위한 스테레오 비전(stereo vision)과;
    최종 굴삭 깊이 및 형상에 대한 3차원 계획도면이 저장되는 계획도면 저장부와;
    캐빈 내부의 굴삭기 조작부 측에 설치되어 디스플레이 기능과 터치스크린 기능을 구비한 사용자 인터페이스와;
    상기 스테레오 비전를 통해 획득한 상기 굴삭 작업면의 3차원 영상과 상기 계획도면 저장부에 저장된 상기 3차원 계획도면을 서로 매칭시켜 상기 사용자 인터페이스를 통해 디스플레이하는 마이콤과;
    상기 마이콤에 의해 매칭된 화면을 가상 현실 화면으로 변환하는 가상 현실 엔진과;
    상기 가상 현실 화면이 절대좌표로 표시될 수 있도록, 상기 굴삭기의 절대위치를 측정하는 위성항법장치(GPS: Global Positioning System); 및
    상기 가상 현실 화면에 상기 굴삭기의 자세가 반영되도록, 상기 굴삭기의 자세를 측정하는 자세제어 센서를 포함하여 구성되되,
    상기 스테레오 비전은 상기 굴삭기로부터 전달되는 진동을 저감하도록, 진동 저감장치를 통해 굴삭기 캐빈(cabin)의 상부에서 전방을 향하도록 설치되고,
    상기 굴삭기의 굴삭부는 붐(boom)과, 암(arm) 및 버켓(bucket)으로 이루어지며,
    상기 붐의 각도와, 상기 붐과 암 사이의 각도 및 상기 암과 버켓 사이의 각도를 측정하도록, 상기 붐과 암 및 버켓의 각 절점에 각각 설치되는 절점 각도 센서를 더 포함하여 구성되고,
    상기 마이콤은 아래의 수학식 1을 이용하여 상기 버켓의 위치 및 각도를 계산하고 상기 가상 현실 화면에 표시하는 것을 특징으로 하는 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템.
    [수학식 1]
    버켓의 위치 = ((xcosθ1 + ycos(θ2-θ1) - zcos(θ2-θ1+θ3)), (xsinθ1 - ysin(θ2-θ1) + ysin(θ2-θ1+θ3)))
    버켓의 각도 = θ2-θ1+θ3
    (여기서, x는 붐의 길이, y는 암의 길이, z는 버켓의 길이, θ1은 붐의 각도, θ2는 붐과 암 사이의 각도, θ3는 암과 버켓 사이의 각도임)
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 위성항법장치는 이미 확인된 절대좌표 기준점 및 복수개의 위성을 이용하여 상기 굴삭기의 절대위치를 측정하는 상대 측위 방식의 위성항법장치(DGPS: Differential GPS)인 것을 특징으로 하는 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제 1항에 있어서,
    상기 스테레오 비전은 틸팅(tilting) 각도를 조절할 수 있도록, 회동장치를 통해 상기 굴삭기에 설치되는 것을 특징으로 하는 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템.
  10. 삭제
  11. 제 1항에 있어서,
    상기 마이콤은 상기 굴삭 작업면의 3차원 영상의 모델링 데이터 중 단면을 구성하는 단면 데이터만을 추출하여 상기 사용자 인터페이스를 통해 디스플레이하는 것을 특징으로 하는 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템.
  12. 제 1항에 있어서,
    상기 마이콤은 굴삭 작업면의 3차원 영상과 3차원 계획도면을 서로 매칭시킨 후, 굴삭 작업면의 3차원 영상과 3차원 계획도면 사이의 편차 값을 컬러로 표현하여 디스플레이하는 것을 특징으로 하는 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템.
KR1020090041402A 2009-05-12 2009-05-12 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템 KR101144727B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090041402A KR101144727B1 (ko) 2009-05-12 2009-05-12 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090041402A KR101144727B1 (ko) 2009-05-12 2009-05-12 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템

Publications (2)

Publication Number Publication Date
KR20100122389A KR20100122389A (ko) 2010-11-22
KR101144727B1 true KR101144727B1 (ko) 2012-05-24

Family

ID=43407341

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090041402A KR101144727B1 (ko) 2009-05-12 2009-05-12 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템

Country Status (1)

Country Link
KR (1) KR101144727B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101695914B1 (ko) 2016-06-23 2017-01-16 부산대학교산학협력단 토공공사 수행시 굴삭기의 형상정보를 실시간 제공하는 굴삭기 3d 토공 bim 시스템
KR20190081302A (ko) * 2017-12-29 2019-07-09 부산대학교 산학협력단 건설장비 가이던스를 위한 토공작업 음성정보 제공 시스템 및 그 방법
KR20190109744A (ko) * 2018-03-12 2019-09-26 히다찌 겐끼 가부시키가이샤 작업 기계

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102088069B1 (ko) * 2014-02-28 2020-03-11 두산인프라코어 주식회사 지형 정보를 이용한 건설기계의 작업 제어 장치 및 그 방법
WO2016108307A1 (ko) * 2014-12-30 2016-07-07 주식회사 심지 굴삭기 ui를 이용한 디바이스의 굴삭기 조작 연습 방법
KR101876899B1 (ko) * 2017-06-07 2018-07-10 (주)에이스개발 Ｇｐｓ 기반의 공사관리 시스템 및 그 방법
CN109359315B (zh) * 2018-08-08 2021-05-11 南京航空航天大学 空间环形三体绳系***自旋运动稳定性判定方法
KR102417984B1 (ko) 2020-05-11 2022-07-08 한국생산기술연구원 굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06200542A (ja) * 1993-01-08 1994-07-19 Hazama Gumi Ltd 掘削機運転装置
JPH06317090A (ja) * 1993-05-07 1994-11-15 Tokyu Constr Co Ltd ３次元表示装置
KR20090013471A (ko) * 2007-08-02 2009-02-05 인하대학교 산학협력단 구조광을 이용한 토공량 산출 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06200542A (ja) * 1993-01-08 1994-07-19 Hazama Gumi Ltd 掘削機運転装置
JPH06317090A (ja) * 1993-05-07 1994-11-15 Tokyu Constr Co Ltd ３次元表示装置
KR20090013471A (ko) * 2007-08-02 2009-02-05 인하대학교 산학협력단 구조광을 이용한 토공량 산출 장치 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101695914B1 (ko) 2016-06-23 2017-01-16 부산대학교산학협력단 토공공사 수행시 굴삭기의 형상정보를 실시간 제공하는 굴삭기 3d 토공 bim 시스템
KR20190081302A (ko) * 2017-12-29 2019-07-09 부산대학교 산학협력단 건설장비 가이던스를 위한 토공작업 음성정보 제공 시스템 및 그 방법
KR102063184B1 (ko) * 2017-12-29 2020-01-07 부산대학교산학협력단 건설장비 가이던스를 위한 토공작업 음성정보 제공 시스템 및 그 방법
KR20190109744A (ko) * 2018-03-12 2019-09-26 히다찌 겐끼 가부시키가이샤 작업 기계
KR102259549B1 (ko) * 2018-03-12 2021-06-03 히다찌 겐끼 가부시키가이샤 작업 기계
US11149411B2 (en) 2018-03-12 2021-10-19 Hitachi Construction Machinery Co., Ltd. Work machine

Also Published As

Publication number Publication date
KR20100122389A (ko) 2010-11-22

Similar Documents

Publication Publication Date Title
KR101144727B1 (ko) 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템
US10385543B2 (en) Construction management system, construction management method, and management device
CN106715800B (zh) 用于运土机械的导向***
AU2022209235B2 (en) Display control device and display control method
KR101695914B1 (ko) 토공공사 수행시 굴삭기의 형상정보를 실시간 제공하는 굴삭기 3d 토공 bim 시스템
JP6322612B2 (ja) 施工管理システム及び形状計測方法
US20200325656A1 (en) Management system
US20230151930A1 (en) Management system
US11508091B2 (en) Calibration device for imaging device, monitoring device, work machine and calibration method
JP6585697B2 (ja) 施工管理システム
AU2019292457B2 (en) Display control device, display control system, and display control method
AU2021201940A1 (en) Construction method, work machine control system, and work machine
JP6606230B2 (ja) 形状計測システム
KR20170119066A (ko) Ｇｐｓ 및 경사센서를 활용한 토공량 산출시스템
US20230029071A1 (en) Excavation level detection device
CN108779985B (zh) 施工管理***
KR101629716B1 (ko) 굴삭작업을 위한 좌표측량 시스템 및 그 방법
JP6815462B2 (ja) 形状計測システム及び形状計測方法
JP6529058B1 (ja) 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置
JP2018178711A (ja) 施工現場の形状情報の生成方法及び作業機械の制御システム
JP6684004B1 (ja) 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置
JP7166326B2 (ja) 施工管理システム
WO2024047785A1 (ja) 測量システムおよび測量方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150216

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160404

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190703

Year of fee payment: 8