KR20190111585A - Situational recognition system for construction site based vision and method, and method for productivity analysis of earthwork using it - Google Patents
Situational recognition system for construction site based vision and method, and method for productivity analysis of earthwork using it Download PDFInfo
- Publication number
- KR20190111585A KR20190111585A KR1020180033927A KR20180033927A KR20190111585A KR 20190111585 A KR20190111585 A KR 20190111585A KR 1020180033927 A KR1020180033927 A KR 1020180033927A KR 20180033927 A KR20180033927 A KR 20180033927A KR 20190111585 A KR20190111585 A KR 20190111585A
- Authority
- KR
- South Korea
- Prior art keywords
- construction site
- construction
- work
- image
- earthwork
- Prior art date
Links
- 238000010276 construction Methods 0.000 title claims abstract description 341
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000004458 analytical method Methods 0.000 title claims abstract description 48
- 238000004891 communication Methods 0.000 claims abstract description 7
- 238000004088 simulation Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 32
- 238000003860 storage Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 239000011435 rock Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005422 blasting Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000010206 sensitivity analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H04N5/232—
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
본 발명은 건설 현장 상황 인지 시스템에 관한 것으로, 좀 더 구체적으로는 카메라를 이용하여 건설 현장을 촬영하여 작업 중인 건설 장비를 검출하고, 건설 현장에서의 상태 정보와 이벤트 정보를 판별, 생성 및 분석하여 토공 작업 시간을 산출하는 영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법에 관한 것이다.The present invention relates to a construction site situation recognition system, and more specifically, to photograph construction sites using a camera to detect construction equipment in operation, and to identify, generate, and analyze state information and event information at construction sites. The present invention relates to an image-based construction site situation recognition system and method for calculating earthwork work time, and a method for analyzing earthwork productivity using the same.
토공(earthwork) 작업은 다양한 건설 장비의 조합을 사용하여 수행되는데, 토공 작업에 대한 최적의 자원 배분 계획 예를 들어, 장비 종류, 수, 작업일 등은 건설 현장 고유 조건 및 상황에 따라 달라진다. 일반적으로 건설 현장 관리자는 경험을 토대로 토공 작업에 대한 건설 장비 배치 계획을 수립한다. 그러나 건설 프로젝트별 고유의 지질 및 작업 조건으로 인해 관리자의 과거 경험에 기반하여 수립된 장비 배치 계획이 최적 생산성을 달성하지 못하는 경우가 많다.Earthwork work is carried out using a combination of different construction equipment. The optimal resource allocation plan for earthwork, for example, the type of equipment, the number, the working days, etc., depends on the construction site specific conditions and circumstances. Construction site managers typically plan their construction equipment placement for earthwork based on experience. However, due to the inherent geology and working conditions of each construction project, equipment layout plans established based on managers' past experience often fail to achieve optimal productivity.
건설 프로세스 시뮬레이션(construction process simulation)은 토공 프로세스의 불확실성 및 현장 조건을 고려하여 생산성을 분석할 수 있는 장점이 있다. 특히, 비용 절감 및 일정 관리를 위한 핵심 정보인 생산성 대비 비용 및 단위 시간당 생산성 등을 시뮬레이션을 통해 파악할 수 있다.Construction process simulation has the advantage of analyzing the productivity in consideration of the uncertainty and site conditions of the earthworks process. In particular, simulations can be used to identify cost versus productivity and productivity per unit time, which are key information for cost reduction and schedule management.
토공 프로세스 시뮬레이션을 수행하기 위한 기초 정보로써 개별 토공 작업 시간 정보가 필요하다. 전문가 인터뷰 또는 설문조사를 통해 해당 정보를 수집할 수 있지만, 현장 및 지질 조건에 따라 작업 시간의 변화가 큰 토공 작업의 경우, 건설 현장에서 직접 관찰하여 기록한 작업 시간과 비교할 때 그 정확도가 떨어진다.Individual earthwork time information is required as basic information for performing earthwork process simulation. Although this information can be collected through expert interviews or surveys, earthworks jobs with large variations in working time, depending on site and geological conditions, are less accurate compared to working hours observed and recorded directly at the construction site.
영상 기반 모니터링은 토공 프로세스의 상황 정보를 건설 현장 영상에서 추론하는데 사용할 수 있다. 이를 위해서는 모니터링 시스템이 영상에서 건설 장비를 식별할 수 있어야 한다. 현재까지 영상 기반으로 건설 현장의 건설 장비 및 인력 출입 상황을 기록하고 이 정보를 해석하여 건설 작업의 생산성을 분석하는 기술은 전무한 상태이다. 영상에서 건설 장비의 종류와 위치를 확인하려면 영상 영역 내 특정 패턴을 인식할 수 있는 사물 탐지(Object Detection) 모델이 필요하다. 그러나, 건설 현장에서 촬영된 영상은 외부 기상 조건으로 인해 촬영 대상 물체가 불완전하게 보여 사물 탐지가 어렵다. 또한, 터널 건설 현장에서 발파 작업을 수행한 후 발생한 심한 먼지는 영상 품질을 크게 저하시킨다.Image-based monitoring can be used to infer contextual information from earthworks processes in construction site images. This requires the monitoring system to be able to identify the construction equipment in the image. To date, there is no technology for recording construction equipment and personnel access status of construction sites and analyzing this information to analyze productivity of construction work based on image. To identify the type and location of construction equipment in an image, an object detection model that can recognize a specific pattern in the image area is required. However, the image captured at the construction site is difficult to detect the object because the object to be photographed is incomplete due to external weather conditions. In addition, the heavy dust generated after the blasting work at the tunnel construction site significantly degrades the image quality.
본 발명에 따른 영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법은 다음과 같은 해결과제를 가진다.Image-based construction site situation recognition system and method, and earthwork productivity analysis method using the same according to the present invention has the following problems.
첫째, 카메라를 이용하여 획득한 건설 현장의 비디오 영상으로부터 건설 장비를 검출, 인식하고, 이를 통해 건설 현장에 대한 건설 작업 상황을 인지하고자 한다.First, the construction equipment is detected and recognized from the video image of the construction site acquired using the camera, and through this, the construction work situation for the construction site is recognized.
둘째, 건설 현장의 비디오 영상으로부터 건설 장비를 검출, 인식하고, 인식된 건설 장비에 대한 건설 작업 상황을 판단하여 토공 생산성을 분석하고자 한다.Second, the construction equipment is detected and recognized from the video image of the construction site, and the construction work situation for the recognized construction equipment is analyzed to analyze the earthwork productivity.
본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다. The problem of the present invention is not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
상기 목적들을 달성하기 위한, 본 발명의 건설 현장 상황 인지 시스템은 카메라를 이용하여 건설 현장에 대한 영상을 촬영하고, 영상으로부터 건설 장비에 대한 개체를 검출하여 검출된 개체의 작업 상태와 유휴 상태에 대한 상태 정보와 이벤트 정보를 분석하는데 그 한 특징이 있다. 이와 같은 본 발명의 건설 현장 상황 인지 시스템은 건설 현장에서의 건설 장비에 대한 토공 작업 생산성을 분석 가능하게 한다.In order to achieve the above objects, the construction site situation awareness system of the present invention captures an image of a construction site using a camera, detects an object for construction equipment from the image, and detects an operation state and an idle state of the detected object. One feature is the analysis of state information and event information. Such construction site situation recognition system of the present invention enables the analysis of earthwork work productivity for construction equipment at the construction site.
이 특징에 따른 본 발명의 건설 현장 상황 인지 시스템은, 건설 현장의 특정 위치에 고정, 설치되어 건설 현장 영상을 실시간으로 촬영하는 카메라부; 및 상기 카메라부로부터 촬영된 건설 현장 영상을 받아서 프레임 단위로 추출하고, 추출된 영상 프레임에서 건설 현장에서 토공 작업을 수행하고 있는 복수 개의 건설 장비를 검출하고, 일정 시간 동안의 전후 프레임으로부터 상기 검출된 건설 장비들 각각에 대한 작업 상태, 유휴 상태를 판별하여 상태 정보를 생성하고, 생성된 상태 정보로부터 상기 검출된 건설 장비들 각각에 대한 토공 작업이 이루어지면, 토공 작업에 대응되는 이벤트 정보를 생성하여 토공 생산성을 분석하도록 처리하는 건설 현장 관리 서버;를 포함한다.Construction site situation recognition system of the present invention according to this feature is fixed, installed at a specific location of the construction site camera unit for taking a picture of the construction site in real time; And receiving a construction site image photographed from the camera unit, extracting the image on a frame-by-frame basis, and detecting a plurality of construction equipments that are carrying out earthworks at the construction site from the extracted image frame, Determining work state and idle state of each construction equipment to generate state information, and when the earthwork work for each of the detected construction equipment is made from the generated state information, generates event information corresponding to the earthwork work Includes; construction site management server to process to analyze the earthwork productivity.
이 특징의 한 실시예에 있어서, 상기 건설 현장 관리 서버는, 상기 카메라부로부터 건설 현장 영상을 실시간으로 받아서 프레임 단위로 추출하는 영상 수집부; 상기 영상 수집부에 의해 추출된 영상 프레임에서 건설 현장의 건설 장비들을 검출하고, 검출된 건설 장비별로 토공 작업에 따른 움직임을 실시간 탐지하는 개체 탐지부; 상기 개체 탐지부에서 탐지된 건설 장비별로 토공 작업의 작업 상태, 유휴 상태에 대한 상태 정보를 생성하는 상황 정보 분석부; 및 상기 상황 정보 분석부로부터 상태 정보를 받아서 건설 장비들 각각의 토공 작업의 시작 및 종료에 따른 이벤트 정보를 생성하는 이벤트 정보 분석부;를 포함한다.According to an embodiment of the present disclosure, the construction site management server may include an image collection unit that receives a construction site image from the camera unit in real time and extracts the frame unit; An object detector for detecting construction equipment of a construction site from an image frame extracted by the image collecting unit, and detecting a movement according to an earthwork work for each detected construction equipment; A situation information analyzer configured to generate state information on an operation state and an idle state of an earthworks work for each construction equipment detected by the object detector; And an event information analyzer configured to receive the state information from the situation information analyzer and generate event information according to the start and end of the earthworks of each construction equipment.
이 실시예에 있어서, 상기 건설 현장 관리 서버는, 상기 이벤트 정보 분석부로부터 이벤트 정보를 받아서 시뮬레이션 입력값을 구성하여 건설 현장의 건설 프로세스에 대한 시뮬레이션을 처리하는 시뮬레이션 처리부;를 더 포함한다.In this embodiment, the construction site management server further comprises a simulation processing unit for receiving the event information from the event information analysis unit to configure a simulation input value to process the simulation of the construction process of the construction site;
이 실시예에 있어서, 상기 건설 현장 관리 서버는, 상기 시뮬레이션 처리부의 시뮬레이션 결과를 이용하여 건설 장비들의 대수와 조합을 조절하고, 조절된 건설 장비들의 조합에 대한 토공 생산성을 분석하고, 분석 결과를 제공하는 토공 생산성 분석부;를 더 포함한다.In this embodiment, the construction site management server, using the simulation results of the simulation processing unit to adjust the number and combination of construction equipment, analyze the earthwork productivity for the combination of the adjusted construction equipment, and provide the analysis results It further includes; earthwork productivity analysis unit.
다른 실시예에 있어서, 상기 개체 탐지부는; 건설 장비의 종류와, 적어도 건설 장비의 중심점, 건설 현장에서의 검출 좌표, 건설 장비의 출현 시간이 포함되는 위치 정보를 탐지하여 상기 상황 정보 분석부로 제공한다.In another embodiment, the object detector; The location information including the type of construction equipment, at least the center point of the construction equipment, the detection coordinates at the construction site, and the appearance time of the construction equipment is detected and provided to the situation information analyzer.
이 실시예에 있어서, 상기 개체 탐지부는; 머신 러닝 기반의 개체 탐지 모델인 기울기 히스토그램 모델과, 신경망 모델 중 어느 하나를 이용하여 건설 장비들 각각을 추출 및 탐지한다.In this embodiment, the object detecting unit; Each of the construction equipment is extracted and detected by using a gradient histogram model, which is a machine learning based object detection model, and a neural network model.
이 실시예에 있어서, 상기 상황 정보 분석부는; 건설 장비들 각각의 중심점을 기준점으로 하여 두 대의 건설 장비들 사이의 거리를 계산하고, 계산된 거리가 설정된 임계값보다 작으면, 작업 상태로 인식하여 작업 상태에 따른 상태 정보를 저장하고, 계산된 거리가 설정된 임계값보다 크면, 유휴 상태로 인식하여 작업 상태에 따른 상태 정보를 저장한다.In this embodiment, the situation information analysis unit; The distance between the two construction equipment is calculated based on the center point of each construction equipment, and if the calculated distance is smaller than the set threshold value, it is recognized as the working status and the state information according to the working status is stored, and the calculated If the distance is larger than the set threshold value, it is recognized as an idle state and stores state information according to the work state.
또 다른 실시예에 있어서, 상기 이벤트 정보 분석부는; 상기 상태 정보 분석부에서 일정 시점 전후의 영상 프레임별 상태 정보를 이용하여 건설 장비들 각각에 대한 토공 작업의 시작 시점 및 종료 시점을 판별하고, 판별결과에 따른 이벤트 정보를 생성하고, 작업의 시작 시점과 종료 시점 사이에 걸린 시간을 건설 장비의 토공 작업에 대한 하나의 주기 시간으로 저장한다.In another embodiment, the event information analyzer; The state information analyzer determines the starting point and the end point of the earthworks work for each of the construction equipment by using the state information for each of the image frames before and after a predetermined point of time, generates event information according to the determination result, and starts the start point of the work. The time taken between and the end point is stored as one cycle time for earthworks of construction equipment.
또 다른 실시예에 있어서, 상기 시뮬레이션 처리부는; 건설 프로세스 시뮬레이션을 위한 입력값을 토공 작업에 대한 작업 시간들로 입력하고, 최대 가능 추정법을 이용하여 정규 분포의 파라미터로 추정한다.In another embodiment, the simulation processing unit; Inputs for the construction process simulation are entered as working hours for earthworks and estimated as parameters of a normal distribution using the maximum possible estimation method.
본 발명의 다른 특징에 따르면, 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법이 제공된다.According to another feature of the present invention, a construction site situation recognition method of the construction site situation recognition system is provided.
이 특징에 따른 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법은, 건설 현장의 특정 위치에 고정 설치된 카메라부를 이용하여 건설 현장 영상을 실시간으로 촬영하는 단계; 건설 현장 관리 서버가 통신망을 통해 상기 카메라부로부터 건설 현장 영상을 받아서 프레임 단위로 추출하고, 추출된 프레임에서 건설 장비에 대한 건설 개체를 추출 및 탐지하는 단계; 상기 건설 현장 관리 서버가 상기 건설 개체의 토공 작업에 따른 작업 상태, 유휴 상태에 대한 상태 정보를 생성 및 분석하는 단계; 상기 건설 현장 관리 서버가 상기 건설 개체에서의 토공 작업이 시작 및 종료되는지를 판별하여 이벤트 정보를 생성 및 분석하는 단계; 및 상기 건설 현장 관리 서버가 이벤트 정보에 대응하여 토공 작업 시간 확률 분포를 추정하는 단계;를 포함한다.Construction site situation recognition method of the construction site situation recognition system according to this aspect, comprising the steps of photographing the construction site image in real time using a camera unit fixed to a specific location of the construction site; A construction site management server receiving a construction site image from the camera unit through a communication network and extracting the construction site image by frame, and extracting and detecting a construction object for construction equipment from the extracted frame; Generating and analyzing, by the construction site management server, state information about a work state and an idle state according to the earthwork work of the construction object; Generating and analyzing event information by the construction site management server determining whether earthworks work in the construction entity starts and ends; And estimating the earthwork work time probability distribution in response to the event information by the construction site management server.
이 특징의 한 실시예에 있어서, 상기 상태 정보를 분석하는 단계는; 상기 건설 현장 관리 서버가 상기 카메라부로부터 수집된 건설 현장 영상으로부터 프레임 단위로 영상 프레임을 추출하고, 추출된 영상 프레임에서 각각의 건설 장비에 대한 건설 개체를 검출하고, 검출된 건축 개체가 굴삭기와 덤프 트럭이면, 검출된 건축 개체들 간의 거리를 산출하고, 산출된 거리를 설정된 임계값과 비교하고, 산출된 거리가 임계값보다 작으면, 굴삭기가 덤프 트럭에 적재 작업이 이루어지고 있다고 판단하여 작업 상태에 따른 상태 정보를 생성하고, 그리고 산출된 거리가 임계값보다 크면, 유휴 상태에 따른 상태 정보를 생성한다.In one embodiment of this aspect, the step of analyzing the state information; The construction site management server extracts image frames in units of frames from construction site images collected from the camera unit, detects construction objects for each construction equipment from the extracted image frames, and the detected construction objects are excavators and dumpers. In the case of a truck, the distance between the detected building objects is calculated, the calculated distance is compared with the set threshold value, and if the calculated distance is smaller than the threshold value, the excavator determines that a loading operation is being performed on the dump truck and the working state is And generate state information according to the idle state if the calculated distance is greater than the threshold value.
다른 실시예에 있어서, 상기 이벤트 정보를 분석하는 단계는; 상기 건설 현장 관리 서버가 건설 개체의 상태 정보를 판별하여 작업 시작이면, 작업 시작 시간을 기록하고, 작업 시작된 작업이 종료되면, 작업 종료 시간을 기록하고, 작업 시작 및 종료 시간을 하나의 작업 주기로 판단하여, 건설 장비 각각에 대한 이벤트 정보를 생성한다.In another embodiment, the step of analyzing the event information; When the construction site management server determines the state information of the construction object, if the work start, record the work start time, if the work started work is finished, the work end time is recorded, and the work start and end time is determined as one work cycle To generate event information for each construction equipment.
또 다른 실시예에 있어서, 상기 건설 현장 상황 인지 방법은, 상기 건설 현장 관리 서버가 추정된 확률 분포의 파라미터를 이용하여 건설 프로세스를 시뮬레이션하는 단계;를 더 포함한다.In another embodiment, the construction site situation recognition method further comprises the step of simulating the construction process by the construction site management server using the parameters of the estimated probability distribution.
본 발명의 또 다른 특징에 따르면, 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법을 이용하는 토공 생산성 분석 방법을 제공한다.According to another feature of the present invention, there is provided an earthwork productivity analysis method using a construction site situation recognition method of the construction site situation recognition system.
이 특징의 토공 생산성 분석 방법은, 시뮬레이션 결과에 대응하여 건설 현장의 건설 장비의 대수 및 조합을 조절하고, 조절된 건설 장비에 대한 토공 작업 생산성을 분석하는 단계;를 포함한다.Earthwork productivity analysis method of this feature, in response to the simulation result of adjusting the number and combination of construction equipment of the construction site, and analyzing the earthwork work productivity for the adjusted construction equipment; includes.
본 발명에 따른 영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법은 다음과 같은 효과를 가진다.Image-based construction site situation recognition system and method, and earthwork productivity analysis method using the same according to the present invention has the following effects.
첫째, 본 발명은 영상 기반으로 건설 현장에서의 건설 장비에 대한 작업 상황을 인지할 수 있다.First, the present invention can recognize the working situation for the construction equipment in the construction site on the basis of the image.
둘째, 영상 기반으로 건설 현장 토공 작업에서의 건설 장비 조합별로 생산성을 자동으로 분석할 수 있으므로, 토공 생산성 분석을 위한 인력 및 비용을 절감할 수 있다.Second, since the productivity can be automatically analyzed for each combination of construction equipment in the construction site earthwork on the basis of the image, it is possible to reduce the manpower and cost for the analysis of the earthwork productivity.
셋째, 분석된 토공 생산성 정보를 바탕으로 건설 현장에서 현재 상황에 맞는 최적의 건설 장비 조합 대수를 결정하도록 도울 수 있으며, 이를 통해 토공 작업이 수반되는 대부분의 건설 프로젝트에 적용하여 건설 프로젝트의 비용을 절감할 수 있다.Third, based on the analyzed earthwork productivity information, it is possible to help the construction site determine the optimal number of construction equipment combinations for the current situation, thereby reducing the cost of the construction project by applying it to most construction projects involving earthwork. can do.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects that are not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명에 따른 영상 기반의 건설 현장 상황 인지 시스템의 네트워크 구성을 도시한 블럭도,
도 2는 도 1에 도시된 서버의 구성을 도시한 블럭도,
도 3은 본 발명에 따른 영상 기반의 건설 현장 상황 인지 시스템의 처리 수순을 도시한 흐름도,
도 4는 도 3에 도시된 상태 정보 분석 루틴의 처리 수순을 나타내는 흐름도,
도 5는 도 3에 도시된 이벤트 정보 분석 루틴의 처리 수순을 나타내는 흐름도, 그리고
도 6 및 도 7은 본 발명의 실시예에 따른 영상 기반의 건설 현장 상황 인지 시스템에서 인식된 건축 장비를 나타내는 도면들이다.1 is a block diagram showing a network configuration of an image-based construction site situation recognition system according to the present invention;
FIG. 2 is a block diagram showing the configuration of the server shown in FIG. 1;
3 is a flowchart illustrating a processing procedure of an image-based construction site situation recognition system according to the present invention;
4 is a flowchart showing a processing procedure of the state information analysis routine shown in FIG. 3;
5 is a flowchart showing a processing procedure of the event information analysis routine shown in FIG. 3; and
6 and 7 illustrate building equipment recognized in an image-based construction site situation recognition system according to an exemplary embodiment of the present invention.
이하, 첨부한 도면을 참조하여, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 설명한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 이해할 수 있는 바와 같이, 후술하는 실시예는 본 발명의 개념과 범위를 벗어나지 않는 한도 내에서 다양한 형태로 변형될 수 있다. 가능한 한 동일하거나 유사한 부분은 도면에서 동일한 도면부호를 사용하여 나타낸다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art can easily understand, the embodiments described below may be modified in various forms without departing from the concept and scope of the present invention. Where possible, the same or similar parts are represented using the same reference numerals in the drawings.
본 명세서에서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지는 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. As used herein, the singular forms “a,” “an,” and “the” include plural forms as well, unless the phrases clearly indicate the opposite.
본 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.As used herein, the meaning of "comprising" embodies a particular property, region, integer, step, operation, element, and / or component, and other specific properties, region, integer, step, operation, element, component, and / or It does not exclude the presence or addition of groups.
본 명세서에서 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.All terms including technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art. Terms defined in advance are additionally interpreted to have a meaning consistent with the related technical literature and the presently disclosed contents, and are not interpreted in an ideal or very formal sense unless defined.
본 발명은 영상 기반으로 건설 현장의 토공 작업(earthwork task)의 생산성을 자동으로 분석하기 위한 건설 현장 상황 인지 시스템에 관한 기술이다. 본 발명의 건설 현장 상황 인지 시스템은 건설 현장의 CCTV, 캠코더 등의 카메라를 이용하여 건설 현장을 촬영한 영상에서 건설 개체 탐지 모델(construction object detection model)을 활용해 현장에 출입하는 건설 장비를 탐지하고, 건설 장비에 대한 시각 정보(예컨대, 건설 장비의 출현 여부, 종류, 위치, 출현 시간 등)를 생성한다. 생성된 시각 정보를 바탕으로 토공 작업의 상태(즉, 건설 장비의 작업 상태, 유휴 상태) 및 이벤트 정보(즉, 토공 작업의 시작 및 종료)를 생성하여 건설 현장의 토공 작업 상황 정보를 기록한다.The present invention relates to a construction site situation recognition system for automatically analyzing the productivity of the earthwork task of the construction site based on the image. The construction site situation recognition system of the present invention detects construction equipment entering and exiting a construction site using a construction object detection model from an image of the construction site using a camera such as a CCTV or a camcorder of the construction site. And generate visual information about the construction equipment (eg, whether the construction equipment is present, type, location, time of appearance, etc.). Based on the generated visual information, the state of the earthwork work (that is, the working state of the construction equipment, the idle state) and the event information (that is, the start and end of the earthwork work) are generated to record the earthwork work situation information of the construction site.
기록된 상황 정보는 세분화된 토공 작업들의 작업 시간 확률 분포의 모수를 추정하는데 활용되며, 추정된 모수들은 건설 프로세스 시뮬레이션의 기록값으로 활용한다. 건설 프로세스 시뮬레이션 및 민감도 분석을 통해 토공 작업의 시간 대비 생산성, 비용 대비 생산성, 건설 장비 조합별 생산성 등의 토공 생산성 보고서를 생성한다.The recorded situation information is used to estimate the parameters of the work time probability distributions of the subdivided earthworks, and the estimated parameters are used as the recording values of the construction process simulation. Construction process simulation and sensitivity analysis generate earthwork productivity reports, including time-to-production, cost-to-cost productivity, and productivity by construction equipment combination.
이하에서는 도면을 중심으로 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.
도 1은 본 발명에 따른 영상 기반의 건설 현장 상황 인지 시스템의 네트워크 구성을 도시한 블럭도이고, 도 2는 도 1에 도시된 건설 현장 관리 서버의 구성을 도시한 블럭도이다.1 is a block diagram showing a network configuration of an image-based construction site situation recognition system according to the present invention, Figure 2 is a block diagram showing the configuration of the construction site management server shown in FIG.
도 1 및 도 2를 참조하면, 본 발명의 건설 현장 상황 인지 시스템(100)은 건설 프로젝트에 대한 토공 작업 생산성을 분석하기 위하여, 건설 현장(10)에 설치된 카메라를 이용하여 건설 현장에 대한 영상을 실시간으로 촬영하고, 영상으로부터 건설 장비(20, 30)에 대한 개체를 검출하여 검출된 개체의 작업 상태와 유휴 상태에 대한 상태 정보와, 검출된 개체의 이벤트 정보를 분석하여 건설 현장(10)에서의 건설 장비(20, 30)에 대한 토공 작업 생산성을 분석한다. 본 발명에서 건설 장비(20, 30)는 예를 들어, 굴삭기(20), 덤프 트럭(30) 등을 포함한다.1 and 2, the construction site
이를 위해 본 발명의 건설 현장 상황 인지 시스템(100)은 적어도 하나의 카메라부(110)와 건설 현장 관리 서버(120)를 포함한다. 카메라부(110)와 건설 현장 관리 서버(120)는 유선 또는 무선 통신망을 통해 상호 데이터 전송 가능하도록 연결된다.To this end, the construction site
카메라부(110)는 예를 들어, CCTV, 캠코더 등의 광학 카메라, 디지털 카메라로 구비되어 건설 현장(10)의 특정 위치에 고정 설치된다. 카메라부(110)는 설치 위치에서 해당 건설 현장(10)에 대한 영상을 실시간으로 촬영한다. 건설 현장(10)의 영상에는 예를 들어, 굴삭기(20), 덤프 트럭(30) 등의 건설 장비들이 포함된다. 물론 카메라부(110)는 복수 개가 서로 다른 위치에 고정 설치될 수 있으며, 이 경우, 각각이 해당 위치의 건설 현장에 대한 영상을 실시간으로 촬영한다. 카메라부(110)는 촬영된 영상을 실시간으로 유선 또는 무선 통신망을 통해 건설 현장 관리 서버(120)로 제공한다.The
이 실시예에서 카메라부(110)는 본 발명이 적용될 수 있는 토공 작업을 수행하는 건설 장비 예컨대, 굴삭기(20)나 로더와 같은 장비와, 굴삭기(또는 로더)(20)로부터 흙, 모래, 암반 또는 버력 등을 적재 및 이동하는 덤프 트럭(30)이 포함되는 건설 현장 영상을 촬영한다. 토공 작업은 굴삭기(20)를 통해 덤프 트럭에 싣는 적재 작업(loading task)과, 덤프 트럭(30)이 적재된 것을 외부로 반출하는 운반 작업(hauling task)을 포함한다. 따라서 카메라부(110)는 굴삭기(20)를 이용하여 덤프 트럭(30)에 토사 또는 암반 등이 실리는 모습을 촬영할 수 있어야 한다.In this embodiment, the
건설 현장 관리 서버(120)는 유선 또는 무선 통신망을 통해 카메라부(110)로부터 건설 현장(10)에 대한 영상을 받아서 프레임 단위로 건설 현장(10)에 있는 건설 장비(20, 30)를 검출하고, 일정 시간 동안의 전후 프레임으로부터 검출된 건설 장비(20, 30)에 대한 작업 상태, 유휴 상태에 따른 상태 정보를 분석한다. 또 건설 현장 관리 서버(110)는 검출된 건설 장비(20, 30)에 대한 이벤트 정보를 분석하여 토공 작업 시간의 확률 분포를 추정하고, 이를 통해 건설 장비(20, 30)의 토공 작업 생산성을 분석한다.The construction
구체적으로, 이 실시예의 건설 현장 관리 서버(120)는 도 2에 도시된 바와 같이, 영상 수집부(122), 개체 탐지부(123), 상황 정보 분석부(124), 이벤트 정보 분석부(125), 시뮬레이션 처리부(126), 토공 생산성 분석부(127), 저장부(128) 및 제어부(121)를 포함한다. 이러한 영상 수집부(122), 개체 탐지부(123), 상황 정보 분석부(124), 이벤트 정보 분석부(125), 시뮬레이션 처리부(126), 토공 생산성 분석부(127) 및 저장부(128)들 각각은 제어부(121)의 제어를 받아서 동작된다.Specifically, the construction
영상 수집부(122)는 제어부(121)의 제어를 받아서 카메라부(110)로부터 건설 현장 영상을 실시간으로 받아서 프레임 단위로 추출하고, 추출된 프레임 단위의 영상을 개체 탐지부(123)로 제공한다.The
개체 탐지부(123)는 프레임 단위의 영상에서 건설 현장(10)에 있는 건설 장비(20, 30)들 예를 들어, 굴삭기(또는 로더)(20), 덤프 트럭(30) 등에 대한 건설 개체를 추출하고, 추출된 건설 개체별로 토공 작업에 따른 건설 개체의 움직임 등을 실시간 탐지한다.The
이 실시예에서 개체 탐지부(123)는 개체 탐지를 위하여, 일반적으로 활용되는 머신 러닝 기반의 개체 탐지 모델(object detection model)을 활용할 수 있다. 이러한 종류의 탐지 모델들은 일반적으로 영상에서 특징(feature)를 추출하여 건설 개체 존재 여부 및 위치를 확인한다. 영상에서 특징을 추출하는 방법으로는 예를 들어, 기울기 히스토그램(histograms-of-oriented gradients) 모델, 신경망(convolutional neural networks) 모델 등을 활용할 수 있다. 또한 머신 러닝 기반의 개체 탐지 모델 뿐만 아니라, 영상에서 건설 개체의 위치를 확인할 수 있는 모델이라면 다양한 기술이 활용될 수 있다.In this embodiment, the
이러한 개체 탐지부(123)는 건설 개체 즉, 건설 장비(20, 30)에 대한 정보들 예컨대, 건설 장비(20, 30)의 종류와, 중심점, 개체 검출 지역의 좌표, 출현 시간 등의 위치 정보 등의 탐지된 결과를 상황 정보 분석부(124)로 제공한다.The
상황 정보 분석부(124)는 개체 탐지부(123)에서 탐지된 건설 개체별로 토공 작업에 대한 상태 정보 즉, 작업 상태, 유휴 상태 등을 생성한다. 상황 정보 분석부(124)는 건설 개체의 상태 정보를 분석하여 이벤트 정보 분석부(125)로 제공한다.The contextual
이 실시예에서 상황 정보 분석부(124)는 탐지 모델이 건설 장비 예컨대, 굴삭기(또는 로더), 덤프 트럭 등을 탐지한 후, 영상 내의 탐지 결과 정보 예컨대, 건설 개체의 위치, 종류, 출현 시간 등을 활용하여 토공 작업 상태 정보 및 이벤트 정보를 생성한다. 상태 정보(state information)는 건설 장비의 작업(working) 또는 유휴(idle) 상태 정보로 정의하며, 이벤트 정보(event information)는 토공 작업의 한 주기(one cycle)의 시작 및 종료 시점 정보로 정의한다.In this embodiment, the
또 상황 정보 분석부(124)는 상태 정보 분석(state information analysis)을 위해, 적재 작업과 운반 작업 등이 포함되는 토공 작업의 상태 정보를 분석한다.In addition, the situation
이 실시예에서 적재 작업은 굴삭기(또는 로더)(20)가 덤프 트럭(30)에 토사 또는 암반 등을 적재하는 작업이다. 따라서 영상에서 굴삭기(20)와 덤프 트럭(30)이 일정 거리 내에 있을 때, 적재 작업 진행 상태(working state)로 판단할 수 있다. 이 때, 하나의 굴삭기(또는 로더)(20)와 하나의 덤프 트럭(30)를 건설 개체 조합이라 정의한다.In this embodiment, the loading operation is an operation in which the excavator (or loader) 20 loads the earth and sand or the like on the
조합된 두 건설 장비(20, 30) 사이의 거리를 측정하려면, 기준점(reference point)이 필요하다. 인식된 조합별 건설 장비들 각각의 중심점 등을 기준점으로 활용하여 조합된 건설 장비들 간의 거리를 계산할 수 있다. 계산된 결과를 참고할 때, 조합된 덤프 트럭(30)과 굴삭기(또는 로더)(20)의 거리가 특정 임계값(threshold)보다 작으면, 작업 상태(working state)로 인식하여 작업 상태에 따른 상태 정보를 저장한다. 그렇지 않으면 유휴 상태(idle state)로 인식하여 작업 상태에 따른 상태 정보를 저장한다. 또 건설 현장 영상에서 복수 개의 굴삭기(또는 로더)(20)와 덤프 트럭(30)이 있는 경우, 굴삭기(20)와 덤프 트럭(30)의 조합 중에 최소 거리를 기준으로 작업 상태를 판단하거나, 특정 지역에 위치한 덤프 트럭(30)에 근접한 굴삭기(또는 로더)(20)와의 거리를 기준으로 하여 작업 상태를 판단할 수도 있다.To measure the distance between the two combined
이러한 상황 정보 분석부(124)는 상태 정보 분석 결과에 따라 각각의 건설 장비의 작업 및 유휴 상태에 따른 상태 정보를 생성하여 이벤트 정보 분석부(125)로 제공한다.The situation
이벤트 정보 분석부(125)는 상황 정보 분석부(124)로부터 상태 정보를 받아서 토공 작업이 시작 및 종료되는지를 판별하기 위한 건설 장비 각각에 대한 이벤트 정보를 분석 및 생성한다.The event
이 실시예에서 이벤트 정보로 추론되는 것은 덤프 트럭(30)을 한 번 가득 채우기 위해 걸린 적재 작업 시간(loading task duration), 덤프 트럭(30)의 토공 현장 왕복 시간(hauling and return task duration) 등이다. 적재 작업의 시작 및 종료 시점을 식별하기 위해서는 상태 정보 분석부(124)에서 이전의 영상 프레임별 작업 상태 정보를 활용한다. 예를 들어, 영상 프레임들 각각으로부터 건설 장비의 상태 정보를 판별하여, 적재 작업의 유휴 상태가 일정 시간 동안에 연속적으로 계속되다가 적재 작업 상태로 변환되면, 적재 작업 시작 이벤트로 그 시점을 저장한다. 이와 반대로, 적재 작업 종료 이벤트는 적재 작업 상태가 일정 시간 동안에 연속적으로 계속되다가 적재 작업 유휴 상태로 변환되면, 적재 작업 종료 이벤트로 그 시점을 저장한다. 따라서 적재 작업 시작 시점과 적재 작업 종료 시점 사이에 걸린 시간을 적재 작업에 대한 하나의 주기 시간으로 저장한다.Inferred from the event information in this embodiment are the loading task duration taken to fill the
또 건설 개체의 탐지 모델은 현재 기술적인 한계로 언제나 100 % 정확하게 개체를 탐지할 수 없다. 탐지 결과의 오류를 어느 정도 허용하면서 일관된 이벤트 정보 생성 결과를 확보하기 위해 일정 수준의 작업 상태 정보 오류를 보정하는 과정을 추가할 수 있다. 즉, 개체 탐지 모델이 특정 프레임에서 건설 장비를 탐지하는 데 실패하였을 경우, 작업 상태(working state)에서 유휴 상태(idle state)로 전환되고, 작업 종료 이벤트로 잘못 판단하여 저장될 수 있다. 이러한 오류를 방지하기 위해, 이벤트 정보 분석부(125)에서 현재 프레임을 전후로 작업 상태 전환을 비율적으로 판단한다. 예를 들면, 건설 현장 영상이 초당 30 프레임씩 녹화된 영상인 경우, 특정 프레임에서 약 5 초 전 즉, 이전 150 프레임까지 작업 유휴 상태가 100 번 이상 있다가, 5 초 후 프레임 즉, 이후 150 프레임에서 작업 상태가 100 번 이상 있을 경우, 작업 시작 이벤트로 판단하여 저장한다. 작업 종료 이벤트는 이 반대의 과정으로 판단 및 저장할 수 있다. 또 특정 프레임의 몇 초 전후를 이용하여 이벤트로 판단할 것인지, 비율을 어떻게 설정할 것인지에 대해서는 영상, 현장 조건, 개체 탐지 모델 성능에 따라 다양하게 변경할 수 있다.In addition, the detection model of construction objects is currently technically limited and cannot always detect
또 이벤트 정보 분석부(125)는 덤프 트럭(30)의 운반 작업 시간(hauling and return task duration)에 대한 이벤트 정보를 판단 및 저장하기 위해, 덤프 트럭(30)의 운반 시작 및 종료 시점을 적재 작업에 대한 이벤트 정보로 사용된다. 예를 들어, 건설 현장 영상을 촬영한 날에 적재 작업을 위해 덤프 트럭 5 대가 건설 현장에 투입되어 있다면, 첫 번째 적재 작업이 종료되었을 때 첫 번째 덤프 트럭의 운반 작업 시작 이벤트로 그 시점을 판단 및 저장한다. 그 후 여섯 번째 적재 작업이 시작되었을 때, 첫 번째 덤프 트럭이 건설 현장으로 되돌아온 것이므로, 첫 번째 덤프 트럭의 운반 작업의 종료 이벤트로 그 시점으로 판단 및 저장한다. 나머지 다른 덤프 트럭들 각각에 대해서도 동일한 원리로 운반 작업 시간을 판단할 수 있다.In addition, the event information analyzer 125 loads the start and end points of the transport of the
시뮬레이션 처리부(126)는 이벤트 정보 분석부(125)로부터 이벤트 정보를 받아서 건설 프로세스에 대한 시뮬레이션을 처리한다. 이를 위해 시뮬레이션 처리부(126)는 시뮬레이션 입력값을 구성하여 건설 프로세스에 대한 시뮬레이션을 처리한다.The
즉, 건설 시뮬레이션 입력값은 적재 작업과 운반 작업을 포함하는 토공 작업에 대한 시간들로 입력된다. 이 실시예에서 건설 현장 영상에서 측정된 적재 작업 및 운반 작업에 대한 작업 시간들은 정규 분포(normal distribution)로 추정되며, 분포 파라미터 즉, 평균 및 분산 파라미터 추정에는 최대 가능 추정법(maximum likelihood estimation)을 이용한다. 물론 필요에 따라 다른 확률 분포의 선택 및 추정 방법을 활용할 수도 있다.In other words, the construction simulation inputs are entered as times for earthworks, including loading and conveying operations. In this embodiment, the working times for the loading and conveying operations measured in the construction site image are estimated as a normal distribution, and a maximum likelihood estimation is used for the distribution parameters, that is, the average and the distribution parameters. . Of course, other probability distribution selection and estimation methods may be used as necessary.
또 건설 프로세스 시뮬레이션은 토공 작업의 생산성을 시뮬레이션 하기 위해 널리 활용되는 다양한 건설 프로세스 시뮬레이션 모델 중 CYCLONE(Cyclic operation network), SIMPHONY, STROBOSCOPE(State and resource based simulation of construction processes) 등을 활용할 수 있다. 이러한 모델들은 이산 사건 시뮬레이션(discrete event simulation) 모델로 분류된다. 이산 사건 시뮬레이션 모델은 현실의 작업 조건들을 복잡한 수학적 수식으로 표현하지 않고도 개별 작업의 불확실성을 반영할 수 있어 토공 작업을 분석하는 데 적합하다. 이러한 시뮬레이션 기술을 활용해 건설 현장의 관리자는 토공 작업의 생산성을 평가하여 건설 장비의 배치 계획을 최적화할 수 있다.Construction process simulation can also utilize Cyclic operation network (CYCLONE), SIMPHONY, and state and resource based simulation of construction processes (STROBOSCOPE) among various construction process simulation models widely used to simulate the productivity of earthworks. These models are classified as discrete event simulation models. Discrete event simulation models are well suited for analyzing earthwork, as they can reflect the uncertainty of individual work without expressing real working conditions in complex mathematical formulas. Using this simulation technology, construction site managers can evaluate the productivity of earthworks, optimizing the layout of construction equipment.
토공 생산성 분석부(127)는 시뮬레이션 처리부(126)의 시뮬레이션 결과를 이용하여 건설 장비의 대수와 조합을 조절하여 토공 생산성을 분석한다. 즉, 건설 프로세스 시뮬레이션을 통해 건설 장비의 대수와 조합을 변경하고, 이에 따라 토공 생산성이 어떻게 변화되는지가 분석할 수 있다. 토공 생산성 분석부(127)는 분석 결과를 토공 생산성 보고서를 제공한다. 따라서 분석된 결과를 이용하여 건설 장비의 조합별로 시간 당 생산성, 건설 장비별 유휴 시간 비율, 비용 당 생산성 등을 분석 및 제공할 수 있다.The earthwork
저장부(128)는 영상 수집부(122)로부터 건설 현장 영상, 추출된 복수의 영상 프레임을 저장한다. 저장부(128)는 개체 탐지부(123)에 의해 추출, 탐지된 건설 장비들에 대한 정보들 예컨대, 건설 장비의 종류와, 중심점, 개체 검출 지역의 좌표, 출현 시간 등의 위치 정보 등을 저장한다. 저장부(128)는 상황 정보 분석부(124)에 의해 생성된 상태 정보와 이벤트 정보 분석부(125)에 의해 생성된 이벤트 정보를 저장한다. 또 저장부(128)는 시뮬레이션 처리부(126)에 의해 생성된 시뮬레이션 결과와, 토공 생산성 분석부(127)에 의해 생성된 토공 생산성 분석 결과 및 보고서 등을 저장한다.The
그리고 제어부(121)는 건설 현장 관리 서버(120)의 제반 동작을 처리하도록 제어한다. 즉, 제어부(121)는 영상 수집부(122), 개체 탐지부(123), 상황 정보 분석부(124), 이벤트 정보 분석부(125), 시뮬레이션 처리부(126), 토공 생산성 분석부(127) 및 저장부(128)를 제어하여, 건설 현장의 영상으로부터 건설 장비에 대한 개체를 추출, 탐지하고, 건설 장비들 각각에 대한 상태 정보와 이벤트 정보를 생성, 분석하며, 건설 프로세스 시뮬레이션 및 토공 생산성을 분석하도록 제어한다.And the
본 발명의 건설 현장 상황 인지 시스템(100)은 카메라를 이용하여 건설 현장을 촬영하여 작업 중인 건설 장비를 검출 및 탐지하고, 건설 현장에서의 건설 장비에 대한 작업 상태 정보와 이벤트 정보를 판별 및 분석하여 토공 작업 시간을 산출한다.The construction site
계속해서 도 3 내지 도 5를 이용하여 본 발명의 건설 현장 상황 인지 시스템의 처리 과정을 상세히 설명한다.Next, the process of the construction site situation recognition system of the present invention will be described in detail with reference to FIGS. 3 to 5.
도 3은 본 발명에 따른 영상 기반의 건설 현장 상황 인지 시스템의 처리 수순을 도시한 흐름도이고, 도 4는 도 3에 도시된 상태 정보 분석 루틴의 처리 수순을 나타내는 흐름도이며, 그리고 도 5는 도 3에 도시된 이벤트 정보 분석 루틴의 처리 수순을 나타내는 흐름도이다. 이 수순들은 도 2에 도시된 건설 현장 관리 서버(120)에 의해 처리된다. 따라서 건설 현장 관리 서버(120)의 구성에 대한 구체적인 설명은 여기서 생략한다.3 is a flowchart showing a processing procedure of an image-based construction site situation recognition system according to the present invention, FIG. 4 is a flowchart showing a processing procedure of the state information analysis routine shown in FIG. 3, and FIG. 5 is FIG. It is a flowchart showing the processing procedure of the event information analysis routine shown in FIG. These procedures are processed by the construction
도 3을 참조하면, 본 발명의 건설 현장 상황 인지 시스템(100)은 단계 S200에서 카메라부(110)가 설치된 위치의 건설 현장에 대한 영상을 실시간으로 촬영하여 건설 현장 관리 서버(120)로 전송하면, 단계 S210에서 건설 현장 관리 서버(120)는 개체 탐지부(122)를 통해 영상을 프레임 단위로 추출하고, 추출된 프레임에서 건설 장비에 대한 개체를 추출 및 탐지한다.Referring to FIG. 3, when the construction site
단계 S220에서 건설 현장 관리 서버(120)의 상황 정보 분석부(124)가 건설 현장의 건설 장비에 대한 상태 정보를 분석한다.In step S220, the situation
구체적으로, 상태 정보를 분석하는 루틴(S220)은 도 4에 도시된 바와 같이, 단계 S222에서 개체 탐지부(123)가 카메라부(110)에 의해 수집, 저장된 건설 현장 영상으로부터 프레임 단위로 영상 프레임을 추출하고, 추출된 영상 프레임에서 각각의 건설 장비에 대한 개체를 검출한다. 만약 개체가 검출되지 않으면, 단계 S222로 진행하여 이후 영상 프레임에서 개체를 검출하도록 처리한다.In detail, as illustrated in FIG. 4, the routine S220 for analyzing the state information includes image frames frame-by-frame from the construction site image collected and stored by the
단계 S224 내지 단계 S226에서 건설 현장 관리 서버(120)의 상황 정보 분석부(124)가 검출된 개체가 굴삭기 또는 덤프 트럭이면, 단계 S228에서 검출된 개체들 간의 거리를 산출하고, 산출된 거리를 설정된 임계값(threshold)과 비교한다. 즉, 산출된 거리가 임계값보다 작으면, 단계 S230으로 진행하여 굴삭기가 덤프 트럭에 적재 작업이 이루어지고 있다고 판단하여 작업 상태에 따른 상태 정보를 생성, 저장한다. 그리고 산출된 거리가 임계값보다 크면, 단계 S232로 진행하여 유휴 상태에 따른 상태 정보를 생성, 저장한다.If the object detected by the situation
다시 도 3을 참조하면, 단계 S240에서 건설 현장 관리 서버(120)의 이벤트 정보 분석부(125)가 건설 현장의 건설 장비에 대한 이벤트 정보를 분석한다.Referring back to FIG. 3, the
구체적으로, 이벤트 정보를 분석하는 루틴(S240)은 도 5에 도시된 바와 같이, 단계 S242에서 상황 정보 분석부(124)로부터 상태 정보를 받아들이고, 단계 S244에서 상태 정보가 작업 시작이면, 단계 S246에서 작업 시작 시간을 기록한다. 단계 S246에서 작업 시작된 작업이 종료되면, 단계 S250에서 작업 종료 시간을 기록한다. 따라서 작업 시작 및 종료 시간을 하나의 작업 주기로 판단하고, 이를 통해 건설 장비 각각에 대한 이벤트 정보를 생성, 저장 및 분석한다.Specifically, as shown in FIG. 5, the routine S240 for analyzing the event information receives the status information from the situation
다시 도 3을 참조하면, 단계 S260에서 건설 현장 관리 서버(120)의 시뮬레이션 처리부(126)가 토공 작업 시간 확률 분포를 추정한다. 단계 S270에서 건설 프로세스를 시뮬레이션한다. 이어서 단계 S280에서 건설 현장 관리 서버(120)의 토공 생산성 분석부(127)토공 작업 생산성을 분석하여 토공 작업 생산성 보고서를 생성한다.Referring back to FIG. 3, in step S260, the
상술한 영상 기반의 건설 현장 상황 인지 시스템(100)의 건설 현장 상황 인지 방법은 컴퓨터 프로그램으로 제공될 수 있다. 이 컴퓨터 프로그램은 건설 현장 상황 인지용 소프트웨어로 제공되어, 건설 현장 관리 서버(120) 상에서 복수 개의 카메라들과 연동해서 처리될 수 있다.The construction site situation recognition method of the image-based construction site
이러한 컴퓨터 프로그램은 상술한 본 발명의 건설 현장 상황 인지 시스템(100)의 건설 현장 상황 인지 방법을 실행하기 위하여 컴퓨터로 독출 가능한 기록매체에 기록되어 제공될 수 있다.Such a computer program may be recorded and provided on a computer-readable recording medium for executing the construction site situation recognition method of the construction site
예컨대, 본 발명의 건설 현장 관리 서버(120)가 컴퓨터로 구비되고, 건설 현장 상황 인지 방법을 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 컴퓨터 프로그램으로 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체에는 컴퓨터에 의하여 읽힐 수 있는 데이터가 저장되는 다양한 종류의 기록 장치를 포함할 수 있다. 예를 들어, 기록 매체에는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등을 포함할 뿐만 아니라, 인터넷, 인프라 등의 네트워크를 통해 상호 연결된 컴퓨터에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 컴퓨터 프로그램이 저장 및 실행되는 형태로 제공될 수 있다.For example, the construction
그리고 도 6 및 도 7은 본 발명의 실시예에 따른 영상 기반의 건설 현장 상황 인지 시스템에서 인식된 건축 장비를 나타내는 도면들이다.6 and 7 illustrate building equipment recognized in an image-based construction site situation recognition system according to an exemplary embodiment of the present invention.
도 6 및 도 7을 참조하면, 이 실시예의 영상 화면(112, 112a)들 각각은 카메라부(110)로부터 촬영된 영상으로부터 프레임 단위로 추출된 것으로, 이 영상 프레임에서 건설 현장에 있는 건설 장비 예컨대, 굴삭기(114), 덤프 트럭(116)을 추출한 것을 보여준다.6 and 7, each of the image screens 112 and 112a of this embodiment is extracted in units of frames from an image photographed from the
추출된 건설 장비(114, 116)의 움직임을 실시간으로 탐지하여 건설 장비(114, 116)의 토공 작업 즉, 굴착기(114)에서 덤프 트럭(116)으로 토사 또는 암반 등을 적재하는 적재 작업과, 덤프 트럭(116, 116a)의 운반 작업에 따른 상태 정보, 이벤트 정보를 판별, 생성 및 분석할 수 있다.The earthmoving work of the
본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The embodiments described in the present specification and the accompanying drawings merely illustrate some of the technical ideas included in the present invention. Therefore, since the embodiments disclosed herein are not intended to limit the technical spirit of the present invention but to explain, it is obvious that the scope of the technical spirit of the present invention is not limited by these embodiments. Modifications and specific embodiments that can be easily inferred by those skilled in the art within the scope of the technical idea included in the specification and drawings of the present invention should be construed as being included in the scope of the present invention.
10 : 건설 현장
20, 30 : 건설 장비
100 : 건설 현장 상황 인지 시스템
110 : 카메라부
120 : 건설 현장 관리 서버
121 : 제어부
122 : 영상 수집부
123 : 개체 탐지부
124 : 상황 정보 분석부
125 : 이벤트 정보 분석부
126 : 시뮬레이션 처리부
127 : 생산성 분석부
128 : 저장부10:
100: construction site situation awareness system 110: camera unit
120: construction site management server 121: control unit
122: image collector 123: object detector
124: situation information analysis unit 125: event information analysis unit
126: simulation processing unit 127: productivity analysis unit
128: storage unit
Claims (14)
건설 현장의 특정 위치에 고정, 설치되어 건설 현장 영상을 실시간으로 촬영하는 카메라부; 및
상기 카메라부로부터 촬영된 건설 현장 영상을 받아서 프레임 단위로 추출하고, 추출된 영상 프레임에서 건설 현장에서 토공 작업을 수행하고 있는 복수 개의 건설 장비를 검출하고, 일정 시간 동안의 전후 프레임으로부터 상기 검출된 건설 장비들 각각에 대한 작업 상태, 유휴 상태를 판별하여 상태 정보를 생성하고, 생성된 상태 정보로부터 상기 검출된 건설 장비들 각각에 대한 토공 작업이 이루어지면, 토공 작업에 대응되는 이벤트 정보를 생성하여 토공 생산성을 분석하도록 처리하는 건설 현장 관리 서버;를 포함하는 것을 특징으로 하는 건설 현장 상황 인지 시스템.In the construction site situational awareness system:
A camera unit fixed and installed at a specific location of a construction site to capture a construction site image in real time; And
Receives a construction site image photographed from the camera unit and extracts it in units of frames, and detects a plurality of construction equipment performing earthworks at the construction site from the extracted image frame, and the detected construction from the front and rear frame for a predetermined time Determining the work state and idle state for each of the equipment to generate state information, and when the earth work is performed on each of the detected construction equipment from the generated state information, by generating event information corresponding to the earth work Construction site situation recognition system comprising a; construction site management server for processing to analyze the productivity.
상기 건설 현장 관리 서버는,
상기 카메라부로부터 건설 현장 영상을 실시간으로 받아서 프레임 단위로 추출하는 영상 수집부;
상기 영상 수집부에 의해 추출된 영상 프레임에서 건설 현장의 건설 장비들을 검출하고, 검출된 건설 장비별로 토공 작업에 따른 움직임을 실시간 탐지하는 개체 탐지부;
상기 개체 탐지부에서 탐지된 건설 장비별로 토공 작업의 작업 상태, 유휴 상태에 대한 상태 정보를 생성하는 상황 정보 분석부; 및
상기 상황 정보 분석부로부터 상태 정보를 받아서 건설 장비들 각각의 토공 작업의 시작 및 종료에 따른 이벤트 정보를 생성하는 이벤트 정보 분석부;를 포함하는 것을 특징으로 하는 건설 현장 상황 인지 시스템.The method according to claim 1,
The construction site management server,
An image collecting unit which receives a construction site image from the camera unit in real time and extracts the image on a frame basis;
An object detector for detecting construction equipment of a construction site from an image frame extracted by the image collecting unit, and detecting a movement according to an earthwork work for each detected construction equipment;
A situation information analyzer configured to generate state information on an operation state and an idle state of an earthworks work for each construction equipment detected by the object detector; And
And an event information analyzer configured to receive the state information from the situation information analyzer and generate event information according to the start and end of each earthwork work of the construction equipment.
상기 건설 현장 관리 서버는,
상기 이벤트 정보 분석부로부터 이벤트 정보를 받아서 시뮬레이션 입력값을 구성하여 건설 현장의 건설 프로세스에 대한 시뮬레이션을 처리하는 시뮬레이션 처리부;를 더 포함하는 것을 특징으로 하는 건설 현장 상황 인지 시스템.The method according to claim 2,
The construction site management server,
And a simulation processing unit configured to receive the event information from the event information analysis unit and configure a simulation input value to process a simulation of a construction process of a construction site.
상기 건설 현장 관리 서버는,
상기 시뮬레이션 처리부의 시뮬레이션 결과를 이용하여 건설 장비들의 대수와 조합을 조절하고, 조절된 건설 장비들의 조합에 대한 토공 생산성을 분석하고, 분석 결과를 제공하는 토공 생산성 분석부;를 더 포함하는 것을 특징으로 하는 건설 현장 상황 인지 시스템.The method according to claim 3,
The construction site management server,
It characterized in that it further comprises; earthwork productivity analysis unit for adjusting the number and combination of construction equipment by using the simulation results of the simulation processing unit, analyzing the earthwork productivity for the adjusted combination of construction equipment, and provides an analysis result Construction site situational awareness system.
상기 개체 탐지부는;
건설 장비의 종류와, 적어도 건설 장비의 중심점, 건설 현장에서의 검출 좌표, 건설 장비의 출현 시간이 포함되는 위치 정보를 탐지하여 상기 상황 정보 분석부로 제공하는 것을 특징으로 하는 건설 현장 상황 인지 시스템.The method according to claim 2,
The object detecting unit;
The construction site situation recognition system, characterized in that for detecting the location information including the type of construction equipment, at least the center point of the construction equipment, the detection coordinates at the construction site, the appearance time of the construction equipment to provide to the situation information analysis unit.
상기 개체 탐지부는;
머신 러닝 기반의 개체 탐지 모델 중 기울기 히스토그램(histograms of oriented gradients) 모델과, 신경망(convolutional neural networks) 모델 중 어느 하나를 이용하여 건설 장비들 각각을 추출 및 탐지하는 것을 특징으로 하는 건설 현장 상황 인지 시스템.The method according to claim 5,
The object detecting unit;
Construction site context awareness system, which extracts and detects each of the construction equipment by using one of histograms of oriented gradients and convolutional neural networks. .
상기 상황 정보 분석부는;
건설 장비들 각각의 중심점을 기준점으로 하여 두 대의 건설 장비들 사이의 거리를 계산하고, 계산된 거리가 설정된 임계값보다 작으면, 작업 상태로 인식하여 작업 상태에 따른 상태 정보를 저장하고, 계산된 거리가 설정된 임계값보다 크면, 유휴 상태로 인식하여 작업 상태에 따른 상태 정보를 저장하는 것을 특징으로 하는 건설 현장 상황 인지 시스템.The method according to claim 5,
The situation information analysis unit;
The distance between the two construction equipment is calculated based on the center point of each construction equipment, and if the calculated distance is smaller than the set threshold value, it is recognized as the working status and the state information according to the working status is stored, and the calculated If the distance is greater than the set threshold value, the construction site situation recognition system, characterized in that it recognizes the idle state and stores the state information according to the working state.
상기 이벤트 정보 분석부는;
상기 상태 정보 분석부에서 일정 시점 전후의 영상 프레임별 상태 정보를 이용하여 건설 장비들 각각에 대한 토공 작업의 시작 시점 및 종료 시점을 판별하고, 판별결과에 따른 이벤트 정보를 생성하고, 작업의 시작 시점과 종료 시점 사이에 걸린 시간을 건설 장비의 토공 작업에 대한 하나의 주기 시간으로 저장하는 것을 특징으로 하는 건설 현장 상황 인지 시스템.The method according to claim 2,
The event information analyzer;
The state information analyzer determines the starting point and the end point of the earthworks work for each of the construction equipment by using the state information for each of the image frames before and after a predetermined point of time, generates event information according to the determination result, and starts the start point of the work. Construction site situation awareness system, characterized in that for storing the time taken between the end and the end point as a cycle time for earthworks of construction equipment.
상기 시뮬레이션 처리부는;
건설 프로세스 시뮬레이션을 위한 입력값을 토공 작업에 대한 작업 시간들로 입력하고, 최대 가능 추정법(maximum likelihood estimation)을 이용하여 정규 분포의 파라미터로 추정하는 것을 특징으로 하는 건설 현장 상황 인지 시스템.The method according to claim 3,
The simulation processing unit;
A construction site situation awareness system comprising inputting values for a construction process simulation as working hours for earthworks and estimating them as parameters of a normal distribution using maximum likelihood estimation.
건설 현장의 특정 위치에 고정 설치된 카메라부를 이용하여 건설 현장 영상을 실시간으로 촬영하는 단계;
건설 현장 관리 서버가 통신망을 통해 상기 카메라부로부터 건설 현장 영상을 받아서 프레임 단위로 추출하고, 추출된 프레임에서 건설 장비에 대한 건설 개체를 추출 및 탐지하는 단계;
상기 건설 현장 관리 서버가 상기 건설 개체의 토공 작업에 따른 작업 상태, 유휴 상태에 대한 상태 정보를 생성 및 분석하는 단계;
상기 건설 현장 관리 서버가 상기 건설 개체에서의 토공 작업이 시작 및 종료되는지를 판별하여 이벤트 정보를 생성 및 분석하는 단계; 및
상기 건설 현장 관리 서버가 이벤트 정보에 대응하여 토공 작업 시간 확률 분포를 추정하는 단계;를 포함하는 것을 특징으로 하는 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법.In the construction site situation recognition method of construction site situation recognition system:
Photographing a construction site image in real time using a camera unit fixedly installed at a specific location of the construction site;
A construction site management server receiving a construction site image from the camera unit through a communication network and extracting the construction site image by frame, and extracting and detecting a construction object for construction equipment from the extracted frame;
Generating and analyzing, by the construction site management server, state information about a work state and an idle state according to the earthwork work of the construction object;
Generating and analyzing event information by the construction site management server determining whether earthworks work in the construction entity starts and ends; And
And a construction site management server estimating the earthwork work time probability distribution in response to the event information.
상기 상태 정보를 분석하는 단계는;
상기 건설 현장 관리 서버가 상기 카메라부로부터 수집된 건설 현장 영상으로부터 프레임 단위로 영상 프레임을 추출하고,
추출된 영상 프레임에서 각각의 건설 장비에 대한 건설 개체를 검출하고,
검출된 건축 개체가 굴삭기와 덤프 트럭이면, 검출된 건축 개체들 간의 거리를 산출하고, 산출된 거리를 설정된 임계값과 비교하고,
산출된 거리가 임계값보다 작으면, 굴삭기가 덤프 트럭에 적재 작업이 이루어지고 있다고 판단하여 작업 상태에 따른 상태 정보를 생성하고, 그리고 산출된 거리가 임계값보다 크면, 유휴 상태에 따른 상태 정보를 생성하는 것을 특징으로 하는 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법.The method according to claim 10,
Analyzing the state information;
The construction site management server extracts an image frame in units of frames from the construction site image collected from the camera unit,
Detecting construction objects for each construction equipment in the extracted image frame,
If the detected building objects are excavators and dump trucks, calculate the distances between the detected building objects, compare the calculated distances with the set thresholds,
If the calculated distance is less than the threshold value, the excavator determines that the loading work is being performed on the dump truck, and generates state information according to the working state, and if the calculated distance is greater than the threshold value, the state information according to the idle state is displayed. Construction site situation recognition method of the construction site situation recognition system, characterized in that for generating.
상기 이벤트 정보를 분석하는 단계는;
상기 건설 현장 관리 서버가 건설 개체의 상태 정보를 판별하여 작업 시작이면, 작업 시작 시간을 기록하고, 작업 시작된 작업이 종료되면, 작업 종료 시간을 기록하고, 작업 시작 및 종료 시간을 하나의 작업 주기로 판단하여, 건설 장비 각각에 대한 이벤트 정보를 생성하는 것을 특징으로 하는 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법.The method according to claim 10,
Analyzing the event information;
When the construction site management server determines the state information of the construction object, if the work start, record the work start time, if the work started work is finished, the work end time is recorded, and the work start and end time is determined as one work cycle The construction site situation recognition method of the construction site situation recognition system, characterized in that for generating event information for each construction equipment.
상기 건설 현장 상황 인지 방법은,
상기 건설 현장 관리 서버가 추정된 확률 분포의 파라미터를 이용하여 건설 프로세스를 시뮬레이션하는 단계;를 더 포함하는 것을 특징으로 하는 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법.The method according to any one of claims 10 to 12,
The construction site situation recognition method,
And a construction site management server simulating a construction process using the estimated probability distribution parameter.
시뮬레이션 결과에 대응하여 건설 현장의 건설 장비의 대수 및 조합을 조절하고, 조절된 건설 장비에 대한 토공 작업 생산성을 분석하는 단계;를 포함하는 것을 특징으로 하는 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법.In the earthwork productivity analysis method using the construction site situation recognition method of the construction site situation recognition system according to claim 13:
Adjusting the number and combination of construction equipment of the construction site in response to the simulation result, and analyzing the earthwork work productivity for the adjusted construction equipment; construction site situation recognition method of the construction site situation recognition system comprising a .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180033927A KR102042629B1 (en) | 2018-03-23 | 2018-03-23 | Situational recognition system for construction site based vision and method, and method for productivity analysis of earthwork using it |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180033927A KR102042629B1 (en) | 2018-03-23 | 2018-03-23 | Situational recognition system for construction site based vision and method, and method for productivity analysis of earthwork using it |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190111585A true KR20190111585A (en) | 2019-10-02 |
| KR102042629B1 KR102042629B1 (en) | 2019-11-08 |
Family
ID=68423149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180033927A KR102042629B1 (en) | 2018-03-23 | 2018-03-23 | Situational recognition system for construction site based vision and method, and method for productivity analysis of earthwork using it |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102042629B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102236978B1 (en) * | 2020-06-30 | 2021-04-06 | 황희석 | Estimate calculation method for construction cost |
| KR20210098607A (en) * | 2020-02-03 | 2021-08-11 | 에스케이 주식회사 | Alarm system and method based on image analysis data of real-time parallel compound event processing type |
| WO2021247111A1 (en) * | 2020-06-01 | 2021-12-09 | Caterpillar Inc. | Role-based asset tagging for quantification and reporting of asset performance |
| KR20220142702A (en) | 2021-04-15 | 2022-10-24 | 주식회사 스카이시스 | Method for work management of trailer |
| WO2023132570A1 (en) * | 2022-01-05 | 2023-07-13 | (주)서울로보틱스 | Method and apparatus for monitoring work site |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102297296B1 (en) * | 2020-12-31 | 2021-09-03 | 경북대학교 산학협력단 | System and method for monitoring preliminary operation of excavator using image analysis |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100580125B1 (en) * | 2005-07-26 | 2006-05-15 | (주)화인씨이엠테크 | Process And Graphic Simulation Method for Planning and Construction Processes |
| KR100984514B1 (en) | 2007-10-11 | 2010-09-30 | 인하대학교 산학협력단 | Method of Analizing the Construction Productivity Using ???? Based on the Wireless Communication |
| KR100999041B1 (en) | 2007-11-19 | 2010-12-09 | 인하대학교 산학협력단 | Method of Analizing the Construction Productivity Based on Statistics |
| KR20110110648A (en) * | 2010-04-01 | 2011-10-07 | 한양대학교 산학협력단 | Apparatus and method for providing graphic user interface for earthworking |
| KR20160023054A (en) | 2014-08-21 | 2016-03-03 | 주승철 | Construction site management system using rfid terminal and ip camera |
| KR20160109761A (en) * | 2015-03-13 | 2016-09-21 | 서울대학교산학협력단 | Method and System for Recognition/Tracking Construction Equipment and Workers Using Construction-Site-Customized Image Processing |
-
2018
- 2018-03-23 KR KR1020180033927A patent/KR102042629B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100580125B1 (en) * | 2005-07-26 | 2006-05-15 | (주)화인씨이엠테크 | Process And Graphic Simulation Method for Planning and Construction Processes |
| KR100984514B1 (en) | 2007-10-11 | 2010-09-30 | 인하대학교 산학협력단 | Method of Analizing the Construction Productivity Using ???? Based on the Wireless Communication |
| KR100999041B1 (en) | 2007-11-19 | 2010-12-09 | 인하대학교 산학협력단 | Method of Analizing the Construction Productivity Based on Statistics |
| KR20110110648A (en) * | 2010-04-01 | 2011-10-07 | 한양대학교 산학협력단 | Apparatus and method for providing graphic user interface for earthworking |
| KR20160023054A (en) | 2014-08-21 | 2016-03-03 | 주승철 | Construction site management system using rfid terminal and ip camera |
| KR20160109761A (en) * | 2015-03-13 | 2016-09-21 | 서울대학교산학협력단 | Method and System for Recognition/Tracking Construction Equipment and Workers Using Construction-Site-Customized Image Processing |
| KR101788225B1 (en) | 2015-03-13 | 2017-10-19 | 서울대학교산학협력단 | Method and System for Recognition/Tracking Construction Equipment and Workers Using Construction-Site-Customized Image Processing |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210098607A (en) * | 2020-02-03 | 2021-08-11 | 에스케이 주식회사 | Alarm system and method based on image analysis data of real-time parallel compound event processing type |
| WO2021247111A1 (en) * | 2020-06-01 | 2021-12-09 | Caterpillar Inc. | Role-based asset tagging for quantification and reporting of asset performance |
| US11288614B2 (en) | 2020-06-01 | 2022-03-29 | Caterpillar Inc. | Role-based asset tagging for quantification and reporting of asset performance |
| KR102236978B1 (en) * | 2020-06-30 | 2021-04-06 | 황희석 | Estimate calculation method for construction cost |
| KR20220142702A (en) | 2021-04-15 | 2022-10-24 | 주식회사 스카이시스 | Method for work management of trailer |
| WO2023132570A1 (en) * | 2022-01-05 | 2023-07-13 | (주)서울로보틱스 | Method and apparatus for monitoring work site |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102042629B1 (en) | 2019-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102042629B1 (en) | Situational recognition system for construction site based vision and method, and method for productivity analysis of earthwork using it | |
| Chen et al. | Automated excavators activity recognition and productivity analysis from construction site surveillance videos | |
| Bügler et al. | Fusion of photogrammetry and video analysis for productivity assessment of earthwork processes | |
| JP7428213B2 (en) | Information processing system, information processing method and program | |
| Xiao et al. | Development of an image data set of construction machines for deep learning object detection | |
| Yang et al. | Vision-based tower crane tracking for understanding construction activity | |
| KR101926561B1 (en) | Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same | |
| CN109087510A (en) | traffic monitoring method and device | |
| US9251416B2 (en) | Time scale adaptive motion detection | |
| Rashid et al. | Automated activity identification for construction equipment using motion data from articulated members | |
| CN110969045B (en) | Behavior detection method and device, electronic equipment and storage medium | |
| Kim et al. | Sequential pattern learning of visual features and operation cycles for vision-based action recognition of earthmoving excavators | |
| CN113656864B (en) | Building construction method, system, computer device and storage medium based on BIM | |
| JP7222231B2 (en) | Action recognition device, action recognition method and program | |
| CN111259868A (en) | Convolutional neural network-based method, system and medium for detecting vehicles in reverse driving | |
| AU2014334792A1 (en) | System and method for managing a worksite | |
| CN110610610A (en) | Vehicle access management method and device and storage medium | |
| CN113869137A (en) | Event detection method and device, terminal equipment and storage medium | |
| CN109063544A (en) | A kind of method, system, computer equipment and the storage medium of dump truck detection | |
| Heydarian et al. | Automated benchmarking and monitoring of an earthmoving operation's carbon footprint using video cameras and a greenhouse gas estimation model | |
| CN116958085A (en) | Leak detection behavior compliance auditing method and device, electronic equipment and storage medium | |
| CN116824311A (en) | Performance detection method, device, equipment and storage medium of crowd analysis algorithm | |
| CN116245838A (en) | Monitoring method, monitoring device, equipment and medium for rock-soil exploration behaviors | |
| AU2014334744A1 (en) | System and method for managing fueling in a worksite | |
| CN106548487A (en) | For the method and apparatus of detect and track mobile object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |