KR20240070752A - Device safety accident prevention system using virtual fence and skeleton image - Google Patents

Device safety accident prevention system using virtual fence and skeleton image Download PDF

Info

Publication number
KR20240070752A
KR20240070752A KR1020220151427A KR20220151427A KR20240070752A KR 20240070752 A KR20240070752 A KR 20240070752A KR 1020220151427 A KR1020220151427 A KR 1020220151427A KR 20220151427 A KR20220151427 A KR 20220151427A KR 20240070752 A KR20240070752 A KR 20240070752A
Authority
KR
South Korea
Prior art keywords
virtual
area
module
skeleton
boundary area
Prior art date
Application number
KR1020220151427A
Other languages
Korean (ko)
Inventor
이영규
Original Assignee
(주)아이티공간
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아이티공간 filed Critical (주)아이티공간
Priority to KR1020220151427A priority Critical patent/KR20240070752A/en
Priority to PCT/KR2023/016433 priority patent/WO2024106782A1/en
Publication of KR20240070752A publication Critical patent/KR20240070752A/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Image Processing (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템에 관한 것으로, 그 구성은 기기 주변으로 가상의 경계 영역을 구축 설정하고, 그 경계 영역으로 객체의 진입 여부를 검출하는 가상 영역모듈;과, 기기 주변의 영상을 촬영하고, 그 영상 정보를 기반으로 기기 주변의 객체를 스켈레톤 모델로 형상화하여 수집하는 스켈레톤 모듈;과, 상기 가상 영역모듈과 스켈레톤 모듈의 정보를 기반으로 기기 주변의 위험 정도를 검출 판단하고, 그 판단 정보를 제어부로 전송하는 논리 게이트;와, 상기 논리 게이트의 판단 정보를 기반으로 기기의 작동을 제어하는 제어부;로 이루어지는 것을 특징으로 하는 것으로서,
논리 게이트는 가상 영역모듈과 스켈레톤 모듈에서 각각 측정 수집되는 정보를 다양하게 조합하여 기기 주변의 위험 정도를 명확하게 판단 검출함으로, 작업자의 안전사고를 미연에 방지하여 작업자를 효과적으로 보호할 수 있을 뿐만 아니라, 불필요하게 기기의 작동이 정지되어 발생할 수 있는 경제적인 손실을 최소화하여 공장 설비의 안정적인 운영 관리를 유도할 수 있는 효과가 있다.
또한, 가상 영역모듈의 가상 경계 영역을 경보 경계 영역과 위험 경계 영역으로 구분하여 구축함으로, 작업자가 안전사고에 노출될 가능성이 있으면 곧바로 경보부를 통해 경보하여 작업자가 스스로 사고위험으로부터 벗어날 수 있도록 유도하여 작업자의 안전을 더욱 용이하게 보호할 수 있는 효과가 있다.The present invention relates to a safety accident prevention system for devices using a virtual fence and skeleton image, which consists of a virtual area module that builds and sets a virtual boundary area around the device and detects whether an object enters the boundary area; and, a skeleton module that captures images around the device and collects them by shaping objects around the device into a skeleton model based on the image information; and, based on the information of the virtual area module and the skeleton module, the level of risk around the device A logic gate that detects and determines and transmits the decision information to a control unit; and a control unit that controls the operation of the device based on the decision information of the logic gate.
The logic gate clearly determines and detects the level of risk around the device by combining the information measured and collected from the virtual area module and the skeleton module, and not only effectively protects workers by preventing safety accidents in advance. , it has the effect of inducing stable operation and management of factory equipment by minimizing economic losses that may occur due to unnecessary operation of equipment.
In addition, by dividing the virtual boundary area of the virtual area module into a warning boundary area and a danger boundary area, if there is a possibility that a worker may be exposed to a safety accident, an alert is immediately sent through the alarm unit to encourage the worker to escape the risk of an accident on his or her own. It has the effect of more easily protecting the safety of workers.

Description

가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템{Device safety accident prevention system using virtual fence and skeleton image}Device safety accident prevention system using virtual fence and skeleton image}

본 발명은 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템에 관한 것으로, 더욱 상세하게는 논리 게이트는 가상 영역모듈과 스켈레톤 모듈에서 각각 측정 수집되는 정보를 다양하게 조합하여 기기 주변의 위험 정도를 명확하게 판단 검출함으로, 작업자의 안전사고를 미연에 방지하여 작업자를 효과적으로 보호할 수 있을 뿐만 아니라, 불필요하게 기기의 작동이 정지되어 발생할 수 있는 경제적인 손실을 최소화하여 공장 설비의 안정적인 운영 관리를 유도할 수 있는 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템에 관한 것이다.The present invention relates to a safety accident prevention system for devices using virtual fences and skeleton images. More specifically, the logic gate determines the level of risk around the device by combining information measured and collected from the virtual area module and skeleton module, respectively. By clearly judging and detecting, not only can workers be effectively protected by preventing safety accidents in advance, but they can also minimize economic losses that may occur due to unnecessary equipment shutdown, leading to stable operation and management of factory equipment. This is about a safety accident prevention system for devices using virtual fences and skeleton images.

일반적으로 공장에는 공정 라인을 따라 정해진 공정을 수행하는 기기들이 배치되고, 이렇게 배치되는 기기들 중에서 일부 또는 전체는 작업자와 함께 공정을 수행한다.Generally, devices that perform a set process are placed along a process line in a factory, and some or all of these devices perform the process together with the operator.

이처럼 기기와 함께 작업자가 공정을 수행하다 보면 작업자가 기기에 협착되는(끼이는) 안전사고가 종종 발생하게 되는데, 이러한 안전사고를 방지할 수 있는 별도의 수단이 없어 작업자가 크게 다치거나 사망하는 불행한 일이 발생하는 문제점이 있었다.In this way, when workers perform processes with equipment, safety accidents often occur where workers become trapped (stuck) in the equipment. There are no separate means to prevent such safety accidents, resulting in unfortunate cases where workers are seriously injured or die. There was a problem that occurred.

또한, 공장 내부는 기기에서 발생하는 각종 소음으로 인해 작업자가 안전사고의 위험에 노출되더라도 다른 작업자가 육성으로 사고위험을 알리는 것이 용이하지 않아 안전사고가 더욱 빈번하게 발생하는 원인이 되었다.In addition, even if workers are exposed to the risk of safety accidents due to various noises generated from equipment inside the factory, it is not easy for other workers to raise awareness of the risk of accidents, which causes safety accidents to occur more frequently.

본 발명은 상기한 바와 같은 제반 문제점을 해결하기 위하여 제안된 것으로, 그 목적은 논리 게이트는 가상 영역모듈과 스켈레톤 모듈에서 각각 측정 수집되는 정보를 다양하게 조합하여 기기 주변의 위험 정도를 명확하게 판단 검출함으로, 작업자의 안전사고를 미연에 방지하여 작업자를 효과적으로 보호할 수 있을 뿐만 아니라, 불필요하게 기기의 작동이 정지되어 발생할 수 있는 경제적인 손실을 최소화하여 공장 설비의 안정적인 운영 관리를 유도할 수 있는 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템을 제공함에 있다.The present invention was proposed to solve all the problems described above, and its purpose is to clearly determine and detect the level of risk around the device by combining the information measured and collected from the virtual area module and the skeleton module, respectively. By doing so, it not only effectively protects workers by preventing safety accidents, but also minimizes economic losses that may occur due to unnecessary operation of equipment, leading to stable operation and management of factory equipment. The goal is to provide a safety accident prevention system for devices using fences and skeleton images.

또한, 가상 영역모듈의 가상 경계 영역을 경보 경계 영역과 위험 경계 영역으로 구분하여 구축함으로, 작업자가 안전사고에 노출될 가능성이 있으면 곧바로 경보부를 통해 경보하여 작업자가 스스로 사고위험으로부터 벗어날 수 있도록 유도하여 작업자의 안전을 더욱 용이하게 보호할 수 있는 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템을 제공함에 있다.In addition, by dividing the virtual boundary area of the virtual area module into a warning boundary area and a danger boundary area, if there is a possibility that a worker may be exposed to a safety accident, an alert is immediately sent through the alarm unit to encourage the worker to escape the risk of an accident on his or her own. We provide a device safety accident prevention system using virtual fences and skeleton images that can more easily protect the safety of workers.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템은 기기 주변으로 가상의 경계 영역을 구축 설정하고, 그 경계 영역으로 객체의 진입 여부를 검출하는 가상 영역모듈;과, 기기 주변의 영상을 촬영하고, 그 영상 정보를 기반으로 기기 주변의 객체를 스켈레톤 모델로 형상화하여 수집하는 스켈레톤 모듈;과, 상기 가상 영역모듈과 스켈레톤 모듈의 정보를 기반으로 기기 주변의 위험 정도를 검출 판단하고, 그 판단 정보를 제어부로 전송하는 논리 게이트;와, 상기 논리 게이트의 판단 정보를 기반으로 기기의 작동을 제어하는 제어부;를 포함하여 이루어짐을 특징으로 한다.In order to achieve the above object, the safety accident prevention system for devices using a virtual fence and skeleton image according to the present invention establishes a virtual boundary area around the device and detects whether an object enters the boundary area. Area module; And, A skeleton module that captures images around the device and collects them by shaping objects around the device into a skeleton model based on the image information; And, Based on the information of the virtual area module and the skeleton module, the surroundings of the device It is characterized by comprising a logic gate that detects and determines the degree of risk and transmits the decision information to a control unit; and a control unit that controls the operation of the device based on the decision information of the logic gate.

또한, 상기 논리 게이트는 상기 가상 영역모듈에서 구축한 기기 주변의 가상 경계 영역으로 객체의 진입이 감지되고 동시에, 상기 스켈레톤 모듈을 통해 가상 경계 영역으로 진입한 객체의 스켈레톤 모델을 기반으로 객체가 사람으로 검출되면 기기 주변을 위험 상태로 판단하여 상기 제어부로 경보하며,In addition, the logic gate detects the entry of an object into the virtual boundary area around the device built in the virtual area module, and at the same time, based on the skeleton model of the object that entered the virtual boundary area through the skeleton module, the object is converted into a human. When detected, the area around the device is judged to be in a dangerous state and an alert is sent to the control unit.

상기 논리 게이트는 상기 가상 영역모듈에서 구축한 기기 주변의 가상 경계 영역으로 객체의 진입이 감지되되, 상기 스켈레톤 모듈을 통해 가상 경계 영역으로 진입한 객체의 스켈레톤 모델을 기반으로 객체가 사람이 아닌 것으로 검출되면 상기 제어부로 기기 주변을 안전한 상태로 판단하여 전송하며,The logic gate detects the entry of an object into the virtual boundary area around the device built in the virtual area module, and detects that the object is not a person based on the skeleton model of the object that entered the virtual boundary area through the skeleton module. When this happens, the surrounding area of the device is determined to be in a safe state and transmitted to the control unit.

상기 제어부는 상기 논리 게이트가 기기의 주변을 위험 상태로 판단하면 기기의 작동이 정지되도록 제어하는 것을 특징으로 한다.The control unit is characterized in that it controls the operation of the device to stop when the logic gate determines that the surroundings of the device are in a dangerous state.

또한, 상기 가상 영역모듈에서 구축되는 가상 경계 영역 내부로 진입이 허락되는 신체 부위를 설정할 수 있는 조건 설정모듈;을 더 포함하며,In addition, it further includes a condition setting module that can set body parts that are allowed to enter the virtual boundary area constructed in the virtual area module,

상기 조건 설정모듈을 통해 설정된 신체 부위가 가상 경계 영역 내부로 진입하더라도 상기 논리 게이트는 기기의 주변 상황을 안전한 상태로 판단하도록 하는 것을 특징으로 한다.Even if a body part set through the condition setting module enters the virtual boundary area, the logic gate determines that the surrounding situation of the device is in a safe state.

또한, 상기 스켈레톤 모듈은 기기 주변에 구축된 가상의 경계 영역 주위를 전체적으로 촬영하여 전체 영상을 수집하는 전체 영상 프로세서와, 기기 주변에 구축된 가상의 경계 영역의 안쪽 주위를 촬영하여 포인트 영상을 수집하는 포인트 영상 프로세서와, 상기 전체 및 포인트 영상 프로세서에 촬영된 전체 및 포인트 영상을 기반으로 영상에 포함된 객체를 스켈레톤 모델로 형상화하는 스켈레톤 AI를 포함하여 이루어지는 것을 특징으로 한다.In addition, the skeleton module includes an overall image processor that collects the entire image by shooting the entire area around the virtual boundary area built around the device, and a point image collection system that collects point images by shooting around the inside of the virtual boundary area built around the device. It is characterized by comprising a point image processor and a skeleton AI that shapes objects included in the image into a skeleton model based on the overall and point images captured by the overall and point image processor.

또한, 상기 가상 영역모듈에서 설정되는 가상 경계 영역은 기기 주변으로 구축 설정되는 위험 경계 영역과, 상기 위험 경계 영역의 바깥쪽으로 구축되는 경보 경계 영역으로 구분되며,In addition, the virtual border area set in the virtual area module is divided into a risk border area built around the device and an alarm border area built outside the risk border area,

주변으로 위험을 경보하는 경보부;를 더 포함하며,It further includes an alarm unit that warns of danger to the surroundings,

상기 논리 게이트는 상기 가상 영역모듈의 경보 경계 영역으로 객체의 진입이 감지되고 상기 스켈레톤 모듈을 통해 상기 경보 경계 영역으로 진입한 객체가 사람으로 검출되면 상기 경보부를 통해 주변으로 경보하고,When the logic gate detects the entry of an object into the alarm boundary area of the virtual area module and detects that the object entering the alarm boundary area through the skeleton module is a person, it alerts the surrounding area through the alarm unit,

상기 가상 영역모듈의 위험 경계 영역으로 객체의 진입이 감지되고 상기 스켈레톤 모듈을 통해 상기 위험 경계 영역으로 진입한 객체가 사람으로 검출되면 상기 제어부로 기기 주변을 위험 상태로 판단 경보하여 기기의 작동이 정지되도록 제어하는 것을 특징으로 한다.When an object is detected entering the danger boundary area of the virtual area module and the object entering the danger boundary area is detected as a person through the skeleton module, the control unit determines the surrounding area of the device to be in a dangerous state and alerts the device to stop operation. It is characterized by controlling it as much as possible.

이상에서와 같이 본 발명에 따른 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템에 의하면, 논리 게이트는 가상 영역모듈과 스켈레톤 모듈에서 각각 측정 수집되는 정보를 다양하게 조합하여 기기 주변의 위험 정도를 명확하게 판단 검출함으로, 작업자의 안전사고를 미연에 방지하여 작업자를 효과적으로 보호할 수 있을 뿐만 아니라, 불필요하게 기기의 작동이 정지되어 발생할 수 있는 경제적인 손실을 최소화하여 공장 설비의 안정적인 운영 관리를 유도할 수 있는 효과가 있다.As described above, according to the device safety accident prevention system using the virtual fence and skeleton image according to the present invention, the logic gate determines the level of risk around the device by combining the information measured and collected from the virtual area module and the skeleton module, respectively. By clearly judging and detecting, not only can workers be effectively protected by preventing safety accidents in advance, but they can also minimize economic losses that may occur due to unnecessary equipment shutdown, leading to stable operation and management of factory equipment. There is an effect that can be done.

또한, 가상 영역모듈의 가상 경계 영역을 경보 경계 영역과 위험 경계 영역으로 구분하여 구축함으로, 작업자가 안전사고에 노출될 가능성이 있으면 곧바로 경보부를 통해 경보하여 작업자가 스스로 사고위험으로부터 벗어날 수 있도록 유도하여 작업자의 안전을 더욱 용이하게 보호할 수 있는 효과가 있다.In addition, by dividing the virtual boundary area of the virtual area module into a warning boundary area and a danger boundary area, if there is a possibility that a worker may be exposed to a safety accident, an alert is immediately sent through the alarm unit to encourage the worker to escape the risk of an accident on his or her own. It has the effect of more easily protecting the safety of workers.

도 1은 본 발명의 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템의 개념도
도 2는 도 1에 도시된 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템을 설명하기 위한 다이어그램
도 3은 도 2에 도시된 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템의 다이어그램을 설명하기 위한 도면
도 4는 도 1에 도시된 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템에서 조건 설정모듈에 대한 다이어그램
도 5는 도 4에 도시된 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템에서 조건 설정모듈에 대한 다이어그램을 설명하기 위한 도면
도 6은 도 1에 도시된 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템을 통한 경보부의 사례를 설명하기 위한 도면Figure 1 is a conceptual diagram of a safety accident prevention system for devices using a virtual fence and skeleton image of the present invention.
Figure 2 is a diagram illustrating a safety accident prevention system for devices using the virtual fence and skeleton image shown in Figure 1
Figure 3 is a diagram illustrating a diagram of a safety accident prevention system for devices using the virtual fence and skeleton image shown in Figure 2.
Figure 4 is a diagram of the condition setting module in the device safety accident prevention system using the virtual fence and skeleton image shown in Figure 1
Figure 5 is a diagram illustrating a diagram for the condition setting module in the device safety accident prevention system using the virtual fence and skeleton image shown in Figure 4.
Figure 6 is a diagram for explaining an example of an alarm unit through a device safety accident prevention system using the virtual fence and skeleton image shown in Figure 1

본 발명의 바람직한 실시예에 따른 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템을 첨부된 도면에 의거하여 상세히 설명한다. 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략한다.A safety accident prevention system for devices using a virtual fence and a skeleton image according to a preferred embodiment of the present invention will be described in detail based on the attached drawings. Detailed descriptions of well-known functions and configurations that are judged to unnecessarily obscure the gist of the present invention are omitted.

도 1 내지 도 6은 본 발명의 실시예에 따른 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템을 도시한 것으로, 도 1은 본 발명의 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템의 개념도를, 도 2는 도 1에 도시된 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템을 설명하기 위한 다이어그램을, 도 3은 도 2에 도시된 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템의 다이어그램을 설명하기 위한 도면을, 도 4는 도 1에 도시된 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템에서 조건 설정모듈에 대한 다이어그램을, 도 5는 도 4에 도시된 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템에서 조건 설정모듈에 대한 다이어그램을 설명하기 위한 도면을, 도 6은 도 1에 도시된 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템을 통한 경보부의 사례를 설명하기 위한 도면을 각각 나타낸 것이다.1 to 6 show a safety accident prevention system for devices using a virtual fence and a skeleton image according to an embodiment of the present invention. Figure 1 shows a safety accident prevention system for devices using a virtual fence and a skeleton image of the present invention. , FIG. 2 is a diagram to explain the safety accident prevention system for devices using the virtual fence and skeleton image shown in FIG. 1, and FIG. 3 is a diagram for explaining the safety of devices using the virtual fence and skeleton image shown in FIG. 2. FIG. 4 is a diagram for explaining the diagram of the accident prevention system, FIG. 4 is a diagram of the condition setting module in the device safety accident prevention system using the virtual fence and skeleton image shown in FIG. 1, and FIG. 5 is a diagram showing the condition setting module shown in FIG. 4. Figure 6 is a diagram to explain the condition setting module in the device safety accident prevention system using a virtual fence and skeleton image, and Figure 6 shows the device safety accident prevention system using the virtual fence and skeleton image shown in Figure 1. Each drawing is shown to explain a case of an alarm unit.

도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템(100)은 가상 영역모듈(10)과, 스켈레톤 모듈(20)과, 논리 게이트(30)와, 제어부(40)를 포함하고 있다.As shown in Figure 1, the device safety accident prevention system 100 using a virtual fence and a skeleton image according to an embodiment of the present invention includes a virtual area module 10, a skeleton module 20, and a logic gate ( 30) and a control unit 40.

상기 가상 영역모듈(10)은 기기 주변으로 가상의 경계 영역(11)을 구축 설정하고, 그 경계 영역으로 객체의 진입 여부를 검출하도록 한다.The virtual area module 10 establishes a virtual boundary area 11 around the device and detects whether an object enters the boundary area.

여기서, 기기 주변에 구축되는 가상의 경계 영역(11)은 기기가 사용되는 주변의 여건이나 조건 등을 고려하여 다양한 크기나 형상으로 구축될 수 있으며, 이러한 가상의 경계 영역(11)은 통상의 3D 라이다(LiDAR:Light Detection And Ranging) 방식을 기반으로 구축되도록 하나, 이러한 방식으로 한정하여 구축하는 것은 물론 아니다.Here, the virtual boundary area 11 built around the device can be constructed in various sizes or shapes in consideration of the surrounding conditions or conditions in which the device is used, and this virtual boundary area 11 is a typical 3D area. It will be built based on the LiDAR (Light Detection And Ranging) method, but of course, it is not limited to this method.

즉, 상기 가상 영상모듈(10)은 기기 주변으로 가상의 경계 영역(11)을 구축하고, 그 구축된 경계 영역(11)으로 객체의 진입 여부를 검출하게 되는데, 이렇게 검출되는 검출 정보는 상기 논리 게이트(30)에서 기기 주변의 위험 정도를 판단하는 기반이 된다.That is, the virtual image module 10 constructs a virtual boundary area 11 around the device and detects whether an object enters the constructed boundary area 11. The detection information detected in this way is based on the logic. It serves as the basis for determining the level of risk around the device at the gate 30.

상기 스켈레톤 모듈(20)은 기기 주변의 영상을 촬영하고, 그 영상 정보를 기반으로 기기 주변의 객체를 스켈레톤 모델로 형상화하여 수집하는 것으로,The skeleton module 20 captures images around the device, shapes objects around the device into a skeleton model based on the image information, and collects them.

기기 주변에 구축된 가상의 경계 영역(11) 주위를 전체적으로 촬영하여 전체 영상을 수집하는 전체 영상 프로세서(21)와, 기기 주변에 구축된 가상의 경계 영역(11)의 안쪽 주위를 촬영하여 포인트 영상을 수집하는 포인트 영상 프로세서(22)와, 상기 전체 및 포인트 영상 프로세서(21,22)에 촬영된 전체 및 포인트 영상을 기반으로 영상에 포함된 객체를 스켈레톤 모델로 형상화하는 스켈레톤 AI(23)를 포함하여 이루어진다.An overall image processor 21 that collects the entire image by shooting the entire area around the virtual boundary area 11 built around the device, and a point image by shooting the inside area around the virtual boundary area 11 built around the device. It includes a point image processor 22 that collects and a skeleton AI 23 that shapes objects included in the image into a skeleton model based on the overall and point images captured by the overall and point image processors 21 and 22. This is done.

여기서, 상기 전체 및 포인트 영상 프로세서(21,22)는 CCTV, IP 카메라, 적외선 카메라 등과 같이 영상을 촬영할 수 있는 어떠한 기기로 구현될 수 있음은 물론이다.Here, of course, the overall and point image processors 21 and 22 can be implemented with any device that can capture images, such as CCTV, IP cameras, infrared cameras, etc.

즉, 상기 전체 및 포인트 영상 프로세서(21,22)는 가상의 경계 영역(11)의 주변을 영상으로 촬영하고, 상기 스켈레톤 AI(23)는 촬영된 영상 정보를 시간의 흐름에 따라 연속된 복수의 이미지 프레임으로 구성하고, 그 구성된 이미지 프레임 상의 객체에서 관절 부위에 대응되는 키 포인트를 기초로 스켈레톤 모델을 형상화한다.That is, the overall and point image processors 21 and 22 capture images around the virtual boundary area 11, and the skeleton AI 23 converts the captured image information into a plurality of consecutive images over time. It is composed of an image frame, and a skeleton model is formed based on key points corresponding to the joint parts of the object on the composed image frame.

여기서, 상기 스켈레톤 AI(23)는 상기 전체 영상 프로세서(21)의 영상과 함께 상기 포인트 영상 프로세서(22)의 영상을 통해 가상의 경계 영역(11)의 안쪽으로 진입하는 객체의 부위를 보다 정밀하게 검출할 수 있는데, 일 예로 스켈레톤 모델로 형상화된 객체가 사람의 경우엔 가상의 경계 영역의 안쪽으로 진입한 신체 부위를 매우 정밀(정확)하게 검출할 수 있는 것이다.Here, the skeleton AI 23 uses the image of the point image processor 22 along with the image of the entire image processor 21 to more precisely identify the part of the object entering the inside of the virtual boundary area 11. For example, in the case of a human object shaped as a skeleton model, the body part that has entered the inside of the virtual boundary area can be detected very precisely (accurately).

따라서 상기 논리 게이트(30)는 상기 스켈레톤 AI(23)에서 형상화되는 스켈레톤 모델을 기반으로 매우 신뢰도가 우수한 기기 주변의 위험 정도를 검출할 수 있는데, 이에 대해서는 아래에서 상세히 설명하도록 한다.Therefore, the logic gate 30 can detect the degree of risk around a highly reliable device based on the skeleton model embodied in the skeleton AI 23, which will be described in detail below.

도 2에 도시된 바와 같이, 상기 논리 게이트(30)는 상기 가상 영역모듈(10)과 스켈레톤 모듈(20)의 정보를 기반으로 기기 주변의 위험 정도를 검출 판단하고, 그 판단 정보를 후설될 상기 제어부(40)로 전송하여 작업자의 안전이 보호될 수 있도록 기기가 제어되도록 한다.As shown in FIG. 2, the logic gate 30 detects and determines the degree of risk around the device based on the information of the virtual area module 10 and the skeleton module 20, and transfers the judgment information to the above information, which will be described later. It is transmitted to the control unit 40 to control the device so that the safety of workers is protected.

여기서, 상기 논리 게이트(30)를 통해 기기 주변의 위험 정도를 검출 판단하는 과정을 설명하기 위해 기기를 모터의 동력원을 기반으로 교반날개를 회전시켜 재료를 반죽하는 반죽기기로 구현하여 설명하도록 하나, 이러한 기기로 한정하는 것은 물론 아니다.Here, in order to explain the process of detecting and determining the level of danger around the device through the logic gate 30, the device will be described by implementing it as a kneading device that kneads the ingredients by rotating the stirring blade based on the power source of the motor. Of course, it is not limited to these devices.

먼저, 도 3a에 도시된 바와 같이 상기 논리 게이트(30)는 상기 가상 영역모듈(10)에서 구축한 반죽기기 주변의 가상 경계 영역(11)으로 객체의 진입이 감지되고 동시에, 상기 스켈레톤 모듈(20)을 통해 가상 경계 영역(11)으로 진입한 객체의 스켈레톤 모델을 기반으로 객체가 사람으로 검출되면 반죽기기 주변을 위험 상태로 판단하고 상기 제어부(40)로 경보하여 반죽기기가 곧바로 정지될 수 있도록 한다.First, as shown in FIG. 3A, the logic gate 30 detects the entry of an object into the virtual boundary area 11 around the kneading machine built in the virtual area module 10, and at the same time, the skeleton module 20 ), if the object is detected as a person based on the skeleton model of the object that entered the virtual boundary area 11 through ), the area around the kneading machine is judged to be in a dangerous state and an alert is sent to the control unit 40 so that the kneading machine can be stopped immediately. do.

따라서 상기 가상 영역모듈(10)에서 구축한 가상 경계 영역(11)으로 진입한 작업자가 반죽기기에 협착될 수 있는 안전사고를 미연에 방지하여 작업자의 안전이 효과적으로 보호될 수 있도록 한다.Accordingly, the safety of workers can be effectively protected by preventing safety accidents in which workers entering the virtual boundary area 11 constructed by the virtual area module 10 may become trapped in the kneading machine.

또한, 도 3b에 도시된 바와 같이 상기 논리 게이트는 상기 가상 영역모듈(10)에서 구축한 반죽기기 주변의 가상 경계 영역(11)으로 객체의 진입이 감지되되, 상기 스켈레톤 모듈(20)을 통해 가상 경계 영역(11)으로 진입한 객체의 스켈레톤 모델을 기반으로 객체가 사람이 아닌 것으로 검출되면 상기 제어부(40)로 기기 주변을 안전한 상태로 판단하여 전송하여 반죽기기의 작동이 유지되도록 한다.In addition, as shown in Figure 3b, the logic gate detects the entry of an object into the virtual boundary area 11 around the kneading machine built in the virtual area module 10, and detects the virtual boundary area 11 through the skeleton module 20. If the object is detected to be non-human based on the skeleton model of the object entering the boundary area 11, the control unit 40 determines the surrounding area of the device to be in a safe state and transmits the judgment to maintain the operation of the kneading device.

상기와 같은 논리 게이트(30)를 통한 판단은 상기 가상 영역모듈(10)과 스켈레톤 모듈(20)에서 각각 수집되는 정보를 조합하여 판단함으로, 그 판단 정보에 대한 우수한 신뢰도를 기대할 수 있어 작업자의 안전사고는 효과적으로 방지하면서 불필요하게 기기의 작동이 정지되어 발생할 수 있는 경제적인 손실이 최소화되도록 유도할 수 있다.The judgment through the logic gate 30 as described above is made by combining the information collected from the virtual area module 10 and the skeleton module 20, so excellent reliability of the judgment information can be expected, thereby ensuring worker safety. Accidents can be effectively prevented while economic losses that may occur due to unnecessary equipment shutdown can be minimized.

상기 제어부(40)는 상기 논리 게이트(30)의 판단 정보를 기반으로 상기와 같이 기기의 작동을 제어하여 작업자를 안전하게 보호하도록 한다.The control unit 40 controls the operation of the device as described above based on the judgment information of the logic gate 30 to safely protect workers.

한편, 도 1에 도시된 바와 같이 상기 가상 영역모듈(10)에서 구축되는 가상 경계 영역(11) 내부로 진입이 허락되는 신체 부위를 설정할 수 있는 조건 설정모듈(50);을 더 포함하며,Meanwhile, as shown in FIG. 1, it further includes a condition setting module 50 that can set body parts that are allowed to enter the virtual boundary area 11 constructed in the virtual area module 10,

상기 조건 설정모듈(50)을 통해 설정된 신체 부위가 가상 경계 영역(11) 내부로 진입하더라도 상기 논리 게이트(30)는 기기의 주변 상황을 안전한 상태로 판단하도록 한다.Even if the body part set through the condition setting module 50 enters the virtual boundary area 11, the logic gate 30 determines the surrounding situation of the device to be in a safe state.

기기의 종류에 따라 작업자의 신체가 기기 측으로 근접하면서 상기 가상 경계 영역(11)을 반복하여 진입하는 경우가 발생할 수 있는데, 일 예로 기기의 내부로 작업자가 직접 재료를 투입하거나 기기 내부의 재료를 회수하는 경우엔 작업자의 신체가 자연스럽게 기기 주변에 구축되는 가상 경계 영역(11)으로 진입할 수밖에 없다.Depending on the type of device, there may be cases where the worker's body approaches the device and repeatedly enters the virtual boundary area 11. For example, the worker directly inserts materials into the device or retrieves materials from the device. In this case, the worker's body has no choice but to naturally enter the virtual boundary area (11) built around the device.

따라서, 도 4와 도 5a에 도시된 바와 같이 상기 조건 설정모듈(50)을 통해 가상 경계 영역(11)으로 진입이 허락되는 신체 부위를 손을 포함하는 팔꿈치 부위까지 설정하면, 상기 논리 게이트(30)는 상기 가상 영역모듈(10)과 스켈레톤 모듈(20)을 통해 상기 가상 경계 영역(11)으로 사람의 진입을 감지하되, 상기 조건 설정모듈(50)에서 설정된 신체의 손과 팔꿈치 부위까지만 진입하는 경우엔 기기의 주변을 안전한 상태로 판단하게 된다.Therefore, as shown in FIGS. 4 and 5A, if the body parts permitted to enter the virtual boundary area 11 are set up to the elbow area including the hand through the condition setting module 50, the logic gate 30 ) detects the entry of a person into the virtual boundary area 11 through the virtual area module 10 and the skeleton module 20, but only enters the hand and elbow areas of the body set in the condition setting module 50. In this case, the surrounding area of the device is judged to be in a safe state.

만약, 도 5b에 도시된 바와 같이 상기 가상 경계 영역(11)으로 작업자의 신체에서 팔꿈치를 넘어 팔뚝, 어깨 부위가 진입하면 상기 논리 게이트(30)는 기기 주변을 위험 상태로 판단하고 상기 제어부(40)로 경보하여 기기를 신속하게 정지시켜 작업자의 안전을 확보함은 물론이다.As shown in FIG. 5B, if the forearm or shoulder area beyond the elbow of the worker's body enters the virtual boundary area 11, the logic gate 30 determines the area around the device to be in a dangerous state and the control unit 40 ) of course, ensures the safety of workers by quickly stopping the device by sending an alarm.

여기서, 상기 스켈레톤 모듈(20)은 상기 가상 경계 영역(11)의 주위를 전체적으로 촬영하는 상기 전체 영상 프로세서(21)와 상기 가상 경계 영역(11)의 안쪽을 집중적으로 촬영하는 상기 포인트 영상 프로세서(22)에서 촬영되는 영상 정보를 기반으로 스켈레톤 모델을 형상화함으로, 상기 가상 경계 영역(11)으로 진입하는 객체의 사람 여부와 함께 상기 가상 경계 영역(11) 내부로 진입하는 신체 부위를 매우 정확하게 검출 판단할 수 있어 상기 스켈레톤 모듈(20)의 검출 정보를 기반으로 기기의 위험 상태를 판단하는 상기 논리 게이트(30)의 판단에 대한 우수한 신뢰도를 확보할 수 있다.Here, the skeleton module 20 includes the entire image processor 21, which images the entire surroundings of the virtual boundary area 11, and the point image processor 22, which intensively images the inside of the virtual boundary area 11. ) By shaping the skeleton model based on the image information captured in Therefore, excellent reliability of the judgment of the logic gate 30, which determines the dangerous state of the device based on the detection information of the skeleton module 20, can be secured.

한편, 도 1에 도시된 바와 같이 상기 가상 영역모듈(10)에서 설정되는 가상 경계 영역(11)은 기기 주변으로 구축 설정되는 위험 경계 영역(11a)과, 상기 위험 경계 영역(11a)의 바깥쪽으로 구축되는 경보 경계 영역(11b)으로 구분되며,Meanwhile, as shown in FIG. 1, the virtual border area 11 set in the virtual area module 10 includes a risk border area 11a built around the device and outside of the risk border area 11a. It is divided into a constructed alarm boundary area (11b),

주변으로 위험을 경보하는 경보부(60);를 더 포함하며,It further includes an alarm unit 60 that warns of danger to the surroundings,

상기 논리 게이트(30)는 상기 가상 영역모듈(10)의 경보 경계 영역(11b)으로 객체의 진입이 감지되고 상기 스켈레톤 모듈(20)을 통해 상기 경보 경계 영역(11b)으로 진입한 객체가 사람으로 검출되면 상기 경보부(60)를 통해 주변으로 경보하고,The logic gate 30 detects the entry of an object into the alarm boundary area 11b of the virtual area module 10, and detects the object entering the alarm boundary area 11b through the skeleton module 20 as a person. When detected, an alert is sent to the surroundings through the alarm unit 60,

상기 가상 영역모듈(10)의 위험 경계 영역(11a)으로 객체의 진입이 감지되고 상기 스켈레톤 모듈(20)을 통해 상기 위험 경계 영역(11a)으로 진입한 객체가 사람으로 검출되면 상기 제어부(40)로 기기 주변을 위험 상태로 판단 경보하여 기기의 작동이 정지되도록 제어하도록 한다.When an object is detected entering the danger boundary area 11a of the virtual area module 10 and the object entering the danger boundary area 11a through the skeleton module 20 is detected as a person, the control unit 40 The area around the device is judged to be in a dangerous state and an alarm is issued to control the device to stop operation.

즉, 도 6에 에 도시된 바와 같이 상기 논리 게이트(30)는 상기 가상 영역모듈(10)과 스켈레톤 모듈(20)의 검출 정보를 기반으로 기기 주변에 구축되는 상기 경보 경계 영역(11b)으로 사람의 진입이 검출되면, 상기 경보부(60)를 통해 주변으로 경보하여 상기 경보 경계 영역(11b)으로 진입한 사람이 기기 주변에서 이탈하여 위험으로부터 벗어날 수 있도록 유도하며, 이때 기기는 정상적으로 작동하도록 한다.That is, as shown in FIG. 6, the logic gate 30 is the alarm boundary area 11b built around the device based on the detection information of the virtual area module 10 and the skeleton module 20. When the entry of is detected, an alert is sent to the surroundings through the alarm unit 60 to guide the person entering the alarm boundary area 11b to escape from danger by leaving the vicinity of the device, and at this time, the device is allowed to operate normally.

여기서, 상기 경보부(60)는 주변으로 광원을 발산하는 통상의 경보등으로 구현되어 각종 소음이 발생하는 현장에서도 작업자에게 효과적으로 경보가 전달될 수 있도록 유도함이 바람직하다.Here, the alarm unit 60 is preferably implemented as a normal alarm light that emits a light source to the surroundings, so that the alarm can be effectively delivered to workers even in sites where various noises are generated.

그러다가 기기 주변에 구축되는 상기 위험 경계 영역(11a)으로 사람의 진입이 검출되면 상기 논리 게이트(30)는 상기 제어부(40)로 위험 상태를 경보하여 곧바로 기기의 작동이 정지되어 상기 위험 경계 영역으로 진입한 사람의 안전사고를 방지한다.Then, when a person's entry into the danger boundary area 11a built around the device is detected, the logic gate 30 alerts the control unit 40 of a dangerous state and immediately stops the operation of the device and moves it to the danger boundary area. Prevent safety accidents for those entering.

여기서, 상기 가상 경계 영역(11)을 경보 경계 영역(11b)과 위험 경계 영역(11a)으로 구분함으로, 상기 논리 게이트(30)를 통해 판단되는 경보에 대한 수위를 보다 다양하게 설정하여 작업자의 안전을 보다 효과적으로 보호하는 동시에, 작업자가 상기 위험 경계 영역(11a)으로 진입하는 것을 용이하게 차단하여 기기의 원활한 작동이 확보될 수 있도록 한다.Here, by dividing the virtual boundary area 11 into an alarm boundary area 11b and a danger boundary area 11a, the level of the alarm determined through the logic gate 30 can be set more diversely to ensure worker safety. It protects more effectively and at the same time easily blocks workers from entering the dangerous boundary area 11a to ensure smooth operation of the device.

상기와 같은 구성으로 이루어지는 본 발명의 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템(100)의 논리 게이트(30)는 상기 가상 영역모듈(10)과 스켈레톤 모듈(20)에서 각각 측정 수집되는 정보를 다양하게 조합하여 기기 주변의 위험 정도를 명확하게 판단 검출함으로, 작업자의 안전사고를 미연에 방지하여 작업자를 효과적으로 보호할 수 있을 뿐만 아니라, 불필요하게 기기의 작동이 정지되어 발생할 수 있는 경제적인 손실을 최소화하여 공장 설비의 안정적인 운영 관리를 유도할 수 있는 효과가 있다.The logic gate 30 of the device safety accident prevention system 100 using the virtual fence and skeleton image of the present invention configured as described above is measured and collected from the virtual area module 10 and the skeleton module 20, respectively. By combining a variety of information to clearly determine and detect the level of risk around the device, not only can workers be effectively protected by preventing safety accidents in advance, but it can also provide economical savings that can occur when the device stops operating unnecessarily. It has the effect of minimizing losses and leading to stable operation and management of factory equipment.

또한, 상기 가상 영역모듈(10)의 가상 경계 영역(11)을 경보 경계 영역(11b)과 위험 경계 영역(11a)으로 구분하여 구축함으로, 작업자가 안전사고에 노출될 가능성이 있으면 곧바로 상기 경보부(60)를 통해 경보하여 작업자가 스스로 사고위험으로부터 벗어날 수 있도록 유도하여 작업자의 안전을 더욱 용이하게 보호할 수 있는 효과가 있다.In addition, by constructing the virtual boundary area 11 of the virtual area module 10 by dividing it into an alarm boundary area 11b and a danger boundary area 11a, if there is a possibility that a worker may be exposed to a safety accident, the alarm unit ( 60), it has the effect of making it easier to protect the safety of workers by guiding them to escape the risk of accidents by providing an alarm.

본 발명은 첨부된 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것으로 상술한 실시예에 한정되지 않으며, 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 실시예가 가능하다는 점을 이해할 수 있을 것이다. 또한, 본 발명의 사상을 해치지 않는 범위 내에서 당업자에 의한 변형이 가능함은 물론이다. 따라서, 본 발명에서 권리를 청구하는 범위는 상세한 설명의 범위 내로 정해지는 것이 아니라 후술되는 청구범위와 이의 기술적 사상에 의해 한정될 것이다.The present invention has been described with reference to the embodiments shown in the accompanying drawings, but these are illustrative and are not limited to the above-described embodiments, and various modifications and equivalent embodiments can be made by those skilled in the art. You will understand the point. In addition, it goes without saying that modifications can be made by those skilled in the art without impairing the spirit of the present invention. Accordingly, the scope claimed in the present invention will not be limited by the scope of the detailed description, but will be limited by the claims and technical ideas described later.

10. 가상 영역모듈 11. 가상 경계 영역
20. 스켈레톤 모듈 21. 전체 영상 프로세서
22. 포인트 영상 프로세서 23. 스켈레톤 AI
30. 논리 게이트 40. 제어부
50. 조건 설정모듈 60. 경보부
100. 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템10. Virtual area module 11. Virtual boundary area
20. Skeleton module 21. Full video processor
22. Point image processor 23. Skeleton AI
30. Logic gate 40. Control unit
50. Condition setting module 60. Alarm unit
100. Device safety accident prevention system using virtual fence and skeleton image

Claims (5)

기기에 발생할 수 있는 안전사고를 방지하는 시스템에 있어서,
기기 주변으로 가상의 경계 영역(11)을 구축 설정하고, 그 경계 영역으로 객체(Object)의 진입 여부를 검출하는 가상 영역모듈(10);
기기 주변의 영상을 촬영하고, 그 영상 정보를 기반으로 기기 주변의 객체를 스켈레톤 모델(skeleton model)로 형상화하여 수집하는 스켈레톤 모듈(20);
상기 가상 영역모듈(10)과 스켈레톤 모듈(20)의 정보를 기반으로 기기 주변의 위험 정도를 검출 판단하고, 그 판단 정보를 제어부(40)로 전송하는 논리 게이트(30); 및
상기 논리 게이트(30)의 판단 정보를 기반으로 기기의 작동을 제어하는 제어부(40);를 포함하여 이루어지는 것을 특징으로 하는 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템.
In a system that prevents safety accidents that may occur in devices,
A virtual area module 10 that constructs and sets a virtual boundary area 11 around the device and detects whether an object enters the boundary area.
A skeleton module 20 that captures images around the device and collects objects around the device by forming them into a skeleton model based on the image information;
A logic gate (30) that detects and determines the degree of risk around the device based on information from the virtual area module (10) and the skeleton module (20) and transmits the determination information to the control unit (40); and
A safety accident prevention system for devices using a virtual fence and skeleton image, comprising: a control unit 40 that controls the operation of the device based on the judgment information of the logic gate 30.
 제 1 항에 있어서,
상기 논리 게이트(30)는 상기 가상 영역모듈(10)에서 구축한 기기 주변의 가상 경계 영역(11)으로 객체의 진입이 감지되고 동시에, 상기 스켈레톤 모듈(20)을 통해 가상 경계 영역(11)으로 진입한 객체의 스켈레톤 모델을 기반으로 객체가 사람으로 검출되면 기기 주변을 위험 상태로 판단하여 상기 제어부(40)로 경보하며,
상기 논리 게이트(30)는 상기 가상 영역모듈(10)에서 구축한 기기 주변의 가상 경계 영역(11)으로 객체의 진입이 감지되되, 상기 스켈레톤 모듈(20)을 통해 가상 경계 영역(11)으로 진입한 객체의 스켈레톤 모델을 기반으로 객체가 사람이 아닌 것으로 검출되면 상기 제어부(40)로 기기 주변을 안전한 상태로 판단하여 전송하며,
상기 제어부(40)는 상기 논리 게이트(30)가 기기의 주변을 위험 상태로 판단하면 기기의 작동이 정지되도록 제어하는 것을 특징으로 하는 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템.
According to claim 1,
The logic gate 30 detects the entry of an object into the virtual boundary area 11 around the device built in the virtual area module 10, and simultaneously enters the virtual boundary area 11 through the skeleton module 20. If the object is detected as a person based on the skeleton model of the entered object, the surrounding area of the device is judged to be in a dangerous state and an alert is sent to the control unit 40,
The logic gate 30 detects the entry of an object into the virtual boundary area 11 around the device constructed in the virtual area module 10, and enters the virtual boundary area 11 through the skeleton module 20. If the object is detected to be non-human based on the skeleton model of the object, the surrounding area of the device is determined to be in a safe state and transmitted to the control unit 40.
The control unit 40 is a device safety accident prevention system using a virtual fence and skeleton image, characterized in that the logic gate 30 controls the operation of the device to stop when the device's surroundings are judged to be in a dangerous state.
 제 2 항에 있어서,
상기 가상 영역모듈(10)에서 구축되는 가상 경계 영역(11) 내부로 진입이 허락되는 신체 부위를 설정할 수 있는 조건 설정모듈(50);을 더 포함하며,
상기 조건 설정모듈(50)을 통해 설정된 신체 부위가 가상 경계 영역(11) 내부로 진입하더라도 상기 논리 게이트(30)는 기기의 주변 상황을 안전한 상태로 판단하도록 하는 것을 특징으로 하는 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템.
According to claim 2,
It further includes a condition setting module (50) that can set body parts that are allowed to enter the virtual boundary area (11) constructed in the virtual area module (10),
A virtual fence and skeleton image, characterized in that even if a body part set through the condition setting module 50 enters the inside of the virtual boundary area 11, the logic gate 30 determines the surrounding situation of the device to be in a safe state. Safety accident prevention system for devices using .
 제 3 항에 있어서,
상기 스켈레톤 모듈(20)은,
기기 주변에 구축된 가상의 경계 영역(11) 주위를 전체적으로 촬영하여 전체 영상을 수집하는 전체 영상 프로세서(21)와,
기기 주변에 구축된 가상의 경계 영역(11)의 안쪽 주위를 촬영하여 포인트 영상을 수집하는 포인트 영상 프로세서(22)와,
상기 전체 및 포인트 영상 프로세서(21,22)에 촬영된 전체 및 포인트 영상을 기반으로 영상에 포함된 객체를 스켈레톤 모델로 형상화하는 스켈레톤 AI(Artificial Intelligence)(23)를 포함하여 이루어지는 것을 특징으로 하는 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템.
According to claim 3,
The skeleton module 20 is,
an overall image processor (21) that collects the entire image by capturing the entire area around the virtual boundary area (11) built around the device;
A point image processor 22 that collects point images by photographing the inside of a virtual boundary area 11 built around the device;
A virtual machine comprising a skeleton AI (Artificial Intelligence) (23) that shapes objects included in the image into a skeleton model based on the overall and point images captured by the overall and point image processors (21, 22). Safety accident prevention system for devices using fence and skeleton images.
 제 2 항에 있어서,
상기 가상 영역모듈(10)에서 설정되는 가상 경계 영역(11)은 기기 주변으로 구축 설정되는 위험 경계 영역(11a)과, 상기 위험 경계 영역(11a)의 바깥쪽으로 구축되는 경보 경계 영역(11b)으로 구분되며,
주변으로 위험을 경보하는 경보부(60);를 더 포함하며,
상기 논리 게이트(30)는 상기 가상 영역모듈(10)의 경보 경계 영역(11b)으로 객체의 진입이 감지되고 상기 스켈레톤 모듈(20)을 통해 상기 경보 경계 영역(11b)으로 진입한 객체가 사람으로 검출되면 상기 경보부(60)를 통해 주변으로 경보하고,
상기 가상 영역모듈(10)의 위험 경계 영역(11a)으로 객체의 진입이 감지되고 상기 스켈레톤 모듈(20)을 통해 상기 위험 경계 영역(11a)으로 진입한 객체가 사람으로 검출되면 상기 제어부(40)로 기기 주변을 위험 상태로 판단 경보하여 기기의 작동이 정지되도록 제어하는 것을 특징으로 하는 가상펜스와 스켈레톤 영상을 이용한 기기의 안전사고 방지 시스템.According to claim 2,
The virtual border area 11 set in the virtual area module 10 is divided into a risk border area 11a built around the device and a warning border area 11b built outside the risk border area 11a. Separated,
It further includes an alarm unit 60 that warns of danger to the surroundings,
The logic gate 30 detects the entry of an object into the alarm boundary area 11b of the virtual area module 10, and detects the object entering the alarm boundary area 11b through the skeleton module 20 as a person. When detected, an alert is sent to the surroundings through the alarm unit 60,
When an object is detected entering the danger boundary area 11a of the virtual area module 10 and the object entering the danger boundary area 11a through the skeleton module 20 is detected as a person, the control unit 40 A safety accident prevention system for devices using a virtual fence and skeleton image, which determines the surrounding area around the device to be in a dangerous state and controls the operation of the device to stop.
KR1020220151427A 2022-11-14 2022-11-14 Device safety accident prevention system using virtual fence and skeleton image KR20240070752A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220151427A KR20240070752A (en) 2022-11-14 2022-11-14 Device safety accident prevention system using virtual fence and skeleton image
PCT/KR2023/016433 WO2024106782A1 (en) 2022-11-14 2023-10-21 Safety accident prevention system for apparatus using virtual fences and skeleton images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220151427A KR20240070752A (en) 2022-11-14 2022-11-14 Device safety accident prevention system using virtual fence and skeleton image

Publications (1)

Publication Number Publication Date
KR20240070752A true KR20240070752A (en) 2024-05-22

Family

ID=91085101

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220151427A KR20240070752A (en) 2022-11-14 2022-11-14 Device safety accident prevention system using virtual fence and skeleton image

Country Status (2)

Country Link
KR (1) KR20240070752A (en)
WO (1) WO2024106782A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004043514A1 (en) * 2004-09-08 2006-03-09 Sick Ag Method and device for controlling a safety-related function of a machine
DE102004055229A1 (en) * 2004-11-17 2006-05-18 Heidelberger Druckmaschinen Ag Dangerous zone e.g. sheet feeder, securing method for printing machine, involves affecting object based on operating condition of machine and identification of object in zone by sensor that differentiates human body part and article
DE102013104265A1 (en) * 2013-04-26 2014-10-30 Pilz Gmbh & Co. Kg Device and method for securing an automated machine
KR102083385B1 (en) * 2018-08-28 2020-03-02 여의(주) A Method for Determining a Dangerous Situation Based on a Motion Perception of a Image Extracting Data
KR102301425B1 (en) * 2020-08-14 2021-09-14 방병주 heavy equipment control system through selective sensing of objects

Also Published As

Publication number Publication date
WO2024106782A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
US7652238B2 (en) Method and apparatus for detecting an object through the use of multiple sensors
CN111226178B (en) Monitoring device, industrial system, method for monitoring and computer program
ES2575097T3 (en) Passive detection of people in elevator elevator shaft
JP5035768B2 (en) Safety device for human robot coexistence work
US7623031B2 (en) Method and apparatus for the control of a safety-relevant function of a machine
KR101470315B1 (en) Closed-circuit television system of sensing risk by moving of object and method thereof
EP3112900B1 (en) Safety system and method to detect a risk condition in a region to be monitored placed close to an operating machine, such as a drilling machine or the like
JP2004276154A (en) Invading object monitoring device
KR20210019872A (en) Wearable safety terminal and control method for accident prevention using the same
JP2009134488A (en) Plant monitoring system
CN107150342B (en) Industrial robot and industrial robot obstacle avoidance system thereof
KR20160006426A (en) Protection system of guard post for military
KR20240070752A (en) Device safety accident prevention system using virtual fence and skeleton image
CN114734967A (en) Unmanned agricultural machinery operation safety device, system and method
KR20240074933A (en) Device safety accident prevention system using virtual fence and skeleton image
JPH10232985A (en) Indoor monitoring device
JP2017004086A (en) Danger prediction system
CN111422586A (en) Alarm system and method of adhesive tape machine
CN112597950A (en) Safety monitoring method and device for mechanical equipment
JP6838027B2 (en) Robot system
CN107082334A (en) A kind of Load-Carrying Equipment safe early warning guard system and method
JP2001320698A (en) Image type monitoring method, and image type monitoring device and safety system using it
JPH09303685A (en) Human body protecting method in work machinery
KR20180055599A (en) Safety managing system for worker
JP2005153051A (en) Safety device of working machine