KR20230075595A - Method for predicting accident based on AI - Google Patents

Method for predicting accident based on AI Download PDF

Info

Publication number
KR20230075595A
KR20230075595A KR1020210161923A KR20210161923A KR20230075595A KR 20230075595 A KR20230075595 A KR 20230075595A KR 1020210161923 A KR1020210161923 A KR 1020210161923A KR 20210161923 A KR20210161923 A KR 20210161923A KR 20230075595 A KR20230075595 A KR 20230075595A
Authority
KR
South Korea
Prior art keywords
risk
region
interest
image
accident
Prior art date
Application number
KR1020210161923A
Other languages
Korean (ko)
Inventor
심재민
김재구
전경미
김원회
신선호
이준민
박천덕
Original Assignee
주식회사 지오멕스소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지오멕스소프트 filed Critical 주식회사 지오멕스소프트
Priority to KR1020210161923A priority Critical patent/KR20230075595A/en
Publication of KR20230075595A publication Critical patent/KR20230075595A/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Provided is an accident prediction method that can predict and respond to accidents in hazardous areas based on artificial intelligence. The accident prediction method includes: predicting the level of risk by tracking and analyzing the movement or behavior of an object extracted from a captured image transmitted from a surveillance device installed in an area where an accident is likely to occur; and issuing an alarm or notifying relevant organizations according to the predicted risk. Thus, it is possible to take precautions against and prevent safety accidents that may occur in the area.

Description

인공지능 기반의 사고발생 예측방법{Method for predicting accident based on AI}Artificial intelligence-based accident prediction method {Method for predicting accident based on AI}

본 발명은 인공지능을 기반으로 위험지역에서 사고발생을 예측하여 대응할 수 있는 사고발생 예측방법에 관한 것이다. The present invention relates to an accident prediction method capable of predicting and responding to accidents in dangerous areas based on artificial intelligence.

CCTV(CCTV: closed-circuit television, 폐쇄회로 텔레비전)는 특정 건축물이나 시설물에서 특정 수신자를 대상으로 유선 또는 특수 무선 전송로를 이용해 화상을 전송하는 시스템이다. CCTV (closed-circuit television) is a system that transmits an image to a specific receiver in a specific building or facility using a wired or special wireless transmission path.

이러한 CCTV를 감시카메라로 이용하여 특정 지역에 대한 감시를 수행하고 있으며, 감시하는 대상지역이 넓은 경우 복수의 감시카메라를 특정 위치마다 설치하고 하나의 모니터 화면에 영역을 분할하여 표시하는 CCTV 관제시스템이 사용되고 있다.These CCTVs are used as monitoring cameras to monitor a specific area, and if the target area to be monitored is wide, a CCTV control system that installs multiple surveillance cameras at specific locations and divides and displays the area on a single monitor screen It is being used.

이러한 CCTV관제시스템은 관제자가 모니터링 화면에서 특정 객체(사람 또는 차량 등)를 육안으로 확인하고 직관적으로 동일인이라고 추정하면서 추적하는 방식을 이용하고 있으며, 화면을 분할하여 다수의 감시카메라 영상이 함께 표시될 경우 특정 감시카메라의 촬영 영역에서 모니터링 대상 객체가 다른 감시카메라 촬영 영역으로 이동하는 경우 관제자가 바로 인식하기 어려운 문제점이 있었다.This CCTV control system uses a method in which a controller visually checks a specific object (person or vehicle, etc.) on the monitoring screen and intuitively assumes that it is the same person and tracks it. In this case, when an object to be monitored moves from a shooting area of a specific surveillance camera to a shooting area of another surveillance camera, it is difficult for a controller to immediately recognize it.

이에, 기존의 감시카메라를 대신하여 PTZ(Pan/Tilt/Zoom) 카메라를 사용하여 카메라 자체로 객체를 감시 추적하는 방식의 감시시스템이 개발되고 있다. 이러한 감시시스템은 PTZ카메라가 위험요소를 가진 객체를 발견 시 관제자에게 알람을 제공하며, 관제자가 PTZ 카메라를 수동으로 조작하여 위험요소 객체를 직접 분석 및 파악하는 방식을 사용하고 있다. 따라서, PTZ카메라를 이용한 관제시스템 역시 관제자가 알람을 실시간으로 인지하지 못할 경우에는 위험요소 객체를 제대로 추적 및 확인할 수 없는 한계가 있다. Accordingly, a surveillance system in which a camera itself monitors and tracks an object using a PTZ (Pan/Tilt/Zoom) camera instead of an existing surveillance camera is being developed. This surveillance system provides an alarm to a controller when a PTZ camera detects an object with a risk factor, and uses a method in which the controller manually analyzes and identifies the risk factor object by manually manipulating the PTZ camera. Therefore, the control system using the PTZ camera also has a limit in that it cannot properly track and check the risk factor object if the controller does not recognize the alarm in real time.

이러한 문제를 해결하기 위하여, 한국등록특허 제10-1002712호는 촬영된 영상으로부터 객체를 추출하여 추출된 객체가 사람인지 여부를 식별하고, 상기 객체가 사람으로 식별되면 사람의 얼굴을 검출하고, 상기 객체가 이동하면 이동하는 상기 객체의 이동을 추적하여 상기 객체를 연속으로 촬영하는 카메라, 상기 카메라로부터 객체정보와 객체의 이동 정보를 수신하여 상기 객체의 동선 지도를 생성하고, 제1 카메라에서 추적하던 객체가 상기 제1 카메라의 촬영 영역을 벗어나면, 상기 객체의 예상 이동 경로에 배치된 제2 카메라가 상기 객체를 연속으로 촬영할 수 있도록 각 카메라를 제어하는 중앙 제어부를 포함하는 지능형 카메라 보안 시스템에 관한 기술을 개시하고 있다. 그러나, 종래기술은 객체를 인식하여 추적하는 감시기능을 수행할 뿐으로, 객체의 위험상황 발생을 예측하여 사전조치하거나 대응하는 것이 불가능하였다. In order to solve this problem, Korean Patent Registration No. 10-1002712 extracts an object from a photographed image, identifies whether the extracted object is a person, and if the object is identified as a person, detects a person's face, When an object moves, a camera continuously photographs the object by tracking the movement of the moving object, receives object information and movement information of the object from the camera, generates a movement map of the object, and generates a movement map of the object. An intelligent camera security system comprising a central control unit controlling each camera so that a second camera disposed in an expected movement path of the object can continuously photograph the object when the object leaves the shooting area of the first camera. technology is starting. However, in the prior art, it was impossible to predict the occurrence of a dangerous situation of an object and take precautionary measures or respond to it, only performing a monitoring function of recognizing and tracking an object.

등록특허공보 제10-1002712호(2010.12.14.)Registered Patent Publication No. 10-1002712 (2010.12.14.)

본 발명은 인공지능을 기반으로 위험지역에서 사고발생을 예측하여 대응할 수 있는 사고발생 예측방법을 제공하고자 하는 데 있다. The present invention is to provide an accident prediction method that can predict and respond to accidents in dangerous areas based on artificial intelligence.

본 발명의 실시예에 따른 사고발생 예측방법은, 모니터링 지역에 하나 이상 설치된 감시장치로부터 상기 지역의 촬영영상을 수신하는 단계; 위험예측서버가 다수의 학습데이터를 이용하여 영상분석모델을 구축하는 단계; 상기 위험예측서버가 상기 영상분석모델을 이용하여 상기 촬영영상에서 하나 이상의 객체를 추출하는 단계; 상기 위험예측서버가 추출된 상기 객체의 위험발생을 예측하는 단계; 및 상기 위험예측서버가 위험발생 예측결과에 따라 상기 감시장치로 경보제어신호를 출력하여 상기 모니터링 지역에 경보가 발생되도록 하는 단계를 포함한다. An accident prediction method according to an embodiment of the present invention includes the steps of receiving a photographed image of a monitoring area from one or more monitoring devices installed in the monitoring area; A risk prediction server constructing an image analysis model using a plurality of learning data; Extracting, by the risk prediction server, one or more objects from the captured image using the image analysis model; predicting occurrence of risk of the extracted object by the risk prediction server; and the risk prediction server outputting an alarm control signal to the monitoring device according to a risk prediction result so that an alarm is generated in the monitoring area.

본 발명의 사고발생 예측방법은, 사고발생이 우려되는 지역 내 설치된 감시장치로부터 전송된 촬영영상에서 추출되는 객체의 움직임 또는 행동을 추적 및 분석하여 위험도를 예측하고, 예측된 위험도에 따라 경보발생 또는 유관기관 통보 등을 수행함으로써, 해당 지역에서 발생될 수 있는 안전사고를 사전 조치하여 방지할 수 있다. The accident prediction method of the present invention predicts the risk level by tracking and analyzing the movement or behavior of an object extracted from a photographed image transmitted from a monitoring device installed in an area where an accident occurs, and generates an alarm or alarm according to the predicted risk level. Safety accidents that may occur in the area can be prevented by taking precautionary measures by notifying related organizations.

도 1은 본 발명의 실시예에 따른 사고발생 예측을 위한 사고발생 예측시스템을 나타내는 도면이다.
도 2는 도 1의 영상분석부를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 사고발생 예측방법을 나타내는 도면이다.
도 4는 도 3의 객체추출 및 위험발생 예측방법을 구체적으로 나타내는 도면이다.
도 5는 도 4의 객체 추출방법을 구체적으로 나타내는 도면이다.
도 6은 본 발명의 사고발생 예측방법의 관심영역 설정에 대한 실시예를 나타내는 도면이다.
도 7a 및 도 7b는 본 발명의 사고발생 예측방법의 객체 행동분석에 대한 실시예를 나타내는 도면이다. 1 is a diagram showing an accident occurrence prediction system for accident occurrence prediction according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating the image analysis unit of FIG. 1 .
3 is a diagram showing an accident prediction method according to an embodiment of the present invention.
FIG. 4 is a diagram showing in detail the object extraction and risk prediction method of FIG. 3 .
5 is a diagram showing the object extraction method of FIG. 4 in detail.
6 is a diagram showing an embodiment of setting a region of interest in the accident prediction method of the present invention.
7A and 7B are diagrams showing an embodiment of object behavior analysis of the accident occurrence prediction method of the present invention.

본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어일 수 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.Terms used in this specification and claims are general terms in consideration of functions in various embodiments of the present invention. However, these terms may vary depending on the intention of a technician working in the field, legal or technical interpretation, and the emergence of new technologies. Also, some terms may be terms arbitrarily selected by the applicant. These terms may be interpreted as the meanings defined in this specification, and if there is no specific term definition, they may be interpreted based on the overall content of this specification and common technical knowledge in the art.

또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조 번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명하도록 한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성 요소를 모두 도시하고 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.In addition, the same reference numerals or numerals in each drawing attached to this specification indicate parts or components that perform substantially the same function. For convenience of explanation and understanding, the same reference numerals or symbols will be used in different embodiments. That is, even if all components having the same reference numerals are shown in a plurality of drawings, the plurality of drawings do not mean one embodiment.

또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 '제1', '제2' 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성 요소들을 서로 구별하기 위하여 사용하는 것이며, 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안될 것이다. 일 예로, 이러한 서수와 결합된 구성 요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한 해석되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.Also, in the present specification and claims, terms including ordinal numbers such as 'first' and 'second' may be used to distinguish between elements. These ordinal numbers are used to distinguish the same or similar components from each other, and the meaning of the term should not be limitedly interpreted due to the use of these ordinal numbers. For example, elements combined with such ordinal numbers should not be construed as limiting the use order or arrangement order by the number. If necessary, each ordinal number may be used interchangeably.

본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '구성하다' 등의 용어는 명세서 상에 기재된 특성, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특성들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this specification, singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, terms such as 'comprise' or 'comprise' are intended to designate that there is a characteristic, number, step, operation, component, part, or combination thereof described in the specification, but one or more other It should be understood that it does not preclude the possibility of the presence or addition of features, numbers, steps, operations, components, parts, or combinations thereof.

또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.Also, in an embodiment of the present invention, when a part is said to be connected to another part, this includes not only a direct connection but also an indirect connection through another medium. In addition, the meaning that a certain part includes a certain component means that it may further include other components rather than excluding other components unless otherwise specified.

도 1은 본 발명의 실시예에 따른 사고발생 예측을 위한 사고발생 예측시스템을 나타내는 도면이고, 도 2는 도 1의 영상분석부를 나타내는 도면이다. 1 is a diagram showing an accident occurrence prediction system for predicting an accident occurrence according to an embodiment of the present invention, and FIG. 2 is a diagram showing the image analysis unit of FIG. 1 .

본 실시예의 사고발생 예측시스템(10)은 인공지능을 기반으로 특정지역, 예컨대 사고발생 감시를 위한 모니터링지역에 대한 촬영영상으로부터 객체를 추출하고, 추출된 객체에 대한 위험도를 예측하여 사고발생을 미연에 방지할 수 있다. 이러한 사고발생 예측시스템(10)은 감시장치(200), 위험예측서버(100), 유관기관서버(300) 및 이들을 유/무선 네트워크를 통해 연결하는 통신망(400)을 포함할 수 있다. The accident prediction system 10 of this embodiment extracts an object from an image taken in a specific area, for example, a monitoring area for monitoring an accident, based on artificial intelligence, and predicts the risk level of the extracted object to prevent the occurrence of an accident in advance. can be prevented in Such an accident prediction system 10 may include a monitoring device 200, a risk prediction server 100, a related agency server 300, and a communication network 400 connecting them through a wired/wireless network.

감시장치(200)는 복수의 모니터링지역 각각에 하나 이상 설치되어 상기 지역을 감시할 수 있다. 감시장치(200)는 지역 내 복수의 지점에 각각 설치되어 소정 범위의 영상을 촬영하는 카메라(210) 및 상기 카메라(210)에 인접 설치되어 소정 범위에 경보를 발생시키는 경보장치(220)를 포함할 수 있다. One or more monitoring devices 200 may be installed in each of a plurality of monitoring areas to monitor the area. The monitoring device 200 includes a camera 210 installed at a plurality of points in an area to capture images within a predetermined range and an alarm device 220 installed adjacent to the camera 210 to generate an alarm in a predetermined range. can do.

카메라(210)는 하나 이상의 고정형 카메라, 적외선 카메라, PTZ(Pan/Tilt/Zoom) 카메라 또는 이들 카메라의 조합으로 구성될 수 있다. 카메라(210)는 설치된 지역에서 소정 범위를 촬영하고, 촬영된 영상을 실시간으로 위험예측서버(100)로 전송할 수 있다. 이러한 카메라(210)는 위험예측서버(100)에서 전송되는 카메라제어신호에 따라 촬영각도, 촬영시간, 촬영모드 등의 동작이 제어될 수 있다. The camera 210 may be composed of one or more fixed cameras, infrared cameras, PTZ (Pan/Tilt/Zoom) cameras, or a combination of these cameras. The camera 210 may photograph a predetermined range in the installed area and transmit the captured image to the risk prediction server 100 in real time. Operations such as a photographing angle, a photographing time, and a photographing mode of the camera 210 may be controlled according to a camera control signal transmitted from the risk prediction server 100 .

경보장치(220)는 전술된 카메라(210) 주변에 하나 이상 설치될 수 있다. 경보장치(220)는 위험예측서버(100)에서 전송된 경보제어신호에 따라 빛 또는 음향 등으로 이루어진 경보를 출력할 수 있다. One or more alarm devices 220 may be installed around the camera 210 described above. The alarm device 220 may output an alarm made of light or sound according to the alarm control signal transmitted from the risk prediction server 100 .

위험예측서버(100)는 복수의 감시장치(200)로부터 전송되는 각 지역의 촬영영상에서 하나 이상의 객체, 예컨대 사람을 추출하고, 추출된 객체의 위험발생여부를 예측할 수 있다. 위험예측서버(100)는 예측결과에 따라 해당지역의 경보장치(220)로 경보신호를 출력하고, 상기 해당지역의 유관기관서버(300), 예컨대 해당지역의 소방서 또는 경찰서 등의 관공서에 구비된 서버로 예측결과를 전송하여 객체의 사고발생을 방지할 수 있다. 이러한 위험예측서버(100)는 노이즈제거부(110), 관심영역설정부(120), 영상분석부(130) 및 감시장치제어부(140)를 포함할 수 있다. The risk prediction server 100 may extract one or more objects, for example, people, from the captured images of each region transmitted from the plurality of monitoring devices 200 and predict whether or not the extracted object is dangerous. The risk prediction server 100 outputs an alarm signal to the alarm device 220 in the corresponding area according to the prediction result, and the relevant agency server 300 in the corresponding area, for example, provided in a government office such as a fire station or police station in the corresponding area It is possible to prevent accidents of objects by transmitting prediction results to the server. The risk prediction server 100 may include a noise removal unit 110, a region of interest setting unit 120, an image analysis unit 130, and a monitoring device control unit 140.

노이즈제거부(110)는 수신된 촬영영상의 노이즈를 제거하여 출력할 수 있다. 노이즈제거부(110)는 촬영영상의 색상, 휘도, 명도 등의 조절을 통해 배경과 객체 간 경계가 명확해지도록 노이즈를 제거할 수 있다. The noise removal unit 110 may remove noise from the received captured image and output the image. The noise removal unit 110 may remove noise so that the boundary between the background and the object becomes clear by adjusting the color, luminance, and brightness of the photographed image.

관심영역설정부(120)는 노이즈제거부(110)에서 출력된 영상, 즉 노이즈가 제거된 영상에서 하나 이상의 관심영역(Region of Interest: ROI)을 설정할 수 있다. 관심영역은 영상 내 존재하는 다수의 구역 중에서 사고발생률이 높은 하나 이상의 구역에 설정될 수 있다. 또한, 관심영역설정부(120)는 기 설정된 관심영역 주변으로 보조 관심영역을 추가로 설정할 수 있다. The region of interest setting unit 120 may set one or more regions of interest (ROIs) in the image output from the noise removal unit 110, that is, the image from which noise is removed. The region of interest may be set to one or more regions having a high accident rate among a plurality of regions existing in the image. Also, the ROI setting unit 120 may additionally set a secondary ROI around the preset ROI.

도 6에 도시된 바와 같이, 감시장치(200)로부터 소정 지역의 다리(bridge)에 대한 영상이 전송되어 노이즈가 제거된 후, 관심영역설정부(120)는 상기 영상에서 객체, 즉 사람의 사고발생률이 가장 높은 난간 주변의 영역을 주 관심영역, 즉 제1관심영역(ROI-1)으로 설정할 수 있다. 이어, 관심영역설정부(120)는 상기 제1관심영역(ROI-1)에 인접되도록 보조 관심영역, 즉 제2관심영역(ROI-2)을 설정할 수 있다. As shown in FIG. 6, after an image of a bridge in a predetermined area is transmitted from the monitoring device 200 and noise is removed, the ROI setting unit 120 determines an object in the image, that is, a person's accident. An area around the handrail with the highest occurrence rate may be set as the main ROI, that is, the first ROI-1. Subsequently, the ROI setting unit 120 may set an auxiliary ROI, that is, a second ROI-2 to be adjacent to the first ROI-1.

영상분석부(130)는 노이즈제거부(110)에서 출력된 영상에서 하나 이상의 객체를 추출할 수 있다. 영상분석부(130)는 추출된 객체에 대하여 기 설정된 관심영역에서의 사고발생, 즉 위험도를 예측할 수 있다. 영상분석부(130)는 위험도 예측결과를 해당 지역의 경보장치(220) 및 유관기관서버(300)로 출력할 수 있다. The image analyzer 130 may extract one or more objects from the image output from the noise remover 110 . The image analysis unit 130 may predict the occurrence of an accident, that is, the degree of risk, in a predetermined region of interest with respect to the extracted object. The image analysis unit 130 may output the risk prediction result to the warning device 220 and the related institution server 300 in the corresponding area.

영상분석부(130)는 인공지능을 기반으로 영상 내에서 객체 추출 및 위험도 예측을 수행할 수 있다. 영상분석부(130)에는 객체추출 알고리즘 및 위험도예측 알고리즘, 예컨대 RetinaNet, EfficientDet 등과 같은 알고리즘이 탑재될 수 있다. 이들 알고리즘은 다수의 학습데이터를 이용한 딥러닝 또는 머신러닝의 학습을 수행하고, 이를 통해 영상분석모델을 구축할 수 있다. 영상분석부(130)는 영상분석모델을 이용하여 영상으로부터 하나 이상의 객체추출 및 이의 위험도 예측을 수행할 수 있다. 여기서, 영상분석모델은 객체추출을 위한 객체추출모델과 객체 위험도 예측을 위한 위험예측모델을 포함할 수 있다. 이러한 영상분석부(130)는 객체추출부(131), 위험예측부(133) 및 데이터저장부(135)를 포함할 수 있다. The image analysis unit 130 may perform object extraction and risk prediction within an image based on artificial intelligence. The image analysis unit 130 may be equipped with an object extraction algorithm and a risk prediction algorithm, for example, algorithms such as RetinaNet and EfficientDet. These algorithms perform deep learning or machine learning learning using a large number of learning data, and through this, an image analysis model can be built. The image analysis unit 130 may extract one or more objects from an image and predict their risk by using an image analysis model. Here, the image analysis model may include an object extraction model for object extraction and a risk prediction model for object risk prediction. The image analysis unit 130 may include an object extraction unit 131, a risk prediction unit 133, and a data storage unit 135.

객체추출부(131)는 영상분석모델, 예컨대 객체추출모델을 통해 입력영상, 즉 노이즈가 제거된 영상에서 하나 이상의 객체를 추출할 수 있다. 객체추출부(131)는 입력영상의 다수의 영상프레임 중 적어도 하나의 영상프레임에서 객체를 추출할 수 있다. 객체추출부(131)는 추출된 객체를 둘러싸는 사각형 형태의 객체영역을 생성하여 상기 객체와 함께 출력할 수 있다. The object extraction unit 131 may extract one or more objects from an input image, that is, an image from which noise is removed, through an image analysis model, for example, an object extraction model. The object extraction unit 131 may extract an object from at least one image frame among a plurality of image frames of the input image. The object extraction unit 131 may create a rectangular object area surrounding the extracted object and output the object along with the object.

여기서, 객체추출모델은 다수의 학습데이터를 이용하여 객체추출에 대한 학습을 수행할 수 있다. 이때, 객체추출모델은 객체추출학습 및 이의 신뢰도 검증을 반복하여 수행함으로써 학습의 효율 및 이를 통한 객체추출의 정확도를 높일 수 있다. Here, the object extraction model may perform object extraction learning using a plurality of learning data. At this time, the object extraction model can increase the efficiency of learning and the accuracy of object extraction through it by repeatedly performing object extraction learning and its reliability verification.

객체추출모델은 학습데이터로부터 객체를 탐지하고, 탐지된 객체에 대한 사각형 형태의 객체영역을 생성하여 추출할 수 있다. 이때, 객체영역은 다수개로 생성될 수 있다. 이에, 객체추출모델은 학습데이터의 실측값을 이용하여 다수의 객체영역 각각의 신뢰도를 검증함으로써, 객체추출학습의 정확도를 향상시킬 수 있다. The object extraction model can detect an object from training data and create and extract a rectangular object area for the detected object. At this time, a plurality of object areas may be created. Accordingly, the object extraction model can improve the accuracy of object extraction learning by verifying the reliability of each of a plurality of object regions using the measured values of the learning data.

여기서, 학습데이터의 실측값은 상기 학습데이터에 존재하는 객체에 대한 실측영역을 의미한다. 또한, 객체추출모델에서 생성된 다수의 객체영역의 신뢰도 검증은 추출된 객체영역과 실측영역 간 중첩비율로 검증될 수 있으며, 이러한 중첩비율이 0.5 이상인 객체영역 중 상대적으로 가장 높은 값의 객체영역이 선택되어 추출되도록 하는 학습 및 검증을 반복함으로써 객체추출학습의 정확도를 높일 수 있다. Here, the actual value of the learning data means a real measurement area for an object existing in the learning data. In addition, the reliability verification of multiple object regions generated from the object extraction model can be verified by the overlap ratio between the extracted object region and the actual measurement region, and the object region with the highest value among the object regions with this overlap ratio of 0.5 or more is It is possible to increase the accuracy of object extraction learning by repeating learning and verification to be selected and extracted.

한편, 객체추출부(131)는 영상 내의 다수의 객체를 추출하는 대신 기 설정된 관심영역 내 위치하는 객체를 한정하여 추출할 수도 있다. 즉, 객체추출부(131)는 사고발생률이 높은 관심영역에 위치하는 객체만을 추출함으로써, 객체추출의 효율 및 속도를 향상시킬 수 있다. Meanwhile, the object extraction unit 131 may limit and extract objects located within a preset region of interest instead of extracting a plurality of objects in the image. That is, the object extraction unit 131 can improve the efficiency and speed of object extraction by extracting only the objects located in the region of interest with a high accident rate.

위험예측부(133)는 영상분석모델, 예컨대 위험도예측모델을 통해 객체추출부(131)에서 추출된 하나 이상의 객체에 대한 위험 발생을 예측할 수 있다. 위험예측부(133)는 기 설정된 관심영역에 위치하는 객체의 행동을 분석하거나 또는 관심영역 내에서 객체의 움직임을 추적하여 해당 객체의 위험발생을 예측하고, 이에 따른 객체의 위험도 예측결과를 출력할 수 있다. The risk prediction unit 133 may predict occurrence of risk for one or more objects extracted by the object extraction unit 131 through an image analysis model, for example, a risk prediction model. The risk prediction unit 133 analyzes the behavior of an object located in a preset region of interest or tracks the movement of the object within the region of interest to predict the risk occurrence of the object, and outputs a risk prediction result of the object accordingly. can

데이터저장부(135)에는 다수의 영상데이터가 저장될 수 있다. 다수의 영상데이터는 이전 시점에서 객체추출부(131) 및 위험예측부(133)를 통해 추출된 특정지역의 객체 및 이에 대한 위험도 예측결과를 포함하는 영상데이터 또는 영상분석부(130)의 학습을 위한 다수의 객체와 이들의 위험도 예측결과가 포함된 영상데이터일 수 있다. A plurality of image data may be stored in the data storage unit 135 . A plurality of image data is image data including an object in a specific region extracted through the object extraction unit 131 and the risk prediction unit 133 at a previous point in time and a risk prediction result for the object, or the learning of the image analysis unit 130. It may be image data that includes a plurality of objects and their risk prediction results.

이에, 영상분석부(130)는 데이터저장부(135)에 저장된 다수의 영상데이터를 학습데이터로 활용하여 객체추출 알고리즘 및 위험도예측 알고리즘에 대한 딥러닝 또는 머신러닝을 수행할 수 있다. Accordingly, the image analysis unit 130 may perform deep learning or machine learning on the object extraction algorithm and the risk prediction algorithm by utilizing a plurality of image data stored in the data storage unit 135 as learning data.

감시장치제어부(140)는 영상분석부(130)에서 출력되는 위험도 예측결과에 기초하여 해당 지역의 감시장치(200)의 동작을 제어할 수 있다. 예컨대, 감시장치제어부(140)는 위험도 예측결과에 기초하여 감시장치(200)의 카메라(210)의 동작, 즉 촬영동작을 제어할 수 있는 카메라제어신호를 생성하고, 이를 통신망(400)을 통해 해당 감시장치(200)로 전송할 수 있다. 또한, 감시장치제어부(140)는 위험도 예측결과에 기초하여 감시장치(200)의 경보장치(220)의 동작, 즉 경보발생을 제어할 수 있는 경보제어신호를 생성하고, 이를 통신망(400)을 통해 해당 감시장치(200)로 전송할 수 있다. The monitoring device control unit 140 may control the operation of the monitoring device 200 in a corresponding area based on the risk prediction result output from the image analysis unit 130 . For example, the monitoring device control unit 140 generates a camera control signal capable of controlling the operation of the camera 210 of the monitoring device 200, that is, the shooting operation, based on the risk prediction result, and transmits the camera control signal through the communication network 400. It can be transmitted to the monitoring device 200. In addition, the monitoring device control unit 140 generates an alarm control signal capable of controlling the operation of the alarm device 220 of the monitoring device 200, that is, the occurrence of an alarm, based on the risk prediction result, and transmits the alarm control signal to the communication network 400. It can be transmitted to the corresponding monitoring device 200 through.

유관기관서버(300)는 감시장치(200)가 설치된 지역의 경찰서 또는 소방서 등의 기관 내에 구비된 서버일 수 있다. 유관기관서버(300)는 위험도예측서버(100)로부터 전송된 위험도 예측결과에 따라 경보 등을 발생시킴으로써, 구조 인력 등을 통해 해당 지역에서의 사고발생을 미연에 방지할 수 있다. The related institution server 300 may be a server provided in an institution such as a police station or a fire station in a region where the monitoring device 200 is installed. The related agency server 300 generates an alarm according to the risk level prediction result transmitted from the risk level prediction server 100, so that the occurrence of an accident in the corresponding area can be prevented in advance through rescue personnel.

상술한 바와 같이, 본 실시예에 따른 사고발생 예측시스템(10)은 사고발생이 우려되는 지역 내 설치된 감시장치(200)로부터 전송된 촬영영상에서 추출되는 객체에 대한 움직임 또는 행동을 추적 및 분석하여 위험도를 예측하고, 예측된 위험도에 따라 경보발생 또는 유관기관 통보 등을 수행함으로써, 해당 지역에서 발생될 수 있는 안전사고를 사전 조치하여 방지할 수 있다. As described above, the accident prediction system 10 according to the present embodiment tracks and analyzes the motion or behavior of an object extracted from a captured image transmitted from the monitoring device 200 installed in an area where an accident occurs. By predicting the risk level and generating an alarm or notifying related organizations according to the predicted risk level, safety accidents that may occur in the area can be prevented by taking precautionary measures.

도 3은 본 발명의 일 실시예에 따른 사고발생 예측방법을 나타내는 도면이다. 3 is a diagram showing an accident prediction method according to an embodiment of the present invention.

먼저, 위험예측서버(100)의 영상분석부(130)는 데이터저장부(135)에 저장된 다수의 영상데이터를 학습데이터로 이용하여 객체추출 알고리즘 및 위험예측 알고리즘에 대한 딥러닝 또는 머신러닝을 수행하고, 그에 따른 영상분석모델을 구축할 수 있다(S10). 여기서, 영상분석모델은 객체추출모델 및 위험도예측모델을 포함할 수 있다. First, the image analysis unit 130 of the risk prediction server 100 uses a plurality of image data stored in the data storage unit 135 as learning data to perform deep learning or machine learning on the object extraction algorithm and the risk prediction algorithm. and a corresponding image analysis model can be constructed (S10). Here, the image analysis model may include an object extraction model and a risk prediction model.

다음으로, 특정지역, 예컨대 객체의 사고발생이 우려되는 모니터링 지역에 하나 이상의 감시장치(200)가 설치되고, 상기 감시장치(200)의 카메라(210)를 통해 촬영된 영상이 위험예측서버(100)로 전송될 수 있다(S20). Next, one or more monitoring devices 200 are installed in a specific area, for example, a monitoring area in which an accident of an object is concerned, and an image taken through a camera 210 of the monitoring device 200 is displayed as a risk prediction server 100 ) can be transmitted (S20).

이어, 위험예측서버(100)의 노이즈제거부(110)는 수신된 촬영영상의 노이즈를 제거하여 출력할 수 있다(S30). 노이즈제거부(110)는 촬영영상의 색상, 휘도, 명도 등의 조절을 통해 객체와 배경 간의 경계가 명확해지도록 노이즈를 제거할 수 있다. Then, the noise removal unit 110 of the risk prediction server 100 may remove the noise of the received image and output it (S30). The noise removal unit 110 may remove noise so that the boundary between the object and the background becomes clear by adjusting the color, luminance, and brightness of the captured image.

다음으로, 영상분석부(130)는 영상분석모델을 통해 입력영상, 즉 노이즈제거부(110)에서 출력된 노이즈가 제거된 영상에서 하나 이상의 객체를 추출하고, 추출된 객체의 위험발생을 예측할 수 있다(S40). Next, the image analysis unit 130 extracts one or more objects from the input image, that is, the denoised image output from the noise removal unit 110, through the image analysis model, and predicts the risk occurrence of the extracted object. Yes (S40).

도 4는 도 3의 객체추출 및 위험발생 예측방법을 구체적으로 나타내는 도면이다.FIG. 4 is a diagram showing in detail the object extraction and risk prediction method of FIG. 3 .

위험예측서버(100)의 관심영역설정부(120)는 노이즈제거부(110)에서 출력된 영상에서 복수의 관심영역을 생성할 수 있다(S110). The region of interest setting unit 120 of the risk prediction server 100 may generate a plurality of regions of interest in the image output from the noise removal unit 110 (S110).

도 6에 도시된 바와 같이, 관심영역설정부(120)는 영상 내 다수의 구역 중 사고발생률이 높은 구역을 제1관심영역(ROI-1)으로 설정하고, 상기 제1관심영역(ROI-1)의 주변영역을 제2관심영역(ROI-2)으로 설정할 수 있다. As shown in FIG. 6, the region of interest setting unit 120 sets a region with a high accident rate among a plurality of regions in an image as a first region of interest ROI-1, and sets the first region of interest ROI-1. ) may be set as the second region of interest (ROI-2).

다음으로, 영상분석부(130)의 객체추출부(131)는 영상분석모델의 객체추출모델을 통해 입력영상, 즉 노이즈제거부(110)에서 출력된 영상에서 하나 이상의 객체를 추출할 수 있다(S120). Next, the object extraction unit 131 of the image analysis unit 130 may extract one or more objects from the input image, that is, the image output from the noise removal unit 110, through the object extraction model of the image analysis model ( S120).

이어, 영상분석부(130)의 위험예측부(133)는 영상분석모델의 위험도예측모델을 통해 추출된 객체의 위험발생, 즉 위험도를 예측할 수 있다. 이때, 위험예측부(133)는 기 설정된 제1관심영역(ROI-1) 및 제2관심영역(ROI-2) 내에 추출된 객체가 위치하는 지를 판단할 수 있다(S130, S160). Subsequently, the risk prediction unit 133 of the image analysis unit 130 may predict the occurrence of risk, that is, the degree of risk, of the extracted object through the risk prediction model of the image analysis model. At this time, the risk prediction unit 133 may determine whether the extracted object is located within the preset first region of interest ROI-1 and second region of interest ROI-2 (S130 and S160).

객체의 위치판단 결과, 상기 객체가 제1관심영역(ROI-1)에 위치하면, 위험예측부(133)는 제1관심영역(ROI-1) 내 객체의 행동을 분석할 수 있다(S140). 그리고, 객체 행동의 분석결과로부터 상기 객체의 위험발생을 예측할 수 있다(S150).As a result of determining the position of the object, if the object is located in the first region of interest (ROI-1), the risk prediction unit 133 may analyze the behavior of the object in the first region of interest (ROI-1) (S140). . Then, it is possible to predict the risk occurrence of the object from the analysis result of the object's behavior (S150).

예컨대, 도 7a에서와 같이, 객체가 일반적인 행동, 예컨대 보행 중인 것으로 그 행동이 분석되면, 위험예측부(133)는 제1관심영역(ROI-1) 내 객체의 위험도가 낮을 것으로 예측할 수 있다. 반면에, 도 7b에서와 같이, 객체가 이상행동, 예컨대 다리 난간과 같은 위험구역에 근접하거나 올라가는 것으로 그 행동이 분석되면, 위험예측부(133)는 제1관심영역(ROI-1) 내 객체의 위험도가 높을 것으로 예측할 수 있다. For example, as shown in FIG. 7A , if the behavior is analyzed as a general behavior of the object, for example walking, the risk prediction unit 133 may predict that the risk of the object within the first region of interest ROI-1 is low. On the other hand, as shown in FIG. 7B, if the behavior is analyzed as an abnormal behavior, for example, approaching or climbing a dangerous area such as a bridge railing, the risk prediction unit 133 determines the object within the first region of interest (ROI-1). risk can be predicted to be high.

이에, 위험예측서버(100)는 전술된 위험예측부(133)의 위험도 예측결과에 기초하여 해당 지역의 객체, 즉 제1관심영역(ROI-1)의 객체에 사고발생을 경고하거나 또는 해당 지역의 유관기관서버(300)로 위험도 예측결과를 전송하여 사고발생을 경고할 수 있다(S50). Accordingly, the risk prediction server 100 warns an object in the corresponding area, that is, an object in the first region of interest (ROI-1) of an accident based on the risk prediction result of the risk prediction unit 133 described above, or It is possible to warn the occurrence of an accident by transmitting the risk prediction result to the related agency server 300 of (S50).

예컨대, 위험예측부(133)에 의해 제1관심영역(ROI-1) 내 객체의 위험도가 높을 것으로 예측되면, 위험예측서버(100)의 감시장치제어부(140)는 위험도 예측결과에 따라 해당 지역의 감시장치(200)로 경보제어신호를 출력할 수 있다. 이에, 감시장치(200)의 경보장치(220)는 상기 경보제어신호에 따라 제1관심영역(ROI-1) 내 객체에게 경보를 발생시킴으로써, 상기 객체에게 사고발생을 경고하거나 또는 상기 객체의 주변인들에게 사고발생을 경고하여 이를 방지하도록 할 수 있다. 이와 함께, 위험예측서버(100)는 상기 위험도 예측결과를 해당 지역의 유관기관서버(300)로 전송하여 사고발생을 경고함으로써, 유관기관을 통해 제1관심영역(ROI-1) 내 객체의 사고발생을 방지하도록 할 수 있다. For example, when the risk prediction unit 133 predicts that the object within the first region of interest (ROI-1) has a high risk level, the monitoring device control unit 140 of the risk prediction server 100 determines the corresponding area according to the risk level prediction result. It is possible to output an alarm control signal to the monitoring device 200 of. Accordingly, the alarm device 220 of the monitoring device 200 generates an alarm to an object within the first region of interest (ROI-1) according to the alarm control signal, thereby warning the object of an accident or a person around the object. You can alert people to accidents so they can prevent them. In addition, the risk prediction server 100 transmits the risk prediction result to the relevant agency server 300 in the corresponding region to warn the occurrence of an accident, so that the accident of the object in the first region of interest (ROI-1) through the related agency occurrence can be prevented.

한편, 객체의 위치판단 결과, 상기 객체가 제1관심영역(ROI-1)이 아닌 제2관심영역(ROI-2)에 위치하면, 위험예측부(133)는 소정 시간동안 제2관심영역(ROI-2) 내 객체의 움직임을 추적할 수 있다(S170). On the other hand, as a result of determining the position of the object, if the object is located in the second region of interest (ROI-2) instead of the first region of interest (ROI-1), the risk prediction unit 133 determines the second region of interest (ROI-1) for a predetermined time. The movement of an object within ROI-2) may be tracked (S170).

이때, 추적객체가 제2관심영역(ROI-2)의 객체가 제1관심영역(ROI-1)으로 움직이면, 위험예측부(133)는 전술된 객체의 행동을 분석하여 위험도를 예측하는 단계를 수행할 수 있다(S140, S150). 그리고, 위험도 예측 결과에 따라 경보를 발생하거나 또는 유관기관에 통보하여 해당 객체의 사고발생을 방지할 수 있다(S50). At this time, if the object of the second region of interest (ROI-2) moves to the first region of interest (ROI-1), the risk prediction unit 133 analyzes the behavior of the object described above and predicts the degree of risk. It can be performed (S140, S150). In addition, it is possible to prevent the occurrence of an accident of the object by generating an alarm or notifying related institutions according to the risk prediction result (S50).

또한, 객체의 위치판단 결과, 상기 객체가 제1관심영역(ROI-1) 및 제2관심영역(ROI-2) 모두에 위치하지 않으면, 영상분석부(130)는 전술된 입력영상에서 하나 이상의 객체를 추출하는 단계(S120)를 재수행할 수 있다. In addition, as a result of determining the position of the object, if the object is not located in both the first region of interest (ROI-1) and the second region of interest (ROI-2), the image analysis unit 130 performs one or more operations in the above-described input image. The object extraction step (S120) may be performed again.

도 5는 도 4의 객체 추출방법을 구체적으로 나타내는 도면이다. 5 is a diagram showing the object extraction method of FIG. 4 in detail.

먼저, 객체추출부(131)는 다수의 학습데이터를 통해 구축된 객체추출모델을 이용하여 입력영상에서 객체를 탐지할 수 있다(S210). First, the object extraction unit 131 may detect an object in an input image using an object extraction model built through a plurality of learning data (S210).

이때, 객체추출부(131)는 설정값에 따라 입력영상의 다수의 영상프레임 각각에서 객체를 탐지할 수 있다. 예컨대, 입력영상이 초(second)당 30개의 영상프레임으로 이루어진 경우에, 객체추출부(131)는 설정값에 따라 최소 1개의 영상프레임 또는 최대 30개의 영상프레임에서 객체를 탐지할 수 있다. 다만, 설정값은 위험예측서버(100)의 시스템 사양에 따라 달라질 수 있으며, 객체추출부(131)의 정확한 객체 탐지를 위하여 입력영상의 전체 영상프레임 중 적어도 30%이상의 영상프레임에서 객체를 탐지하도록 설정되는 것이 바람직하다. 또한, 객체추출부(131)는 각 영상프레임에서 탐지된 객체에 대하여 사각 박스 형태의 객체영역을 생성할 수 있다. At this time, the object extraction unit 131 may detect an object in each of a plurality of image frames of the input image according to the setting value. For example, when an input image consists of 30 image frames per second, the object extraction unit 131 may detect an object in at least 1 image frame or at most 30 image frames according to a set value. However, the setting value may vary according to the system specifications of the risk prediction server 100, and the object extraction unit 131 is configured to detect objects in at least 30% or more of the entire video frames of the input image for accurate object detection. It is desirable to set In addition, the object extraction unit 131 may create an object area in the form of a square box for objects detected in each image frame.

다음으로, 객체추출부(131)는 서로 인접된 복수의 영상프레임, 예컨대 제1영상프레임과 제2영상프레임 각각의 객체영역을 비교할 수 있다(S220). 제1영상프레임과 제2영상프레임 각각의 객체영역은 동일 객체를 포함할 수 있다. Next, the object extraction unit 131 may compare object regions of a plurality of adjacent image frames, for example, a first image frame and a second image frame (S220). The object area of each of the first image frame and the second image frame may include the same object.

이어, 비교 결과 제1영상프레임의 객체영역과 제2영상프레임의 객체영역 간 중첩영역 비율(Intersection over Union; IoU)이 설정값, 예컨대 0.7 이상이면(S230), 객체추출부(131)는 두 영상프레임 간 비교 횟수를 판단할 수 있다(S250). Then, as a result of the comparison, if the ratio of the overlapping area between the object area of the first image frame and the object area of the second image frame (Intersection over Union; IoU) is a set value, for example, 0.7 or more (S230), the object extraction unit 131 has two The number of comparisons between image frames may be determined (S250).

여기서, 중첩영역 비율은 제1영상프레임의 객체영역과 제2영상프레임의 객체영역의 교차영역의 넓이값을 두 객체영역 전체의 넓이값으로 나눈 값으로 산출될 수 있다. 이러한 중첩영역 비율이 1에 근접될수록 제1영상프레임의 객체영역과 제2영상프레임의 객체영역이 정확하게 겹쳐 객체추출의 정확도가 높은 것으로 판단될 수 있다. Here, the overlapping area ratio may be calculated as a value obtained by dividing the area value of the intersection area of the object area of the first image frame and the object area of the second image frame by the total area of the two object areas. As the overlapping area ratio approaches 1, it can be determined that object extraction accuracy is high as the object area of the first image frame and the object area of the second image frame overlap accurately.

계속해서, 객체추출부(131)의 영상프레임 비교횟수가 기 설정된 횟수, 예컨대 5~10 중 하나의 자연수로 설정된 횟수(M) 이상이면, 객체추출부(131)는 입력영상의 복수의 영상프레임 각각에서 탐지된 객체를 추출할 수 있다(S260). 여기서, 객체추출부(131)의 영상프레임 비교횟수는 전술된 두 영상프레임의 객체영역 비교단계(S220)를 수행할 때마다 누적되어 카운트될 수 있다. Continuing, if the number of times of video frame comparison by the object extractor 131 is equal to or greater than the set number (M) of a predetermined number, for example, one natural number from 5 to 10, the object extractor 131 selects a plurality of image frames of the input image. Objects detected from each may be extracted (S260). Here, the number of times of image frame comparison by the object extractor 131 may be accumulated and counted each time the above-described object area comparison step (S220) of the two image frames is performed.

반면에, 영상프레임 간 비교횟수가 기 설정된 횟수(M) 미만이면, 객체추출부(131)는 비교횟수를 증가시키고, 전술된 두 영상프레임의 객체영역 비교단계(S220)를 반복 수행할 수 있다. On the other hand, if the number of comparisons between image frames is less than the preset number (M), the object extraction unit 131 may increase the number of comparisons and repeatedly perform the above-described object region comparison step (S220) of the two image frames. .

이때, 객체추출부(131)는 복수의 영상프레임 각각의 객체영역을 순차적으로 비교할 수 있다. 다시 말해, 객체추출부(131)는 제1영상프레임의 객체영역과 제2영상프레임의 객체영역 간 비교를 수행한 후, 제2영상프레임의 객체영역과 제3영상프레임의 객체영역 간 비교를 수행할 수 있다. At this time, the object extraction unit 131 may sequentially compare object regions of each of a plurality of image frames. In other words, the object extraction unit 131 performs comparison between the object area of the first image frame and the object area of the second image frame, and then compares the object area of the second image frame with the object area of the third image frame. can be done

즉, 객체추출부(131)는 객체추출모델을 통해 입력영상의 다수의 영상프레임 각각에서 객체를 추출하고, 이들을 인접 영상프레임 간 비교를 통해 검증함으로써 객체추출의 정확도를 높일 수 있다. That is, the object extraction unit 131 can increase the accuracy of object extraction by extracting objects from each of a plurality of image frames of the input image through the object extraction model and verifying them through comparison between adjacent image frames.

상술한 바와 같이, 본 실시예에 따른 사고발생 예측방법은 사고발생이 우려되는 지역 내 설치된 감시장치(200)로부터 전송된 촬영영상에서 추출되는 객체의 움직임 또는 행동을 추적 및 분석하여 위험도를 예측하고, 예측된 위험도에 따라 경보발생 또는 유관기관 통보 등을 수행함으로써, 해당 지역에서 발생될 수 있는 안전사고를 사전 조치하여 방지할 수 있다. As described above, the accident prediction method according to the present embodiment predicts the degree of risk by tracking and analyzing the movement or behavior of an object extracted from a photographed image transmitted from the monitoring device 200 installed in an area where an accident occurs. In addition, it is possible to prevent safety accidents that may occur in the area by taking precautionary measures by issuing an alarm or notifying related organizations according to the predicted risk level.

이상, 본 발명의 일 실시 예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.In the above, one embodiment of the present invention has been described, but those skilled in the art can add, change, delete, or add components within the scope not departing from the spirit of the present invention described in the claims. The present invention can be variously modified and changed by the like, and this will also be said to be included within the scope of the present invention.

또한, 전술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 하여 내려져야 할 것이다.In addition, the above-mentioned terms are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, definitions of these terms should be made based on the content throughout this specification.

10: 사고발생 예측시스템 100: 위험예측서버
110: 노이즈제거부 120: 관심영역설정부
130: 영상분석부 131: 객체추출부
133: 위험예측부 135: 데이터저장부
140: 감시장치제어부 200: 감시장치
210: 카메라 220: 경보장치
300: 유관기관서버 400: 통신망10: accident prediction system 100: risk prediction server
110: noise removal unit 120: region of interest setting unit
130: image analysis unit 131: object extraction unit
133: risk prediction unit 135: data storage unit
140: monitoring device control unit 200: monitoring device
210: camera 220: alarm device
300: related institution server 400: communication network

Claims (7)

모니터링 지역에 하나 이상 설치된 감시장치로부터 상기 지역의 촬영영상을 수신하는 단계;
위험예측서버가 다수의 학습데이터를 이용하여 영상분석모델을 구축하는 단계;
상기 위험예측서버가 상기 영상분석모델을 이용하여 상기 촬영영상에서 하나 이상의 객체를 추출하는 단계;
상기 위험예측서버가 추출된 상기 객체의 위험발생을 예측하는 단계; 및
상기 위험예측서버가 위험발생 예측결과에 따라 상기 감시장치로 경보제어신호를 출력하여 상기 모니터링 지역에 경보가 발생되도록 하는 단계를 포함하는 사고발생 예측방법.
Receiving a photographed image of the area from one or more monitoring devices installed in the monitoring area;
A risk prediction server constructing an image analysis model using a plurality of learning data;
Extracting, by the risk prediction server, one or more objects from the captured image using the image analysis model;
predicting occurrence of risk of the extracted object by the risk prediction server; and
The accident prediction method comprising the step of outputting an alarm control signal to the monitoring device according to the risk prediction result by the risk prediction server so that an alarm is generated in the monitoring area.
 제1항에 있어서,
상기 위험예측서버가 상기 촬영영상에서 하나 이상의 관심영역을 설정하는 단계를 더 포함하는 것을 특징으로 하는 사고발생 예측방법.
According to claim 1,
The accident prediction method further comprising the step of setting, by the risk prediction server, at least one region of interest in the captured image.
 제2항에 있어서,
상기 관심영역을 설정하는 단계는,
상기 촬영영상에서 제1관심영역을 설정하는 단계; 및
상기 제1관심영역의 주변으로 제2관심영역을 설정하는 단계를 포함하는 것을 특징으로 하는 사고발생 예측방법.
According to claim 2,
In the step of setting the region of interest,
setting a first region of interest in the photographed image; and
and setting a second region of interest around the first region of interest.
 제3항에 있어서,
상기 객체의 위험발생을 예측하는 단계는,
상기 객체의 위치를 판단하는 단계; 및
상기 객체가 상기 제1관심영역에 위치하면, 상기 객체의 행동을 분석하여 위험도를 예측하고, 상기 객체가 상기 제2관심영역에 위치하면, 상기 객체의 움직임을 추적하는 단계를 포함하는 것을 특징으로 하는 사고발생 예측방법.
According to claim 3,
Predicting the risk of the object,
determining the location of the object; and
If the object is located in the first region of interest, predicting a degree of risk by analyzing the behavior of the object, and tracking the movement of the object if the object is located in the second region of interest accident prediction method.
 제4항에 있어서,
상기 제2관심영역에 위치한 상기 객체가 상기 제1관심영역으로 움직이면, 상기 객체의 행동을 분석하여 위험도를 예측하는 것을 특징으로 하는 사고발생 예측방법.
According to claim 4,
and predicting a degree of risk by analyzing a behavior of the object when the object located in the second region of interest moves to the first region of interest.
 제1항에 있어서,
상기 위험예측서버가 상기 위험발생 예측결과를 하나 이상의 유관기관서버로 전송하는 단계를 더 포함하는 것을 특징으로 하는 사고발생 예측방법.
According to claim 1,
The accident prediction method further comprising the step of the risk prediction server transmitting the risk occurrence prediction result to one or more related agency servers.
 제1항에 있어서,
상기 위험예측서버가 상기 감시장치에서 전송된 상기 촬영영상의 노이즈를 제거하여 출력하는 단계를 더 포함하는 것을 특징으로 하는 사고발생 예측방법.

According to claim 1,
The accident prediction method further comprising the step of the risk prediction server removing noise of the photographed image transmitted from the monitoring device and outputting the noise.
KR1020210161923A 2021-11-23 2021-11-23 Method for predicting accident based on AI KR20230075595A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210161923A KR20230075595A (en) 2021-11-23 2021-11-23 Method for predicting accident based on AI

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210161923A KR20230075595A (en) 2021-11-23 2021-11-23 Method for predicting accident based on AI

Publications (1)

Publication Number Publication Date
KR20230075595A true KR20230075595A (en) 2023-05-31

Family

ID=86543817

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210161923A KR20230075595A (en) 2021-11-23 2021-11-23 Method for predicting accident based on AI

Country Status (1)

Country Link
KR (1) KR20230075595A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002712B1 (en) 2009-01-20 2010-12-21 주식회사 레이스전자 Intelligent security system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002712B1 (en) 2009-01-20 2010-12-21 주식회사 레이스전자 Intelligent security system

Similar Documents

Publication Publication Date Title
KR102195706B1 (en) Method and Apparatus for Detecting Intruder
KR101075063B1 (en) Fire-Flame Detection Using Fuzzy Logic
KR101036947B1 (en) The automatic guard system to prevent the crime and accident using computer video image analysis technology
CN104581081B (en) Passenger flow analysing method based on video information
KR102407327B1 (en) Apparatus for Monitoring Fire And System having the same
KR100849689B1 (en) watching control system having an auto picture pop-up function and controlling method for the same
KR101485022B1 (en) Object tracking system for behavioral pattern analysis and method thereof
KR102174784B1 (en) Method for Recognizing and Tracking Large-scale Object using Deep learning and Multi-Agent
WO2017126187A1 (en) Video monitoring apparatus and video monitoring method
KR102131437B1 (en) Adaptive video surveillance system and method
CN109492548B (en) Method for obtaining region mask picture based on video analysis
KR20190092227A (en) System for Serarching Using Intelligent Analyzing Video
KR101695127B1 (en) Group action analysis method by image
KR101656642B1 (en) Group action analysis method by image
CN108460319B (en) Abnormal face detection method and device
KR102046591B1 (en) Image Monitoring System and Method for Monitoring Image
KR20210043960A (en) Behavior Recognition Based Safety Monitoring System and Method using Artificial Intelligence Technology and IoT
KR101926510B1 (en) Wide area surveillance system based on facial recognition using wide angle camera
KR20230075595A (en) Method for predicting accident based on AI
KR20230075594A (en) System for predicting accident based on AI
JPH0460880A (en) Moving body discrimination and analysis controlling system
CN115457331A (en) Intelligent inspection method and system for construction site
KR20230097854A (en) Method and system for recognizing dangerous behavior of workers in power plant
KR20140057225A (en) Methods of cctv video take advantage and surveillance system improved using multi-sensor and thermal imaging
KR20220154473A (en) System of peventing external intrusion using virtulal detection line in image

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application