KR20230075595A - 인공지능 기반의 사고발생 예측방법 - Google Patents

인공지능 기반의 사고발생 예측방법 Download PDF

Info

Publication number
KR20230075595A
KR20230075595A KR1020210161923A KR20210161923A KR20230075595A KR 20230075595 A KR20230075595 A KR 20230075595A KR 1020210161923 A KR1020210161923 A KR 1020210161923A KR 20210161923 A KR20210161923 A KR 20210161923A KR 20230075595 A KR20230075595 A KR 20230075595A
Authority
KR
South Korea
Prior art keywords
risk
region
interest
image
accident
Prior art date
Application number
KR1020210161923A
Other languages
English (en)
Inventor
심재민
김재구
전경미
김원회
신선호
이준민
박천덕
Original Assignee
주식회사 지오멕스소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지오멕스소프트 filed Critical 주식회사 지오멕스소프트
Priority to KR1020210161923A priority Critical patent/KR20230075595A/ko
Publication of KR20230075595A publication Critical patent/KR20230075595A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

인공지능을 기반으로 위험지역에서 사고발생을 예측하여 대응할 수 있는 사고발생 예측방법이 제공된다. 사고발생 예측방법은, 사고발생이 우려되는 지역 내 설치된 감시장치로부터 전송된 촬영영상에서 추출되는 객체의 움직임 또는 행동을 추적 및 분석하여 위험도를 예측하고, 예측된 위험도에 따라 경보발생 또는 유관기관 통보 등을 수행함으로써, 해당 지역에서 발생될 수 있는 안전사고를 사전 조치하여 방지할 수 있다.

Description

인공지능 기반의 사고발생 예측방법{Method for predicting accident based on AI}
본 발명은 인공지능을 기반으로 위험지역에서 사고발생을 예측하여 대응할 수 있는 사고발생 예측방법에 관한 것이다.
CCTV(CCTV: closed-circuit television, 폐쇄회로 텔레비전)는 특정 건축물이나 시설물에서 특정 수신자를 대상으로 유선 또는 특수 무선 전송로를 이용해 화상을 전송하는 시스템이다.
이러한 CCTV를 감시카메라로 이용하여 특정 지역에 대한 감시를 수행하고 있으며, 감시하는 대상지역이 넓은 경우 복수의 감시카메라를 특정 위치마다 설치하고 하나의 모니터 화면에 영역을 분할하여 표시하는 CCTV 관제시스템이 사용되고 있다.
이러한 CCTV관제시스템은 관제자가 모니터링 화면에서 특정 객체(사람 또는 차량 등)를 육안으로 확인하고 직관적으로 동일인이라고 추정하면서 추적하는 방식을 이용하고 있으며, 화면을 분할하여 다수의 감시카메라 영상이 함께 표시될 경우 특정 감시카메라의 촬영 영역에서 모니터링 대상 객체가 다른 감시카메라 촬영 영역으로 이동하는 경우 관제자가 바로 인식하기 어려운 문제점이 있었다.
이에, 기존의 감시카메라를 대신하여 PTZ(Pan/Tilt/Zoom) 카메라를 사용하여 카메라 자체로 객체를 감시 추적하는 방식의 감시시스템이 개발되고 있다. 이러한 감시시스템은 PTZ카메라가 위험요소를 가진 객체를 발견 시 관제자에게 알람을 제공하며, 관제자가 PTZ 카메라를 수동으로 조작하여 위험요소 객체를 직접 분석 및 파악하는 방식을 사용하고 있다. 따라서, PTZ카메라를 이용한 관제시스템 역시 관제자가 알람을 실시간으로 인지하지 못할 경우에는 위험요소 객체를 제대로 추적 및 확인할 수 없는 한계가 있다.
이러한 문제를 해결하기 위하여, 한국등록특허 제10-1002712호는 촬영된 영상으로부터 객체를 추출하여 추출된 객체가 사람인지 여부를 식별하고, 상기 객체가 사람으로 식별되면 사람의 얼굴을 검출하고, 상기 객체가 이동하면 이동하는 상기 객체의 이동을 추적하여 상기 객체를 연속으로 촬영하는 카메라, 상기 카메라로부터 객체정보와 객체의 이동 정보를 수신하여 상기 객체의 동선 지도를 생성하고, 제1 카메라에서 추적하던 객체가 상기 제1 카메라의 촬영 영역을 벗어나면, 상기 객체의 예상 이동 경로에 배치된 제2 카메라가 상기 객체를 연속으로 촬영할 수 있도록 각 카메라를 제어하는 중앙 제어부를 포함하는 지능형 카메라 보안 시스템에 관한 기술을 개시하고 있다. 그러나, 종래기술은 객체를 인식하여 추적하는 감시기능을 수행할 뿐으로, 객체의 위험상황 발생을 예측하여 사전조치하거나 대응하는 것이 불가능하였다.
등록특허공보 제10-1002712호(2010.12.14.)
본 발명은 인공지능을 기반으로 위험지역에서 사고발생을 예측하여 대응할 수 있는 사고발생 예측방법을 제공하고자 하는 데 있다.
본 발명의 실시예에 따른 사고발생 예측방법은, 모니터링 지역에 하나 이상 설치된 감시장치로부터 상기 지역의 촬영영상을 수신하는 단계; 위험예측서버가 다수의 학습데이터를 이용하여 영상분석모델을 구축하는 단계; 상기 위험예측서버가 상기 영상분석모델을 이용하여 상기 촬영영상에서 하나 이상의 객체를 추출하는 단계; 상기 위험예측서버가 추출된 상기 객체의 위험발생을 예측하는 단계; 및 상기 위험예측서버가 위험발생 예측결과에 따라 상기 감시장치로 경보제어신호를 출력하여 상기 모니터링 지역에 경보가 발생되도록 하는 단계를 포함한다.
본 발명의 사고발생 예측방법은, 사고발생이 우려되는 지역 내 설치된 감시장치로부터 전송된 촬영영상에서 추출되는 객체의 움직임 또는 행동을 추적 및 분석하여 위험도를 예측하고, 예측된 위험도에 따라 경보발생 또는 유관기관 통보 등을 수행함으로써, 해당 지역에서 발생될 수 있는 안전사고를 사전 조치하여 방지할 수 있다.
도 1은 본 발명의 실시예에 따른 사고발생 예측을 위한 사고발생 예측시스템을 나타내는 도면이다.
도 2는 도 1의 영상분석부를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 사고발생 예측방법을 나타내는 도면이다.
도 4는 도 3의 객체추출 및 위험발생 예측방법을 구체적으로 나타내는 도면이다.
도 5는 도 4의 객체 추출방법을 구체적으로 나타내는 도면이다.
도 6은 본 발명의 사고발생 예측방법의 관심영역 설정에 대한 실시예를 나타내는 도면이다.
도 7a 및 도 7b는 본 발명의 사고발생 예측방법의 객체 행동분석에 대한 실시예를 나타내는 도면이다.
본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어일 수 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조 번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명하도록 한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성 요소를 모두 도시하고 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 '제1', '제2' 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성 요소들을 서로 구별하기 위하여 사용하는 것이며, 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안될 것이다. 일 예로, 이러한 서수와 결합된 구성 요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한 해석되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '구성하다' 등의 용어는 명세서 상에 기재된 특성, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특성들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 사고발생 예측을 위한 사고발생 예측시스템을 나타내는 도면이고, 도 2는 도 1의 영상분석부를 나타내는 도면이다.
본 실시예의 사고발생 예측시스템(10)은 인공지능을 기반으로 특정지역, 예컨대 사고발생 감시를 위한 모니터링지역에 대한 촬영영상으로부터 객체를 추출하고, 추출된 객체에 대한 위험도를 예측하여 사고발생을 미연에 방지할 수 있다. 이러한 사고발생 예측시스템(10)은 감시장치(200), 위험예측서버(100), 유관기관서버(300) 및 이들을 유/무선 네트워크를 통해 연결하는 통신망(400)을 포함할 수 있다.
감시장치(200)는 복수의 모니터링지역 각각에 하나 이상 설치되어 상기 지역을 감시할 수 있다. 감시장치(200)는 지역 내 복수의 지점에 각각 설치되어 소정 범위의 영상을 촬영하는 카메라(210) 및 상기 카메라(210)에 인접 설치되어 소정 범위에 경보를 발생시키는 경보장치(220)를 포함할 수 있다.
카메라(210)는 하나 이상의 고정형 카메라, 적외선 카메라, PTZ(Pan/Tilt/Zoom) 카메라 또는 이들 카메라의 조합으로 구성될 수 있다. 카메라(210)는 설치된 지역에서 소정 범위를 촬영하고, 촬영된 영상을 실시간으로 위험예측서버(100)로 전송할 수 있다. 이러한 카메라(210)는 위험예측서버(100)에서 전송되는 카메라제어신호에 따라 촬영각도, 촬영시간, 촬영모드 등의 동작이 제어될 수 있다.
경보장치(220)는 전술된 카메라(210) 주변에 하나 이상 설치될 수 있다. 경보장치(220)는 위험예측서버(100)에서 전송된 경보제어신호에 따라 빛 또는 음향 등으로 이루어진 경보를 출력할 수 있다.
위험예측서버(100)는 복수의 감시장치(200)로부터 전송되는 각 지역의 촬영영상에서 하나 이상의 객체, 예컨대 사람을 추출하고, 추출된 객체의 위험발생여부를 예측할 수 있다. 위험예측서버(100)는 예측결과에 따라 해당지역의 경보장치(220)로 경보신호를 출력하고, 상기 해당지역의 유관기관서버(300), 예컨대 해당지역의 소방서 또는 경찰서 등의 관공서에 구비된 서버로 예측결과를 전송하여 객체의 사고발생을 방지할 수 있다. 이러한 위험예측서버(100)는 노이즈제거부(110), 관심영역설정부(120), 영상분석부(130) 및 감시장치제어부(140)를 포함할 수 있다.
노이즈제거부(110)는 수신된 촬영영상의 노이즈를 제거하여 출력할 수 있다. 노이즈제거부(110)는 촬영영상의 색상, 휘도, 명도 등의 조절을 통해 배경과 객체 간 경계가 명확해지도록 노이즈를 제거할 수 있다.
관심영역설정부(120)는 노이즈제거부(110)에서 출력된 영상, 즉 노이즈가 제거된 영상에서 하나 이상의 관심영역(Region of Interest: ROI)을 설정할 수 있다. 관심영역은 영상 내 존재하는 다수의 구역 중에서 사고발생률이 높은 하나 이상의 구역에 설정될 수 있다. 또한, 관심영역설정부(120)는 기 설정된 관심영역 주변으로 보조 관심영역을 추가로 설정할 수 있다.
도 6에 도시된 바와 같이, 감시장치(200)로부터 소정 지역의 다리(bridge)에 대한 영상이 전송되어 노이즈가 제거된 후, 관심영역설정부(120)는 상기 영상에서 객체, 즉 사람의 사고발생률이 가장 높은 난간 주변의 영역을 주 관심영역, 즉 제1관심영역(ROI-1)으로 설정할 수 있다. 이어, 관심영역설정부(120)는 상기 제1관심영역(ROI-1)에 인접되도록 보조 관심영역, 즉 제2관심영역(ROI-2)을 설정할 수 있다.
영상분석부(130)는 노이즈제거부(110)에서 출력된 영상에서 하나 이상의 객체를 추출할 수 있다. 영상분석부(130)는 추출된 객체에 대하여 기 설정된 관심영역에서의 사고발생, 즉 위험도를 예측할 수 있다. 영상분석부(130)는 위험도 예측결과를 해당 지역의 경보장치(220) 및 유관기관서버(300)로 출력할 수 있다.
영상분석부(130)는 인공지능을 기반으로 영상 내에서 객체 추출 및 위험도 예측을 수행할 수 있다. 영상분석부(130)에는 객체추출 알고리즘 및 위험도예측 알고리즘, 예컨대 RetinaNet, EfficientDet 등과 같은 알고리즘이 탑재될 수 있다. 이들 알고리즘은 다수의 학습데이터를 이용한 딥러닝 또는 머신러닝의 학습을 수행하고, 이를 통해 영상분석모델을 구축할 수 있다. 영상분석부(130)는 영상분석모델을 이용하여 영상으로부터 하나 이상의 객체추출 및 이의 위험도 예측을 수행할 수 있다. 여기서, 영상분석모델은 객체추출을 위한 객체추출모델과 객체 위험도 예측을 위한 위험예측모델을 포함할 수 있다. 이러한 영상분석부(130)는 객체추출부(131), 위험예측부(133) 및 데이터저장부(135)를 포함할 수 있다.
객체추출부(131)는 영상분석모델, 예컨대 객체추출모델을 통해 입력영상, 즉 노이즈가 제거된 영상에서 하나 이상의 객체를 추출할 수 있다. 객체추출부(131)는 입력영상의 다수의 영상프레임 중 적어도 하나의 영상프레임에서 객체를 추출할 수 있다. 객체추출부(131)는 추출된 객체를 둘러싸는 사각형 형태의 객체영역을 생성하여 상기 객체와 함께 출력할 수 있다.
여기서, 객체추출모델은 다수의 학습데이터를 이용하여 객체추출에 대한 학습을 수행할 수 있다. 이때, 객체추출모델은 객체추출학습 및 이의 신뢰도 검증을 반복하여 수행함으로써 학습의 효율 및 이를 통한 객체추출의 정확도를 높일 수 있다.
객체추출모델은 학습데이터로부터 객체를 탐지하고, 탐지된 객체에 대한 사각형 형태의 객체영역을 생성하여 추출할 수 있다. 이때, 객체영역은 다수개로 생성될 수 있다. 이에, 객체추출모델은 학습데이터의 실측값을 이용하여 다수의 객체영역 각각의 신뢰도를 검증함으로써, 객체추출학습의 정확도를 향상시킬 수 있다.
여기서, 학습데이터의 실측값은 상기 학습데이터에 존재하는 객체에 대한 실측영역을 의미한다. 또한, 객체추출모델에서 생성된 다수의 객체영역의 신뢰도 검증은 추출된 객체영역과 실측영역 간 중첩비율로 검증될 수 있으며, 이러한 중첩비율이 0.5 이상인 객체영역 중 상대적으로 가장 높은 값의 객체영역이 선택되어 추출되도록 하는 학습 및 검증을 반복함으로써 객체추출학습의 정확도를 높일 수 있다.
한편, 객체추출부(131)는 영상 내의 다수의 객체를 추출하는 대신 기 설정된 관심영역 내 위치하는 객체를 한정하여 추출할 수도 있다. 즉, 객체추출부(131)는 사고발생률이 높은 관심영역에 위치하는 객체만을 추출함으로써, 객체추출의 효율 및 속도를 향상시킬 수 있다.
위험예측부(133)는 영상분석모델, 예컨대 위험도예측모델을 통해 객체추출부(131)에서 추출된 하나 이상의 객체에 대한 위험 발생을 예측할 수 있다. 위험예측부(133)는 기 설정된 관심영역에 위치하는 객체의 행동을 분석하거나 또는 관심영역 내에서 객체의 움직임을 추적하여 해당 객체의 위험발생을 예측하고, 이에 따른 객체의 위험도 예측결과를 출력할 수 있다.
데이터저장부(135)에는 다수의 영상데이터가 저장될 수 있다. 다수의 영상데이터는 이전 시점에서 객체추출부(131) 및 위험예측부(133)를 통해 추출된 특정지역의 객체 및 이에 대한 위험도 예측결과를 포함하는 영상데이터 또는 영상분석부(130)의 학습을 위한 다수의 객체와 이들의 위험도 예측결과가 포함된 영상데이터일 수 있다.
이에, 영상분석부(130)는 데이터저장부(135)에 저장된 다수의 영상데이터를 학습데이터로 활용하여 객체추출 알고리즘 및 위험도예측 알고리즘에 대한 딥러닝 또는 머신러닝을 수행할 수 있다.
감시장치제어부(140)는 영상분석부(130)에서 출력되는 위험도 예측결과에 기초하여 해당 지역의 감시장치(200)의 동작을 제어할 수 있다. 예컨대, 감시장치제어부(140)는 위험도 예측결과에 기초하여 감시장치(200)의 카메라(210)의 동작, 즉 촬영동작을 제어할 수 있는 카메라제어신호를 생성하고, 이를 통신망(400)을 통해 해당 감시장치(200)로 전송할 수 있다. 또한, 감시장치제어부(140)는 위험도 예측결과에 기초하여 감시장치(200)의 경보장치(220)의 동작, 즉 경보발생을 제어할 수 있는 경보제어신호를 생성하고, 이를 통신망(400)을 통해 해당 감시장치(200)로 전송할 수 있다.
유관기관서버(300)는 감시장치(200)가 설치된 지역의 경찰서 또는 소방서 등의 기관 내에 구비된 서버일 수 있다. 유관기관서버(300)는 위험도예측서버(100)로부터 전송된 위험도 예측결과에 따라 경보 등을 발생시킴으로써, 구조 인력 등을 통해 해당 지역에서의 사고발생을 미연에 방지할 수 있다.
상술한 바와 같이, 본 실시예에 따른 사고발생 예측시스템(10)은 사고발생이 우려되는 지역 내 설치된 감시장치(200)로부터 전송된 촬영영상에서 추출되는 객체에 대한 움직임 또는 행동을 추적 및 분석하여 위험도를 예측하고, 예측된 위험도에 따라 경보발생 또는 유관기관 통보 등을 수행함으로써, 해당 지역에서 발생될 수 있는 안전사고를 사전 조치하여 방지할 수 있다.
도 3은 본 발명의 일 실시예에 따른 사고발생 예측방법을 나타내는 도면이다.
먼저, 위험예측서버(100)의 영상분석부(130)는 데이터저장부(135)에 저장된 다수의 영상데이터를 학습데이터로 이용하여 객체추출 알고리즘 및 위험예측 알고리즘에 대한 딥러닝 또는 머신러닝을 수행하고, 그에 따른 영상분석모델을 구축할 수 있다(S10). 여기서, 영상분석모델은 객체추출모델 및 위험도예측모델을 포함할 수 있다.
다음으로, 특정지역, 예컨대 객체의 사고발생이 우려되는 모니터링 지역에 하나 이상의 감시장치(200)가 설치되고, 상기 감시장치(200)의 카메라(210)를 통해 촬영된 영상이 위험예측서버(100)로 전송될 수 있다(S20).
이어, 위험예측서버(100)의 노이즈제거부(110)는 수신된 촬영영상의 노이즈를 제거하여 출력할 수 있다(S30). 노이즈제거부(110)는 촬영영상의 색상, 휘도, 명도 등의 조절을 통해 객체와 배경 간의 경계가 명확해지도록 노이즈를 제거할 수 있다.
다음으로, 영상분석부(130)는 영상분석모델을 통해 입력영상, 즉 노이즈제거부(110)에서 출력된 노이즈가 제거된 영상에서 하나 이상의 객체를 추출하고, 추출된 객체의 위험발생을 예측할 수 있다(S40).
도 4는 도 3의 객체추출 및 위험발생 예측방법을 구체적으로 나타내는 도면이다.
위험예측서버(100)의 관심영역설정부(120)는 노이즈제거부(110)에서 출력된 영상에서 복수의 관심영역을 생성할 수 있다(S110).
도 6에 도시된 바와 같이, 관심영역설정부(120)는 영상 내 다수의 구역 중 사고발생률이 높은 구역을 제1관심영역(ROI-1)으로 설정하고, 상기 제1관심영역(ROI-1)의 주변영역을 제2관심영역(ROI-2)으로 설정할 수 있다.
다음으로, 영상분석부(130)의 객체추출부(131)는 영상분석모델의 객체추출모델을 통해 입력영상, 즉 노이즈제거부(110)에서 출력된 영상에서 하나 이상의 객체를 추출할 수 있다(S120).
이어, 영상분석부(130)의 위험예측부(133)는 영상분석모델의 위험도예측모델을 통해 추출된 객체의 위험발생, 즉 위험도를 예측할 수 있다. 이때, 위험예측부(133)는 기 설정된 제1관심영역(ROI-1) 및 제2관심영역(ROI-2) 내에 추출된 객체가 위치하는 지를 판단할 수 있다(S130, S160).
객체의 위치판단 결과, 상기 객체가 제1관심영역(ROI-1)에 위치하면, 위험예측부(133)는 제1관심영역(ROI-1) 내 객체의 행동을 분석할 수 있다(S140). 그리고, 객체 행동의 분석결과로부터 상기 객체의 위험발생을 예측할 수 있다(S150).
예컨대, 도 7a에서와 같이, 객체가 일반적인 행동, 예컨대 보행 중인 것으로 그 행동이 분석되면, 위험예측부(133)는 제1관심영역(ROI-1) 내 객체의 위험도가 낮을 것으로 예측할 수 있다. 반면에, 도 7b에서와 같이, 객체가 이상행동, 예컨대 다리 난간과 같은 위험구역에 근접하거나 올라가는 것으로 그 행동이 분석되면, 위험예측부(133)는 제1관심영역(ROI-1) 내 객체의 위험도가 높을 것으로 예측할 수 있다.
이에, 위험예측서버(100)는 전술된 위험예측부(133)의 위험도 예측결과에 기초하여 해당 지역의 객체, 즉 제1관심영역(ROI-1)의 객체에 사고발생을 경고하거나 또는 해당 지역의 유관기관서버(300)로 위험도 예측결과를 전송하여 사고발생을 경고할 수 있다(S50).
예컨대, 위험예측부(133)에 의해 제1관심영역(ROI-1) 내 객체의 위험도가 높을 것으로 예측되면, 위험예측서버(100)의 감시장치제어부(140)는 위험도 예측결과에 따라 해당 지역의 감시장치(200)로 경보제어신호를 출력할 수 있다. 이에, 감시장치(200)의 경보장치(220)는 상기 경보제어신호에 따라 제1관심영역(ROI-1) 내 객체에게 경보를 발생시킴으로써, 상기 객체에게 사고발생을 경고하거나 또는 상기 객체의 주변인들에게 사고발생을 경고하여 이를 방지하도록 할 수 있다. 이와 함께, 위험예측서버(100)는 상기 위험도 예측결과를 해당 지역의 유관기관서버(300)로 전송하여 사고발생을 경고함으로써, 유관기관을 통해 제1관심영역(ROI-1) 내 객체의 사고발생을 방지하도록 할 수 있다.
한편, 객체의 위치판단 결과, 상기 객체가 제1관심영역(ROI-1)이 아닌 제2관심영역(ROI-2)에 위치하면, 위험예측부(133)는 소정 시간동안 제2관심영역(ROI-2) 내 객체의 움직임을 추적할 수 있다(S170).
이때, 추적객체가 제2관심영역(ROI-2)의 객체가 제1관심영역(ROI-1)으로 움직이면, 위험예측부(133)는 전술된 객체의 행동을 분석하여 위험도를 예측하는 단계를 수행할 수 있다(S140, S150). 그리고, 위험도 예측 결과에 따라 경보를 발생하거나 또는 유관기관에 통보하여 해당 객체의 사고발생을 방지할 수 있다(S50).
또한, 객체의 위치판단 결과, 상기 객체가 제1관심영역(ROI-1) 및 제2관심영역(ROI-2) 모두에 위치하지 않으면, 영상분석부(130)는 전술된 입력영상에서 하나 이상의 객체를 추출하는 단계(S120)를 재수행할 수 있다.
도 5는 도 4의 객체 추출방법을 구체적으로 나타내는 도면이다.
먼저, 객체추출부(131)는 다수의 학습데이터를 통해 구축된 객체추출모델을 이용하여 입력영상에서 객체를 탐지할 수 있다(S210).
이때, 객체추출부(131)는 설정값에 따라 입력영상의 다수의 영상프레임 각각에서 객체를 탐지할 수 있다. 예컨대, 입력영상이 초(second)당 30개의 영상프레임으로 이루어진 경우에, 객체추출부(131)는 설정값에 따라 최소 1개의 영상프레임 또는 최대 30개의 영상프레임에서 객체를 탐지할 수 있다. 다만, 설정값은 위험예측서버(100)의 시스템 사양에 따라 달라질 수 있으며, 객체추출부(131)의 정확한 객체 탐지를 위하여 입력영상의 전체 영상프레임 중 적어도 30%이상의 영상프레임에서 객체를 탐지하도록 설정되는 것이 바람직하다. 또한, 객체추출부(131)는 각 영상프레임에서 탐지된 객체에 대하여 사각 박스 형태의 객체영역을 생성할 수 있다.
다음으로, 객체추출부(131)는 서로 인접된 복수의 영상프레임, 예컨대 제1영상프레임과 제2영상프레임 각각의 객체영역을 비교할 수 있다(S220). 제1영상프레임과 제2영상프레임 각각의 객체영역은 동일 객체를 포함할 수 있다.
이어, 비교 결과 제1영상프레임의 객체영역과 제2영상프레임의 객체영역 간 중첩영역 비율(Intersection over Union; IoU)이 설정값, 예컨대 0.7 이상이면(S230), 객체추출부(131)는 두 영상프레임 간 비교 횟수를 판단할 수 있다(S250).
여기서, 중첩영역 비율은 제1영상프레임의 객체영역과 제2영상프레임의 객체영역의 교차영역의 넓이값을 두 객체영역 전체의 넓이값으로 나눈 값으로 산출될 수 있다. 이러한 중첩영역 비율이 1에 근접될수록 제1영상프레임의 객체영역과 제2영상프레임의 객체영역이 정확하게 겹쳐 객체추출의 정확도가 높은 것으로 판단될 수 있다.
계속해서, 객체추출부(131)의 영상프레임 비교횟수가 기 설정된 횟수, 예컨대 5~10 중 하나의 자연수로 설정된 횟수(M) 이상이면, 객체추출부(131)는 입력영상의 복수의 영상프레임 각각에서 탐지된 객체를 추출할 수 있다(S260). 여기서, 객체추출부(131)의 영상프레임 비교횟수는 전술된 두 영상프레임의 객체영역 비교단계(S220)를 수행할 때마다 누적되어 카운트될 수 있다.
반면에, 영상프레임 간 비교횟수가 기 설정된 횟수(M) 미만이면, 객체추출부(131)는 비교횟수를 증가시키고, 전술된 두 영상프레임의 객체영역 비교단계(S220)를 반복 수행할 수 있다.
이때, 객체추출부(131)는 복수의 영상프레임 각각의 객체영역을 순차적으로 비교할 수 있다. 다시 말해, 객체추출부(131)는 제1영상프레임의 객체영역과 제2영상프레임의 객체영역 간 비교를 수행한 후, 제2영상프레임의 객체영역과 제3영상프레임의 객체영역 간 비교를 수행할 수 있다.
즉, 객체추출부(131)는 객체추출모델을 통해 입력영상의 다수의 영상프레임 각각에서 객체를 추출하고, 이들을 인접 영상프레임 간 비교를 통해 검증함으로써 객체추출의 정확도를 높일 수 있다.
상술한 바와 같이, 본 실시예에 따른 사고발생 예측방법은 사고발생이 우려되는 지역 내 설치된 감시장치(200)로부터 전송된 촬영영상에서 추출되는 객체의 움직임 또는 행동을 추적 및 분석하여 위험도를 예측하고, 예측된 위험도에 따라 경보발생 또는 유관기관 통보 등을 수행함으로써, 해당 지역에서 발생될 수 있는 안전사고를 사전 조치하여 방지할 수 있다.
이상, 본 발명의 일 실시 예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
또한, 전술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 하여 내려져야 할 것이다.
10: 사고발생 예측시스템 100: 위험예측서버
110: 노이즈제거부 120: 관심영역설정부
130: 영상분석부 131: 객체추출부
133: 위험예측부 135: 데이터저장부
140: 감시장치제어부 200: 감시장치
210: 카메라 220: 경보장치
300: 유관기관서버 400: 통신망

Claims (7)

  1. 모니터링 지역에 하나 이상 설치된 감시장치로부터 상기 지역의 촬영영상을 수신하는 단계;
    위험예측서버가 다수의 학습데이터를 이용하여 영상분석모델을 구축하는 단계;
    상기 위험예측서버가 상기 영상분석모델을 이용하여 상기 촬영영상에서 하나 이상의 객체를 추출하는 단계;
    상기 위험예측서버가 추출된 상기 객체의 위험발생을 예측하는 단계; 및
    상기 위험예측서버가 위험발생 예측결과에 따라 상기 감시장치로 경보제어신호를 출력하여 상기 모니터링 지역에 경보가 발생되도록 하는 단계를 포함하는 사고발생 예측방법.
  2. 제1항에 있어서,
    상기 위험예측서버가 상기 촬영영상에서 하나 이상의 관심영역을 설정하는 단계를 더 포함하는 것을 특징으로 하는 사고발생 예측방법.
  3. 제2항에 있어서,
    상기 관심영역을 설정하는 단계는,
    상기 촬영영상에서 제1관심영역을 설정하는 단계; 및
    상기 제1관심영역의 주변으로 제2관심영역을 설정하는 단계를 포함하는 것을 특징으로 하는 사고발생 예측방법.
  4. 제3항에 있어서,
    상기 객체의 위험발생을 예측하는 단계는,
    상기 객체의 위치를 판단하는 단계; 및
    상기 객체가 상기 제1관심영역에 위치하면, 상기 객체의 행동을 분석하여 위험도를 예측하고, 상기 객체가 상기 제2관심영역에 위치하면, 상기 객체의 움직임을 추적하는 단계를 포함하는 것을 특징으로 하는 사고발생 예측방법.
  5. 제4항에 있어서,
    상기 제2관심영역에 위치한 상기 객체가 상기 제1관심영역으로 움직이면, 상기 객체의 행동을 분석하여 위험도를 예측하는 것을 특징으로 하는 사고발생 예측방법.
  6. 제1항에 있어서,
    상기 위험예측서버가 상기 위험발생 예측결과를 하나 이상의 유관기관서버로 전송하는 단계를 더 포함하는 것을 특징으로 하는 사고발생 예측방법.
  7. 제1항에 있어서,
    상기 위험예측서버가 상기 감시장치에서 전송된 상기 촬영영상의 노이즈를 제거하여 출력하는 단계를 더 포함하는 것을 특징으로 하는 사고발생 예측방법.

KR1020210161923A 2021-11-23 2021-11-23 인공지능 기반의 사고발생 예측방법 KR20230075595A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210161923A KR20230075595A (ko) 2021-11-23 2021-11-23 인공지능 기반의 사고발생 예측방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210161923A KR20230075595A (ko) 2021-11-23 2021-11-23 인공지능 기반의 사고발생 예측방법

Publications (1)

Publication Number Publication Date
KR20230075595A true KR20230075595A (ko) 2023-05-31

Family

ID=86543817

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210161923A KR20230075595A (ko) 2021-11-23 2021-11-23 인공지능 기반의 사고발생 예측방법

Country Status (1)

Country Link
KR (1) KR20230075595A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002712B1 (ko) 2009-01-20 2010-12-21 주식회사 레이스전자 지능형 카메라 보안 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002712B1 (ko) 2009-01-20 2010-12-21 주식회사 레이스전자 지능형 카메라 보안 시스템

Similar Documents

Publication Publication Date Title
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
KR101075063B1 (ko) 퍼지 규칙을 이용한 화재 불꽃 감지 방법
KR101036947B1 (ko) 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템
CN104581081B (zh) 基于视频信息的客流分析方法
KR102407327B1 (ko) 화재감지장치 및 이를 포함하는 화재감지시스템
KR100849689B1 (ko) 영상자동팝업기능이 구비된 감시통제시스템 및 그 제어방법
KR101485022B1 (ko) 행동 패턴 분석이 가능한 객체 추적 시스템 및 이를 이용한 방법
CN108376246A (zh) 一种多人脸识别及跟踪***及方法
KR102174784B1 (ko) 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법
WO2017126187A1 (ja) 映像監視装置及び映像監視方法
KR102131437B1 (ko) 적응형 영상 감시 시스템 및 방법
CN109492548B (zh) 基于视频分析的区域mask图片的获得方法
KR20190092227A (ko) 지능형 영상 분석에 의한 실영상 및 녹화영상 검색 시스템
KR101695127B1 (ko) 영상을 이용한 집단 행동 분석 방법
KR101656642B1 (ko) 영상을 이용한 집단 행동 분석 방법
CN108460319B (zh) 异常人脸检测方法及装置
KR102046591B1 (ko) 영상 감시 시스템 및 영상 감시방법
KR20210043960A (ko) IoT와 인공지능 기술을 이용한 행동인식 기반의 안전 감시 시스템 및 방법
KR101926510B1 (ko) 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템
KR20230075595A (ko) 인공지능 기반의 사고발생 예측방법
KR20230075594A (ko) 인공지능 기반의 사고발생 예측시스템
JPH0460880A (ja) 動体識別解析管理システム
CN115457331A (zh) 一种施工场所的智能巡检方法及***
KR20230097854A (ko) 발전소내 작업자의 위험행동 인지방법 및 시스템
KR20140057225A (ko) 열상과 다중센서를 이용한 cctv영상개선과 감시시스템활용 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application