KR20230068809A - 이종 데이터 분석을 통한 인공지능 기반 위험 상황 인지 방법 및 장치 - Google Patents

Abstract

인공지능에 기반하여 위험상황 인지 장치가 수행하는 방법에 있어서, 영상 데이터를 획득하는 단계; 상기 영상 데이터를 데이터베이스에 저장하는 단계; 상기 영상 데이터를 영상기반 전처리하여 표준 영상 데이터를 생성하는 단계; 상기 표준 영상 데이터를 영상기반 위험상황 인지 모델의 감지 네트워크에 입력하여 감지 영상 데이터를 생성하는 단계; 상기 감지 영상 데이터를 이용하여 영상기반 위험상황 인지 알고리즘을 통해 위험상황 종류 및 발생 여부를 판단하는 단계; 및 상기 위험상황 종류 및 발생 여부에 대해 사용자에게 알림을 수행하는 단계를 더 포함하되, 상기 영상기반 위험상황 인지 알고리즘은 상기 영상 데이터 정보 및 기계 학습 과정에 따라 결정되는 위험상황 종류에 기반하여 결정되고, 및 상기 감지 네트워크는 위험상황의 감지 대상에 대응되는 상기 영상기반 위험상황 인지 모델의 레이어에 배치되는 것을 특징으로 하는 방법을 제공한다.

Description

이종 데이터 분석을 통한 인공지능 기반 위험 상황 인지 방법 및 장치{METHOD FOR RECOGNIZING RISK SITUATION BASED ON ARTIFICIAL INTELLIGENCE THROUGH HETEROGENEOUS DATA ANALYSIS AND APPARATUS THEREFOR}

본 발명은 인공지능 기반하여 이기종 데이터 분석을 통해 복합적인 위험 상황을 인지하는 방식과 이를 지원하는 장치에 관한 것이다.

건설 현장에서 발생되는 추락 등의 위험 상황을 인식하기 위한 모델을 학습하기 위해서는 다량의 데이터가 필요하나, 실제 위험 상황 시나리오를 구성하여 데이터를 수집/레이블링 하는 비용이 상당하므로, 기존에는 대부분 기존 학습된 네트워크(사람검출기 등)를 활용하여 정의된 상황을 감지한다. 그러나 위험 상황이 발생할 때마다, 이러한 과정을 반복하는 것은 지나치게 인력과 비용을 낭비하게 되는 문제를 야기시킨다.

최근 딥러닝 기반의 자연어 처리 모델은 다양한 분야에서 활용되고 있다. 이러한 자연어 처리 모델은 문장 내 특정 타겟 단어의 의미를 명확히 하는데 활용될 뿐만 아니라, 입력된 문장 또는 단어를 속성에 따라 분류하는 데에도 많이 활용되고 있다. 특히 최근에는 딥러닝 기반의 자연어 처리 모델에 의한 속성 분류가 정확도 면에서 인간에 의한 결과보다 더 나은 결과를 생산하기도 한다.

그러나 이러한 딥러닝 기반의 학습 모델을 건설 현장과 관련하여 사용자 단말 및 CCTV 등 이종 기기로부터 발생한 데이터를 복합적으로 처리 및 관리하는 데 어려움을 겪고있다.

공개특허공보 제10-2019-0140799호, 2019.11.06

본 발명이 해결하고자 하는 과제는 이종 기기로부터 복합적인 위험 상황을 분석하기 위한 데이터들을 획득하여 정의함으로써 인공지능 학습시 사용되는 데이터들을 제공하는 것이다.

또한, 본 발명에 따르면 영상 및/또는 센싱 데이터 기반 위험 상황 인지 시스템을 제공하여 위험 상황을 인지하여 사용자에게 정보를 제공하는 것에 목적이 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따르면, 인공지능에 기반하여 위험상황 인지 장치가 수행하는 방법을 제공한다.

상기 방법은: 영상 데이터를 획득하는 단계; 상기 영상 데이터를 데이터베이스에 저장하는 단계; 상기 영상 데이터를 영상기반 전처리하여 표준 영상 데이터를 생성하는 단계; 상기 표준 영상 데이터를 영상기반 위험상황 인지 모델의 감지 네트워크에 입력하여 감지 영상 데이터를 생성하는 단계; 상기 감지 영상 데이터를 이용하여 영상기반 위험상황 인지 알고리즘을 통해 위험상황 종류 및 발생 여부를 판단하는 단계; 및 상기 위험상황 종류 및 발생 여부에 대해 사용자에게 알림을 수행하는 단계를 더 포함하되, 상기 영상기반 위험상황 인지 알고리즘은 상기 영상 데이터 정보 및 기계 학습 과정에 따라 결정되는 위험상황 종류에 기반하여 결정되고, 및 상기 감지 네트워크는 위험상황의 감지 대상에 대응되는 상기 영상기반 위험상황 인지 모델의 레이어에 배치될 수 있다.

또는 상기 방법은, 상기 영상 데이터를 영상기반 전처리하여 표준 영상 데이터를 생성하는 단계는 상기 표준 영상 데이터를 상기 영상기반 위험상황 인지 모델의 입력 데이터 표준에 맞도록 전치리하는 단계를 포함하되, 상기 입력 데이터 표준은 상기 영상 데이터에서 발생하는 이벤트의 시간적 특성을 고려하여 결정되고, 상기 영상기반 위험상황 인지 모델의 처리 속도와 기준 시간의 곱이 상기 시간적 특성에 반영되고, 및 상기 처리 속도는 상기 영상기반 위험상황 인지 모델이 일정 시간 동안 처리하는 이미지의 개수이며, 상기 기준 시간은 상기 이벤트 발생 여부를 판단하기 위해 지정되거나 임의로 설정된 시간을 의미하는 것일 수 있다.

또는 상기 방법은, 사용자 단말의 센서를 통해 센싱 데이터를 획득하는 단계; 상기 센싱 데이터를 상기 데이터베이스에 저장하는 단계; 상기 센싱 데이터를 전처리하여 표준 센싱 데이터를 생성하는 단계; 상기 표준 센싱 데이터를 센싱 데이터기반 위험상황 인지 모델의 감지 네트워크에 입력하여 감지 센싱 데이터를 생성하는 단계; 상기 감지 센싱 데이터를 이용하여 센싱 데이터기반 위험상황 인지 알고리즘을 통해 위험상황 종류 및 발생 여부를 판단하는 단계; 및 상기 위험상황 종류 및 발생 여부를 하나의 결과로 통합하여 사용자에게 알림을 수행하는 단계를 더 포함하되, 상기 센싱 데이터기반 위험상황 인지 알고리즘은 하나 이상의 1차원 합성곱 신경망 층과 하나 이상의 1차원 평균 풀링 층이 소정횟수 반복하여 배치되어 설정될 수 있다.

또는 상기 감지 센싱 데이터를 이용하여 센싱 데이터기반 위험상황 인지 알고리즘을 통해 위험상황 종류 및 발생 여부를 판단하는 단계는: 상기 센싱 데이터기반 위험상황 인지 알고리즘을 거친 모든 결과를 하나의 벡터로 결합하는 단계; 및 상기 벡터가 일반 인공신경망과 드롭아웃(drop-out)층이 소정 횟수 반복하여 배치된 네트워크를 거쳐 출력되는 단계를 포함하할 수 있다.

또는, 상기 사용자 단말의 센서가 감지하는 대상이 추락 상황인 경우, 위험 고도에서의 상기 사용자 단말 자체의 고도에 기반하여 상기 센싱 데이터기반 위험상황 인지 알고리즘이 결정되고, 상기 사용자 단말 자체의 고도는 일정 지역 내 특정 직종 종사자의 성별 및 연령대별 인원 현황과 상기 종사자의 신장 통계 및 엉덩이 높이 통계에 기반하여 결정될 수 있다.

또는, 상기 표준 센싱 데이터는 센싱되는 모션에 대한 x축 각속도, y축 각속도, z축 각속도, x축 가속도, y축 가속도, z축 가속도, 및 기압에 대한 정보를 포함할 수 있다.

또는, 상기 센싱 데이터기반 위험상황 인지 알고리즘에 입력되는 감지 센싱 데이터는 상기 표준 센싱 데이터 중 추락하는 시간 동안의 데이터 패턴에 기반한 입력 시계열 데이터의 사이즈에 의해 결정될 수 있다.

또는, 상기 방법은, 상기 사용자로부터 상기 위험상황에 대한 피드백 정보를 획득하는 단계; 및 상기 피드백 정보에 기반하여 상황판단 착오 데이터 기반 알고리즘을 업데이트하는 단계를 더 포함할 수 있다.

또는, 상기 방법은, 상기 사용자로부터 상기 위험상황에 대한 피드백이 없는 경우, 상기 영상 데이터 및 상기 센싱 데이터 중 상기 피드백이 없는 데이터를 상기 데이터베이스로부터 삭제하는 단계를 더 포함할 수 있다.

본 발명의 다른 일 실시예에 따르면, 인공지능 기반 위험상황 인지 장치에 있어서, 통신부; 데이터를 저장하도록 구성된 데이터베이스; 및 상기 데이터베이스와 연결된 하나 이상의 프로세서를 포함하고, 상기 통신부는 영상 촬영 장치로부터 영상 데이터를 획득하도록 구성되고, 상기 데이터베이스는 상기 영상 데이터를 저장하도록 구성되고, 상기 하나 이상의 프로세서는: 상기 영상 데이터를 영상기반 전처리하여 표준 영상 데이터를 생성하고; 상기 표준 영상 데이터를 영상기반 위험상황 인지 모델의 감지 네트워크에 입력하여 감지 영상 데이터를 생성하고; 상기 감지 영상 데이터를 이용하여 영상기반 위험상황 인지 알고리즘을 통해 위험상황 종류 및 발생 여부를 판단하고; 및 상기 위험상황 종류 및 발생 여부에 대해 상기 입출력부를 통해 사용자에게 알림을 수행하도록 구성되며, 상기 영상기반 위험상황 인지 알고리즘은 상기 영상 데이터 정보 및 기계 학습 과정에 따라 결정되는 위험상황 종류에 기반하여 결정되고, 및 상기 감지 네트워크는 위험상황의 감지 대상에 대응되는 상기 영상기반 위험상황 인지 모델의 레이어에 배치될 수 있다.

본 발명의 다른 일 실시예에 따르면, 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 인공지능 기반 디바이스에서의 동작들을 수행하게 하는 명령을 포함하는, 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서, 상기 동작들은, 영상 데이터를 획득하는 단계; 상기 영상 데이터를 데이터베이스에 저장하는 단계; 상기 영상 데이터를 영상기반 전처리하여 표준 영상 데이터를 생성하는 단계; 상기 표준 영상 데이터를 영상기반 위험상황 인지 모델의 감지 네트워크에 입력하여 감지 영상 데이터를 생성하는 단계; 상기 감지 영상 데이터를 이용하여 영상기반 위험상황 인지 알고리즘을 통해 위험상황 종류 및 발생 여부를 판단하는 단계; 및 상기 위험상황 종류 및 발생 여부에 대해 사용자에게 알림을 수행하는 단계를 포함하되, 상기 영상기반 위험상황 인지 알고리즘은 상기 영상 데이터 정보 및 기계 학습 과정에 따라 결정되는 위험상황 종류에 기반하여 결정되고, 및 상기 감지 네트워크는 위험상황의 감지 대상에 대응되는 상기 영상기반 위험상황 인지 모델의 레이어에 배치될 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 따르면 공사 현장에서 발생하는 복합적인 위험 상황들을 하나의 결과로 통합하여 서버에 전달함으로써, 이를 사용자(안전 관리자)가 단말을 통해 쉽게 확인할 수 있는 효과가 있다.

또한 위험 상황에 대한 판단 착오시 피드백 정보를 생성하여 전달함으로써 착오 데이터를 기반으로 하여 알고리즘의 자동 업데이트가 가능한 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명이 적용 가능한 촬영 장치 및 위험상황 인지 장치를 포함하는 위험 상황 감지 시스템의 일 실시예를 도시한 도면이다.
도 2는 본 발명의 복합 위험상황 분석에 사용되는 데이터에 대한 일 실시예를 도시한다.
도 3은 본 발명의 복합 위험상황 분석에 사용되는 데이터를 입력하는 방식에 대한 일 실시예를 도시한다.
도 4는 본 발명의 영상 기반 인공지능 학습 모델의 일 예시를 도시한 도면이다.
도 5는 본 발명의 센싱 데이터 기반 인공지능 학습 모델의 일 예시를 도시한 도면이다.
도 6은 본 발명의 영상 및 센싱 데이터 기반 위험상황 인지 시스템 구조의 일 예시를 도시한 도면이다.
도 7은 본 발명에 따른 위험상황 인지 및 출력에 대한 과정을 도시한 도면이다.
도 8은 본 발명이 구현될 수 있는 장치의 구조를 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

본 발명은 건설현장에서 발생할 수 있는 주요 위험상황들에 대한 인공지능 기반 인지 장치 및 방법에 대해 개시한다. 본 발명에서 개시하는 다양한 실시예들에서 주요 위험상황은 추락, 안전모 미착용, 화재, 쓰러짐, 침입, 배회 상황을 등을 의미하며, 실제 건설현장에서 쓰이는 다양한 위험상황들도 포함할 수 있다.

본 발명에서 위험상황은 최소한 추락, 안전모 미착용, 화재, 쓰러짐, 침입, 배회상황을 포함할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명이 적용 가능한 촬영 장치 및 위험상황 인지 장치를 포함하는 위험 상황 감지 시스템의 일 실시예를 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 위험상황 인지 시스템(10)은, 네트워크(20), 사용자 단말(30), CCTV(closed circuit television) 촬영 장치(40), 및 서버(50)를 포함할 수 있다. 건설 현장 내 사각지대가 없도록 CCTV(40) 설치가 선행되어야 하고, 현장 작업자 모바일 단말기(30)에는 센싱 데이터 기반 위험상황인지 알고리즘이 내장된 모바일 어플리케이션이 설치되어 있음을 전제로 한다.

네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

사용자 단말(30)의 센싱 데이터에 대한 정보는 모바일 단말의 데이터 베이스에 저장되고, 모바일 단말의 데이터 베이스에 저장된 센싱 데이터는 센싱 데이터 기반 위험상황인지 알고리즘을 통해 입렵된다. 사용자 단말(30)의 데이터 분석부를 거친 센싱 데이터는 네트워크(20)를 통해 서버(50)의 복합위험상황 알람부에 전송된다. 모바일 단말기(사용자 단말, 30)의 물리적인 센싱 데이터 수집부는 모바일 단말기 자체의 저장소를 의미하며, 설정 값에 따라 데이터베이스 최대 용량이 관리될 수 있다.

사용자 단말(30)은 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC, 컴퓨터, 노트북 등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 유/무선 통신 장치를 포함할 수 있다. 특히, 본 발명에서의 사용자 단말(30)은 CCTV 촬영 장치(100)에 의해 촬영되는 감시 대상 공간에 대한 보안 관리를 수행하는 지위에 있는 사람(예를 들면, 건물 내 보안 담당자, 경비원, 방범대원 등)이 보유한 사용자 단말(30)을 의미하는 것일 수 있다.

CCTV 촬영 장치(40)가 촬영한 영상이 데이터베이스에 저장되고, 저장된 영상은 위험상황인지 알고리즘에에 입력된다. 위험상황 인지 알고리즘은 이상 여부를 감지하는 AI 학습 모듈을 사용하여 생성한 모션 영상을 학습하여 생성될 수 있다.

CCTV 촬영 장치(40) 및 서버(50) 상호간은 네트워크(20)을 통해 연결될 수 있다. 또한, 서버(50) 및 사용자 단말(30) 상호간은 네트워크(20)을 통해 연결될 수 있다.

서버(50)는 데이터 저장부, 데이터 분석부, 복합위험상황 알림부, 및 복합위험상황 알고리즘 갱신부를 포함할 수 있다. 서버(50)는 CCTV 촬영 장치(40)를 통해 획득한 영상 데이터와 작업자의 모바일 단말(30)로부터 획득한 센싱 데이터를 복합적으로 고려하여 복합 위험상황에 대해 인지하여 결과를 사용자에게 알릴 수 있다.

건설현장에서 이종 데이터 분석을 통한 인공지능 기반 복합 위험상황 인지를 위해서는, 시스템의 알고리즘에 입력되는 데이터의 정의가 필요하다.

본 발명에서 사용되는 데이터에는 CCTV를 통해 획득한 영상기반 복합위험상황 분석용 데이터와 센싱 데이터기반 복합위험상황 분석용 데이터가 있다.

본 발명에 따르면, 영상기반 복합위험상황 분석용 데이터 표준과 관련하여, 객체의 배회/침입/쓰러짐을 인지하는 것이 필수임을 전제로 하고 있다.

복합위험상황 분석을 위한 영상의 FPS(Frame per second) 표준은 하기와 같다.

영상기반 복합위험상황 인지를 위한 CCTV 데이터의 FPS 제한사항은 영상에서 발생하는 이벤트의 시간적 특성을 고려하기 위함이다.

배회, 침입, 쓰러짐의 이벤트 발생 여부는 영상기반 위험상황 인지 알고리즘에서 시간적 특성을 고려하기 위해, 학습 모델의 [처리 속도(FPS) * 기준 시간]을 계산함으로써 판단될 수 있다.

처리 속도는 학습 모델이 1초간 처리하는 이미지의 개수를 의미하며, 기준 시간은 이벤트 발생 여부를 판단하기 위해 지정되거나 사용자에 의해 임의로 설정된 시간을 의미한다.

상세하게는, 이하 배회/침입/쓰러짐에 대해 영상기반 복합위험상황 분석용 데이터 표준을 하기와 같이 정의할 수 있다.

배회: 10초간 지정된 구역에서 머물러 있는 경우 (지정된 시간 설정)

침입: 1초간 지정된 구역에서 머물러 있는 경우 (임의로 시간 설정)

쓰러짐: 2초간 쓰러짐 상태를 유지하는 경우 (임의로 시간 설정)

지정된 시간은 지능형 CCTV 인증기관인 KISA(한국인터넷진흥원)에서 제공된 조건에 따른 시간이다. 또한, 임의로 시간을 설정한 이유는 인공지능 기반 감지(detection) 모델에 대한 현재 기술로는 사람 이외의 다른 물체를 사람이라고 인지하는 경우가 발생하기 때문에, 이를 예외처리 하기 위해 임의로 시간을 설정하여 위험상황 인지 정확도를 높이기 위함이다.

상기 배회/침입/쓰러짐에 적용되는 시간은 일 예시이며, 사용자가 지정함에 따라 시간 설정이 가능하다.

본 발명에 따르면, 센싱 데이터기반 복합위험상황 분석용 데이터 표준에서는 특히 추락 인지가 필수적이다. 본 발명의 일 실시예에 따른 추락 이외에도, 다양한 위험상황이 적용될 수 있다.

도 2는 본 발명의 복합 위험상황 분석에 사용되는 센싱 데이터에 대한 일 실시예를 도시한다.

추락 상황 인지를 위한 사용자 단말 센싱 데이터 종류는 총 7종으로 1) x축 각속도, 2) y축 각속도, 3) z축 각속도, 4) x축 가속도, 5) y축 가속도, 6) z축 가속도, 7) 기압이 있다.

도 2를 참고하면, 추락 상황 인지를 위한 데이터셋의 일 예시를 도시한다. 도 2에서 Lable Data는 ELEVATOR이며, 해당 Lable Data에 대응되는 학습 데이터는 표의 오른쪽 점선 내에 위치한다. 학습 데이터는 상기 개시한 총 7종의 사용자 단말 센싱 데이터 종류를 개시하고 있다.

모바일 단말의 배터리 부하를 고려하여 센싱 데이터 수집 주기는 100ms 당 1회로 제한됨을 가정하고 있으며, 이는 모바일 단말의 배터리 부하에 따라 달라질 수 있다.

도 3은 본 발명의 복합 위험상황 분석에 사용되는 데이터를 입력하는 방식에 대한 일 실시예를 도시한다.

추락상황 인지 알고리즘은 도 2의 사용자 단말 센싱 데이터 중 최소 6행 내지 최대 10행의 7종의 센싱 데이터를 입력값으로 한다.

상세하게는, 도 3은 센싱 데이터기반 복합위험상황 분석용 데이터 모델 입력 방식의 일 예시를 도시하고 있다.

도 3을 참고하면, 0.1초마다 슬라이딩 하여 윈도우 사이즈만큼의 데이터가 센싱데이터 기반 위험상황인지 알고리즘으로 입력된다.

상세하게는, #1 Label Data에 대응되는 7종의 센싱 데이터가 입력되고, 0.1초 슬라이딩되어 #2 Label Data에 대응되는 7종의 센싱 데이터가 입력되고, 또 0.1초 슬라이딩되어 #3 Label Data에 대응되는 7종의 센싱 데이터가 순차적으로 센싱데이터 기반 위험상황인지 알고리즘에 입력된다.

이하 센싱데이터 입력 데이터 표준의 산정 근거에 대하여 개시한다.

본 발명에서 추락(높이가 있는 곳에서 사람이 떨어짐)이라 함은 사람이 인력(중력)에 의하여 건축물, 구조물, 가설물, 수목, 사다리 등의 높은 장소에서 떨어지는 것을 의미한다. 떨어짐(추락) 재해의 특징은 지상으로부터 높은 곳에서 작업수행 도중 그 위치에서 지면을 향해 떨어져 중력 가속도를 수반한 위치에너지에 의해 상해를 입는 것에 있으며, 이러한 특징 때문에 다른 재해에 비해 추락은 중상 또는 사망재해로 집계되는 경우가 많다.

산업안전공단의 추락재해 분석보고서에 따르면 추락재해자는 2m미만에서 46%로 가장 많았고 3m이상이 31%, 2m∼3m미만이 23%의 순으로 발생하여 3m미만에서 전체 추락재해의 69%로 대부분을 차지하는 것으로 나타났으며, 사망 등 중대재해는 2m∼3m 미만의 높이에서 12%, 3m이상의 높이에서 88%가 발생하여 대부분 3m이상 높은 장소에서 발생되는 것으로 나타났다.

따라서 본 발명에서는 “떨어짐”(추락)상황 중 중대재해에서 주요한 추락 높이인 3m이상 높이에서의 추락 상황을 감지 대상으로 하여 추락 상황 감지 알고리즘을 개시한다.

본 발명에서 추락 상황 감지 알고리즘은 모바일 단말기 중에서도 가장 흔한 스마트폰을 소지한 작업자를 대상으로 함으로, 일반 및 현장 작업 상황에서 일상적으로 스마트폰을 휴대하였을 시, 위험 고도에서의 스마트폰 기기 자체의 고도를 산정할 필요성이 있다.

일반적인 상황에서 주머니에 단말기를 소지하는 경우가 스마트폰 기기의 고도가 가장 낮으며, 이는 작업자의 신체구조에서 엉덩이높이에 해당하는 곳이므로, 국내 건설업 종사자의 성별/연령대별 인원현황과 한국인 신장 통계 및 엉덩이높이 통계치를 활용하여 건설업 종사자 신체 특성에 부합하는 평균적인 스마트폰 기기 최저고도가 산정되었다.

아래 표 1은 2018년도 집계된 연령대별 및 성별 건설업 종사자의 현황을 나타낸다.

(명)	합계	18~19세	20~24세	25~29세	30~34세	35~39세	40~44세	45~49세	50~54세
합계	159,498	5	750	2,795	5,494	13,035	20,887	35,758	40,256
남자	127,432	5	565	2,277	4,313	9,776	15,955	28,349	32,661
여자	32,066	0	185	518	1,181	3,259	4,932	7,409	7,595

상기 표 1에 따라 집계되지 않는 60세 이상 연령대에 대해서는 제외한 통계 정보가 활용된다.

20대는 “20~24세” 통계치와 “25~29세” 통계치를 합산, 30대는 “30~34세” 통계치와 “35~39세” 통계치를 합산, 40대는 “40~44세” 통계치와 “45~49세” 통계치를 합산, 50대는 “50~54세” 통계치와 “55~59세” 통계치를 합산하여 활용된다.

상기를 고려한 2018년도 집계된 연령대별 및 성별 평균 신장 분포 현황은 하기와 같다.

(cm)	19세 이하	20대	30대	40대	50대
합계	168.47	167.88	169.78	166.34	163.09
남자	173.42	173.80	174.05	172.15	169.39
여자	160.80	161.40	161.18	159.28	156.65

한국인 연령대별 및 성별을 고려한 평균 신장을 구하였으므로, 연령대별 및 성별에 따른 엉덩이 높이 데이터가 필요하다.사람이 스마트폰을 주머니에 휴대하는 상황에서의 기기의 고도를 산정하기 위해서는 신장 대비 엉덩이 높이의 비율을 계상해야 하기 때문에 최신 한국인 인체지수 조사정보를 바탕으로 성별 신장 대비 엉덩이 높이의 비율을 계상하고 비율 변화폭이 소폭이라는 전제하에 최저고도를 산정하였다.

아래 표 3은 2015년도 집계된 연령대별(16세~59세) 및 성별에 따른 신장과 엉덩이 높이의 현황이다.

남성 연령대별 신장 높이 측정 결과
구분	16세	17세	18세	19세	20-24세	25-29세	30-34세	35-39세	40-49세	50-59세
인원수(명)	251	274	237	234	483	386	332	320	310	220
평균(mm)	1721	1726	1730	1731	1742	1736	1737	1725	1704	1682
여성 연령대별 신장 높이 측정 결과
인원수(명)	266	221	212	229	362	306	354	322	360	359
평균(mm)	1598	1598	1594	1598	1609	1608	1602	1602	1570	1547
남성 연령대별 엉덩이 높이 측정 결과
인원수(명)	251	274	237	234	483	386	332	320	310	220
평균(mm)	858	859	860	861	864	857	852	844	832	820
여성 연령대별 엉덩이 높이 측정 결과
인원수(명)	266	221	212	229	362	306	354	322	360	359
평균(mm)	797	798	792	795	799	790	783	782	759	746

상기 표 3을 기반으로 성별로 신장 대비 엉덩이 높이 비율을 우선적으로 산정하였다.

남성의 경우 10대~50대의 평균 신장은 1725.765mm이고 평균 엉덩이 높이는 851.7873mm 로서, 남성의 평균 신장 대비 엉덩이 높이의 비율은 약 49.35%(소수점 셋째자리에서 반올림)로 산출된다.

여성의 경우 10~50대의 평균 신장은 1591.483mm이고 평균 엉덩이 높이는 782.1254mm로서, 여성의 평균 신장 대비 엉덩이 높이의 비율은 약 49.14%(소수점 셋째자리에서 반올림)로 산출된다.

표 1의 성별 및 연령대별 건설업 종사자 인원비율을 가중치로 하여, 표 2의 성별 및 연령대별 신장 정보를 대입하여 최종적으로 건설업 종사자들의 성별에 따른 평균 신장을 도출하였다.

남성 건설업 종사자들의 평균 신장을 도출하기 위한 수식은 하기 수학식 1과 같다.

상기 수학식 1의 파라미터는 하기와 같다:

N_m= 건설업 남성 종사자 총 인원수

i= 연령대(1:10대, 2:20대,...5:50대)

n_i= i×10 연령대 남성 종사자수

여성 건설업 종사자들의 평균 신장을 도출하기 위한 수식은 하기 수학식 2과 같다.

상기 수학식 2의 파라미터는 하기와 같다:

N_f= 건설업 여성 종사자 총 인원수

j= 연령대(1:10대, 2:20대,...5:50대)

n_j=j×10 연령대 여성 종사자수

상기 수학식 1 및 2를 통해 남성 건설업 종사자의 경우 평균 신장은 170.96cm(소수점 셋째자리 반올림)이며, 여성의 경우 158.39cm으로 계산된다.

총 건설업 종사자 인원 수 대비 남성 및 여성 비율을 각 평균 신장에 곱하여 도출된 남성과 여성의 가중 평균 신장에, 표 3의 데이터를 통해 도출된 성별 신장 대비 엉덩이높이 비율을 각각 곱한 뒤, 두 값을 더하여 건설업 종사자의 최종 평균 엉덩이높이가 산출될 수 있다.

총 건설업 종사자 인원은 159,498명이며 남성의 수는 127,432명 여성의 수는 32,066명으로 건설업 종사자의 남성비율은 약 79.9%, 여성비율은 약 20.1%에 해당하고 이를 각 성별 평균신장에 곱하면 남성의 가중 평균 신장은 136.59cm(소수점 셋째자리 반올림), 여성의 가중 평균 신장은 31.84cm(소수점 셋째자리 반올림)로 계산된다.

표 3의 데이터를 통해 도출된 남성의 엉덩이높이 비율은 49.35%로서, 이를 남성 가중 평균 신장인 136.59cm에 곱한 결과는 67.42cm(소수점 셋째자리 반올림)이며, 여성의 엉덩이높이 비율은 49.14%로서, 이를 여성 가중 평균 신장인 31.84cm에 곱한 결과는 15.65cm(소수점 셋째자리 반올림)이다. 이 두 결과 값을 합한 83.07cm(소수점 셋째자리 반올림)는 최종적인 건설업 종사자 평균 엉덩이높이로 활용될 수 있다.

따라서 본 발명에 따른 추락상황 인지 알고리즘 구축 시, 추락 상황에 대한 기준 고도는 기본적으로 최소 3.8m 이상의 위치에서 수집하는 것을 전제로 하였다.

상기 알고리즘 구축시 사용되는 데이터값들은 2015년 및 2018년 데이터를 기반으로 산출한 것이므로, 데이터를 수집한 해에 따라 그 값이 바뀔 수 있다.

또한, 공기저항이 없는 대기 조건에서 자유낙하를 하는 경우, 3.8m를 추락하는 데 걸리는 시간은 약 0.88초이다. 추락하는 시간 동안의 데이터 패턴을 학습하기 위해서 입력 시계열 데이터의 사이즈를 8±2 범위로 설정 (0.6 ~ 1.0초 데이터. 즉, 6행의 7종 센싱 데이터 ~ 10행의 7종 센싱 데이터) 또한 모델 내 컨볼루션 네트워크의 커널 사이즈가 8±2 범위인 요소를 포함하는 것이 필수적 (발명 관련 최적 실험값은 커널 사이즈 2, 4, 8 조합)이다.

이하, 본 발명에 따른 위험상황 인지 시스템 구조로, 영상기반 인공지능 학습 모델과 센싱 데이터 기반 인공지능 학습 모델에 대하여 개시한다.

도 4는 본 발명의 영상 기반 인공지능 학습 모델의 일 예시를 도시한 도면이다.

영상기반 위험상황 인지 시스템은 건설현장에 설치된 CCTV를 통해 현장 상황 영상 데이터를 수집한다.

수집된 영상 데이터는 서버에 존재하는 물리적인 임시 데이터 베이스에 저장된다. 임시 데이터 베이스에 저장된 영상 데이터 중 사용자 피드백이 없는 데이터는 일정 주기마다 삭제될 수 있다.

영상 데이터는 실시간으로 서버에 내장된 영상기반 위험상황 인지 모델의 입력 데이터 표준에 맞도록 API와 전처리 과정을 거친다. 영상기반 위험상황 인지 모델(pretrained model)로 YOLO-v5 모델이 사용될 수 있다.

영상기반 위험상황 인지 모델의 커스터마이징(재학습 가능) 레이어에 각 위험상황의주요 감지 대상(객체)에 따라 사람, 안전모, 화재(연기), 위험물 등을 감지하는 감지 네트워크가 배치된다.

감지 네트워크 이후에는 감지된 대상의 시계열적 특성을 고려한 위험상황 종류별 정의에 따라 해당 위험상황 여부를 판단하는 이벤트 인지 알고리즘이 배치된다.

각각의 이벤트 인지 알고리즘들을 통해 위험상황 발생 여부 판단 결과가 도출된다.

각 위험상황 발생 여부는 하나의 결과로 통합되어 서버에 전달되고, 이 결과는 사용자(안전관리자)가 디스플레이 단말기(또는 사용자 인터페이스)를 통해 확인할 수 있다.

사용자가 피드백을 하여 피드백 정보가 생성되고, 해당 피드백 정보를 사용하여 상황판단 착오 데이터 기반 알고리즘이 업데이트 될 수 있다.

도 5는 본 발명의 센싱 데이터 기반 인공지능 학습 모델의 일 예시를 도시한 도면이다.

사용자의 단말(모바일 단말기)에 내장된 센서로부터 다양한 위험상황 인지에 필요한 센싱 데이터를 수집할 수 있다. 예시적인 실시예에서, 추락의 경우, x/y/z축 각속도, x/y/z축 가속도, 및 기압 센싱 데이터가 필요하다.

센서로부터 수집된 센싱 데이터는 모바일 단말 내에 존재하는 데이터베이스에 저장된다. 데이터베이스에 저장된 센싱 데이터는 사용자 피드백이 없는 데이터에 한해서 일정 주기마다 삭제될 수 있다.

센싱 데이터는 실시간으로 모바일 단말의 어플리케이션(application)에 내장된 센싱 데이터 기반 위험상황 인지 모델의 입력 데이터 표준에 맞도록 API와 전처리과정을 거친다. 이러한 전처리과정을 통해 데이터의 이상치가 제거되고 데이터 형태가 균일화될 수 있다.

전처리된 데이터는 컨볼루션 인공신경망 기반 인지모델의 입력층으로 전달된다.

다양한 센싱 데이터는 aahen 일정한 시간 간격의 시계열 데이터로 시계열 특성을 반영할 수 있는 1차원 합성곱 신경망(Conv1D) 층을 통과한다. 합성곱 신경망 층의 필터 사이즈는 위험상황 종류에 따라 해당 상황의 시계열적 특성을 가장 잘 설명할 수 있는 적절한 시간 간격의 조합으로 설정될 수 있다.

예시적인 실시예에서, 합성곱 신경망을 추가적으로 더 배치하여 상세한 특성 추출이 가능하다(2차 합성곱 신경망, ?? N차 합성곱 신경망).

합성곱 신경망 층(컨벌루션 층)을 거친 특성지도(feature map)의 중요한 패턴들로만 압축하기 위해, 1차원 평균 풀링 층이 배치된다(average pooling 1D). 2차 합성곱 신경망으로부터 도출된 더욱 상세한 특성지도의 중요한 패턴들로만 압축하기 위해 1차원 평균 풀링 층을 더 배치할 수 있다.

다수의 1차원 합성곱 신경망 및 1차원 평균 풀링 네트워크를 거친 결과를 하나의 벡터로 결합(Fully Connected Layer)된다.

모든 합성곱 신경망 네트워크들의 특성 추출값이 반영된 1차원 벡터를 입력값으로 하는 첫번째 일반 인공신경망을 거치고, 과적합(Over-Fitting)을 막기 위한 드롭아웃(Drop-out)층과 추가적인 일반 인공신경망을 차례대로 두차례 거쳐 최종적으로 위험상황 발생 여부를 판단하는 출력층까지 전달된다.

센싱 데이터 기반 위험상황 인지 모델이 인지하고자 하는 위험상황에 따라 추락(필수) 이외의 경우도 존재할 수 있다. 수집대상이 되는 센싱 데이터 종류 및 조합과 전처리 방식 및 모델구조는 해당 위험상황 특성에 따라 조정될 수 있다.

시스템은 최종적으로 다수의 위험상황을 하나의 복합위험상황 정보로 취합하여 최종적으로 서버에 전달하고, 이를 사용자(안전관리자)가 디스플레이 단말기를 통해 확인할 수 있다. 사용자로부터 피드백 정보가 생성되는 경우, 피드백 정보에 기반하여 상황판단 착오 데이터 기반 알고리즘 업데이트가 진행될 수 있다.

도 6은 본 발명의 영상 및 센싱 데이터 기반 위험상황 인지 시스템 구조의 일 예시를 도시한 도면이다.

본 발명의 영상 및 센싱 데이터 기반 위험상황 인지 시스템 구조는 데이터 수집부, 데이터 저장부, 데이터 분석부, 복합위험상황 알람부, 및 복합위험상황 알고리즘 갱신부를 포함한다.

데이터 수집부에서, CCTV는 영상을 촬영하여 실시간 영상을 획득하고, 모바일 단말은 센서를 통해 센싱 데이터를 수집한다.

수집된 데이터는 데이터 저장부에 저장되는데, 영상 데이터는 건설현장 영상 데이터베이스(서버의 데이터베이스)에 저장되고, 센싱 데이터는 각 모바일 단말의 센싱 데이터베이스에 저장된다.

데이터 분석부는 위험상황인지 알고리즘을 통해 데이터 분석을 한다. 영상 데이터는 영상기반 위험상황 인지 알고리즘을 통해 위험상황 여부가 판단되고, 센싱 데이터는 센싱데이터 기반 위험상황 인지 알고리즘을 통해 위험상황 여부가 판단된다.

이렇게 알고리즘을 거친 위험상왕 발생 여부에 대한 정보들은 하나로 통합되어 서버의 복합위험상황 알람부에 전달된다. 복합위험상황 알람부는 복합 위험상황에 대해 알림을 하고, 복합 위험상황 인지에 대한 결과를 출력함으로써 사용자에게 해당 정보를 제공할 수 있다.

사용자는 사용자 인터페이스를 통해 결과를 확인하고 피드백을 제공할 수 있다. 복합위험상황 알고리즘 갱신부에서 상황판단 착오상황에 대한 사용자 피드백이 입력되면, 상황판단 착오 데이터 기반하여 알고리즘이 업데이트된다.

상기를 요약하면, CCTV로부터 수집된 영상데이터는 서버 내부의 영상기반 위험상황인지 알고리즘을 통해 안전모 미착용, 화재, 쓰러짐, 침입, 배회 상황이 인지된다. 모바일 단말기 센서로부터 수집된 데이터는 모바일 어플리케이션의 센싱 데이터 기반 위험상황인지 알고리즘을 통해 추락 및 불안정 자세 등이 인지된다. 인지된 위험상황 정보는 서버 내에서 취합되어 전산시스템 상에서 사용자 (안전관리자) 에게 알람 형태로 제공된다. 장치는 지속적인 모델 업데이트 자동화를 위해 시스템 상에서는 알고리즘이 인지한 결과가 실제와 맞지 않을 경우 이를 피드백할 수 있는 사용자 인터페이스를 내장한다. 장치는 사용자(안전관리자)의 피드백을 기반으로 상황판단 착오 데이터 기반 알고리즘 업데이트 프로세스를 수행함으로써, 효율적인 이종 데이터 분석을 통한 인공지능 기반 복합 위험상황 인지 방식을 제공할 수 있다.

도 7은 본 발명에 따른 위험상황 인지 및 출력에 대한 과정을 도시한 도면이다.

본 발명에 따른 장치(또는 시스템)는 영상 촬영 장치가 촬영한 영상 데이터를 수집하고, 사용자 단말이 센싱한 센싱 데이터를 수집한다(701).

상기 수집한 영상 데이터와 센싱 데이터는 데이터베이스에 저장된다(703). 상세하게는, 영상 데이터는 장치 내 서버의 임시 데이터베이스에 저장되고, 센싱 데이터는 사용자 단말의 데이터베이스에 저장될 수 있다.

영상 데이터와 센싱 데이터는 각각의 알고리즘에 입력되어 분석된다(705). 상세하게는, 영상 데이터는 영상기반 위험상황 인지 알고리즘을 통해 위험상항 여부와 종류가 도출되고, 센싱 데이터는 센싱 데이터기반 위험상황 인지 알고리즘에 입력되어, 분석된다.

알고리즘을 통해 도출된 상황 판단 결과는 하나로 병합되고 출력됨으로써 사용자에게 알림이 된다(707).

상황 판단에 대해 사용자로부터 피드백을 받을 수 있으며, 상황 판단이 착오인 경우 해당 착오 상황에 대해 피드백이 입력된다(709, 711). 상황 판단이 착오가 아닌경우 알고리즘의 업데이트가 불필요하다.

본 발명에 따르면 피드백에 기반하여 상황판단 착오 데이터 기반 알고리즘이 자동으로 업데이트 됨으로써(713), 보다 정확한 위험상황 인지 장치를 제공할 수 있다.

도 8은 본 발명이 구현될 수 있는 장치의 구조를 도시한 도면이다.

도 8을 참고하면, 본 발명의 다양한 실시예들이 구현될 수 있는 디바이스(장치)는 입/출력부(310), 통신부(320), 센싱부(330), 데이터베이스(340) 및 프로세서(350)를 포함할 수 있다.

입/출력부(310)는 사용자 입력을 받거나 또는 사용자에게 정보를 출력하는 각종 인터페이스나 연결 포트 등일 수 있다. 입/출력부(310)는 입력 모듈과 출력 모듈로 구분될 수 있는데, 입력 모듈은 사용자로부터 사용자 입력을 수신한다. 사용자 입력은 키 입력, 터치 입력, 음성 입력을 비롯한 다양한 형태로 이루어질 수 있다. 이러한 사용자 입력을 받을 수 있는 입력 모듈의 예로는 전통적인 형태의 키패드나 키보드, 마우스는 물론, 사용자의 터치를 감지하는 터치 센서, 음성 신호를 입력 받는 마이크, 영상 인식을 통해 제스처 등을 인식하는 카메라, 사용자 접근을 감지하는 조도 센서나 적외선 센서 등으로 구성되는 근접 센서, 가속도 센서나 자이로 센서 등을 통해 사용자 동작을 인식하는 모션 센서 및 그 외의 다양한 형태의 사용자 입력을 감지하거나 입력 받는 다양한 형태의 입력 수단을 모두 포함하는 포괄적인 개념이다. 여기서, 터치 센서는 디스플레이 패널에 부착되는 터치 패널이나 터치 필름을 통해 터치를 감지하는 압전식 또는 정전식 터치 센서, 광학적인 방식에 의해 터치를 감지하는 광학식 터치 센서 등으로 구현될 수 있다. 이외에도 입력 모듈은 자체적으로 사용자 입력을 감지하는 장치 대신 사용자 입력을 입력 받는 외부의 입력 장치를 연결시키는 입력 인터페이스(USB 포트, PS/2 포트 등)의 형태로 구현될 수도 있다. 또 출력 모듈은 각종 정보를 출력해 사용자에게 이를 제공할 수 있다. 출력 모듈은 영상을 출력하는 디스플레이, 소리를 출력하는 스피커 (및/또는 이와 연결된 증폭기 (amplifier)), 진동을 발생시키는 햅틱 장치 및 그 외의 다양한 형태의 출력 수단을 모두 포함하는 포괄적인 개념이다. 이외에도 출력 모듈은 상술한 개별 출력 수단을 연결시키는 포트 타입의 출력 인터페이스의 형태로 구현될 수도 있다.

일 예로, 디스플레이 형태의 출력 모듈은 텍스트, 정지 영상, 동영상을 디스플레이 할 수 있다. 디스플레이는 액정 디스플레이(LCD: Liquid Crystal Display), 발광 다이오드(LED: light emitting diode) 디스플레이, 유기 발광 다이오드(OLED: Organic Light Emitting Diode) 디스플레이, 평판 디스플레이(FPD: Flat Panel Display), 투명 디스플레이(transparent display), 곡면 디스플레이(Curved Display), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 홀로그래픽 디스플레이(holographic display), 프로젝터 및 그 외의 영상 출력 기능을 수행할 수 있는 다양한 형태의 장치를 모두 포함하는 광의의 영상 표시 장치를 의미하는 개념이다. 이러한 디스플레이는 입력 모듈의 터치 센서와 일체로 구성된 터치 디스플레이의 형태일 수도 있다.

통신부(320)는 외부 기기와 통신할 수 있다. 따라서, 제1 디바이스 및/또는 제2 디바이스는 통신부를 통해 외부 기기와 정보를 송수신할 수 있다. 예를 들어, 제1 디바이스 및/또는 제2 디바이스는 통신부를 이용해 CCTV를 통해 촬영된 영상 데이터 및 모바일 단말에 의해 센싱된 센싱 데이터가 공유되도록 외부 기기와 통신을 수행할 수 있다.

여기서, 통신, 즉 데이터의 송수신은 유선 또는 무선으로 이루어질 수 있다. 이를 위해 통신부는 LAN(Local Area Network)를 통해 인터넷 등에 접속하는 유선 통신 모듈, 이동 통신 기지국을 거쳐 이동 통신 네트워크에 접속하여 데이터를 송수신하는 이동 통신 모듈, 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식이나 블루투스(Bluetooth), 직비(Zigbee)와 같은 WPAN(Wireless Personal Area Network) 계열의 통신 방식을 이용하는 근거리 통신 모듈, GPS(Global Positioning System)과 같은 GNSS(Global Navigation Satellite System)을 이용하는 위성 통신 모듈 또는 이들의 조합으로 구성될 수 있다. 통신에 사용되는 무선 통신 기술은 저전력 통신을 위한 NB-IoT (Narrowband Internet of Things) 를 포함할 수 있다.

식별부(센싱부)(330)는 영상 인식을 통해 오브젝트 등을 인식하는 카메라, 오브젝트 접근을 감지하는 감지 센서 및 그 외의 다양한 형태의 외부 입력을 감지하거나 입력 받는 다양한 형태의 식별/센싱 수단을 모두 포함하는 포괄적인 개념일 수 있다. 예를들어, 모바일 단말의 센싱부를 통해 사용자의 추락 등을 감지하는 것이 가능하다. 식별부는 입/출력부(310) 내의 입력 모듈과 동일한 것으로 이해될 수 있거나 및/또는 입력 모듈과는 별도의 것으로 이해될 수도 있다. 식별부(330)는 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS), 기압 센서, 근접 센서, RGB 센서(illuminance sensor), 라이다 (radar) 센서, 조도 센서, 및 전류 센서 중 하나 이상을 더 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

데이터베이스(340)는 각종 정보를 저장할 수 있다. 데이터베이스는 데이터를 임시적으로 또는 반영구적으로 저장할 수 있다. 예를 들어, 데이터베이스에는 제1 디바이스 및/또는 제2 디바이스를 구동하기 위한 운용 프로그램(OS: Operating System), 웹 사이트를 호스팅하기 위한 데이터나 어플리케이션(예를 들어, 웹 어플리케이션)에 관한 데이터 등이 저장될 수 있다. 또, 데이터베이스는 상술한 바와 같이 모듈들을 컴퓨터 코드 형태로 저장할 수 있다. 예들들어, 데이터베이스는 영상 데이터 또는 센싱 데이터를 저장할 수 있다.

데이터베이스(340)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 이러한 데이터베이스는 내장 타입 또는 탈부착 가능한 타입으로 제공될 수 있다.

프로세서(350)는 제1 디바이스(100) 및/또는 제2 디바이스(200)의 전반적인 동작을 제어한다. 이를 위해 프로세서(350)는 각종 정보의 연산 및 처리를 수행하고 제1 디바이스 및/또는 제2 디바이스의 구성요소들의 동작을 제어할 수 있다. 예를 들어, 프로세서(350)는 인공 지능 기반 위험상황 인지 시스템을 위한 프로그램 내지 어플리케이션을 실행시킬 수 있을 것이다.

프로세서(350)는 하드웨어 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 프로세서(350)는 전기적인 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적인 프로세서(240)를 구동시키는 프로그램 형태로 제공될 수 있다.

특별히 달리 언급되지 않은 한, 상기의 다양한 실시예들에 대한 설명에서 인공 지능 기반 위험상황 인지 시스템을 위한 장치가 이용하는 정보/인공 지능 기반 위험상황 인지 시스템을 위한 장치가 출력/표시하는 정보 등은 지능 기반 위험상황 인지 시스템을 위한 장치가 직접 식별/획득한 정보이거나, 인공 지능 기반 위험상황 인지 시스템을 위한 장치에 포함된 데이터베이스에 저장된 정보이거나, 서버 및/또는 기타 외부 기기로부터 수신 받은 정보 중 하나 이상일 수 있다.

전술된 바와 같이, 다양한 실시예들에 따르면, 인공 지능 기반 위험상황 인지 시스템을 위한 장치는 식별부를 포함하거나, 식별부를 제외한 인공 지능 기반 위험상황 인지 시스템을 위한 장치가 마련되고 식별부가 별도로 마련될 수 있다. 이러한 점을 고려하여, 이하의 다양한 실시예들에 대한 설명에서, 인공 지능 기반 위험상황 인지 시스템을 위한 장치가 설치/마련되는 위치는, 별도로 마련된 식별부가 설치/마련되는 위치 및/또는 식별부를 통하여 식별/센싱 가능한 영역에 대응되는 위치로 대체될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10 : 위험상황 인지 시스템
20 : 네트워크
30 : 사용자 단말
40 : CCTV 촬영 장치
50 : 서버
310 : 입/출력부
320 : 통신부
330 : 센싱부
340 : 데이터베이스
350 : 프로세서

Claims (10)

1. 인공지능에 기반하여 위험상황 인지 장치가 수행하는 방법에 있어서,
   영상 데이터를 획득하는 단계;
   상기 영상 데이터를 데이터베이스에 저장하는 단계;
   상기 영상 데이터를 영상기반 전처리하여 표준 영상 데이터를 생성하는 단계;
   상기 표준 영상 데이터를 영상기반 위험상황 인지 모델의 감지 네트워크에 입력하여 감지 영상 데이터를 생성하는 단계;
   상기 감지 영상 데이터를 이용하여 영상기반 위험상황 인지 알고리즘을 통해 위험상황 종류 및 발생 여부를 판단하는 단계; 및
   상기 위험상황 종류 및 발생 여부에 대해 사용자에게 알림을 수행하는 단계를 더 포함하되,
   상기 영상기반 위험상황 인지 알고리즘은 상기 영상 데이터 정보 및 기계 학습 과정에 따라 결정되는 위험상황 종류에 기반하여 결정되고, 및
   상기 감지 네트워크는 위험상황의 감지 대상에 대응되는 상기 영상기반 위험상황 인지 모델의 레이어에 배치되는 것을 특징으로 하는, 방법.
2. 제1 항에 있어서,
   상기 영상 데이터를 영상기반 전처리하여 표준 영상 데이터를 생성하는 단계는 상기 표준 영상 데이터를 상기 영상기반 위험상황 인지 모델의 입력 데이터 표준에 맞도록 전치리하는 단계를 포함하되,
   상기 입력 데이터 표준은 상기 영상 데이터에서 발생하는 이벤트의 시간적 특성을 고려하여 결정되고,
   상기 영상기반 위험상황 인지 모델의 처리 속도와 기준 시간의 곱이 상기 시간적 특성에 반영되고, 및
   상기 처리 속도는 상기 영상기반 위험상황 인지 모델이 일정 시간 동안 처리하는 이미지의 개수이며, 상기 기준 시간은 상기 이벤트 발생 여부를 판단하기 위해 지정되거나 임의로 설정된 시간을 의미하는 것을 특징으로 하는, 방법.
3. 제1 항에 있어서,
   사용자 단말의 센서를 통해 센싱 데이터를 획득하는 단계;
   상기 센싱 데이터를 상기 데이터베이스에 저장하는 단계;
   상기 센싱 데이터를 전처리하여 표준 센싱 데이터를 생성하는 단계;
   상기 표준 센싱 데이터를 센싱 데이터기반 위험상황 인지 모델의 감지 네트워크에 입력하여 감지 센싱 데이터를 생성하는 단계;
   상기 감지 센싱 데이터를 이용하여 센싱 데이터기반 위험상황 인지 알고리즘을 통해 위험상황 종류 및 발생 여부를 판단하는 단계; 및
   상기 위험상황 종류 및 발생 여부를 하나의 결과로 통합하여 사용자에게 알림을 수행하는 단계를 더 포함하되,
   상기 센싱 데이터기반 위험상황 인지 알고리즘은 하나 이상의 1차원 합성곱 신경망 층과 하나 이상의 1차원 평균 풀링 층이 소정횟수 반복하여 배치되어 설정되는 것을 특징으로 하는, 방법.
4. 제3 항에 있어서,
   상기 감지 센싱 데이터를 이용하여 센싱 데이터기반 위험상황 인지 알고리즘을 통해 위험상황 종류 및 발생 여부를 판단하는 단계는:
   상기 센싱 데이터기반 위험상황 인지 알고리즘을 거친 모든 결과를 하나의 벡터로 결합하는 단계; 및
   상기 벡터가 일반 인공신경망과 드롭아웃(drop-out)층이 소정 횟수 반복하여 배치된 네트워크를 거쳐 출력되는 단계를 포함하는, 방법.
5. 제4 항에 있어서,
   상기 사용자 단말의 센서가 감지하는 대상이 추락 상황인 경우, 위험 고도에서의 상기 사용자 단말 자체의 고도에 기반하여 상기 센싱 데이터기반 위험상황 인지 알고리즘이 결정되고,
   상기 사용자 단말 자체의 고도는 일정 지역 내 특정 직종 종사자의 성별 및 연령대별 인원 현황과 상기 종사자의 신장 통계 및 엉덩이 높이 통계에 기반하여 결정되는 것을 특징으로 하는, 방법.
6. 제3 항에 있어서,
   상기 표준 센싱 데이터는 센싱되는 모션에 대한 x축 각속도, y축 각속도, z축 각속도, x축 가속도, y축 가속도, z축 가속도, 및 기압에 대한 정보를 포함하는, 방법.
7. 제5 항에 있어서,
   상기 센싱 데이터기반 위험상황 인지 알고리즘에 입력되는 감지 센싱 데이터는 상기 표준 센싱 데이터 중 추락하는 시간 동안의 데이터 패턴에 기반한 입력 시계열 데이터의 사이즈에 의해 결정되는, 방법.
8. 제3 항에 있어서,
   상기 사용자로부터 상기 위험상황에 대한 피드백 정보를 획득하는 단계; 및
   상기 피드백 정보에 기반하여 상황판단 착오 데이터 기반 알고리즘을 업데이트하는 단계를 더 포함하는, 방법.
9. 제8 항에 있어서,
   상기 사용자로부터 상기 위험상황에 대한 피드백이 없는 경우, 상기 영상 데이터 및 상기 센싱 데이터 중 상기 피드백이 없는 데이터를 상기 데이터베이스로부터 삭제하는 단계를 더 포함하는, 방법.
10. 인공지능 기반 위험상황 인지 장치에 있어서,
    통신부;
    데이터를 저장하도록 구성된 데이터베이스; 및
    상기 데이터베이스와 연결된 하나 이상의 프로세서를 포함하고,
    상기 통신부는 영상 촬영 장치로부터 영상 데이터를 획득하도록 구성되고,
    상기 데이터베이스는 상기 영상 데이터를 저장하도록 구성되고,
    상기 하나 이상의 프로세서는:
    상기 영상 데이터를 영상기반 전처리하여 표준 영상 데이터를 생성하고;
    상기 표준 영상 데이터를 영상기반 위험상황 인지 모델의 감지 네트워크에 입력하여 감지 영상 데이터를 생성하고;
    상기 감지 영상 데이터를 이용하여 영상기반 위험상황 인지 알고리즘을 통해 위험상황 종류 및 발생 여부를 판단하고; 및
    상기 위험상황 종류 및 발생 여부에 대해 상기 입출력부를 통해 사용자에게 알림을 수행하도록 구성되며,
    상기 영상기반 위험상황 인지 알고리즘은 상기 영상 데이터 정보 및 기계 학습 과정에 따라 결정되는 위험상황 종류에 기반하여 결정되고, 및
    상기 감지 네트워크는 위험상황의 감지 대상에 대응되는 상기 영상기반 위험상황 인지 모델의 레이어에 배치되는 것을 특징으로 하는, 인공지능 기반 위험상황 인지 장치.

Images