KR102083385B1 - A Method for Determining a Dangerous Situation Based on a Motion Perception of a Image Extracting Data - Google Patents

A Method for Determining a Dangerous Situation Based on a Motion Perception of a Image Extracting Data Download PDF

Info

Publication number
KR102083385B1
KR102083385B1 KR1020180101331A KR20180101331A KR102083385B1 KR 102083385 B1 KR102083385 B1 KR 102083385B1 KR 1020180101331 A KR1020180101331 A KR 1020180101331A KR 20180101331 A KR20180101331 A KR 20180101331A KR 102083385 B1 KR102083385 B1 KR 102083385B1
Authority
KR
South Korea
Prior art keywords
recognition
image data
motion
module
data
Prior art date
Application number
KR1020180101331A
Other languages
Korean (ko)
Inventor
임지현
Original Assignee
여의(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 여의(주) filed Critical 여의(주)
Priority to KR1020180101331A priority Critical patent/KR102083385B1/en
Application granted granted Critical
Publication of KR102083385B1 publication Critical patent/KR102083385B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to a method for determining a dangerous situation based on motion recognition of video extraction data, and more particularly, to a method for determining a dangerous situation based on motion recognition of video extraction data that recognizes a person from video images successively acquired and detects the state of a motion to determine the same corresponds to a dangerous situation. The method for determining a dangerous situation based on motion recognition of video extraction data comprises the steps of: acquiring video data of a predetermined area; decomposing and inputting the video data; recognizing a subject to be recognized from the decomposed video data, and checking the state of a motion of the subject to be recognized; recognizing the state of the motion through skeleton recognition of the subject to be recognized; calculating accuracy for the specific subject and the state of the motion; and determining whether the state of the motion is a dangerous situation according to the calculated accuracy.

Description

영상 추출 데이터의 동작 인지에 기초하는 위험 상황 판단 방법{A Method for Determining a Dangerous Situation Based on a Motion Perception of a Image Extracting Data} A method for Determining a Dangerous Situation Based on a Motion Perception of a Image Extracting Data}

본 발명은 영상 추출 데이터의 동작 인식에 기초하는 위험 상황 판단 방법에 관한 것이고, 구체적으로 연속적으로 획득되는 영상 이미지로부터 사람을 인지하여 동작 상태를 감지하여 위험 상황에 해당하는지 여부를 판단하는 영상 추출 데이터의 동작 인식에 기초하는 위험 상황 판단 방법에 관한 것이다.The present invention relates to a dangerous situation determination method based on motion recognition of image extracted data, and specifically, image extraction data for determining whether a dangerous situation is detected by detecting a motion state by recognizing a person from continuously obtained image images. It relates to a risk situation determination method based on the operation recognition.

인공지능(Artificial Intelligence)은 컴퓨터가 인간의 지능적인 행동을 모방하여 문제를 해결하는 컴퓨터 공학 또는 정보기술 분야의 기술을 의미한다. 인공지능 기술은 뉴런 네트워크, 학습화, 추론 및 인식과 같은 과정을 기계적 또는 소프트웨어 형태로 해결하는 과정을 포함하고 다양한 산업 분야에 적용되고 있다. 이와 같은 인공지능 기술은 개인의 신체 정보를 획득하여 실시간으로 건강 상태를 확인하면서 개인 맞춤형 의료 서비스를 제공하는 형태의 의료 또는 헬스 케어 분야, 제조 또는 운영 과정에 대한 다양한 정보를 획득하여 최적의 제조 공정을 도출하는 제조 분야, 다양한 고객 성향을 분석하여 마케팅 전략에 활용하는 마케팅 분야 또는 다양한 운행 수단의 자율 주행을 위한 운송 분야에 적용되고 있다. 이와 같이 인공지능 기술은 학습 및 추론이 요구되는 인간에 의한 작업을 효율적으로 대체하면서 다양한 분야로 적용 범위를 확대하고 있다. 특허공개번호 제10-1772916호는 촬영 영상과 인공지능 알고리즘 기반의 균열 검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템에 대하여 개시한다. 또한 특허공개번호 제10-2017-0123457호는 비전 영상 분석을 이용한 인공지능 신호등 제어 방법 및 제어기에 대하여 개시한다. 영상 데이터에 의하여 다양한 환경에 대한 정보가 획득될 수 있고, 그에 기초하여 사람, 환경 또는 구조물에 대하여 필요한 조치가 취해질 수 있다. 예를 들어 연속적으로 획득되는 영상 정보로부터 사람을 인지하여 위험한 상황에 있는지 여부를 인지할 수 있고, 그에 따라 경고 신호를 발생시킬 수 있고, 이와 같은 과정에서 인공지능 기술이 적용될 수 있다. 그러나 선행기술은 이와 같은 분야에 적용된 인공지능 기술에 대하여 개시하지 않는다. Artificial Intelligence refers to technology in the field of computer science or information technology in which computers solve problems by mimicking human intelligent behavior. Artificial intelligence technology has been applied to a variety of industries, including the process of solving processes such as neuron networks, learning, reasoning and recognition in the form of mechanical or software forms. Such artificial intelligence technology obtains various information about the medical or healthcare field, manufacturing or operating processes in the form of providing personalized medical services while acquiring the physical information of the individual to check the state of health in real time, thereby obtaining an optimal manufacturing process. It is applied to the manufacturing field which derives the product, the marketing field used for the marketing strategy by analyzing various customer tendencies, or the transportation field for autonomous driving of various driving means. As such, AI technology is effectively replacing human-oriented work requiring learning and reasoning, and is expanding its application to various fields. Patent Publication No. 10-1772916 discloses a crack detection method and system for tunnel lining surfaces using a captured image and an artificial intelligence algorithm-based crack detection automation program. In addition, Patent Publication No. 10-2017-0123457 discloses a method and controller for artificial intelligence traffic light control using vision image analysis. Information about various environments may be obtained by the image data, and necessary actions may be taken on a person, environment, or structure based on the information. For example, it is possible to recognize whether a person is in a dangerous situation by recognizing a person from image information obtained continuously, thereby generating a warning signal, and artificial intelligence technology may be applied in this process. However, the prior art does not disclose the artificial intelligence technology applied in this field.

본 발명은 선행기술의 문제점을 해결하기 위한 것으로 아래와 같은 목적을 가진다. The present invention is to solve the problems of the prior art has the following object.

선행기술 1: 특허등록번호 제10-1772916호(한양대학교 에리카산학협력단, 2017년08월31일 공고) 촬영영상과 인공지능 알고리즘 기반의 균열 검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템Prior Art 1: Patent Registration No. 10-1772916 (Hanyang University Erica Industry-Academic Cooperation Foundation, Aug. 31, 2017) Crack Detection Method and System of Tunnel Lining Surface Using Image and Artificial Intelligence Algorithm Based Crack Detection Automation Program 선행기술 2: 특허공개번호 제10-2017-0123457호(김기한, 2017년11월08일 공개) 비전 영상 분석을 이용한 인공지능 신호등 제어 방법 및 제어기Prior Art 2: Patent Publication No. 10-2017-0123457 (Kim Ki-han, published on November 08, 2017) Artificial intelligence traffic light control method and controller using vision image analysis

본 발명의 목적은 미리 결정된 감시 영역에 대한 연속적으로 영상 데이터를 추출하고, 추출된 영상 데이터에 인공지능 기술을 적용하여 대상물의 상태를 인지하여 필요한 조치가 취해질 수 있도록 하는 영상 추출 데이터의 동작 인식에 기초하는 위험 상황 판단 방법을 제공하는 것이다. An object of the present invention is to extract the image data for a predetermined surveillance region continuously, and to apply the artificial intelligence technique to the extracted image data to recognize the state of the object so that the necessary action can be taken to recognize the motion of the image extraction data. It is to provide a method of judging risk situation based on it.

본 발명의 적절한 실시 형태에 따르면, 영상 추출 데이터의 동작 인지에 기초하는 위험 상황 판단 방법은 정해진 영역에 대한 영상 데이터를 획득하는 단계; 영상 데이터를 분해하여 입력시키는 단계; 분해된 영상 데이터로부터 인지 대상물을 인지하고, 인지 대상물의 동작 상태를 확인하는 단계; 인지 대상물에 대한 스켈레톤 인지를 통하여 동작 상태를 인지하는 단계; 특정 대상물 및 동작 상태에 대한 정확도를 산출하는 단계; 및 산출된 정확도에 따른 위험 상황을 판단하는 단계를 포함한다.According to a preferred embodiment of the present invention, a risk situation determination method based on motion recognition of image extraction data may include obtaining image data for a predetermined area; Decomposing and inputting image data; Recognizing a recognition object from the decomposed image data and checking an operation state of the recognition object; Recognizing an operating state through skeleton recognition of a recognition object; Calculating accuracy with respect to a specific object and an operating state; And determining a risk situation according to the calculated accuracy.

본 발명의 다른 적절한 실시 형태에 따르면, 인지 대상물은 사람이 되고, 인지 대상물의 인지는 신체 부위별로 분할되어 인지된다.According to another suitable embodiment of the present invention, the recognition object is a person, and the recognition of the recognition object is recognized by being divided by body parts.

본 발명의 또 다른 적절한 실시 형태에 따르면, 인지 대상물을 인지하는 과정 또는 동작 상태를 인지하는 단계에서 활성 함수로 Leaky ReLU(Rectified Linear Unit)가 적용된다.According to another suitable embodiment of the present invention, Leaky ReLU (Rectified Linear Unit) is applied as an active function in the process of recognizing a recognition object or an operation state.

본 발명에 따른 위험 상황 판단 방법은 영상 데이터로부터 예를 들어 사람을 탐지하고, 탐지된 사람 데이터에 인공지능 알고리즘을 적용하여 동작 상태를 인지할 수 있도록 한다. 그리고 동작 상태의 인지에 따라 인지된 사람이 위험 상황에 있는지 여부를 인지하여 필요한 조치가 취해지도록 한다. 본 발명에 따른 방법은 스켈레톤 인지에 의하여 사람의 동작(motion)이 정확하게 탐지되도록 하면서 이와 함께 신속하게 실시간으로 동작이 판단되도록 한다. 본 발명에 따른 방법은 자동차와 같은 운행 수단에 설치되어 보행자의 인지 및 동작의 인지에 의하여 자동차 사고가 방지되도록 한다. 또한 해변 또는 이와 유사한 안전사고 발생 지역에서 사람을 인지하면서 이와 동시에 동작 상태를 인지하는 것에 의하여 위험 상황인지 여부를 판단할 수 있도록 한다. 추가로 본 발명에 따른 방법은 예를 들어 쓰레기 무단 투기 또는 접근 금지 영역에 설치되어 사람을 인지하면서 이와 동시에 동작을 인지하는 것에 의하여 금지 행위에 해당하는지 여부를 판단할 수 있도록 한다. The risk situation determination method according to the present invention detects a person from image data, for example, and applies an artificial intelligence algorithm to the detected person data so as to recognize an operation state. Then, depending on the recognition of the operating state, it is recognized whether the recognized person is in a dangerous situation so that necessary actions can be taken. The method according to the present invention allows the motion of a person to be accurately detected by skeleton recognition while allowing the motion to be quickly determined in real time. The method according to the present invention is installed in a driving means such as a car so that an automobile accident can be prevented by the recognition of the pedestrian and the movement of the pedestrian. In addition, it is possible to determine whether the situation is dangerous by recognizing the operation state while at the same time recognizing the person on the beach or similar safety accident occurrence area. In addition, the method according to the present invention may be installed in, for example, an unauthorized dumping or access prohibition area so as to recognize whether a person corresponds to a prohibition by simultaneously recognizing a motion while recognizing a person.

도 1은 본 발명에 따른 영상 추출 데이터의 동작 인식에 기초하는 위험 상황 판단 방법의 작동 구조의 실시 예를 도시한 것이다.
도 2는 본 발명에 따른 방법이 적용된 실시 예를 도시한 것이다.
도 3은 본 발명에 따른 방법에 의하여 위험 상황이 판단되는 과정의 실시 예를 도시한 것이다.
도 4a 및 도 4b는 본 발명에 따른 방법에 적용되는 인공기능 기술의 실시 예를 도시한 것이다.
도 5는 본 발명에 따른 영상 추출 데이터의 동작 인식에 기초하는 위험 상황 판단 방법의 실시 예를 도시한 것이다. 1 illustrates an embodiment of an operation structure of a risk situation determination method based on motion recognition of image extraction data according to the present invention.
2 illustrates an embodiment to which the method according to the present invention is applied.
3 illustrates an embodiment of a process in which a dangerous situation is determined by a method according to the present invention.
4A and 4B illustrate an embodiment of an artificial function technique applied to the method according to the present invention.
5 illustrates an embodiment of a risk situation determination method based on motion recognition of image extraction data according to the present invention.

아래에서 본 발명은 첨부된 도면에 제시된 실시 예를 참조하여 상세하게 설명이 되지만 실시 예는 본 발명의 명확한 이해를 위한 것으로 본 발명은 이에 제한되지 않는다. 아래의 설명에서 서로 다른 도면에서 동일한 도면 부호를 가지는 구성요소는 유사한 기능을 가지므로 발명의 이해를 위하여 필요하지 않는다면 반복하여 설명이 되지 않으며 공지의 구성요소는 간략하게 설명이 되거나 생략이 되지만 본 발명의 실시 예에서 제외되는 것으로 이해되지 않아야 한다. Hereinafter, the present invention will be described in detail with reference to the embodiments set forth in the accompanying drawings, but the embodiments are provided for clarity of understanding and the present invention is not limited thereto. In the following description, components having the same reference numerals in different drawings have similar functions and thus are not repeatedly described unless necessary for understanding of the invention, and well-known components are briefly described or omitted. It should not be understood to be excluded from the embodiment of.

도 1은 본 발명에 따른 영상 추출 데이터의 동작 인식에 기초하는 위험 상황 판단 방법의 작동 구조의 실시 예를 도시한 것이다. 1 illustrates an embodiment of an operation structure of a risk situation determination method based on motion recognition of image extraction data according to the present invention.

도 1을 참조하면, 영상 추출 데이터의 동작 인지에 기초하는 위험 상황 판단 방법은 정해진 영역에 대한 영상 데이터를 획득하는 단계; 영상 데이터를 분해하여 입력시키는 단계; 분해된 영상 데이터로부터 인지 대상물을 인지하고, 인지 대상물의 동작 상태를 확인하는 단계; 인지 대상물에 대한 스켈레톤 인지를 통하여 동작 상태를 인지하는 단계; 특정 대상물 및 동작 상태에 대한 정확도를 산출하는 단계; 및 산출된 정확도에 따른 위험 상황을 판단하는 단계를 포함한다. Referring to FIG. 1, a risk situation determination method based on motion recognition of image extracting data may include obtaining image data of a predetermined region; Decomposing and inputting image data; Recognizing a recognition object from the decomposed image data and checking an operation state of the recognition object; Recognizing an operating state through skeleton recognition of a recognition object; Calculating accuracy with respect to a specific object and an operating state; And determining a risk situation according to the calculated accuracy.

정해진 영역은 미리 설정될 수 있고, 고정 영역 또는 가변 영역이 될 수 있다. 예를 들어 정해진 영역은 이동하는 차량의 전방으로 10 내지 30 m 및 차량을 중심으로 45 내지 75도의 각도와 같이 설정될 수 있다. 또는 정해진 영역은 건물의 주변 또는 해변에서 수심이 일정 수준 이상이 되는 영역과 같이 수위에 따라 위험한 정해진 영역이 될 수 있다. 그리고 정해진 영역에 대한 영상 데이터가 얻어질 수 있고, 영상 데이터는 예를 들어 다양한 종류의 카메라 유닛 또는 다른 감시 수단으로부터 얻어질 수 있다. 영상 데이터는 다양한 방법으로 설정될 수 있고, 영상 데이터의 획득을 위한 전용 카메라, 스마트 폰의 카메라 또는 차량에 설치된 다양한 감시 수단으로부터 영상 데이터가 획득될 수 있다. 영상 데이터 획득 유닛(11)에 의하여 다양한 영상 획득 수단으로부터 영상 데이터를 수신할 수 있고, 영상 데이터 획득 모듈(11)은 예를 들어 스마트 폰의 카메라 유닛 또는 차량에 설치된 감시 센서와 연결 설정을 하고, 영상 데이터의 획득이 가능한 다양한 수단으로부터 영상 데이터를 획득할 수 있다. 영상 데이터가 획득되면, 영상 데이터는 획득 시간 및 획득 수단에 따라 분류되어 영상 데이터 분해 모듈(12)로 전송될 수 있다. 영상 데이터 분해 모듈(12)은 영상을 시간 또는 공간을 기준으로 다수 개로 분할하는 기능을 가질 수 있다. 영상 데이터가 시간 영역을 기준으로 다수 개의 이미지로 나누어지면, 각각의 이미지가 공간적으로 분할될 수 있다. 공간적인 분할은 서로 다른 시간 영역의 이미지의 연관성에 기초하여 이루어질 수 있다. 공간 분할은 예를 들어 사람의 팔 형상, 발 형상, 얼굴 형상, 몸통 형상 또는 이와 유사한 형상을 기준으로 이루어질 수 있고, 이와 같이 공간 분할이 된 분할 이미지가 시간 분할 이미지와 함께 입력 값으로 만들어질 수 있다. 입력 값이 인지 대상물 특정 모듈(13)로 전송될 수 있고, 인지 대상물은 예를 들어 사람, 동물 또는 미리 결정된 다양한 특정 가능한 형상이 될 수 있다. 인지 대상물의 특정 모듈(13)은 인공지능 알고리즘을 포함할 수 있고, 예를 들어 활성 함수로 Leaky ReLU(Rectified Linear Unit), 선형 로지스틱 함수, 학습 알고리즘, 기울기(Gradient) 조절 알고리즘, 과-적합 방지 알고리즘 또는 이와 유사한 알고리즘을 포함할 수 있고, 이와 같은 알고리즘을 적용하여 인지 대상물을 특정할 수 있다. 인지 대상물 특정 모듈(13)에 의하여 인지 대상물이 특정되면 스켈레톤 형성 모듈(14)로 전송될 수 있다. 스켈레톤 형성 모듈(14)은 특정된 인지 대상물로부터 선형 2차원 또는 3차원 모델을 형성하는 기능을 가질 수 있다. 예를 들어 얼굴 부위에 대한 적어도 하나의 매개변수, 몸통 부위에 대한 적어도 하나의 매개변수, 팔 또는 다리에 대한 적어도 하나의 매개변수 또는 다른 신체 부위에 대한 적어도 하나의 매개변수를 결정하고, 이들 매개변수를 서로 연결하는 선형 스켈레톤 모델을 생성할 수 있다. 그리고 생성된 선형 스켈레톤 모델에 기초하여 동작이 인지될 수 있고, 이와 같은 과정에서 인지 대상물 특정의 정확성 여부가 검증될 수 있다. 이와 같은 스켈레톤 모델을 정의하는 매개변수 값의 변화에 기초하여 동작(motion)이 인지될 수 있고, 이와 같은 과정에서 위에서 설명된 인공지능 알고리즘이 적용될 수 있다. 인지 대상물이 특정되고, 선형 스켈레톤 모델에 의하여 동작이 인지되면, 결과 값이 대상물/동작 확률 산출 모듈(15)로 전송될 수 있다. 그리고 대상물/동작 확률 산출 모듈(15)은 예를 들어 과-적합 함수 또는 이와 유사한 알고리즘을 적용하여 특정 또는 동작 인지의 정확성 여부에 대한 확률을 산출할 수 있다. 그리고 산출된 확률 값이 95 % 이상과 같이 미리 결정된 범위가 되면 이를 위험 상황 판단 모듈(16)로 전송할 수 있다. 위험 상황 판단 모듈(16)은 대상물/동작 확률 산출 모듈(15)로부터 전송된 데이터에 기초하여 인지 대상물의 상태, 이후 동작의 추론 및 그에 따른 위험성을 판단하는 기능을 가질 수 있다. 예를 들어 다양한 동작 형태가 추론되고, 각각의 동작 형태가 시간 함수로 표시되면서 이에 기초하여 위험 수준이 판단될 수 있다. 그리고 필요에 따라 위험 수준이 예를 들어 디스플레이와 같은 표시 수단에 표시되거나, 소리 신호로 위험 수준이 표시될 수 있다. 또는 위험 수준이 적절한 방법으로 관련 수단 또는 관련자에게 전송될 수 있다. The predetermined area may be preset and may be a fixed area or a variable area. For example, the predetermined area may be set as an angle of 10 to 30 m in front of the moving vehicle and 45 to 75 degrees about the vehicle. Alternatively, the defined area may be a dangerous defined area depending on the water level, such as an area around the building or an area where the water depth is over a certain level. And image data for a given area can be obtained, and the image data can be obtained, for example, from various kinds of camera units or other monitoring means. The image data may be set in various ways, and image data may be obtained from a dedicated camera for acquiring image data, a camera of a smart phone, or various monitoring means installed in a vehicle. The image data acquisition unit 11 may receive image data from various image acquisition means, and the image data acquisition module 11 establishes a connection with, for example, a camera unit of a smartphone or a surveillance sensor installed in a vehicle, Image data may be obtained from various means capable of obtaining image data. Once the image data is acquired, the image data may be classified according to the acquisition time and the acquisition means and transmitted to the image data decomposition module 12. The image data decomposition module 12 may have a function of dividing an image into a plurality of images based on time or space. When the image data is divided into a plurality of images based on the time domain, each image may be spatially divided. Spatial segmentation may be based on the correlation of images of different time domains. The spatial segmentation may be based on, for example, a human arm shape, a foot shape, a face shape, a torso shape, or a similar shape, and the segmented image thus segmented may be made into an input value along with the temporal segmented image. have. Input values may be sent to the recognition object specification module 13, which may be, for example, human, animal or a variety of predetermined specific possible shapes. The specific module 13 of the cognitive object may include an artificial intelligence algorithm, for example, Leaky ReLU (Rectified Linear Unit), linear logistic function, learning algorithm, gradient adjustment algorithm, and over-fitting as an active function. Algorithms or similar algorithms may be included, and such algorithms may be applied to specify recognition objects. If the recognition object is specified by the recognition object specifying module 13, it may be transmitted to the skeleton forming module 14. Skeleton forming module 14 may have the function of forming a linear two-dimensional or three-dimensional model from the specified cognitive object. For example, determining at least one parameter for the face area, at least one parameter for the torso area, at least one parameter for the arm or leg, or at least one parameter for another body part, You can create linear skeleton models that link variables together. The motion may be recognized based on the generated linear skeleton model, and in this process, whether the recognition object specific accuracy may be verified. Motion may be perceived based on the change of the parameter value defining such a skeleton model, and the AI algorithm described above may be applied in this process. If the recognition object is specified and the motion is recognized by the linear skeleton model, the result value may be transmitted to the object / motion probability calculation module 15. In addition, the object / motion probability calculation module 15 may calculate a probability of whether the specific or motion recognition is correct by applying an over-fit function or a similar algorithm, for example. When the calculated probability value is within a predetermined range such as 95% or more, it may be transmitted to the risk situation determination module 16. The dangerous situation determination module 16 may have a function of determining a state of a recognized object, an inference of a subsequent operation, and a risk according to the object based on the data transmitted from the object / operation probability calculating module 15. For example, various types of actions can be inferred, and each type of action can be represented as a function of time, thereby determining a risk level. If necessary, the risk level may be displayed on a display means such as a display, or the risk level may be displayed by a sound signal. Or the risk level may be transmitted to the relevant means or parties in an appropriate manner.

위험 수준의 표시 또는 전송은 다양한 방법으로 이루어질 수 있고, 제시된 실시 예에 제한되지 않는다. The indication or transmission of the risk level can be made in various ways and is not limited to the presented embodiments.

도 2는 본 발명에 따른 방법이 적용된 실시 예를 도시한 것이다. 2 illustrates an embodiment to which the method according to the present invention is applied.

도 2를 참조하면, 각각의 시각에서 이미지 데이터(21)는 서로 구분되는 다수 개의 형상을 기준으로 분할될 수 있고, 분할 이미지가 인지 입력 데이터(211)가 될 수 있다. 그리고 인지 입력 데이터(211)에 대하여 히든 층(hidden layer)의 다양한 인공지능 함수가 적용될 수 있고, 이와 같은 대상 인지 알고리즘(212)의 적용에 의하여 다양한 종류의 가상 대상물(213)이 만들어질 수 있다. 이후 이와 같이 만들어진 가상 대상물(213)에 대하여 미리 저장된 데이터베이스에 기초하여 특정이 되어야 하는 인지 대상물의 일부에 해당하는지 여부가 검증이 되어 부분 인지 대상물(214)로 결정될 수 있다. 부분 인지 대상물(214)은 적어도 하나가 될 수 있고, 최종 검증 단계에서 하나의 부분 인지 대상물(214)이 확률적으로 결정될 수 있다. 이와 같은 대상물 인지 단계(P21)를 통하여 특정 대상물이 인지될 수 있고, 인지 과정에서 다양한 인공지능 알고리즘이 적용될 수 있다. 부분 인지 대상물(214)의 결합에 의하여 인지 대상물이 만들어질 수 있고, 동작 검증 단계(P22)에서 인지 대상물의 다양한 동작 상태가 가정될 수 있다. 동작 데이터베이스(22)에 인지 대상물의 다양한 동작에 따른 데이터가 저장될 수 있고, 이에 기초하여 인지 대상물의 시간에 따른 인지 대상물의 변화와 대비될 수 있다. 이에 의하여 인지 대상물이 검증되면서 동작 상태가 인지될 수 있고, 입력 데이터에 따른 인지 대상물의 특정의 정확성이 높아질 수 있다. 이와 같이 인지 대상물이 특정되면서 이와 함께 동작 검증에 따라 인지 대상물이 특정되면 선형 스켈레톤 모델(23)이 생성되고 그에 따라 스켈레톤 인지 단계(P23)가 진행될 수 있다. 그리고 스켈레톤을 인지하여 추적하는 것에 의하여 위험 상황의 발생 여부가 결정될 수 있다. Referring to FIG. 2, at each time point, the image data 21 may be divided based on a plurality of shapes separated from each other, and the divided image may be cognitive input data 211. In addition, various AI functions of a hidden layer may be applied to the cognitive input data 211, and various kinds of virtual objects 213 may be created by applying the object recognition algorithm 212. . Thereafter, the virtual object 213 may be verified as a part of the object to be identified based on the pre-stored database, and thus may be determined as the partial recognition object 214. There may be at least one partial recognition object 214, and one partial recognition object 214 may be probabilistically determined in the final verification step. Specific objects may be recognized through the object recognition step P21, and various artificial intelligence algorithms may be applied in the recognition process. A recognition object may be made by the combination of the partial recognition objects 214, and various operation states of the recognition object may be assumed in the operation verification step P22. Data according to various operations of the recognition object may be stored in the operation database 22, and based on this, it may be contrasted with a change of the recognition object over time of the recognition object. As a result, while the recognition object is verified, an operation state may be recognized, and specific accuracy of the recognition object according to the input data may be increased. As described above, when the recognition object is specified and the recognition object is specified according to the operation verification, the linear skeleton model 23 may be generated, and accordingly, the skeleton recognition step P23 may proceed. In addition, by identifying and tracking the skeleton, it may be determined whether or not a dangerous situation occurs.

인지 대상물 특정 및 스켈레톤 인지는 다양한 방법으로 이루어질 수 있고 제시된 실시 예에 제한되지 않는다. Recognition object specification and skeleton recognition may be accomplished in a variety of ways and is not limited to the embodiments shown.

도 3은 본 발명에 따른 방법에 의하여 위험 상황이 판단되는 과정의 실시 예를 도시한 것이다. 3 illustrates an embodiment of a process in which a dangerous situation is determined by a method according to the present invention.

도 3을 참조하면, 경계 영역 설정 모듈(31)에 의하여 감시가 되어야 하는 경계 영역이 설정될 수 있고, 경계 영역 설정 모듈(31)은 경계 영역의 방향을 설정하는 위험 방향 설정 유닛(311) 및 설정된 방향에 따른 영역을 설정하는 위험 영역 설정 유닛(312)을 포함할 수 있다. 경계 영역 설정 모듈(31)은 예를 들어 카메라와 같은 감시 수단의 방향을 조절하여 경계 영역을 설정할 수 있다. 감시 수단은 정해진 위치에 고정되거나, 이동 수단에 위치하여 이동될 수 있다. 이와 같이 감시 수단이 고정되거나, 이동되는 경우 경계 영역 설정 모듈(31)은 주변 상황에 따라 감시 수단의 감시 영역을 결정할 수 있다. 경계 영역 설정 모듈(31)은 감시 수단 또는 감시 기준 위치에 따라 경계 영역을 설정할 수 있는 다양한 수단을 포함할 수 있다. 예를 들어 감시 수단은 방향의 변화를 탐지하여 방향을 조절하는 방향 조절 수단, 경사를 탐지하여 경사를 조절하는 경사 조절 수단 또는 이동 수단의 방향 전환에 따라 미리 감시 방향을 조절하는 수단을 가질 수 있다. 이와 같은 경계 영역의 설정 과정을 카메라와 같은 감시 수단에 의하여 획득된 영상 이미지 또는 영상 데이터에 의하여 이루어질 수 있다. 구체적으로 다양한 감시 수단으로부터 영상 데이터를 수신할 수 있고, 수신된 영상 데이터가 경계 영역 설정 모듈(31)에서 수집이 될 수 있고, 가상 기준점이 설정될 수 있다. 그리고 가상 기준점에 기초하여 위험 방향 설정 유닛(311)과 위험 영역 설정 유닛(312)에 의하여 가상 위험 방향 및 가상 위험 영역이 설정될 수 있다. 이후 위험 방향 설정 유닛(311)과 위험 영역 설정 유닛(312)은 서로 다른 감시 수단에 의하여 획득된 영상 데이터로부터 가상 위험 방향 및 가상 위험 영역에 해당되는 영역을 추출하여 분류할 수 있다. 가상 기준점, 가상 위험 방향 및 가상 위험 영역은 고정 영역이 되거나 가변 영역이 될 수 있고, 예를 들어 차량을 기준으로 이와 같은 것이 설정되는 경우 차량의 이동에 따라 가변이 될 수 있다. 이와 같은 방법으로 위험 방향 설정 유닛(311)과 위험 영역 설정 유닛(312)에 의하여 영상 데이터가 수집이 되어 분류가 되면, 영상 데이터는 영상 데이터 시분할 모듈(32)로 전송될 수 있다. Referring to FIG. 3, the boundary area to be monitored may be set by the boundary area setting module 31, and the boundary area setting module 31 may include a dangerous direction setting unit 311 for setting the direction of the boundary area; The dangerous area setting unit 312 may be configured to set an area according to the set direction. The boundary area setting module 31 may set the boundary area by adjusting a direction of a monitoring means such as a camera, for example. The monitoring means can be fixed in a fixed position or can be moved in position in the moving means. As such, when the monitoring means is fixed or moved, the boundary area setting module 31 may determine the monitoring area of the monitoring means according to the surrounding situation. The boundary area setting module 31 may include various means for setting the boundary area according to the monitoring means or the monitoring reference position. For example, the monitoring means may have a direction adjusting means for detecting a change in direction and adjusting the direction, an inclination adjusting means for detecting an inclination and adjusting the inclination or a means for adjusting the monitoring direction in advance according to the change of direction of the moving means. . Such a process of setting the boundary region may be performed by using an image image or image data obtained by a monitoring means such as a camera. Specifically, image data may be received from various monitoring means, the received image data may be collected by the boundary region setting module 31, and a virtual reference point may be set. The virtual danger direction and the virtual danger area may be set by the danger direction setting unit 311 and the danger area setting unit 312 based on the virtual reference point. Thereafter, the dangerous direction setting unit 311 and the dangerous area setting unit 312 may extract and classify areas corresponding to the virtual danger direction and the virtual danger area from the image data obtained by different monitoring means. The virtual reference point, the virtual danger direction and the virtual danger area may be a fixed area or a variable area, and may be variable according to the movement of the vehicle, for example, when such a thing is set based on the vehicle. When the image data is collected and classified by the dangerous direction setting unit 311 and the dangerous area setting unit 312 in this manner, the image data may be transmitted to the image data time division module 32.

영상 데이터 시분할 모듈(32)은 영상 데이터를 시간에 기초하여 분류하고, 정해진 시각에 대한 적어도 경계 영역에 대한 이미지를 생성할 수 있다. 영상 데이터 시분할 모듈(32)에 의하여 시간의 경과에 따른 다수 개의 이미지가 만들어질 수 있고, 각각의 시각에서 적어도 하나의 영상 이미지가 만들어질 수 있다. 서로 다른 분할 이미지 사이의 시간 간격은 동일하거나 서로 다를 수 있고, 다수 개의 시간 분할 이미지가 시간의 경과에 따라 정렬될 수 있다. 그리고 이와 같이 정렬된 시간 분할 이미지가 신체 부위 단위 인지 모듈(33)로 전송될 수 있다. 신체 부위 단위 인지 모듈(33)은 시간 함수로 정렬된 영상 데이터를 분해하여 다수 개의 단위 입력 데이터를 생성하고, 단위 입력 데이터로부터 신체 부위를 인지하는 기능을 가질 수 있다. 단위 입력 데이터는 예를 들어 시분할 영상 데이터로부터 손에 해당하는 부위를 표시하는 데이터가 될 수 있다. 신체가 다수 개의 부분으로 분리가 될 수 있고, 각각의 영상 데이터에서 분리 부분이 인지될 수 있다. 서로 다른 영상 데이터에서 동일한 분리 부분이 탐지될 수 있고, 서로 다른 분리 부분이 하나의 영상 데이터에서 확인될 수 있다. 이와 같은 과정에서 인공지능 알고리즘이 적용되어 각각의 인체 부분이 인지될 수 있다. 각각의 분리 부분은 전자적으로 식별 가능한 디지털 신호로 표시될 수 있고, 서로 인접하는 분리 부분을 선으로 연결하면 선형으로 표시된 사람 형상이 만들어질 수 있다. 그러므로 분리 부분은 인체를 표시할 수 있는 가장 간단한 디지털 정보 표시가 될 수 있다. 이와 같이 신체의 분리 부분이 인지가 되면, 분리 부분에 대한 디지털 정보가 사람/동작 인지 모듈(34)로 전송될 수 있다. The image data time division module 32 may classify the image data based on time and generate an image of at least a boundary area for a predetermined time. The image data time division module 32 may generate a plurality of images over time, and may generate at least one image image at each time. The time intervals between different split images may be the same or different, and a plurality of time split images may be aligned over time. In addition, the aligned time division images may be transmitted to the body part unit recognition module 33. The body part unit recognition module 33 may generate a plurality of unit input data by decomposing image data arranged as a function of time, and may have a function of recognizing a body part from the unit input data. The unit input data may be, for example, data indicating a region corresponding to a hand from time-division image data. The body may be separated into a plurality of parts, and the separated part may be recognized in each image data. The same separated portion may be detected in different image data, and different separated portions may be identified in one image data. In this process, an artificial intelligence algorithm may be applied to each human body part. Each separation part may be represented by an electronically identifiable digital signal, and a linear human shape may be formed by connecting the separation parts adjacent to each other by a line. Therefore, the separated part may be the simplest digital information display capable of displaying the human body. As such, when the separated part of the body is recognized, digital information about the separated part may be transmitted to the person / motion recognition module 34.

사람/동작 인지 모듈(34)은 분리 부분을 결합하여 사람의 형상이 되는지 여부가 확인되고, 이와 동시에 결합된 분리 부분이 사람의 동작에 해당되는지 여부가 확인될 수 있다. 도 3에 신체 부위 단위 인지 모듈(33)과 사람/동작 인지 모듈(34)은 서로 분리된 모듈로 제시되어 있지만 두 개의 모듈을 일체로 형성될 수 있고, 관련 데이터가 공유될 수 있다. 사람/동작 인지 모듈(34)은 분리 인체 부위에 대한 정보를 저장하는 인체 부위 데이터베이스 및 분리 인체 부위가 동작(motion) 가능한 상태에 대한 동작 상태 데이터베이스를 가질 수 있다. 사람/동작 인지 모듈(34)은 시간의 경과에 따른 분리 인체 부위의 위치를 확인하여 분리 인체 부위를 검증하면서 이와 동시에 인체의 동작을 인지할 수 있다. 이와 같은 방식으로 신체 부위 단위 인지 모듈(33)과 사람/동작 인지 모듈(34)에 의하여 인체 부위 및 동작에 대한 인지가 완료되면 스켈레톤 데이터 추출 모듈(35)로 전송되어 스켈레톤 데이터가 만들어질 수 있다. 스켈레톤 데이터 추출 모듈(35)은 시간의 경과에 따른 영상 이미지에서 스켈레톤 모델을 적용시켜 인지 과정을 검증하면서 이와 동시에 향후 동작을 예측하는 기능을 가질 수 있다. 이와 함께 적절한 표시 장치에 스켈레톤 모델을 표시할 수 있다. 스켈레톤 데이터는 분리 인체 부위를 표시할 수 있는 각각의 부위에 대한 최적화가 된 디지털 정보가 된다. 그리고 스켈레톤 데이터에 기초하여 스켈레톤 모델이 만들어질 수 있고, 스켈레톤 모델이 위험 표시 모듈(36)로 전송될 수 있다. 위험 표시 모듈(36)은 스켈레톤 모델의 동작 상태에 따라 차후 동작을 예측하여 위험 여부를 판단할 수 있고, 필요에 따라 스피커 또는 디스플레이에 위험 상태를 표시할 수 있다. The person / motion recognition module 34 may determine whether the shape of the person is combined by combining the separation parts, and at the same time, whether the combined separation part corresponds to the motion of the person. Although the body part unit recognition module 33 and the person / motion recognition module 34 are shown as separate modules in FIG. 3, the two modules may be integrally formed and related data may be shared. The human / motion recognition module 34 may have a human body database storing information about the separated human body part and an operation state database for a state in which the separated human body part can be motiond. The human / motion recognition module 34 may verify the position of the separated human body part over time to verify the separated human body part and simultaneously recognize the motion of the human body. In this manner, when recognition of the human body part and motion is completed by the body part unit recognition module 33 and the person / motion recognition module 34, the skeleton data may be transmitted to the skeleton data extraction module 35 to generate skeleton data. . The skeleton data extraction module 35 may have a function of verifying a cognitive process by applying a skeleton model in an image image over time and at the same time predicting future motion. In addition, the skeleton model can be displayed on an appropriate display device. Skeleton data is digital information that is optimized for each part that can represent separate human parts. And a skeleton model can be created based on the skeleton data, and the skeleton model can be sent to the hazard indication module 36. The risk indication module 36 may determine whether there is a danger by predicting a future operation according to the operation state of the skeleton model, and may display a danger state on the speaker or the display as needed.

다수의 사람이 하나의 경계 영역에서 탐지될 수 있고, 적어도 하나의 사람이 탐지되면 인지 모듈이 작동되어 위험 여부가 판단될 수 있다. 그리고 감시 수단은 연속적으로 영상 데이터를 인지 모듈로 전송할 수 있고, 인지 모듈은 영상 데이터로부터 사람이 인지되면 위험 여부를 판단할 수 있다. A plurality of people can be detected in one boundary area, and if at least one person is detected, the cognitive module can be activated to determine whether it is dangerous. In addition, the monitoring unit may continuously transmit the image data to the recognition module, and the recognition module may determine whether a person is dangerous if the person is recognized from the image data.

인지 모듈은 다양한 인공지능 알고리즘을 포함할 수 있고 제시된 실시 예에 제한되지 않는다. The cognitive module may include various AI algorithms and is not limited to the presented embodiments.

도 4a 및 도 4b는 본 발명에 따른 방법에 적용되는 인공기능 기술의 실시 예를 도시한 것이다. 4A and 4B show an embodiment of an artificial function technique applied to the method according to the present invention.

도 4a를 탐지하면, 영상 데이터는 2차원 평면 데이터가 되고, 영상 데이터로부터 생성된 스켈레톤 모델(41)은 이차원 데이터가 된다. 이와 같은 스켈레톤 모델(41)을 형성하는 분리 인체 부위에 대한 디지털 정보(411)가 3D 생성기(42)에서 처리되고, 각각의 디지털 정보(411)에 대하여 Z_축 적용 유닛(43)에 의하여 Z_축 방향에 대한 회전각이 얻어질 수 있고, 이에 의하여 3차원 디지털 정보(431)가 생성될 수 있다. 그리고 이에 의하여 3차원 스켈레톤 모델(44)이 생성될 수 있다. 그리고 이와 같이 생성된 가상 3차원 정보는 선별 모듈(45)로 전송되어 발생 가능 여부가 확인될 수 있다. 이와 같은 과정은 서로 다른 시각에 획득된 시분할 영상 데이터에서 인지된 분리 신체 단위가 동일한 부분에 해당하는지 여부가 확인될 수 있고, 각각의 분리 신체 단위가 인지의 정확성이 검증될 수 있다. 예를 들어 N-번째 영상 데이터에 대한 스켈레톤 모델이 생성되고, N-1번째 엿아 데이터가 θ만큼 회전된 영상 데이터가 될 수 있다. 그리고 N-번째 스켈레톤 모델(41)에 대하여 생성된 3차원 스켈레톤 모델(44)과 N+1번째 영상 데이터에 대한 2차원 스켈레톤 모델(41)이 비교될 수 있다. 만약 비교 결과 특정 분리 신체 단위가 회전 가능한 범위를 벗어났다면 특정 분리 신체 단위의 인지에 오류가 있는 것으로 확인될 수 있다. 4A, the image data becomes two-dimensional plane data, and the skeleton model 41 generated from the image data becomes two-dimensional data. The digital information 411 for the separated human body part forming the skeleton model 41 is processed in the 3D generator 42, and Z is applied by the Z-axis application unit 43 to each digital information 411. The rotation angle with respect to the _axis direction can be obtained, whereby three-dimensional digital information 431 can be generated. In this way, the 3D skeleton model 44 may be generated. The virtual three-dimensional information generated as described above may be transmitted to the sorting module 45 to determine whether it can be generated. In this process, whether the separated body units recognized in the time-division image data acquired at different times may correspond to the same portion, and the accuracy of recognition of each separated body unit may be verified. For example, a skeleton model for the N-th image data may be generated, and the N-1 th pedestal data may be image data rotated by θ. The 3D skeleton model 44 generated with respect to the N-th skeleton model 41 and the 2D skeleton model 41 with respect to the N + 1th image data may be compared. If the result of the comparison is that a particular separated body unit is out of the rotatable range, it may be found that there is an error in recognition of the specific separated body unit.

도 4a의 아래쪽 부분을 참조하면, 2차원 스켈레톤 모델(41)을 비롯한 위에서 설명된 분리 인체 부위가 입력 데이터(IP)로 인공지능 모듈(AI)로 입력이 될 수 있다. 인공지능 모듈(AI)은 예를 들어 시그모이드 함수(Sigmoid function) 또는 Leaky LeLU 함수와 같은 활성 함수 또는 이와 유사한 초기화, 최적화 함수를 포함할 수 있다. 입력 데이터(IP)에 대하여 인공지능 알고리즘이 적용되어 3차원 스켈레톤 모델(44) 또는 분리 인체 부위에 대한 디지털 정보가 생성될 수 있다. 그리고 인공지능 모듈(AI)은 다양한 플랫폼에서 실행될 수 있다. Referring to the lower part of FIG. 4A, the separated human body parts described above, including the two-dimensional skeleton model 41, may be input to the AI module AI as input data IP. The AI module may include, for example, an activation function such as a sigmoid function or a Leaky LeLU function or similar initialization and optimization functions. An artificial intelligence algorithm may be applied to the input data IP to generate digital information about the 3D skeleton model 44 or the separated human body part. And the AI module can be executed on various platforms.

도 4b를 참조하면, 작동 플랫폼(PT)은 소프트웨어 플랫폼, 라이브러리, API(Application Programming Interface) 층 및 응용 프로그램 층을 포함할 수 있고, 이와 같은 작동 플랫폼(PT)에서 인공지능 알고리즘(AI)이 작동될 수 있다. 작동 플랫폼(PT)은 차량 또는 유사한 감시 장치에 설치될 수 있는 독립된 모듈 구조로 만들어질 수 있다. 작동 플랫폼은 예를 들어 차량에 설치된 다양한 통신 가능한 기기에 데이터 통신이 가능하거나, 다양한 전자기기와 통신 가능한 구조가 될 수 있다. 예를 들어 차량에 설치된 다양한 센서 장치와 통신이 가능하고, 센서 장치로부터 탐지된 정보로부터 영상 데이터 또는 위치 정보를 획득할 수 있다. 또한 차량에 설치된 내비게이션 장치와 연결될 수 있다. 작동 플랫폼(PT)은 예를 들어 해변의 위험 지역, 접근 금지 지역이 설정된 건물의 감시 지역 또는 이와 유사한 감시 영역에 설치된 감시 장치와 결합될 수 있다. 그리고 작동 플랫폼(PT)은 다양한 감시 수단으로부터 영상 데이터를 획득할 수 있고, 위에서 설명된 영상 데이터 시분할 모듈과 같은 모듈에 의하여 영상 데이터를 분석할 수 있다. 인공지능 모듈은 데이터 분석 모듈, 학습 알고리즘 모듈 및 판단 알고리즘을 포함할 수 있고, 위에서 설명된 방법에 따라 사람을 인지하거나 또는 동작을 인지할 수 있다. 또한 경계 영역에 따라 동물, 차량 또는 이와 유사한 이동성을 가진 다양한 인지 대상물을 인지하고, 동작을 인지할 수 있다. Referring to FIG. 4B, the operating platform PT may include a software platform, a library, an application programming interface (API) layer, and an application layer, in which the artificial intelligence algorithm (AI) operates. Can be. The actuation platform PT can be made in a separate modular structure that can be installed in a vehicle or similar monitoring device. The operating platform may be, for example, capable of data communication to various communicable devices installed in a vehicle, or may be configured to communicate with various electronic devices. For example, communication with various sensor devices installed in a vehicle is possible, and image data or location information can be obtained from information detected from the sensor device. It can also be connected to the navigation device installed in the vehicle. The operating platform PT may be combined with a monitoring device installed in a surveillance area of a building, for example, where a dangerous area on the beach, a no-access area is set up or similar. And the operating platform PT can acquire the image data from various monitoring means, and can analyze the image data by a module such as the image data time division module described above. The AI module may include a data analysis module, a learning algorithm module, and a determination algorithm, and may recognize a person or an action according to the method described above. In addition, it is possible to recognize various recognition objects having an animal, a vehicle, or similar mobility according to the boundary area, and to recognize motion.

도 5는 본 발명에 따른 영상 추출 데이터의 동작 인식에 기초하는 위험 상황 판단 방법의 실시 예를 도시한 것이다. 5 illustrates an embodiment of a risk situation determination method based on motion recognition of image extraction data according to the present invention.

도 5를 참조하면, 경계 영역의 위험 상황 판단 방법은 경계 영역을 설정하면서 설정된 경계 영역과 인지 대상물의 상관성을 설정하는 단계(S51); 설정된 경계 영역에서 감시 수단에 의하여 연속적으로 획득된 영상 데이터로부터 인지가 요구되는 인지 대상물이 탐지된 영상 데이터를 추출하고 공간적으로 그리고 시간적으로 분할을 하는 단계(P52); 분할 영상 데이터가 인공지능 모듈에 입력 데이터로 입력되는 단계(P53); 입력 데이터에 인공지능 모듈의 히든 함수가 적용되는 단계(P54); 히든 함수가 연속적으로 적용되어 각각의 부분 인지 대상물 부위의 정확성에 대한 확률이 미리 결정된 범위가 되면 인지 대상물의 각 부위로 인지가 되는 단계(P55); 인지가 된 각각의 부위를 결합하여 인지 대상물로 인지가 되고, 서로 다른 시간에 따른 영상 데이터로부터 인지 대상물의 동작이 인지되는 단계(P56); 각각의 인지 대상물 부위를 식별할 수 있는 디지털 정보가 생성되어 스켈레톤 모델이 형성되는 단계(P57); 경계 영역의 상황 및 스켈레톤 모델의 동작이 탐지되거나, 동작이 추측이 되는 단계(P58); 및 판단된 상황 및 동작에 기초하여 인지 대상물의 위험이 결정되는 단계(P59)를 포함한다. Referring to FIG. 5, the method for determining a risk situation of the boundary area may include establishing correlation between the set boundary area and the recognized object while setting the boundary area (S51); Extracting image data from which image recognition objects for which recognition is required are detected from image data continuously acquired by the monitoring means in the set boundary region and partitioning the image data spatially and temporally (P52); Inputting the divided image data into the artificial intelligence module as input data (P53); Applying a hidden function of the artificial intelligence module to the input data (P54); A hidden function is applied successively to recognize each part of the object to be recognized when the probability of the accuracy of each part recognition object part is within a predetermined range (P55); Combining each of the recognized parts to be recognized as a recognition object, and recognizing the motion of the recognition object from image data according to different time (P56); Generating digital information for identifying each recognition object part to form a skeleton model (P57); Step P58, in which the situation of the boundary region and the motion of the skeleton model are detected or the motion is speculated; And a step (P59) of determining a risk of a cognitive object based on the determined situation and operation.

경계 영역은 고정 영역이 되거나, 가변 영역이 될 수 있다. 경계 영역이 설정되면, 경계 영역에서 인지 대상물이 결정될 수 있다. 인지 대상물은 사람, 동물, 자동차 또는 이와 유사한 이동성을 가진 다양한 대상물이 될 수 있고, 결정된 인지 대상물과 경계 영역 사이의 상관성이 결정될 수 있다(S51). 상관성은 예를 들어 경계 영역에서 인지 대상물이 탐지되는 상황, 인지 대상물의 형상, 인지 대상물의 수, 경계 상황에 따른 인지 대상물의 탐지에 따른 위험도 또는 이와 유사한 인지 대상물과 경계 영역에 대한 상관성을 의미한다. 예를 들어 차량에 작동 플랫폼이 설치된 경우 차량이 우회전을 하는 경우 운전자의 시야가 미치지 않은 양쪽 영역이 경계 영역으로 설정이 되면서 건널목으로 진입하는 사람 또는 이와 유사한 이동 물체가 탐지 대상이 될 수 있다. 또한 야간 쓰레기 투기의 감시를 위한 작동 플랫폼의 경우 사람과 손에 든 쓰레기가 탐지 대상이 될 수 있다. 이와 같은 상관성이 설정되면(S51), 감시 수단으로부터 연속적으로 영상 데이터가 획득될 수 있고, 영상 데이터로부터 인지 대상물로 추측되는 물체가 포함된 영상이 추출될 수 있다. 그리고 추출된 영상 데이터가 위에서 설명된 방법에 따라 공간적으로 그리고 시간적으로 분할이 될 수 있다(S53). 그리고 분할이 된 영상 데이터가 인공지능 모듈로 입력이 될 수 있고(S53), 입력이 된 데이터에 기초하여 인공지능 모듈이 작동되어(S54, S55, S56), 스켈레톤 모델이 형성될 수 있다(S57). 그리고 스켈레톤 모듈의 동작이 인지되고, 상황이 탐지되어(S58) 위험도가 결정될 수 있다(P59). The boundary area may be a fixed area or a variable area. When the boundary area is set, a recognition object may be determined in the boundary area. The recognition object may be a person, an animal, a vehicle, or various objects having similar mobility, and the correlation between the determined recognition object and the boundary region may be determined (S51). Correlation means, for example, a situation in which a cognitive object is detected in a boundary region, a shape of the cognitive object, a number of cognitive objects, a risk according to detection of a cognitive object according to a boundary situation, or a similar cognitive object and a boundary region. . For example, when a vehicle is installed with an operating platform, when the vehicle makes a right turn, both areas of the driver's field of view may be set as boundary areas, and a person entering a crossing or a similar moving object may be detected. In addition, in an operating platform for the monitoring of night dumping, human and hand waste can be detected. When such correlation is set (S51), image data may be continuously obtained from the monitoring means, and an image including an object that is supposed to be a recognition object may be extracted from the image data. The extracted image data may be divided spatially and temporally according to the method described above (S53). The divided image data may be input to the artificial intelligence module (S53), and the artificial intelligence module may be operated based on the input data (S54, S55, S56), and a skeleton model may be formed (S57). ). Then, the operation of the skeleton module is recognized, a situation may be detected (S58), and a risk may be determined (P59).

인공지능 모듈은 다양한 방법으로 작동되어 인지대상물에 대한 위험도를 결정할 수 있고(S59), 인지 대상물은 경계 영역에 따라 다양하게 설정될 수 있다.The AI module may be operated in various ways to determine a risk for the cognitive object (S59), and the cognitive object may be set in various ways according to the boundary region.

본 발명에 따른 위험 상황 판단 방법은 영상 데이터로부터 예를 들어 사람을 탐지하고, 탐지된 사람 데이터에 인공지능 알고리즘을 적용하여 동작 상태를 인지할 수 있도록 한다. 그리고 동작 상태의 인지에 따라 인지된 사람이 위험 상황에 있는지 여부를 인지하여 필요한 조치가 취해지도록 한다. 본 발명에 따른 방법은 스켈레톤 인지에 의하여 사람의 동작(motion)이 정확하게 탐지되도록 하면서 이와 함께 신속하게 실시간으로 동작이 판단되도록 한다. 본 발명에 따른 방법은 자동차와 같은 운행 수단에 설치되어 보행자의 인지 및 동작의 인지에 의하여 자동차 사고가 방지되도록 한다. 또한 해변 또는 이와 유사한 안전사고 발생 지역에서 사람을 인지하면서 이와 동시에 동작 상태를 인지하는 것에 의하여 위험 상황인지 여부를 판단할 수 있도록 한다. 추가로 본 발명에 따른 방법은 예를 들어 쓰레기 무단 투기 또는 접근 금지 영역에 설치되어 사람을 인지하면서 이와 동시에 동작을 인지하는 것에 의하여 금지 행위에 해당하는지 여부를 판단할 수 있도록 한다. The risk situation determination method according to the present invention detects a person from image data, for example, and applies an artificial intelligence algorithm to the detected person data so as to recognize an operation state. Then, depending on the recognition of the operating state, it is recognized whether the recognized person is in a dangerous situation so that necessary actions can be taken. The method according to the present invention allows the motion of a person to be accurately detected by skeleton recognition while allowing the motion to be quickly determined in real time. The method according to the present invention is installed in a driving means such as a car so that an automobile accident can be prevented by the recognition of the pedestrian and the movement of the pedestrian. In addition, it is possible to determine whether the situation is dangerous by recognizing the operation state while at the same time recognizing the person on the beach or similar safety accident occurrence area. In addition, the method according to the present invention may be installed in, for example, an unauthorized dumping or access prohibition area so as to recognize whether a person corresponds to a prohibition by simultaneously recognizing a motion while recognizing a person.

위에서 본 발명은 제시된 실시 예를 참조하여 상세하게 설명이 되었지만 이 분야에서 통상의 지식을 가진 자는 제시된 실시 예를 참조하여 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다양한 변형 및 수정 발명을 만들 수 있을 것이다. 본 발명은 이와 같은 변형 및 수정 발명에 의하여 제한되지 않으며 다만 아래에 첨부된 청구범위에 의하여 제한된다. Although the present invention has been described in detail above with reference to the presented embodiments, those skilled in the art may make various modifications and modifications without departing from the technical spirit of the present invention with reference to the presented embodiments. . The invention is not limited by the invention as such variations and modifications but only by the claims appended below.

11: 영상 데이터 획득 유닛 12: 영상 데이터 분해 모듈
13: 특정 모듈 14: 스켈레톤 형성 모듈
15: 대상물/동작 확률 산출 모듈 16: 위험 상황 판단 모듈
21: 이미지 데이터 22: 동작 데이터베이스
23: 선형 스켈레톤 모델 31: 경계 영역 설정 모듈
32: 영상 데이터 시분할 모듈 33: 신체 부위 단위 인지 모듈
34: 사람/동작 인지 모듈 35: 스켈레톤 데이터 추출 모듈
36: 위험 표시 모듈 41: 스켈레톤 모델
42: 3D 생성기 43: Z_축 적용 유닛
44: 3차원 스켈레톤 모델 45: 선별 모듈
211: 인지 입력 데이터 212: 대상 인지 알고리즘
213: 가상 대상물 214: 부분 인지 대상물
311: 위험 방향 설정 유닛 312: 위험 영역 설정 유닛
411: 디지털 정보 431: 3차원 디지털 정보
AI: 인공지능 알고리즘 IP: 입력 데이터
PT: 작동 플랫폼11: image data acquisition unit 12: image data decomposition module
13: specific module 14: skeleton forming module
15: object / operation probability calculation module 16: risk situation determination module
21: Image Data 22: Action Database
23: Linear Skeleton Model 31: Boundary Area Configuration Module
32: Image data time division module 33: Body part unit recognition module
34: person / motion recognition module 35: skeleton data extraction module
36: Hazard Indicator Module 41: Skeleton Model
42: 3D generator 43: Z-axis application unit
44: three-dimensional skeleton model 45: screening module
211: Cognitive Input Data 212: Target Cognitive Algorithm
213: virtual object 214: partial recognition object
311: danger direction setting unit 312: danger zone setting unit
411: digital information 431: three-dimensional digital information
AI: AI Algorithm IP: Input Data
PT: working platform

Claims (3)

정해진 영역에 대한 영상 데이터를 획득하는 단계;
영상 데이터를 분해하여 입력시키는 단계;
분해된 영상 데이터로부터 인지 대상물을 인지하고, 인지 대상물의 동작 상태를 확인하는 단계;
인지 대상물에 대한 스켈레톤 인지를 통하여 동작 상태를 인지하는 단계;
특정 대상물 및 동작 상태에 대한 정확도를 산출하는 단계; 및
산출된 정확도에 따른 위험 상황을 판단하는 단계를 포함하고
인지 대상물은 사람이 되고, 인지 대상물의 인지는 신체 부위별로 분할되어 인지되며,
정해진 영역에 대한 영상 데이터를 획득하는 단계는 경계 영역을 설정하면서 설정된 경계 영역과 인지 대상물의 상관성을 설정하는 단계를 포함하는 것을 특징으로 하는 영상 추출 데이터의 동작 인식에 기초하는 위험 상황 판단 방법. Obtaining image data for a predetermined region;
Decomposing and inputting image data;
Recognizing a recognition object from the decomposed image data and checking an operation state of the recognition object;
Recognizing an operating state through skeleton recognition of a recognition object;
Calculating accuracy with respect to a specific object and an operating state; And
Determining a risk situation according to the calculated accuracy;
The cognitive object becomes a person, and the cognition object is divided into body parts and recognized.
Acquiring image data for a predetermined region comprises setting the correlation between the set boundary region and the recognition object while setting the boundary region. 삭제delete 청구항 1에 있어서, 인지 대상물을 인지하는 과정 또는 동작 상태를 인지하는 단계에서 활성 함수로 Leaky ReLU(Rectified Linear Unit)가 적용되는 것을 특징으로 하는 영상 추출 데이터의 동작 인식에 기초하는 위험 상황 판단 방법. The method according to claim 1, wherein a Leaky ReLU (Rectified Linear Unit) is applied as an active function in a process of recognizing a recognition object or a state of operation.
KR1020180101331A 2018-08-28 2018-08-28 A Method for Determining a Dangerous Situation Based on a Motion Perception of a Image Extracting Data KR102083385B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180101331A KR102083385B1 (en) 2018-08-28 2018-08-28 A Method for Determining a Dangerous Situation Based on a Motion Perception of a Image Extracting Data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180101331A KR102083385B1 (en) 2018-08-28 2018-08-28 A Method for Determining a Dangerous Situation Based on a Motion Perception of a Image Extracting Data

Publications (1)

Publication Number Publication Date
KR102083385B1 true KR102083385B1 (en) 2020-03-02

Family

ID=69805447

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180101331A KR102083385B1 (en) 2018-08-28 2018-08-28 A Method for Determining a Dangerous Situation Based on a Motion Perception of a Image Extracting Data

Country Status (1)

Country Link
KR (1) KR102083385B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898468A (en) * 2020-07-09 2020-11-06 北京荟健科技有限公司 Pregnant woman movement monitoring and alarming method and device, computer equipment and storage medium
KR102232646B1 (en) * 2020-12-16 2021-03-30 주식회사 모빌린트 Method for automatically controlling indoor devices of a vehicle including driver's seat, and apparatus therefor
KR102367584B1 (en) 2021-11-04 2022-02-25 주식회사 티지 Automatic video surveillance system using skeleton video analysis technique
KR102391853B1 (en) 2021-11-19 2022-05-09 주식회사 케이비전 System and Method for Processing Image Informaion
WO2022131396A1 (en) * 2020-12-16 2022-06-23 주식회사 모빌린트 Method for automatically controlling vehicle interior devices including driver's seat and apparatus therefor
KR20220113631A (en) * 2021-02-05 2022-08-16 호서대학교 산학협력단 Dangerous situation detection device and dangerous situation detection method
WO2024106782A1 (en) * 2022-11-14 2024-05-23 주식회사 아이티공간 Safety accident prevention system for apparatus using virtual fences and skeleton images
WO2024107036A1 (en) * 2022-11-14 2024-05-23 주식회사 아이티공간 System for preventing device safety accident by using virtual fence and skeleton image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130083677A (en) * 2012-01-13 2013-07-23 삼성전자주식회사 Apparatus and method for analysising body parts association
KR20130136251A (en) * 2012-06-04 2013-12-12 한국전자통신연구원 Method and apparatus for situation recognition using object energy function
KR101772916B1 (en) 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 Device for measuring crack width of concretestructure
KR20170123457A (en) 2016-04-29 2017-11-08 김기한 Intelligent traffic light control method and controller by vision image analysis
KR20180084576A (en) * 2017-01-17 2018-07-25 경북대학교 산학협력단 Artificial agents and method for human intention understanding based on perception-action connected learning, recording medium for performing the method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130083677A (en) * 2012-01-13 2013-07-23 삼성전자주식회사 Apparatus and method for analysising body parts association
KR20130136251A (en) * 2012-06-04 2013-12-12 한국전자통신연구원 Method and apparatus for situation recognition using object energy function
KR20170123457A (en) 2016-04-29 2017-11-08 김기한 Intelligent traffic light control method and controller by vision image analysis
KR101772916B1 (en) 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 Device for measuring crack width of concretestructure
KR20180084576A (en) * 2017-01-17 2018-07-25 경북대학교 산학협력단 Artificial agents and method for human intention understanding based on perception-action connected learning, recording medium for performing the method

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898468A (en) * 2020-07-09 2020-11-06 北京荟健科技有限公司 Pregnant woman movement monitoring and alarming method and device, computer equipment and storage medium
KR102232646B1 (en) * 2020-12-16 2021-03-30 주식회사 모빌린트 Method for automatically controlling indoor devices of a vehicle including driver's seat, and apparatus therefor
WO2022131396A1 (en) * 2020-12-16 2022-06-23 주식회사 모빌린트 Method for automatically controlling vehicle interior devices including driver's seat and apparatus therefor
KR20220113631A (en) * 2021-02-05 2022-08-16 호서대학교 산학협력단 Dangerous situation detection device and dangerous situation detection method
KR102580434B1 (en) * 2021-02-05 2023-09-20 호서대학교 산학협력단 Dangerous situation detection device and dangerous situation detection method
KR102367584B1 (en) 2021-11-04 2022-02-25 주식회사 티지 Automatic video surveillance system using skeleton video analysis technique
KR102391853B1 (en) 2021-11-19 2022-05-09 주식회사 케이비전 System and Method for Processing Image Informaion
WO2024106782A1 (en) * 2022-11-14 2024-05-23 주식회사 아이티공간 Safety accident prevention system for apparatus using virtual fences and skeleton images
WO2024107036A1 (en) * 2022-11-14 2024-05-23 주식회사 아이티공간 System for preventing device safety accident by using virtual fence and skeleton image

Similar Documents

Publication Publication Date Title
KR102083385B1 (en) A Method for Determining a Dangerous Situation Based on a Motion Perception of a Image Extracting Data
US10387725B2 (en) System and methodologies for occupant monitoring utilizing digital neuromorphic (NM) data and fovea tracking
KR102139513B1 (en) Autonomous driving control apparatus and method based on ai vehicle in the loop simulation
US8854469B2 (en) Method and apparatus for tracking persons and locations using multiple cameras
EP3131311B1 (en) Monitoring
CN110419048B (en) System for identifying defined objects
WO2008103206A1 (en) Surveillance systems and methods
AU2017302833A1 (en) Database construction system for machine-learning
CN104933436B (en) The multi-cam factory monitoring of view-based access control model with the scoring of dynamic integrality
Abughalieh et al. Predicting pedestrian intention to cross the road
Alvarez et al. Autonomous driving: Framework for pedestrian intention estimation in a real world scenario
US11315349B2 (en) Method, apparatus and device for identifying passenger state in unmanned vehicle, and storage medium
KR101912570B1 (en) The object tracking system using artificial neural networks
Li et al. A wearable device for indoor imminent danger detection and avoidance with region-based ground segmentation
Weyers et al. Action and object interaction recognition for driver activity classification
Lamard et al. Dealing with occlusions with multi targets tracking algorithms for the real road context
CN113557524A (en) Method for representing a mobile platform environment
Realpe et al. Towards fault tolerant perception for autonomous vehicles: Local fusion
KR101842488B1 (en) Smart monitoring system applied with patten recognition technic based on detection and tracking of long distance-moving object
CN114266804A (en) Cross-sensor object attribute analysis method and system
CN117711131A (en) Constructor warning protection system based on gesture danger analysis
Vishnu Lohit et al. Multiple object detection mechanism using YOLO
US20220301282A1 (en) Method for Analyzing Image Information Using Assigned Scalar Values
Dore et al. A bio-inspired system model for interactive surveillance applications
US11912289B2 (en) Method and device for checking an AI-based information processing system used in the partially automated or fully automated control of a vehicle

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant