KR20230078069A - System for determining the posture type using object silhouette and operation method thereof - Google Patents

System for determining the posture type using object silhouette and operation method thereof Download PDF

Info

Publication number
KR20230078069A
KR20230078069A KR1020210165467A KR20210165467A KR20230078069A KR 20230078069 A KR20230078069 A KR 20230078069A KR 1020210165467 A KR1020210165467 A KR 1020210165467A KR 20210165467 A KR20210165467 A KR 20210165467A KR 20230078069 A KR20230078069 A KR 20230078069A
Authority
KR
South Korea
Prior art keywords
silhouette
posture type
posture
image
dimensional
Prior art date
Application number
KR1020210165467A
Other languages
Korean (ko)
Inventor
이태훈
송유중
Original Assignee
주식회사 공훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 공훈 filed Critical 주식회사 공훈
Priority to KR1020210165467A priority Critical patent/KR20230078069A/en
Publication of KR20230078069A publication Critical patent/KR20230078069A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체를 촬영하여 2차원의 열영상을 생성하는 영상획득장치 및 2차원의 열영상을 이용하여 객체 실루엣을 확보하고 객체 실루엣을 통하여 객체의 프라이버시 보호를 제공하면서 자세유형을 판별하는 서버를 포함하는 객체 실루엣을 이용한 자세유형 판별 시스템 및 그 동작방법을 개시한다.The present invention provides an image acquisition device for generating a two-dimensional thermal image by photographing an object, and a server that secures an object silhouette using the two-dimensional thermal image and discriminates the posture type while providing privacy protection of the object through the object silhouette. Disclosed is a posture type discrimination system using an object silhouette and an operating method thereof.

Description

객체 실루엣을 이용한 자세유형 판별 시스템 및 그 동작방법{SYSTEM FOR DETERMINING THE POSTURE TYPE USING OBJECT SILHOUETTE AND OPERATION METHOD THEREOF}Posture type discrimination system using object silhouette and its operation method

본 발명은 객체 실루엣을 이용한 자세유형 판별 시스템 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 객체 실루엣을 통하여 객체의 프라이버시 보호를 제공하면서 자세유형을 판별하는 기술에 관한 것이다.The present invention relates to a posture type determination system using an object silhouette and an operating method thereof, and more particularly, to a technique for determining a posture type while providing privacy protection of an object through an object silhouette.

종래에는 특허문헌에 기재된 바와 같이 사용자의 프라이버시 보호를 위해 영상에서 객체의 안면을 모자이크화하여 처리하고 있다. 또한 종래에는 객체의 형상에 다른 색상이나 무늬로 채워 실루엣을 처리하고 있다.Conventionally, as described in patent literature, the face of an object is mosaicked and processed in an image to protect user privacy. In addition, conventionally, the silhouette is processed by filling the shape of the object with a different color or pattern.

그러나 종래에는 안면의 모자이크 또는 형상에 다른 색상을 채워 실루엣으로 처리하기 위한 별도의 기술이 적용되어 시스템의 복잡도가 증가될 수 있는 문제점이 있다. 또한 종래에는 객체 이외에 대한 주변환경에 관한 부가정보가 고스란히 노출되어 사용자의 프라이버시 보호가 제대로 이루어지기 어려운 문제점이 있다.However, conventionally, there is a problem in that the complexity of the system may be increased because a separate technique for processing the mosaic or shape of the face as a silhouette by filling in a different color is applied. In addition, conventionally, there is a problem in that it is difficult to properly protect the user's privacy because additional information about the surrounding environment other than the object is exposed intact.

한국등록특허 제10-1881391호Korean Patent Registration No. 10-1881391

상기 문제점을 해결하기 위하여 본 발명은 2차원의 열영상을 이용하여 객체 실루엣을 확보하고, 2차원의 열영상을 3차원의 공간좌표로 생성하며, 객체의 키 포인트별로 3차원의 좌표를 부여하고, 키 포인트의 좌표변화를 분석하여 객체의 자세유형을 판별하는 객체 실루엣을 이용한 자세유형 판별 시스템 및 그 동작방법을 제공한다.In order to solve the above problems, the present invention secures an object silhouette using a 2-dimensional thermal image, generates a 2-dimensional thermal image with 3-dimensional spatial coordinates, assigns 3-dimensional coordinates to each key point of the object, , We provide a posture type determination system and its operation method using object silhouettes that analyze the coordinate change of key points to determine the posture type of an object.

본 발명은 키 포인트의 좌표변화에 대응하는 시간값을 측정하고, 좌표값에 시간값을 함께 비교 분석하여 객체의 자세유형을 판별하는 객체 실루엣을 이용한 자세유형 판별 시스템 및 그 동작방법을 제공한다.The present invention provides a posture type discrimination system using an object silhouette and an operation method for determining the posture type of an object by measuring a time value corresponding to a coordinate change of a key point and comparing and analyzing the time value with the coordinate value.

상기의 해결하고자 하는 과제를 위한 본 발명의 실시예에 따른 객체 실루엣을 이용한 자세유형 판별 시스템은, 객체를 촬영하여 2차원의 열영상을 생성하는 영상획득장치(100) 및 2차원의 열영상을 이용하여 객체의 자세유형을 판별하는 서버(200)를 포함하고, 상기 서버는, 상기 2차원의 열영상을 이용하여 객체 실루엣을 확보하고, 폴리건과 키 포인트를 이용하여 객체 실루엣의 형태를 학습하며, 객체 실루엣을 이용하여 3차원의 공간좌표를 생성하고, 객체를 식별하는 영상처리부(220); 상기 객체의 키 포인트별로 3차원의 좌표를 부여하고, 공간좌표에서 키 포인트의 좌표변화를 측정하는 측정부(230) 및 상기 측정부에서 측정된 좌표값의 변화를 분석하여 객체의 자세유형을 판별하는 판별부(240)를 포함하여, 상기 객체 실루엣을 통하여 객체의 프라이버시 보호를 제공하면서 자세유형을 판별하는 것을 특징으로 한다.A posture type discrimination system using an object silhouette according to an embodiment of the present invention for the above problem to be solved is an image acquisition device 100 that generates a two-dimensional thermal image by photographing an object and a two-dimensional thermal image. and a server 200 that determines the posture type of the object by using the two-dimensional thermal image, the server secures the object silhouette using the two-dimensional thermal image, and learns the shape of the object silhouette using polygons and key points. , an image processing unit 220 that generates three-dimensional space coordinates using an object silhouette and identifies the object; The measurement unit 230 assigns three-dimensional coordinates to each key point of the object and measures the coordinate change of the key point in spatial coordinates, and analyzes the change in the coordinate value measured by the measurement unit to determine the posture type of the object. Including a determination unit 240 to determine the posture type while providing privacy protection of the object through the object silhouette.

상기 측정부는 키 포인트의 좌표변화에 대응하는 시간값을 측정하고, 판별부는 좌표값에 시간값을 함께 비교 분석하여 객체의 자세유형을 판별하는 것을 특징으로 할 수 있다.The measurement unit may measure a time value corresponding to a coordinate change of a key point, and the determination unit may compare and analyze the time value with the coordinate value to determine the posture type of the object.

본 발명의 실시예에 따른 객체를 촬영하여 2차원의 열영상을 생성하는 영상획득장치 및 2차원의 열영상을 이용하여 객체의 자세유형을 판별하는 서버를 포함하는 객체 실루엣을 이용한 자세유형 판별 시스템의 동작방법은, 상기 2차원의 열영상을 이용하여 객체 실루엣을 확보하는 단계; 폴리건과 키 포인트를 이용하여 객체 실루엣의 형태를 학습하는 단계; 상기 객체 실루엣을 이용하여 3차원의 공간좌표를 생성하고, 객체를 식별하는 단계; 상기 객체의 키 포인트별로 3차원의 좌표를 부여하는 단계 및 상기 공간좌표에서 객체의 키 포인트에 대한 좌표변화를 분석하여 객체의 자세유형을 판별하는 단계를 포함하여, 상기 객체 실루엣을 통하여 객체의 프라이버시 보호를 제공하면서 자세유형을 판별하는 것을 특징으로 한다.Posture type determination system using object silhouettes including an image acquisition device generating a two-dimensional thermal image by photographing an object according to an embodiment of the present invention and a server for determining the posture type of an object using the two-dimensional thermal image The method of operation may include securing an object silhouette using the two-dimensional thermal image; Learning the shape of an object silhouette using polygons and key points; generating three-dimensional spatial coordinates using the object silhouette and identifying the object; The step of assigning three-dimensional coordinates for each key point of the object and determining the posture type of the object by analyzing the coordinate change for the key point of the object in the spatial coordinates, the privacy of the object through the object silhouette It is characterized by discriminating the posture type while providing protection.

본 발명은 객체 실루엣을 통하여 객체의 프라이버시 보호를 제공하면서 자세유형을 판별할 수 있고, 객체 이외의 부가정보의 노출을 차단하여 더욱 강력한 프라이버시 보호를 제공할 수 있다.The present invention can determine the posture type while providing privacy protection of the object through the object silhouette, and can provide more powerful privacy protection by blocking the exposure of additional information other than the object.

본 발명은 키 포인트의 좌표변화에 대응하는 시간값을 측정하고, 좌표값에 시간값을 함께 비교 분석하여 객체의 자세유형을 판별함으로써, 사고에 의한 넘어짐인지 또는 자의에 의한 누움인지 자세유형의 판별 정확도를 더욱 향상시킬 수 있고, 종래의 자세추정에 대한 오탐율을 감소시킬 수 있다.The present invention measures the time value corresponding to the coordinate change of the key point, compares and analyzes the time value with the coordinate value, and determines the posture type of the object, whether it is an accidental fall or voluntary lying down. Accuracy can be further improved, and false positive rates for conventional attitude estimation can be reduced.

도 1은 본 발명의 실시예에 따른 자세유형 판별 시스템을 도시한 블록도이다.
도 2는 도 1의 자세유형 판별 시스템을 더욱 상세하게 도시한 블록도이다.
도 3은 도 1의 서버를 더욱 상세하게 도시한 블록도이다.
도 4는 종래의 자세추정 방식을 설명하기 위한 예이다.
도 5는 종래의 자세추정 방식을 설명하기 위한 다른 예이다.
도 6은 본 발명의 자세유형 판별 방식을 설명하기 위한 예이다.
도 7은 종래와 본 발명의 자세유형 판별의 방식을 비교하기 위한 예이다.
도 8은 본 발명의 음성과 영상 분석을 이용하여 객체의 상황을 인식하는 방법을 설명하기 위한 예이다.
도 9는 열영상을 이용하여 객체의 자세유형을 판별하는 방법을 설명하기 위한 예이다.1 is a block diagram showing a posture type determination system according to an embodiment of the present invention.
FIG. 2 is a block diagram showing the posture type determination system of FIG. 1 in more detail.
FIG. 3 is a block diagram illustrating the server of FIG. 1 in more detail.
4 is an example for explaining a conventional posture estimation method.
5 is another example for explaining a conventional posture estimation method.
6 is an example for explaining the posture type determination method of the present invention.
7 is an example for comparing the posture type determination method of the prior art and the present invention.
8 is an example for explaining a method of recognizing a situation of an object using voice and video analysis according to the present invention.
9 is an example for explaining a method of determining a posture type of an object using a thermal image.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings and the contents described in the accompanying drawings, but the present invention is not limited or limited by the embodiments.

도 1은 본 발명의 실시예에 따른 자세유형 판별 시스템을 도시한 블록도로서, 자세유형 판별 시스템(10)은 영상획득장치(100), 서버(200) 및 단말기(300)를 포함한다. 영상획득장치(100)는 요양병원, 어린이 보호소 또는 가정집 등 다양한 환경에서 설치가 가능하고, 감시대상을 감시하기 위해 사용된다. 감시대상은 노인, 어린이 또는 장애인 등 사용목적에 따라 다양할 수 있다.1 is a block diagram showing a posture type determination system according to an embodiment of the present invention. The posture type determination system 10 includes an image capture device 100, a server 200, and a terminal 300. The image acquisition device 100 can be installed in various environments such as a nursing hospital, a children's shelter, or a home, and is used to monitor a subject to be monitored. Targets to be monitored may vary depending on the purpose of use, such as the elderly, children, or the disabled.

서버(200)는 영상획득장치(100)에서 촬영된 영상을 분석하여 감시대상을 모니터링하고, 감시대상의 이상행동 또는 낙상을 발견하면 단말기(300)에게 해당 이벤트정보를 전송한다. The server 200 analyzes the video captured by the image capture device 100 to monitor the monitoring target, and transmits corresponding event information to the terminal 300 when an abnormal behavior or fall of the monitoring target is detected.

단말기(300)의 사용자는 서버(200)에서 보내준 이벤트정보를 참조하여 감시대상의 상태를 체크할 수 있다. 단말기(300)는 스마트폰, 데스크톱 또는 랩탑일 수 있고, 통신이 가능한 다양한 장치일 수 있으며, 이에 한정하지 않는다.The user of the terminal 300 may check the state of the monitoring target by referring to the event information sent from the server 200 . The terminal 300 may be a smart phone, desktop, or laptop, and may be various devices capable of communication, but is not limited thereto.

도 2는 도 1의 자세유형 판별 시스템을 더욱 상세하게 도시한 블록도로서, 영상획득장치(100)는 영상을 촬영하기 위한 CCTV 및 녹화를 위한 NVR을 포함할 수 있다. 서버(200)는 NVR 연결을 제공하고, 영상 분석을 위한 소프트웨어를 포함할 수 있다.FIG. 2 is a block diagram showing the posture type determination system of FIG. 1 in more detail. The image capture device 100 may include a CCTV for capturing images and an NVR for recording. The server 200 may provide NVR connection and include software for image analysis.

도 3은 도 1의 서버를 더욱 상세하게 도시한 블록도로서, 서버(200)는 통신부(210), 영상처리부(220), 측정부(230), 판별부(240) 및 데이터베이스(250)를 포함한다.FIG. 3 is a block diagram showing the server of FIG. 1 in more detail. The server 200 includes a communication unit 210, an image processing unit 220, a measurement unit 230, a determination unit 240, and a database 250. include

통신부(210)는 객체를 촬영하는 영상획득장치(100)로부터 2차원의 영상을 수신한다. 영상처리부(220)는 2차원의 영상을 이용하여 3차원의 공간좌표를 생성하고, 객체를 식별한다.The communication unit 210 receives a 2D image from the image capture device 100 that captures an object. The image processing unit 220 generates 3-dimensional space coordinates using a 2-dimensional image and identifies an object.

본 발명은 단일 카메라 또는 다중 카메라를 활용하여 2차원의 영상을 3차원의 공간좌표로 생성할 수 있다. 단일 카메라를 이용한 공간좌표 생성은 카메라 제원을 통해 해당 카메라의 내/외부 파라미터 값과 해당 카메라로 촬영된 측정 지표를 이미지상 기준점을 결합하여 촬영된 공간 좌표를 생성할 수 있다.The present invention can generate a 2D image with 3D spatial coordinates using a single camera or multiple cameras. Spatial coordinate generation using a single camera can generate captured spatial coordinates by combining internal/external parameter values of the corresponding camera and measurement indices captured by the corresponding camera with reference points on an image through camera specifications.

다중 카메라를 이용한 공간좌표 생성은 각각의 카메라의 거리를 측정 후 이미지상에서 표현되는 객체에 대하여 카메라 간 거리를 이용한 삼각측정 방법을 이용하여 공간 좌표를 생성할 수 있다.Spatial coordinate generation using multiple cameras can generate spatial coordinates using a triangulation method using the distance between cameras for an object represented on an image after measuring the distance of each camera.

영상처리부(220)는 지도학습(supervised learning)을 기반으로 데이터베이스(250)에 저장된 학습데이터를 이용하여 2차원의 영상에 존재하는 객체를 식별할 수 있다. 지도학습은 학습데이터를 참조하여 학습자의 입력값에 대응하는 출력값을 찾는 방식The image processing unit 220 may identify an object existing in a 2D image using learning data stored in the database 250 based on supervised learning. Supervised learning is a method of finding an output value corresponding to a learner's input value by referring to learning data.

측정부(230)는 객체의 키 포인트별로 3차원의 좌표를 부여하고, 공간좌표에서 키 포인트의 좌표변화를 측정한다. 키 포인트(key point)는 영상에서 움직이고자 하는 객체의 주요한 지점을 의미하고, 예를 들어 머리, 어깨, 팔, 다리로 구분한다.The measurement unit 230 assigns three-dimensional coordinates to each key point of the object and measures a coordinate change of the key point in spatial coordinates. A key point means a main point of an object to be moved in an image, and is divided into, for example, a head, a shoulder, an arm, and a leg.

도 4는 종래의 자세추정 방식을 설명하기 위한 예이고, 도 5는 종래의 자세추정 방식을 설명하기 위한 다른 예로서, 종래에는 서있는 상태에서 넘어지는 상태로 전환되는 학습이미지를 학습하여 객체의 자세를 추정하였다. 그러나 종래에는 서있는 상태에서 넘어지는 상태변화 등 자세변화만 인식함으로써, 사고로 넘어지는 것인지 또는 눕기 위해 자의로 넘어지는 것인지 알아내기 어려운 문제점이 있다.Figure 4 is an example for explaining a conventional posture estimation method, and Figure 5 is another example for explaining a conventional posture estimation method. was estimated. However, in the prior art, there is a problem in that it is difficult to determine whether a person falls by accident or voluntarily falls to lie down by recognizing only a change in posture, such as a change in a state of falling from a standing state.

도 6은 본 발명의 자세유형 판별 방식을 설명하기 위한 예이고, 도 7은 종래와 본 발명의 자세유형 판별의 방식을 비교하기 위한 예로서, 본 발명은 종래의 문제점을 해결하기 위하여 측정부(230)는 객체의 키 포인트별로 3차원의 좌표를 부여하고, 공간좌표에서 키 포인트의 좌표변화를 측정한다. 또한 판별부(240)는 키 포인트의 좌표변화를 분석하여 객체의 자세유형을 판별한다.6 is an example for explaining the posture type determination method of the present invention, and FIG. 7 is an example for comparing the posture type determination method of the present invention and the conventional method. 230) assigns three-dimensional coordinates to each key point of the object, and measures the coordinate change of the key point in space coordinates. In addition, the determination unit 240 analyzes the coordinate change of the key point to determine the posture type of the object.

측정부(230)는 3차원 공간에서의 키 포인트 기반 자세유형 모델을 구현할 수 있고, 자세유형 모델로부터 얻게 된 3차원 위치적 자세 데이터를 기반으로 자세에 대한 전체적인 특징 및 각 관절 부위의 구체적 특성을 추출하여 3차원 메시(mesh)망 형태의 인체 모델을 추출할 수 있다.The measurement unit 230 may implement a key point-based posture type model in a 3-dimensional space, and based on the 3-dimensional positional posture data obtained from the posture type model, the overall characteristics of the posture and the specific characteristics of each joint part may be determined. By extracting, a human body model in the form of a 3D mesh may be extracted.

본 발명은 키 포인트를 공간좌표에 적용하여 객체의 자세유형을 판별함으로써, 객체의 자세유형의 판별 정확도를 향상시킬 수 있다.The present invention can improve the accuracy of determining the posture type of an object by determining the posture type of an object by applying key points to spatial coordinates.

측정부(230)는 공간좌표에서 키 포인트의 좌표변화에 대응하는 좌표값과 시간값을 포함하는 자세변화율을 측정할 수 있고, 판별부(240)는 자세변화율을 분석하여 객체의 자세유형을 판별할 수 있다. 판별부(240)는 자세변화율에 의한 자세유형을 판별하기 위해 데이터베이스에 저장된 학습데이터를 활용할 수 있다.The measurement unit 230 may measure a posture change rate including a coordinate value and a time value corresponding to a coordinate change of a key point in spatial coordinates, and the determination unit 240 analyzes the posture change rate to determine the posture type of the object. can do. The determination unit 240 may utilize learning data stored in a database to determine a posture type based on a posture change rate.

예를 들어 낙상으로 인한 사고에 의한 넘어짐은 좌표값 변화에 대응하여 시간값의 변화가 매우 작고, 자의로 인한 누움은 사고에 의한 넘어짐보다 시간값의 변화가 크므로, 판별부(240)는 자세변화율을 분석하여 객체의 누어있는 자세유형 중 누어있는 자세의 목적을 판별할 수 있다.For example, a fall due to an accident caused by a fall has a very small change in time value corresponding to a change in coordinate values, and a change in time value is larger than that in an accidental fall when lying down due to one's own will. By analyzing the rate of change, it is possible to determine the purpose of the lying posture among the types of lying postures of the object.

도 8은 본 발명의 음성과 영상 분석을 이용하여 객체의 상황을 인식하는 방법을 설명하기 위한 예로서, 영상획득장치(100)는 객체를 통하여 발생하는 음성을 인식하는 수단을 더 포함할 수 있고, 음성분석을 통하여 영상에 의한 객체의 자세유형을 판별하는 정확도를 더욱 향상시킬 수 있다.8 is an example for explaining a method for recognizing a situation of an object using voice and image analysis according to the present invention. The image capture device 100 may further include a means for recognizing voice generated through an object. , it is possible to further improve the accuracy of discriminating the posture type of an object by image through voice analysis.

도 9는 열영상을 이용하여 객체의 자세유형을 판별하는 방법을 설명하기 위한 예로서, 영상획득장치(100)는 객체를 촬영하여 2차원의 열영상을 생성하거나 실영상을 생성한다. 서버(200)는 영상획득장치(100)로부터 2차원의 열영상을 수신하면 열영상을 이용하여 객체의 자세유형을 판별한다.9 is an example for explaining a method of determining a posture type of an object using a thermal image, and the image capture device 100 photographs the object to generate a two-dimensional thermal image or a real image. When the server 200 receives the 2D thermal image from the image capture device 100, it determines the posture type of the object by using the thermal image.

영상획득장치(100)는 열영상을 촬영하기 위하여 열 센서 또는 열화상 카메라를 포함한다. 영상처리부(220)는 객체에서 발생하는 열로 인해 객체의 형상에 관한 실루엣을 확보할 수 있고, 열영상에서 열이 발생하지 않는 배경이 어두운 색으로 자연스럽게 표현되어 사생활에 관한 부가정보의 노출을 방지할 수 있다.The image acquisition device 100 includes a thermal sensor or a thermal imaging camera to capture a thermal image. The image processing unit 220 can secure a silhouette of the shape of the object due to heat generated from the object, and the background where no heat is generated in the thermal image is naturally expressed in a dark color to prevent exposure of additional information related to privacy. can

영상처리부(220)는 폴리건과 키 포인트를 이용하여 객체 실루엣의 형태를 학습하고, 객체 실루엣을 이용하여 3차원의 공간좌표를 생성하며, 객체를 식별한다.The image processing unit 220 learns the shape of an object silhouette using polygons and key points, generates three-dimensional spatial coordinates using the object silhouette, and identifies the object.

본 발명은 열감지에 의한 다수의 실루엣을 대상으로 학습도구를 이용하고, 영상 실루엣에 폴리건을 형성하여 학습 데이터를 분류하며, 열감지에 의한 다수의 실루엣을 대상으로 학습도구를 이용하여 영상 실루엣에 머리, 어깨, 무릎, 팔 등을 마킹하여 학습데이터를 분류하고, 딥러닝 기술을 이용하여 분류된 학습데이터를 학습시켜 영상처리부(220)에서 객체를 식별할 수 있도록 한다.The present invention uses a learning tool for a plurality of silhouettes by heat detection, classifies learning data by forming a polygon in an image silhouette, and uses a learning tool for a plurality of silhouettes by heat detection to determine the image silhouette. The head, shoulder, knee, arm, etc. are marked to classify the learning data, and the classified learning data is learned using deep learning technology so that the image processing unit 220 can identify the object.

측정부(230)는 객체의 키 포인트별로 3차원의 좌표를 부여하고, 공간좌표에서 키 포인트의 좌표변화를 측정한다.The measurement unit 230 assigns three-dimensional coordinates to each key point of the object and measures a coordinate change of the key point in spatial coordinates.

본 발명은 객체식별을 위한 학습데이터를 구축하기 위한 데이터 분류작에서 열 감지 실루엣을 학습도구를 이용하여 숙력된 분류자가 마킹하여 처리할 수 있고, 딥러닝 기술에 의해 학습된 정보를 이용하여 부위별로 키 포인트를 부여할 수 있다.In the present invention, in a data classification work for constructing learning data for object identification, a skilled classifier can mark and process a heat-sensing silhouette using a learning tool, and use information learned by deep learning technology for each part. Key points can be assigned.

판별부(240)는 측정부(230)에서 측정된 좌표값의 변화를 분석하여 객체의 자세유형을 판별한다. 본 발명은 객체 실루엣을 통하여 객체의 프라이버시 보호를 제공하면서 자세유형을 판별한다.The determination unit 240 analyzes the change in coordinate values measured by the measurement unit 230 to determine the posture type of the object. The present invention determines the posture type while providing privacy protection of the object through the object silhouette.

측정부(230)는 키 포인트의 좌표변화에 대응하는 시간값을 측정할 수 있고, 판별부(240)는 좌표값에 시간값을 함께 비교 분석하여 객체의 자세유형을 판별할 수 있다.The measurement unit 230 may measure the time value corresponding to the coordinate change of the key point, and the determination unit 240 may determine the posture type of the object by comparing and analyzing the time value with the coordinate value.

본 발명은 객체 실루엣을 통하여 객체의 프라이버시 보호를 제공하면서 자세유형을 판별할 수 있고, 객체 이외의 부가정보의 노출을 차단하여 더욱 강력한 프라이버시 보호를 제공할 수 있다.The present invention can determine the posture type while providing privacy protection of the object through the object silhouette, and can provide more powerful privacy protection by blocking the exposure of additional information other than the object.

본 발명은 키 포인트의 좌표변화에 대응하는 시간값을 측정하고, 좌표값에 시간값을 함께 비교 분석하여 객체의 자세유형을 판별함으로써, 사고에 의한 넘어짐인지 또는 자의에 의한 누움인지 자세유형의 판별 정확도를 더욱 향상시킬 수 있고, 종래의 자세추정에 대한 오탐율을 감소시킬 수 있다.The present invention measures the time value corresponding to the coordinate change of the key point, compares and analyzes the time value with the coordinate value, and determines the posture type of the object, whether it is an accidental fall or voluntary lying down. Accuracy can be further improved, and false positive rates for conventional attitude estimation can be reduced.

본 발명은 영상정보와 공간정보를 결합하고, 공간정보에서 객체의 키 포인트별 좌표를 부여함으로써, 자세유형 판별의 정확성을 향상시킬 수 있다.The present invention can improve the accuracy of determining the posture type by combining image information and spatial information and assigning coordinates for each key point of an object in the spatial information.

종래에는 자세추정에 의미를 부여하였지만, 본 발명은 자세추정에서 학습하기 어려운 자세변경의 이유나 목적을 키 포인트 변화에 의한 측정으로 알아내어 자세추정에 대한 오탐율을 감소시킬 수 있다. 예를 들어 본 발명은 객체의 누어있는 목적 이외에도 식사나 운동 형태에 대한 식별 등 형태식별의 목적으로 구분하여 학습을 제공할 수 있는 것이다.In the past, meaning was given to posture estimation, but the present invention can reduce the false positive rate for posture estimation by finding out the reason or purpose of posture change, which is difficult to learn in posture estimation, by measuring the key point change. For example, in the present invention, in addition to the purpose of lying down, learning can be provided by classifying objects for the purpose of type identification, such as identification of eating or exercise type.

제어부(290)는 학습데이터의 학습을 위한 모듈을 포함할 수 있고, 장소별로 복수의 영상획득장치(100)의 동작을 제어하거나 모니터링할 수 있으며, 영상획득장치(100) 또는 단말기(300) 별 사용자를 관리하여 관리정보를 생성할 수 있고, 관리정보를 데이터베이스(250)에 저장할 수 있다.The control unit 290 may include a module for learning learning data, and may control or monitor operations of a plurality of image capture devices 100 for each location, and for each image capture device 100 or terminal 300. Management information can be created by managing users, and management information can be stored in the database 250 .

10: 자세유형 판별 시스템 100: 영상획득장치
200: 서버 210: 통신부
220: 영상처리부 230: 측정부
240: 판별부 250: 데이터베이스
290: 제어부 300: 단말기10: posture type determination system 100: image acquisition device
200: server 210: communication unit
220: image processing unit 230: measuring unit
240: determination unit 250: database
290: control unit 300: terminal

Claims (3)

객체를 촬영하여 2차원의 열영상을 생성하는 영상획득장치(100) 및 2차원의 열영상을 이용하여 객체의 자세유형을 판별하는 서버(200)를 포함하고,
상기 서버는,
상기 2차원의 열영상을 이용하여 객체 실루엣을 확보하고, 폴리건과 키 포인트를 이용하여 객체 실루엣의 형태를 학습하며, 객체 실루엣을 이용하여 3차원의 공간좌표를 생성하고, 객체를 식별하는 영상처리부(220);
상기 객체의 키 포인트별로 3차원의 좌표를 부여하고, 공간좌표에서 키 포인트의 좌표변화를 측정하는 측정부(230) 및
상기 측정부에서 측정된 좌표값의 변화를 분석하여 객체의 자세유형을 판별하는 판별부(240)를 포함하여,
상기 객체 실루엣을 통하여 객체의 프라이버시 보호를 제공하면서 자세유형을 판별하는 것을 특징으로 하는 객체 실루엣을 이용한 자세유형 판별 시스템.It includes an image acquisition device 100 that captures an object and generates a two-dimensional thermal image, and a server 200 that determines the posture type of the object using the two-dimensional thermal image,
The server,
An image processing unit that secures an object silhouette using the 2D thermal image, learns the shape of the object silhouette using polygons and key points, creates 3D space coordinates using the object silhouette, and identifies the object. (220);
A measurement unit 230 that assigns three-dimensional coordinates to each key point of the object and measures the coordinate change of the key point in spatial coordinates; and
Including a determination unit 240 for determining the posture type of the object by analyzing the change in the coordinate value measured by the measurement unit,
A posture type determination system using an object silhouette, characterized in that the posture type is determined while providing privacy protection of the object through the object silhouette. 제1항에 있어서,
상기 측정부는 키 포인트의 좌표변화에 대응하는 시간값을 측정하고, 판별부는 좌표값에 시간값을 함께 비교 분석하여 객체의 자세유형을 판별하는 것을 특징으로 하는 객체 실루엣을 이용한 자세유형 판별 시스템.According to claim 1,
The measurement unit measures the time value corresponding to the coordinate change of the key point, and the determination unit compares and analyzes the time value with the coordinate value to determine the posture type of the object. 객체를 촬영하여 2차원의 열영상을 생성하는 영상획득장치 및 2차원의 열영상을 이용하여 객체의 자세유형을 판별하는 서버를 포함하는 객체 실루엣을 이용한 자세유형 판별 시스템의 동작방법에 있어서,
상기 2차원의 열영상을 이용하여 객체 실루엣을 확보하는 단계;
폴리건과 키 포인트를 이용하여 객체 실루엣의 형태를 학습하는 단계;
상기 객체 실루엣을 이용하여 3차원의 공간좌표를 생성하고, 객체를 식별하는 단계;
상기 객체의 키 포인트별로 3차원의 좌표를 부여하는 단계 및
상기 공간좌표에서 객체의 키 포인트에 대한 좌표변화를 분석하여 객체의 자세유형을 판별하는 단계를 포함하여,
상기 객체 실루엣을 통하여 객체의 프라이버시 보호를 제공하면서 자세유형을 판별하는 것을 특징으로 하는 객체 실루엣을 이용한 자세유형 판별 시스템의 동작방법.In the operating method of a posture type discrimination system using an object silhouette, including an image acquisition device for photographing an object and generating a two-dimensional thermal image, and a server for determining the posture type of an object using the two-dimensional thermal image,
securing an object silhouette using the two-dimensional thermal image;
Learning the shape of an object silhouette using polygons and key points;
generating three-dimensional spatial coordinates using the object silhouette and identifying the object;
assigning three-dimensional coordinates to each key point of the object; and
Including the step of determining the posture type of the object by analyzing the coordinate change for the key point of the object in the spatial coordinates,
A method of operating a posture type determination system using an object silhouette, characterized in that the posture type is determined while providing privacy protection of the object through the object silhouette.
KR1020210165467A 2021-11-26 2021-11-26 System for determining the posture type using object silhouette and operation method thereof KR20230078069A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210165467A KR20230078069A (en) 2021-11-26 2021-11-26 System for determining the posture type using object silhouette and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210165467A KR20230078069A (en) 2021-11-26 2021-11-26 System for determining the posture type using object silhouette and operation method thereof

Publications (1)

Publication Number Publication Date
KR20230078069A true KR20230078069A (en) 2023-06-02

Family

ID=86756037

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210165467A KR20230078069A (en) 2021-11-26 2021-11-26 System for determining the posture type using object silhouette and operation method thereof

Country Status (1)

Country Link
KR (1) KR20230078069A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101881391B1 (en) 2018-03-09 2018-07-25 한화에어로스페이스 주식회사 Apparatus for performing privacy masking by reflecting characteristic information of objects

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101881391B1 (en) 2018-03-09 2018-07-25 한화에어로스페이스 주식회사 Apparatus for performing privacy masking by reflecting characteristic information of objects

Similar Documents

Publication Publication Date Title
Zhang et al. A viewpoint-independent statistical method for fall detection
Kepski et al. Fall detection using ceiling-mounted 3d depth camera
US7831087B2 (en) Method for visual-based recognition of an object
JP5594672B2 (en) Object recognition apparatus and object recognition method
JP6590609B2 (en) Image analysis apparatus and image analysis method
JP4929828B2 (en) Three-dimensional authentication method, three-dimensional authentication device, and three-dimensional authentication program
EP3689236A1 (en) Posture estimation device, behavior estimation device, posture estimation program, and posture estimation method
CN109830078B (en) Intelligent behavior analysis method and intelligent behavior analysis equipment suitable for narrow space
JP6773829B2 (en) Object recognition device, object recognition method, and object recognition program
JP2012069133A (en) Solidity authenticating method, solidity authenticating apparatus, and solidity authenticating program
JP7151875B2 (en) Image processing device, image processing method, and program
JP2018156408A (en) Image recognizing and capturing apparatus
JP4507243B2 (en) Behavior analysis method and system
CN114359976A (en) Intelligent security method and device based on person identification
Abd et al. Human fall down recognition using coordinates key points skeleton
WO2023096394A1 (en) Server for determining posture type and operation method thereof
CN106970709A (en) A kind of 3D exchange methods and device based on holographic imaging
JP6773825B2 (en) Learning device, learning method, learning program, and object recognition device
CN111144260A (en) Detection method, device and system of crossing gate
KR20230078069A (en) System for determining the posture type using object silhouette and operation method thereof
JP2005250692A (en) Method for identifying object, method for identifying mobile object, program for identifying object, program for identifying mobile object, medium for recording program for identifying object, and medium for recording program for identifying traveling object
KR102546045B1 (en) monitering system with LiDAR for a body
Yuan et al. Fall detection and direction judgment based on posture estimation
Kwolek et al. Fall detection using kinect sensor and fall energy image
JP7152651B2 (en) Program, information processing device, and information processing method