KR102353387B1 - Deep Learning Artificial Intelligence Virus Heat Detection System - Google Patents

Deep Learning Artificial Intelligence Virus Heat Detection System Download PDF

Info

Publication number
KR102353387B1
KR102353387B1 KR1020200099498A KR20200099498A KR102353387B1 KR 102353387 B1 KR102353387 B1 KR 102353387B1 KR 1020200099498 A KR1020200099498 A KR 1020200099498A KR 20200099498 A KR20200099498 A KR 20200099498A KR 102353387 B1 KR102353387 B1 KR 102353387B1
Authority
KR
South Korea
Prior art keywords
deep learning
subject
unit
thermal
roi
Prior art date
Application number
KR1020200099498A
Other languages
Korean (ko)
Inventor
배동일
Original Assignee
주식회사 에프티에치코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프티에치코리아 filed Critical 주식회사 에프티에치코리아
Priority to KR1020200099498A priority Critical patent/KR102353387B1/en
Application granted granted Critical
Publication of KR102353387B1 publication Critical patent/KR102353387B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0008—Temperature signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A61B2560/0247—Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a deep learning artificial intelligence (AI)-based thermal virus detection system which comprises: a thermal imaging camera acquiring a thermal image from a subject; a temperature array extraction unit extracting temperature array information from the thermal image acquired from the thermal imaging camera; an imaging camera acquiring an image from the subject; a quantization unit quantizing the image acquired from the imaging camera; a region of interest (ROI) determination unit extracting an ROI point from information quantized in the quantization unit; a deep learning analysis unit using a deep learning algorithm from the temperature array information extracted from the temperature array extraction unit and the ROI points extracted from the ROI determination unit to analyze whether the subject is normal; and a control unit performing control to provide an analysis result by the deep learning analysis unit. According to the present invention, whether a subject is infected with a virus can be accurately determined through thermal and general images of the subject by deep learning and AI, correction data required for determining the gender and age of the subject and increasing accuracy of temperature array information for the subject can be provided, and the emotional state of the subject, whether the subject is wearing a mask, and the like can be accurately provided.

Description

딥러닝 인공 지능 바이러스 열 감지 시스템{Deep Learning Artificial Intelligence Virus Heat Detection System}Deep Learning Artificial Intelligence Virus Heat Detection System

본 발명은 바이러스 열 감지 시스템에 관한 것으로서, 보다 상세하게는 딥러닝 머신과 인공 지능에 의해 피검사자의 발열을 통한 바이러스 감염 여부를 판단하도록 하는 딥러닝 인공 지능 바이러스 열 감지 시스템에 관한 것이다.The present invention relates to a virus fever detection system, and more particularly, to a deep learning artificial intelligence virus fever detection system capable of determining whether a subject is infected with a virus through fever by a deep learning machine and artificial intelligence.

사스 바이러스, 메르스 바이러스, 코로나19 바이러스 등으로 인해 많은 사망자가 발생하였을 뿐만 아니라, 경제적으로도 많은 피해를 발생하였고, 특히 코로나19 바이러스는 현재에도 전세계적으로 감염자 수의 증가로 인해, 모든 인류에 대해서 공포가 이미 확산되고, 이로 인해 많은 고통을 겪고 있는 실정이다. Not only have many deaths occurred due to the SARS virus, MERS virus, and Corona 19 virus, but also a lot of economic damage has occurred. Fear has already spread, and many people are suffering from it.

이러한 바이러스의 확산시, 열화상 카메라에 대한 관심이 높아지고 있는데, 이는 열화상 카메라가 공공장소의 많은 사람들을 대상으로 비접촉식 방식을 통해 바이러스 감염 현상으로 인한 체온 상승 여부를 신속하고도 즉각적으로 확인할 수 있기 때문이다.As the virus spreads, interest in thermal imaging cameras is growing, which allows thermal imaging cameras to quickly and immediately check whether body temperature rises due to virus infection through a non-contact method for many people in public places. Because.

이와 같이, 발열 상태를 통한 바이러스 감염 여부 판단과 관련되는 종래 기술로는, 한국등록특허 제10-1729327호의 "듀얼 카메라를 이용한 체온 추적 모니터링 시스템"이 제시된 바 있는데, 이는 열화상카메라로 기 설정된 공간을 기 설정된 시간 동안 촬영하는 공간촬영단계; 상기 영화상카메라로 촬영한 영상 데이터를 데이터베이스에 저장하는 저장단계; 상기 영상 데이터에 기록된 온도 데이터를 분석하는 공간 제1 분석단계; 상기 온도 데이터를 초당 데이터로 분석하는 공간 제2 분석단계; 및 상기 초당 데이터에서 급격한 온도 변화를 감지하는 화점감지단계;를 포함한다. As such, as a prior art related to determining whether or not a virus is infected through a fever state, “a body temperature tracking monitoring system using a dual camera” of Korean Patent Registration No. 10-1729327 has been proposed, which is a space preset with a thermal imaging camera. A space shooting step of shooting for a preset time; a storage step of storing the image data captured by the movie camera in a database; a first spatial analysis step of analyzing the temperature data recorded in the image data; a second spatial analysis step of analyzing the temperature data as data per second; and a fire point detection step of detecting a sudden temperature change in the data per second.

그러나, 이와 같은 종래 기술은 바이러스 감염 여부를 정확하게 판단하는데 한계를 가지며, 바이러스 확산 방지를 통한 인명 보호와 경제적인 손실 방지를 위해 그 판단의 정확성을 개선시킬 필요성을 가지고 있었다.However, the prior art has a limit in accurately determining whether or not a virus is infected, and there is a need to improve the accuracy of the determination in order to protect human life and prevent economic loss through virus spread prevention.

상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 피검사자에 대한 열화상 및 일반 화상을 통한 피검사자에 대한 바이러스 감염 여부를 딥러닝 및 인공지능에 의하여, 정확하게 파악할 수 있도록 하고, 나아가서, 피검사자의 성별 및 나이의 판별, 피검사자에 대한 열온도 어레이 정보의 정확성 향상에 필요한 보정 데이터의 제공, 피검사자의 감정 상태 및 마스크 착용 여부 등을 정확하게 제공하도록 하는데 목적이 있다.In order to solve the problems of the prior art as described above, the present invention enables to accurately determine whether or not the subject is infected with a virus through a thermal image and a general image of the subject by deep learning and artificial intelligence, and furthermore, the subject The purpose of this is to accurately provide correction data necessary for determining the gender and age of the subject, improving the accuracy of thermal temperature array information for the subject, and accurately providing the emotional state of the subject and whether he is wearing a mask.

본 발명의 다른 목적들은 이하의 실시례에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.Other objects of the present invention will be easily understood through the description of the following embodiments.

상기한 바와 같은 목적을 달성하기 위해, 본 발명의 일측면에 따르면, 피검사자로부터 열화상을 획득하는 열화상카메라; 상기 열화상카메라로부터 획득되는 열화상으로부터 열온도 어레이 정보를 추출하는 열온도어레이추출부; 상기 피검사자로부터 영상을 획득하는 영상카메라; 상기 영상카메라로부터 획득되는 영상을 양자화하는 양자화실시부; 상기 양자화실시부에 양자화된 정보로부터 ROI(Region of Interest) 포인트를 추출하는 ROI판정부; 상기 열온도어레이추출부로부터 추출되는 열온도 어레이 정보와 상기 ROI판정부로부터 추출되는 ROI 포인트로부터 딥러닝 알고리즘을 이용하여, 피검사자에 대한 정상 여부를 분석하도록 하는 딥러닝분석부; 및 상기 딥러닝분석부에 의한 분석 결과를 제공하도록 제어하는 제어부;을 포함하는, 딥러닝 인공 지능 바이러스 열 감지 시스템이 제공된다In order to achieve the above object, according to an aspect of the present invention, a thermal imaging camera for acquiring a thermal image from a subject; a thermal temperature array extracting unit for extracting thermal temperature array information from the thermal image obtained from the thermal imaging camera; an imaging camera for acquiring an image from the subject; a quantization unit for quantizing the image obtained from the image camera; an ROI determination unit for extracting an ROI (Region of Interest) point from the quantized information in the quantization unit; a deep learning analysis unit for analyzing whether the subject is normal by using a deep learning algorithm from the thermal temperature array information extracted from the thermal temperature array extraction unit and the ROI points extracted from the ROI determination unit; and a control unit controlling to provide an analysis result by the deep learning analysis unit; including, a deep learning artificial intelligence virus fever detection system is provided

상기 딥러닝분석부는, 딥러닝 알고리즘에 의하여, 상기 열온도 어레이 정보로부터 상기 피검사자의 열 온도를 실시간으로 분석하고, 상기 ROI 포인트로부터 상기 피검사자의 성별 및 나이의 근사치를 판별하며, 상기 제어부는, 상기 열 온도의 실시간 분석 결과와 상기 성별 및 나이의 근사치를 제공하도록 하고, 상기 열온도 어레이 정보를 온도센서와의 연계에 의해 실제 온도값으로 보정할 수 있도록 하는 보정 데이터를 추출할 수 있다.The deep learning analysis unit, by a deep learning algorithm, analyzes the heat temperature of the subject from the heat temperature array information in real time, and determines an approximation of the sex and age of the subject from the ROI point, and the control unit, Correction data may be extracted to provide a real-time analysis result of heat temperature and an approximation of the sex and age, and to correct the heat temperature array information to an actual temperature value by linking with a temperature sensor.

상기 딥러닝분석부는, 딥러닝 알고리즘에 의하여, 상기 ROI 포인트로부터 얼굴 근육에 따른 감정 및 건강 상태를 판별하며, 상기 피검사자의 마스크 착용 여부를 판별하고, 상기 제어부는, 상기 감정 및 건강 상태와 마스크 착용 여부의 판별 결과를 제공하도록 할 수 있다.The deep learning analysis unit, by a deep learning algorithm, determines the emotional and health state according to the facial muscles from the ROI point, and determines whether the subject is wearing a mask, and the control unit, the emotional and health state and wearing a mask It may be possible to provide the determination result of whether or not

외부의 단말기와 통신을 수행하는 통신부를 더 포함하고, 상기 제어부는, 상기 분석 결과를 상기 통신부에 의한 통신을 통해서 정해진 단말기에 제공할 수 있다.Further comprising a communication unit for performing communication with an external terminal, the control unit may provide the analysis result to a predetermined terminal through communication by the communication unit.

본 발명에 따른 딥러닝 인공 지능 바이러스 열 감지 시스템에 의하면, 피검사자에 대한 열화상 및 일반 화상을 통한 피검사자에 대한 바이러스 감염 여부를 딥러닝 및 인공지능에 의하여, 정확하게 파악할 수 있고, 나아가서, 피검사자의 성별 및 나이의 판별, 피검사자에 대한 열온도 어레이 정보의 정확성 향상에 필요한 보정 데이터의 제공, 피검사자의 감정 상태 및 마스크 착용 여부 등을 정확하게 제공하도록 하는 효과를 가진다.According to the deep learning artificial intelligence virus fever detection system according to the present invention, it is possible to accurately determine whether or not a virus infection of a subject through a thermal image and a general image of the subject is through deep learning and artificial intelligence, and furthermore, the gender of the subject And it has the effect of accurately providing correction data necessary for determining the age, improving the accuracy of thermal temperature array information for the subject, and accurately providing the emotional state of the subject and whether he wears a mask.

도 1은 본 발명의 일 실시례에 따른 딥러닝 인공 지능 바이러스 열 감지 시스템을 도시한 구성도이다.
도 2는 본 발명의 일 실시례에 따른 딥러닝 인공 지능 바이러스 열 감지 시스템에 의한 디스플레이 화면을 나타낸 이미지이다.1 is a block diagram illustrating a deep learning artificial intelligence virus fever detection system according to an embodiment of the present invention.
2 is an image showing a display screen by a deep learning artificial intelligence virus fever detection system according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고, 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니고, 본 발명의 기술 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 식으로 이해되어야 하고, 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시례에 한정되는 것은 아니다. Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and it should be understood as including all changes, equivalents and substitutes included in the spirit and scope of the present invention, and may be modified in various other forms. and the scope of the present invention is not limited to the following examples.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시례를 상세히 설명하며, 도면 부호에 관계없이 동일하거나 대응하는 구성요소에 대해서는 동일한 참조 번호를 부여하고, 이에 대해 중복되는 설명을 생략하기로 한다.Hereinafter, an embodiment according to the present invention will be described in detail with reference to the accompanying drawings, and the same reference numbers are assigned to the same or corresponding components regardless of reference numerals, and redundant description thereof will be omitted.

도 1은 본 발명의 일 실시례에 따른 딥러닝 인공 지능 바이러스 열 감지 시스템을 도시한 구성도이고, 도 2는 본 발명의 일 실시례에 따른 딥러닝 인공 지능 바이러스 열 감지 시스템에 의한 디스플레이 화면을 나타낸 이미지이다.1 is a block diagram illustrating a deep learning artificial intelligence virus fever detection system according to an embodiment of the present invention, and FIG. 2 is a display screen by the deep learning artificial intelligence virus fever detection system according to an embodiment of the present invention. image shown.

도 1 및 도 2를 참조하면, 본 발명의 일 실시례에 따른 딥러닝 인공 지능 바이러스 열 감지 시스템(100)은 열화상카메라(11), 열온도어레이추출부(12), 화상카메라(13), 양자화실시부(14), ROI판정부(15), 딥러닝분석부(16) 및 제어부(17)를 포함할 수 있다.1 and 2, the deep learning artificial intelligence virus heat detection system 100 according to an embodiment of the present invention is a thermal imaging camera 11, thermal temperature array extraction unit 12, image camera 13 , a quantization implementation unit 14 , an ROI determination unit 15 , a deep learning analysis unit 16 , and a control unit 17 .

열화상카메라(11)는 피검사자로부터 열화상을 획득하도록 하는데, 예컨대 그리드 아이(Grid eye)나 적외선 센서 어레이가 사용될 수 있다.The thermal imaging camera 11 acquires a thermal image from a subject, for example, a grid eye or an infrared sensor array may be used.

열온도어레이추출부(12)는 열화상카메라(11)로부터 획득되는 열화상으로부터 열온도 어레이 정보를 추출하도록 하는데, 예컨대, 8X8의 64픽셀의 열온도 어레이 정보를 추출할 수 있으며, 반드시 이에 한하는 것은 아니며, 필요에 따라 픽셀수를 달리할 수 있다.The thermal temperature array extraction unit 12 extracts thermal temperature array information from the thermal image obtained from the thermal imaging camera 11, for example, it is possible to extract thermal temperature array information of 64 pixels of 8X8, and must be limited to this , and the number of pixels can be changed as needed.

영상카메라(13)는 피검사자로부터 영상을 획득하도록 한다. 영상카메라(13)는 예컨대 1/30sec 영상을 수지하고, 이를 통해 물체의 감지 역할을 수행할 수도 있다.The imaging camera 13 acquires an image from the subject. The video camera 13 may receive, for example, a 1/30 sec image, and may perform a role of detecting an object through this.

양자화실시부(14)는 영상카메라(13)로부터 획득되는 영상을 양자화한다. 양자화실시부(14)는 양자화(quantization)에 의해 아날로그 형태의 이미지 정보를 디지털화하고, 이를 통해 유의미한 정보를 획득할 수 있도록 하는데, 예컨대, 영상의 각 픽셀에서 변환한 전압값을 일정한 주기의 기준값에서 가장 근접한 디지털 값으로 매칭시키는 과정을 포함할 수 있다. The quantization unit 14 quantizes the image obtained from the image camera 13 . The quantization unit 14 digitizes analog image information by quantization, and through this, meaningful information can be obtained. For example, the voltage value converted in each pixel of the image is converted to a reference value of a certain period. It may include a process of matching with the closest digital value.

ROI판정부(15)는 양자화실시부(14)에 양자화된 정보로부터 ROI(Region of Interest) 포인트를 추출하도록 한다. ROI판정부(15)는 예컨대, 하러 기법을 활용하여 1/30sec당 실시간 화상 정보를 분석하여 주요 ROI를 추출할 수 있다. ROI판정부(15)는 양자화된 정보에서 관심을 가진 영역을 추출하도록 하는데, 예를 들어, ROI가 사각형 외에도 원형, 타원형, 불규칙형 등 여러 형태를 가질 수 있으며, ROI로 선택된 부분영역에 대한 각종 정보들을 추출시, 예를 들면 ROI의 면적, ROI 내의 화소값들 평균값 등이 이에 해당될 수 있으며, 특정한 조건을 만족하는 영역을 자동으로 추출하도록 구성될 수 있다.The ROI determination unit 15 causes the quantization performing unit 14 to extract an ROI (Region of Interest) point from the quantized information. The ROI determination unit 15 may extract a major ROI by, for example, analyzing real-time image information per 1/30 sec using the Harrer technique. The ROI determination unit 15 extracts a region of interest from the quantized information. For example, the ROI may have various shapes, such as a circle, an ellipse, and an irregular shape, in addition to a rectangle, and various When extracting information, for example, an area of an ROI, an average value of pixel values in the ROI, etc. may correspond to this, and may be configured to automatically extract an area satisfying a specific condition.

딥러닝분석부(16)는 열온도어레이추출부(12)로부터 추출되는 열온도 어레이 정보와 ROI판정부(15)로부터 추출되는 ROI 포인트로부터 딥러닝 알고리즘을 이용하여, 피검사자에 대한 정상 여부를 분석하도록 한다. 여기서 딥러닝 알고리즘은 공지된 다양한 기법이 적용될 수 있음은 물론이다. 딥러닝분석부(16)는 피검사자의 체온 상승 등에 대한 실시간 정보 분석을 위하여, 인공지능 ML-Tensor flow, 감정인식을 통한 보정치 결정, 열화상 분석을 통한 온도, ROI 추출 후 성별, 연령 분석, 종합정보 최종 결과 판정 등을 수행할 수 있다.The deep learning analysis unit 16 uses a deep learning algorithm from the thermal temperature array information extracted from the thermal temperature array extraction unit 12 and the ROI points extracted from the ROI determination unit 15 to analyze whether the subject is normal. let it do Here, it goes without saying that various well-known techniques can be applied to the deep learning algorithm. The deep learning analysis unit 16 analyzes real-time information on the body temperature rise of the subject, and the like. Information final result judgment and the like can be performed.

딥러닝분석부(16)는 딥러닝 알고리즘에 의하여, 열온도어레이출부(12)로부터 제공되는 열온도 어레이 정보로부터 피검사자의 열 온도를 실시간으로 분석하고, ROI판정부(15)로부터 제공되는 ROI 포인트로부터 피검사자의 성별 및 나이의 근사치를 판별할 수 있다. The deep learning analysis unit 16 analyzes the thermal temperature of the subject in real time from the thermal temperature array information provided from the thermal temperature array output unit 12 by the deep learning algorithm, and ROI points provided from the ROI determination unit 15 It is possible to determine the approximation of the subject's gender and age from

딥러닝분석부(16)는 딥러닝 알고리즘에 의하여, ROI판정부(15)로부터 제공되는 ROI 포인트로부터 얼굴 근육에 따른 감정 및 건강 상태를 판별하며, 피검사자의 마스크 착용 여부를 판별하도록 할 수 있다. 이때, 딥러닝분석부(16)는 얼굴 근육에서 69 포인트에 대하여 감정 검출과 건강 상태 파악을 수행할 수 있는데, 이를 통해 흥분, 슬픔, 어지러움 등의 기초 데이터로 활용할 수 있고, 화남, 놀라움, 슬픔, 기쁨, 일반, 의심, 즐거움 등을 분석하도록 할 수 있다. 또한 딥러닝분석부(16)는 성별, 연령, 열온도, 시간대 등 기준 정보를 딥러닝 엔진으로 전송하여 실시간 추가 학습을 실시하도록 구성될 수도 있다.The deep learning analysis unit 16 may determine the emotional and health status according to the facial muscles from the ROI points provided from the ROI determination unit 15 by the deep learning algorithm, and determine whether the subject is wearing a mask. At this time, the deep learning analysis unit 16 can perform emotion detection and health status identification for 69 points in the facial muscles, which can be used as basic data such as excitement, sadness, dizziness, and anger, surprise, sadness , pleasure, general, doubt, pleasure, etc. can be analyzed. In addition, the deep learning analysis unit 16 may be configured to perform real-time additional learning by transmitting reference information such as gender, age, heat temperature, time zone, etc. to the deep learning engine.

제어부(17)는 딥러닝분석부(16)에 의한 분석 결과를 제공하도록 제어한다. 제어부(17)는 알림성 정보 플러그 인(plugin), 사용자 정의 알림 표시 기능, 전체 세계 바이러스 현황 제공 기능, 한국 바이러스 현황 제공 기능, 기타 알림 광고 기능 등을 가질 수 있다. 또한 제어부(17)는 예컨대 단계별 정해진 동작을 수행하도록 제어할 수 있고, 나아가서 진행 상태의 파악을 통해 정해진 제어 과정이 단계적으로 수행되도록 할 수 있다.The control unit 17 controls to provide the analysis result by the deep learning analysis unit 16 . The control unit 17 may have a notification information plug-in, a user-defined notification display function, a function to provide the entire world virus status, a function to provide the status of the Korean virus, and other notification advertisement functions. In addition, the control unit 17 may, for example, perform a control to perform a predetermined operation step by step, and further, may allow a predetermined control process to be performed step by step through identification of a progress state.

제어부(17)는 딥러닝분석부(16)에 의해 제공되는 열 온도의 실시간 분석 결과와 성별 및 나이의 근사치를 외부에 제공하도록 하고, 열온도 어레이 정보를 온도센서와의 연계에 의해 실제 온도값으로 보정할 수 있도록 하는 보정 데이터를 추출하도록 한다. 이러한 보정 데이터의 추출을 위해, 열온도 어레이 정보에 대해서 온도센서를 사용하여 실측함으로써, 열온도 어레이 정보를 실제 온도로 보정하기 위한 데이터를 획득하게 되고, 이를 딥러닝분석부(16)에 제공한다. 딥러닝분석부(16)는 제어부(17)로부터 제공되는 보정 데이터를 통해서 열온도 어레이 정보를 매칭 및 보정하여, 실제 온도에 정해진 범위 내에 해당하도록 열온도 어레이 정보의 결과치를 가감하게 된다. The control unit 17 provides the real-time analysis result of the heat temperature provided by the deep learning analysis unit 16 and the approximation of gender and age to the outside, and the actual temperature value by linking the heat temperature array information with the temperature sensor to extract the correction data that can be corrected with In order to extract this correction data, by actually measuring the thermal temperature array information using a temperature sensor, data for correcting the thermal temperature array information to the actual temperature is obtained, and this is provided to the deep learning analysis unit 16 . The deep learning analysis unit 16 matches and corrects the thermal temperature array information through the correction data provided from the control unit 17, and adds or subtracts the result value of the thermal temperature array information to correspond to the actual temperature within a predetermined range.

제어부(17)는 딥러닝분석부(16)에 의한 감정 및 건강 상태와 마스크 착용 여부의 판별 결과를 제공하도록 한다.The control unit 17 provides the determination result of the emotion and health state and whether the mask is worn by the deep learning analysis unit 16 .

본 발명의 일 실시례에 따른 딥러닝 인공 지능 바이러스 열 감지 시스템(100)은 외부의 단말기(1)와 통신을 수행하는 통신부(18)가 부가적으로 마련될 수 있고, 제어부(17)의 제어에 의해, 결과물을 외부로 디스플레이하기 위한 디스플레이부(19)가 부가적으로 마련될 수 있다. 제어부(17)는 딥러닝분석부(16)에 의한 분석 결과를 통신부(18)에 의한 통신을 통해서 정해진 단말기(1)에 제공할 수 있다. 여기서, 통신부(18)는 외부의 단말기(1)와의 유선 또는 무선 등의 통신을 수행하기 위하여, Wi-Fi, 블루투스(Bluetooth), 지그비(Zigbee), RFID, UWB, WiHD, 3G, LTE, 5G, Wibro(Wireless Broadband) 등과 같은 다양한 통신방식이 사용될 수 있다. 단말기(1)는 스마트폰이나 태블릿 PC 뿐만 아니라, 노트북이나 데스크탑 등과 같이, 프로그램이나 어플리케이션 등의 구동에 의해 필요한 정보 처리를 수행하고, 무선 통신을 수행하도록 하는 다양한 정보처리 및 통신기기가 사용될 수 있다. 또한 단말기(1)는 본 발명에서 제공하는 서비스를 제공받기 위하여, 별도로 제공하는 어플리케이션이나 프로그램 등이 설치될 수 있으며, 제어부(17)가 요구하는 본인 인증이나 단말기(1) 인증 등의 절차를 수행할 수도 있다.In the deep learning artificial intelligence virus fever detection system 100 according to an embodiment of the present invention, a communication unit 18 that communicates with an external terminal 1 may be additionally provided, and the control unit 17 controls the Accordingly, the display unit 19 for externally displaying the result may be additionally provided. The control unit 17 may provide the analysis result by the deep learning analysis unit 16 to the terminal 1 determined through communication by the communication unit 18 . Here, the communication unit 18 performs wired or wireless communication with the external terminal 1, such as Wi-Fi, Bluetooth, Zigbee, RFID, UWB, WiHD, 3G, LTE, 5G. , various communication methods such as Wibro (Wireless Broadband) may be used. As the terminal 1, various information processing and communication devices that perform necessary information processing by driving a program or application, such as a laptop or desktop, as well as a smartphone or tablet PC, and perform wireless communication may be used. . In addition, in order to receive the service provided by the present invention, the terminal 1 may be installed with a separately provided application or program, and performs procedures such as user authentication or terminal 1 authentication required by the control unit 17 . You may.

이와 같은 본 발명에 따른 딥러닝 인공 지능 바이러스 열 감지 시스템에 따르면, 피검사자에 대한 열화상 및 일반 화상을 통한 피검사자에 대한 바이러스 감염 여부를 딥러닝 및 인공지능에 의하여, 정확하게 파악할 수 있다.According to the deep learning artificial intelligence virus fever detection system according to the present invention as described above, it is possible to accurately determine whether a subject is infected with a virus through a thermal image and a general image of the subject through deep learning and artificial intelligence.

또한 본 발명에 따르면, 나아가서, 피검사자의 성별 및 나이의 판별, 피검사자에 대한 열온도 어레이 정보의 정확성 향상에 필요한 보정 데이터의 제공, 피검사자의 감정 상태 및 마스크 착용 여부 등을 정확하게 제공할 수 있다.Further, according to the present invention, furthermore, it is possible to accurately provide correction data necessary for determining the sex and age of the subject, improving the accuracy of thermal temperature array information for the subject, and accurately providing the emotional state of the subject and whether he is wearing a mask.

이와 같이 본 발명에 대해서 첨부된 도면을 참조하여 설명하였으나, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시례에 한정되어서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이러한 특허청구범위와 균등한 것들에 의해 정해져야 한다.As described above, the present invention has been described with reference to the accompanying drawings, but it goes without saying that various modifications and variations can be made within the scope without departing from the technical spirit of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the claims described below as well as those claims and equivalents.

11 : 열화상카메라 12 : 열온도어레이추출부
13 : 화상카메라 14 : 양자화실시부
15 : ROI판정부 16 : 딥러닝분석부
17 : 제어부 18 : 통신부
19 : 디스플레이부11: thermal imaging camera 12: thermal temperature array extraction unit
13: image camera 14: quantization implementation unit
15: ROI determination unit 16: Deep learning analysis unit
17: control unit 18: communication unit
19: display unit

Claims (4)

피검사자로부터 열화상을 획득하는 열화상카메라;
상기 열화상카메라로부터 획득되는 열화상으로부터 열온도 어레이 정보를 추출하는 열온도어레이추출부;
상기 피검사자로부터 영상을 획득하는 영상카메라;
상기 영상카메라로부터 획득되는 영상을 양자화하는 양자화실시부;
상기 양자화실시부에 양자화된 정보로부터 ROI(Region of Interest) 포인트를 추출하는 ROI판정부;
상기 열온도어레이추출부로부터 추출되는 열온도 어레이 정보와 상기 ROI판정부로부터 추출되는 ROI 포인트로부터 딥러닝 알고리즘을 이용하여, 피검사자에 대한 정상 여부를 분석하도록 하는 딥러닝분석부; 및
상기 딥러닝분석부에 의한 분석 결과를 제공하도록 제어하는 제어부;
을 포함하고,
상기 딥러닝분석부는,
딥러닝 알고리즘에 의하여, 상기 열온도 어레이 정보로부터 상기 피검사자의 열 온도를 실시간으로 분석하고, 상기 ROI 포인트로부터 상기 피검사자의 성별 및 나이의 근사치를 판별하며,
상기 제어부는,
상기 열 온도의 실시간 분석 결과와 상기 성별 및 나이의 근사치를 제공하도록 하고, 상기 열온도 어레이 정보를 온도센서와의 연계에 의해 실제 온도값으로 보정할 수 있도록 하는 보정 데이터를 추출하는, 딥러닝 인공 지능 바이러스 열 감지 시스템.a thermal imaging camera that acquires thermal images from the subject;
a thermal temperature array extraction unit for extracting thermal temperature array information from the thermal image obtained from the thermal imaging camera;
an imaging camera for acquiring an image from the subject;
a quantization unit for quantizing the image obtained from the image camera;
an ROI determination unit for extracting an ROI (Region of Interest) point from the quantized information in the quantization unit;
a deep learning analysis unit for analyzing whether the subject is normal by using a deep learning algorithm from the thermal temperature array information extracted from the thermal temperature array extraction unit and the ROI points extracted from the ROI determination unit; and
a control unit for controlling to provide an analysis result by the deep learning analysis unit;
including,
The deep learning analysis unit,
By a deep learning algorithm, the thermal temperature of the subject is analyzed in real time from the thermal temperature array information, and an approximation of the sex and age of the subject is determined from the ROI point,
The control unit is
Deep learning artificial intelligence that extracts correction data to provide real-time analysis results of the thermal temperature and an approximation of the gender and age, and to correct the thermal temperature array information to an actual temperature value by linking with a temperature sensor Intelligent virus fever detection system. 삭제delete 청구항 1에 있어서,
상기 딥러닝분석부는,
딥러닝 알고리즘에 의하여, 상기 ROI 포인트로부터 얼굴 근육에 따른 감정 및 건강 상태를 판별하며, 상기 피검사자의 마스크 착용 여부를 판별하고,
상기 제어부는,
상기 감정 및 건강 상태와 마스크 착용 여부의 판별 결과를 제공하도록 하는, 딥러닝 인공 지능 바이러스 열 감지 시스템.The method according to claim 1,
The deep learning analysis unit,
By the deep learning algorithm, the emotion and health state according to the facial muscles are determined from the ROI point, and whether the subject wears a mask,
The control unit is
Deep learning artificial intelligence virus fever detection system to provide the determination result of the emotional and health state and whether to wear a mask. 청구항 1 또는 청구항 3 에 있어서,
외부의 단말기와 통신을 수행하는 통신부를 더 포함하고,
상기 제어부는,
상기 분석 결과를 상기 통신부에 의한 통신을 통해서 정해진 단말기에 제공하는, 딥러닝 인공 지능 바이러스 열 감지 시스템.4. The method according to claim 1 or 3,
Further comprising a communication unit for performing communication with an external terminal,
The control unit is
A deep learning artificial intelligence virus fever detection system that provides the analysis result to a predetermined terminal through communication by the communication unit.
KR1020200099498A 2020-08-07 2020-08-07 Deep Learning Artificial Intelligence Virus Heat Detection System KR102353387B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200099498A KR102353387B1 (en) 2020-08-07 2020-08-07 Deep Learning Artificial Intelligence Virus Heat Detection System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200099498A KR102353387B1 (en) 2020-08-07 2020-08-07 Deep Learning Artificial Intelligence Virus Heat Detection System

Publications (1)

Publication Number Publication Date
KR102353387B1 true KR102353387B1 (en) 2022-01-19

Family

ID=80052608

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200099498A KR102353387B1 (en) 2020-08-07 2020-08-07 Deep Learning Artificial Intelligence Virus Heat Detection System

Country Status (1)

Country Link
KR (1) KR102353387B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180123900A (en) * 2017-05-10 2018-11-20 수원대학교산학협력단 Method and apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner
KR20190070432A (en) * 2017-12-13 2019-06-21 (주)엔텔스 Disease diagnosis method and system based on artificial intelligence analyzing image data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180123900A (en) * 2017-05-10 2018-11-20 수원대학교산학협력단 Method and apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner
KR20190070432A (en) * 2017-12-13 2019-06-21 (주)엔텔스 Disease diagnosis method and system based on artificial intelligence analyzing image data

Similar Documents

Publication Publication Date Title
JP7083809B2 (en) Systems and methods for identifying and / or identifying and / or pain, fatigue, mood, and intent with privacy protection
KR101806400B1 (en) A surveillance system for body heat by the dual camera using the black body
JP6715152B2 (en) Care information acquisition method, care information sharing method and electronic device for these methods
US9839375B2 (en) Device and method for processing data derivable from remotely detected electromagnetic radiation
JP6544244B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
KR102469720B1 (en) Electronic device and method for determining hyperemia grade of eye using the same
US11004214B2 (en) Image processing apparatus, image processing method, and storage medium
CN111626210B (en) Personnel dressing detection method, processing terminal and storage medium
CN107169419B (en) Non-contact human body sign detection method and device based on machine vision
US20150157243A1 (en) Health state determining method and apparatus using facial image
US11188770B2 (en) Detecting device, detecting method, and recording medium
KR101644843B1 (en) Analyses of condition based on the peculiarity of face temperature distribution
JP2011165008A (en) Image recognition apparatus and method
KR101952804B1 (en) Emotion recognition interface apparatus
US20220346651A1 (en) Diseased person distinguishing device and diseased person distinguishing system
TW202023467A (en) Pre-processing method and storage device for quantitative analysis of fundus image
JPWO2018078857A1 (en) Gaze estimation apparatus, gaze estimation method, and program recording medium
KR102609461B1 (en) Imaging device, apparatus and method for managing of fowl comprising the same
CN107148237B (en) Information processing apparatus, information processing method, and program
CN114698399A (en) Face recognition method and device and readable storage medium
KR102353387B1 (en) Deep Learning Artificial Intelligence Virus Heat Detection System
Singh et al. Computer aided face liveness detection with facial thermography
CN112488647A (en) Attendance system and method, storage medium and electronic equipment
KR20210025847A (en) Mirror display apparatus for providing health care service through facial condition diagnosis, and the operation method thereof
Chin et al. Skin condition detection of smartphone face image using multi-feature decision method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant