RU2737138C1 - System and method for human body temperature monitoring based on video data - Google Patents

Abstract

FIELD: computer engineering.

SUBSTANCE: invention relates to computer engineering for video monitoring. Human body temperature monitoring system based on video data has memory containing photos of people's faces, a data processing device, several video cameras, each of which contains a conventional lens and a thermal imaging lens. Video cameras are configured to receive video data from the video camera view region using a conventional lens, determining the face area of each person in the frame and automatically selecting this face area with a face frame, by means of a thermal imaging lens determining the temperature of each person in the selected area of the face, sewing face frames and temperature values in each frame of video data, on which there is at least one person, forming metadata. Data processing device is configured to receive video data in real time from video cameras, with selected people faces and displayed temperature indicators near each selected person, and corresponding metadata.

EFFECT: technical result consists in improvement of accuracy of human body temperature monitoring process, which contributes to overall safety.

34 cl, 4 dwg

Description

Настоящее изобретение относится к области видеонаблюдения, а более конкретно к системам и способам обработки видеоданных и тепловизионных данных, полученных от видеокамер, для контроля температуры тела людей в кадре.The present invention relates to the field of video surveillance, and more specifically to systems and methods for processing video data and thermal imaging data obtained from video cameras for monitoring the body temperature of people in the frame.

УРОВЕНЬ ТЕХНИКИLEVEL OF TECHNOLOGY

В связи с возникновением в мире эпидемиологической ситуации, с недавнего времени возник повышенный спрос на системы безопасности и контроля, которые позволяют определять бесконтактным способом температуру тела людей. Наиболее актуальна эта задача для мест массового скопления людей (например, в метро, больницах, аэропортах, торговых центрах, на проходных и т.д.). Очевидно, что использование стандартных бесконтактных термометров в местах большого скопления людей является не удобным способом определения температуры. Таким образом, необходимо решение, позволяющее более быстро, но при этом без прямого взаимодействия с людьми, определять и контролировать их температуру.In connection with the emergence of an epidemiological situation in the world, recently there has been an increased demand for security and control systems that make it possible to determine the body temperature of people in a non-contact way. This task is most relevant for crowded places (for example, in the subway, hospitals, airports, shopping centers, checkpoints, etc.). Obviously, using standard non-contact thermometers in crowded places is not a convenient way to measure temperature. Thus, a solution is needed that allows more quickly, but without direct interaction with people, to determine and control their temperature.

Для контроля и обеспечения безопасности на охраняемой территории чаще всего используются системы видеонаблюдения. Под видеосистемами в контексте данной заявки подразумеваются программно-аппаратные средства, использующие методы компьютерного зрения для автоматизированного сбора данных на основании анализа потокового видео (видеоанализа). Такие видеосистемы опираются на алгоритмы обработки изображений, в том числе на алгоритмы распознавания, сегментации, классификации и идентификации изображений, позволяющие анализировать видео без прямого участия человека. Кроме того, современные видеосистемы позволяют автоматически анализировать видеоданные с камер и сопоставлять указанные данные с данными, имеющимися в базе данных. Помимо прочего, современные системы видеонаблюдения могут включать в себя как обычные видеокамеры, так и тепловизионные камеры.Video surveillance systems are most often used to control and ensure security in the protected area. In the context of this application, video systems mean software and hardware using computer vision methods for automated data collection based on analysis of streaming video (video analysis). Such video systems rely on image processing algorithms, including algorithms for recognition, segmentation, classification and identification of images, which allow video analysis without direct human intervention. In addition, modern video systems allow you to automatically analyze video data from cameras and compare the specified data with the data available in the database. Among other things, modern video surveillance systems can include both conventional video cameras and thermal imaging cameras.

Из уровня техники известно решение, раскрытое в патенте US 9521335 В2, H04N 5/33, опубл. 13.12.2016, в котором раскрыты различные варианты реализации способа обнаружения фебрильного приступа с использованием теплового видеоустройства. Способ включает такие этапы, как: прием видео, содержащего последовательные по времени кадры тепловых изображений контролируемого субъекта, причем указанное видео получено тепловой видеосистемой, а каждое тепловое изображение при этом содержит множество пикселей, причем значение интенсивности каждого пикселя соответствует температуре поверхности; обработка тепловых изображений для определения возникновения фебрильного приступа, причем указанная обработка включает в себя: выделение пикселей, связанных, по меньшей мере, с одной областью интереса; определение температуры для субъекта на основе значений упомянутых пикселей, расположенных в упомянутой области интереса; определение скорости изменения температуры указанного субъекта; и в ответ на указанную скорость изменения, превышающую пороговый уровень, определяют, что у указанного субъекта наблюдается приступ.From the prior art, a solution is known, disclosed in US patent 9521335 B2, H04N 5/33, publ. 12/13/2016, which discloses various options for implementing a method for detecting a febrile attack using a thermal video device. The method includes such steps as: receiving a video containing time-series frames of thermal images of a controlled subject, said video being obtained by a thermal video system, and each thermal image contains a plurality of pixels, and the intensity value of each pixel corresponds to the surface temperature; processing thermal images to determine the occurrence of a febrile seizure, and the specified processing includes: highlighting pixels associated with at least one region of interest; determining a temperature for a subject based on the values of said pixels located in said region of interest; determining the rate of change in temperature of the specified subject; and in response to said rate of change exceeding a threshold level, it is determined that said subject has a seizure.

Известное решение значительно отличается от заявляемого нами решения, поскольку характеризует обработку только тепловых изображений, без сопоставления с видеорядом. При этом такое решение настроено на мониторинг температуры и скорости ее изменения только у одного контролируемого субъекта в кадре.The known solution differs significantly from our proposed solution, since it characterizes the processing of only thermal images, without comparison with the video sequence. Moreover, such a solution is configured to monitor the temperature and the rate of its change in only one controlled subject in the frame.

Наиболее близким по технической сущности к заявляемому нами решению является известное из уровня техники решение, раскрытое в международной заявке WO 2014/012070 A1, А61В 5/01, опубл. 16.01.2014, в которой описаны варианты систем и способов, использующих тепловидение для наблюдения за младенцем или любыми другими людьми, которые могут нуждаться в наблюдении. Известная система мониторинга содержит: модуль инфракрасной визуализации, содержащий матрицу фокальной плоскости (FPA), сконфигурированную для захвата тепловых изображений сцены в пределах поля зрения (FOV) модуля инфракрасной визуализации; корпус, по существу закрывающий модуль формирования инфракрасного изображения и выполненный с возможностью размещения так, чтобы, по меньшей мере, часть ребенка располагалась в поле зрения; и процессор, связанный с модулем формирования инфракрасного изображения, причем процессор сконфигурирован для анализа тепловых изображений, чтобы генерировать информацию мониторинга, касающуюся младенца. При этом в одном из частных вариантов процессор дополнительно выполнен с возможностью: анализировать тепловые изображения для определения температуры тела младенца, определять, является ли температура тела младенца нормальной, и генерировать сигнал тревоги при определении, что температура тела младенца не находится в пределах нормы. Причем информация мониторинга в этом случае включает в себя температуру тела младенца и/или сигнал тревоги.The closest in technical essence to the claimed solution is the solution known from the prior art, disclosed in the international application WO 2014/012070 A1, A61B 5/01, publ. 01/16/2014, which describes options for systems and methods that use thermal imaging to monitor an infant or any other people who may need monitoring. The known monitoring system comprises: an infrared imaging module containing a focal plane array (FPA) configured to capture thermal images of a scene within the field of view (FOV) of the infrared imaging module; a housing substantially covering the infrared imaging module and configured to be positioned such that at least a portion of the child is within the field of view; and a processor associated with the infrared imaging module, the processor being configured to analyze thermal imaging to generate monitoring information regarding the infant. In this case, in one of the particular variants, the processor is additionally configured to: analyze thermal images to determine the infant's body temperature, determine whether the infant's body temperature is normal, and generate an alarm signal when determining that the infant's body temperature is not within the normal range. Moreover, the monitoring information in this case includes the baby's body temperature and / or an alarm signal.

Данное решение позволяет контролировать температуру тела человека и записывать информацию мониторинга. Однако известное решение существенно отличается от заявляемого нами решения как минимум основными этапами обработки данных. Следует также отметить, что в данном решении производится обработка только инфракрасных изображений. При этом выполняется контроль за одним известным человеком.This solution allows you to control the body temperature of a person and record monitoring information. However, the known solution differs significantly from our proposed solution at least in the main stages of data processing. It should also be noted that this solution only processes infrared images. In this case, control is carried out over one famous person.

Что касается заявляемого нами решения, то в настоящее время практически все предприятия или организации оснащены средствами для видеонаблюдения. Для обеспечения контроля температуры тела людей необходимо лишь дополнительно иметь тепловизионные устройсва, например, тепловизоры или тепловизионные видеокамеры. Наше решение главным образом направлено на упрощение, ускорение и повышение точности процесса контроля температуры тела людей, что способствует обеспечению всеобщей безопасности. Кроме того, заявляемое нами решение, а также получаемые с помощью его использования данные температуры людей, могут быть использованы в системах контроля и управления доступом.With regard to the proposed solution, at present, almost all enterprises or organizations are equipped with video surveillance equipment. To ensure control of the body temperature of people, it is only necessary to have additional thermal imaging devices, for example, thermal imagers or thermal imaging video cameras. Our solution is primarily focused on making it easier, faster and more accurate to monitor people's body temperature to help ensure everyone's safety. In addition, the proposed solution, as well as the temperature data of people obtained through its use, can be used in access control and management systems.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯDISCLOSURE OF THE INVENTION

Заявляемое техническое решение направлено на устранение недостатков, присущих предшествующему уровню техники и на развитие уже известных решений.The claimed technical solution is aimed at eliminating the disadvantages inherent in the prior art and at developing already known solutions.

Техническим результатом заявленной группы изобретений является обеспечение контроля температуры тела людей по данным, полученным от видеокамер.The technical result of the claimed group of inventions is to ensure control of the body temperature of people according to the data obtained from video cameras.

Данный технический результат достигается тем, что система контроля температуры тела людей по видеоданным содержит: память, сконфигурированную для хранения базы данных, содержащей по меньшей мере фотографии лиц людей, а также для хранения видеоданных и соответствующих им метаданных; по меньшей мере, одно устройство обработки данных; несколько видеокамер, каждая из которых содержит обычный объектив и тепловизионный объектив, при этом упомянутые видеокамеры сконфигурированы для выполнения по меньшей мере следующих этапов: получения посредством обычного объектива видеоданных из области зрения видеокамеры, определения области лица каждого человека в кадре и автоматического выделения этой области лица рамкой лица; определения посредством тепловизионного объектива показателя температуры каждого человека в выделенной области лица; вшивания рамок лица и показателей температуры в каждый кадр видеоданных, на котором присутствует по меньшей мере один человек; формирования метаданных, которые содержат для каждого обнаруженного лица человека координаты одной рамки лица, время выделения упомянутой рамкой лица человека в кадре и его температуру, причем упомянутые метаданные соответствуют моменту появления человека в области зрения видеокамеры; при этом по меньшей мере одно устройство обработки данных сконфигурировано с возможностью выполнения следующих этапов: получения в режиме реального времени от упомянутых видеокамер видеоданных, с выделенными лицами людей и отображаемыми показателями температур рядом с каждым выделенным лицом человека, и соответствующих им метаданных; определения из полученных видеоданных по меньшей мере одного изображения лица человека на основании координат рамки лица и данных о времени, причем определяется изображение того лица человека, которое располагается ближе всего к упомянутой рамке лица; сохранения показателя температуры, соответствующего на основании полученных видеоданных и метаданных упомянутому изображению лица человека, в базе данных вместе с изображением лица этого человека.This technical result is achieved by the fact that the system for monitoring the body temperature of people by video data contains: memory configured to store a database containing at least photographs of people's faces, as well as to store video data and their corresponding metadata; at least one data processing device; several video cameras, each of which contains a conventional lens and a thermal imaging lens, while said video cameras are configured to perform at least the following steps: obtaining video data from the video camera's field of view by means of a conventional lens, determining the face area of each person in the frame and automatically selecting this face area with a frame faces; determining by means of a thermal imaging lens an indicator of the temperature of each person in the selected area of the face; stitching face frames and temperature indicators into each frame of video data in which at least one person is present; generating metadata, which contains for each detected human face the coordinates of one face frame, the time of selection by the said frame of a person's face in the frame and its temperature, said metadata corresponding to the moment a person appears in the video camera's field of view; wherein at least one data processing device is configured to perform the following steps: receiving in real time from said video cameras video data, with selected people's faces and displayed temperature indicators next to each selected person's face, and their corresponding metadata; determining from the obtained video data at least one image of a person's face based on the coordinates of the face frame and the time data, wherein the image of the person's face that is closest to said face frame is determined; storing the temperature index corresponding to the said image of a person's face on the basis of the obtained video data and metadata in the database together with the image of this person's face.

Указанный технический результат также достигается за счет способа контроля температуры тела людей по видеоданным, реализуемого вычислительной системой, включающей в себя, по меньшей мере, устройство обработки данных, память, хранящую базу данных, и несколько видеокамер, каждая из которых содержит обычный объектив и тепловизионный объектив, при этом способ содержит этапы, на которых выполняется: получение каждой видеокамерой посредством обычного объектива видеоданных из своей области зрения, определение области лица каждого человека в кадре и автоматическое выделение этой области лица рамкой лица; определение посредством тепловизионного объектива показателя температуры каждого человека в выделенной области лица; вшивание рамок лица и показателей температуры в каждый кадр видеоданных, на котором присутствует по меньшей мере один человек; формирование метаданных, которые содержат для каждого обнаруженного лица человека координаты одной рамки лица, время выделения упомянутой рамкой лица человека в кадре и его температуру, причем упомянутые метаданные соответствуют моменту появления человека в области зрения видеокамеры; получение в режиме реального времени от упомянутых видеокамер по меньшей мере одним устройством обработки данных видеоданных, с выделенными лицами людей и отображаемыми показателями температур рядом с каждым выделенным лицом человека, и соответствующих им метаданных, содержащих координаты каждой рамки лица, время и показатели температур людей в каждом кадре; определение из полученных видеоданных по меньшей мере одного изображения лица человека на основании координат рамки лица и данных о времени, причем определяется изображение того лица человека, которое располагается ближе всего к упомянутой рамке лица; сохранение показателя температуры, соответствующего на основании полученных видеоданных и метаданных упомянутому изображению лица человека, в базе данных вместе с изображением лица этого человека.The specified technical result is also achieved due to the method of monitoring the body temperature of people using video data, implemented by a computing system that includes at least a data processing device, a memory storing a database, and several video cameras, each of which contains a conventional lens and a thermal imaging lens wherein the method comprises the steps of: receiving by each video camera through a conventional lens of video data from its area of vision, determining the area of the face of each person in the frame and automatically highlighting this area of the face with a face frame; determination by means of a thermal imaging lens of the temperature index of each person in the selected area of the face; stitching face frames and temperature readings into each frame of video data in which at least one person is present; formation of metadata, which contains for each detected human face coordinates of one face frame, the time of selection by the said frame of a person's face in the frame and its temperature, said metadata corresponding to the moment a person appears in the video camera's field of view; receiving in real time from said video cameras at least one video data processing device, with highlighted people's faces and displayed temperature indicators next to each highlighted human face, and their corresponding metadata containing the coordinates of each face frame, time and temperature indicators of people in each frame; determining from the obtained video data at least one image of a person's face based on the coordinates of the face frame and the time data, wherein the image of that person's face that is located closest to said face frame is determined; storing the temperature index corresponding to the said image of a person's face on the basis of the obtained video data and metadata in a database together with the image of this person's face.

В одном частном варианте заявленного решения дополнительно выполняется отображение на экране в режиме реального времени видеоданных с рамками лица и показателями температур каждого человека в кадре.In one particular version of the claimed solution, video data is additionally displayed on the screen in real time with face frames and temperature indicators of each person in the frame.

В другом частном варианте заявленного решения устройство обработки данных дополнительно осуществляет идентификацию личности человека, представленного на определенном изображении лица человека, путем сравнения полученного изображения лица человека с фотографиями лиц людей из базы данных и определения его идентификационных данных, причем упомянутая идентификация осуществляется посредством использования искусственной нейронной сети (ИНС), при этом показатель температуры, соответствующий упомянутому изображению лица человека, сохраняется в базе данных вместе с изображением лица этого человека и его идентификационными данными.In another particular version of the claimed solution, the data processing device additionally identifies the identity of a person represented on a certain image of a person's face by comparing the resulting image of a person's face with photographs of people's faces from a database and determining its identification data, and said identification is carried out using an artificial neural network (ANN), while the temperature index corresponding to the said image of a person's face is stored in the database along with the image of this person's face and his identification data.

Еще в одном частном варианте заявленного решения по меньшей мере одно устройство обработки данных дополнительно автоматически осуществляет предоставление доступа или запрет доступа в определенную зону контроля на основании выполнения предварительно заданных пользователем системы условий.In yet another particular embodiment of the claimed solution, at least one data processing device additionally automatically provides access or denies access to a certain control area based on the fulfillment of conditions predefined by the user of the system.

В другом частном варианте заявленного решения упомянутыми предварительно заданными условиями является, по меньшей мере, одно или любая комбинация из: соответствие результата проверки карты доступа человека; соответствие введенного пин-кода или пароля; соответствие результата распознавания лица человека; показатель температуры человека не превышает предварительно заданного порогового значения; соответствие результата распознавания голоса человека; наличие необходимых средств индивидуальной защиты (СИЗ) на человеке для данной зоны контроля.In another particular embodiment of the claimed solution, said predetermined conditions are at least one or any combination of: matching the result of checking the person's access card; compliance of the entered PIN code or password; matching the result of human face recognition; the human temperature indicator does not exceed a predetermined threshold value; matching the result of human voice recognition; the presence of the necessary personal protective equipment (PPE) on a person for this control area.

Еще в одном частном варианте заявленного решения если одно из предварительно заданных пользователем системы условий не выполняется, то устройство обработки данных автоматически отправляет запрос к сотруднику безопасности.In another particular embodiment of the claimed solution, if one of the conditions predefined by the user of the system is not met, the data processing device automatically sends a request to the security officer.

В другом частном варианте заявленного решения если одно из предварительно заданных пользователем системы условий не выполняется, то устройство обработки данных автоматически осуществляет по меньшей мере одно или комбинацию из предварительно заданных пользователем действий, таких как: блокировка карты доступа человека; инициирование тревоги; оповещение сотрудника безопасности; оповещение предварительно заданного человека по sms или по электронной почте; формирование отчета о нарушении.In another particular embodiment of the claimed solution, if one of the conditions preset by the user of the system is not met, then the data processing device automatically performs at least one or a combination of actions preset by the user, such as: blocking a person's access card; initiation of an alarm; notification of the security officer; notification of a pre-specified person by sms or email; generation of a violation report.

А еще в одном частном варианте заявленного решения устройство обработки данных по полученным данным за заданный пользователем интервал времени или же с предварительно заданной пользователем периодичностью по архивным данным формирует отчет в виде таблицы, содержащий данные о каждом конкретном человеке и о его показателях температуры.And in yet another particular embodiment of the claimed solution, the data processing device, based on the data received for a time interval specified by the user, or with a preset user frequency, according to the archived data, generates a report in the form of a table containing data about each specific person and his temperature indicators.

Помимо указанного выше, данный технический результат также достигается за счет считываемого компьютером носителя данных, содержащего исполняемые процессором компьютера инструкции для осуществления способов контроля температуры тела людей по видеоданным.In addition to the above, this technical result is also achieved due to a computer-readable storage medium containing instructions executed by a computer processor for implementing methods for monitoring the body temperature of people using video data.

Указанный выше технический результат также достигается тем, что альтернативная система контроля температуры тела людей по видеоданным содержит: память, сконфигурированную для хранения базы данных, содержащей по меньшей мере фотографии лиц людей, а также для хранения видеоданных и соответствующих им метаданных; несколько видеокамер, каждая из которых содержит обычный объектив и тепловизионный объектив, причем каждая видеокамера сконфигурирована для получения видеоданных из своей области зрения, а также для получения метаданных объектов, содержащих помимо прочего карту абсолютных температур от тепловизионного объектива; по меньшей мере, одно устройство обработки данных, сконфигурированное для выполнения следующих этапов: получения видеоданных и соответствующих им метаданных от упомянутых видеокамер в режиме реального времени; обнаружения и распознавания изображения области лица по меньшей мере одного человека в каждом кадре видеоданных; определения показателя температуры тела по меньшей мере одного обнаруженного человека путем использования соответствующего синхронного кадра из карты абсолютных температур, при этом показатель температуры берется с карты именно в области распознанного лица; сохранения полученного показателя температуры, соответствующего распознанному лицу обнаруженного человека, в базе данных вместе с изображением лица этого человека.The above technical result is also achieved in that the alternative system for monitoring the body temperature of people by video data contains: memory configured to store a database containing at least photographs of people's faces, as well as to store video data and their corresponding metadata; several video cameras, each of which contains a conventional lens and a thermal imaging lens, and each video camera is configured to receive video data from its field of view, as well as to obtain metadata of objects containing, among other things, a map of absolute temperatures from the thermal imaging lens; at least one data processing device, configured to perform the following steps: receiving video data and corresponding metadata from said video cameras in real time; detecting and recognizing an image of a face area of at least one person in each frame of video data; determining the body temperature index of at least one detected person by using the corresponding synchronous frame from the absolute temperature map, while the temperature indicator is taken from the map exactly in the area of the recognized face; storing the obtained temperature index corresponding to the recognized face of the detected person in the database along with the image of this person's face.

Кроме того указанный выше технический результат также достигается за счет способа контроля температуры тела людей по видеоданным, реализуемого вычислительной системой, включающей в себя, по меньшей мере, устройство обработки данных, память, хранящую базу данных, и несколько видеокамер, каждая из которых содержит обычный объектив и тепловизионный объектив, причем каждая видеокамера сконфигурирована для получения видеоданных из своей области зрения и для получения метаданных объектов, содержащих помимо прочего карту абсолютных температур от тепловизионного объектива, при этом способ содержит этапы, на которых по меньшей мере одним устройством обработки данных выполняется: получение видеоданных и соответствующих им метаданных от упомянутых видеокамер в режиме реального времени; обнаружение и распознавание изображения области лица по меньшей мере одного человека в каждом кадре видеоданных; определение показателя температуры тела по меньшей мере одного обнаруженного человека путем использования соответствующего синхронного кадра из карты абсолютных температур, при этом показатель температуры берется с карты именно в области распознанного лица; сохранение полученного показателя температуры, соответствующего распознанному лицу обнаруженного человека, в базе данных вместе с изображением лица этого человека.In addition, the above technical result is also achieved due to the method of monitoring the body temperature of people by video data, implemented by a computing system that includes at least a data processing device, a memory storing a database, and several video cameras, each of which contains a conventional lens and a thermal imaging lens, each video camera being configured to receive video data from its field of view and to obtain metadata of objects containing, among other things, a map of absolute temperatures from a thermal imaging lens, the method comprising the steps at which at least one data processing device performs: obtaining video data and their corresponding metadata from said video cameras in real time; detecting and recognizing an image of the face area of at least one person in each frame of video data; determining the body temperature index of at least one detected person by using a corresponding synchronous frame from the absolute temperature map, while the temperature indicator is taken from the map exactly in the area of the recognized face; storing the obtained temperature index corresponding to the recognized face of the detected person in the database together with the image of this person's face.

В одном частном варианте заявленного решения дополнительно выполняется отображение в режиме реального времени видеоданных, на которых все обнаруженные области лица выделены рамкой лица, при этом рядом с каждым лицом отображается соответствующий ему показатель температуры.In one particular embodiment of the claimed solution, video data is additionally displayed in real time, in which all detected areas of the face are highlighted by a face frame, with the corresponding temperature indicator displayed next to each face.

В другом частном варианте заявленного решения устройство обработки данных дополнительно осуществляет идентификацию личности обнаруженного человека, путем сравнения распознанного изображения лица упомянутого человека с фотографиями лиц людей из базы данных и определения его идентификационных данных, причем упомянутая идентификация осуществляется посредством использования искусственной нейронной сети (ИНС), при этом показатель температуры, соответствующий упомянутому изображению лица человека, сохраняется в базе данных вместе с изображением лица этого человека и его идентификационными данными.In another particular version of the claimed solution, the data processing device additionally identifies the identity of the detected person by comparing the recognized image of the face of the said person with photographs of people's faces from the database and determining his identification data, and said identification is carried out using an artificial neural network (ANN), when In this way, the temperature index corresponding to the aforementioned image of a person's face is stored in the database along with the image of this person's face and his identification data.

Еще в одном частном варианте заявленного решения по меньшей мере одно устройство обработки данных дополнительно автоматически осуществляет предоставление доступа или запрет доступа в определенную зону контроля на основании выполнения предварительно заданных пользователем системы условий.In yet another particular embodiment of the claimed solution, at least one data processing device additionally automatically provides access or denies access to a certain control area based on the fulfillment of conditions predefined by the user of the system.

В другом частном варианте заявленного решения упомянутыми предварительно заданными условиями является по меньшей мере одно или любая комбинация из: соответствие результата проверки карты доступа человека; соответствие введенного пин-кода или пароля; соответствие результата распознавания лица человека; показатель температуры человека не превышает предварительно заданного порогового значения; соответствие результата распознавания голоса человека; наличие необходимых средств индивидуальной защиты (СИЗ) на человеке для данной зоны контроля.In another particular embodiment of the claimed solution, said predetermined conditions are at least one or any combination of: matching the result of checking the person's access card; compliance of the entered PIN code or password; matching the result of human face recognition; the human temperature indicator does not exceed a predetermined threshold value; matching the result of human voice recognition; the presence of the necessary personal protective equipment (PPE) on a person for this control area.

Еще в одном частном варианте заявленного решения если одно из предварительно заданных пользователем системы условий не выполняется, то устройство обработки данных автоматически отправляет запрос к сотруднику безопасности.In another particular embodiment of the claimed solution, if one of the conditions predefined by the user of the system is not met, the data processing device automatically sends a request to the security officer.

В другом частном варианте заявленного решения если одно из предварительно заданных пользователем системы условий не выполняется, то устройство обработки данных автоматически осуществляет по меньшей мере одно или комбинацию из предварительно заданных пользователем действий, таких как: блокировка карты доступа человека; инициирование тревоги; оповещение сотрудника безопасности; оповещение предварительно заданного человека по sms или по электронной почте; формирование отчета о нарушении.In another particular embodiment of the claimed solution, if one of the conditions preset by the user of the system is not met, then the data processing device automatically performs at least one or a combination of actions preset by the user, such as: blocking a person's access card; initiation of an alarm; notification of the security officer; notification of a pre-specified person by sms or email; generation of a violation report.

А еще в одном частном варианте заявленного решения устройство обработки данных по полученным данным за заданный пользователем интервал времени или же с предварительно заданной пользователем периодичностью по архивным данным формирует отчет в виде таблицы, содержащий данные о каждом конкретном человеке и о его показателях температуры.And in yet another particular embodiment of the claimed solution, the data processing device, based on the received data for a time interval set by the user, or with a preset user frequency, according to the archive data, generates a report in the form of a table containing data about each specific person and his temperature indicators.

Помимо указанного выше, данный технический результат также достигается за счет считываемого компьютером носителя данных, содержащего исполняемые процессором компьютера инструкции для осуществления способов контроля температуры тела людей по видеоданным.In addition to the above, this technical result is also achieved due to a computer-readable storage medium containing instructions executed by a computer processor for implementing methods for monitoring the body temperature of people using video data.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF DRAWINGS

Фиг. 1 - блок-схема системы для контроля температуры тела людей по видеоданным.FIG. 1 is a block diagram of a system for monitoring the body temperature of people using video data.

Фиг. 2 - схематичное представление кадра видеоданных, на котором выделены лица людей и отображаются показатели температур рядом с каждым выделенным лицом человека.FIG. 2 is a schematic representation of a video frame in which human faces are highlighted and temperature readings are displayed next to each highlighted human face.

Фиг. 3 - блок-схема одного варианта реализации способа контроля температуры тела людей по видеоданным.FIG. 3 is a block diagram of one embodiment of a method for monitoring the body temperature of people using video data.

Фиг. 4 - блок-схема другого варианта реализации способа контроля температуры тела людей по видеоданным.FIG. 4 is a block diagram of another embodiment of the method for monitoring the body temperature of people using video data.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯCARRYING OUT THE INVENTION

Ниже будет приведено описание примерных вариантов осуществления заявленной группы изобретений. Однако заявленная группа изобретений не ограничивается только этими вариантами осуществления. Специалистам будет очевидно, что под объем заявленной группы изобретений, описанной в формуле, могут попадать и другие варианты реализаций.Below will be a description of exemplary embodiments of the claimed group of inventions. However, the claimed group of inventions is not limited only to these embodiments. It will be obvious to specialists that the scope of the claimed group of inventions described in the claims may include other implementations.

Заявляемое техническое решение в различных своих вариантах осуществления может быть выполнено в виде вычислительных систем и способов, реализуемых различными компьютерными средствами, а также в виде считываемого компьютером носителя данных, хранящего исполняемые процессором компьютера инструкции.The claimed technical solution in its various embodiments can be implemented in the form of computer systems and methods implemented by various computer means, as well as in the form of a computer-readable storage medium storing instructions executed by a computer processor.

На фиг. 1 представлена блок-схема системы для контроля температуры тела людей по видеоданным. Данная система включает в себя: память (10), сконфигурированную для хранения базы данных (20); по меньшей мере одно устройство обработки данных (30, …, 3n); и несколько видеокамер (40, …, 4m), каждая из которых содержит обычный объектив (50) и тепловизионный объектив (60).FIG. 1 shows a block diagram of a system for monitoring human body temperature using video data. This system includes: memory (10) configured to store the database (20); at least one data processing device (30, ..., 3n); and several video cameras (40, ..., 4m), each of which contains a conventional lens (50) and a thermal lens (60).

В данном контексте под системами понимаются любые вычислительные/компьютерные системы, построенные на базе программно-аппаратных взаимосвязанных технических средств.In this context, systems are understood as any computing / computer systems built on the basis of software and hardware interconnected technical means.

Видеокамеры в данном случае являются тепловизионными (тепловизорными) камерами, включающими в себя два объектива: обычный (стандартный) и тепловизионный.Video cameras in this case are thermal imaging (thermal) cameras, which include two lenses: normal (standard) and thermal imaging.

В качестве устройства обработки данных может выступать процессор, микропроцессор, графический процессор, ЭВМ (электронно-вычислительная машина), ПЛК (программируемый логический контроллер) или интегральная схема, сконфигурированные для исполнения определенных команд (инструкций, программ) по обработке данных.A processor, microprocessor, graphic processor, computer (electronic computer), PLC (programmable logic controller) or an integrated circuit configured to execute certain commands (instructions, programs) for data processing can act as a data processing device.

В роли устройства памяти, сконфигурированного для хранения данных, могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, сервер, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические накопители информации и т.д.The memory device configured for storing data can be, but is not limited to, hard disk drives (HDD), flash memory, server, ROM (read only memory), solid state drives (SSD), optical storage devices, etc. ...

В контексте данной заявки память хранит базу данных (DB), которая содержит, по меньшей мере, фотографии лиц людей, а также видеоданные и соответствующие им метаданные, получаемые от упомянутых выше видеокамер.In the context of this application, the memory stores a database (DB) that contains at least photographs of people's faces, as well as video data and corresponding metadata obtained from the above-mentioned video cameras.

Следует отметить, что в описанную систему могут входить и любые другие известные в данном уровне техники устройства, например, такие как различного вида датчики, устройства ввода/вывода, устройства отображения и т.п.It should be noted that the described system may include any other devices known in the art, for example, such as various types of sensors, input / output devices, display devices, etc.

Далее будет подробно описан пример работы вышеупомянутой системы для контроля температуры тела людей по видеоданным. Все нижеописанные этапы работы системы в различной ее конфигурации также применимы и к соответствующим вариантам способов контроля температуры тела людей по видеоданным, которые будут более подробно расписаны ниже.Next, an example of the operation of the above system for monitoring the body temperature of people from video data will be described in detail. All the stages of the system operation in its various configurations described below are also applicable to the corresponding variants of methods for monitoring the body temperature of people using video data, which will be described in more detail below.

Рассмотрим принцип работы заявляемых реализаций системы контроля температуры тела людей. Предположим, что такая система, а также соответствующее ей ПО, установлены на контролируемом объекте, например, в офисном здании или в торговом центре. Рабочие помещения или торговые залы оборудованы необходимым количеством видеокамер. Их количество зависит от площади каждого контролируемого помещения и количества контролируемых помещений. Следует отметить, что все видеокамеры предпочтительно расположены таким образом, чтобы полностью охватывать все контролируемое помещение (области зрения камер могут немного пересекаться/накладываться, для получения полной картины). Каждая видеокамера содержит два объектива: обычный объектив (объектив 1) и тепловизионный объектив (объектив 2). Обычный стандартный объектив в общем случае - это оптическая система, состоящая из определенного количества линз (а в некоторых случаях, и зеркал), которая формирует изображение. Объектив видеокамеры является основой получения качественного изображения, поэтому на сегодняшний день существует огромный выбор самых различных видов объективов. В отличие от обычного, тепловизионный объектив сконфигурирован для того, чтобы принимать тепловое излучение объекта, обрабатывать и преобразовывать его в изображение.Consider the principle of operation of the claimed implementations of the system for monitoring the body temperature of people. Suppose that such a system, as well as the corresponding software, is installed at a controlled facility, for example, in an office building or in a shopping center. Workrooms or trading rooms are equipped with the required number of video cameras. Their number depends on the area of each controlled room and the number of controlled rooms. It should be noted that all video cameras are preferably located in such a way as to completely cover the entire monitored room (the fields of view of the cameras may slightly overlap / overlap to get a complete picture). Each camcorder contains two lenses: a regular lens (lens 1) and a thermal lens (lens 2). A common standard lens is generally an optical system consisting of a certain number of lenses (and in some cases, mirrors) that forms an image. The lens of a video camera is the basis for obtaining a high-quality image, so today there is a huge selection of various types of lenses. Unlike a conventional lens, a thermal lens is configured to receive thermal radiation from an object, process it, and convert it into an image.

Видеокамеры системы сконфигурированы таким образом, чтобы непрерывно в режиме реального времени получать видеоданные из своей области зрения. Видеокамеры помимо прочего могут содержать трекер объектов, сконфигурированный для формирования метаданных объектов. Следует обратить внимание, что в зависимости от модели видеокамер, от них к устройству обработки данных передается различная информация. В связи с этим есть два основных варианта реализации системы.The video cameras of the system are configured in such a way that they continuously receive video data from their field of view in real time. Video cameras, among other things, may contain an object tracker configured to generate object metadata. Please note that depending on the model of the video cameras, different information is transmitted from them to the data processing device. In this regard, there are two main options for implementing the system.

Рассмотрим более подробно первый вариант. В этом случае в систему входят видеокамеры, на стороне которых выполняются следующие действия. Посредством обычного объектива каждая видеокамера получает видеоданные из своей области зрения. Далее также посредством обычного объектива автоматически выполняется определение области лица каждого человека (одного или нескольких) в каждом кадре и автоматическое выделение этой области лица рамкой лица (см. фиг. 2). Далее посредством тепловизионного объектива осуществляется определение показателя температуры каждого человека в выделенной ранее области лица в кадре. После чего также на стороне видеокамеры выполняется вшивание всех полученных рамок лица и показателей температуры в каждый кадр видеоданных, на котором присутствует, по меньшей мере, один человек или несколько людей сразу. Помимо указанного, на стороне видеокамеры осуществляется формирования метаданных, которые содержат, помимо прочего, для каждого обнаруженного лица человека в кадре: (1) координаты одной рамки лица, (2) время выделения упомянутой рамкой лица человека в кадре и (3) температуру этого человека. Следует обратить внимание на то, что упомянутые метаданные соответствуют только моменту появления человека в области зрения видеокамеры, то есть первому кадру в котором появился человек и соответственно распозналось его лицо. Для примера, если человек появился в области зрения видеокамеры 27 мая 2020 года в 8:05, то для этого времени формируются метаданные, а именно координаты рамки лица человека в это время, его температура и соответственно указанное время - 8:05. Эти данные остаются актуальными все то время, пока человек находится в области зрения видеокамеры, например, до 09:15. Когда человек покидает область зрения видеокамеры (в 09:15) и затем снова попадает в область зрения этой же видеокамеры или другой видеокамеры (например, в 10:38), то для него снова формируются метаданные, содержащие аналогичный набор данных, соответствующих новому моменту появления (10:38). При этом видеоданные содержат вшитые рамки лица и показатели температуры в каждом кадре для каждого лица (а не только в момент появления человека в области зрения видеокамеры). Такой подход к формированию метаданных полезен в дальнейших этапах сопоставления данных.Let's consider the first option in more detail. In this case, the system includes video cameras on the side of which the following actions are performed. By means of a conventional lens, each video camera receives video data from its own field of view. Further, also by means of a conventional lens, the face area of each person (one or more) in each frame is automatically determined and this face area is automatically selected with a face frame (see Fig. 2). Further, by means of a thermal imaging lens, the temperature index of each person is determined in the previously selected area of the face in the frame. After that, on the side of the video camera, all received face frames and temperature indicators are sewn into each frame of video data, on which at least one person or several people are present at once. In addition to the above, on the side of the video camera, the formation of metadata is carried out, which contains, among other things, for each detected human face in the frame: (1) coordinates of one face frame, (2) the time when the said frame of a person's face in the frame and (3) the temperature of this person ... It should be noted that the mentioned metadata correspond only to the moment a person appears in the field of view of a video camera, that is, to the first frame in which a person appears and, accordingly, his face is recognized. For example, if a person appeared in the field of view of a video camera on May 27, 2020 at 8:05 am, then metadata is formed for this time, namely, the coordinates of the person's face frame at this time, his temperature and, accordingly, the specified time - 8:05 am. This data remains relevant as long as the person is in the field of view of the video camera, for example, until 09:15. When a person leaves the field of view of a video camera (at 09:15) and then again enters the field of view of the same video camera or another video camera (for example, at 10:38), then metadata is again formed for him, containing a similar set of data corresponding to a new moment of appearance (10:38). At the same time, the video data contains embedded face frames and temperature indicators in each frame for each face (and not only at the moment a person appears in the field of view of the video camera). This approach to the formation of metadata is useful in the further stages of data comparison.

Далее основную работу выполняет по меньшей мере одно устройство обработки данных, например, такое как процессор компьютера. Упомянутое устройство обработки данных (одно или несколько) получает в режиме реального времени от упомянутых выше видеокамер видеоданные с выделенными лицами людей и отображаемыми показателями температур рядом с каждым выделенным лицом человека в каждом кадре. Аналогично устройство обработки данных получает метаданные (соответствующие получаемым видеоданным), содержащие для каждого лица в момент его обнаружения набор: координаты одной рамки лица, точное время и показатель температуры человека. Далее выполняется определение/распознавание из полученных видеоданных по меньшей мере одного изображения (трека) лица человека. Следует отметить, что по итогу происходит распознавание всех изображений лиц, которые есть в получаемых видеоданных (даже если по какой-то причине на стороне видеокамеры было пропущено одно или несколько лиц). При этом изображение лица каждого выявленного в кадре человека определяется на основании полученных от камеры метаданных, а именно на основании координат рамки лица и данных о ее времени. При определении изображения лица человека в кадре устройством обработки данных выбирается именно то лицо, которое располагается ближе всего к упомянутой рамке лица (полученной от видеокамеры) в том же кадре (в один и тот же момент времени). Это необходимо для сопоставления данных. Предположим для примера, что видеокамера передает к устройству обработки данных в качестве метаданных для момента обнаружения человека (в 10:38), допустим, координаты одной рамки лица человека, его показатель температуры и точное время кадра. Упомянутое время соответствует моменту обнаружения/распознавания лица человека и моменту выделения лица человека рамкой лица. Однако устройство обработки данных не знает, что за человек представлен в кадре (в момент времени 10:38), поэтому самостоятельно детектирует лицо и выделяет его рамкой лица. При этом упомянутое устройство обработки данных системы может определить немного другую рамку лица, которая не будет точно совпадать с рамкой, полученной от видеокамеры. Именно поэтому устройством обработки данных выбирается лицо, которое располагается ближе всего к упомянутой полученной от видеокамеры рамке лица. То есть устройство обработки данных берет максимально близкую рамку лица и считает, что это один и тот же человек (выделенный рамкой на стороне видеокамеры и определенный рамкой устройством обработки данных). Именно этому человеку соответствует показатель температуры, полученный от видеокамеры в метаданных.Further, the main work is performed by at least one data processing device, such as, for example, a computer processor. The above-mentioned data processing device (one or more) receives in real time from the above-mentioned video cameras video data with highlighted human faces and displayed temperatures next to each highlighted human face in each frame. Similarly, the data processing device receives metadata (corresponding to the received video data) containing for each face at the time of its detection a set: coordinates of one face frame, the exact time and the temperature of the person. Next, at least one image (track) of a person's face is determined / recognized from the obtained video data. It should be noted that as a result, all face images that are in the received video data are recognized (even if, for some reason, one or several faces were missed on the side of the video camera). In this case, the image of the face of each person identified in the frame is determined on the basis of the metadata received from the camera, namely, on the basis of the coordinates of the face frame and data on its time. When determining the image of a person's face in a frame, the data processing device selects exactly the face that is closest to the said face frame (received from the video camera) in the same frame (at the same time). This is required for data matching. Suppose, for example, that the video camera transmits to the data processing device as metadata for the moment a person is detected (at 10:38), for example, the coordinates of one frame of a person's face, its temperature indicator and the exact time of the frame. The mentioned time corresponds to the moment of detection / recognition of the person's face and the moment of highlighting the person's face by the face frame. However, the data processing device does not know what kind of person is represented in the frame (at time 10:38), therefore it independently detects a face and highlights it with a face frame. In this case, the said system data processing device can determine a slightly different face frame, which will not exactly match the frame received from the video camera. That is why the data processing device selects the face that is closest to the aforementioned face frame received from the video camera. That is, the data processing device takes the closest possible frame of the face and considers that this is the same person (framed on the side of the video camera and defined by the frame by the data processing device). It is to this person that the temperature indicator obtained from the video camera in the metadata corresponds.

Финальным этапом является сохранение показателя температуры, соответствующего на основании полученных видеоданных и метаданных упомянутому изображению лица человека, в базе данных вместе с изображением лица этого человека. Таким образом, для каждого человека, который хотя бы раз попал в область зрения по меньшей мере одной видеокамеры на охраняемой территории, в базе данных сохраняются показатели температуры, благодаря чему легко контролировать температуру людей. Следует отметить, что в базу данных сохраняются все определенные системой изображения лиц людей и соответствующие им показатели температуры. Кроме того, при выявлении человека с повышенной температурой тела, по данным о времени выявления температуры и по архивным видеоданным от камер видеонаблюдения, легко проследить и выявить с какими еще людьми, в том числе сотрудниками, взаимодействовал заболевший.The final step is to store the temperature index corresponding to the above-mentioned image of a person's face on the basis of the obtained video data and metadata in the database together with the image of this person's face. Thus, for each person who at least once came into the field of view of at least one video camera in the protected area, temperature indicators are stored in the database, making it easy to control the temperature of people. It should be noted that the database stores all images of people's faces and their corresponding temperature indicators, determined by the system. In addition, when a person with an elevated body temperature is identified, according to the data on the time of temperature detection and according to archive video data from CCTV cameras, it is easy to trace and identify with what other people, including employees, the sick person interacted with.

В одном из частных вариантов реализации, например, для операторов системы видеонаблюдения, выполняется отображение на экране в режиме реального времени видеоданных с рамками лица и показателями температур каждого человека в кадре. Так оператор может в режиме реального времени следить за обстановкой на охраняемом объекте. Такая возможность актуальна, например, для проходной в офисное здание. Для примера, на фиг. 2 показано схематичное представление кадра видеоданных, на котором выделены лица людей и отображаются показатели температур рядом с каждым выделенным лицом человека. На данной фигуре показан кадр, где представлены два человека.In one of the particular embodiments, for example, for operators of a video surveillance system, video data is displayed on the screen in real time with face frames and temperature readings of each person in the frame. So the operator can monitor the situation at the protected facility in real time. This possibility is relevant, for example, for a checkpoint in an office building. For example, in FIG. 2 shows a schematic representation of a video frame with human faces highlighted and temperature readings are displayed next to each highlighted human face. This figure shows a frame showing two people.

В одном из частных вариантов реализации наша система сконфигурирована для контроля температуры определенных людей (например, сотрудников). В этом случае устройство обработки данных дополнительно (после этапа определения из полученных видеоданных изображения лица человека на основании рамки лица и данных о времени выделения рамкой лица этого человека) осуществляет идентификацию личности человека, представленного на определенном изображении лица человека. Идентификация осуществляется путем сравнения полученного изображения лица человека с фотографиями лиц людей из базы данных и определения его идентификационных данных. Идентификационными данными являются данные, которые можно использовать в качестве уникального идентификатора личности. Такими данными в контексте данной заявки могут являться, по меньшей мере, одно или несколько, но не ограничиваясь: ФИО, выборка фотографий человека (его лица), паспортные данные, ИНН, номер пропуска человека, должность и место работы, и так далее. Таким образом, при совпадении изображения лица с фотографией одного из сотрудников из базы данных сотрудников, система определяет его идентификационные данные, например, его ФИО и должность. Следует отметить, что для повышения скорости и точности идентификации в одном из частных вариантов реализации устройство обработки данных осуществляет указанную идентификацию личности каждого человека посредством использования искусственной нейронной сети (ИНС). Искусственная нейронная сеть - это математическая модель, а также ее аппаратное и/или программное воплощение, построенное по принципу организации и функционирования биологических нейронных сетей (сетей нервных клеток живых организмов). Одним из главных преимуществ ИНС является возможность их обучения, в процессе которого ИНС способна самостоятельно выявлять сложные зависимости между входными и выходными данными. В общем случае принцип идентификации следующий: искусственная нейронная сеть получает отдельное изображение области лица, которая выделена соответствующей рамкой лица, после чего выдает некоторый вектор чисел - дескриптор изображения. База данных системы в свою очередь хранит выборку фотографий всех сотрудников, включающую соответствующий каждой фотографии дескриптор. Для сравнения ИНС использует именно эти дескрипторы. Причем ИНС обучена так, что чем меньше угол между этими векторами чисел в пространстве, тем больше вероятность совпадения изображений. В качестве метрики для сравнения используется косинус угла между векторами чисел (векторами из базы данных и полученным вектором изображения области лица). Соответственно, чем ближе косинус угла между векторами к единице, тем больше вероятность того, что человек является одним и тем же на сравниваемой паре изображений. Следует также отметить, что после идентификации личности человека, соответствующий этому человеку показатель температуры сохраняется в базе данных вместе с изображением лица этого человека и его идентификационными данными. То есть идентификационные данные постоянно пополняются.In one particular implementation, our system is configured to control the temperature of specific people (eg employees). In this case, the data processing device additionally (after the stage of determining the image of a person's face from the received video data on the basis of the face frame and data on the time frame of the face of this person) identifies the personality of the person represented on a certain image of the person's face. Identification is carried out by comparing the obtained image of a person's face with photographs of people's faces from the database and determining its identification data. Identity data is data that can be used as a unique identifier for a person. In the context of this application, such data may be at least one or more, but not limited to: name, sample of photographs of a person (his face), passport data, TIN, pass number of a person, position and place of work, and so on. Thus, when the face image matches the photo of one of the employees from the employee database, the system determines his identification data, for example, his name and position. It should be noted that in order to increase the speed and accuracy of identification in one of the private embodiments, the data processing device performs the specified identification of the personality of each person by using an artificial neural network (ANN). An artificial neural network is a mathematical model, as well as its hardware and / or software implementation, built on the principle of the organization and functioning of biological neural networks (networks of nerve cells in living organisms). One of the main advantages of ANNs is the ability to train them, during which the ANN is able to independently identify complex dependencies between input and output data. In the general case, the identification principle is as follows: an artificial neural network receives a separate image of the face area, which is highlighted by the corresponding face frame, and then produces a certain vector of numbers - an image descriptor. The system database, in turn, stores a selection of photographs of all employees, including a descriptor corresponding to each photograph. The ANN uses these descriptors for comparison. Moreover, the ANN is trained so that the smaller the angle between these vectors of numbers in space, the greater the likelihood of image coincidence. As a metric for comparison, the cosine of the angle between the vectors of numbers (vectors from the database and the resulting vector of the image of the face area) is used. Accordingly, the closer the cosine of the angle between the vectors to one, the more likely it is that the person is the same in the compared pair of images. It should also be noted that after identification of the person's personality, the temperature indicator corresponding to this person is stored in the database along with the image of this person's face and his identification data. That is, the identification data is constantly updated.

Что касается второго варианта реализации системы, то в этом случае используются другие модели видеокамер. В этом случае каждая видеокамера сконфигурирована для получения видеоданных из своей области зрения, а также для получения метаданных объектов. Метаданными в общем случае являются подробные данные обо всех объектах, перемещающихся в поле зрения каждой видеокамеры (местоположения, траектории движений, описатели лиц, описатели одежды и т.п.). В контексте данной заявки, помимо перечисленного, метаданные также содержат карту абсолютных температур (тепловую карту, термограмму), полученную от тепловизионного объектива.As for the second embodiment of the system, in this case, other models of video cameras are used. In this case, each video camera is configured to receive video data from its own field of view, as well as to obtain metadata of objects. In general, metadata is detailed data about all objects moving in the field of view of each video camera (locations, trajectories of movements, face descriptors, clothing descriptors, etc.). In the context of this application, in addition to the above, the metadata also contains an absolute temperature map (heat map, thermogram) obtained from a thermal imaging lens.

В такой реализации системы по меньшей мере одно устройство обработки данных, например, графический процессор компьютера, сконфигурировано для выполнения основных операций.In such an implementation of the system, at least one data processing device, for example, a computer graphics processor, is configured to perform basic operations.

Упомянутое устройство обработки данных получает видеоданные и соответствующие им метаданные от упомянутых видеокамер в режиме реального времени. Далее выполняется обработка полученных видеоданных и метаданых, а именно: обнаружение и распознавание изображения области лица каждого, по меньшей мере, одного человека в каждом кадре видеоданных. Таким образом обнаруживаются все лица людей, которые есть в кадре.Said data processing device receives video data and corresponding metadata from said video cameras in real time. Next, the received video data and metadata are processed, namely: detection and recognition of the image of the face region of each at least one person in each frame of video data. Thus, all the faces of people in the frame are detected.

Далее выполняется определение показателя температуры лица по меньшей мере одного обнаруженного человека. В данном случае определение температуры выполняется путем использования соответствующего синхронного кадра из карты абсолютных температур, которая получена от тепловизионного/тепловизорного объектива. Следует отметить, что показатель температуры берется устройством обработки данных с карты (теплового изображения) именно в той области, где было распознано лицо обнаруженного человека. Финальным этапом является сохранение полученного показателя температуры, соответствующего распознанному лицу обнаруженного человека, в базе данных вместе с изображением лица этого человека.Next, the determination of the facial temperature index of at least one detected person is performed. In this case, the determination of temperature is performed by using the corresponding synchronous frame from the absolute temperature map, which is obtained from the thermal / thermal imaging lens. It should be noted that the temperature indicator is taken by the data processing device from the card (thermal image) exactly in the area where the face of the detected person was recognized. The final step is to save the obtained temperature value corresponding to the recognized face of the detected person in the database along with the image of this person's face.

В одном из частных вариантов реализации описываемой системы выполняется идентификация личности обнаруженного по меньшей мере одного человека. Упомянутую идентификацию осуществляет устройство обработки данных путем сравнения распознанного изображения лица человека с фотографиями лиц людей из базы данных и определения его идентификационных данных. Следует отметить, что идентификация выполняется аналогичным образом, как уже было описано ранее. По умолчанию система определяет температура всех людей в кадре и, соответственно, для всех людей в базу данных сохраняются показатели температуры. В частном варианте, когда мы осуществляем контроль сотрудников и дополнительно имеем базу данных сотрудников, система после определения показателя температуры человека идентифицирует его личность и уже тогда сохраняет полученный показатель температуры в базе данных вместе с изображением лица этого сотрудника и его идентификационными данными.In one of the particular embodiments of the described system, the identification of the personality of the detected at least one person is performed. The said identification is carried out by the data processing device by comparing the recognized image of a person's face with photographs of people's faces from the database and determining its identification data. It should be noted that identification is performed in a similar manner as described previously. By default, the system determines the temperature of all people in the frame and, accordingly, temperature readings for all people are saved to the database. In a private version, when we monitor employees and additionally have a database of employees, the system, after determining the person's temperature, identifies his personality and even then stores the obtained temperature in the database along with the image of this employee's face and his identification data.

При этом в данной реализации системы дополнительно выполняется отображение на экране (например, на экране компьютера оператора) в режиме реального времени видеоданных, на которых все обнаруженные устройством обработки данных области лица выделены рамкой лица, при этом рядом с каждым лицом отображается соответствующий ему показатель температуры (см. фиг. 2). Кроме того, в частном варианте для идентифицированных сотрудников рядом с показателем температуры может отображаться ФИО и должность сотрудника (для удобства оператора системы видеонаблюдения и контроля). При этом если температура превышает пороговое значение, то тогда показатель температуры может быть отображен, например, на красном фоне и может дополнительно мигать для привлечения внимания оператора.At the same time, in this implementation of the system, video data is additionally displayed on the screen (for example, on the operator's computer screen) in real time, on which all areas of the face detected by the data processing device are highlighted with a face frame, while next to each face the corresponding temperature indicator is displayed ( see Fig. 2). In addition, in a private version for identified employees, the full name and position of the employee can be displayed next to the temperature indicator (for the convenience of the operator of the video surveillance and control system). In this case, if the temperature exceeds the threshold value, then the temperature indicator can be displayed, for example, on a red background and can additionally flash to attract the operator's attention.

Таким образом, и в первом варианте реализации системы и во втором варианте реализации системы, показатели температуры всех пришедших на охраняемую территорию людей сохраняются в базу данных, где их легко можно посмотреть, проанализировать, составить отчет и выполнить многие другие действия по желанию пользователя системы.Thus, both in the first embodiment of the system and in the second embodiment of the system, the temperature readings of all people who came to the protected area are stored in a database, where they can be easily viewed, analyzed, reported and many other actions performed at the request of the system user.

Следует отметить, что температуру человека, полученную тем или иным вариантом реализации системы, можно задействовать как дополнительный параметр в системах контроля и управления доступом (СКУД) в помещение или на контролируемую территорию. Для примера рассмотрим проходную на завод или любое другое охраняемое предприятие. На проходной установлен турникет и заявляемая система, а именно тепловизионная камера с двумя объективами. В этом случае устройство обработки данных системы сконфигурировано таким образом, чтобы автоматически осуществлять предоставление доступа или запрет доступа в определенную зону контроля на основании выполнения предварительно заданных пользователем системы условий. В контексте данной заявки упомянутыми предварительно заданными условиями является, по меньшей мере, одно или любая комбинация из: соответствие результата проверки карты доступа человека; соответствие введенного пин-кода или пароля; соответствие результата распознавания лица человека; показатель температуры человека не превышает предварительно заданного порогового значения; соответствие результата распознавания голоса человека; наличие необходимых средств индивидуальной защиты (СИЗ) на человеке для данной зоны контроля и так далее. Чаще всего используется двойная или тройная аутентификация, но не ограничиваясь. Например, чтобы войти в опасную зону должно быть выполнено три условия: (1) соответствие результата проверки карты доступа человека, (2) соответствие результата распознавания лица человека и (3) показатель температуры человека не должен превышать предварительно заданного порогового значения, например, 36,9°С. Следует еще раз отметить, что комбинация и количество условий может отличаться на каждом охраняемом предприятии. Для примера, четвертым условием, актуальным в случае эпидемиологической ситуации, может являться (4) наличие медицинской маски на человеке для входа в конкретную зону контроля. При выполнении всех заданных условий описываемая система автоматически предоставляет доступ этому человеку в запрашиваемое помещение (например, автоматически открывается дверь и раздается звуковой сигнал одобрения).It should be noted that the temperature of a person obtained by one or another version of the system implementation can be used as an additional parameter in access control systems (ACS) to a room or to a controlled area. For example, consider a checkpoint to a factory or any other protected enterprise. A turnstile and the claimed system, namely a thermal imaging camera with two lenses, are installed at the entrance. In this case, the data processing device of the system is configured to automatically grant or deny access to a certain control area based on the fulfillment of conditions predefined by the user of the system. In the context of this application, said predetermined conditions are at least one or any combination of: matching the result of checking a person's access card; compliance of the entered PIN code or password; matching the result of human face recognition; the human temperature indicator does not exceed a predetermined threshold value; matching the result of human voice recognition; the presence of the necessary personal protective equipment (PPE) on a person for a given control area, and so on. Most often, double or triple authentication is used, but not limited to. For example, to enter a hazardous area, three conditions must be met: (1) match the result of checking a person's access card, (2) match the result of recognizing a person's face, and (3) the person's temperature must not exceed a predetermined threshold value, for example, 36, 9 ° C. It should be noted again that the combination and number of conditions may differ for each protected facility. For example, the fourth condition that is relevant in the case of an epidemiological situation may be (4) the presence of a medical mask on a person to enter a specific control area. When all the specified conditions are met, the described system automatically grants access to this person to the requested room (for example, the door opens automatically and the approval beep sounds).

Для более полного понимания заявляемого решения следует пояснить, что средства индивидуальной защиты (СИЗ) - это изделия, предназначенные для защиты человека от различных физических или химических воздействий. Для примера, СИЗ могут включать в себя: средства защиты кожных покровов (специальную одежду, обувь, изолирующие костюмы), средства защиты органов дыхания (медицинские маски, противогазы, респираторы), средства защиты рук (перчатки), средства защиты головы от физических воздействий (каска), средства защиты лица, средства защиты органов слуха (наушники, ушные вкладыши), средства защиты глаз (защитные очки) и так далее.For a more complete understanding of the proposed solution, it should be clarified that personal protective equipment (PPE) is a product designed to protect a person from various physical or chemical influences. For example, PPE may include: skin protection (special clothing, footwear, insulating suits), respiratory protection (medical masks, gas masks, respirators), hand protection (gloves), head protection from physical influences ( hard hat), face protection, hearing protection (headphones, earmolds), eye protection (goggles) and so on.

Возвращаясь к предоставлению доступа, если одно из предварительно заданных пользователем системы условий не выполняется, то устройство обработки данных автоматически отправляет запрос к сотруднику безопасности. Если не настроена автоматическая отправка запроса, то оператор системы может сам отправить запрос и тогда к человеку подойдет охранник или медицинский работник (в зависимости от того, какое именно условие нарушено человеком).Returning to granting access, if one of the conditions predefined by the user of the system is not met, the data processing device automatically sends a request to the security officer. If the automatic sending of the request is not configured, then the system operator can send the request himself and then a guard or a medical worker will approach the person (depending on which condition is violated by the person).

В другом частном варианте реализации системы если одно из предварительно заданных пользователем системы условий не выполняется, то устройство обработки данных автоматически осуществляет, по меньшей мере, одно или комбинацию из предварительно заданных пользователем действий, таких как: блокировка карты доступа человека; инициирование тревоги; оповещение сотрудника безопасности; оповещение предварительно заданного человека по sms или по электронной почте; формирование отчета о нарушении. В зависимости от того, была ли выполнена идентификация личности, система будет выполнять различные автоматические действия. Например, если идентифицирован сотрудник, то у него может автоматически заблокироваться карта доступа, а если это незнакомый неизвестный человек, то системой автоматически будет вызван сотрудник безопасности или произведено инициирование тревоги. При этом в любом случае будет сформирован отчет о нарушении.In another particular embodiment of the system, if one of the conditions predetermined by the user of the system is not met, the data processing device automatically performs at least one or a combination of the actions predefined by the user, such as: blocking a person's access card; initiation of an alarm; notification of the security officer; notification of a pre-specified person by sms or email; generation of a violation report. Depending on whether or not a person has been identified, the system will perform various automatic actions. For example, if an employee is identified, then his access card may be automatically blocked, and if this is an unknown unknown person, then the system will automatically call a security officer or initiate an alarm. In this case, in any case, a violation report will be generated.

Кроме того, в одном из вариантов реализации системы устройство обработки данных дополнительно сконфигурировано для формирования отчетов по архивным данным. Упомянутые отчеты формируются по полученным данным либо за заданный пользователем интервал времени (например, за интервал с 10:00 до 15:00), либо с предварительно заданной пользователем периодичностью (например, каждый будний день, один раз в день в 9:00 за интервал с 10:00 до 19:00 предыдущего дня). Отчет как правило выполнен в виде таблицы, которая содержит главным образом данные о каждом конкретном человеке (по возможности идентификационные данные, например, фото или фио) и о его показателях температуры. Следует отметить, что отчет дополнительно может содержать любые другие данные, заданные оператором. Помимо прочего, отчет может быть автоматически отправлен предварительно заданным пользователям системы (например, по sms или по электронной почте) или же просто сохранен в память системы. В случае если отчет формируется по сигналу/команде от пользователя системы, то тогда данный отчет может быть сразу выведен на экран пользователя.In addition, in one embodiment of the system, the data processing device is additionally configured to generate reports on archived data. The above reports are generated based on the data received either for a user-specified time interval (for example, for the interval from 10:00 to 15:00), or with a frequency pre-set by the user (for example, every weekday, once a day at 9:00 for an interval from 10:00 to 19:00 the previous day). The report is usually made in the form of a table, which contains mainly data about each individual person (if possible, identification data, for example, a photo or name) and his temperature readings. It should be noted that the report can additionally contain any other data specified by the operator. Among other things, the report can be automatically sent to predefined users of the system (for example, by sms or e-mail) or simply saved to the system memory. If the report is generated by a signal / command from the system user, then this report can be immediately displayed on the user's screen.

Далее будет описан пример конкретной реализации способа для контроля температуры тела людей по видеоданным. На фиг. 3 представлена блок-схема одного из вариантов реализации способа контроля температуры тела людей по видеоданным.An example of a specific implementation of the method for monitoring the body temperature of people from video data will be described below. FIG. 3 shows a block diagram of one of the embodiments of the method for monitoring the body temperature of people using video data.

Указанный способ выполняется уже описанной выше вычислительной системой (первый вариант реализации), включающей в себя, по меньшей мере, устройство обработки данных, память, хранящую базу данных, и несколько видеокамер, каждая из которых содержит обычный объектив и тепловизионный объектив. При этом способ содержит этапы, на которых выполняется:This method is performed by the above-described computing system (first embodiment), including at least a data processing device, a memory storing a database, and several video cameras, each of which contains a conventional lens and a thermal imaging lens. In this case, the method contains the stages at which it is performed:

(100) получение каждой видеокамерой посредством обычного объектива видеоданных из своей области зрения (а), определение области лица каждого человека в кадре (б) и автоматическое выделение этой области лица рамкой лица (в);(100) each video camera receives video data from its area of view (a) through a conventional lens, determines the area of the face of each person in the frame (b) and automatically selects this area of the face with a face frame (c);

(200) определение посредством тепловизионного объектива показателя температуры каждого человека в выделенной области лица;(200) determining, by means of a thermal imaging lens, an index of the temperature of each person in the selected area of the face;

(300) вшивание рамок лица и показателей температуры в каждый кадр видеоданных, на котором присутствует по меньшей мере один человек;(300) stitching face frames and temperature readings into each frame of video data in which at least one person is present;

(400) формирование метаданных, которые содержат для каждого обнаруженного лица человека координаты одной рамки лица, время выделения упомянутой рамкой лица человека в кадре и его температуру, причем упомянутые метаданные соответствуют моменту появления человека в области зрения видеокамеры;(400) generating metadata that contains, for each detected human face, the coordinates of one face frame, the time the frame is used to highlight the person in the frame and its temperature, said metadata corresponding to the moment the person appears in the video camera's field of view;

(500) получение в режиме реального времени от упомянутых видеокамер по меньшей мере одним устройством обработки данных видеоданных, с выделенными лицами людей и отображаемыми показателями температур рядом с каждым выделенным лицом человека, и соответствующих им метаданных;(500) receiving in real time from said video cameras at least one video data processing device, with highlighted people's faces and displayed temperature indicators next to each highlighted human face, and their corresponding metadata;

(600) определение из полученных видеоданных по меньшей мере одного изображения лица человека на основании координат рамки лица и данных о времени, причем определяется изображение того лица человека, которое располагается ближе всего к упомянутой рамке лица;(600) determining from the obtained video data at least one image of a person's face based on the coordinates of the face frame and the time data, wherein the image of the person's face that is closest to said face frame is determined;

(700) сохранение показателя температуры, соответствующего на основании полученных видеоданных и метаданных упомянутому изображению лица человека, в базе данных вместе с изображением лица этого человека.(700) storing a temperature index corresponding to said image of a person's face based on the obtained video data and metadata in a database along with the image of that person's face.

Аналогичным образом на фиг. 4 представлена блок-схема другого варианта реализации способа контроля температуры тела людей по видеоданным.Similarly, in FIG. 4 shows a block diagram of another embodiment of the method for monitoring the body temperature of people using video data.

Указанный способ также выполняется уже описанной выше вычислительной системой (второй вариант реализации), включающей в себя, по меньшей мере, устройство обработки данных, память, хранящую базу данных, и несколько видеокамер, каждая из которых содержит обычный объектив и тепловизионный объектив. Каждая видеокамера в данном варианте реализации сконфигурирована для получения видеоданных из своей области зрения и для получения метаданных объектов, содержащих помимо прочего карту абсолютных температур от тепловизионного объектива. При этом способ содержит этапы, на которых по меньшей мере одним устройством обработки данных выполняется:This method is also performed by the above-described computing system (second embodiment), which includes at least a data processing device, a memory storing a database, and several video cameras, each of which contains a conventional lens and a thermal lens. Each video camera in this embodiment is configured to receive video data from its field of view and to obtain metadata of objects containing, among other things, an absolute temperature map from a thermal imaging lens. In this case, the method comprises the stages at which at least one data processing device performs:

(1000) получение видеоданных и соответствующих им метаданных от упомянутых видеокамер в режиме реального времени;(1000) receiving video data and corresponding metadata from said video cameras in real time;

(2000) обнаружение и распознавание изображения области лица по меньшей мере одного человека в каждом кадре видеоданных;(2000) detecting and recognizing an image of an area of the face of at least one person in each frame of video data;

(3000) определение показателя температуры тела по меньшей мере одного обнаруженного человека путем использования соответствующего синхронного кадра из карты абсолютных температур, при этом показатель температуры берется с карты именно в области распознанного лица;(3000) determining the body temperature index of at least one detected person by using the corresponding synchronous frame from the absolute temperature map, while the temperature index is taken from the map in the region of the recognized face;

(4000) сохранение полученного показателя температуры, соответствующего распознанному лицу обнаруженного человека, в базе данных вместе с изображением лица этого человека.(4000) storing the obtained temperature reading corresponding to the recognized face of the detected person in the database along with the image of that person's face.

Следует еще раз отметить, что указанные выше варианты способов могут быть реализованы посредством использования охарактеризованных ранее соответствующих вычислительных систем. Следовательно, каждый вариант способа может быть расширен и уточнен всеми теми же частными вариантами исполнения, которые уже были описаны выше для реализации систем для контроля температуры тела людей по видеоданным.It should be noted again that the above method variants can be implemented using the previously described corresponding computing systems. Consequently, each variant of the method can be expanded and refined with all the same particular variants of execution that have already been described above for the implementation of systems for monitoring the temperature of the human body by video data.

Кроме того, варианты осуществления настоящей группы изобретений могут быть реализованы с использованием программного обеспечения, аппаратных средств, программной логики или их комбинации. В данном примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном или более из различных традиционных считываемых компьютером носителе данных.In addition, the embodiments of the present group of inventions can be implemented using software, hardware, software logic, or a combination thereof. In this embodiment, program logic, software, or a set of instructions is stored on one or more of various conventional computer-readable storage media.

В контексте данного описания «считываемым компьютером носителем данных» может быть любая среда или средства, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции (команды) для их использования (исполнения) вычислительной системой, например, такой как компьютер. При этом носитель данных может являться энергонезависимым машиночитаемым носителем данных.As used herein, a "computer-readable medium" can be any medium or medium that can contain, store, transmit, distribute, or transport instructions (commands) for use (execution) by a computing system, such as a computer, for example. In this case, the storage medium can be a non-volatile computer-readable storage medium.

При необходимости, по меньшей мере, часть различных операций, рассмотренных в описании данного решения, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом.If necessary, at least some of the various operations discussed in the description of this solution can be performed in a different order from the presented one and / or simultaneously with each other.

Хотя данное техническое решение было описано подробно в целях иллюстрации наиболее необходимых в настоящее время и предпочтительных вариантов осуществления, следует понимать, что данное изобретение не ограничивается раскрытыми вариантами осуществления и более того, предназначено для модификации и различных других комбинаций признаков из описанных вариантов осуществления. Например, следует понимать, что настоящее изобретение предполагает, что в возможной степени, один или более признаков любого варианта осуществления могут быть объединены с другим одним или более признаками любого другого варианта осуществления.Although this technical solution has been described in detail for the purpose of illustrating the presently most necessary and preferred embodiments, it should be understood that the invention is not limited to the disclosed embodiments and, moreover, is intended to modify and various other combinations of features from the described embodiments. For example, it should be understood that the present invention contemplates that, to the extent possible, one or more features of any embodiment may be combined with another one or more features of any other embodiment.

Claims (67)

1. Система контроля температуры тела людей по видеоданным, содержащая:1. A system for monitoring the body temperature of people by video data, containing: память, сконфигурированную для хранения базы данных, содержащей по меньшей мере фотографии лиц людей, а также для хранения видеоданных и соответствующих им метаданных;memory configured to store a database containing at least photographs of people's faces, as well as to store video data and their corresponding metadata; по меньшей мере, одно устройство обработки данных;at least one data processing device; несколько видеокамер, каждая из которых содержит обычный объектив и тепловизионный объектив, при этом упомянутые видеокамеры сконфигурированы для выполнения по меньшей мере следующих этапов:several video cameras, each of which contains a conventional lens and a thermal imaging lens, said cameras being configured to perform at least the following steps: получения посредством обычного объектива видеоданных из области зрения видеокамеры, определения области лица каждого человека в кадре и автоматического выделения этой области лица рамкой лица;obtaining, by means of a conventional lens, video data from the field of view of the video camera, determining the face area of each person in the frame, and automatically highlighting this face area with a face frame; определения посредством тепловизионного объектива показателя температуры каждого человека в выделенной области лица;determining by means of a thermal imaging lens the temperature index of each person in the selected area of the face; вшивания рамок лица и показателей температуры в каждый кадр видеоданных, на котором присутствует по меньшей мере один человек;stitching face frames and temperature indicators into each frame of video data in which at least one person is present; формирования метаданных, которые содержат для каждого обнаруженного лица человека координаты одной рамки лица, время выделения упомянутой рамкой лица человека в кадре и его температуру, причем упомянутые метаданные соответствуют моменту появления человека в области зрения видеокамеры;generating metadata that contains for each detected human face the coordinates of one face frame, the time of the selected frame of the person's face in the frame and its temperature, said metadata corresponding to the moment a person appears in the video camera's field of view; при этом по меньшей мере одно устройство обработки данных сконфигурировано с возможностью выполнения следующих этапов:wherein at least one data processing device is configured to perform the following steps: получения в режиме реального времени от упомянутых видеокамер видеоданных, с выделенными лицами людей и отображаемыми показателями температур рядом с каждым выделенным лицом человека, и соответствующих им метаданных;receiving in real time from said video cameras of video data, with highlighted people's faces and displayed temperature indicators next to each highlighted human face, and their corresponding metadata; определения из полученных видеоданных по меньшей мере одного изображения лица человека на основании координат рамки лица и данных о времени, причем определяется изображение того лица человека, которое располагается ближе всего к упомянутой рамке лица;determining from the obtained video data at least one image of a person's face based on the coordinates of the face frame and the time data, wherein the image of the person's face that is closest to said face frame is determined; сохранения показателя температуры, соответствующего на основании полученных видеоданных и метаданных упомянутому изображению лица человека, в базе данных вместе с изображением лица этого человека.storing the temperature index corresponding to the said image of a person's face on the basis of the obtained video data and metadata in the database together with the image of this person's face. 2. Система по п. 1, в которой дополнительно выполняется отображение на экране в режиме реального времени видеоданных с рамками лица и показателями температур каждого человека в кадре.2. The system according to claim 1, which additionally displays video data on the screen in real time with face frames and temperature indicators of each person in the frame. 3. Система по любому из пп. 1, 2, в которой устройство обработки данных дополнительно осуществляет идентификацию личности человека, представленного на определенном изображении лица человека, путем сравнения полученного изображения лица человека с фотографиями лиц людей из базы данных и определения его идентификационных данных, причем упомянутая идентификация осуществляется посредством использования искусственной нейронной сети (ИНС),3. The system according to any one of paragraphs. 1, 2, in which the data processing device additionally identifies the identity of a person represented on a certain image of a person's face by comparing the obtained image of a person's face with photographs of people's faces from a database and determining its identification data, and said identification is carried out using an artificial neural network (ANN), при этом показатель температуры, соответствующий упомянутому изображению лица человека, сохраняется в базе данных вместе с изображением лица этого человека и его идентификационными данными.the temperature index corresponding to the aforementioned image of a person's face is stored in the database along with the image of this person's face and his identification data. 4. Система по п. 3, в которой по меньшей мере одно устройство обработки данных дополнительно автоматически осуществляет предоставление доступа или запрет доступа в определенную зону контроля на основании выполнения предварительно заданных пользователем системы условий.4. The system of claim. 3, in which at least one data processing device additionally automatically provides access or denies access to a certain control area based on the fulfillment of conditions predefined by the user of the system. 5. Система по п. 4, в которой упомянутыми предварительно заданными условиями является, по меньшей мере, одно или любая комбинация из: соответствие результата проверки карты доступа человека; соответствие введенного пин-кода или пароля; соответствие результата распознавания лица человека; показатель температуры человека не превышает предварительно заданного порогового значения; соответствие результата распознавания голоса человека; наличие необходимых средств индивидуальной защиты (СИЗ) на человеке для данной зоны контроля.5. The system of claim. 4, in which said predetermined conditions are at least one or any combination of: matching the result of checking a person's access card; compliance of the entered PIN code or password; matching the result of human face recognition; the human temperature indicator does not exceed a predetermined threshold value; matching the result of human voice recognition; the presence of the necessary personal protective equipment (PPE) on a person for this control area. 6. Система по п. 5, в которой если одно из предварительно заданных пользователем системы условий не выполняется, то устройство обработки данных автоматически отправляет запрос к сотруднику безопасности.6. The system according to claim 5, in which if one of the conditions preset by the user of the system is not met, the data processing device automatically sends a request to the security officer. 7. Система по п. 5, в которой если одно из предварительно заданных пользователем системы условий не выполняется, то устройство обработки данных автоматически осуществляет по меньшей мере одно или комбинацию из предварительно заданных пользователем действий, таких как: блокировка карты доступа человека; инициирование тревоги; оповещение сотрудника безопасности; оповещение предварительно заданного человека по sms или по электронной почте; формирование отчета о нарушении.7. The system according to claim 5, in which if one of the conditions preset by the user of the system is not met, then the data processing device automatically performs at least one or a combination of preset user actions, such as: blocking a person's access card; initiation of an alarm; notification of the security officer; notification of a pre-specified person by sms or email; generation of a violation report. 8. Система по п. 3, в которой устройство обработки данных по полученным данным за заданный пользователем интервал времени или же с предварительно заданной пользователем периодичностью по архивным данным формирует отчет в виде таблицы, содержащий данные о каждом конкретном человеке и о его показателях температуры.8. The system according to claim 3, in which the data processing device, based on the received data for a time interval specified by the user, or with a preset user frequency, according to the archive data, generates a report in the form of a table containing data about each specific person and his temperature indicators. 9. Способ контроля температуры тела людей по видеоданным, реализуемый вычислительной системой, включающей в себя, по меньшей мере, устройство обработки данных, память, хранящую базу данных, и несколько видеокамер, каждая из которых содержит обычный объектив и тепловизионный объектив, при этом способ содержит этапы, на которых выполняется:9. A method for monitoring the body temperature of people by video data, implemented by a computing system that includes at least a data processing device, a memory storing a database, and several video cameras, each of which contains a conventional lens and a thermal imaging lens, the method comprising stages at which it is performed: получение каждой видеокамерой посредством обычного объектива видеоданных из своей области зрения, определение области лица каждого человека в кадре и автоматическое выделение этой области лица рамкой лица;receiving by each video camera by means of a conventional lens of video data from its area of view, determining the area of the face of each person in the frame and automatically highlighting this area of the face with a face frame; определение посредством тепловизионного объектива показателя температуры каждого человека в выделенной области лица;determination by means of a thermal imaging lens of the temperature index of each person in the selected area of the face; вшивание рамок лица и показателей температуры в каждый кадр видеоданных, на котором присутствует по меньшей мере один человек;stitching face frames and temperature readings into each frame of video data in which at least one person is present; формирование метаданных, которые содержат для каждого обнаруженного лица человека координаты одной рамки лица, время выделения упомянутой рамкой лица человека в кадре и его температуру, причем упомянутые метаданные соответствуют моменту появления человека в области зрения видеокамеры;formation of metadata, which contains for each detected human face coordinates of one face frame, the time of selection by the said frame of a person's face in the frame and its temperature, said metadata corresponding to the moment a person appears in the video camera's field of view; получение в режиме реального времени от упомянутых видеокамер по меньшей мере одним устройством обработки данных видеоданных, с выделенными лицами людей и отображаемыми показателями температур рядом с каждым выделенным лицом человека, и соответствующих им метаданных;receiving in real time from said video cameras at least one video data processing device, with selected human faces and displayed temperature indicators next to each selected human face, and their corresponding metadata; определение из полученных видеоданных по меньшей мере одного изображения лица человека на основании координат рамки лица и данных о времени, причем определяется изображение того лица человека, которое располагается ближе всего к упомянутой рамке лица;determining from the obtained video data at least one image of a person's face based on the coordinates of the face frame and the time data, wherein the image of that person's face that is located closest to said face frame is determined; сохранение показателя температуры, соответствующего на основании полученных видеоданных и метаданных упомянутому изображению лица человека, в базе данных вместе с изображением лица этого человека.storing the temperature index corresponding to the said image of a person's face on the basis of the obtained video data and metadata in a database together with the image of this person's face. 10. Способ по п. 9, в котором дополнительно выполняется отображение на экране в режиме реального времени видеоданных с рамками лица и показателями температур каждого человека в кадре.10. The method according to claim 9, further comprising real-time display of video data on the screen with face frames and temperature readings of each person in the frame. 11. Способ по любому из пп. 9, 10, в котором дополнительно осуществляется идентификация личности человека, представленного на определенном изображении лица человека, путем сравнения полученного изображения лица человека с фотографиями лиц людей из базы данных и определения его идентификационных данных, причем упомянутая идентификация осуществляется посредством использования искусственной нейронной сети (ИНС),11. The method according to any one of claims. 9, 10, in which the identification of a person's identity is additionally carried out, represented on a certain image of a person's face, by comparing the obtained image of a person's face with photographs of people's faces from a database and determining his identification data, and said identification is carried out using an artificial neural network (ANN) , при этом показатель температуры, соответствующий упомянутому изображению лица человека, сохраняется в базе данных вместе с изображением лица этого человека и его идентификационными данными.the temperature index corresponding to the aforementioned image of a person's face is stored in the database along with the image of this person's face and his identification data. 12. Способ по п. 11, в котором дополнительно автоматически осуществляется предоставление доступа или запрет доступа в определенную зону контроля на основании выполнения предварительно заданных пользователем системы условий.12. The method according to claim 11, further comprising automatically granting access or denying access to a specific control area based on the fulfillment of conditions predefined by the user of the system. 13. Способ по п. 12, в котором упомянутыми предварительно заданными условиями является по меньшей мере одно или любая комбинация из: соответствие результата проверки карты доступа человека; соответствие введенного пин-кода или пароля; соответствие результата распознавания лица человека; показатель температуры человека не превышает предварительно заданного порогового значения; соответствие результата распознавания голоса человека; наличие необходимых средств индивидуальной защиты (СИЗ) на человеке для данной зоны контроля.13. The method according to claim 12, wherein said predetermined conditions are at least one or any combination of: matching the result of checking a person's access card; compliance of the entered PIN code or password; matching the result of human face recognition; the human temperature indicator does not exceed a predetermined threshold value; matching the result of human voice recognition; the presence of the necessary personal protective equipment (PPE) on a person for this control area. 14. Способ по п. 13, в котором если одно из предварительно заданных пользователем системы условий не выполняется, то тогда автоматически осуществляется отправка запроса к сотруднику безопасности.14. The method according to claim 13, wherein if one of the conditions preset by the user of the system is not met, then a request is automatically sent to the security officer. 15. Способ по п. 13, в котором если одно из предварительно заданных пользователем системы условий не выполняется, то тогда автоматически осуществляется по меньшей мере одно или комбинация из предварительно заданных пользователем действий, таких как: блокировка карты доступа человека; инициирование тревоги; оповещение сотрудника безопасности; оповещение предварительно заданного человека по sms или по электронной почте; формирование отчета о нарушении.15. The method according to claim 13, in which if one of the conditions preset by the user of the system is not met, then at least one or a combination of actions preset by the user is automatically performed, such as: blocking a person's access card; initiation of an alarm; notification of the security officer; notification of a pre-specified person by sms or email; generation of a violation report. 16. Способ по п. 11, в котором дополнительно по полученным данным за заданный пользователем интервал времени или же с предварительно заданной пользователем периодичностью по архивным данным формируется отчет в виде таблицы, содержащий данные о каждом конкретном человеке и о его показателях температуры.16. The method according to claim 11, in which, additionally, according to the received data for a time interval specified by the user or with a predetermined frequency by the user, according to the archive data, a report is generated in the form of a table containing data about each individual person and his temperature indicators. 17. Считываемый компьютером носитель данных, содержащий исполняемые процессором компьютера инструкции для осуществления способов контроля температуры тела людей по видеоданным по любому из пп. 9-16.17. A computer-readable storage medium containing instructions executed by a computer processor for implementing methods for monitoring the body temperature of people using video data according to any one of claims. 9-16. 18. Система контроля температуры тела людей по видеоданным, содержащая:18. A system for monitoring the body temperature of people by video data, containing: память, сконфигурированную для хранения базы данных, содержащей по меньшей мере фотографии лиц людей, а также для хранения видеоданных и соответствующих им метаданных;memory configured to store a database containing at least photographs of people's faces, as well as to store video data and their corresponding metadata; несколько видеокамер, каждая из которых содержит обычный объектив и тепловизионный объектив, причем каждая видеокамера сконфигурирована для получения видеоданных из своей области зрения, а также для получения метаданных объектов, содержащих помимо прочего карту абсолютных температур от тепловизионного объектива;several video cameras, each of which contains a conventional lens and a thermal imaging lens, and each video camera is configured to receive video data from its field of view, as well as to obtain metadata of objects containing, among other things, a map of absolute temperatures from the thermal imaging lens; по меньшей мере, одно устройство обработки данных, сконфигурированное для выполнения следующих этапов:at least one data processing device configured to perform the following steps: получения видеоданных и соответствующих им метаданных от упомянутых видеокамер в режиме реального времени;receiving video data and corresponding metadata from said video cameras in real time; обнаружения и распознавания изображения области лица по меньшей мере одного человека в каждом кадре видеоданных;detecting and recognizing an image of a face area of at least one person in each frame of video data; определения показателя температуры тела по меньшей мере одного обнаруженного человека путем использования соответствующего синхронного кадра из карты абсолютных температур, при этом показатель температуры берется с карты именно в области распознанного лица;determining the body temperature index of at least one detected person by using the corresponding synchronous frame from the absolute temperature map, while the temperature indicator is taken from the map exactly in the area of the recognized face; сохранения полученного показателя температуры, соответствующего распознанному лицу обнаруженного человека, в базе данных вместе с изображением лица этого человека.storing the obtained temperature index corresponding to the recognized face of the detected person in the database along with the image of this person's face. 19. Система по п. 18, в которой дополнительно выполняется отображение в режиме реального времени видеоданных, на которых все обнаруженные области лица выделены рамкой лица, при этом рядом с каждым лицом отображается соответствующий ему показатель температуры.19. The system according to claim 18, in which video data is additionally displayed in real time, in which all detected areas of the face are highlighted by a face frame, with the corresponding temperature indicator displayed next to each face. 20. Система по любому из пп. 18, 19, в которой устройство обработки данных дополнительно осуществляет идентификацию личности обнаруженного человека, путем сравнения распознанного изображения лица упомянутого человека с фотографиями лиц людей из базы данных и определения его идентификационных данных, причем упомянутая идентификация осуществляется посредством использования искусственной нейронной сети (ИБС),20. System according to any one of paragraphs. 18, 19, in which the data processing device additionally identifies the identity of the detected person by comparing the recognized image of the face of the said person with photographs of the faces of people from the database and determining his identification data, and said identification is carried out using an artificial neural network (IHD), при этом показатель температуры, соответствующий упомянутому изображению лица человека, сохраняется в базе данных вместе с изображением лица этого человека и его идентификационными данными.the temperature index corresponding to the aforementioned image of a person's face is stored in the database along with the image of this person's face and his identification data. 21. Система по п. 20, в которой по меньшей мере одно устройство обработки данных дополнительно автоматически осуществляет предоставление доступа или запрет доступа в определенную зону контроля на основании выполнения предварительно заданных пользователем системы условий.21. The system of claim. 20, in which at least one data processing device additionally automatically performs granting access or denying access to a certain control area based on the fulfillment of conditions predefined by the user of the system. 22. Система по п. 21, в которой упомянутыми предварительно заданными условиями является по меньшей мере одно или любая комбинация из: соответствие результата проверки карты доступа человека; соответствие введенного пин-кода или пароля; соответствие результата распознавания лица человека; показатель температуры человека не превышает предварительно заданного порогового значения; соответствие результата распознавания голоса человека; наличие необходимых средств индивидуальной защиты (СИЗ) на человеке для данной зоны контроля.22. The system of claim. 21, wherein said preset conditions are at least one or any combination of: matching the result of checking the person's access card; compliance of the entered PIN code or password; matching the result of human face recognition; the human temperature indicator does not exceed a predetermined threshold value; matching the result of human voice recognition; the presence of the necessary personal protective equipment (PPE) on a person for this control area. 23. Система по п. 22, в которой если одно из предварительно заданных пользователем системы условий не выполняется, то устройство обработки данных автоматически отправляет запрос к сотруднику безопасности.23. The system of claim. 22, wherein if one of the conditions predefined by the user of the system is not met, the data processing device automatically sends a request to the security officer. 24. Система по п. 22, в которой если одно из предварительно заданных пользователем системы условий не выполняется, то устройство обработки данных автоматически осуществляет по меньшей мере одно или комбинацию из предварительно заданных пользователем действий, таких как: блокировка карты доступа человека; инициирование тревоги; оповещение сотрудника безопасности; оповещение предварительно заданного человека по sms или по электронной почте; формирование отчета о нарушении.24. The system according to claim 22, in which if one of the conditions preset by the user of the system is not met, the data processing device automatically performs at least one or a combination of preset user actions, such as: blocking a person's access card; initiation of an alarm; notification of the security officer; notification of a pre-specified person by sms or email; generation of a violation report. 25. Система по п. 20, в которой устройство обработки данных по полученным данным за заданный пользователем интервал времени или же с предварительно заданной пользователем периодичностью по архивным данным формирует отчет в виде таблицы, содержащий данные о каждом конкретном человеке и о его показателях температуры.25. The system according to claim 20, in which the data processing device, based on the received data for a time interval specified by the user, or with a preset user frequency, according to the archive data, generates a report in the form of a table containing data about each specific person and his temperature indicators. 26. Способ контроля температуры тела людей по видеоданным, реализуемый вычислительной системой, включающей в себя, по меньшей мере, устройство обработки данных, память, хранящую базу данных, и несколько видеокамер, каждая из которых содержит обычный объектив и тепловизионный объектив, причем каждая видеокамера сконфигурирована для получения видеоданных из своей области зрения и для получения метаданных объектов, содержащих помимо прочего карту абсолютных температур от тепловизионного объектива, при этом способ содержит этапы, на которых по меньшей мере одним устройством обработки данных выполняется:26. A method of monitoring the body temperature of people by video data, implemented by a computing system that includes at least a data processing device, a memory storing a database, and several video cameras, each of which contains a conventional lens and a thermal imaging lens, and each video camera is configured for obtaining video data from its field of view and for obtaining metadata of objects containing, among other things, a map of absolute temperatures from a thermal imaging lens, while the method comprises the steps at which at least one data processing device performs: получение видеоданных и соответствующих им метаданных от упомянутых видеокамер в режиме реального времени;receiving video data and corresponding metadata from said video cameras in real time; обнаружение и распознавание изображения области лица по меньшей мере одного человека в каждом кадре видеоданных;detecting and recognizing an image of a face area of at least one person in each frame of video data; определение показателя температуры тела по меньшей мере одного обнаруженного человека путем использования соответствующего синхронного кадра из карты абсолютных температур, при этом показатель температуры берется с карты именно в области распознанного лица;determining the body temperature index of at least one detected person by using a corresponding synchronous frame from the absolute temperature map, while the temperature indicator is taken from the map exactly in the area of the recognized face; сохранение полученного показателя температуры, соответствующего распознанному лицу обнаруженного человека, в базе данных вместе с изображением лица этого человека.storing the obtained temperature index corresponding to the recognized face of the detected person in the database together with the image of the person's face. 27. Способ по п. 26, в котором дополнительно выполняется отображение в режиме реального времени видеоданных, на которых все обнаруженные области лица выделены рамкой лица, при этом рядом с каждым лицом отображается соответствующий ему показатель температуры.27. The method according to claim 26, further comprising real-time display of video data in which all detected areas of the face are outlined with a face frame, with the corresponding temperature indicator displayed next to each face. 28. Способ по любому из пп. 26, 27, в котором дополнительно осуществляется идентификация личности обнаруженного человека, путем сравнения распознанного изображения лица упомянутого человека с фотографиями лиц людей из базы данных и определения его идентификационных данных, причем упомянутая идентификация осуществляется посредством использования искусственной нейронной сети (ИНС),28. The method according to any one of paragraphs. 26, 27, in which the identification of the detected person is additionally carried out by comparing the recognized image of the face of the said person with photographs of the faces of people from the database and determining his identification data, wherein said identification is carried out using an artificial neural network (ANN), при этом показатель температуры, соответствующий упомянутому изображению лица человека, сохраняется в базе данных вместе с изображением лица этого человека и его идентификационными данными.the temperature index corresponding to the aforementioned image of a person's face is stored in the database along with the image of this person's face and his identification data. 29. Способ по п. 28, в котором дополнительно автоматически осуществляется предоставление доступа или запрет доступа в определенную зону контроля на основании выполнения предварительно заданных пользователем системы условий.29. The method according to claim 28, further comprising automatically granting access or denying access to a specific control area based on the fulfillment of conditions predefined by the user of the system. 30. Способ по п. 29, в котором упомянутыми предварительно заданными условиями является по меньшей мере одно или любая комбинация из: соответствие результата проверки карты доступа человека; соответствие введенного пин-кода или пароля; соответствие результата распознавания лица человека; показатель температуры человека не превышает предварительно заданного порогового значения; соответствие результата распознавания голоса человека; наличие необходимых средств индивидуальной защиты (СИЗ) на человеке для данной зоны контроля.30. The method of claim. 29, wherein said predetermined conditions are at least one or any combination of: matching the result of checking a person's access card; compliance of the entered PIN code or password; matching the result of human face recognition; the human temperature indicator does not exceed a predetermined threshold value; matching the result of human voice recognition; the presence of the necessary personal protective equipment (PPE) on a person for this control area. 31. Способ по п. 30, в котором если одно из предварительно заданных пользователем системы условий не выполняется, то тогда автоматически осуществляется отправка запроса к сотруднику безопасности.31. The method according to claim 30, wherein if one of the conditions predefined by the system user is not met, then a request is automatically sent to the security officer. 32. Способ по п. 30, в котором если одно из предварительно заданных пользователем системы условий не выполняется, то тогда автоматически осуществляется по меньшей мере одно или комбинация из предварительно заданных пользователем действий, таких как: блокировка карты доступа человека; инициирование тревоги; оповещение сотрудника безопасности; оповещение предварительно заданного человека по sms или по электронной почте; формирование отчета о нарушении.32. The method according to claim 30, in which if one of the conditions preset by the user of the system is not met, then at least one or a combination of actions preset by the user is automatically performed, such as: blocking a person's access card; initiation of an alarm; security officer alert; notification of a pre-specified person by sms or email; generation of a violation report. 33. Способ по п. 28, в котором дополнительно по полученным данным за заданный пользователем интервал времени или же с предварительно заданной пользователем периодичностью по архивным данным формируется отчет в виде таблицы, содержащий данные о каждом конкретном человеке и о его показателях температуры.33. The method according to claim 28, in which, additionally, according to the received data for a time interval specified by the user or with a predetermined frequency by the user, according to the archive data, a report is generated in the form of a table containing data about each specific person and his temperature indicators. 34. Считываемый компьютером носитель данных, содержащий исполняемые процессором компьютера инструкции для осуществления способов контроля температуры тела людей по видеоданным по любому из пп. 26-33.34. A computer-readable storage medium containing instructions executed by a computer processor for implementing methods of monitoring the body temperature of people using video data according to any one of claims. 26-33.

Images