RU2785769C1 - Method and system for indoor cleaning using automated apparatus - Google Patents

Abstract

FIELD: controlling.

SUBSTANCE: technical solution relates to the field of computer technology, in particular, to control of automated apparatus for indoor cleaning. The claimed technical result is achieved by implementing a method for indoor cleaning using automated cleaning apparatus, including the following stages: using the processor of a computing apparatus to obtain at least images of the floor of the room from at least one video surveillance camera; building the fouling map of the room based on the images obtained, wherein the map is generated using a machine learning model trained on room fouling images of; analysing the client flow at the time of generation of the fouling map; sending the generated fouling map and the client flow data to at least one automated cleaning apparatus; using at least one automated cleaning to obtain data from the computing apparatus; forming a cleaning route of the room based on the obtained fouling map and customer flow; cleaning the room.

EFFECT: higher efficiency of indoor cleaning using automated devices due to the dynamically built fouling map of the room and the customer traffic data used when forming the route of movement of automated cleaning apparatus.

10 cl, 5 dwg

Description

ОБЛАСТЬ ТЕХНИКИFIELD OF TECHNOLOGY

[0001] Настоящее техническое решение относится к области компьютерной техники, в частности управлению автоматизированными устройствами для уборки помещения.[0001] This technical solution relates to the field of computer technology, in particular the control of automated cleaning devices.

УРОВЕНЬ ТЕХНИКИBACKGROUND OF THE INVENTION

[0002] Существующие решения в области уборки помещения с помощью автоматизированных устройств, как правило, направлены на различные способы построения маршрута перемещения такого рода устройств, например, роботизированных устройств.[0002] Existing solutions in the field of cleaning the premises using automated devices, as a rule, are directed to various ways of constructing a route for the movement of such devices, for example, robotic devices.

[0003] Известны устройство и способ отслеживания выполненных работ по уборке (патент RU 2727215 С2), которые представляют собой систему программного управления работ по уборке для упрощения уборки поверхностей и записи выполняемых работ по уборке. Данная система содержит сенсорное средство, позволяющее регистрировать различные параметры проводимой уборки (контактное давление и т.п.) для отслеживания выполненных работ по уборке.[0003] A device and a method for tracking completed cleaning work are known (patent RU 2727215 C2), which is a program management system for cleaning work to simplify cleaning surfaces and record cleaning work performed. This system contains a sensor means that allows you to register various cleaning parameters (contact pressure, etc.) in order to track the cleaning work performed.

[0004] В другом решении раскрывается система автоматической уборки, робот-уборщик и способ управления роботом-уборщиком (патент RU 2620236 С1), которая представляет собой средство управления роботом-уборщиком, получающее инструкции движения (включая зоны концентрированной уборки, входные инструкции ограниченной зоны и т.п.) от пользователя в процессе выполнения операций по уборке.[0004] Another solution discloses an automatic cleaning system, a cleaning robot and a method for controlling a cleaning robot (patent RU 2620236 C1), which is a robot cleaning control that receives movement instructions (including concentrated cleaning areas, restricted area input instructions, and etc.) from the user during cleaning operations.

[0005] Общей проблемой известных решений является недостаточная скорость обновления информации об области контроля уборки, а также отсутствие анализа плотности клиентопотока, что критично для своевременного планирования маршрута уборки в помещениях с одновременным нахождением людей внутри.[0005] A common problem of the known solutions is the insufficient speed of updating information about the cleaning control area, as well as the lack of analysis of the density of client traffic, which is critical for timely planning of the cleaning route in the premises while people are inside.

СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

[0006] Заявленное изобретение направлено на решение технической проблемы, заключающейся в недостаточной эффективности управления автоматизированными устройствами для уборки помещения за счет несвоевременного обновления информации о внутренней обстановке помещения.[0006] The claimed invention is aimed at solving the technical problem of insufficient control efficiency of automated cleaning devices due to untimely updating of information about the interior environment of the room.

[0007] Технический результат заключается в повышении эффективности уборки помещения с помощью автоматизированных устройств, за счет динамического построения карты загрязнения помещения и данных о клиентопотоке, используемых при формировании маршрута перемещения автоматизированных устройств для уборки.[0007] The technical result consists in increasing the efficiency of cleaning the premises with the help of automated devices, due to the dynamic construction of a pollution map of the premises and data on the client flow used in the formation of the route of movement of automated cleaning devices.

[0008] Заявленный технический результат достигается за счет осуществления способа уборки помещения с помощью автоматизированных устройств для уборки, содержащий этапы, на которых:[0008] The claimed technical result is achieved through the implementation of a method for cleaning a room using automated cleaning devices, comprising the steps of:

с помощью процессора вычислительного устройства получают по меньшей мере изображения пола помещения от по меньшей мере одной камеры видеонаблюдения;using the processor of the computing device receive at least images of the floor of the room from at least one video surveillance camera;

формируют карту загрязнения помещения на основании полученных изображений, причем формирование карты осуществляется с помощью модели машинного обучения, натренированной на изображениях загрязнения помещений;generating a map of indoor pollution based on the obtained images, wherein the map is generated using a machine learning model trained on the images of indoor pollution;

осуществляют анализ клиентопотока в момент формирования карты загрязнения;carry out the analysis of the client flow at the time of formation of the pollution map;

передают сформированную карту загрязнения и данные клиентопотока на по меньшей мере одно автоматизированное устройство для уборки; с помощью по меньшей мере одного автоматизированного устройства для уборки получают данные от вычислительного устройства;transmitting the generated pollution map and client flow data to at least one automated cleaning device; using at least one automated cleaning device, receiving data from a computing device;

формируют маршрут уборки помещения на основании полученной карты загрязнения и клиентопотока;form the route of cleaning the premises on the basis of the received pollution map and client flow;

осуществляют уборку помещения.cleaning the premises.

[0009] В одном из частных примеров реализации способа дополнительно с камеры видеонаблюдения получают данные загрязнения объектов в помещении.[0009] In one of the particular examples of the implementation of the method, data on the contamination of objects in the room is additionally obtained from the video surveillance camera.

[0010] В другом частном примере реализации способа при построении карты загрязнения полученное изображение сегментируется и обрабатывается моделью машинного обучения для определения для каждого сегмента наличия и степени загрязнения.[0010] In another particular example of the implementation of the method, when building a pollution map, the resulting image is segmented and processed by a machine learning model to determine the presence and degree of pollution for each segment.

[0011] В другом частном примере реализации способа для сегментов определяется по меньшей мере одно из: приоритетность сегмента уборки, интенсивность уборки, применение моющего состава, метод использования моющего или чистящего средства.[0011] In another particular example of the implementation of the method for the segments, at least one of: the priority of the cleaning segment, the cleaning intensity, the use of the detergent composition, the method of using the detergent or cleaning agent is determined.

[0012] В другом частном примере реализации способа маршрут движения автоматизированного устройства для уборки формируется на основании приоритетности уборки сегментов.[0012] In another particular example of the implementation of the method, the route of movement of the automated device for cleaning is formed based on the priority of cleaning segments.

[0013] В другом частном примере реализации способа начало уборки помещения начинается при заданном пороговом значении клиентопотока и/или уровня загрязнения одного или нескольких сегментов.[0013] In another particular example of the implementation of the method, the start of cleaning the premises begins at a given threshold value of the client flow and / or the level of contamination of one or more segments.

[0014] В другом частном примере реализации способа для автоматизированного устройства для уборки предварительно дополнительно формируется карта помещения.[0014] In another particular example of the implementation of the method for an automated cleaning device, a map of the room is additionally preliminarily formed.

[0015] В другом частном примере реализации способа карта помещения формируется на основании данных с по меньшей мере одного оптического сенсора, установленного на автоматизированном устройстве.[0015] In another particular example of the implementation of the method, a room map is generated based on data from at least one optical sensor installed on an automated device.

[0016] В другом частном примере реализации способа карта загрязнения динамически обновляется в течение заданного временного диапазона.[0016] In another particular example of the implementation of the method, the pollution map is dynamically updated within a given time range.

[0017] В другом частном примере реализации способа для уборки помещения одновременно применяется несколько автоматизированных устройств для уборки.[0017] In another particular example of the implementation of the method for cleaning a room, several automated cleaning devices are simultaneously used.

[0018] В другом частном примере реализации способа каждое автоматизированное средство рассчитывает маршрут уборки с учетом движения других автоматизированных устройств.[0018] In another particular example of the implementation of the method, each automated tool calculates the cleaning route, taking into account the movement of other automated devices.

[0019] Заявленный технический результат достигается также с помощью системы уборки помещения с помощью автоматизированных устройства для уборки, которая содержит:[0019] The claimed technical result is also achieved using a room cleaning system using automated cleaning devices, which contains:

вычислительное устройство, содержащее по меньшей мере один процессор и связанное с по меньшей мере одной камерой видеонаблюдения;a computing device comprising at least one processor and associated with at least one video surveillance camera;

по меньшей мере одно устройство для уборки, для управления которым используется канал передачи данных с вычислительным устройством;at least one cleaning device controlled by a data link with a computing device;

причемand

с помощью процессора вычислительного устройства получают по меньшей мере изображения пола помещения от по меньшей мере одной камеры видеонаблюдения;using the processor of the computing device receive at least images of the floor of the room from at least one video surveillance camera;

формируют карту загрязнения помещения на основании полученных изображений, причем формирование карты осуществляется с помощью модели машинного обучения, натренированной на изображениях загрязнения помещений;generating a map of indoor pollution based on the obtained images, wherein the map is generated using a machine learning model trained on the images of indoor pollution;

осуществляют анализ клиентопотока в момент формирования карты загрязнения;carry out the analysis of the client flow at the time of formation of the pollution map;

передают сформированную карту загрязнения и данные клиентопотока для управления по меньшей мере одним автоматизированным устройством для уборки;transmitting the generated pollution map and client flow data to control at least one automated cleaning device;

с помощью по меньшей мере одного автоматизированного устройства для уборки получают данные от вычислительного устройства;using at least one automated cleaning device, receiving data from a computing device;

формируют маршрут уборки помещения на основании полученной карты загрязнения и клиентопотока;form the route of cleaning the premises on the basis of the received pollution map and client flow;

осуществляют уборку помещения.cleaning the premises.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS

[0020] Фиг. 1 иллюстрирует общий вид заявленной системы.[0020] FIG. 1 illustrates a general view of the claimed system.

[0021] Фиг. 2А иллюстрирует пример формирования карты загрязнения.[0021] FIG. 2A illustrates an example of pollution mapping.

[0022] Фиг. 2Б иллюстрирует пример архитектуры модели машинного обучения.[0022] FIG. 2B illustrates an example machine learning model architecture.

[0023] Фиг. 3 иллюстрирует блок-схему заявленного способа.[0023] FIG. 3 illustrates a block diagram of the claimed method.

[0024] Фиг. 4 иллюстрирует схему вычислительного устйроства.[0024] FIG. 4 illustrates a circuit diagram of a computing device.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯIMPLEMENTATION OF THE INVENTION

[0025] На Фиг. 1 представлен общий вид заявленного решения. Решение базируется на технологии анализа изображений, получаемых с одной или нескольких камер видеонаблюдения (110), установленных в зоне уборки (10). В качестве зоны уборки (10) следует понимать открытое или закрытое помещение, например, банковское отделение, магазин, ресторан и т.п. Информация, получаемая с камер видеонаблюдения (ПО) передается по каналу передачи данных (120), например, TCP/IP, на вычислительное устройство (130), которое выполняет последующую обработку получаемых данных в части анализа изображений поверхностей, в частности, пола (102) для последующего формирования данных о степени его загрязнения.[0025] In FIG. 1 shows a general view of the claimed solution. The solution is based on the technology of analyzing images obtained from one or more video surveillance cameras (110) installed in the cleaning area (10). The cleaning area (10) is understood to be an open or closed area, such as a bank branch, a shop, a restaurant, etc. Information received from video surveillance cameras (software) is transmitted via a data transmission channel (120), for example, TCP / IP, to a computing device (130), which performs subsequent processing of the received data in terms of analyzing images of surfaces, in particular, the floor (102) for the subsequent formation of data on the degree of its pollution.

[0026] В качестве камер видеонаблюдения (110) может применяться любой пригодный тип камер, обеспечивающих съемку видео, например, IP камеры, PTZ камеры, и прочие. В части канала передачи данных (120) может применяться любой пригодный тип связи, в частности, протокол передачи данных, поддерживаемый камерами (110), обеспечивающий передачу с них информации на вычислительное устройство (130). Примерами такого рода типа связи может быть: TCP/IP, LAN, WLAN, WAN, PAN, Wi-Fi, Ethernet и т.п.[0026] The video surveillance cameras (110) can be any suitable type of cameras capable of capturing video, such as IP cameras, PTZ cameras, and others. As part of the data link (120), any suitable type of communication can be used, in particular, the data transfer protocol supported by the cameras (110), which ensures the transfer of information from them to the computing device (130). Examples of this kind of communication type can be: TCP/IP, LAN, WLAN, WAN, PAN, Wi-Fi, Ethernet, etc.

[0027] В качестве вычислительного устройства (130) может применяться, например, персональный компьютер, ноутбук, сервер, планшет и т.п.[0027] As the computing device (130), for example, a personal computer, laptop, server, tablet, or the like can be used.

[0028] На основании информации с камер (110), обработанной устройством (130), формируется карта загрязнения зоны уборки (10), которая строится по полученным изображениям, характеризующих степень загрязнения пола (102). Также учитывается информация о количестве и плотности клиентопотока, рассчитываемой по распознаванию наличия людей (101) в зоне уборки (10).[0028] Based on the information from the cameras (110) processed by the device (130), a contamination map of the cleaning area (10) is formed, which is built on the basis of the obtained images characterizing the degree of contamination of the floor (102). It also takes into account information about the number and density of client traffic, calculated by recognizing the presence of people (101) in the cleaning area (10).

[0029] Полученная карта загрязнений и данные клиентопотока предаются на автоматизированное устройство для уборки (140), например, робот-пылесос, робот-мойщик, автоматизированная поломоечная машина и т.п., который формирует маршрут передвижения для обеспечения процесса уборки зоны (10), в частности, поверхности пола (102). Автоматизированное устройство (140) для уборки может являться как полностью автономным (робот-пылесос) устройством, так и управляемым оператором, например, поломойная машина. В этом случае оператору может выводиться информация о предпочтительном маршруте перемещения для осуществления эффективной уборки пола (102), например, с помощью изображения о маршруте перемещения на дисплее устройства (140).[0029] The resulting pollution map and client flow data are transmitted to an automated cleaning device (140), for example, a robot vacuum cleaner, robot cleaner, automated scrubber, etc., which forms a movement route to ensure the cleaning process of the area (10) in particular floor surfaces (102). The automated cleaning device (140) can be either a completely autonomous device (robot vacuum cleaner) or an operator-controlled device, such as a scrubber drier. In this case, the operator may be provided with information about the preferred travel route for effective floor cleaning (102), for example, using the image of the travel route on the display of the device (140).

[0030] На Фиг. 2А представлен принцип формирования карты загрязнения (200). Карта загрязнения (200) создается с помощью обработки изображений пола (102) с помощью модели машинного обучения (210). Модель (210) состоит из нескольких модулей, которые включают специализированные детекторы, которые являются частью системы видеоаналитики и используются для определения объектов (и/или изменения объектов - движения объектов и т.п.) на изображении и нахождения границ этих объектов за счет использования алгоритмов обработки изображений. В частности, модуль детектора в рамках работы модели (210) используется для определения людей и обучен на открытом датасете с людьми (COCO Dataset), обогащенном изображениями людей с камер видеонаблюдения в различных помещениях и на транспорте. Модуль, отвечающий за классификацию человека на изображении, определение наличия пола под ним и характеристику чистоты этого пола, обучался на изображениях людей, вырезанных из изображений с камер наблюдения с расширением границ человека на 10% от длинной стороны (как правило, высоты). Каждому из этих изображений был назначен класс для задачи классификации, установлен признак наличия пола и степень загрязнения пола от О до 1 с шагом 0.2.[0030] In FIG. 2A shows the principle of generating a pollution map (200). A pollution map (200) is generated by floor image processing (102) with a machine learning model (210). Model (210) consists of several modules that include specialized detectors that are part of the video analytics system and are used to detect objects (and/or change objects - object movements, etc.) in the image and find the boundaries of these objects through the use of algorithms image processing. In particular, the detector module within the framework of the model (210) is used to identify people and is trained on an open dataset with people (COCO Dataset), enriched with images of people from CCTV cameras in various premises and in transport. The module responsible for classifying a person in an image, determining the presence of a floor under it and characterizing the purity of this floor, was trained on images of people cut out from images from surveillance cameras with the expansion of the boundaries of a person by 10% of the long side (usually height). Each of these images was assigned a class for the classification task, a sign of the presence of sex, and the degree of floor contamination from 0 to 1 with a step of 0.2.

[0031] Модель (210) в одном из частных примеров реализации может представлять собой одну или несколько нейронных сетей, например, сверточную нейронную сеть (СНС), которая получает на вход изображение с камеры видеонаблюдения (110). На Фиг. 2Б приведен один из примеров реализации архитектуры модели машинного обучения (210). Входное изображение (211) обрабатывается с помощью модуля детектора (новое изображение), и последующую обработку результатов детекции в модуле сверточной нейронной сети (210), состоящей из сверточных слоев (212, 213), и полносвязных модулей, отвечающих за формирование ответов модели (214) - (216). Модуль (214) классифицирует текущее действие человека, модуль (215) выполняет бинарную классификацию по признаку наличия пола в кадре, и модуль (216) выполняет задачу регрессии для определения уровня загрязнения пола от 0 до 1.[0031] Model (210) in one of the particular examples of implementation can be one or more neural networks, for example, a convolutional neural network (CNN), which receives an image from a video surveillance camera (110) as input. On FIG. 2B shows one example implementation of the machine learning model architecture (210). The input image (211) is processed using the detector module (new image), and the subsequent processing of the detection results in the convolutional neural network module (210), consisting of convolutional layers (212, 213), and fully connected modules responsible for generating model responses (214 ) - (216). Module (214) classifies the current action of the person, module (215) performs a binary classification based on the presence of gender in the frame, and module (216) performs a regression task to determine the floor contamination level from 0 to 1.

[0032] Общая карта загрязнений (200) формируется динамически при постоянном сканировании степени загрязнения пола (102) с помощью обработки изображений с камер (110) моделью (210). Карта загрязнения (200) разбивает область изображения пола (102) на сегменты (201), для которых определяется степень загрязнения от 0 до 1 с помощью модели (210). Результатом исполнения модели (210) является оценка уровня загрязнения пола (102) под человеком (11) и вокруг него в каждом сегменте (201).[0032] The overall pollution map (200) is dynamically generated by constantly scanning the degree of pollution of the floor (102) by processing images from the cameras (110) by the model (210). The pollution map (200) divides the floor image area (102) into segments (201), for which the degree of pollution is determined from 0 to 1 using the model (210). The result of the execution of the model (210) is an estimate of the level of contamination of the floor (102) under the person (11) and around him in each segment (201).

[0033] Полученные на выходе модели (210) данные о чистоте пола (102) добавляются на общую карту загрязнений (200). Для этого исходное изображение с полом (102) разделяется на m*n одинаковых сегментов (201). Каждому сегменту (201) соответствует список из k последних значений загрязнения пола для этой области (k>=1). Текущим уровнем загрязнения конкретного сегмента (201) является среднее всех к значений. Общим текущим уровнем загрязнения пола (102) считается среднее значение q самых загрязненных сегментов (1 <=q <=m*n).[0033] The data on the cleanliness of the floor (102) obtained at the output of the model (210) are added to the overall pollution map (200). To do this, the original image with the floor (102) is divided into m*n identical segments (201). Each segment (201) corresponds to a list of the last k floor contamination values for that area (k>=1). The current pollution level of a particular segment (201) is the average of all k values. The total current level of floor contamination (102) is considered to be the average value q of the most polluted segments (1 <=q <=m*n).

[0034] Изображение человека и области пола под ним формируется по результатам обработки кадра детектором и обрабатывается следующим модулем модели. К полученному изображению применяется следующая последовательность действий:[0034] The image of a person and the area of the floor under him is formed based on the results of processing the frame by the detector and processed by the next module of the model. The following sequence of actions is applied to the resulting image:

1. Его изображение подается на модуль определения наличия и степени загрязнения пола модели (210);1. Its image is fed to the module for determining the presence and degree of contamination of the floor of the model (210);

2. Если на изображении нет пола, то карта не обновляется. Дальнейшие шаги указаны для случая, когда пол на изображении найден;2. If there is no gender in the image, then the map is not updated. Further steps are indicated for the case when the gender in the image is found;

3. Определяется область карты, в которую попадает центр изображения, полученного от детектора;3. The area of the map is determined, in which the center of the image received from the detector falls;

4. В список значений загрязнения для найденной области карты добавляется новое значение;4. A new value is added to the list of pollution values for the found area of the map;

5. Если количество элементов в списке больше к, то удаляется самое старое значение загрязнения из списка;5. If the number of elements in the list is greater than k, then the oldest pollution value is removed from the list;

6. Текущим значением загрязнения области является среднее значение элементов списка.6. The current pollution value of the area is the average value of the list items.

[0035] В предложенном подходе предлагается сканирование с заданной частотой уровня загрязнения пола (102) всеми людьми (101) в кадре, и использование полученных данных для составления/обновления текущей карты загрязнений (200). Также подход позволяет эффективно оценивать уровень загрязнения пола по видеоданным с различным масштабом зоны уборки (10) на кадре, так как работает с результатами работы детектора, которые имеют уже одинаковый масштаб. Обновление карты загрязнения (200) осуществляется с помощью изменения значений загрязнения областей и может быть представлено в виде цветов пикселей карты (200) на соответствующих сегментах (201) в зависимости от степени их загрязнения.[0035] The proposed approach proposes to scan with a given frequency the floor contamination level (102) of all people (101) in the frame, and use the obtained data to compile/update the current contamination map (200). Also, the approach makes it possible to effectively estimate the level of floor contamination from video data with different scales of the cleaning area (10) on the frame, since it works with the results of the detector, which already have the same scale. Updating the pollution map (200) is carried out by changing the pollution values of the areas and can be represented as colors of the map pixels (200) on the corresponding segments (201) depending on the degree of their pollution.

[0036] Применение карты загрязнений позволяет настроить правила обновления сегментов (201) пола (102) для оперативного обновления информации о чистоте в зоне уборки (10), а также получать несколько значений, характеризующих чистоту (например, значение максимально грязного сегмента, среднее значение пяти максимально загрязненных сегментов, среднее значение всех сегментов и т.п., что позволяет приоритезировать места уборки при последующем построении маршрута перемещения автоматизированного устройства (140).[0036] The use of a pollution map allows you to configure the rules for updating the segments (201) of the floor (102) to quickly update information about the cleanliness in the cleaning area (10), as well as to obtain several values characterizing the cleanliness (for example, the value of the most dirty segment, the average value of five the most polluted segments, the average value of all segments, etc., which allows you to prioritize the places of cleaning during the subsequent construction of the route of movement of the automated device (140).

[0037] На Фиг. 3 представлена блок-схема выполнения способа (300) уборки помещения. На первом этапе (301) данные с камеры (110), в частности, изображение области ее контроля в виде видео передается на вычислительное устройство (130), на котором впоследствии осуществляется обработка данных с помощью модели (210) и формируется текущая карта загрязнения (200) пола (102) в зоне уборки (10).[0037] In FIG. 3 is a flowchart of the method (300) for cleaning a room. At the first stage (301), data from the camera (110), in particular, the image of the area of its control in the form of video, is transmitted to the computing device (130), which subsequently processes the data using the model (210) and forms the current pollution map (200 ) floor (102) in the cleaning area (10).

[0038] Далее на этапе (302) по полученным изображениям с камеры (110) рассчитывается плотность клиентопотока как количество распознанных людей (101) на кадрах зоны уборки в текущий момент времени. Плотность клиентопотока используется для планирования уборки (включая время начала уборки, маршрут и режимы уборки и т.п.) используя правила на основании пороговых значений (клиентопотока, уровней загрязнения и т.п.) или других методов. Полученные планы уборки передаются по каналу передачи (120) совместно с рассчитанной картой загрязнения (200) на автоматизированное устройство (140) для уборки.[0038] Next, at step (302), based on the received images from the camera (110), the density of the client flow is calculated as the number of recognized people (101) on the frames of the cleaning area at the current time. Traffic density is used to plan cleaning (including cleaning start time, cleaning route and modes, etc.) using rules based on threshold values (client traffic, pollution levels, etc.) or other methods. The received cleaning plans are transmitted via the transmission channel (120) together with the calculated pollution map (200) to the automated device (140) for cleaning.

[0039] На этапе (303) программная логика устройства (140) на основании сформированной карты загрязнения (200) и данных о плотности клиентопотока формирует маршрут перемещения устройства (140). Маршрут может формироваться на основании сегментов (201) карты загрязнения (200), для которых определяется приоритетность их уборки с учетом наличия возможности свободного перемещения по зоне уборки (10) при наличии людей (11). Маршрут перемещения устройства (140) может также формироваться непосредственно на вычислительном устройстве (130) с последующей передачей по каналу передачи данных (120) готового маршрута на автоматизированное устройство (140) для уборки.[0039] At step (303), the program logic of the device (140), based on the generated pollution map (200) and data on the density of the client flow, forms the route of movement of the device (140). The route can be formed on the basis of segments (201) of the pollution map (200), for which the priority of their cleaning is determined, taking into account the possibility of free movement around the cleaning zone (10) in the presence of people (11). The route of movement of the device (140) can also be formed directly on the computing device (130) with subsequent transmission via the data link (120) of the finished route to the automated device (140) for cleaning.

[0040] Автоматизированное устройство (140) также может оснащаться сенсорами, например, LIDAR, оптическим сенсором, звуковым сенсором и прочими, которые дополнительно обеспечивают получение информации об окружающей обстановке, на основании которой выполняется корректировка перемещения устройства (140). С помощью сенсоров устройства (140) карта зоны уборки (10), т.е. помещения передвижения устройства (140), может предварительно формироваться в части получения информации об окружающем пространстве в помещении и его геометрических характеристиках. Сегменты пола (102), соответствующие сегментам (201) карты загрязнения (200), могут характеризоваться пространственными координатами, обеспечивающими определение маршрута передвижения устройства (140).[0040] The automated device (140) can also be equipped with sensors, such as LIDAR, optical sensor, sound sensor, and others, which additionally provide information about the environment, based on which the movement of the device (140) is corrected. Using the sensors of the device (140), a map of the cleaning area (10), i.e. of the movement room of the device (140) can be preliminarily formed in terms of obtaining information about the surrounding space in the room and its geometric characteristics. The floor segments (102) corresponding to the segments (201) of the pollution map (200) can be characterized by spatial coordinates that provide the determination of the route of movement of the device (140).

[0041] Дополнительно для сегментов (201) может определяться интенсивность уборки, применение моющего состава для указанного сегмента, или метод использования моющего или чистящего средства. Расчет концентрации и состава используемых средств осуществляется на основе плотности клиентопотока и полученного уровня загрязнения пола (102) в соответствующем сегменте (201). Например, для удаления несильных загрязнений и поддерживающей уборки сегментов (201) с низким клиентопотоком может использоваться роботизированная уборка со слабощелочными моющими средствами. А для сильно загрязненных сегментов (201) - ручная уборка сильнощелочными моющими средствами.[0041] Additionally, for the segments (201), the intensity of cleaning, the use of the detergent composition for the specified segment, or the method of using the detergent or cleaning agent can be determined. The calculation of the concentration and composition of the products used is based on the density of the client flow and the obtained level of floor contamination (102) in the corresponding segment (201). For example, for light soil removal and maintenance cleaning of segments (201) with low customer traffic, robotic cleaning with mild alkaline detergents can be used. And for heavily soiled segments (201) - manual cleaning with strongly alkaline detergents.

[0042] На этапе (304) по сформированному маршруту перемещения устройство (140) выдвигается для обеспечения уборки зоны (10). Как правило, с помощью роботизированных средств выполняется уборка непосредственно пола (102), в частности, влажная и/или сухая уборка. Дополнительно на основании данных с камеры (110) могут определяться поверхности элементов окружения, например, банкоматы (103) в отделении банка, которые также подвергаются загрязнению. Такие данные могут также использоваться при формировании карты загрязнения (200) и передаваться как устройствам (140), выполняющим уборку в автономном режиме, так и средствам дополненной реальности (AR-очки), носимые обслуживающим персоналом. В этом случае такие поверхности будут выделяться с помощью их пиксельной обработки и позволят более оперативно реагировать на необходимость проведения уборки.[0042] At step (304), the device (140) extends along the generated movement route to ensure cleaning of the area (10). As a rule, robotic means directly clean the floor (102), in particular wet and/or dry cleaning. Additionally, based on data from the camera (110), surfaces of elements of the environment, for example, ATMs (103) in a bank branch, which are also subject to contamination, can be determined. Such data can also be used in the formation of a pollution map (200) and transmitted both to devices (140) performing offline cleaning and augmented reality (AR-glasses) worn by service personnel. In this case, such surfaces will be highlighted with the help of their pixel processing and will allow you to respond more quickly to the need for cleaning.

[0043] При выдвижении автоматизированных устройств (140) в зону уборки (10) проверяется текущая плотность клиентопотока и, в случае, если количество людей (11) выше заданного порогового значения, то устройство (140) будет ожидать снижения данного показателя, которое будет фиксировать при итеративной обработке вычислительным устройством (130) данных с камеры (110).[0043] When extending automated devices (140) into the cleaning area (10), the current density of the client flow is checked and, if the number of people (11) is higher than the specified threshold value, then the device (140) will expect a decrease in this indicator, which will fix during iterative processing by the computing device (130) of data from the camera (110).

[0044] В одном из частных примеров реализации заявленного решения может применяться несколько автоматизированных устройств (140), например, робот мойщик и робот пылесос. В этом случае при формировании маршрута их перемещения принимается во внимание как плотность клиентопотока, на основании чего будет определяться фактическая возможность их перемещения одновременно с людьми (101) в зоне уборки (10), так и очередность их обработки пола (102) на основании сегментов (201). Как пример, более загрязненные сегменты (201) вначале будут подлежать влажной уборке, а потом сухой уборке, что позволяет сформировать маршрут движения нескольких устройств (140) последовательно.[0044] In one of the particular examples of the implementation of the claimed solution, several automated devices (140) can be used, for example, a cleaning robot and a vacuum cleaner robot. In this case, when forming the route of their movement, both the density of the client flow is taken into account, on the basis of which the actual possibility of their movement simultaneously with people (101) in the cleaning area (10) and the order of their floor processing (102) will be determined based on the segments ( 201). As an example, more polluted segments (201) will first be subjected to wet cleaning, and then dry cleaning, which allows you to create a route for several devices (140) in sequence.

[0045] На Фиг. 4 представлен общий вид вычислительного устройства (400), пригодного для выполнения заявленного способа и на базе которого может быть реализовано вычислительное устройство (130). Устройство (400) может представлять собой, например, сервер или иной тип вычислительного устройства, который может применяться для реализации заявленного технического решения. В том числе входить в состав облачной вычислительной платформы.[0045] In FIG. 4 shows a general view of a computing device (400) suitable for performing the claimed method and on the basis of which a computing device (130) can be implemented. The device (400) may be, for example, a server or other type of computing device that can be used to implement the claimed technical solution. Including being part of a cloud computing platform.

[0046] В общем случае вычислительное устройство (400) содержит объединенные общей шиной информационного обмена один или несколько процессоров (401), средства памяти, такие как ОЗУ (402) и ПЗУ (403), интерфейсы ввода/вывода (404), устройства ввода/вывода (405), и устройство для сетевого взаимодействия (406).[0046] In general, the computing device (400) contains one or more processors (401) connected by a common information exchange bus, memory means such as RAM (402) and ROM (403), input / output interfaces (404), input devices /output (405), and a device for networking (406).

[0047] Процессор (401) (или несколько процессоров, многоядерный процессор) могут выбираться из ассортимента устройств, широко применяемых в текущее время, например, компаний Intel™, AMD™, Apple™, Samsung Exynos™, MediaTEK™, Qualcomm Snapdragon™ и т.п. В качестве процессора (401) может также применяться графический процессор, например, Nvidia, AMD, Graphcore и пр.[0047] The processor (401) (or multiple processors, multi-core processor) may be selected from a variety of devices currently widely used, such as Intel™, AMD™, Apple™, Samsung Exynos™, MediaTEK™, Qualcomm Snapdragon™, and etc. The processor (401) can also be a graphics processor such as Nvidia, AMD, Graphcore, etc.

[0048] ОЗУ (402) представляет собой оперативную память и предназначено для хранения исполняемых процессором (401) машиночитаемых инструкций для выполнение необходимых операций по логической обработке данных. ОЗУ (402), как правило, содержит исполняемые инструкции операционной системы и соответствующих программных компонент (приложения, программные модули и т.п.).[0048] RAM (402) is a random access memory and is designed to store machine-readable instructions executable by the processor (401) to perform the necessary data logical processing operations. The RAM (402) typically contains the executable instructions of the operating system and associated software components (applications, program modules, etc.).

[0049] ПЗУ (403) представляет собой одно или более устройств постоянного хранения данных, например, жесткий диск (HDD), твердотельный накопитель данных (SSD), флэш-память (EEPROM, NAND и т.п.), оптические носители информации (CD-R/RW, DVD-R/RW, BlueRay Disc, MD) и др.[0049] A ROM (403) is one or more persistent storage devices such as a hard disk drive (HDD), a solid state drive (SSD), flash memory (EEPROM, NAND, etc.), optical storage media ( CD-R/RW, DVD-R/RW, BlueRay Disc, MD), etc.

[0050] Для организации работы компонентов устройства (400) и организации работы внешних подключаемых устройств применяются различные виды интерфейсов В/В (404). Выбор соответствующих интерфейсов зависит от конкретного исполнения вычислительного устройства, которые могут представлять собой, не ограничиваясь: PCI, AGP, PS/2, IrDa, Fire Wire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232 и т.п.[0051] Для обеспечения взаимодействия пользователя с вычислительным устройством (400) применяются различные средства (405) В/В информации, например, клавиатура, дисплей (монитор), сенсорный дисплей, тач-пад, джойстик, манипулятор мышь, световое перо, стилус, сенсорная панель, трекбол, динамики, микрофон, средства дополненной реальности, оптические сенсоры, планшет, световые индикаторы, проектор, камера, средства биометрической идентификации (сканер сетчатки глаза, сканер отпечатков пальцев, модуль распознавания голоса) и т.п.[0050] Various types of I/O interfaces (404) are used to organize the operation of device components (400) and organize the operation of external connected devices. The choice of the appropriate interfaces depends on the particular design of the computing device, which can be, but not limited to: PCI, AGP, PS/2, IrDa, Fire Wire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro , mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232, etc.[0051] To ensure user interaction with the computing device (400), various means (405) of I/O information are used, for example, a keyboard, a display (monitor), a touch screen, a touchpad, a joystick, a mouse, a light pen, a stylus, a touchpad, trackball, speakers, microphone, augmented reality tools, optical sensors, tablet, indicator lights, projector, camera, biometric identification tools (retinal scanner, fingerprint scanner, voice recognition module), etc.

[0052] Средство сетевого взаимодействия (406) обеспечивает передачу данных устройством (400) посредством внутренней или внешней вычислительной сети, например, Интранет, Интернет, ЛВС и т.п. В качестве одного или более средств (406) может использоваться, но не ограничиваться: Ethernet карта, GSM модем, GPRS модем, LTE модем, 5G модем, модуль спутниковой связи, NFC модуль, Bluetooth и/или BLE модуль, Wi-Fi модуль и др.[0052] The networking means (406) enables the communication of data by the device (400) via an internal or external computer network, such as an Intranet, the Internet, a LAN, and the like. As one or more means (406) can be used, but not limited to: Ethernet card, GSM modem, GPRS modem, LTE modem, 5G modem, satellite communication module, NFC module, Bluetooth and / or BLE module, Wi-Fi module and others

[0053] Дополнительно могут применяться также средства спутниковой навигации в составе устройства (400), например, GPS, ГЛОНАСС, BeiDou, Galileo.[0053] Additionally, satellite navigation tools in the device (400) can also be used, for example, GPS, GLONASS, BeiDou, Galileo.

[0054] Представленные материалы заявки раскрывают предпочтительные примеры реализации технического решения и не должны трактоваться как ограничивающие иные, частные примеры его воплощения, не выходящие за пределы испрашиваемой правовой охраны, которые являются очевидными для специалистов соответствующей области техники.[0054] The submitted application materials disclose preferred examples of the implementation of the technical solution and should not be construed as limiting other, particular examples of its implementation that do not go beyond the scope of the requested legal protection, which are obvious to specialists in the relevant field of technology.

Claims (24)

1. Способ уборки помещения с помощью автоматизированных устройств для уборки, содержащий этапы, на которых:1. A method for cleaning a room using automated cleaning devices, comprising the steps of: с помощью процессора вычислительного устройстваusing the processor of a computing device получают, по меньшей мере, изображения пола помещения от по меньшей мере одной камеры видеонаблюдения;receiving at least images of the floor of the room from at least one video surveillance camera; формируют карту загрязнения помещения на основании полученных изображений, причем формирование карты осуществляется с помощью модели машинного обучения, натренированной на изображениях загрязнения помещений, при этом карта формируется динамически при периодическом сканировании степени загрязнения пола, при построении которой получаемые с камер изображения обрабатываются для разбивки области изображения пола на сегменты, для каждого из которых определяется наличие и степень загрязнения;a map of indoor pollution is formed based on the received images, and the map is generated using a machine learning model trained on images of indoor pollution, while the map is dynamically generated during periodic scanning of the degree of floor pollution, during the construction of which the images received from the cameras are processed to break down the floor image area into segments, for each of which the presence and degree of pollution is determined; осуществляют анализ клиентопотока в момент формирования карты загрязнения;carry out the analysis of the client flow at the time of formation of the pollution map; передают сформированную карту загрязнения и данные клиентопотока на по меньшей мере одно автоматизированное устройство для уборки;transmitting the generated pollution map and client flow data to at least one automated cleaning device; с помощью по меньшей мере одного автоматизированного устройства для уборкиwith at least one automated cleaning device получают данные от вычислительного устройства;receive data from the computing device; формируют маршрут уборки помещения на основании полученной карты загрязнения и клиентопотока, при этом маршрут формируется на основе сегментов карты загрязнения, характеризующих зоны уборки;a route for cleaning the premises is formed on the basis of the obtained pollution map and client flow, while the route is formed on the basis of segments of the pollution map characterizing the cleaning zones; осуществляют уборку помещения.cleaning the premises. 2. Способ по п.1, характеризующийся тем, что дополнительно с камеры видеонаблюдения получают данные загрязнения объектов в помещении.2. The method according to claim 1, characterized in that, in addition, data on the contamination of objects in the room are received from the video surveillance camera. 3. Способ по п.1, характеризующийся тем, что для сегментов определяется по меньшей мере одно из: приоритетность сегмента уборки, интенсивность уборки, применение моющего состава, метод использования моющего или чистящего средства.3. The method according to claim 1, characterized in that at least one of the following is determined for the segments: the priority of the cleaning segment, the intensity of cleaning, the use of the detergent composition, the method of using the detergent or cleaning agent. 4. Способ по п.3, характеризующийся тем, что маршрут движения автоматизированного устройства для уборки формируется на основании приоритетности уборки сегментов.4. The method according to claim 3, characterized in that the route of movement of the automated cleaning device is formed based on the priority of cleaning the segments. 5. Способ по п.1, характеризующийся тем, что начало уборки помещения начинается при заданном пороговом значении клиентопотока и уровня загрязнения.5. The method according to claim 1, characterized in that the beginning of the cleaning of the premises begins at a given threshold value of the client flow and the level of pollution. 6. Способ по п.1, характеризующийся тем, что для автоматизированного устройства для уборки предварительно дополнительно формируется карта помещения.6. The method according to claim 1, characterized in that for an automated cleaning device, a map of the room is additionally generated in advance. 7. Способ по п.6, характеризующийся тем, что карта помещения формируется на основании данных с по меньшей мере одного оптического сенсора, установленного на автоматизированном устройстве.7. The method according to claim 6, characterized in that the map of the room is formed on the basis of data from at least one optical sensor installed on the automated device. 8. Способ по п.1, характеризующийся тем, что для уборки помещения одновременно применяется несколько автоматизированных устройств для уборки.8. The method according to claim 1, characterized in that several automated cleaning devices are simultaneously used for cleaning the premises. 9. Способ по п.8, характеризующийся тем, что каждое автоматизированное средство рассчитывает маршрут уборки с учетом движения других автоматизированных устройств.9. The method according to claim 8, characterized in that each automated means calculates the cleaning route taking into account the movement of other automated devices. 10. Система уборки помещения с помощью автоматизированных устройств для уборки, содержащая вычислительное устройство, содержащее по меньшей мере один процессор и связанное с по меньшей мере одной камерой видеонаблюдения; по меньшей мере одно устройство для уборки, для управления которым используется канал передачи данных с вычислительным устройством; причем с помощью процессора вычислительного устройства получают по меньшей мере изображения пола помещения от по меньшей мере одной камеры видеонаблюдения; формируют карту загрязнения помещения на основании полученных изображений, причем формирование карты осуществляется с помощью модели машинного обучения, натренированной на изображениях загрязнения помещений, при этом карта формируется динамически при периодическом сканировании степени загрязнения пола, при построении которой получаемые с камер изображения обрабатываются для разбивки области изображения пола на сегменты, для каждого из которых определяется наличие и степень загрязнения; осуществляют анализ клиентопотока в момент формирования карты загрязнения;10. Cleaning system using automated devices for cleaning, containing a computing device containing at least one processor and associated with at least one video surveillance camera; at least one cleaning device controlled by a data link with a computing device; moreover, using the processor of the computing device receive at least images of the floor of the room from at least one video surveillance camera; a map of indoor pollution is formed based on the received images, and the map is generated using a machine learning model trained on images of indoor pollution, while the map is dynamically generated by periodically scanning the degree of floor pollution, during the construction of which the images received from the cameras are processed to break down the floor image area into segments, for each of which the presence and degree of pollution is determined; carry out the analysis of the client flow at the time of formation of the pollution map; передают сформированную карту загрязнения и данные клиентопотока для управления по меньшей мере одним автоматизированным устройством для уборки;transmitting the generated pollution map and client flow data to control at least one automated cleaning device; с помощью по меньшей мере одного автоматизированного устройства для уборкиwith at least one automated cleaning device получают данные от вычислительного устройства;receive data from the computing device; формируют маршрут уборки помещения на основании полученной карты загрязнения и клиентопотока, при этом маршрут формируется на основе сегментов карты загрязнения, характеризующих зоны уборки;a route for cleaning the premises is formed on the basis of the obtained pollution map and client flow, while the route is formed on the basis of segments of the pollution map characterizing the cleaning zones; осуществляют уборку помещения.cleaning the premises.

Images