RU2720947C2 - Analytical identification and video identification system - Google Patents

Abstract

FIELD: video monitoring.

SUBSTANCE: invention relates to video surveillance, monitoring and verification. Disclosed is an analytical recognition system, comprising: a video camera, an antenna and a data analysis module. Video camera is configured to capture video data. Antenna is configured to capture data of mobile communication device. Data analysis module is configured to match video data and mobile communication device data to form a human profile, associated with said video data and mobile communication device data. This profile comprises profile data containing one or a combination of captured video data and captured mobile communication data.

EFFECT: enabling analysis of video streams in real time and in delayed mode for security and investigation and for marketing purposes.

22 cl, 9 dwg

Description

Перекрестная ссылка на родственные заявкиCross reference to related applications

По настоящей заявке испрашиваются приоритет и преимущества патентной заявки США №14/817,871, поданной 04 августа 2015 г. Настоящая заявка также является родственной патентной заявке США №14/256,385, поданной 18 апреля 2014 г., по которой испрашиваются приоритет и преимущества предварительной патентной заявки США с порядковым №61/813,942, поданной 19 апреля 2013 г., и патентной заявке США №14/213,548, поданной 14 марта 2014 г., по которой испрашиваются приоритет и преимущества предварительной патентной заявки США с порядковым №61/798,740, поданной 15 марта 2013 г. Раскрытия каждой из этих предшествующих заявок настоящим полностью включены в настоящий документ посредством ссылки, как если бы они были полностью приведены в настоящем документе.This application claims the priority and advantages of U.S. Patent Application No. 14/817,871, filed August 4, 2015. This application is also related to US Patent Application No. 14/256,385, filed April 18, 2014, which claims the priority and benefits of the provisional patent application. US serial number 61/813,942, filed April 19, 2013, and US patent application No. 14/213,548 filed March 14, 2014, which claims the priority and advantages of provisional patent application US serial number 61/798,740, filed 15 March 2013. Disclosures of each of these previous applications are hereby incorporated by reference in their entirety, as if they were fully cited herein.

Область техники, к которой относится изобретениеFIELD OF THE INVENTION

Раскрытое далее изобретение относится к системам видеонаблюдения, контроля и верификации и к способам использования таких систем. Конкретная реализация может работать совместно с системами наблюдения, уличными камерами, персональными видеосистемами, системами камер магазина, системами камер автостоянки и т.д., и выполнена с возможностью анализа данных одного или более видеопотоков в реальном времени и/или в отложенном режиме.The invention disclosed further relates to video surveillance, control and verification systems and methods for using such systems. A specific implementation can work in conjunction with surveillance systems, street cameras, personal video systems, store camera systems, parking camera systems, etc., and is configured to analyze the data of one or more video streams in real time and / or in delayed mode.

Уровень техникиState of the art

Компании, стремясь повысить свои обороты и эффективность, непрерывно работают над поиском способов обнаружения конкретного поведения пользователей. Например, понимая поведение пользователя в сфере розничной торговли, компании могут увеличить продажи и снизить потери товара. Если говорить о потерях, то их наиболее значительной составляющей в розничной торговле являются кражи товаров, совершаемые сотрудниками. Поэтому компании стремятся изучать поведение пользователя с целью снижения и, в итоге, устранения потерь товаров.Companies, striving to increase their speed and efficiency, are constantly working on finding ways to detect specific user behavior. For example, by understanding retail user behavior, companies can increase sales and reduce product loss. If we talk about losses, then their most significant component in retail is theft of goods by employees. Therefore, companies strive to study user behavior in order to reduce and, as a result, eliminate the loss of goods.

Для предотвращения потерь вследствие действий сотрудников компании используют различные способы. В розничных магазинах к предметам, которые могут быть похищены, крепят электронные устройства, вызывающие срабатывание сигнализации, но клиенты и/или сотрудники могут деактивировать эти устройства до выноса предмета из магазина. Некоторые предприятия розничной торговли практикуют проверку сумок и/или тележек как у клиентов, так и у сотрудников; на других используются системы предотвращения потерь, в которых внедрен видеоконтроль операций в пунктах продаж с целью обнаружения операций, проводимых с возможным нарушением установленных правил. В большинстве способов внимание сосредоточено на обнаружении индивидуальных проявлений, а не на понимании базовых актов поведения пользователя, имеющего место в таких ситуациях. Таким образом, компании не могут устранить причину, побуждающую людей совершать кражи.To prevent losses due to the actions of employees, companies use various methods. In retail stores, items that can be stolen are attached to electronic devices that trigger an alarm, but customers and / or employees can deactivate these devices before taking the item out of the store. Some retailers practice checking bags and / or trolleys for both customers and employees; on others, loss prevention systems are used in which video monitoring of operations at points of sale is introduced in order to detect operations conducted with a possible violation of established rules. In most ways, attention is focused on the detection of individual manifestations, and not on understanding the basic acts of user behavior that occurs in such situations. Thus, companies cannot eliminate the reason that motivates people to steal.

Широко используются системы видеонаблюдения, системы уличных камер, системы камер магазина, системы камер автостоянки и т.п. В некоторых случаях камера непрерывно передает видеопоток, при этом используется буфер на период, например, 8, 12, 24, 48 часов, который, если записанное видео не потребовалось, затем заполняется новым видео. В других системах может использоваться более длительный период времени, или буфер представляет собой недели или месяцы данных, сохраняемых для использования в конкретных целях. Как должно быть понятно, если случается какое-то происшествие, то в наличии имеются видеоданные, которые могут быть просмотрены и проанализированы. В некоторых случаях видеопоток содержит данные и используется для анализа различных заранее заданных ситуаций, который, в зависимости от конкретной задачи, может выполняться автоматически либо с использованием ввода информации пользователем или программирования. Например, видеосистема может быть настроена на слежение за перемещением объектов от входа в магазин и через магазин с целью контроля за товаром и/или видеонаблюдения за клиентами.CCTV systems, street camera systems, store camera systems, parking camera systems, etc. are widely used. In some cases, the camera continuously transmits the video stream, while using a buffer for a period of, for example, 8, 12, 24, 48 hours, which, if the recorded video was not required, is then filled with a new video. Other systems may use a longer period of time, or the buffer represents weeks or months of data stored for specific purposes. As it should be understood, if any incident occurs, then there is video data available that can be viewed and analyzed. In some cases, the video stream contains data and is used to analyze various predetermined situations, which, depending on the specific task, can be performed automatically either using user input or programming. For example, a video system can be configured to track the movement of objects from the entrance to the store and through the store in order to control the goods and / or video surveillance of customers.

В других случаях полиции, Федеральному бюро расследований (ФБР) или спасателям может требоваться просмотр материалов, отснятых различными системами камер в конкретной зоне или месте с целью исследования, к примеру, для слежения за подозреваемыми, для расследования обстоятельств дорожно-транспортных происшествий или для получения других видеодоказательств, требуемых в расследовании. Часто фрагменты видео из различных систем камер, находящихся в нужной зоне, оказываются критически важными для составления визуального представления о расследуемом происшествии. В других случаях особенности или поведение отдельных людей могут вызывать подозрение и побуждать к наблюдению или слежению за такими людьми с целью анализа поведения и формирования оповещений в реальном времени и/или с целью отложенного следственного анализа.In other cases, the police, the Federal Bureau of Investigation (FBI), or rescuers may need to view materials captured by various camera systems in a specific area or place for research, for example, to track suspects, to investigate traffic accidents, or to obtain other video evidence required in the investigation. Often fragments of video from various camera systems located in the desired area are critical for drawing up a visual representation of the incident being investigated. In other cases, the characteristics or behavior of individuals may cause suspicion and prompt observation or tracking of such people for the purpose of analyzing behavior and generating alerts in real time and / or for the purpose of delayed investigative analysis.

Существует потребность в дальнейшем развитии технологии такого анализа и в разработке способа анализа видеопотоков в реальном времени и в отложенном режиме для целей обеспечения безопасности и расследований и для маркетинговых целей.There is a need for further development of the technology of such analysis and in the development of a method for analyzing video streams in real time and in delayed mode for security and investigation purposes and for marketing purposes.

Раскрытие изобретенияDisclosure of invention

В соответствии с аспектом настоящего изобретения предлагается аналитическая система распознавания. Аналитическая система распознавания содержит видеокамеру, антенну и модуль анализа данных. Видеокамера выполнена с возможностью захвата видеоданных. Антенна выполнена с возможностью захвата данных мобильного устройства связи. Модуль анализа данных выполнен с возможностью сопоставления видеоданных и данных мобильного устройства связи для формирования профиля человека, связанного с указанными видеоданными и данными мобильного устройства связи. Этот профиль содержит данные профиля, содержащие что-либо одно или комбинацию из захваченных видеоданных и захваченных данных мобильной связи.In accordance with an aspect of the present invention, there is provided an analytical recognition system. The analytical recognition system includes a video camera, antenna and data analysis module. The camcorder is capable of capturing video data. The antenna is configured to capture data from a mobile communication device. The data analysis module is capable of comparing video data and data of a mobile communication device to form a person profile associated with said video data and data of a mobile communication device. This profile contains profile data containing one or a combination of captured video data and captured mobile data.

В любом из предыдущих аспектов модуль анализа данных выполнен с возможностью определения чего-либо одного или комбинации из времени прихода человека в местоположение и времени ухода человека из этого местоположения на основании чего-либо одного или комбинации из видеоданных и данных мобильного устройства связи, и сопоставления указанных видеоданных и указанных данных мобильного устройства связи на основании чего-либо одного или комбинации из указанного времени прихода или указанного времени ухода.In any of the previous aspects, the data analysis module is configured to determine one or a combination of a person’s arrival time at a location and a person’s departure time from that location based on one or a combination of video data and data from a mobile communication device and compare video data and said data of a mobile communication device based on one or a combination of a specified arrival time or a specified departure time.

В любом из предыдущих аспектов указанная видеокамера представляет собой одну видеокамеру из множества видеокамер, содержащихся в системе и выполненных с возможностью захвата множества видеоданных, а указанная антенна представляет собой одну антенну из множества антенн, содержащихся в системе и выполненных с возможностью захвата множества данных мобильного устройства связи. Модуль анализа данных может быть дополнительно выполнен с возможностью сопоставления множества видеоданных и множества данных мобильного устройства связи с целью формирования множества профилей множества людей, соответственно связанных с указанным множеством видеоданных и указанным множеством данных мобильного устройства связи.In any of the preceding aspects, said video camera is one video camera of a plurality of video cameras contained in a system and configured to capture a plurality of video data, and said antenna is a single antenna of a plurality of video antennas contained in a system and configured to capture a plurality of data of a mobile communication device . The data analysis module may be further configured to match a plurality of video data and a plurality of data of a mobile communication device in order to generate a plurality of profiles of a plurality of people, respectively, associated with the specified plurality of video data and the specified plurality of data of the mobile communication device.

В соответствии с еще одним аспектом настоящего изобретения множество видеокамер и множество антенн размещены во множестве помещений.In accordance with another aspect of the present invention, a plurality of cameras and a plurality of antennas are housed in a plurality of rooms.

В еще одном предлагаемом в качестве примера аспекте настоящего изобретения аналитическая система распознавания дополнительно содержит пользовательский интерфейс, выполненный с возможностью поиска множества профилей на основании критерия, введенного пользователем.In yet another exemplary aspect of the present invention, the analytic recognition system further comprises a user interface configured to search for multiple profiles based on criteria entered by the user.

В соответствии с еще одним аспектом настоящего изобретения по меньшей мере одна антенна из множества антенн прикреплена к по меньшей мере одной видеокамере из множества видеокамер и по меньшей мере одна антенна из этого множества антенн размещена на удалении от множества камер.In accordance with another aspect of the present invention, at least one antenna of the plurality of antennas is attached to at least one video camera of the plurality of cameras, and at least one antenna of the plurality of antennas is located away from the plurality of cameras.

В любом из предыдущих аспектов профиль может содержать что-либо одно или комбинацию из захваченных видеоданных, захваченных данных мобильного устройства связи, данных времени, связанных с захваченными видеоданными или захваченными данными мобильного устройства связи, и данных местоположения, связанных с захваченными видеоданными или захваченными данными мобильного устройства связи. Захваченные видеоданные могут содержать что-либо одно или комбинацию из захваченного неподвижного изображения и видеоматериала. Данные мобильного устройства связи могут содержать что-либо одно или комбинацию из идентификатора WiFi, идентификатора управления доступом к среде передачи (Media Access Control, MAC), идентификатора Bluetooth, идентификатора сотовой связи, идентификатора связи малого радиуса действия, радиочастотного идентификатора, относящихся к мобильному устройству связи, осуществляющему связь с указанной антенной. Данные времени могут содержать что-либо одно или комбинацию из времени захвата видеоданных и времени захвата данных мобильного устройства связи. Данные местоположения могут содержать что-либо одно или комбинацию из местоположения, в котором захвачены видеоданные, и местоположения, в котором захвачены данные мобильного устройства связи.In any of the preceding aspects, the profile may comprise one or a combination of captured video data, captured data of a mobile communication device, time data associated with captured video data or captured data of a mobile communication device, and location data associated with captured video data or captured mobile data communication devices. The captured video data may comprise one or a combination of a captured still image and video material. The data of the mobile communication device may contain one or a combination of a WiFi identifier, a Media Access Control (MAC) identifier, a Bluetooth identifier, a cellular identifier, a short-range communication identifier, a radio frequency identifier related to a mobile device communication, communicating with the specified antenna. The time data may comprise one or a combination of video capture time and data capture time of the mobile communication device. The location data may comprise one or a combination of a location at which video data is captured and a location at which data of a mobile communication device is captured.

В любом из предыдущих аспектов модуль анализа данных дополнительно выполнен с возможностью добавления в профиль чего-либо одного или комбинации из количества посещений помещения человеком и частоты посещений помещения человеком на основании сопоставленных видеоданных и данных мобильного устройства связи.In any of the previous aspects, the data analysis module is further configured to add one or a combination of the number of visits to the room by the person and the frequency of visits to the room by the person based on the matched video data and the data of the mobile communication device.

В любом из предыдущих аспектов модуль анализа данных дополнительно выполнен с возможностью идентификации человека на основании сравнения данных из первого источника с чем-либо одним или комбинацией из захваченных видеоданных, захваченных данных мобильного устройства связи, сопоставленных видеоданных и данных мобильного устройства связи и профиля, при этом указанный первый источник содержит что-либо одно или комбинацию из базы данных неправительственной организации, базы данных правительственной организации и одного или более ранее сформированных профилей.In any of the previous aspects, the data analysis module is further configured to identify a person based on comparing data from a first source with one or a combination of captured video data, captured data from a mobile communication device, mapped video data and data from a mobile communication device and profile, wherein said first source contains one or a combination of a non-governmental organization database, a government organization database, and one or more previously generated profiles.

В любом из предыдущих аспектов аналитическая система распознавания дополнительно содержит модуль расследования, выполненный с возможностью приема критериев расследования и поиска чего-либо одного или комбинации из видеоданных, данных мобильного устройства связи или данных профиля на основании указанных критериев.In any of the previous aspects, the analytical recognition system further comprises an investigation module configured to receive the investigation criteria and search for one or a combination of video data, mobile communication device data or profile data based on these criteria.

В еще одном аспекте настоящего изобретения критерии расследования содержат временной интервал, при этом модуль расследования дополнительно выполнен с возможностью формирования списка людей, присутствие которых было обнаружено в помещении в указанном временном интервале.In another aspect of the present invention, the investigation criteria comprise a time interval, wherein the investigation module is further configured to generate a list of people whose presence has been detected in the room at the specified time interval.

В соответствии с еще одним аспектом настоящего изобретения модуль расследования дополнительно выполнен с возможностью определения текущего местоположения человека путем обнаружения сигнала, соответствующего данным мобильного устройства связи, полученным в первом местоположении.In accordance with another aspect of the present invention, the investigation module is further configured to determine a person’s current location by detecting a signal corresponding to data of a mobile communication device obtained at a first location.

В любом из предыдущих аспектов антенна может содержать что-либо одно или комбинацию из антенны WiFi, антенны управления доступом к среде передачи (MAC), антенны Bluetooth, антенны сотовой связи, антенны связи малого радиуса действия и антенны радиочастотной идентификации.In any of the previous aspects, the antenna may comprise one or a combination of a WiFi antenna, a Media Access Control (MAC) antenna, a Bluetooth antenna, a cellular antenna, a short-range communication antenna, and radio frequency identification antenna.

В любом из предыдущих аспектов модуль анализа данных дополнительно выполнен с возможностью внесения человека в позитивный список, неопределенный список или негативный список на основании чего-либо одного или комбинации из видеоданных, данных мобильного устройства связи, данных профиля и введенных пользователем критериев.In any of the previous aspects, the data analysis module is further configured to add a person to a positive list, an undefined list, or a negative list based on any one or a combination of video data, mobile communication device data, profile data, and user-entered criteria.

В соответствии с еще одним аспектом настоящего изобретения модуль анализа данных дополнительно выполнен с возможностью внесения человека в позитивный список на основании определения того, что что-либо одно или комбинация из видеоданных, данных мобильного устройства связи и профиля соответствуют сотруднику или человеку из заранее заданного списка людей.In accordance with another aspect of the present invention, the data analysis module is further configured to add a person to a positive list based on the determination that one or a combination of video data, mobile communication device and profile data corresponds to an employee or person from a predetermined list of people .

В любом из предыдущих аспектов антенна выполнена с возможностью захвата данных мобильного устройства связи путем беспроводного приема данных из мобильного устройства связи, расположенного в зоне действия этой антенны.In any of the previous aspects, the antenna is configured to capture data from a mobile communication device by wirelessly receiving data from a mobile communication device located in the coverage area of this antenna.

В любом из предыдущих аспектов модуль анализа данных дополнительно выполнен с возможностью обнаружения поведения человека и сохранения в профиле данных поведения, соответствующих указанному поведению.In any of the previous aspects, the data analysis module is further configured to detect human behavior and store behavior data corresponding to the specified behavior in the profile.

В соответствии с еще одним аспектом настоящего изобретения модуль анализа данных выполнен с возможностью обнаружения поведения человека путем извлечения информации о поведении из чего-либо одного или комбинации из видеоданных и данных мобильного устройства связи. Указанное поведение содержит что-либо одно или комбинацию из взгляда в некотором направлении, протягивания руки за товаром, покупки товара, прохода по некоторому маршруту в помещении, посещения прохода или местоположения в помещении, проведения некоторого времени в помещении, проведения некоторого времени в указанном местоположении в помещении и посещения помещения некоторое число раз в разное время.In accordance with yet another aspect of the present invention, a data analysis module is configured to detect human behavior by extracting behavior information from one or a combination of video data and data from a mobile communication device. The specified behavior contains one or a combination of looking in a certain direction, reaching out for a product, buying a product, walking along a certain route in a room, visiting a walkway or location in a room, spending some time indoors, spending some time at a specified location in indoors and visiting the premises a number of times at different times.

В еще одном аспекте настоящего изобретения модуль анализа данных выполнен с возможностью классифицирования человека как нового клиента или повторного клиента в данном помещении на основании данных посещения помещения, сохраненных в профиле, и с возможностью добавления в профиль или уточнения в профиле показателя того, является ли этот человек новым клиентом или повторным клиентом в данном помещении.In yet another aspect of the present invention, a data analysis module is configured to classify a person as a new customer or a repeat customer in a given building based on site visit data stored in the profile, and with the ability to add an indicator to the profile or refine the profile of whether that person is new customer or repeat customer in this room.

В соответствии с еще одним аспектом настоящего изобретения модуль анализа данных выполнен с возможностью обнаружения поведения человека путем сопоставления чего-либо одного или комбинации из видеоданных, данных мобильного устройства связи и данных профиля с чем-либо одним или комбинацией из плана расположения проходов в помещении, плана размещения товара в помещении и плана расположения стеллажей в помещении.In accordance with another aspect of the present invention, the data analysis module is configured to detect human behavior by comparing one or a combination of video data, mobile communication device data, and profile data with one or a combination of a plan of passageways in a room, a plan placement of goods in the room and the layout of the shelving in the room.

В еще одном аспекте настоящего изобретения аналитическая система распознавания дополнительно содержит модуль расследования, выполненный с возможностью поиска на основании критериев отчета чего-либо одного или комбинации из видеоданных, данных мобильного устройства связи, данных профиля и данных продаж. Модуль расследования дополнительно выполнен с возможностью формирования отчета на основании поиска чего-либо одного или комбинации из видеоданных, данных мобильного устройства связи и данных профиля. Отчет содержит показатель закрытия продаж, соответствующий чему-либо одному или комбинации из товара, категории товара, прохода в помещении, стеллажа в помещении или заранее заданного места в помещении.In yet another aspect of the present invention, the analytic recognition system further comprises an investigation module configured to search based on the report criteria for one or a combination of video data, mobile communication device data, profile data and sales data. The investigation module is further configured to generate a report based on a search for one or a combination of video data, mobile communication device data, and profile data. The report contains a sales closing indicator corresponding to one or a combination of a product, product category, aisle in a room, a rack in a room or a predetermined place in a room.

В соответствии с еще одним аспектом настоящего изобретения модуль анализа данных дополнительно выполнен с возможностью формирования данных местоположения, соответствующих поведению, на основании чего-либо одного или комбинации из видеоданных и данных мобильного устройства связи, и с возможностью сохранения указанных данных местоположения в профиле в сочетании сданными поведения.In accordance with another aspect of the present invention, the data analysis module is further configured to generate location data corresponding to a behavior based on one or a combination of video data and data from a mobile communication device, and to store said location data in a profile in combination with behavior.

Краткое описание чертежейBrief Description of the Drawings

Фиг. 1 представляет системную функциональную схему варианта осуществления системы видеонаблюдения, мониторинга и контроля в соответствии с настоящим изобретением.FIG. 1 is a system block diagram of an embodiment of a video surveillance, monitoring, and control system in accordance with the present invention.

Фиг. 2 представляет контроллер последовательности данных/видео/изображений в соответствии с вариантом осуществления настоящего изобретения.FIG. 2 represents a data / video / image sequence controller in accordance with an embodiment of the present invention.

Фиг. 3 представляет иллюстрацию плана изображений и связанной с ним временной шкалы, формируемых контроллером последовательности, показанным на фиг. 2.FIG. 3 is an illustration of an image plan and the associated timeline generated by the sequence controller shown in FIG. 2.

Фиг. 4 представляет схематичную иллюстрацию аналитической системы распознавания, используемой для идентификации объекта и слежения за объектом в соответствии с еще одним вариантом осуществления настоящего изобретения.FIG. 4 is a schematic illustration of an analytical recognition system used to identify an object and track an object in accordance with yet another embodiment of the present invention.

Фиг. 5 представляет схематичную иллюстрацию аналитической системы распознавания, используемой для контроля за сбором скопления людей в соответствии с еще одним вариантом осуществления настоящего изобретения.FIG. 5 is a schematic illustration of an analytical recognition system used to monitor congestion in accordance with yet another embodiment of the present invention.

Фиг. 6 представляет собой схематичную иллюстрацию аналитической системы распознавания, используемой для распознавания характерных признаков объекта в соответствии с еще одним вариантом осуществления настоящего изобретения.FIG. 6 is a schematic illustration of an analytical recognition system used to recognize the characteristic features of an object in accordance with yet another embodiment of the present invention.

Фиг. 7 представляет собой схематичную иллюстрацию аналитической системы распознавания, используемой для общественной сети видеонаблюдения в соответствии с еще одним вариантом осуществления настоящего изобретения.FIG. 7 is a schematic illustration of an analytical recognition system used for a public video surveillance network in accordance with yet another embodiment of the present invention.

Фиг. 8 представляет снимок экрана варианта осуществления модуля расследования, отображающего расследование в соответствии с настоящим раскрытием.FIG. 8 is a screenshot of an embodiment of an investigation module displaying an investigation in accordance with the present disclosure.

Фиг. 9 представляет блок-схему аналитического способа распознавания в соответствии с примерным вариантом осуществления настоящего изобретения.FIG. 9 is a flowchart of an analytical recognition method in accordance with an exemplary embodiment of the present invention.

ТерминыTerms

В настоящем раскрытии (включая вышеприведенный текст) используются следующие термины.In the present disclosure (including the above text), the following terms are used.

Термином «видеокамера» может обозначаться устройство записи визуальной информации. В число примеров видеокамеры может входить одно или более следующих устройств: система с регистратором видеоизображения и объективом; видеокамера; цифровая видеокамера; цветная камера; монохромная камера; камера; записывающая видеокамера; компьютерная камера; веб-камера; инфракрасная (ИК) видеокамера; видеокамера для работы при малой освещенности; тепловая видеокамера; камера системы видеонаблюдения (CCTV); камера панорама/наклон/зум; устройство для восприятия видеоинформации. Видеокамера может быть расположена определенным образом с целью наблюдения за зоной, представляющей интерес.The term “video camera” may mean a visual information recording device. Examples of a video camera may include one or more of the following devices: a system with a video recorder and lens; video camera; digital video camera; color camera; monochrome camera; camera; recording video camera; computer camera; Webcam; infrared (IR) camcorder; video camera for work in low light; thermal video camera; CCTV camera camera panorama / tilt / zoom; device for perceiving video information. The camcorder can be positioned in a certain way in order to observe the area of interest.

Термином «видео» может обозначаться видеоизображение, полученное из видеокамеры и представленное в аналоговой и/или в цифровой форме. В число примеров видео могут входить: телевизионное изображение; фильм; последовательность изображений из видеокамеры или другого устройства наблюдения; последовательность изображений из передачи, ведущейся в реальном времени; последовательность изображений, сформированная компьютером; последовательность изображений из компьютерной графической машины; последовательность изображений из запоминающего устройства, например, из машиночитаемого носителя данных, цифрового видеодиска (Digital Video Disk, DVD) или диска высокого разрешения (High-Definition Disk, HDD); последовательность изображений из интерфейса на основе IEEE 1394; последовательность изображений из устройства преобразования видеоизображения в цифровую форму; или последовательность изображений из сети.The term “video” may mean a video image obtained from a video camera and presented in analog and / or digital form. Examples of videos may include: a television image; movie; a sequence of images from a video camera or other surveillance device; a sequence of images from a transmission in real time; computer generated image sequence; a sequence of images from a computer graphics machine; a sequence of images from a storage device, for example, from a computer-readable storage medium, digital video disk (Digital Video Disk, DVD) or high-definition disk (High-Definition Disk, HDD); a sequence of images from an interface based on IEEE 1394; a sequence of images from a device for converting video images into digital form; or a sequence of images from a network.

«Видеоданные» представляют собой визуальную часть видео.“Video data” is the visual part of the video.

«Невизуальные данные» представляют собой невизуальную информацию, полученную из видеоданных.“Non-visual data” is non-visual information obtained from video data.

Термином «видеопоследовательность» может обозначаться выбранная часть видеоданных и/или невизуальных данных.The term “video sequence” may mean a selected portion of video data and / or non-visual data.

Термином «обработка видео» может обозначаться любая операция с видеоданными и/или анализ видеоданных, в том числе, например, сжатие, монтаж и выполнение алгоритма, формирующего невизуальные данные из видео.The term “video processing” can mean any operation with video data and / or analysis of video data, including, for example, compression, editing and execution of an algorithm that generates non-visual data from video.

Термином «кадр» может обозначаться конкретное изображение или иной дискретный элемент видео.The term “frame” may refer to a specific image or other discrete video element.

Термином «компьютер» может обозначаться одно или более устройств и/или одна или более систем, выполненных с возможностью приема структурированных входных данных, обработки указанных данных в соответствии с предписанными правилами и формирования результатов указанной обработки в виде выходных данных. В число примеров компьютера могут входить: компьютер; стационарный и/или портативный компьютер; компьютер с одним процессором, несколькими процессорами или с многоядерными процессорами, которые могут работать параллельно и/или не параллельно; компьютер общего назначения; суперкомпьютер; электронная вычислительная машина коллективного пользования; сверхминиатюрный компьютер; мини-компьютер; рабочая станция; микрокомпьютер; сервер; клиент; устройство интерактивного телевидения; бытовой прибор с подключением к интернет; телекоммуникационное устройство с доступом в интернет; гибридная комбинация компьютера и устройства интерактивного телевидения; портативный компьютер; планшетный персональный компьютер (ПК); карманный персональный компьютер (КПК); портативный телефон; специализированное аппаратное средство для эмуляции компьютера и/или программы, например, цифровой сигнальный процессор (digital signal processor, DSP), перепрограммируемая матрица логических элементов (field-programmable gate array, FPGA), интегральная схема специального назначения (application specific integrated circuit, ASIC), процессор с набором команд специального назначения (application specific instruction-set processor, ASIP), микросхема, микросхемы или набор микросхем; однокристальная электронная система (system on a chip, SoC) или многопроцессорная однокристальная электронная система (multiprocessor system-on-chip, MPSoC); оптический компьютер; квантовый компьютер; биологический компьютер; и устройство, выполненное с возможностью приема данных, с возможностью обработки данных в соответствии с одной или более сохраненными программами, реализованными программным способом, с возможностью формирования результатов, которое, как правило, может содержать модули ввода, вывода, хранения, арифметических операций, логических операций и управления.The term “computer” may mean one or more devices and / or one or more systems configured to receive structured input data, process said data in accordance with prescribed rules, and generate the results of said processing as output. Examples of a computer may include: a computer; stationary and / or laptop computer; A computer with one processor, several processors, or multi-core processors that can work in parallel and / or not in parallel; general purpose computer; supercomputer; collective electronic computer; subminiature computer; Mini-computer; work station; microcomputer; server; customer; interactive television device; household appliance with internet connection; telecommunication device with internet access; a hybrid combination of a computer and an interactive television device; laptop; tablet personal computer (PC); handheld personal computer (PDA); portable telephone; specialized hardware for emulating a computer and / or program, for example, digital signal processor (DSP), field-programmable gate array (FPGA), application-specific integrated circuit (ASIC) , a processor with a set of special purpose instructions (application specific instruction-set processor, ASIP), a chip, microchips, or a chipset; single-chip electronic system (system on a chip, SoC) or multiprocessor single-chip electronic system (multiprocessor system-on-chip, MPSoC); optical computer; quantum computer; biological computer; and a device configured to receive data, with the possibility of processing data in accordance with one or more stored programs implemented in software, with the possibility of generating results, which, as a rule, may include input, output, storage, arithmetic, logical operations and management.

Термином «программное обеспечение» могут обозначаться предписанные правила функционирования компьютера. В число примеров программного обеспечения могут входить: программа; сегменты кода; команды; апплеты; предварительно откомпилированный код; компилированный код; интерпретированный код; компьютерные программы; и запрограммированная логика. В настоящем раскрытии термины «программа» и «код» могут применяться в отношении программного обеспечения, микропрограммы или комбинации программного обеспечения и микропрограммы.The term “software” may mean prescribed rules for the operation of a computer. Examples of software may include: a program; code segments teams applets precompiled code; compiled code; interpreted code; computer programs; and programmed logic. In the present disclosure, the terms “program” and “code” may apply to software, firmware, or a combination of software and firmware.

Термином «машиночитаемый носитель данных» может обозначаться любое запоминающее устройство, используемое для хранения данных и выполненное с возможностью использования компьютером. В число примеров машиночитаемого носителя данных могут входить: магнитный жесткий диск; гибкий диск; оптический диск, например, CD-ROM и DVD; магнитная лента; съемная флэш-память; микросхема памяти; и/или другие типы носителей данных, выполненные с возможностью хранения в себе машиночитаемых команд. Термин «долговременный машиночитаемый носитель данных» охватывает все машиночитаемые носители данных за единственным исключением распространяющегося кратковременного сигнала.The term “computer-readable storage medium” may mean any storage device used to store data and configured to be used by a computer. Examples of computer-readable storage media may include: a magnetic hard disk; floppy disk; optical disc, for example, CD-ROM and DVD; magnetic tape; removable flash memory; memory chip; and / or other types of storage media configured to store machine-readable instructions within themselves. The term "long-term machine-readable storage medium" covers all computer-readable storage media with the exception of a propagating short-term signal.

Термином «компьютерная система» может обозначаться система, содержащая один или более компьютеров, в которой каждый компьютер может содержать машиночитаемый носитель данных, содержащий в своем составе программное обеспечение для управления работой этого компьютера. В число примеров компьютерной системы могут входить: распределенная компьютерная система для обработки информации посредством компьютерных систем, связанных сетью; две или более компьютерных системы, соединенные через сеть с целью передачи и/или приема информации между указанными компьютерными системами; и одно или более устройств и/или одна или более систем, которые выполнены с возможностью приема данных, с возможностью обработки данных в соответствии с одной или более сохраненными программами, с возможностью формирования результатов, и которые, как правило, могут содержать модули ввода, вывода, хранения, арифметических операций, логических операций и управления.The term "computer system" may mean a system containing one or more computers, in which each computer may contain a computer-readable storage medium containing software for controlling the operation of this computer. Examples of a computer system may include: a distributed computer system for processing information through computer systems connected by a network; two or more computer systems connected through a network for the purpose of transmitting and / or receiving information between said computer systems; and one or more devices and / or one or more systems that are capable of receiving data, with the possibility of processing data in accordance with one or more stored programs, with the possibility of generating results, and which, as a rule, may contain input, output modules , storage, arithmetic operations, logical operations and control.

Термином «сеть» могут обозначаться несколько компьютеров и относящихся к ним устройств, которые могут быть соединены между собой средствами связи. В сети могут использоваться постоянные соединения, например, кабели, или временные соединения, например, соединения, устанавливаемые через телефонные или другие линии связи. Сеть может дополнительно содержать проводные соединения (к примеру, коаксиальный кабель, витую пару, волоконно-оптический кабель, волноводы и т.д.) и/или беспроводные соединения (к примеру, радиочастотные сигналы, оптические сигналы в свободном пространстве, акустические сигналы и т.д.). В число примеров сети могут входить: межсетевая сеть, например, интернет; внутренняя сеть (интранет); локальная сеть (local area network, LAN); глобальная сеть (wide area network, WAN); и комбинация сетей, например, интернет и интранет. Предлагаемые в качестве примера сети могут работать с использованием произвольного количества протоколов, например, интернет-протокола (Internet protocol, IP), протокола асинхронного режима передачи (Asynchronous Transfer Mode, ATM) и/или протокола синхронной оптической сети (synchronous optical network, SONET), протокола передачи пользовательских данных (User Datagram Protocol, UDP), протокола IEEE 802.x и т.д.The term "network" can mean several computers and related devices that can be interconnected by means of communication. Permanent connections, for example, cables, or temporary connections, for example, connections established through telephone or other communication lines, can be used in a network. The network may further comprise wired connections (e.g., coaxial cable, twisted pair, fiber optic cable, waveguides, etc.) and / or wireless connections (e.g., radio frequency signals, optical signals in free space, acoustic signals, etc.) .d.). Examples of a network may include: an internetwork, such as the Internet; internal network (intranet); local area network (LAN) wide area network (WAN); and a combination of networks, such as the Internet and intranet. The networks proposed as an example can operate using an arbitrary number of protocols, for example, Internet protocol (Internet protocol, IP), Asynchronous Transfer Mode (ATM) protocol and / or synchronous optical network (SONET) protocol , User Datagram Protocol (UDP), IEEE 802.x, etc.

Анализом или обработкой, выполняемыми «в реальном времени», как правило, называется анализ или обработка видео, получаемого в реальном времени («в прямом эфире»), и практически моментальная передача отчетов или предупреждений о нештатных состояниях (заранее запрограммированных состояниях), нештатных сценариях (праздношатание, скопление людей, оставление предметов одежды или рюкзаков, портфелей, продуктов питания на нештатное время и т.д.) или других сценариях на основании поведения элементов (клиентов, постоянных покупателей, людей в толпе и т.д.) в одном или более видеопотоках.Real-time analysis or processing, as a rule, refers to the analysis or processing of real-time video (“live”), and the almost instant transmission of reports or warnings about abnormal conditions (pre-programmed states), abnormal scenarios (loitering, crowding, leaving items of clothing or backpacks, briefcases, food for extraordinary times, etc.) or other scenarios based on the behavior of the elements (customers, regular customers, people at that n, etc.) at one or more video streams.

Анализом или обработкой, выполняемыми «в отложенном режиме», как правило, называется обработка сохраненного видео из источника на основе камеры (из определенной системы камер (к примеру, в магазине, на автостоянке, на улице) или других видеоданных (из сотового телефона, домашней видеозаписи и т.д.)) и передача отчетов или предупреждений о нештатных состояниях (состояниях, программируемых позднее), нештатных сценариях (праздношатание, скопление людей, оставление предметов одежды или рюкзаков, портфелей, продуктов питания на нештатное время и т.д. или других сценариях на основании поведения элементов (клиентов, постоянных покупателей, людей в толпе и т.д.) в одном или более сохраненных видеопотоках.Analysis or processing carried out “in deferred mode”, as a rule, refers to the processing of saved video from a source based on a camera (from a specific camera system (for example, in a store, in a parking lot, on the street) or other video data (from a cell phone, home videos, etc.)) and the transmission of reports or warnings about abnormal conditions (conditions programmed later), abnormal scenarios (loitering, crowding, leaving items of clothing or backpacks, briefcases, food items for emergency conditions etc., or other scenarios based on the behavior of elements (customers, regular customers, people in the crowd, etc.) in one or more of the stored video streams.

«Данными мобильного устройства связи», как правило, называются данные, переданные мобильным устройством связи и/или полученные из него посредством связи с беспроводным или проводным протоколом.“Mobile communication device data” is generally referred to as data transmitted and / or received from a mobile communication device through communication with a wireless or wired protocol.

Осуществление изобретенияThe implementation of the invention

Далее со ссылкой на сопровождающие чертежи раскрываются конкретные варианты осуществления настоящего изобретения, однако должно быть понятно, что раскрытые варианты представляют собой лишь примеры осуществления изобретения, которое может быть осуществлено в различных формах. Чтобы не загромождать настоящее раскрытие ненужными подробностями, хорошо известные функциональные модули или конструкции не описываются подробно. Поэтому раскрытые здесь конкретные конструктивные и функциональные подробности должны интерпретироваться не как ограничивающие, а лишь как основа для толкования формулы и как иллюстративная основа для пояснения, понятного специалисту в данной области техники, различных вариантов осуществления настоящего изобретения в практически любой должным образом детализированной конструкции. В описании и на чертежах подобными номерами представлены элементы, которые могут выполнять одинаковые, подобные или эквивалентные функции.Further, with reference to the accompanying drawings, specific embodiments of the present invention are disclosed, however, it should be understood that the disclosed embodiments are merely examples of the invention, which can be implemented in various forms. In order not to clutter the present disclosure with unnecessary details, well-known functional modules or constructions are not described in detail. Therefore, the specific structural and functional details disclosed herein should not be interpreted as limiting, but merely as a basis for interpreting the formula and as an illustrative basis for explaining to a person skilled in the art various embodiments of the present invention in virtually any properly detailed design. In the description and drawings, like numbers represent elements that can perform the same, similar, or equivalent functions.

Кроме того, настоящее изобретение может быть раскрыто здесь посредством компонентов функциональных блоков, листингов кода, элементов выбора, экранов отображения страниц и различных шагов обработки. Должно быть понятно, что такие функциональные блоки могут быть осуществлены посредством произвольного количества аппаратных и/или программных компонентов, выполненных с возможностью выполнения определенных функций. Например, в настоящем раскрытии могут использоваться различные компоненты, представляющие собой интегральные схемы, к примеру, элементы памяти, элементы, обрабатывающие информацию, логические элементы, таблицы соответствия и т.п., которые могут выполнять разнообразные функции под управлением одного или более микропроцессоров или иных управляющих устройств.In addition, the present invention can be disclosed herein by means of components of function blocks, code listings, selection elements, page display screens, and various processing steps. It should be understood that such functional blocks may be implemented by an arbitrary number of hardware and / or software components configured to perform certain functions. For example, in the present disclosure, various components can be used, which are integrated circuits, for example, memory elements, information processing elements, logic elements, correspondence tables, etc., which can perform various functions under the control of one or more microprocessors or other control devices.

Аналогично, программные элементы настоящего раскрытия могут быть осуществлены с использованием любого языка программирования или языка описания сценариев, например, С, С++, С#, Java, COBOL, ассемблер, PERL, Python, PHP и т.п., с реализацией различных алгоритмов посредством произвольной комбинации структур данных, объектов, операций, подпрограмм или иных программных элементов. Созданный объектный код может исполняться под управлением различных операционных систем, включая Windows^®, Macintosh OSX^®, iOS^®, Linux и/или Android^®, но не ограничиваясь перечисленным.Similarly, the program elements of the present disclosure can be implemented using any programming language or scripting language, for example, C, C ++, C #, Java, COBOL, assembler, PERL, Python, PHP, etc., with the implementation of various algorithms through an arbitrary combination of data structures, objects, operations, subprograms, or other program elements. The generated object code can be executed under various operating systems, including, but not limited to, Windows ^® , Macintosh OSX ^® , iOS ^® , Linux, and / or Android ^® .

Кроме того, следует отметить, что в настоящем раскрытии может использоваться произвольное количество общеизвестных способов передачи данных, сигнализации, обработки данных, управления сетью и т.п. Следует понимать, что представленные и раскрытые здесь конкретные варианты осуществления предназначены лишь для иллюстрации изобретения и предпочтительного варианта его осуществления, но не подразумевают какого-либо ограничения объема настоящего изобретения. В представленных здесь примерах могут содержаться образцы элементов данных (к примеру, имена, даты и т.д.), которые служат лишь для пояснения и не должны пониматься как ограничивающие. Для краткости здесь могут не раскрываться подробно обычные сети передачи данных, разработка прикладных программ и другие функциональные аспекты систем (и компоненты отдельных функциональных элементов систем). Соединительные линии, представленные на различных фигурах чертежей, входящих в состав настоящего документа, предназначены для представления примера функциональных взаимосвязей и/или физических или виртуальных соединений между различными элементами. Следует отметить, что на практике в электронной системе передачи данных может быть множество альтернативных или дополнительных функциональных взаимосвязей и физических или виртуальных соединений.In addition, it should be noted that in the present disclosure, an arbitrary number of well-known methods of data transmission, signaling, data processing, network management, etc. can be used. It should be understood that the specific embodiments presented and disclosed herein are intended only to illustrate the invention and its preferred embodiment, but do not imply any limitation on the scope of the present invention. The examples presented here may contain samples of data elements (for example, names, dates, etc.) that serve only for clarification and should not be construed as limiting. For brevity, conventional data transmission networks, application development, and other functional aspects of systems (and components of individual functional elements of systems) may not be disclosed in detail here. The connecting lines shown in the various figures of the drawings included in this document are intended to provide an example of functional relationships and / or physical or virtual connections between different elements. It should be noted that in practice in an electronic data transfer system there can be many alternative or additional functional relationships and physical or virtual connections.

Специалисту обычного уровня в данной области техники должно быть понятно, что настоящее изобретение может быть осуществлено в виде способа, системы обработки данных, устройства для обработки данных и/или компьютерного программного продукта. Соответственно, настоящее изобретение может принимать форму полностью программного варианта осуществления, полностью аппаратного варианта осуществления или варианта осуществления, сочетающего как программный аспект, так и аппаратный аспект. Кроме того, настоящее изобретение может принимать форму компьютерного программного продукта на машиночитаемом носителе данных, содержащего машиночитаемые программные кодовые средства, реализованные на указанном носителе данных. Может быть использован любой пригодный машиночитаемый носитель данных, в том числе жесткие диски, CD-ROM, DVD-ROM, оптические запоминающие устройства, магнитные запоминающие устройства, полупроводниковые запоминающие устройства (к примеру, портативные запоминающие устройства с интерфейсом USB) и т.п.One of ordinary skill in the art should understand that the present invention may be embodied in the form of a method, a data processing system, a device for processing data, and / or a computer program product. Accordingly, the present invention may take the form of a fully software embodiment, a fully hardware embodiment, or an embodiment combining both a software aspect and a hardware aspect. In addition, the present invention may take the form of a computer program product on a computer-readable storage medium containing computer-readable software code means implemented on the storage medium. Any suitable computer-readable storage medium may be used, including hard drives, CD-ROMs, DVD-ROMs, optical storage devices, magnetic storage devices, semiconductor storage devices (e.g., portable storage devices with a USB interface), and the like.

В настоящем документе термины «элемент пользовательского интерфейса» и/или «кнопка» следует понимать как неограничивающие, охватывающие своим содержанием и другие элементы интерфейса, например, без ограничений, гиперссылку, изображение с возможностью нажатия на него и т.п.In this document, the terms “user interface element” and / or “button” should be understood as non-limiting, covering other elements of the interface, for example, without limitation, a hyperlink, an image with the ability to click on it, etc.

Настоящее изобретение далее раскрыто со ссылкой на иллюстративные функциональные схемы и блок-схемы способов, устройств (к примеру, систем) и компьютерных программных продуктов в соответствии с различными аспектами настоящего изобретения. Следует понимать, что любые функциональные блоки иллюстративных функциональных схем и блок-схем, а также комбинации функциональных блоков, показанные на функциональных схемах и блок-схемах, соответственно, могут быть осуществлены посредством инструкций компьютерной программы. Эти инструкции компьютерной программы могут быть загружены в компьютер общего назначения, в компьютер специального назначения, в мобильное устройство или в другое программируемое устройство обработки данных с целью реализации устройства, функционирующего таким образом, что посредством инструкций, исполняемых этим компьютером или другим программируемым устройством обработки, создается средство реализации функций, указанных в блоке или блоках блок-схемы.The present invention is further disclosed with reference to illustrative functional diagrams and flowcharts of methods, devices (eg, systems) and computer program products in accordance with various aspects of the present invention. It should be understood that any functional blocks of illustrative functional diagrams and block diagrams, as well as combinations of functional blocks shown in the functional diagrams and block diagrams, respectively, can be implemented using computer program instructions. These instructions of a computer program can be downloaded to a general purpose computer, a special purpose computer, a mobile device, or other programmable data processing device in order to implement a device that functions in such a way that, through instructions executed by this computer or other programmable processing device, means for implementing the functions indicated in the block or blocks of the flowchart.

Эти инструкции компьютерной программы также могут быть сохранены в машиночитаемой памяти, которая может управлять компьютером или другим программируемым устройством обработки данных для обеспечения его функционирования определенным образом, т.е., инструкции, сохраненные в этой машиночитаемой памяти, создают изделие, содержащее командные средства, реализующие функцию, указанную в блоке или блоках блок-схемы. Эти инструкции компьютерной программы также могут быть загружены в компьютер или другое программируемое устройство обработки данных с целью вызвать выполнение на указанном компьютере или другом программируемом устройстве обработки данных последовательности рабочих шагов, реализующей выполняемую компьютером операцию таким образом, что посредством инструкций, исполняемых этим компьютером или другим программируемым устройством, выполняются шаги реализации функций, указанных в блоке или блоках блок-схемы.These instructions of the computer program can also be stored in a computer-readable memory, which can control a computer or other programmable data processing device to ensure its functioning in a certain way, i.e., instructions stored in this computer-readable memory create an article containing command means that implement function indicated in the block or blocks of the flowchart. These instructions of the computer program can also be downloaded to a computer or other programmable data processing device in order to cause a sequence of work steps to be performed on the specified computer or other programmable data processing device that implements the operation performed by the computer in such a way that through instructions executed by this computer or other programmable device, the steps are taken to implement the functions specified in the block or blocks of the flowchart.

Соответственно, функциональные блоки иллюстративных функциональных схем и блок-схем допускают комбинирование средств выполнения указанных функций, комбинирование шагов выполнения указанных функций и средств реализации указанных функций посредством инструкций программы. Также следует понимать, что любые функциональные блоки иллюстративных функциональных схем и блок-схем, а также комбинации функциональных блоков, показанные на функциональных схемах и блок-схемах, могут быть осуществлены как аппаратно реализованной компьютерной системой специального назначения, выполняющей указанные функции или шаги, так и пригодными для этой цели комбинациями аппаратуры специального назначения и компьютерных инструкций.Accordingly, the functional blocks of the illustrative functional diagrams and block diagrams allow the combination of means for performing these functions, a combination of steps for performing these functions and means for implementing these functions through program instructions. It should also be understood that any functional blocks of illustrative functional diagrams and block diagrams, as well as combinations of functional blocks shown on functional diagrams and block diagrams, can be implemented as a hardware-based special-purpose computer system that performs these functions or steps, and suitable combinations of special equipment and computer instructions for this purpose.

Специалисту в данной области техники также должно быть понятно, что по соображениям безопасности какие-либо базы данных, системы или компоненты вариантов осуществления настоящего изобретения могут состоять из произвольной комбинации баз данных или компонентов, находящихся в одном месте или в нескольких местах, при этом каждая база данных или система содержит любые пригодные для это цели средства защиты, например, межсетевые экраны, коды доступа, шифрование, дешифрование, сжатие, восстановление сжатых данных и т.п.One of ordinary skill in the art would also appreciate that for security reasons, any databases, systems, or components of embodiments of the present invention may consist of an arbitrary combination of databases or components located in one place or in several places, with each base The data or the system contains any suitable means of protection for this purpose, for example, firewalls, access codes, encryption, decryption, compression, recovery of compressed data, etc.

Объем настоящего изобретения следует определять по прилагаемой формуле изобретения и ее законным эквивалентам, а не по приведенным здесь примерам. Например, шаги, изложенные в каком-либо пункте формулы изобретения на способ, могут выполняться в произвольном порядке и не ограничены порядком, представленном в формуле изобретения. Кроме того, ни один элемент не является существенным для практического осуществления изобретения, если явным образом не указано, что элемент является существенным или необходимым.The scope of the present invention should be determined by the attached claims and their legal equivalents, and not by the examples given here. For example, the steps set forth in any claim on a method may be performed in an arbitrary order and are not limited to the order presented in the claims. In addition, no element is essential for the practical implementation of the invention, unless it is explicitly stated that the element is essential or necessary.

Со ссылкой на фиг. 1 представлена аналитическая система 100 распознавания, выполняющая функции видеонаблюдения, мониторинга и верификации в соответствии с вариантом осуществления настоящего изобретения. Система 100 представляет собой сетевое устройство записи видео и данных, выполненное с возможностью записи видео из одной или более камер 110 (к примеру, аналоговых камер и/или IP-камер) и других данных, получаемых посредством одной или более антенн 150. Видеокамеры 110 соединены с компьютером 120 через соединение 130. Соединением 130 может быть аналоговое соединение, посредством которого видео передается в компьютер 120, цифровое соединение, посредством которого обеспечивается сетевое соединение между видеокамерой 110 и компьютером 120, либо соединение 130 может содержать аналоговое соединение и цифровое соединение.With reference to FIG. 1 illustrates an analytic recognition system 100 that performs the functions of video surveillance, monitoring, and verification in accordance with an embodiment of the present invention. The system 100 is a network device for recording video and data, configured to record video from one or more cameras 110 (for example, analog cameras and / or IP cameras) and other data obtained through one or more antennas 150. Video cameras 110 are connected to computer 120 via connection 130. Connection 130 may be an analog connection through which video is transmitted to computer 120, a digital connection through which a network connection is provided between the camcorder 110 and computer 120, or connection 130 may comprise an analog connection and a digital connection.

Каждая видеокамера 110 подключена к компьютеру 120 и к пользовательскому интерфейсу 122, образуя тем самым пользовательское подключение к компьютеру 120. Каждая из указанных одной или более видеокамер 110 может подключаться через индивидуальное соединение, может подключаться через общее сетевое соединение или через любую комбинацию указанных соединений.Each video camera 110 is connected to a computer 120 and to a user interface 122, thereby forming a user connection to a computer 120. Each of these one or more video cameras 110 can be connected through an individual connection, can be connected via a common network connection, or through any combination of these connections.

Указанные одна или более антенн 150 могут быть прикреплены к или содержаться в одной или более видеокамерах 110 или компьютере 120 и/или могут располагаться на удалении от одной или более видеокамер 110 и компьютера 120. Указанные одна или более антенн 150 могут быть соединены с возможностью осуществления связи с компьютером 120 посредством соединения 130 или могут осуществлять беспроводную связь с компьютером 120 посредством антенны компьютера 120.Said one or more antennas 150 may be attached to or contained in one or more video cameras 110 or computer 120 and / or may be located remotely from one or more video cameras 110 and computer 120. These one or more antennas 150 may be connected with the possibility of implementation communication with the computer 120 through a connection 130 or can wirelessly communicate with the computer 120 through the antenna of the computer 120.

Указанными одной или более антеннами 150 могут быть одна произвольная антенна или комбинация антенн различных типов. В число примеров типов одной или более антенн 150 входят антенна WiFi, антенна управления доступом к среде передачи (MAC), антенна Bluetooth, антенна сотовой связи, антенна связи малого радиуса действия, антенна радиочастотной идентификации (Radio Frequency Identification, RFID) и антенна системы глобального позиционирования (Global Positioning System, GPS). Должно быть понятно, что показанное на фиг. 1 в качестве примера расположение антенн 150 предлагается лишь в иллюстративных целях и возможны другие расположения антенн 150. Например, одна камера 110 может содержать множество антенн различных типов.The specified one or more antennas 150 may be one arbitrary antenna or a combination of antennas of various types. Examples of types of one or more antennas 150 include a WiFi antenna, a Media Access Control (MAC) antenna, a Bluetooth antenna, a cellular antenna, a short-range communication antenna, a Radio Frequency Identification (RFID) antenna, and a global system antenna positioning (Global Positioning System, GPS). It should be understood that the one shown in FIG. 1, by way of example, the arrangement of antennas 150 is provided for illustrative purposes only, and other arrangements of antennas 150 are possible. For example, one camera 110 may include multiple antennas of various types.

Как более подробно рассматривается в настоящем документе, одна или более антенн 150 выполнены с возможностью захвата данных мобильного устройства связи из одного или более мобильных устройств связи (к примеру, смартфонов), расположенных в зоне действия одной или более антенн 150, и с возможностью передачи захваченных данных мобильного устройства связи в модуль 140 анализа данных для обработки в соответствии с различными вариантами осуществления настоящего изобретения, представленными в настоящем документе. Антенна 150 может быть выполнена с возможностью захвата данных мобильного устройства связи путем беспроводного приема данных, передаваемых мобильным устройством связи, находящимся в зоне действия антенны. Антенна 150 может быть выполнена с возможностью беспроводного приема данных из расположенных неподалеку мобильных устройств связи с периодической или непрерывной посылкой запросов в мобильные устройства связи и/или с возможностью периодического или непрерывного прослушивания мобильных устройств связи и захвата передаваемых ими данных без отправки ping-запросов.As discussed in more detail herein, one or more antennas 150 are configured to capture data from a mobile communication device from one or more mobile communication devices (eg, smartphones) located within the range of one or more antennas 150, and to transmit captured data of the mobile communication device into a data analysis module 140 for processing in accordance with various embodiments of the present invention presented herein. Antenna 150 may be configured to capture data from a mobile communication device by wirelessly receiving data transmitted by a mobile communication device located in the coverage area of the antenna. The antenna 150 may be configured to wirelessly receive data from nearby mobile communication devices with periodic or continuous sending of requests to mobile communication devices and / or with the possibility of periodically or continuously listening to mobile communication devices and capturing the data transmitted by them without sending ping requests.

Система 100 содержит по меньшей мере один модуль 140 анализа данных. Модуль 140 анализа данных может находиться в компьютере 120 и/или в одной или более видеокамерах 110. Модуль 140 анализа данных выполняет обработку видео и/или данных мобильного устройства связи. Например, модуль 140 анализа данных выполняет один или более алгоритмов для формирования невизуальных данных из видео и/или из данных мобильного устройства связи. Невизуальные данные содержат невизуальные данные кадра, описывающие содержание отдельных кадров, например, объекты, идентифицированные в кадре, одно или более свойств объектов, идентифицированных в кадре, и одно или более свойств, относящихся к заранее определенным частям кадра. В число невизуальных данных также могут входить невизуальные данные времени описывающие длящееся во времени содержание между двумя или большим числом кадров. Невизуальные данные времени могут формироваться из визуальных и/или из невизуальных данных кадра. Невизуальные данные времени содержат данные времени например, временные свойства объекта, идентифицированного на двух или более кадрах, и временное свойство одной или более заранее определенных частей двух или более кадров. В число невизуальных данных кадра может входить количество обнаруженных объектов (в число объектов, к примеру, могут входить люди и/или произвольные части их тел, неживые объекты, животные, транспортные средства или объекты, заданные и/или созданные пользователем) и одно или более свойств объекта (к примеру, положение объекта, положение произвольной части объекта, размерные свойства объекта, размерные свойства частей и/или обнаруженных особенностей объекта) и свойств взаимосвязей (к примеру, положение первого объекта относительно второго объекта или любого другого объекта, который может быть идентифицирован в кадре). Объекты могут быть идентифицированы как объекты, появившиеся в видео, или объекты, исчезнувшие из видео. Объекты могут быть идентифицированы как виртуальные объекты, которые реально не появляются в видео, но могут быть добавлены для целей расследования, обучения и т.д.System 100 comprises at least one data analysis module 140. Data analysis module 140 may reside in computer 120 and / or in one or more video cameras 110. Data analysis module 140 performs processing of video and / or data from a mobile communication device. For example, data analysis module 140 performs one or more algorithms for generating non-visual data from video and / or data from a mobile communication device. Non-visual data contains non-visual frame data describing the contents of individual frames, for example, objects identified in a frame, one or more properties of objects identified in a frame, and one or more properties related to predetermined parts of the frame. Non-visual data may also include non-visual time data describing time-varying content between two or more frames. Non-visual time data may be generated from visual and / or non-visual frame data. Non-visual time data contains time data, for example, temporal properties of an object identified on two or more frames, and a temporary property of one or more predetermined parts of two or more frames. The non-visual data of the frame may include the number of detected objects (the number of objects, for example, may include people and / or arbitrary parts of their bodies, non-living objects, animals, vehicles or objects defined and / or created by the user) and one or more properties of the object (for example, the position of the object, the position of an arbitrary part of the object, the dimensional properties of the object, the dimensional properties of the parts and / or detected features of the object) and the properties of the relationships (for example, the position of the first object relative to the second object or any other object that can be identified in frame). Objects can be identified as objects appearing in the video, or objects disappearing from the video. Objects can be identified as virtual objects that do not really appear in the video, but can be added for the purposes of investigation, training, etc.

В различных вариантах осуществления изобретения, предлагаемых в настоящем документе в качестве примера, модуль 140 анализа данных выполнен с возможностью сопоставления видеоданных и данных мобильного устройства связи, захваченных, соответственно, видеокамерами и антеннами, для формирования профиля человека, связанного с указанными видеоданными и данными мобильного устройства связи. Профиль может содержать данные профиля, например, захваченные видеоданные, захваченные данные мобильной связи и/или другие типы данных, относящихся к человеку (к примеру, имя, дату рождения, адрес места жительства и т.п.).In the various embodiments of the invention provided by way of example, the data analysis module 140 is configured to correlate video data and data of a mobile communication device captured by video cameras and antennas, respectively, to form a human profile associated with said video data and mobile device data communication. A profile may contain profile data, for example, captured video data, captured mobile communications data and / or other types of data related to a person (for example, name, date of birth, address of residence, etc.).

Профиль может содержать захваченные видеоданные, захваченные данные мобильного устройства связи, данные времени, связанные с захваченными видеоданными или данными мобильного устройства связи, и/или данные местоположения, связанные с захваченными видеоданными или данными мобильного устройства связи. Захваченные видеоданные могут содержать захваченное неподвижное изображение и/или захваченный видеоматериал. Данные мобильного устройства связи могут содержать идентификатор WiFi, идентификатор управления доступом к среде передачи (MAC), идентификатор Bluetooth, идентификатор сотовой связи, идентификатор связи малого радиуса действия, радиочастотный идентификатор и/или любой другой идентификатор или данные, связанные с мобильным устройством связи, осуществляющим связь с антенной. Данные времени могут содержать время, в которое захвачены соответствующие видеоданные, и/или время, в которое захвачены соответствующие данные мобильного устройства связи. Данные местоположения могут содержать местоположение, в котором захвачены видеоданные, и/или местоположение, в котором захвачены данные мобильного устройства связи.A profile may comprise captured video data, captured data of a mobile communication device, time data associated with captured video data or data of a mobile communication device, and / or location data associated with captured video data or data of a mobile communication device. The captured video data may comprise a captured still image and / or captured video material. The data of the mobile communication device may include a WiFi identifier, a medium access control identifier (MAC), a Bluetooth identifier, a cellular identifier, a short-range communication identifier, a radio frequency identifier and / or any other identifier or data associated with a mobile communication device implementing communication with the antenna. The time data may comprise the time at which the corresponding video data is captured and / or the time at which the corresponding data of the mobile communication device is captured. The location data may comprise a location at which video data is captured and / or a location at which data of a mobile communication device is captured.

Модуль 140 анализа данных может быть выполнен с возможностью добавления в профиль количества посещений помещения человеком и/или частоты посещений помещения человеком на основании сопоставленных видеоданных и данных мобильного устройства связи. Модуль 140 анализа данных также может быть выполнен с возможностью сравнения данных, полученных из первого источника (к примеру, из базы данных неправительственной организации, базы данных правительственной организации и одного или более ранее сформированных профилей), с захваченными видеоданными, захваченными данными мобильного устройства связи, сопоставленными видеоданными и данными мобильного устройства связи, и/или профилем, и с возможностью идентификации человека на основании указанного сравнения.The data analysis module 140 may be configured to add to the profile the number of visits to the room by the person and / or the frequency of visits to the room by the person based on the matched video data and the data of the mobile communication device. The data analysis module 140 may also be configured to compare data obtained from a first source (for example, from a non-governmental organization database, a government organization database and one or more previously generated profiles) with captured video data, captured data from a mobile communication device, matched video data and data of a mobile communication device, and / or profile, and with the possibility of identifying a person based on the specified comparison.

Модуль 140 анализа данных также может быть выполнен с возможностью определения времени прихода и/или времени ухода человека в определенное помещение или местоположение или из него на основании захваченных видеоданных и/или данных мобильного устройства связи. Модуль 140 анализа данных может сопоставлять видеоданные и данные мобильного устройства связи на основании указанных времени прихода и/или времени ухода. Такое сопоставление на основании времени, например, может дать модулю 140 анализа данных возможность связывания конкретного элемента данных мобильного устройства связи (к примеру, идентификатора Wi-Fi) с определенным человеком, присутствующем на захваченном видео.The data analysis module 140 may also be configured to determine the time of arrival and / or time of a person’s departure to or from a particular room or location based on captured video data and / or data from a mobile communication device. The data analysis module 140 may correlate the video data and the data of the mobile communication device based on the indicated arrival time and / or departure time. Such a time-based mapping, for example, can enable the data analysis module 140 to associate a particular data element of a mobile communication device (e.g., a Wi-Fi identifier) with a specific person present on the captured video.

В одном примере видеокамерой 110 может быть одна из множества видеокамер 110, содержащихся в системе 100, и видеокамеры 110 могут быть выполнены с возможностью захвата множества наборов видеоданных, соответственно. Аналогично, антенной 150 может быть одна антенна из множества антенн 150, содержащихся в системе, и множество антенн 150 может быть выполнено с возможностью захвата множества наборов данных мобильного устройства связи, соответственно. Модуль 140 анализа данных также может быть выполнен с возможностью сопоставления множества наборов видеоданных и данных мобильного устройства связи для формирования соответствующих профилей для множества людей, которые связаны с соответствующими видеоданными и данными мобильного устройства связи. Видеокамеры и антенны могут быть размещены во множестве разных местоположений и/или помещений.In one example, the video camera 110 may be one of a plurality of video cameras 110 contained in the system 100, and the video cameras 110 may be configured to capture multiple sets of video data, respectively. Similarly, an antenna 150 may be one antenna of a plurality of antennas 150 contained in a system, and a plurality of antennas 150 may be configured to capture a plurality of data sets of a mobile communication device, respectively. The data analysis module 140 may also be configured to map multiple sets of video data and data from a mobile communication device to generate corresponding profiles for a plurality of people who are associated with corresponding video data and data from a mobile communication device. Camcorders and antennas can be located in many different locations and / or rooms.

В еще одном примере модуль 140 анализа данных может быть выполнен с возможностью внесения человека в позитивный список, неопределенный список или негативный список на основании видеоданных, данных мобильного устройства связи, данных профиля и/или введенных пользователем критериев (к примеру, введенных через модуль 800 расследования, описываемый далее). Модуль 140 анализа данных также может быть выполнен с возможностью установления факта соответствия видеоданных, данных мобильного устройства связи и/или профиля сотруднику или человеку из заранее заданного списка людей, и может относить человека к позитивному списку на основании установления этого факта.In yet another example, data analysis module 140 may be configured to include a person in a positive list, an indefinite list, or a negative list based on video data, mobile communication device data, profile data, and / or user-entered criteria (e.g., entered through investigation module 800 described later). The data analysis module 140 may also be configured to establish whether the video data, the data of the mobile communication device and / or profile correspond to an employee or person from a predetermined list of people, and may refer the person to a positive list based on the establishment of this fact.

В некоторых примерных вариантах осуществления настоящего изобретения модуль 140 анализа данных может быть выполнен с возможностью обнаружения поведения человека и сохранения в профиле данных поведения, соответствующих указанному поведению. Модуль 140 анализа данных может, например, быть выполнен с возможностью обнаружения поведения человека путем извлечения информации о поведении из видеоданных и/или данных мобильного устройства связи. Указанное поведение может содержать взгляд человека в конкретном направлении, протягивание руки за товаром, покупку товара, проход по некоторому маршруту в помещении, посещение прохода или местоположения в помещении, проведение некоторого времени в помещении, проведение некоторого времени в местоположении в помещении и/или посещения помещения некоторое число раз в разное время. Модуль 140 анализа данных может, кроме того, быть выполнен с возможностью классифицирования человека как нового клиента или повторного клиента в данном помещении на основании данных посещения помещения, сохраненных в профиле. Модуль 140 анализа данных может добавлять в профиль или уточнять в профиле признак того, является ли этот человек новым клиентом или повторным клиентом в данном помещении. Модуль 140 анализа данных в некоторых случаях может быть выполнен с возможностью обнаружения поведения человека путем сопоставления видеоданных, данных мобильного устройства связи и/или данных профиля с планом расположения проходов в помещении, планом размещения товара в помещении и/или планом расположения стеллажей в помещении.In some exemplary embodiments of the present invention, the data analysis module 140 may be configured to detect human behavior and store behavior data corresponding to said behavior in the profile. Data analysis module 140 may, for example, be configured to detect human behavior by extracting behavior information from video data and / or data from a mobile communication device. This behavior may include a person’s gaze in a particular direction, reaching out for a product, buying a product, walking along a certain route in a room, visiting a passage or location in a room, spending some time indoors, spending some time at a location in a room and / or visiting a room some number of times at different times. The data analysis module 140 may also be configured to classify a person as a new customer or a repeat customer in a given room based on the site visit data stored in the profile. Data analysis module 140 may add to the profile or refine in the profile a sign of whether this person is a new customer or a repeat customer in a given building. The data analysis module 140 in some cases can be configured to detect human behavior by comparing video data, data from a mobile communication device and / or profile data with the layout of the passageways in the room, the layout of the goods in the room and / or the layout of the shelves in the room.

В некоторых аспектах, предлагаемых в настоящем документе в качестве примера, Модуль 140 анализа данных может быть выполнен с возможностью формирования, на основании захваченных видеоданных и/или данных мобильного устройства связи, данных местоположения, соответствующих конкретному поведению, и сохранения этих данных местоположения в профиле со связью с соответствующими данными поведения.In some aspects proposed by way of example herein, Data Analysis Module 140 may be configured to generate, based on captured video data and / or data from a mobile communication device, location data corresponding to a particular behavior, and storing these location data in a profile with communication with relevant behavior data.

Модуль 140 анализа данных может быть расположен в камере 110 и выполнен с возможностью преобразования видео в видеоданные и невизуальные данные и передачи указанных видеоданных и невизуальных данных в компьютер 120 через сеть. Таким образом система 100 передает функцию обработки видео на периферию сети, чем минимизирует объем обработки, который должен выполняться компьютером 120.Data analysis module 140 may be located in camera 110 and configured to convert video into video and non-visual data and transmit said video and non-visual data to computer 120 via a network. Thus, the system 100 transfers the video processing function to the periphery of the network, thereby minimizing the amount of processing to be performed by the computer 120.

Компьютер 120 содержит машиночитаемый носитель данных, содержащий программное обеспечение для контроля поведения пользователя, которое при исполнении компьютером 120 вызывает выполнение операций компьютером 120. Пользовательский интерфейс 122 обеспечивает интерфейс с компьютером 120. Пользовательский интерфейс 122 может подключаться непосредственно к компьютеру 120 или может опосредованно подключаться к компьютеру 120 через пользовательскую сеть. Системный пользовательский интерфейс 122 также может быть выполнен с возможностью приема одного или более критериев от пользователя и с возможностью поиска профилей на основании указанных критериев. В некоторых вариантах осуществления изобретения, предлагаемых в настоящем документе в качестве примера, пользовательский интерфейс 122 может содержать модуль 800 расследования, что подробно описывается ниже.Computer 120 comprises a computer-readable storage medium containing software for monitoring user behavior that, when executed by computer 120, causes operations by computer 120. User interface 122 provides an interface with computer 120. User interface 122 can connect directly to computer 120 or can indirectly connect to computer 120 through the user network. The system user interface 122 may also be configured to receive one or more criteria from the user and to search for profiles based on these criteria. In some exemplary embodiments of the invention, user interface 122 may include an investigation module 800, which is described in detail below.

Поведение пользователя определяется действием, бездействием, движением, множеством проявлений события, временным событием, внешним событием или любым их сочетанием. Конкретное поведение пользователя задают и сообщают в компьютер 120.User behavior is determined by action, inaction, movement, multiple manifestations of an event, a temporary event, an external event, or any combination thereof. The specific user behavior is set and reported to the computer 120.

Действие может содержать взятие объекта, при котором объект размещают или оставляют в конкретном местоположении. Действие может содержать перемещение конкретного объекта, например, открывание двери, выдвижного ящика или ячейки. Действие может содержать расположение (или изменение положения) части тела, например помещение руки в карман или многократное поглаживание себя по определенному месту (признак того, что может быть спрятано оружие). Действие может содержать движение в конкретное место, прикосновение одного человека к другому человеку и/или перемещение кисти руки, руки, ноги и/или ступни в ходе конкретного движения. Действие также может содержать расположение головы в конкретном направлении, например, прямой взгляд на сотрудников охраны или в камеру 110 охраны. Другие разнообразные примеры рассмотрены выше.The action may comprise taking an object in which the object is placed or left at a specific location. The action may include moving a specific object, for example, opening a door, drawer or cell. The action may include the location (or change of position) of a part of the body, for example, putting your hand in your pocket or repeatedly stroking yourself in a certain place (a sign that a weapon may be hidden). The action may include moving to a specific place, touching one person to another person, and / or moving a hand, arm, leg, and / or foot during a specific movement. The action may also include the location of the head in a specific direction, for example, a direct look at the security personnel or into the security camera 110. Other diverse examples are discussed above.

Бездействие может содержать невзятие объекта, когда объект уронили или разместили конкретным образом, а человек (к примеру, объект наблюдения) не поднял упавший объект. Бездействие также может содержать неприбытие в конкретное место или невыполнение конкретной функции. Например, чтобы проверить, заперта ли дверь запасного выхода, требуется действие, состоящее в приближении к двери, и действие, состоящее в приложении усилия к двери с целью убедиться в том, что дверь не откроется. При этом поведение пользователя при проверке того, заперта ли дверь, может быть задано как бездействие - невыполнение приближения к двери и/или бездействие - невыполнение надавливания на дверь. Другие разнообразные примеры бездействия рассмотрены выше.Inaction may contain a failure to take the object when the object was dropped or placed in a specific way, and a person (for example, an object of observation) did not pick up a fallen object. Inaction may also include non-arrival at a particular place or failure to perform a specific function. For example, to check if the emergency exit door is locked, an action is required that is close to the door and an action is the application of force to the door to ensure that the door does not open. At the same time, the user's behavior when checking whether the door is locked can be set as inaction - failure to approach the door and / or inaction - failure to apply pressure to the door. Other diverse examples of inaction are discussed above.

Временное событие может содержать обнаружение клиента, внезапно покинувшего магазин, длительное пребывание человека у входа в магазин или у выхода из магазина, пребывание человека в конкретном месте в течение периода времени, превосходящего пороговое значение. Другие разнообразные примеры временного события рассмотрены выше.A temporary event may include the discovery of a customer who has suddenly left the store, a long stay of a person at the entrance to the store or at the exit of the store, a person's stay in a specific place for a period of time exceeding the threshold value. Other diverse examples of temporary events are discussed above.

Пользователь может идентифицировать конкретное поведение пользователя и передавать и/или задавать характеристики этого конкретного поведения пользователя в компьютере 120. Компьютер 120 принимает невизуальные данные из камеры 110, причем эти невизуальные данные содержат данные информации о поведении. Конкретное поведение пользователя может быть задано моделью 143 поведения, содержащей один или более атрибутов, например, размер, форму, длину, ширину, отношение сторон или любой другой идентифицирующий или идентифицируемый атрибут (к примеру, татуировку или другие атрибуты, рассматриваемые в настоящем документе). Компьютер 120 содержит алгоритм проверки соответствия или модуль 141 проверки соответствия, например, компаратор, который сравнивает заданные характеристики и/или модель 143 конкретного поведения пользователя с поведением пользователя в заданных невизуальных данных. Признак соответствия в алгоритме проверки соответствия или в модуле 141 вызывает формирование расследования, содержащего видеоданные и/или невизуальные данные, идентифицированные алгоритмом 141 проверки соответствия. Расследование представляет собой подборку данных, относящихся к идентифицированному событию, и служит, в основном, для документирования поведения, представляющего интерес. При этом расследования требуют последующего контроля и инспекции с целью изучения конкретного поведения.The user can identify specific user behavior and transmit and / or set the characteristics of this specific user behavior in computer 120. Computer 120 receives non-visual data from camera 110, which non-visual data contains behavior information data. A specific user behavior may be defined by a behavior model 143 containing one or more attributes, for example, size, shape, length, width, aspect ratio, or any other identifying or identifiable attribute (e.g., tattoo or other attributes discussed herein). Computer 120 comprises a conformity check algorithm or conformance check module 141, for example, a comparator that compares predetermined characteristics and / or a specific user behavior model 143 with user behavior in predetermined non-visual data. The conformity sign in the conformity check algorithm or in module 141 causes the formation of an investigation containing video data and / or non-visual data identified by the conformity check algorithm 141. An investigation is a collection of data related to an identified event, and serves primarily to document the behavior of interest. Moreover, investigations require further monitoring and inspection in order to study specific behavior.

Расследование может быть передано в другие камеры или системы данной сети или передано через сообщество сетей для проверки на соответствие или для идентификации и передачи оповещения. Алгоритм 141 проверки соответствия может быть реализован в виде независимого модуля или может быть встроен в модуль 140 анализа данных в компьютере 120 или в любой из камер 110. Модуль 140 анализа данных также может содержать модуль 142 сравнения, выполненный с возможностью сравнения модели 143 определенного поведения пользователя и невизуальных данных.An investigation can be transferred to other cameras or systems of a given network or transmitted through a community of networks to verify compliance or to identify and transmit alerts. The compliance verification algorithm 141 may be implemented as an independent module or may be integrated into a data analysis module 140 in a computer 120 or in any of the cameras 110. The data analysis module 140 may also include a comparison module 142 configured to compare a model 143 of specific user behavior and non-visual data.

Конкретное поведение пользователя может быть задано как превышение заранее заданного периода ориентирования головы в направлении камеры 110 наблюдения или превышение заранее заданного периода ориентирования головы в направлении кабинета руководителя. Такое конкретное поведение пользователя может быть признаком того, что клиент хочет найти камеры 110 наблюдения в магазине в попытке предотвратить свое обнаружение при совершении кражи, или того, что один из сотрудников хочет проверить, наблюдает ли руководитель за их поведением. Модуль 140 анализа данных выполняет алгоритм формирования невизуальных данных, распознающий положение головы объектов наблюдения. Модуль 140 анализа данных также может сообщать вектор, указывающий ориентацию лица и/или направление взгляда. Алгоритм 141 проверки соответствия выполняет поиск невизуальных данных с целью проверки превышения длительностью конкретного положения головы и/или определенного вектора, указывающего ориентацию лица, заранее заданного периода. При обнаружении соответствия формируется результат расследования.Specific user behavior can be defined as exceeding a predetermined orientation period of the head in the direction of the surveillance camera 110 or exceeding a predetermined orientation period of the head in the direction of the manager’s office. Such specific user behavior may be a sign that the client wants to find surveillance cameras 110 in the store in an attempt to prevent his detection when theft is committed, or that one of the employees wants to check if the manager is observing their behavior. The data analysis module 140 performs a non-visual data generation algorithm that recognizes the position of the head of the observation objects. Data analysis module 140 may also report a vector indicating face orientation and / or gaze direction. Algorithm 141 verification of compliance performs a search for non-visual data to check if the duration exceeds a specific position of the head and / or a certain vector indicating the orientation of the face, a predetermined period. If compliance is found, the result of the investigation is formed.

Со ссылкой на фиг. 2 представлен контроллер 200 последовательности данных/видео/изображений в соответствии с вариантом осуществления настоящего изобретения. Контроллер 200 последовательности выполнен с возможностью приема видео, видеоданных, невизуальных данных, видеопоследовательностей и/или неподвижных изображений из различных источников видеоинформации (к примеру, из различных одной или более видеокамер 110) и/или из различных одной или более антенн 150. Например, из местоположений 1 и 2 видео может передаваться непрерывно, а из местоположения 7 могут передаваться только данные движения. Из местоположений 3 и 6 могут передаваться короткие видеоклипы, а из местоположений 4 и 5 могут передаваться неподвижные изображения. Данные мобильного устройства связи могут передаваться из местоположений 1-7. Эти данные могут передаваться в контроллер 200 последовательности через любое пригодное средство связи (к примеру, через LAN, WAN, интранет, интернет, фиксированное проводное соединение, модемное соединение, беспроводное соединение и т.д.). Как показано на фиг. 2, данные из каждого местоположения могут передаваться любым пригодным образом, например, непрерывно, периодически с заранее заданной частотой, асинхронно, в ответ на прием триггера и т.п.With reference to FIG. 2 illustrates a data / video / image sequence controller 200 in accordance with an embodiment of the present invention. The sequence controller 200 is configured to receive video, video data, non-visual data, video sequences and / or still images from various video sources (for example, from various one or more video cameras 110) and / or from various one or more antennas 150. For example, from at locations 1 and 2, video can be transmitted continuously, and only movement data can be transmitted from location 7. Short locations can be transmitted from locations 3 and 6, and still images can be transmitted from locations 4 and 5. Mobile communication device data may be transmitted from locations 1-7. This data can be transmitted to the sequence controller 200 through any suitable means of communication (for example, via LAN, WAN, intranet, Internet, fixed wired connection, modem connection, wireless connection, etc.). As shown in FIG. 2, data from each location can be transmitted in any suitable manner, for example, continuously, periodically at a predetermined frequency, asynchronously, in response to receiving a trigger, or the like.

Контроллер 200 последовательности формирует метку времени из данных, предоставленных с видеоданными, данными изображения и/или данными мобильного устройства связи. Метка времени может содержаться в видеоданных, данных изображения и/или данных мобильного устройства связи, предоставляться как часть видеоданных, данных изображения и/или данных мобильного устройства связи, или может предоставляться в файле, содержащем видеоданные, данные изображения и/или данные мобильного устройства связи. Как вариант, контроллер 200 последовательности может быть выполнен с возможностью приема введенных пользователем данных, содержащих информацию метки времени, связанной с каждым актом ввода данных пользователем.The sequence controller 200 generates a time stamp from the data provided with the video data, image data and / or data of the mobile communication device. The time stamp may be contained in video data, image data and / or data of a mobile communication device, provided as part of video data, image data and / or data of a mobile communication device, or may be provided in a file containing video data, image data and / or data of a mobile communication device . Alternatively, the sequence controller 200 may be configured to receive user input data containing time stamp information associated with each user data entry act.

Контроллер 200 последовательности может, дополнительно или в качестве альтернативного варианта, формировать географическое местоположение из данных, предоставленных с видеоданными, данными изображения и/или данными мобильного устройства связи. Информация о географическом местоположении может содержаться в видеоданных, данных изображения и/или данных мобильного устройства связи, предоставляться как часть видеоданных, данных изображения и/или данных мобильного устройства связи, или может предоставляться в файле, содержащем видеоданные, данные изображения и/или данные мобильного устройства связи. Например, видеоданные, данные изображения и/или данные мобильного устройства связи могут содержать идентифицирующий объект, который может использоваться для идентификации местоположения, в котором было получено данное изображение.The sequence controller 200 may, additionally or alternatively, generate a geographic location from data provided with video data, image data, and / or data from a mobile communication device. The geographical location information may be contained in video data, image data and / or data of a mobile communication device, provided as part of video data, image data and / or data of a mobile communication device, or may be provided in a file containing video data, image data and / or mobile data communication devices. For example, video data, image data and / or data of a mobile communication device may contain an identifying object that can be used to identify the location at which the image was received.

Контроллер 200 последовательности может, дополнительно или в качестве альтернативного варианта, формировать данные о поле зрения (ПЗ) (FOV, field-of-view) для видеоданных и/или данных изображения. Данные ПЗ могут быть получены из информации о местоположении камеры, из информации, содержащейся в самом видео (к примеру, определены по идентифицирующему объекту) и/или могут быть введены пользователем. Контроллер 200 последовательности может, дополнительно или в качестве альтернативного варианта, формировать данные о зоне действия антенны для данных мобильного устройства связи. Данные о зоне действия антенны могут быть получены из информации о местоположении антенны 150, полученной из информации, содержащейся в данных мобильного устройства связи, и/или могут вводиться пользователем.The sequence controller 200 may, optionally or alternatively, generate field-of-view (FOV) data for video data and / or image data. The data can be obtained from the information about the location of the camera, from the information contained in the video itself (for example, determined by the identifying object) and / or can be entered by the user. The sequence controller 200 may, additionally or alternatively, generate antenna coverage data for the data of the mobile communication device. The antenna coverage data may be obtained from the location information of the antenna 150 obtained from information contained in the data of the mobile communication device and / or may be entered by the user.

Фиг. 3 представляет иллюстрацию плана 300 изображений и связанной с ним временной шкалы 310, формируемых контроллером 200 последовательности. Контроллер 200 последовательности может быть выполнен с возможностью использования данных метки времени, данных географического местоположения и/или данных ПЗ для построения плана 300 изображений и временной шкалы 310 на основании всех видеоданных и данных изображения (или любой их части), переданных в контроллер 200 последовательности.FIG. 3 is an illustration of an image plan 300 and its associated timeline 310 generated by a sequence controller 200. The sequence controller 200 may be configured to use timestamp data, geographic location data, and / or PP data to construct an image plan 300 and a timeline 310 based on all video data and image data (or any part thereof) transmitted to the sequence controller 200.

Пользователь может указать контроллеру 200 последовательности конкретное время и/или интервал времени, а контроллер 200 последовательности предоставляет все видеоданные, изображения и/или данные мобильного устройства связи, относящиеся к указанному времени. Время и/или интервал времени могут выбираться на временной шкале 310, а план 300 изображений может обновляться так, чтобы содержать все видеоданные, данные изображения и/или данные мобильного устройства связи, относящиеся к выбранному времени и/или интервалу времени.The user can indicate to the sequence controller 200 a specific time and / or time interval, and the sequence controller 200 provides all the video data, images and / or data of the mobile communication device related to the specified time. The time and / or time interval may be selected on the timeline 310, and the image plan 300 may be updated to include all video data, image data and / or data of the mobile communication device related to the selected time and / or time interval.

Пользователь может, дополнительно или в качестве альтернативного варианта, указывать контроллеру 200 последовательности выбранное местоположение, а контроллер последовательности предоставляет все видеоданные, данные изображения и/или данные мобильного устройства связи, относящиеся к этому конкретному местоположению. Местоположение может выбираться по плану 300 изображений или сообщаться в виде данных географического местоположения в контроллер 200 последовательности.The user may, additionally or alternatively, indicate to the sequence controller 200 the selected location, and the sequence controller provides all video data, image data and / or mobile communication device data related to that particular location. The location may be selected according to the image plan 300 or reported as geographic location data to the sequence controller 200.

Пользователь может, дополнительно или в качестве альтернативного варианта, указывать контроллеру 200 последовательности, в дополнение к географическому местоположению, определенное время и/или интервал времени с целью дополнительного уточнения и выделения нужных данных из всех видеоданных, данных изображения и/или данных мобильного устройства связи, относящихся к этому конкретному местоположению.The user may, additionally or alternatively, indicate to the controller 200 the sequence, in addition to the geographical location, a specific time and / or time interval in order to further refine and highlight the necessary data from all video data, image data and / or data of the mobile communication device, related to this particular location.

Указав с целью нахождения нужных видеоданных, данных изображения и/или данных мобильного устройства связи конкретное время, интервал времени и/или местоположение, пользователь может использовать раскрытые здесь алгоритмы поиска, способы и систему для идентификации конкретных предметов, представляющих интерес, типов поведения и/или людей в видеоданных, данных изображения и/или данные мобильного устройства связи.To indicate the specific time, time interval and / or location in order to find the desired video data, image data and / or data of the mobile communication device, the user can use the search algorithms, methods and system disclosed here to identify specific items of interest, types of behavior and / or people in video data, image data and / or mobile communication device data.

Настоящее изобретение шире, чем программное обеспечение для распознавания лиц (которое может быть использовано совместно с настоящим изобретением), и предлагает дополнительные алгоритмы и средства анализа для целей слежения и/или расследования, что поясняется ниже. Кроме того, в некоторых случаях вообще отсутствует необходимость использования распознавания лиц для выделения объектов разного рода или слежения за ними, и раскрытая здесь система может использоваться без программного обеспечения или алгоритмов распознавания лиц, которые могут оказаться невосприимчивыми к нарушению некоторых моральных, федеральных или местных законов.The present invention is broader than facial recognition software (which can be used in conjunction with the present invention), and offers additional algorithms and analysis tools for tracking and / or investigation purposes, as explained below. In addition, in some cases there is no need to use face recognition to isolate objects of various kinds or to track them, and the system disclosed here can be used without software or face recognition algorithms that may be immune to violation of certain moral, federal or local laws.

Настоящее изобретение также относится к аналитической системе распознавания для слежения за объектами в режиме реального времени / в отложенном режиме на основании заранее заданных параметров, например, для анализа в реальном времени и отложенного анализа, распознавания, слежения за различными заранее заданными (или заданными позднее) известными объектами или вручную заданными объектами на основании формы, цвета, размера, количества конкретных предметов на человеке (людях), неадекватности конкретному обстоятельству (к примеру, зимнее пальто в 80-градусную жару (по Фаренгейту)), сходства конкретных объектов в течение конкретного временного интервала (сходные предметы, к примеру, рюкзаки, в конкретной зоне), отделения значимого объекта (объектов) от человека на заранее заданный период времени, нахождения постороннего объекта в конкретной зоне, размещения предметов около значимых объектов, размещения сходных предметов в сходных зонах и отделение этих предметов от человека, конкретного контраста и сочетания цветов (к примеру, красная футболка, выглядывающая из-под черной рубашки, или белый головной убор на черных волосах).The present invention also relates to an analytical recognition system for tracking objects in real time / in deferred mode based on predefined parameters, for example, for real-time analysis and deferred analysis, recognition, tracking of various predefined (or specified later) known objects or manually set objects based on the shape, color, size, number of specific objects on a person (s), inadequacy to a specific circumstance (for example, a winter coat in 80-degree heat (Fahrenheit)), similarity of specific objects during a specific time interval (similar objects, for example, backpacks, in a specific zone), separating a significant object (objects) from a person for a predetermined period of time, finding a foreign object in a specific zone, placing objects near significant objects, placing similar objects in similar zones and separating these items from a person specific con trust and color combinations (for example, a red T-shirt peeking out from under a black shirt, or a white headdress on black hair).

В число задаваемых объектов могут входить объекты с конкретной известной формой, размером, цветом или массой (определяемой по количеству людей, несущих объект, по походке человека, несущего объект, по способу переноски объекта и т.д.) или объекты, выбор которых основывается на использовании библиотеки объектов и алгоритма сопоставления. Эти объекты могут заранее задаваться в аналитической программе и отслеживаться в реальном времени и/или в отложенном режиме с целью анализа. Объекты, задаваемые вручную, могут вводиться в программу путем указания цвета, размера, формы, массы и т.д. и анализироваться и отслеживаться в реальном времени и/или в отложенном режиме с целью обнаружения нештатных состояний или с иными целями. Объекты, задаваемые вручную, могут загружаться для анализа в реальном времени; это могут быть, к примеру, изображения для распознавания лиц, изображения татуировок, пирсинга, логотипов или иных признаков, что более подробно раскрыто далее. Кроме того, по видеоданным (к примеру, по данным кадра) и/или по неподвижному изображению могут создаваться и предоставляться для анализа формируемые пользователем объекты и/или изображения. Например, и как показано в аналитической системе распознавания 400 на фиг. 4, объект 410 (к примеру, шляпа, рюкзак, снаряжение или любая особенность, которую можно идентифицировать), идентифицированный в неподвижном изображении и/или в видеокадре (или идентифицированный в результате одного из нештатных состояний, раскрытых в настоящем документе) может быть отделен от человека 405 на заданное время (

событие) и передан в качестве сформированного пользователем объекта 410' для идентификации в видео 420 реального времени или найден и идентифицирован в сохраненном видео 425, к примеру, в видеокадрах и/или в неподвижных изображениях.The set of objects can include objects with a specific known shape, size, color or mass (determined by the number of people carrying the object, the gait of the person carrying the object, the method of carrying the object, etc.) or objects whose selection is based on using a library of objects and a matching algorithm. These objects can be predefined in the analytical program and tracked in real time and / or in delayed mode for analysis. Manually defined objects can be entered into the program by specifying color, size, shape, mass, etc. and be analyzed and monitored in real time and / or in delayed mode in order to detect abnormal conditions or for other purposes. Manually defined objects can be loaded for analysis in real time; it can be, for example, images for face recognition, images of tattoos, piercings, logos or other signs, which is described in more detail below. In addition, user-generated objects and / or images can be created and provided for analysis from video data (for example, from frame data) and / or from a still image. For example, and as shown in the analytic recognition system 400 in FIG. 4, an object 410 (for example, a hat, backpack, equipment, or any feature that can be identified) identified in a still image and / or in a video frame (or identified as a result of one of the abnormal conditions disclosed herein) can be separated from 405 people for a given time (

event) and transmitted as a user-generated object 410 'for identification in real-time video 420 or found and identified in stored video 425, for example, in video frames and / or in still images.

Человек 405 может иметь мобильное устройство 440 связи (к примеру, смартфон), оснащенный одной или более антенн (не показанных на фиг. 4), посредством которых путем беспроводной связи передаются один или более сигналов (к примеру, данные мобильного устройства связи). В число примеров таких данных мобильного устройства связи входят сигналы (к примеру, сигналы установления связи), которые мобильное устройство 440 связи передает в соответствии с одним или более протоколами беспроводной связи, например, протоколом связи WiFi, протоколом связи на основе управления доступом к среде передачи (MAC), протоколом Bluetooth, протоколом сотовой связи, протоколом связи малого радиуса действия и протоколом радиочастотной идентификации. Как указано выше, одна или более антенн 150 выполнены с возможностью захвата данных мобильного устройства связи, передаваемых мобильным устройством связи при его нахождении в зоне действия одной или более антенн 150 и с возможностью передачи захваченных данных мобильного устройства связи в модуль 140 анализа данных для обработки в соответствии с различными вариантами осуществления настоящего изобретения.A person 405 may have a mobile communication device 440 (for example, a smartphone) equipped with one or more antennas (not shown in FIG. 4), through which one or more signals (for example, data of a mobile communication device) are transmitted wirelessly. Examples of such data of a mobile communication device include signals (eg, communication signals) that the mobile communication device 440 transmits in accordance with one or more wireless communication protocols, for example, a WiFi communication protocol, a communication protocol based on media access control (MAC), Bluetooth protocol, cellular protocol, short-range communication protocol and radio frequency identification protocol. As indicated above, one or more antennas 150 are configured to capture data of the mobile communication device transmitted by the mobile communication device when it is in the range of one or more antennas 150 and to transmit captured data of the mobile communication device to the data analysis module 140 for processing in in accordance with various embodiments of the present invention.

Система 400 может содержать модуль 140 анализа данных, выполненный с возможностью анализа видеоданных и невизуальных данных (к примеру, данных мобильного устройства связи) в реальном времени и/или в отложенном режиме и слежения за каждым человеком с рюкзаком 410 в конкретной зоне или в поле зрения конкретной камеры. Подозрительное и/или представляющее интерес поведение одного или более людей может быть отслежено, записано и проанализировано как в режиме реального времени, так и в отложенном режиме. Например, как показано на фиг. 4, если рюкзак 410 отделен от человека 405 и оставлен в течение заранее заданного периода времени, то данное видео может быть помечено для оповещения в реальном времени и/или для отложенного анализа. Объект, к примеру, рюкзак 410, может быть помечен, снабжен меткой времени и/или выделен в отдельный видеопоток для отложенного анализа. Пользователь может при анализе в реальном времени или в отложенном режиме применить масштабирование с целью слежения с высоким разрешением или ввода в контроллер 200 последовательности данных/видео/изображений в соответствии с приведенным здесь обсуждением. Человек 405, оставивший заранее заданный подозрительный объект, к примеру, рюкзак 410 (или любой другой объект, распознанный библиотекой 430 изображений, изображение/объект 435, сформированный пользователем (через устройство ввода) или некоторым алгоритмом сопоставления или модулем 140), может быть отслежен и подвергнут анализу для оповещения в реальном времени и/или для отложенного анализа. Система 400 может и следить за объектом 410, и отмечать человека 405 и следить за ним для анализа в режиме реального времени или в отложенном режиме через одну или более камер 110, через сеть камер 110, 110а, 110b, одну или более антенн 150 и/или сеть антенн 150 и т.д.System 400 may include a data analysis module 140 configured to analyze video and non-visual data (eg, data from a mobile communication device) in real time and / or in delayed mode and track each person with a backpack 410 in a specific area or field of view specific camera. Suspicious and / or interesting behavior of one or more people can be tracked, recorded and analyzed both in real time and in delayed mode. For example, as shown in FIG. 4, if the backpack 410 is separated from the person 405 and left for a predetermined period of time, then this video can be marked for real-time alerts and / or for pending analysis. An object, for example, a backpack 410, can be marked, timestamped and / or allocated to a separate video stream for delayed analysis. In real-time or deferred mode analysis, the user can apply scaling to track with high resolution or enter a sequence of data / video / images into the controller 200 in accordance with the discussion here. A person 405 who has left a predetermined suspicious object, for example, a backpack 410 (or any other object recognized by the image library 430, an image / object 435 generated by the user (via an input device) or some matching algorithm or module 140) can be tracked and analyzed for real-time alerts and / or for pending analysis. System 400 can both track an object 410 and mark a person 405 and follow it for analysis in real time or in deferred mode through one or more cameras 110, through a network of cameras 110, 110a, 110b, one or more antennas 150 and / or a network of antennas 150, etc.

Еще в одном примере система 400 может отмечать и следить в реальном времени для целей передачи оповещений или отложенного анализа за человеком, одетым летом в зимнее пальто, в солнечную погоду в длинный плащ-дождевик и т.п. Такая ситуация также может считаться поводом к передаче оповещения или нештатным состоянием.In yet another example, system 400 can record and monitor in real time for the purpose of transmitting alerts or pending analysis of a person dressed in a winter coat in the summer, in sunny weather, in a long raincoat, etc. Such a situation may also be considered a reason for the transmission of an alert or an emergency condition.

Система 400 может быть выполнена с возможностью комбинирования заранее заданных способов анализа для оповещения об одной или более нештатных ситуациях (или об их сочетании). Например, человек, несущий футляр, в котором может быть размещена полуавтоматическая или автоматическая винтовка, расхаживающий около стратегически важного здания в течение заранее заданного периода времени, может автоматически отмечаться, отслеживаться, а охране может передаваться оповещение.System 400 may be configured to combine predetermined analysis methods to alert one or more emergency situations (or a combination thereof). For example, a person carrying a case in which a semi-automatic or automatic rifle can be placed, pacing around a strategically important building for a predetermined period of time, can be automatically marked, monitored, and an alert can be transmitted to security.

Система 400 может быть выполнена с возможностью отслеживания и анализа конкретных объектов, и программа или модуль 140 анализа данных могут быть заранее настроены на обнаружение этих объектов в видеопотоках и/или в неподвижных изображениях, полученных позднее. Например, может быть запланировано, что особо важная персона даст брифинг для прессы или прибудет в конкретное место в конкретное время. Однако запланированное мероприятие переносится (намеренно или по стечению обстоятельств). Программа или модуль 140 анализа данных могут быть заранее настроены на распознавание некоторых объектов (или людей с объектами 410 или с объектами 435, сформированными пользователем), которые появятся в видео с мероприятия, перенесенного на более поздний срок. В некоторых случаях оригинальное видео, полученное во время первоначально запланированного мероприятия, может быть изучено, и пользователь может перенастроить программу или модуль 140 анализа данных на поиск конкретных «повторно появившихся» объектов 410 (рюкзаков, пальто, головных уборов, одежды, портфелей, людей и т.д.) в видеоматериале, получаемом в реальном времени на перенесенном мероприятии. Кроме того, некоторый человек также может быть отнесен к праздношатающимся и отмечен для контроля на мероприятии, перенесенном на более поздний срок. Группе охраны, просматривающей запись в реальном времени, может посылаться предупреждение, если это был человек, представляющий интерес.System 400 may be configured to track and analyze specific objects, and the data analysis program or module 140 may be preconfigured to detect these objects in video streams and / or in still images obtained later. For example, it may be planned that a particularly important person will give a press briefing or arrive at a specific place at a specific time. However, the planned event is postponed (intentionally or by coincidence). The data analysis program or module 140 may be pre-configured to recognize certain objects (or people with objects 410 or with objects 435 formed by the user) that will appear in the video from the event rescheduled for a later date. In some cases, the original video obtained during the originally planned event can be studied, and the user can reconfigure the data analysis program or module 140 to search for specific “re-emerging” objects 410 (backpacks, coats, hats, clothes, briefcases, people and etc.) in the video material received in real time at the transferred event. In addition, some people can also be attributed to loungers and marked for control at an event rescheduled for a later date. A security group viewing a real-time recording may receive a warning if it was a person of interest.

Модуль 140 анализа данных может быть выполнен с возможностью распознавания нештатных типов поведения или неожиданных типов поведения и с возможностью оповещения охраны или инспекторов о возможных нештатных сценариях, событиях или состояниях. Видео и/или данные могут быть ориентированы на анализ в реальном времени или на отложенный анализ. Например, модуль 140 анализа данных может быть настроен на распознавание признаков собирающегося в конкретной географической зоне скопления людей и/или признаков скопления людей, расходящегося из конкретной географической зоны. Для достижения этой цели могут использоваться программы для глобального позиционирования и векторизации. Распознавание признаков собирающегося или расходящегося скопления людей может быть полезно при автоматическом распознавании возможных флэшмобов, массовых ограблений или других нештатных событий. Например, и как показано на фиг. 5, аналитическая система 500 распознавания содержит модуль 140 анализа данных, который может быть выполнен с возможностью слежения за необычным количеством посетителей 504a-504l, прибывающих в конкретное местоположение 520 в конкретное время 522 или около указанного времени. Модуль 140 анализа данных также может быть выполнен с возможностью отслеживания необычной скорости изменения числа посетителей 504a-504l и/или лиц, приходящих в конкретное местоположение 520 или уходящих из указанного местоположения. Типовая скорость прихода и/или ухода может быть задана заранее или получена из алгоритма, использованного в отношении людей, ранее приходивших в конкретное местоположение и уходивших из указанного местоположения в течение заранее заданного или варьируемого периода времени. Отклонение от типовой скорости прихода и/или ухода может инициировать нештатное состояние.The data analysis module 140 may be configured to recognize abnormal behaviors or unexpected behaviors and to notify security guards or inspectors of possible abnormal scenarios, events, or conditions. Video and / or data may be oriented towards real-time analysis or delayed analysis. For example, the data analysis module 140 may be configured to recognize signs of a gathering of people in a particular geographic area and / or signs of a gathering of people diverging from a specific geographic area. To achieve this, programs for global positioning and vectorization can be used. Recognizing the signs of a gathering or diverging congestion of people can be useful in automatically recognizing possible flash mobs, mass robberies, or other abnormal events. For example, and as shown in FIG. 5, the recognition analysis system 500 includes a data analysis module 140 that can be configured to track an unusual number of visitors 504a-504l arriving at a specific location 520 at a specific time 522 or around the specified time. Data analysis module 140 may also be configured to track an unusual rate of change in the number of visitors 504a-504l and / or individuals arriving at a particular location 520 or departing from a specified location. A typical rate of arrival and / or departure can be set in advance or obtained from the algorithm used in relation to people who previously came to a specific location and left the specified location within a predetermined or variable period of time. Deviation from the typical rate of arrival and / or departure may initiate an abnormal condition.

Хотя это явно не показано на фиг. 5, один или более людей 504 могут иметь одно или более соответствующих мобильных устройств 440 связи (к примеру, смартфонов), оснащенных одной или более антенн, посредством которых путем беспроводной связи передаются один или более сигналов (к примеру, данные мобильного устройства связи). Как указано выше, одна или более антенн 150 выполнены с возможностью захвата данных мобильного устройства связи, передаваемых мобильными устройствами 440 связи при их нахождении в соответствующих зонах действия одной или более антенн 150 и с возможностью передачи захваченных данных мобильного устройства связи в модуль 140 анализа данных для обработки в соответствии с различными вариантами осуществления настоящего изобретения.Although not explicitly shown in FIG. 5, one or more people 504 may have one or more respective mobile communication devices 440 (e.g., smartphones) equipped with one or more antennas through which one or more signals (e.g., data from a mobile communication device) are transmitted wirelessly. As indicated above, one or more antennas 150 are configured to capture data of a mobile communication device transmitted by mobile communication devices 440 when they are in the respective areas of one or more antennas 150 and to transmit captured data of a mobile communication device to data analysis module 140 for processing in accordance with various embodiments of the present invention.

Охранная система 500 с модулем 140 анализа данных и одной или более группами или системами 510а-510g камер может быть выполнена с возможностью распознавания необычного количества людей, собирающихся в конкретной географической зоне 520 в течение заранее заданного времени. Модуль 140 анализа данных может быть выполнен с возможностью использования алгоритмов векторного анализа и/или векторного анализа изображения и данных и/или алгоритмов машинного обучения для обнаружения одного или более типов сбора людей в скопление. Кроме того, система 500 может быть выполнена с возможностью распознавания подобия в одежде, возрасте, переносимых вещах (к примеру, портфелях, рюкзаках и других подобных предметах) и с возможностью передачи охране или инспекторам оповещения о возможном возникновении нештатного состояния. Это может быть полезно для распознавания так называемых «флэшмобов» или других значимых ситуаций в ходе парада, марафона, выступления с политической речью и т.д.The security system 500 with a data analysis module 140 and one or more groups or camera systems 510a-510g can be configured to recognize an unusual number of people gathering in a particular geographical area 520 within a predetermined time. Data analysis module 140 may be configured to use vector analysis and / or vector analysis algorithms for image and data and / or machine learning algorithms to detect one or more types of gathering people in a cluster. In addition, the system 500 may be configured to recognize similarities in clothing, age, carry-over items (eg, briefcases, backpacks, and other similar items) and with the ability to transmit alerts or inspectors of a possible emergency condition. This can be useful for recognizing the so-called “flash mobs” or other significant situations during a parade, marathon, political speech, etc.

Для обнаружения необычных типов расхождения людей из конкретной зоны 520 могут использоваться типы расхождения и/или скорости. Например, в ситуации, подобной панике, следует ожидать, что скорость расхождения людей будет больше заранее заданной или вычисленной средней скорости расхождения. Если при этом обнаружено одно или более лиц, покидающих конкретную зону и/или местоположение со скоростью меньше средней скорости или скорости в ситуациях типа паники, то это может указывать на то, что эти лица не находились в состоянии типа паники, например, из-за того, что они совершили противоправное деяние или были осведомлены о данной ситуации типа паники. Кроме того, человек, покидающий зону со скоростью, превышающей среднюю скорость, может быть «убегающим с места происшествия», например, может убегать с места ограбления или с места запланированного взрыва.To detect unusual types of divergence of people from a specific area 520, types of divergence and / or speed may be used. For example, in a situation like a panic, one would expect that the speed of people’s divergence would be greater than a predetermined or calculated average speed of divergence. If one or more persons are found to leave a specific area and / or location at a speed lower than the average speed or speed in situations such as panic, this may indicate that these persons were not in a state of panic type, for example, due to that they have committed an unlawful act or were aware of a given situation such as panic. In addition, a person leaving the zone at a speed exceeding the average speed may be “running away from the scene”, for example, can run away from the place of robbery or from the place of the planned explosion.

Модуль 140 анализа данных также может быть выполнен с возможностью контроля веб-трафика и/или сайтов социальных сетей (Facebook^®, MySpace^®, LinkedIn^®) в отношении конкретного местоположения и/или мероприятия и передачи оповещений соответствующего типа охране, или с возможностью комбинирования веб-трафика, относящегося к мероприятию или географической зоне, с анализом видеоданных, при котором с целью оповещения о возможном флэшмобе или групповом ограблении распознаются типовые признаки сбора людей в скопление. Модуль 140 анализа данных также может действовать в обратном порядке и получать доступ к веб-трафику или различным сайтам социальных сетей, когда обнаружены признаки сбора людей в скопление, и запрашивать один или более из этих сайтов с целью сбора дополнительной информации для возможного раскрытия более серьезной групповой активности или флэшмоба в конкретном местоположении.The data analysis module 140 may also be configured to control web traffic and / or social networking sites (Facebook ^® , MySpace ^® , LinkedIn ^® ) in relation to a specific location and / or event and send alerts of the appropriate type of protection, or with the ability to combine web traffic related to the event or geographical area, with the analysis of video data, in which, with the aim of notifying a possible flash mob or group robbery, typical signs of gathering people in a cluster are recognized. The data analysis module 140 can also act in the opposite order and access web traffic or various social networking sites when signs of gathering people are found, and request one or more of these sites in order to collect additional information for possible disclosure of a more serious group activity or flash mob at a specific location.

Модуль 140 анализа данных также может быть выполнен с возможностью контроля веб-трафика или сайтов социальных сетей с целью обнаружения деятельности, предшествовавшей времени конкретной метки времени. Например, публикация в социальной сети соболезнования по поводу некоторого события, по времени совпадающая с этим событием или предшествующая ему, может указывать на предварительную готовность к этому событию и на предварительную осведомленность о предстоящем событии.The data analysis module 140 may also be configured to monitor web traffic or social networking sites in order to detect activities prior to the time of a particular timestamp. For example, posting condolences on a social network about an event that coincides or precedes this event in time may indicate a preliminary readiness for this event and a preliminary awareness of the upcoming event.

Система 500 и модуль 140 анализа видеоданных могут быть выполнены с возможностью анализа видеоданных и/или данных мобильного устройства связи из одной или более уличных камер, камер автостоянки, камер магазина или торгового центра или других систем камер 510а-510g с целью обнаружения заранее заданных нештатных состояний или состояний, заданных вручную в реальном времени. Система 500 может быть выполнена с возможностью передачи оповещения, если в конкретном месте (к примеру, у торгового центра) собирается необычное количество автомобилей, и дополнения этой информации видеоматериалом с камер видеонаблюдения автостоянки с целью определения количества людей, собирающихся в конкретном магазине или месте, а также дополнения результатов этого анализа информацией с камер, установленных внутри магазина, с целью обнаружения присутствия подозрительных лиц в конкретном месте в конкретное время или в конкретном интервале времени. Это типовое поведение при флэшмобе или групповом ограблении. И в этом случае система 500 может связываться с одним или более сайтами социальных сетей для получения дополнительной информации и/или подтверждения.System 500 and video analysis module 140 may be configured to analyze video data and / or data from a mobile communication device from one or more outdoor cameras, parking cameras, store or shopping center cameras, or other camera systems 510a-510g in order to detect predetermined abnormal conditions or manually set conditions in real time. System 500 can be configured to transmit an alert if an unusual number of cars are collected at a specific place (for example, near a shopping center), and supplement this information with video material from parking camera surveillance cameras to determine the number of people gathering in a particular store or place, and also supplementing the results of this analysis with information from cameras installed inside the store, in order to detect the presence of suspicious persons in a particular place at a specific time or in a specific time interval. This is a typical flash mob or group robbery behavior. And in this case, the system 500 can communicate with one or more social networking sites for additional information and / or confirmation.

Подобным образом, скорости приближающихся автомобилей, полученные из видеоданных и/или из данных мобильного устройства связи, и/или скорость, с который люди выходят из своих автомобилей, также может служить признаком нештатного состояния.Similarly, the speeds of approaching cars, obtained from video data and / or from the data of a mobile communication device, and / or the speed with which people get out of their cars, can also serve as an emergency condition.

Другие примеры анализа, который модуль 140 анализа данных может выполнять в реальном времени и/или в отложенном режиме, могут относиться к распознаванию сообществ типа криминальных группировок. Например, аналитическая система распознавания 600 на фиг. 6 может быть выполнена с возможностью распознавания цветов и/или цветовых комбинаций группировки и/или ее характерных признаков и с возможностью пометки видео 618 и/или оповещения охраны, если необычное количество людей (или необычная доля людей) с конкретными цветами или цветовыми комбинациями и/или характерными признаками собирается в конкретной географической зоне или пребывает в этой зоне. Модуль 140 анализа данных может быть заранее настроен на распознавание конкретной характеристики или характерного признака 615 человека или людей 605а, к примеру, одежды, головного убора, стиля брюк, цветов рубашки или пальто, манеры их ношения, символики и логотипов на верхней одежде, татуировок, пирсинга, прически, жестикуляции руками, автомобилей, мотоциклов и т.д. и на оповещение охраны о нештатном состоянии или о ранее проведенной инспекции, сохраненной как ранее полученное изображение 625 в компьютере 620. В качестве альтернативного варианта и/или дополнительно, модуль 140 анализа данных может быть заранее запрограммирован на распознавание данных (к примеру, идентификатора сотовой связи) мобильного устройства 440 связи человека 605а и на оповещение охраны о присутствии человека 605а, который может быть известным человеком, представляющим интерес. Эти люди 605а могут быть отмечены и могут отслеживаться в течение заранее заданного периода времени или до их выхода из зоны. Общность изображений и характеристик 615 конкретной группы посетителей в скоплении людей (подобие цветов, униформы, экипировки, стиля одежды, причесок, логотипа, пирсинга, татуировок, символики, другой атрибутики организованных группировок, автомобилей, мотоциклов или одежды и т.д.) может быть распознана и может служить поводом к оповещению. Модуль 140 анализа данных может передавать оповещение о том, что х % людей в конкретном скоплении людей имеет конкретный признак 615, к примеру, одинаковую татуировку, красную рубашку, одинаковый логотип, прическу, имеют при себе одинаковые предметы и т.д. Модуль 140 анализа данных может быть выполнен с возможностью передачи оповещения на основании определения того, что заранее заданное число людей в конкретном скоплении людей имеет конкретный признак 615.Other examples of analysis that the data analysis module 140 may perform in real time and / or in deferred mode may relate to recognition of communities such as criminal gangs. For example, the analytic recognition system 600 of FIG. 6 may be configured to recognize colors and / or color combinations of the group and / or its characteristic features and to mark video 618 and / or security alerts if an unusual number of people (or an unusual proportion of people) with specific colors or color combinations and / or by characteristic signs, gathers in a specific geographical area or stays in that area. The data analysis module 140 may be preconfigured to recognize a specific characteristic or characteristic 615 of a person or people 605a, for example, clothing, headgear, style of trousers, shirt or coat colors, manner of wearing them, symbols and logos on outerwear, tattoos, piercings, hairstyles, hand gestures, cars, motorcycles, etc. and to notify the guard about an abnormal condition or about a previous inspection stored as a previously received image 625 in a computer 620. Alternatively and / or additionally, the data analysis module 140 may be pre-programmed to recognize data (for example, a cellular identifier ) a mobile communication device 440 of a person 605a and to alert the security of the presence of a person 605a, who may be a known person of interest. These people 605a can be tagged and tracked for a predetermined period of time or until they leave the area. The generality of images and characteristics of 615 a specific group of visitors in a crowd of people (similarity of colors, uniforms, equipment, style of clothing, hairstyles, logo, piercing, tattoos, symbols, other attributes of organized groups, cars, motorcycles or clothes, etc.) can be recognized and may serve as a pretext for an alert. Data analysis module 140 may transmit an alert that x% of people in a particular crowd of people have a specific attribute 615, for example, the same tattoo, red shirt, the same logo, hairstyle, have the same objects with them, etc. The data analysis module 140 may be configured to transmit an alert based on the determination that a predetermined number of people in a particular crowd of people has a specific attribute 615.

Модуль 140 анализа данных может быть выполнен с возможностью создания графических представлений многочисленных нештатных состояний с целью упрощения распознавания типовых ситуаций или очень высоких уровней (и/или заранее определенных уровней) одного или более нештатных состояний. Это может позволить одному или более людям отслеживать и анализировать большее число типовых ситуаций. Модуль 140 анализа данных также может распознавать контакт между людьми, причем этот контакт может быть как физическим контактом (к примеру, рукопожатием, объятиями или передачей предмета), так и осуществляемым без физического контакта (к примеру, разговором, продолжительным взглядом в глаза друг другу или иным нефизическим контактом, который может свидетельствовать о взаимном признании).The data analysis module 140 may be configured to create graphical representations of multiple abnormal states in order to facilitate recognition of typical situations or very high levels (and / or predetermined levels) of one or more abnormal states. This may allow one or more people to track and analyze more typical situations. The data analysis module 140 can also recognize contact between people, and this contact can be either a physical contact (for example, a handshake, hugs or transfer of an object), or carried out without physical contact (for example, conversation, a long look into each other’s eyes or other non-physical contact, which may indicate mutual recognition).

Другие состояния, требующие оповещения, могут относиться к нештатным сценариям, в которых модуль 140 анализа данных распознает переносимый человеком 605b объект, необычный для конкретной зоны. Например, как показано на фиг. 6, это может быть человек, несущий вилы или лопату (не показаны) в торговом центре 623, или группа людей (605b и 605с), несущих биты 616 в торговом центре 623 и собирающихся в конкретном месте. И в этом случае выполняемый в реальном времени анализ видео стал бы наиболее полезным и дал бы возможность передать охране оповещение о нештатном состоянии. Отложенный анализ может быть полезен для идентификации правонарушителей в случае происшествия, при котором пришлось обращаться за помощью к правоохранительным органам.Other conditions requiring notification may relate to abnormal scenarios in which the data analysis module 140 recognizes an object carried by a person 605b unusual for a particular area. For example, as shown in FIG. 6, it may be a person carrying forks or a shovel (not shown) at the mall 623, or a group of people (605b and 605c) carrying bits 616 at the mall 623 and gathering in a particular place. And in this case, the video analysis performed in real time would become the most useful and would make it possible to transmit an emergency notification to the guard. A delayed analysis may be useful for identifying offenders in the event of an incident in which they had to turn to law enforcement for help.

В любом из раскрытых выше сценариев или при любом из упомянутых здесь оповещений, модуль 140 анализа данных может для инициирования оповещений или ответов на запросы работать совместно с библиотекой 650 видеоизображений или алгоритмов и/или с одной или более базами накопленных данных мобильного устройства связи. В модуль 140 анализа данных в качестве входной информации могут быть переданы дополнительные изображения, например, изображения из библиотеки и/или созданные пользователем изображения 650, которые могут быть использованы для анализа видео с использованием средств распознавания модуля 140 анализа данных. Это может происходить в реальном времени или в режиме отложенного анализа. И в этом случае в зависимости от конкретной задачи могут вводиться запросы, а система 100, 200, 300, 400, 500 и/или 600 может выполнять анализ видео, относящийся к запрошенным состояниям, в реальном времени или в отложенном режиме.In any of the scenarios described above or with any of the alerts mentioned here, the data analysis module 140 may, in order to initiate alerts or respond to requests, work in conjunction with a library of video images or algorithms 650 and / or with one or more accumulated databases of mobile communication device data. Additional images, for example, images from the library and / or user created images 650, which can be used for video analysis using recognition tools of the data analysis module 140, can be transmitted to the data analysis module 140 as input. This can happen in real time or in pending analysis mode. And in this case, depending on the specific task, requests can be entered, and the system 100, 200, 300, 400, 500 and / or 600 can perform video analysis related to the requested states in real time or in delayed mode.

Система 100, 200, 300, 400, 500 и/или 600 может быть выполнена с возможностью трехмерного распознавания лиц. Система 100, 200, 300, 400, 500 и/или 600 может быть вручную настроена на распознавание подозреваемого человека 605а при расследовании (или человека, уже совершавшего правонарушения) на основании типа одежды, пирсинга, татуировки, прически и т.д. (данный вид распознавания отличается от распознавания лиц, который также может использоваться в зависимости от полномочий организации (ФБР в сравнении с собственной охраной торгового центра)). Изображение подозреваемого 605а может быть просканировано в модуль 140 анализа данных, и такие объекты, как, например, пирсинг, татуировки, прическа, логотипы и головной убор могут быть отмечены и загружены в базу данных изображений для последующего анализа в реальном времени или в отложенном режиме. Например, если похититель 605а грабит магазин и изображение его лица фиксируется одной или более камерами 610, то во все камеры 610 магазина может быть загружено не только это изображение, но и другая идентифицирующая информация или характерные признаки 615, к примеру, прическа, татуировки, пирсинг, ювелирные изделия, логотипы на одежде и т.д. Если похититель 605а снова войдет в этот магазин, то охране будет автоматически отправлено оповещение. Даже если система распознает похожую татуировку, пирсинг или логотип 615 на другом человеке, то и этот человек может рассматриваться в качестве подозреваемого, подлежащего дознанию в уполномоченных органах. И в этом случае способ шире простого распознавания лиц, при котором указанный другой человек может не отмечаться, а его перемещение может не отслеживаться.The system 100, 200, 300, 400, 500 and / or 600 may be configured for three-dimensional face recognition. System 100, 200, 300, 400, 500, and / or 600 can be manually configured to recognize a suspected person 605a during an investigation (or a person who has already committed an offense) based on the type of clothing, piercing, tattoo, hairstyle, etc. (this type of recognition differs from face recognition, which can also be used depending on the authority of the organization (FBI in comparison with the shopping center’s own security)). The image of suspect 605a can be scanned into data analysis module 140, and objects such as, for example, body piercings, tattoos, hair, logos and headgear can be marked and uploaded to the image database for later analysis in real time or in delayed mode. For example, if a kidnapper 605a robs a store and his face image is captured by one or more cameras 610, then not only this image, but also other identifying information or characteristic signs 615, for example, a hairstyle, tattoos, piercings, can be loaded into all cameras 610 of the store , jewelry, logos on clothes, etc. If thief 605a enters this store again, a notification will be automatically sent to the guard. Even if the system recognizes a similar tattoo, piercing or 615 logo on another person, then this person can be considered as a suspect, subject to inquiry by the authorized bodies. And in this case, the method is wider than simple face recognition, in which the specified other person may not be marked, and his movement may not be tracked.

Система 100, 200, 300, 400, 500 и/или 600 также может формировать библиотеку людей и/или постоянных клиентов, регулярно или часто бывающих в конкретном местоположении, чем устраняется необходимость отслеживать этих людей, а система 100, 200, 300, 400, 500 и/или 600 получает возможность сконцентрироваться на идентификации и отслеживании людей, ранее не идентифицированных и не сохраненных в библиотеке. Эта библиотека постоянных клиентов (не показана) также может связываться с расчетной системой пункта продаж с целью подтверждения того, что люди, идентифицированные и сохраненные в библиотеке, являются постоянными клиентами.The system 100, 200, 300, 400, 500 and / or 600 can also form a library of people and / or regular customers who regularly or often visit a specific location, which eliminates the need to track these people, and the system 100, 200, 300, 400, 500 and / or 600 gets the opportunity to concentrate on identifying and tracking people not previously identified and not stored in the library. This loyal customer library (not shown) can also contact the billing system of the point of sale to confirm that the people identified and stored in the library are regular customers.

Как лучше всего показано на фиг. 7, еще одна аналитическая система распознавания 700 с модулем 140 анализа данных используется в сети магазинов, в торговом центре или в группе магазинов 750 в городе или населенном пункте. Группа или сеть магазинов 750а-750е имеет возможность распространения видеоизображений 724, данных мобильного устройства связи и/или другой идентифицирующей информации с характеристикой или признаками известных преступников 705 по сети камер 710а-710е, использующих один и тот же модуль 140 анализа данных (или возможность загрузки изображения 724 и идентифицирующей информации в аналитическую систему 740а-740е отдельного магазина). Местные собственники магазинов 750а-750е сети имеют возможность предотвратить дополнительные потери путем отметки и отслеживания известных лиц 705, представляющих конкретный интерес (на основании полученных ранее характеристик или признаков, как раскрыто выше, и/или на основании идентифицирующей информации, введенной в базу данных изображений и/или информации), после входа такого лица 705 в магазин, к примеру, в магазин 750а. В отношении этих лиц (или групп лиц) могут быть переданы оповещения местным властям, и эти лица или группы могут отслеживаться во всей сети камер 710а-710е населенного пункта, в том числе камерами автостоянки, уличными камерами и т.д. Если человек 705 отмечен и выставлено оповещение, то может фиксироваться и другая информация, относящаяся к автомобилю, типу автомобиля, маршруту движения автомобиля, сообщниках и т.д. Кроме того, во все камеры 710а-710е и/или антенны 150а-150е системы 700 может быть передана команда отмечать и отслеживать человека 705 и его сообщников в реальном времени и/или в режиме отложенного анализа.As best shown in FIG. 7, another analytical recognition system 700 with a data analysis module 140 is used in a chain of stores, in a shopping center, or in a group of 750 stores in a city or city. A group or network of stores 750a-750e has the ability to distribute video images 724, data from a mobile communication device and / or other identifying information with a characteristic or signs of known criminals 705 through a network of cameras 710a-710e using the same data analysis module 140 (or the ability to download image 724 and identifying information in the analytical system 740a-740e of a separate store). Local owners of chain stores 750a-750e have the ability to prevent additional losses by tagging and tracking known persons 705 of particular interest (based on previously obtained characteristics or signs, as disclosed above, and / or based on identifying information entered into the image database and / or information), after the entry of such a person 705 into the store, for example, into the store 750a. In relation to these individuals (or groups of individuals) alerts can be sent to local authorities, and these individuals or groups can be monitored throughout the network of cameras 710a-710e of the settlement, including parking cameras, street cameras, etc. If a person 705 is marked and an alert is set, then other information related to the car, type of car, vehicle route, accomplices, etc. can be recorded. In addition, all cameras 710a-710e and / or antennas 150a-150e of system 700 may be instructed to record and track a person 705 and his accomplices in real time and / or in pending analysis mode.

Раскрытые здесь различные системы 100, 200, 300, 400, 500, 600, 700 и 800 также могут быть использованы для идентификации людей без физического контакта. Например, человек, постоянно проживающий в здании, может иметь выданный судом судебный запрет, запрещающий определенному лицу находиться в пределах некоторой зоны близости к указанному жителю. В систему, к примеру, в систему 700 может быть введено изображение, к примеру, изображение 724, а модуль 140 анализа данных может обнаруживать человека 705 и направлять этому жителю и/или властям оповещение и/или документальный материал. Подобным образом в систему 700а может быть передана созданная органами власти база 720 данных, содержащая библиотеку 724 изображений людей 705, идентифицированных в определенной программе регистрации в соответствии с законом.The various systems 100, 200, 300, 400, 500, 600, 700, and 800 disclosed herein can also be used to identify people without physical contact. For example, a person permanently residing in a building may have an injunction issued by a court prohibiting a certain person from being within a certain zone of proximity to a specified resident. For example, an image, for example, an image 724, can be entered into the system, for example, into the system 700, and the data analysis module 140 can detect a person 705 and send an alert and / or documentary material to this resident and / or authorities. Similarly, a database 720 created by the authorities can be transferred to system 700a, containing a library of 724 images of people 705 identified in a particular registration program in accordance with law.

Сообществом населенного пункта может быть принято решение о создании для этой цели сети камер 710а-710е. Новые владельцы местных коммерческих предприятий могут согласиться на загрузку изображения 724 конкретного преступника для анализа (т.е., для передачи местных оповещений) на условиях подписки (к примеру, за вознаграждение) на информацию о вновь идентифицированных преступниках, например, изображение 724 конкретного опасного преступника и дополнительная идентифицирующая информация, являясь особо значимой для всего сообщества, может загружаться во все сетевые камеры 710а-710е (или даже в автономные системы), тогда как заурядный магазинный вор может не представлять интереса.The community of the village may decide to create a network of cameras 710a-710e for this purpose. New owners of local commercial enterprises may agree to download the image of 724 specific criminals for analysis (i.e., to send local alerts) on a subscription basis (for example, for a fee) to information about newly identified criminals, for example, image 724 of a specific dangerous criminal and additional identifying information, being especially significant for the entire community, can be downloaded to all network cameras 710a-710e (or even to autonomous systems), while an ordinary shoplifter may not be of interest.

Модуль 140 анализа данных в качестве признака человека или подозреваемого также может использовать походку, прихрамывание, шарканье, угол наклона головы, длину шага, качание рук, жестикуляцию руками и т.д. Походка человека так же индивидуальна, как отпечаток пальца, и может использоваться для идентификации замаскировавшихся правонарушителей. Походка человека характеризуется множеством факторов (к примеру, скоростью ходьбы, частотой шагов, углом между ступнями, положением кисти руки или руки в целом, взмахом кисти руки или руки в целом, прихрамыванием, шарканьем и т.д.), и эта информация может быть загружена в модуль 140 анализа данных.Data analysis module 140 may also use gait, limp, shuffle, head angle, stride length, arm sway, hand gestures as a feature of a person or suspect. A person’s gait is as individual as a fingerprint, and can be used to identify masked offenders. A person’s gait is characterized by many factors (for example, walking speed, step frequency, angle between the feet, position of the hand or arm in general, swing of the arm or arm in general, limping, shuffling, etc.), and this information can be loaded into data analysis module 140.

Модуль 140 анализа данных также может быть выполнен с возможностью оповещения охраны, если в течение конкретного периода времени обнаружено некоторое количество известных изображений, событий или характерных движений (к примеру, поглаживание себя по определенной области (областям) в количестве X раз в заранее заданном периоде времени, поглаживание или поддержка известной области при ношении или маскировке оружия, нервозное подергивание или быстрые повороты головы в количестве X раз, выглядывание из-за угла, взгляд в видеокамеры в количестве X раз в течение заранее заданного периода времени и т.д. Модуль 140 анализа данных может быть выполнен с возможностью оповещения охраны или предоставления информации пользователю на основании ненормального или чрезмерного проявления привычного движения или события, произошедшего в заранее заданных временных пределах, или комбинации каких-либо событий, имевшей место в течение заранее заданного периода времени. Например, человек, идущий через магазин, что-то придерживающий рукой поверх брюк и быстро вращающий головой, может служить поводом для оповещения или нештатной ситуации. В еще одном примере отмечается или выделяется (или иным образом идентифицируется в конкретной зоне (зонах) системой 100, 200, 300, 400, 500, 600, 700 и/или 800) режим обеспечения охраны, и подозрительный человек, многократно скрытно смотрящий или поворачивающий голову в том направлении, может инициировать оповещение или нештатную ситуацию. В еще одном примере человек рассматривает товары и/или задерживается в зоне магазина, в которой обычное время пребывания невелико (к примеру, мужчины, как правило, находятся в отделе косметики недолго, тогда как время пребывания женщин почти всегда, если не всегда, велико).The data analysis module 140 can also be configured to notify the guard if a certain number of known images, events, or characteristic movements (for example, stroking itself over a certain area (s) in the amount of X times in a predetermined time period are detected during a specific period of time , stroking or supporting a known area when wearing or disguising a weapon, nervous twitching or quick head turns in the amount of X times, peeking around the corner, looking at the cameras in the amount of X times for a predetermined period of time, etc. Analysis module 140 data can be configured to notify security or provide information to the user based on an abnormal or excessive manifestation of a habitual movement or event that occurred within a predetermined time range, or a combination of any events that occurred during a predetermined time period. going through the store holding something with his hand over the trousers and quickly turning his head, can serve as a reason for warning or an emergency situation. In another example, the security regime is marked or highlighted (or otherwise identified in a specific zone (s) by the system 100, 200, 300, 400, 500, 600, 700 and / or 800) and a suspicious person who repeatedly watches or turns stealthily head in that direction, can trigger an alert or an emergency. In yet another example, a person examines goods and / or lingers in a store area in which the usual time spent is short (for example, men tend to be in the cosmetics department for a short time, while the time spent by women is almost always, if not always, long) .

Как указано выше, аналитическая система 100, 200, 300, 400, 500, 600, 700 и/или 800 распознавания в соответствии с настоящим изобретением может быть использована для обнаружения оружия посредством предварительного ввода в модуль 140 анализа данных конкретных черт характерного поведения и их анализа (в реальном времени и/или отложенного). Например, для человека, многократно совершавшего ограбления в конкретной зоне, о котором известно, что у него есть оружие, определенная походка может быть признаком того, что данный человек вооружен (к примеру, прихрамывающий шаг может указывать на наличие пистолета). Для инициирования оповещения или нештатной ситуации анализ данной информации может проводиться с использованием другой идентифицирующей информации или характерных признаков (к примеру, татуировок, цветов организованной группировки, символики группировки, логотипов и т.д.). В еще одном примере человек, носящий длинный плащ в отсутствие дождя или в летний солнечный день, смотрит или вращает головой с подозрительным вниманием. В этом случае модулю 140 анализа данных нужен вход для информации о дожде, температуре, солнечном свете (освещенности) и/или подключение к системе, предоставляющей такие данные. Время суток также может служить триггером или дополнительным событием, задаваемым в модуле 140 анализа данных для повышения «осведомленности» модуля 140 анализа данных при инициировании оповещений, к примеру, чтобы принять во внимание тот факт, что поздним вечером и после полуночи грабежи случаются чаще.As indicated above, the analysis system 100, 200, 300, 400, 500, 600, 700 and / or 800 recognition in accordance with the present invention can be used to detect weapons by first entering into the data analysis module 140 specific characteristics of the characteristic behavior and their analysis (in real time and / or delayed). For example, for a person who has repeatedly committed a robbery in a specific area, which is known to have a weapon, a certain gait may be a sign that the person is armed (for example, a limping step may indicate the presence of a gun). To initiate an alert or an emergency situation, the analysis of this information can be carried out using other identifying information or characteristic features (for example, tattoos, colors of an organized group, group symbols, logos, etc.). In another example, a person wearing a long raincoat in the absence of rain or on a summer sunny day looks or turns his head with suspicious attention. In this case, the data analysis module 140 needs an input for information about rain, temperature, sunlight (illumination) and / or connection to a system providing such data. The time of day can also serve as a trigger or an additional event defined in the data analysis module 140 to increase the “awareness” of the data analysis module 140 when triggering alerts, for example, to take into account the fact that robberies occur more often in the late evening and after midnight.

В других примерах модуль 140 анализа данных может предоставлять сотрудникам охраны возможность направления в аналитическую систему 100, 200, 300, 400, 500, 600, 700 и/или 800 распознавания, в реальном времени или в отложенном режиме, запросов, например, таких: «сколько человек в красных бейсболках вошли в магазин или зону в интервале 5-10 минут?»; «сколько человек собралось у центрального фонтана в этом интервале?»; «сколько человек слоняется у фонтана в определенном интервале времени?». Другие запросы могут содержать команды: «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми, носящими брюки или зимние пальто (в летний день с температурой 90° (по Фаренгейту))»; «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми в красных головных уборах»; «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми, несущими несколько рюкзаков»; «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми, оставившими предметы (к примеру, рюкзаки без присмотра) - следить за данным человеком в системе, во множестве систем, отмечать местоположение объекта и т.д.»; «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми, слоняющимися у важных зон, оставляющими предметы у важных зон - следить в системе, во множестве систем, отмечать местоположение»; и/или «оповещать, если предметы без присмотра в количестве, находящемся в заданном интервале, оставлены в заданное время или в течение заданного интервала времени».In other examples, the data analysis module 140 may provide security personnel with the opportunity to send to the analytical system 100, 200, 300, 400, 500, 600, 700, and / or 800 recognition, in real time or in delayed mode, of requests, for example, such as: “ how many people in red baseball caps entered the store or zone in the interval of 5-10 minutes? ”; “How many people gathered at the central fountain in this interval?”; “How many people are hanging around the fountain in a certain time interval?” Other queries may contain commands: “scan and recognize / mark / accompany / follow people wearing trousers or winter coats (on a summer day with a temperature of 90 ° (Fahrenheit))”; “Scan and recognize / mark / accompany / follow people in red hats”; “Scan and recognize / mark / accompany / track people carrying several backpacks”; “Scan and recognize / mark / accompany / follow people who left objects (for example, backpacks unattended) - follow this person in the system, in many systems, mark the location of an object, etc.”; “Scan and recognize / mark / accompany / follow people milling around important areas, leaving objects near important areas - follow in the system, in many systems, mark the location”; and / or “notify if items unattended in an amount within a specified interval are left at a specified time or within a specified time interval”.

В еще одном примере модуль 140 анализа данных может быть выполнен с возможностью обработки и анализа видео в реальном времени с целью определения параметра скопления людей (к примеру, текущего количества людей в скоплении или оценки текущей плотности скопления людей) путем автоматической обработки видеопоследовательности, полученной в некотором физическом местоположении. Модуль 140 анализа данных может содержать один или более алгоритмов, сконфигурированных с возможностью определения скорости изменения указанного параметра скопления людей. Скорость изменения параметра скопления людей может служить признаком собирающегося скопления людей или расходящегося скопления людей.In yet another example, the data analysis module 140 may be configured to process and analyze real-time video to determine a congestion parameter (for example, the current number of congestion people or estimate the current congestion density) by automatically processing a video sequence obtained in a certain physical location. Data analysis module 140 may comprise one or more algorithms configured to determine a rate of change of a specified congestion parameter. The rate of change of the congestion parameter can be a sign of a gathering congestion of people or a diverging congestion of people.

Если скорость изменения параметра скопления людей превышает заранее заданное пороговое значение, то модуль 140 анализа данных автоматически передает оповещение. Например, если скорость изменения параметра скопления людей указывает на собирающееся скопление людей, то модуль 140 анализа данных может оповещать охрану о возможном флэшмобе или групповом ограблении. Модуль 140 анализа данных может быть выполнен с возможностью использования алгоритмов векторного анализа и/или векторного анализа изображения и данных и/или алгоритмов машинного обучения для обнаружения одного или более типов сбора людей в скопление.If the rate of change of the crowding parameter exceeds a predetermined threshold value, then the data analysis module 140 automatically transmits an alert. For example, if the rate of change of the congestion parameter indicates a gathering congestion of people, then the data analysis module 140 may notify the guard about a possible flash mob or group robbery. Data analysis module 140 may be configured to use vector analysis and / or vector analysis algorithms for image and data and / or machine learning algorithms to detect one or more types of gathering people in a cluster.

Модуль 140 анализа данных может быть соединен с группой камер 510а-510g, организованных в сеть, и в случае передачи оповещения каждая камера в сети может использоваться для слежения за одним или более объектами или людьми (к примеру, за постоянными клиентами 504a-504l, показанными на фиг. 6). Если скорость изменения параметра скопления людей указывает на то, что скопление людей расходится, то модуль 140 анализа данных может оповещать охрану о возможности опасной ситуации или криминальных действий.The data analysis module 140 can be connected to a group of cameras 510a-510g organized in a network, and in the case of an alert, each camera in the network can be used to monitor one or more objects or people (for example, regular customers 504a-504l shown in Fig. 6). If the rate of change of the congestion parameter indicates that the congestion is diverging, then the data analysis module 140 may notify the security about the possibility of a dangerous situation or criminal actions.

Фиг. 8 представляет снимок экрана модуля 800 расследования, отображающего расследование, сформированное в соответствии с вариантом осуществления настоящего изобретения. Модуль 800 расследования выполнен с возможностью формирования и сохранения информации, требуемой для документирования конкретного поведения пользователя.FIG. 8 is a screen shot of an investigation module 800 displaying an investigation formed in accordance with an embodiment of the present invention. Investigation module 800 is configured to generate and store the information required to document specific user behavior.

Дополнительно, модуль 800 расследования может быть выполнен с возможностью приема критериев расследования, вводимых пользователем или машиной, и с возможностью поиска видеоданных, данных мобильного устройства связи и/или данных профиля на основании указанных критериев. В одном примере критерии расследования могут содержать временной интервал, и модуль 800 расследования может быть выполнен с возможностью формирования списка людей, присутствие которых было обнаружено в помещении в этом временном интервале. Модуль 800 расследования может также быть выполнен с возможностью определения текущего местоположения человека путем поиска сигнала, соответствующего данным мобильного устройства связи, ранее полученным в другом местоположении.Additionally, the investigation module 800 may be configured to receive investigation criteria entered by a user or machine, and to search for video data, mobile communication device data and / or profile data based on these criteria. In one example, the investigation criteria may comprise a time interval, and investigation module 800 may be configured to list people whose presence has been detected in the room at that time interval. Investigation module 800 may also be configured to determine a person’s current location by searching for a signal corresponding to data from a mobile communication device previously obtained at another location.

В некоторых примерных вариантах осуществления настоящего изобретения модуль 800 расследования выполнен с возможностью приема критериев отчета, вводимых пользователем, запрашивающим отчет определенного типа; поиска видеоданных, данных мобильного устройства связи и/или данных профиля, полученным из видеокамеры 110 и/или антенн 150, и/или данных продаж (к примеру, полученных из базы данных продаж); и формирования отчета на основании указанного поиска данных. Отчет может содержать, например, вычисленный показатель закрытия продаж, соответствующий товару, категории товара, проходу в помещении, стеллажу в помещении и/или заранее заданному месту в помещении.In some exemplary embodiments of the present invention, investigation module 800 is configured to receive report criteria entered by a user requesting a report of a certain type; search for video data, data of a mobile communication device and / or profile data obtained from a video camera 110 and / or antennas 150, and / or sales data (for example, obtained from a sales database); and generating a report based on said data search. The report may contain, for example, a calculated sales closing indicator corresponding to the product, product category, walkway in the room, shelving in the room and / or a predetermined place in the room.

Модуль 800 расследования содержит окно просмотра 810 с верхней и нижней полосами 812а, 812b управления просмотром, окно 814 ввода текста, окно 820 временной шкалы, окно 830 камеры, окно 840 поиска, окно 850 опций воспроизведения, окно 860 опций клипа и окно 870 работы с файлами.Investigation module 800 includes a viewing window 810 with upper and lower viewing control bars 812a, 812b, a text input window 814, a timeline window 820, a camera window 830, a search window 840, a playback options window 850, a clip options window 860, and a window 870 for working with files.

Расследования, автоматически сформированные системой 100, пополняются информацией, относящейся к конкретному поведению пользователя, как рассмотрено выше. Например, расследование, показанное на фиг. 8, содержит первую видеопоследовательность 820а и вторую видеопоследовательность 820b, причем первая видеопоследовательность 820а получена из камеры нижнего этажа, а вторая видеопоследовательность 220b получена из камеры у лифта. В одном варианте осуществления первая видеопоследовательность 820а передается в автоматически сформированное расследование, а это автоматически сформированное расследование передается сотруднику, ответственному за предотвращение потерь.Investigations automatically generated by system 100 are replenished with information related to specific user behavior, as discussed above. For example, the investigation shown in FIG. 8, comprises a first video sequence 820a and a second video sequence 820b, wherein the first video sequence 820a is obtained from a lower floor camera and the second video sequence 220b is obtained from a camera near the elevator. In one embodiment, the first video sequence 820a is transferred to an automatically generated investigation, and this automatically generated investigation is transferred to the person responsible for preventing losses.

Первая видеопоследовательность 820а выбирается в окне временной шкалы 820 и воспроизводится в окне 810 просмотра. Для пояснения в качестве примера предположим, что сотрудник, ответственный за предотвращение потерь, при просмотре первой видеопоследовательности 820а на КПК видит человека, уносящего принадлежащий компании портативный компьютер из зоны нижнего этажа. При формировании расследования система идентифицировала это поведение пользователя как конкретное поведение пользователя, и при просмотре сотрудник, ответственный за предотвращение потерь, решает, что данное автоматически сформированное расследование значимо и дает данному расследованию ход в качестве расследования кражи.The first video sequence 820a is selected in the timeline window 820 and played back in the viewing window 810. For clarity, as an example, suppose that the person responsible for preventing losses when viewing the first video sequence 820a on a PDA sees a person carrying a laptop computer belonging to the company from the lower floor area. When forming an investigation, the system identified this user behavior as a specific user behavior, and when viewed, the person responsible for preventing losses decides that this automatically generated investigation is significant and gives the investigation a progress as a theft investigation.

Автоматически сформированное расследование передается сотруднику, ответственному за предотвращение потерь, практически в реальном времени, поэтому человек, завладевший портативным компьютером компании, вряд ли успеет сделать более нескольких шагов от места, из которого этот портативный компьютер был унесен.An automatically generated investigation is transmitted to the person responsible for the prevention of losses in almost real time, so a person who has taken possession of a laptop computer in the company is unlikely to have time to take more than a few steps from the place from which this laptop was taken away.

Используя КПК, сотрудник, ответственный за предотвращение потерь, продолжает вести автоматически сформированное расследование (теперь расследование кражи) путем просмотра соотнесенных по времени видео и видеоданных, доступных через модуль 800 расследования на КПК.Using the PDA, the person responsible for preventing losses continues to conduct an automatically generated investigation (now theft investigation) by viewing the time-related video and video data available through the PDA investigation module 800.

В окне поиска 240 может автоматически выбираться временной интервал, относящийся к данному расследованию. Шкалой времени можно вручную управлять через КПК.The search window 240 may automatically select a time interval related to this investigation. The timeline can be manually controlled through the PDA.

Видео и/или видеоданные из одной или более камер, указанных в окне камеры 830, могут быть выбраны для просмотра в окне 810 просмотра. Выбирая другой экран просмотра из верхней полосы 812а управления просмотром, можно одновременно контролировать множество видеопотоков из отдельных камер (см. фиг. 1).Video and / or video data from one or more cameras indicated in the camera window 830 may be selected for viewing in the viewing window 810. By selecting a different viewing screen from the upper viewing control band 812a, it is possible to simultaneously control a plurality of video streams from individual cameras (see FIG. 1).

Нижняя полоса 812b управления просмотром дает возможность просмотра видео в окне 810 просмотра в реальном времени или с другой выбираемой скоростью. Модуль 800 расследования при этом определяет скорость воспроизведения расследования таким образом, что автоматически вычисляемая скорость воспроизведения дает сотруднику, ответственному за предотвращение потерь, возможность просмотра каждого кадра в видеопоследовательности. Скорость записи и сохранения видео такова, что обеспечиваются возможности распознавания, превосходящие способность человеческого глаза обнаруживать небольшие движения. Устройство воспроизведения тоже может иметь аппаратные и/или программные ограничения, не позволяющие ему отображать каждый кадр видео. При этом воспроизведение видео в «реальном времени» приводит к выпадению отдельных кадров видео вследствие ограниченности возможностей человеческого зрения и/или технических ограничений дисплея компьютера. Скорость воспроизведения расследования вычисляется с учетом ограниченности возможностей человеческого зрения и технических ограничений дисплея конкретного устройства, используемого для просмотра в модуле 800 расследования.The lower viewing control bar 812b allows viewing the video in the real-time viewing window 810 or at another selectable speed. The investigation unit 800 then determines the playback speed of the investigation in such a way that the automatically calculated playback speed gives the person responsible for preventing losses the opportunity to view each frame in a video sequence. The speed of recording and saving video is such that recognition capabilities are superior to the ability of the human eye to detect small movements. The playback device may also have hardware and / or software limitations that prevent it from displaying each frame of the video. At the same time, video playback in “real time” leads to the loss of individual frames of video due to the limited capabilities of human vision and / or technical limitations of the computer display. The playback speed of the investigation is calculated taking into account the limitations of human vision and the technical limitations of the display of a particular device used for viewing in the investigation module 800.

Окно 850 опций воспроизведения дает возможность воспроизведения видеопоследовательности и/или видео из каждой камеры в различных режимах. В режиме с отображением всех кадров видео воспроизводится с вычисленной скоростью воспроизведения расследования, причем в ходе воспроизведения отображаются и могут быть изучены все кадры. В режиме с отображением только движения выдаются только видеопоследовательности, содержащие движение. В триггерном режиме отображения используются только видеопоследовательности, соотнесенные по времени с триггером.A window of 850 playback options enables playback of a video sequence and / or video from each camera in various modes. In the mode with the display of all frames, the video is played with the calculated investigation playback speed, and during the playback all frames are displayed and can be studied. In a motion-only display mode, only video sequences containing motion are output. In trigger display mode, only video sequences correlated in time with the trigger are used.

В число триггеров входят внутренние триггеры и внешние триггеры. В число внутренних триггеров входят триггеры движения, задаваемые пользователем и определяемые модулем 140 анализа данных, триггеры пункта продаж, формируемые модулем 141 пункта продаж, и анализируемые события, определяемые маршрутом прохода и/или зоной (к примеру, вход и/или выход из зоны) и задаваемые модулем 140 анализа данных. Внешние триггеры создаются внешними аппаратными устройствами, непосредственно или опосредованно подключенными к компьютеру 120.Triggers include internal triggers and external triggers. The internal triggers include user-defined motion triggers and defined by data analysis module 140, sales point triggers generated by sales point module 141, and analyzed events determined by the passage route and / or zone (for example, entering and / or leaving the zone) and defined by the data analysis module 140. External triggers are created by external hardware devices directly or indirectly connected to computer 120.

В любом месте расследования сотрудник, ответственный за предотвращение потерь, может привязать видеопоследовательность к временной шкале. Например, на фиг. 8 сотрудник, ответственный за предотвращение потерь, добавил в расследование вторую видеопоследовательность 820b. Вторая видеопоследовательность 820b содержит видео, полученное из камеры, расположенной у лифта и лестничного марша. Далее предположим, что сотрудник, ответственный за предотвращение потерь, обнаружил во второй видеопоследовательности 820b подозреваемого, несущего портативный компьютер и приближающегося к лифту. Продолжая расследование кражи, сотрудник, ответственный за предотвращение потерь, включает вторую видеопоследовательность 820b во временную шкалу расследования.At any point in the investigation, the person responsible for preventing losses can link the video sequence to the timeline. For example, in FIG. 8 The Loss Prevention Officer added a second video sequence 820b to the investigation. The second video sequence 820b contains the video obtained from the camera located at the elevator and the flight of stairs. Further, suppose that the person responsible for the prevention of losses found in the second video sequence 820b a suspect carrying a laptop computer and approaching the elevator. Continuing the investigation into the theft, the person responsible for preventing the loss includes the second video sequence 820b in the investigation timeline.

Сотрудник, ответственный за предотвращение потерь, может выбирать различные опции из окна 860 видеоклипа. Окно 820 временной шкалы может пополняться видеоклипами, содержащими одну или более видеопоследовательностей, неподвижное изображение, сформированное по видеопоследовательности, или текст, введенный через окно 814 ввода текста. Видеоклип может содержать непрерывную видеопоследовательность. Как вариант, видеоклип, использующий опцию воспроизведения только движения (выбранную в окне 850 опций воспроизведения) содержит множество видеопоследовательностей, содержащих движение (к примеру, части, не содержащие движение, исключаются из данного видеоклипа).. Наконец, сотрудник, ответственный за предотвращение потерь, может делать снимки кадра с целью фиксации конкретных особенностей, например, лица, определенного инструмента или предмета, использованного при совершении кражи, или любого другого значимого изображения, которое может потребоваться для дальнейшего ведения расследования.The person responsible for preventing loss can select various options from the video clip window 860. The timeline window 820 may be replenished with video clips containing one or more video sequences, a still image formed by the video sequence, or text entered through the text input window 814. A video clip may contain a continuous video sequence. Alternatively, a video clip using the motion-only playback option (selected in the 850 playback options window) contains many video sequences containing motion (for example, parts not containing motion are excluded from this video clip). Finally, the person responsible for preventing losses, can take pictures of the frame in order to fix specific features, for example, a person, a certain tool or object used in the theft, or any other significant image that may be required for further investigation.

В итоге, поскольку расследование формируется практически в реальном времени, сотрудник, ответственный за предотвращение потерь, при подтверждении того, что в данный момент происходит кража, может поставить в известность охрану и задержать похитителя до того, как он покинет помещение.As a result, since the investigation is being formed in almost real time, the officer responsible for preventing losses, when confirming that the theft is currently taking place, can notify the guard and detain the abductor before he leaves the premises.

Далее рассматривается фиг. 9, где представлена блок-схема аналитического способа распознавания 900 в соответствии с примерным вариантом осуществления настоящего изобретения. В соответствии с вариантом осуществления, предлагаемым в настоящем документе в качестве примера, способ 900 может использоваться для пополнения, по меньшей мере частично на основании видеоданных и/или данных мобильного устройства связи, захваченных одной или более видеокамерами 110 и/или одной или более антеннами 150, соответственно, базы данных данными, которые могут быть полезны для целей обеспечения безопасности, целей расследования, маркетинговых целей и т.п.Next, FIG. 9, which is a flow chart of an analytical recognition method 900 in accordance with an exemplary embodiment of the present invention. According to an embodiment provided by way of example, method 900 can be used to replenish, at least in part, from video data and / or data from a mobile communication device captured by one or more video cameras 110 and / or one or more antennas 150 respectively, databases with data that may be useful for security purposes, investigation purposes, marketing purposes, etc.

В блоке 902, как подробнее раскрыто выше со ссылкой на фиг. 1, одной или более видеокамерами 110 захватывают видеоданные и одной или более антеннами 150 захватывают данные мобильного устройства связи. Указанные видеоданные в одном примере содержат изображения одного или более людей, которые в одно время находились в поле зрения одной или более камер 110, а указанные данные мобильного устройства связи содержат данные, захваченные из одного или более мобильных устройств 440 связи, которые в одно время находились в зоне действия беспроводной связи одной или более антенн 150. Каждый элемент данных мобильного устройства связи могут связывать с соответствующим мобильным устройством связи, которое имеет при себе соответствующий один человек из числа людей, чьи одно или более изображений были захвачены.In block 902, as described in more detail above with reference to FIG. 1, one or more video cameras 110 capture video data and one or more antennas 150 capture data from a mobile communication device. Said video data in one example contains images of one or more people who were at one time in the field of view of one or more cameras 110, and said data of a mobile communication device contains data captured from one or more mobile communication devices 440 that were at one time within the wireless coverage area of one or more antennas 150. Each data element of a mobile communication device can be associated with a corresponding mobile communication device that carries one corresponding person from among the people whose one or more images were captured.

В блоке 904 выполняют соотнесение элементов видеоданных, захваченных в блоке 902, с соответствующими элементами данных мобильного устройства связи, захваченных в блоке 902, на основании одного или более ключей, содержащихся в полученных видеоданных и данных мобильного устройства связи. В одном примере на основании соотнесения, выполненного в блоке 904, формируют соответствующие профили людей, связанных с одним или более соответствующими элементами видеоданных и/или данных мобильного устройства связи. Каждый профиль может содержать данные профиля, содержащие что-либо одно или комбинацию из захваченных видеоданных, захваченных данных мобильного устройства связи и/или дополнительных данных.In block 904, the video data elements captured in block 902 are correlated with the corresponding data elements of the mobile communication device captured in block 902 based on one or more keys contained in the received video data and data of the mobile communication device. In one example, based on the correlation performed in block 904, corresponding profiles of people are generated associated with one or more corresponding elements of the video data and / or data of the mobile communication device. Each profile may contain profile data containing one or a combination of captured video data, captured data of a mobile communication device and / or additional data.

Один или более ключей, используемых в блоке 904, может содержать какой-либо один атрибут или комбинацию атрибутов, которые включены в элемент видеоданных или в данные мобильного устройства связи и которые могут быть использованы для идентификации элемента видеоданных или данных мобильного устройства связи и/или для соотнесения множества элементов видеоданных и/или данных мобильного устройства связи с целью проверки наличия связи между этими элементами. Например, изображение лица человека, содержащееся в элементе видеоданных, захваченном в первую дату и время, может использоваться как ключ, по которому может выполняться соотнесение этого элемента видеоданных с другим элементом видеоданных, захваченным во вторую дату и время. В качестве еще одного примера, адрес IP, содержащийся в элементе данных мобильного устройства связи, захваченных в первом местоположении (к примеру, первой видеокамерой 110 или антенной 150), может использоваться в качестве ключа, по которому может выполняться соотнесение этого элемента данных мобильного устройства связи с другим элементом данных мобильного устройства связи, захваченным во втором местоположении (к примеру, второй видеокамерой 110 или антенной 150). В число примеров типов ключей входят, без ограничений, идентификатор устройства захвата данных/маяка (к примеру, уникальный идентификатор конкретной видеокамеры 110 или антенны 150, которой захвачен элемент видеоданных или данных мобильного устройства связи), адрес мобильного устройства связи (к примеру, адрес Wi-Fi, адрес Bluetooth, адрес NFC, адрес RFID, адрес сотовой связи, адрес устройства GPS, MAC адрес, международный идентификатор абонента мобильной связи (International Mobile Subscriber Identity, IMSI) и/или любой другой пригодный адрес или идентификатор), содержащийся в данных мобильного устройства связи, полученных из мобильного устройства 440 связи, интенсивность сигнала данных мобильного устройства связи, полученного из мобильного устройства 440 связи, дата, на которую захвачен элемент видеоданных или данных мобильного устройства связи, время, в которое захвачен элемент видеоданных или данных мобильного устройства связи, местоположение, в котором захвачен элемент видеоданных или данных мобильного устройства связи, среда передачи информации (к примеру, определенный протокол беспроводной связи), посредством которой захвачен элемент данных мобильного устройства связи и т.п. Ключи, используемые в блоке 904, как и любые другие данные, захваченные, сформированные или иным образом полученные в результате выполнения шагов способа 900, могут подвергаться шифрованию с использованием одного или более пригодных алгоритмов шифрования известным способом.One or more keys used in block 904 may comprise any one attribute or combination of attributes that are included in a video data element or data of a mobile communication device and which can be used to identify a video data element or data of a mobile communication device and / or correlation of a plurality of elements of video data and / or data of a mobile communication device in order to verify the presence of communication between these elements. For example, the image of a person’s face contained in a video data element captured on the first date and time can be used as a key to correlate this video data element with another video data element captured on the second date and time. As another example, the IP address contained in a data element of a mobile communication device captured at a first location (for example, a first video camera 110 or antenna 150) can be used as a key by which to correlate this data element of a mobile communication device with another data element of a mobile communication device captured at a second location (for example, a second video camera 110 or antenna 150). Examples of key types include, but are not limited to, an identifier for a data capture device / beacon (for example, a unique identifier for a particular video camera 110 or antenna 150 that captures an element of video data or data from a mobile communication device), the address of the mobile communication device (for example, Wi -Fi, Bluetooth address, NFC address, RFID address, cellular address, GPS device address, MAC address, International Mobile Subscriber Identity (IMSI) and / or any other suitable address or identifier) contained in the data the mobile communication device received from the mobile communication device 440, the signal strength of the data of the mobile communication device received from the mobile communication device 440, the date on which the video data or data element of the mobile communication device is captured, the time at which the video data or mobile communication device element is captured , the location at which the video element is captured or data of a mobile communication device, an information transmission medium (for example, a specific wireless communication protocol) by which a data element of a mobile communication device is captured, and the like. The keys used in block 904, like any other data captured, generated, or otherwise obtained as a result of the steps of method 900, may be encrypted using one or more suitable encryption algorithms in a known manner.

В блоке 906 данные профиля, сформированные в блоке 904, нормализуют на основании одного или более критериев нормализации. Например, данные профиля могут нормализовать на основании (1) количества посещений людьми конкретного местоположения (к примеру, местоположения в магазине, имеющего одну или более камер 110 и антенн 150, посредством которых видеоданные и/или данные мобильного устройства связи были захвачены в блоке 902), (2) времени, в течение которого люди оставались в конкретном местоположении, и/или (3) частоты или скорости повторения посещений людьми конкретного местоположения. Это может быть полезно для идентификации повторных клиентов, преступника, заходившего в магазин до совершения ограбления и т.п.At block 906, the profile data generated at block 904 is normalized based on one or more normalization criteria. For example, profile data can be normalized based on (1) the number of people visiting a specific location (for example, a store location that has one or more cameras 110 and antennas 150 through which video and / or data from a mobile communication device were captured in block 902) , (2) the time during which people stayed at a particular location, and / or (3) the frequency or rate of repetition of visits by people to a particular location. This can be useful for identifying repeat customers, a criminal who went into the store before committing a robbery, etc.

В блоке 908 данные профиля, сформированные в блоке 904 и/или нормализованные в блоке 906, уточняют с целью включения одного или более атрибутов, сформированных для соответствующих профилей на основании данных, накопленных с течением времени в отношении каждого профиля/человека. В число примеров таких атрибутов может входить то, является ли человек повторным покупателем, новым покупателем, сотрудником, прохожим (что определяют, например, по очень малой длительности пребывания в местоположении, например, когда человек просто проходит мимо магазина в пределах зоны действия камеры 110 и/или антенны 150, размещенных в этом магазине), делает ли человек покупки в других местах деятельности конкретного розничного продавца, в которых видеоданные и/или данные мобильного устройства связи этого человека были захвачены, был ли человек вовлечен в контакт с сотрудником при нахождении в магазине и т.п. После блока 908 способ 900 может возвращаться к блоку 902, выполняя таким образом непрерывный захват видеоданных и/или данных мобильного устройства связи, как раскрыто выше.In block 908, the profile data generated in block 904 and / or normalized in block 906 is refined to include one or more attributes generated for corresponding profiles based on data accumulated over time with respect to each profile / person. Examples of such attributes may include whether the person is a repeat customer, new customer, employee, or passer-by (as determined, for example, by a very short duration of stay at a location, for example, when a person simply walks past a store within the coverage area of camera 110 and / or antennas 150 located in this store), does the person make purchases in other places of business of a particular retailer in which the video data and / or data of the person’s mobile communication device were captured, was the person involved in contact with an employee while in the store etc. After block 908, method 900 may return to block 902, thereby performing continuous capture of video data and / or data from a mobile communication device, as described above.

Как указано выше, данные, захваченные, сформированные или иным образом полученные при выполнении различных шагов способа 900, могут быть использованы для целей обеспечения безопасности и/или целей расследования (к примеру, после ограбления в магазине), для маркетинговых целей и/или для многих других целей. Например, указанные данные могут быть использованы в одном или более открытых или секретных приложений (к примеру, для формирования виртуального представления с целью расследования преступления; для создания возможности анализа данных продаж или маркетинга в связи с заранее заданным событием, например, с праздничным сезоном продаж; для вычисления реального коэффициента перехода посетителей в клиенты при взаимодействии посетителей и продавцов; для анализа статистики заинтересованности клиентов, задерживающихся у товара; для формирования «тепловой карты» на основании фактической истории продаж в сегментах магазина; для формирования маршрутов, реализуемых пользователем, на основании данных, полученных из множества камер 110 и/или антенн 150; для идентификации людей, остающихся в магазине после закрытия магазина; и т.п.).As indicated above, the data captured, generated or otherwise obtained by performing the various steps of method 900 can be used for security purposes and / or investigation purposes (for example, after a robbery in a store), for marketing purposes and / or for many other purposes. For example, these data can be used in one or more open or secret applications (for example, to create a virtual presentation for the purpose of investigating a crime; to create the possibility of analyzing sales or marketing data in connection with a predetermined event, for example, with a holiday sales season; to calculate the actual conversion rate of visitors to customers during the interaction of visitors and sellers; to analyze the statistics of interest of customers who linger on the goods; to create a “heat map” based on the actual history of sales in the store segments; to create routes implemented by the user based on the data obtained from a plurality of cameras 110 and / or antennas 150; to identify people remaining in the store after closing the store; etc.).

Поскольку в раскрытых выше конструкциях могут быть сделаны разнообразные изменения без выхода за пределы объема изобретения, предполагается, что все содержание вышеприведенного раскрытия должно интерпретироваться в иллюстративном и неограничивающем смысле. Можно видеть, что достигнуто несколько целей изобретения и других полезных результатов, определяемых объемом нижеследующей формулы изобретения.Since various changes may be made to the constructions disclosed above without departing from the scope of the invention, it is intended that the entire contents of the foregoing disclosure be interpreted in an illustrative and non-limiting sense. You can see that achieved several objectives of the invention and other useful results, defined by the scope of the following claims.

Claims (41)

1. Аналитическая система распознавания, содержащая: 1. An analytical recognition system containing: видеокамеру, выполненную с возможностью захвата видеоданных; a video camera configured to capture video data; антенну, выполненную с возможностью захвата данных мобильного устройства связи; и an antenna configured to capture data of a mobile communication device; and модуль анализа данных, включающий в себя, по меньшей мере, один из следующих алгоритмов: алгоритм векторного анализа, алгоритм векторного анализа изображения и данных, алгоритм машинного обучения, причем модуль анализа данных выполнен с возможностью: a data analysis module including at least one of the following algorithms: a vector analysis algorithm, a vector image and data analysis algorithm, a machine learning algorithm, the data analysis module being configured to: сопоставления видеоданных и данных мобильного устройства связи на основании ключа, содержащего комбинацию атрибутов, включенных в видеоданные или в данные мобильного устройства связи, для matching video data and data of the mobile communication device based on a key containing a combination of attributes included in the video data or in the data of the mobile communication device for идентификации элемента видеоданных и/или данных мобильного устройства связи, или identifying a video data element and / or data of a mobile communication device, or соотнесения видеоданных и/или данных мобильного устройства связи с целью проверки наличия связи между ними; и correlation of video data and / or data of a mobile communication device in order to verify the presence of communication between them; and формирования профиля человека, связанного с указанными видеоданными и указанными данными мобильного устройства связи, при этом указанный профиль содержит данные профиля, содержащие захваченные видеоданные и/или захваченные данные мобильной связи. forming a profile of the person associated with the specified video data and the specified data of the mobile communication device, while the specified profile contains profile data containing the captured video data and / or captured mobile communication data. 2. Система по п. 1, отличающаяся тем, что модуль анализа данных выполнен с возможностью: 2. The system according to p. 1, characterized in that the data analysis module is configured to: определения времени прихода человека в местоположение и/или времени ухода человека из этого местоположения на основании видеоданных и/или данных мобильного устройства связи, и determining a person’s arrival time at a location and / or a person’s departure time from that location based on video data and / or data from a mobile communication device, and сопоставления указанных видеоданных и указанных данных мобильного устройства связи на основании указанного времени прихода и/или указанного времени ухода. comparing said video data and said data of a mobile communication device based on said arrival time and / or indicated departure time. 3. Система по п. 1, отличающаяся тем, что указанная видеокамера представляет собой одну видеокамеру из множества видеокамер, содержащихся в системе и выполненных с возможностью захвата множества видеоданных, указанная антенна представляет собой одну антенну из множества антенн, содержащихся в системе и выполненных с возможностью захвата множества данных мобильного устройства связи, а модуль анализа данных дополнительно выполнен с возможностью сопоставления множества видеоданных и множества данных мобильного устройства связи с целью формирования множества профилей множества людей, соответственно связанных с указанным множеством видеоданных и указанным множеством данных мобильного устройства связи. 3. The system of claim 1, wherein said video camera is one video camera of a plurality of video cameras contained in the system and configured to capture a plurality of video data, said antenna is one antenna of a plurality of antennas contained in the system and configured to capturing the plurality of data of the mobile communication device, and the data analysis module is further configured to match the plurality of video data and the plurality of data of the mobile communication device in order to generate a plurality of profiles of a plurality of people, respectively, associated with the specified plurality of video data and the specified plurality of data of the mobile communication device. 4. Система по п. 3, отличающаяся тем, что множество видеокамер и множество антенн размещены во множестве помещений. 4. The system according to p. 3, characterized in that many cameras and many antennas are located in many rooms. 5. Система по п. 4, дополнительно содержащая пользовательский интерфейс, выполненный с возможностью поиска множества профилей на основании критерия, введенного пользователем. 5. The system of claim 4, further comprising a user interface configured to search for multiple profiles based on criteria entered by the user. 6. Система по п. 3, отличающаяся тем, что по меньшей мере одна антенна из множества антенн прикреплена к по меньшей мере одной видеокамере из множества видеокамер, и по меньшей мере одна антенна из множества антенн размещена на удалении от указанного множества камер. 6. The system of claim 3, wherein at least one antenna of the plurality of antennas is attached to at least one video camera of the plurality of cameras, and at least one antenna of the plurality of antennas is located at a distance from said plurality of cameras. 7. Система по п. 1, отличающаяся тем, что: 7. The system according to claim 1, characterized in that: профиль содержит, по меньшей мере, одно из следующего: захваченные видеоданные, захваченные данные мобильного устройства связи, данные времени, связанные с захваченными видеоданными или захваченными данными мобильного устройства связи, и данные местоположения, связанные с захваченными видеоданными или захваченными данными мобильного устройства связи; the profile contains at least one of the following: captured video data, captured data of a mobile communication device, time data associated with captured video data or captured data of a mobile communication device, and location data associated with captured video data or captured data of a mobile communication device; захваченные видеоданные содержат захваченное неподвижное изображение и/или видеоматериал; captured video data comprises a captured still image and / or video material; данные мобильного устройства связи содержат, по меньшей мере, одно из следующего: идентификатор WiFi, идентификатор управления доступом к среде передачи (MAC), идентификатор Bluetooth, идентификатор сотовой связи, идентификатор связи малого радиуса действия, радиочастотный идентификатор, относящийся к мобильному устройству связи, осуществляющему связь с указанной антенной; the data of the mobile communication device contains at least one of the following: WiFi identifier, medium access control identifier (MAC), Bluetooth identifier, cellular identifier, short-range communication identifier, radio frequency identifier related to the mobile communication device implementing communication with the specified antenna; данные времени содержат время захвата видеоданных и/или время захвата данных мобильного устройства связи; а time data includes video capture time and / or data capture time of the mobile communication device; and данные местоположения содержат местоположение, в котором захвачены видеоданные, и/или местоположение, в котором захвачены данные мобильного устройства связи. location data comprise a location at which video data is captured and / or a location at which data of a mobile communication device is captured. 8. Система по п. 1, отличающаяся тем, что модуль анализа данных дополнительно выполнен с возможностью добавления в профиль количества посещений помещения человеком и/или частоты посещений помещения человеком, на основании сопоставленных видеоданных и данных мобильного устройства связи. 8. The system according to claim 1, characterized in that the data analysis module is further configured to add to the profile the number of visits to the room by a person and / or the frequency of visits to the room by a person, based on the matched video data and the data of the mobile communication device. 9. Система по п. 1, отличающаяся тем, что модуль анализа данных дополнительно выполнен с возможностью идентификации человека на основании сравнения данных из первого источника с, по меньшей мере, одним из следующего: захваченные видеоданные, захваченные данные мобильного устройства связи, сопоставленные видеоданные и данные мобильного устройства связи, и профиль, при этом указанный первый источник содержит, по меньшей мере, одно из следующего: база данных неправительственной организации, база данных правительственной организации и один или более ранее сформированных профилей. 9. The system of claim 1, wherein the data analysis module is further configured to identify a person based on comparing data from a first source with at least one of the following: captured video data, captured data of a mobile communication device, associated video data, and data of the mobile communication device, and the profile, wherein said first source comprises at least one of the following: a non-governmental organization database, a government organization database and one or more previously generated profiles. 10. Система по п. 1, дополнительно содержащая модуль расследования, выполненный с возможностью приема критериев расследования и поиска, по меньшей мере, одного из следующего: видеоданные, данные мобильного устройства связи, данные профиля на основании указанных критериев. 10. The system of claim 1, further comprising an investigation module, configured to receive investigation criteria and search for at least one of the following: video data, mobile communication device data, profile data based on these criteria. 11. Система по п. 10, отличающаяся тем, что критерии расследования содержат временной интервал, при этом модуль расследования дополнительно выполнен с возможностью формирования списка людей, присутствие которых было обнаружено в помещении в указанном временном интервале. 11. The system according to p. 10, characterized in that the investigation criteria contain a time interval, while the investigation module is additionally configured to generate a list of people whose presence was detected in the room in the specified time interval. 12. Система по п. 10, отличающаяся тем, что модуль расследования дополнительно выполнен с возможностью определения текущего местоположения человека путем обнаружения сигнала, соответствующего данным мобильного устройства связи, полученным в первом местоположении. 12. The system of claim 10, wherein the investigation module is further configured to determine a person’s current location by detecting a signal corresponding to data of a mobile communication device obtained at a first location. 13. Система по п. 1, отличающаяся тем, что антенна содержит, по меньшей мере, одно из следующего: антенна WiFi, антенна управления доступом к среде передачи (MAC), антенна Bluetooth, антенна сотовой связи, антенна связи малого радиуса действия и антенна радиочастотной идентификации. 13. The system of claim 1, wherein the antenna comprises at least one of the following: a WiFi antenna, a medium access control (MAC) antenna, a Bluetooth antenna, a cellular antenna, a short-range communication antenna, and an antenna radio frequency identification. 14. Система по п. 1, отличающаяся тем, что модуль анализа данных дополнительно выполнен с возможностью внесения человека в позитивный список, неопределенный список или негативный список на основании, по меньшей мере, одного из следующего: видеоданные, данные мобильного устройства связи, данные профиля и введенные пользователем критерии. 14. The system according to claim 1, characterized in that the data analysis module is further configured to include a person in a positive list, an undefined list, or a negative list based on at least one of the following: video data, data of a mobile communication device, profile data and user-entered criteria. 15. Система по п. 14, отличающаяся тем, что модуль анализа данных дополнительно выполнен с возможностью внесения человека в позитивный список на основании определения того, что, по меньшей мере, одно из следующего: видеоданные, данные мобильного устройства связи, профиль соответствуют сотруднику или человеку из заранее заданного списка людей. 15. The system according to p. 14, characterized in that the data analysis module is additionally configured to add a person to a positive list on the basis of determining that at least one of the following: video data, data of a mobile communication device, profile corresponds to an employee or a person from a predefined list of people. 16. Система по п. 1, отличающаяся тем, что антенна выполнена с возможностью получения данных мобильного устройства связи путем беспроводного приема данных из мобильного устройства связи, расположенного в зоне действия антенны. 16. The system according to p. 1, characterized in that the antenna is configured to receive data from a mobile communication device by wirelessly receiving data from a mobile communication device located in the coverage area of the antenna. 17. Система по п. 1, отличающаяся тем, что модуль анализа данных дополнительно выполнен с возможностью обнаружения поведения человека и сохранения в профиле данных поведения, соответствующих указанному поведению. 17. The system according to claim 1, characterized in that the data analysis module is further configured to detect human behavior and save behavior data in the profile corresponding to the specified behavior. 18. Система по п. 17, отличающаяся тем, что модуль анализа данных выполнен с возможностью обнаружения поведения человека путем извлечения информации о поведении из видеоданных и/или данных мобильного устройства связи, причем указанное поведение содержит, по меньшей мере, одно из следующего: взгляд в некотором направлении, протягивание руки за товаром, покупка товара, проход по некоторому маршруту в помещении, посещение прохода или местоположения в помещении, проведение некоторого времени в помещении, проведение некоторого времени в указанном местоположении в помещении и посещение помещения некоторое число раз в разное время. 18. The system of claim 17, wherein the data analysis module is configured to detect human behavior by extracting behavior information from video data and / or data from a mobile communication device, said behavior comprising at least one of the following: in a certain direction, reaching out for a product, buying a product, walking a certain route indoors, visiting a passage or location in a room, spending some time indoors, spending some time at a specified location in a room, and visiting a room a number of times at different times. 19. Система по п. 18, отличающаяся тем, что модуль анализа данных выполнен с возможностью классифицирования человека как нового клиента или повторного клиента в данном помещении на основании данных посещения помещения, сохраненных в профиле, и с возможностью добавления в профиль или уточнения в профиле показателя того, является ли этот человек новым клиентом или повторным клиентом в данном помещении. 19. The system according to p. 18, characterized in that the data analysis module is configured to classify a person as a new customer or a repeat customer in a given building based on the data of the site visit stored in the profile, and with the option to add or refine the indicator in the profile whether this person is a new customer or a repeat customer in this room. 20. Система по п. 17, отличающаяся тем, что модуль анализа данных выполнен с возможностью обнаружения поведения человека путем сопоставления, по меньшей мере, одного из следующего: видеоданные, данные мобильного устройства связи и данные профиля с, по меньшей мере, одним из следующего: план расположения проходов в помещении, план размещения товара в помещении и план расположения стеллажей в помещении. 20. The system according to p. 17, characterized in that the data analysis module is configured to detect human behavior by comparing at least one of the following: video data, data from a mobile communication device and profile data with at least one of the following : a plan of the location of the aisles in the room, a plan of the placement of goods in the room and a plan of the arrangement of shelving in the room. 21. Система по п. 20, дополнительно содержащая модуль расследования, выполненный с возможностью: 21. The system of claim 20, further comprising an investigation module, configured to: поиска на основании критериев отчета, по меньшей мере, одного из следующего: видеоданные, данные мобильного устройства связи, данные профиля и данные продаж; и search, based on the criteria of the report, at least one of the following: video data, mobile communication device data, profile data and sales data; and формирования отчета на основании поиска, по меньшей мере, одно из следующего: видеоданные, данные мобильного устройства связи и данные профиля; generating a report based on a search of at least one of the following: video data, mobile communication device data, and profile data; причем указанный отчет содержит показатель закрытия продаж, соответствующий, по меньшей мере, одному из следующего: товар, категория товара, проход в помещении, стеллаж в помещении, заранее заданное место в помещении. moreover, this report contains a sales closing indicator corresponding to at least one of the following: product, product category, passage in the room, shelving in the room, a predetermined place in the room. 22. Система по п. 17, отличающаяся тем, что модуль анализа данных дополнительно выполнен с возможностью: 22. The system according to p. 17, characterized in that the data analysis module is additionally configured to: формирования данных местоположения, соответствующих поведению, на основании видеоданных и/или данных мобильного устройства связи, и generating location data corresponding to the behavior based on video data and / or data of the mobile communication device, and сохранения указанных данных местоположения в профиле в сочетании с данными поведения.storing specified location data in a profile in combination with behavior data.

Images