RU2720947C2 - Analytical identification and video identification system - Google Patents
Analytical identification and video identification system Download PDFInfo
- Publication number
- RU2720947C2 RU2720947C2 RU2018104654A RU2018104654A RU2720947C2 RU 2720947 C2 RU2720947 C2 RU 2720947C2 RU 2018104654 A RU2018104654 A RU 2018104654A RU 2018104654 A RU2018104654 A RU 2018104654A RU 2720947 C2 RU2720947 C2 RU 2720947C2
- Authority
- RU
- Russia
- Prior art keywords
- data
- mobile communication
- communication device
- video
- video data
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Mobile Radio Communication Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
Перекрестная ссылка на родственные заявкиCross reference to related applications
По настоящей заявке испрашиваются приоритет и преимущества патентной заявки США №14/817,871, поданной 04 августа 2015 г. Настоящая заявка также является родственной патентной заявке США №14/256,385, поданной 18 апреля 2014 г., по которой испрашиваются приоритет и преимущества предварительной патентной заявки США с порядковым №61/813,942, поданной 19 апреля 2013 г., и патентной заявке США №14/213,548, поданной 14 марта 2014 г., по которой испрашиваются приоритет и преимущества предварительной патентной заявки США с порядковым №61/798,740, поданной 15 марта 2013 г. Раскрытия каждой из этих предшествующих заявок настоящим полностью включены в настоящий документ посредством ссылки, как если бы они были полностью приведены в настоящем документе.This application claims the priority and advantages of U.S. Patent Application No. 14/817,871, filed August 4, 2015. This application is also related to US Patent Application No. 14/256,385, filed April 18, 2014, which claims the priority and benefits of the provisional patent application. US serial number 61/813,942, filed April 19, 2013, and US patent application No. 14/213,548 filed March 14, 2014, which claims the priority and advantages of provisional patent application US serial number 61/798,740, filed 15 March 2013. Disclosures of each of these previous applications are hereby incorporated by reference in their entirety, as if they were fully cited herein.
Область техники, к которой относится изобретениеFIELD OF THE INVENTION
Раскрытое далее изобретение относится к системам видеонаблюдения, контроля и верификации и к способам использования таких систем. Конкретная реализация может работать совместно с системами наблюдения, уличными камерами, персональными видеосистемами, системами камер магазина, системами камер автостоянки и т.д., и выполнена с возможностью анализа данных одного или более видеопотоков в реальном времени и/или в отложенном режиме.The invention disclosed further relates to video surveillance, control and verification systems and methods for using such systems. A specific implementation can work in conjunction with surveillance systems, street cameras, personal video systems, store camera systems, parking camera systems, etc., and is configured to analyze the data of one or more video streams in real time and / or in delayed mode.
Уровень техникиState of the art
Компании, стремясь повысить свои обороты и эффективность, непрерывно работают над поиском способов обнаружения конкретного поведения пользователей. Например, понимая поведение пользователя в сфере розничной торговли, компании могут увеличить продажи и снизить потери товара. Если говорить о потерях, то их наиболее значительной составляющей в розничной торговле являются кражи товаров, совершаемые сотрудниками. Поэтому компании стремятся изучать поведение пользователя с целью снижения и, в итоге, устранения потерь товаров.Companies, striving to increase their speed and efficiency, are constantly working on finding ways to detect specific user behavior. For example, by understanding retail user behavior, companies can increase sales and reduce product loss. If we talk about losses, then their most significant component in retail is theft of goods by employees. Therefore, companies strive to study user behavior in order to reduce and, as a result, eliminate the loss of goods.
Для предотвращения потерь вследствие действий сотрудников компании используют различные способы. В розничных магазинах к предметам, которые могут быть похищены, крепят электронные устройства, вызывающие срабатывание сигнализации, но клиенты и/или сотрудники могут деактивировать эти устройства до выноса предмета из магазина. Некоторые предприятия розничной торговли практикуют проверку сумок и/или тележек как у клиентов, так и у сотрудников; на других используются системы предотвращения потерь, в которых внедрен видеоконтроль операций в пунктах продаж с целью обнаружения операций, проводимых с возможным нарушением установленных правил. В большинстве способов внимание сосредоточено на обнаружении индивидуальных проявлений, а не на понимании базовых актов поведения пользователя, имеющего место в таких ситуациях. Таким образом, компании не могут устранить причину, побуждающую людей совершать кражи.To prevent losses due to the actions of employees, companies use various methods. In retail stores, items that can be stolen are attached to electronic devices that trigger an alarm, but customers and / or employees can deactivate these devices before taking the item out of the store. Some retailers practice checking bags and / or trolleys for both customers and employees; on others, loss prevention systems are used in which video monitoring of operations at points of sale is introduced in order to detect operations conducted with a possible violation of established rules. In most ways, attention is focused on the detection of individual manifestations, and not on understanding the basic acts of user behavior that occurs in such situations. Thus, companies cannot eliminate the reason that motivates people to steal.
Широко используются системы видеонаблюдения, системы уличных камер, системы камер магазина, системы камер автостоянки и т.п. В некоторых случаях камера непрерывно передает видеопоток, при этом используется буфер на период, например, 8, 12, 24, 48 часов, который, если записанное видео не потребовалось, затем заполняется новым видео. В других системах может использоваться более длительный период времени, или буфер представляет собой недели или месяцы данных, сохраняемых для использования в конкретных целях. Как должно быть понятно, если случается какое-то происшествие, то в наличии имеются видеоданные, которые могут быть просмотрены и проанализированы. В некоторых случаях видеопоток содержит данные и используется для анализа различных заранее заданных ситуаций, который, в зависимости от конкретной задачи, может выполняться автоматически либо с использованием ввода информации пользователем или программирования. Например, видеосистема может быть настроена на слежение за перемещением объектов от входа в магазин и через магазин с целью контроля за товаром и/или видеонаблюдения за клиентами.CCTV systems, street camera systems, store camera systems, parking camera systems, etc. are widely used. In some cases, the camera continuously transmits the video stream, while using a buffer for a period of, for example, 8, 12, 24, 48 hours, which, if the recorded video was not required, is then filled with a new video. Other systems may use a longer period of time, or the buffer represents weeks or months of data stored for specific purposes. As it should be understood, if any incident occurs, then there is video data available that can be viewed and analyzed. In some cases, the video stream contains data and is used to analyze various predetermined situations, which, depending on the specific task, can be performed automatically either using user input or programming. For example, a video system can be configured to track the movement of objects from the entrance to the store and through the store in order to control the goods and / or video surveillance of customers.
В других случаях полиции, Федеральному бюро расследований (ФБР) или спасателям может требоваться просмотр материалов, отснятых различными системами камер в конкретной зоне или месте с целью исследования, к примеру, для слежения за подозреваемыми, для расследования обстоятельств дорожно-транспортных происшествий или для получения других видеодоказательств, требуемых в расследовании. Часто фрагменты видео из различных систем камер, находящихся в нужной зоне, оказываются критически важными для составления визуального представления о расследуемом происшествии. В других случаях особенности или поведение отдельных людей могут вызывать подозрение и побуждать к наблюдению или слежению за такими людьми с целью анализа поведения и формирования оповещений в реальном времени и/или с целью отложенного следственного анализа.In other cases, the police, the Federal Bureau of Investigation (FBI), or rescuers may need to view materials captured by various camera systems in a specific area or place for research, for example, to track suspects, to investigate traffic accidents, or to obtain other video evidence required in the investigation. Often fragments of video from various camera systems located in the desired area are critical for drawing up a visual representation of the incident being investigated. In other cases, the characteristics or behavior of individuals may cause suspicion and prompt observation or tracking of such people for the purpose of analyzing behavior and generating alerts in real time and / or for the purpose of delayed investigative analysis.
Существует потребность в дальнейшем развитии технологии такого анализа и в разработке способа анализа видеопотоков в реальном времени и в отложенном режиме для целей обеспечения безопасности и расследований и для маркетинговых целей.There is a need for further development of the technology of such analysis and in the development of a method for analyzing video streams in real time and in delayed mode for security and investigation purposes and for marketing purposes.
Раскрытие изобретенияDisclosure of invention
В соответствии с аспектом настоящего изобретения предлагается аналитическая система распознавания. Аналитическая система распознавания содержит видеокамеру, антенну и модуль анализа данных. Видеокамера выполнена с возможностью захвата видеоданных. Антенна выполнена с возможностью захвата данных мобильного устройства связи. Модуль анализа данных выполнен с возможностью сопоставления видеоданных и данных мобильного устройства связи для формирования профиля человека, связанного с указанными видеоданными и данными мобильного устройства связи. Этот профиль содержит данные профиля, содержащие что-либо одно или комбинацию из захваченных видеоданных и захваченных данных мобильной связи.In accordance with an aspect of the present invention, there is provided an analytical recognition system. The analytical recognition system includes a video camera, antenna and data analysis module. The camcorder is capable of capturing video data. The antenna is configured to capture data from a mobile communication device. The data analysis module is capable of comparing video data and data of a mobile communication device to form a person profile associated with said video data and data of a mobile communication device. This profile contains profile data containing one or a combination of captured video data and captured mobile data.
В любом из предыдущих аспектов модуль анализа данных выполнен с возможностью определения чего-либо одного или комбинации из времени прихода человека в местоположение и времени ухода человека из этого местоположения на основании чего-либо одного или комбинации из видеоданных и данных мобильного устройства связи, и сопоставления указанных видеоданных и указанных данных мобильного устройства связи на основании чего-либо одного или комбинации из указанного времени прихода или указанного времени ухода.In any of the previous aspects, the data analysis module is configured to determine one or a combination of a person’s arrival time at a location and a person’s departure time from that location based on one or a combination of video data and data from a mobile communication device and compare video data and said data of a mobile communication device based on one or a combination of a specified arrival time or a specified departure time.
В любом из предыдущих аспектов указанная видеокамера представляет собой одну видеокамеру из множества видеокамер, содержащихся в системе и выполненных с возможностью захвата множества видеоданных, а указанная антенна представляет собой одну антенну из множества антенн, содержащихся в системе и выполненных с возможностью захвата множества данных мобильного устройства связи. Модуль анализа данных может быть дополнительно выполнен с возможностью сопоставления множества видеоданных и множества данных мобильного устройства связи с целью формирования множества профилей множества людей, соответственно связанных с указанным множеством видеоданных и указанным множеством данных мобильного устройства связи.In any of the preceding aspects, said video camera is one video camera of a plurality of video cameras contained in a system and configured to capture a plurality of video data, and said antenna is a single antenna of a plurality of video antennas contained in a system and configured to capture a plurality of data of a mobile communication device . The data analysis module may be further configured to match a plurality of video data and a plurality of data of a mobile communication device in order to generate a plurality of profiles of a plurality of people, respectively, associated with the specified plurality of video data and the specified plurality of data of the mobile communication device.
В соответствии с еще одним аспектом настоящего изобретения множество видеокамер и множество антенн размещены во множестве помещений.In accordance with another aspect of the present invention, a plurality of cameras and a plurality of antennas are housed in a plurality of rooms.
В еще одном предлагаемом в качестве примера аспекте настоящего изобретения аналитическая система распознавания дополнительно содержит пользовательский интерфейс, выполненный с возможностью поиска множества профилей на основании критерия, введенного пользователем.In yet another exemplary aspect of the present invention, the analytic recognition system further comprises a user interface configured to search for multiple profiles based on criteria entered by the user.
В соответствии с еще одним аспектом настоящего изобретения по меньшей мере одна антенна из множества антенн прикреплена к по меньшей мере одной видеокамере из множества видеокамер и по меньшей мере одна антенна из этого множества антенн размещена на удалении от множества камер.In accordance with another aspect of the present invention, at least one antenna of the plurality of antennas is attached to at least one video camera of the plurality of cameras, and at least one antenna of the plurality of antennas is located away from the plurality of cameras.
В любом из предыдущих аспектов профиль может содержать что-либо одно или комбинацию из захваченных видеоданных, захваченных данных мобильного устройства связи, данных времени, связанных с захваченными видеоданными или захваченными данными мобильного устройства связи, и данных местоположения, связанных с захваченными видеоданными или захваченными данными мобильного устройства связи. Захваченные видеоданные могут содержать что-либо одно или комбинацию из захваченного неподвижного изображения и видеоматериала. Данные мобильного устройства связи могут содержать что-либо одно или комбинацию из идентификатора WiFi, идентификатора управления доступом к среде передачи (Media Access Control, MAC), идентификатора Bluetooth, идентификатора сотовой связи, идентификатора связи малого радиуса действия, радиочастотного идентификатора, относящихся к мобильному устройству связи, осуществляющему связь с указанной антенной. Данные времени могут содержать что-либо одно или комбинацию из времени захвата видеоданных и времени захвата данных мобильного устройства связи. Данные местоположения могут содержать что-либо одно или комбинацию из местоположения, в котором захвачены видеоданные, и местоположения, в котором захвачены данные мобильного устройства связи.In any of the preceding aspects, the profile may comprise one or a combination of captured video data, captured data of a mobile communication device, time data associated with captured video data or captured data of a mobile communication device, and location data associated with captured video data or captured mobile data communication devices. The captured video data may comprise one or a combination of a captured still image and video material. The data of the mobile communication device may contain one or a combination of a WiFi identifier, a Media Access Control (MAC) identifier, a Bluetooth identifier, a cellular identifier, a short-range communication identifier, a radio frequency identifier related to a mobile device communication, communicating with the specified antenna. The time data may comprise one or a combination of video capture time and data capture time of the mobile communication device. The location data may comprise one or a combination of a location at which video data is captured and a location at which data of a mobile communication device is captured.
В любом из предыдущих аспектов модуль анализа данных дополнительно выполнен с возможностью добавления в профиль чего-либо одного или комбинации из количества посещений помещения человеком и частоты посещений помещения человеком на основании сопоставленных видеоданных и данных мобильного устройства связи.In any of the previous aspects, the data analysis module is further configured to add one or a combination of the number of visits to the room by the person and the frequency of visits to the room by the person based on the matched video data and the data of the mobile communication device.
В любом из предыдущих аспектов модуль анализа данных дополнительно выполнен с возможностью идентификации человека на основании сравнения данных из первого источника с чем-либо одним или комбинацией из захваченных видеоданных, захваченных данных мобильного устройства связи, сопоставленных видеоданных и данных мобильного устройства связи и профиля, при этом указанный первый источник содержит что-либо одно или комбинацию из базы данных неправительственной организации, базы данных правительственной организации и одного или более ранее сформированных профилей.In any of the previous aspects, the data analysis module is further configured to identify a person based on comparing data from a first source with one or a combination of captured video data, captured data from a mobile communication device, mapped video data and data from a mobile communication device and profile, wherein said first source contains one or a combination of a non-governmental organization database, a government organization database, and one or more previously generated profiles.
В любом из предыдущих аспектов аналитическая система распознавания дополнительно содержит модуль расследования, выполненный с возможностью приема критериев расследования и поиска чего-либо одного или комбинации из видеоданных, данных мобильного устройства связи или данных профиля на основании указанных критериев.In any of the previous aspects, the analytical recognition system further comprises an investigation module configured to receive the investigation criteria and search for one or a combination of video data, mobile communication device data or profile data based on these criteria.
В еще одном аспекте настоящего изобретения критерии расследования содержат временной интервал, при этом модуль расследования дополнительно выполнен с возможностью формирования списка людей, присутствие которых было обнаружено в помещении в указанном временном интервале.In another aspect of the present invention, the investigation criteria comprise a time interval, wherein the investigation module is further configured to generate a list of people whose presence has been detected in the room at the specified time interval.
В соответствии с еще одним аспектом настоящего изобретения модуль расследования дополнительно выполнен с возможностью определения текущего местоположения человека путем обнаружения сигнала, соответствующего данным мобильного устройства связи, полученным в первом местоположении.In accordance with another aspect of the present invention, the investigation module is further configured to determine a person’s current location by detecting a signal corresponding to data of a mobile communication device obtained at a first location.
В любом из предыдущих аспектов антенна может содержать что-либо одно или комбинацию из антенны WiFi, антенны управления доступом к среде передачи (MAC), антенны Bluetooth, антенны сотовой связи, антенны связи малого радиуса действия и антенны радиочастотной идентификации.In any of the previous aspects, the antenna may comprise one or a combination of a WiFi antenna, a Media Access Control (MAC) antenna, a Bluetooth antenna, a cellular antenna, a short-range communication antenna, and radio frequency identification antenna.
В любом из предыдущих аспектов модуль анализа данных дополнительно выполнен с возможностью внесения человека в позитивный список, неопределенный список или негативный список на основании чего-либо одного или комбинации из видеоданных, данных мобильного устройства связи, данных профиля и введенных пользователем критериев.In any of the previous aspects, the data analysis module is further configured to add a person to a positive list, an undefined list, or a negative list based on any one or a combination of video data, mobile communication device data, profile data, and user-entered criteria.
В соответствии с еще одним аспектом настоящего изобретения модуль анализа данных дополнительно выполнен с возможностью внесения человека в позитивный список на основании определения того, что что-либо одно или комбинация из видеоданных, данных мобильного устройства связи и профиля соответствуют сотруднику или человеку из заранее заданного списка людей.In accordance with another aspect of the present invention, the data analysis module is further configured to add a person to a positive list based on the determination that one or a combination of video data, mobile communication device and profile data corresponds to an employee or person from a predetermined list of people .
В любом из предыдущих аспектов антенна выполнена с возможностью захвата данных мобильного устройства связи путем беспроводного приема данных из мобильного устройства связи, расположенного в зоне действия этой антенны.In any of the previous aspects, the antenna is configured to capture data from a mobile communication device by wirelessly receiving data from a mobile communication device located in the coverage area of this antenna.
В любом из предыдущих аспектов модуль анализа данных дополнительно выполнен с возможностью обнаружения поведения человека и сохранения в профиле данных поведения, соответствующих указанному поведению.In any of the previous aspects, the data analysis module is further configured to detect human behavior and store behavior data corresponding to the specified behavior in the profile.
В соответствии с еще одним аспектом настоящего изобретения модуль анализа данных выполнен с возможностью обнаружения поведения человека путем извлечения информации о поведении из чего-либо одного или комбинации из видеоданных и данных мобильного устройства связи. Указанное поведение содержит что-либо одно или комбинацию из взгляда в некотором направлении, протягивания руки за товаром, покупки товара, прохода по некоторому маршруту в помещении, посещения прохода или местоположения в помещении, проведения некоторого времени в помещении, проведения некоторого времени в указанном местоположении в помещении и посещения помещения некоторое число раз в разное время.In accordance with yet another aspect of the present invention, a data analysis module is configured to detect human behavior by extracting behavior information from one or a combination of video data and data from a mobile communication device. The specified behavior contains one or a combination of looking in a certain direction, reaching out for a product, buying a product, walking along a certain route in a room, visiting a walkway or location in a room, spending some time indoors, spending some time at a specified location in indoors and visiting the premises a number of times at different times.
В еще одном аспекте настоящего изобретения модуль анализа данных выполнен с возможностью классифицирования человека как нового клиента или повторного клиента в данном помещении на основании данных посещения помещения, сохраненных в профиле, и с возможностью добавления в профиль или уточнения в профиле показателя того, является ли этот человек новым клиентом или повторным клиентом в данном помещении.In yet another aspect of the present invention, a data analysis module is configured to classify a person as a new customer or a repeat customer in a given building based on site visit data stored in the profile, and with the ability to add an indicator to the profile or refine the profile of whether that person is new customer or repeat customer in this room.
В соответствии с еще одним аспектом настоящего изобретения модуль анализа данных выполнен с возможностью обнаружения поведения человека путем сопоставления чего-либо одного или комбинации из видеоданных, данных мобильного устройства связи и данных профиля с чем-либо одним или комбинацией из плана расположения проходов в помещении, плана размещения товара в помещении и плана расположения стеллажей в помещении.In accordance with another aspect of the present invention, the data analysis module is configured to detect human behavior by comparing one or a combination of video data, mobile communication device data, and profile data with one or a combination of a plan of passageways in a room, a plan placement of goods in the room and the layout of the shelving in the room.
В еще одном аспекте настоящего изобретения аналитическая система распознавания дополнительно содержит модуль расследования, выполненный с возможностью поиска на основании критериев отчета чего-либо одного или комбинации из видеоданных, данных мобильного устройства связи, данных профиля и данных продаж. Модуль расследования дополнительно выполнен с возможностью формирования отчета на основании поиска чего-либо одного или комбинации из видеоданных, данных мобильного устройства связи и данных профиля. Отчет содержит показатель закрытия продаж, соответствующий чему-либо одному или комбинации из товара, категории товара, прохода в помещении, стеллажа в помещении или заранее заданного места в помещении.In yet another aspect of the present invention, the analytic recognition system further comprises an investigation module configured to search based on the report criteria for one or a combination of video data, mobile communication device data, profile data and sales data. The investigation module is further configured to generate a report based on a search for one or a combination of video data, mobile communication device data, and profile data. The report contains a sales closing indicator corresponding to one or a combination of a product, product category, aisle in a room, a rack in a room or a predetermined place in a room.
В соответствии с еще одним аспектом настоящего изобретения модуль анализа данных дополнительно выполнен с возможностью формирования данных местоположения, соответствующих поведению, на основании чего-либо одного или комбинации из видеоданных и данных мобильного устройства связи, и с возможностью сохранения указанных данных местоположения в профиле в сочетании сданными поведения.In accordance with another aspect of the present invention, the data analysis module is further configured to generate location data corresponding to a behavior based on one or a combination of video data and data from a mobile communication device, and to store said location data in a profile in combination with behavior.
Краткое описание чертежейBrief Description of the Drawings
Фиг. 1 представляет системную функциональную схему варианта осуществления системы видеонаблюдения, мониторинга и контроля в соответствии с настоящим изобретением.FIG. 1 is a system block diagram of an embodiment of a video surveillance, monitoring, and control system in accordance with the present invention.
Фиг. 2 представляет контроллер последовательности данных/видео/изображений в соответствии с вариантом осуществления настоящего изобретения.FIG. 2 represents a data / video / image sequence controller in accordance with an embodiment of the present invention.
Фиг. 3 представляет иллюстрацию плана изображений и связанной с ним временной шкалы, формируемых контроллером последовательности, показанным на фиг. 2.FIG. 3 is an illustration of an image plan and the associated timeline generated by the sequence controller shown in FIG. 2.
Фиг. 4 представляет схематичную иллюстрацию аналитической системы распознавания, используемой для идентификации объекта и слежения за объектом в соответствии с еще одним вариантом осуществления настоящего изобретения.FIG. 4 is a schematic illustration of an analytical recognition system used to identify an object and track an object in accordance with yet another embodiment of the present invention.
Фиг. 5 представляет схематичную иллюстрацию аналитической системы распознавания, используемой для контроля за сбором скопления людей в соответствии с еще одним вариантом осуществления настоящего изобретения.FIG. 5 is a schematic illustration of an analytical recognition system used to monitor congestion in accordance with yet another embodiment of the present invention.
Фиг. 6 представляет собой схематичную иллюстрацию аналитической системы распознавания, используемой для распознавания характерных признаков объекта в соответствии с еще одним вариантом осуществления настоящего изобретения.FIG. 6 is a schematic illustration of an analytical recognition system used to recognize the characteristic features of an object in accordance with yet another embodiment of the present invention.
Фиг. 7 представляет собой схематичную иллюстрацию аналитической системы распознавания, используемой для общественной сети видеонаблюдения в соответствии с еще одним вариантом осуществления настоящего изобретения.FIG. 7 is a schematic illustration of an analytical recognition system used for a public video surveillance network in accordance with yet another embodiment of the present invention.
Фиг. 8 представляет снимок экрана варианта осуществления модуля расследования, отображающего расследование в соответствии с настоящим раскрытием.FIG. 8 is a screenshot of an embodiment of an investigation module displaying an investigation in accordance with the present disclosure.
Фиг. 9 представляет блок-схему аналитического способа распознавания в соответствии с примерным вариантом осуществления настоящего изобретения.FIG. 9 is a flowchart of an analytical recognition method in accordance with an exemplary embodiment of the present invention.
ТерминыTerms
В настоящем раскрытии (включая вышеприведенный текст) используются следующие термины.In the present disclosure (including the above text), the following terms are used.
Термином «видеокамера» может обозначаться устройство записи визуальной информации. В число примеров видеокамеры может входить одно или более следующих устройств: система с регистратором видеоизображения и объективом; видеокамера; цифровая видеокамера; цветная камера; монохромная камера; камера; записывающая видеокамера; компьютерная камера; веб-камера; инфракрасная (ИК) видеокамера; видеокамера для работы при малой освещенности; тепловая видеокамера; камера системы видеонаблюдения (CCTV); камера панорама/наклон/зум; устройство для восприятия видеоинформации. Видеокамера может быть расположена определенным образом с целью наблюдения за зоной, представляющей интерес.The term “video camera” may mean a visual information recording device. Examples of a video camera may include one or more of the following devices: a system with a video recorder and lens; video camera; digital video camera; color camera; monochrome camera; camera; recording video camera; computer camera; Webcam; infrared (IR) camcorder; video camera for work in low light; thermal video camera; CCTV camera camera panorama / tilt / zoom; device for perceiving video information. The camcorder can be positioned in a certain way in order to observe the area of interest.
Термином «видео» может обозначаться видеоизображение, полученное из видеокамеры и представленное в аналоговой и/или в цифровой форме. В число примеров видео могут входить: телевизионное изображение; фильм; последовательность изображений из видеокамеры или другого устройства наблюдения; последовательность изображений из передачи, ведущейся в реальном времени; последовательность изображений, сформированная компьютером; последовательность изображений из компьютерной графической машины; последовательность изображений из запоминающего устройства, например, из машиночитаемого носителя данных, цифрового видеодиска (Digital Video Disk, DVD) или диска высокого разрешения (High-Definition Disk, HDD); последовательность изображений из интерфейса на основе IEEE 1394; последовательность изображений из устройства преобразования видеоизображения в цифровую форму; или последовательность изображений из сети.The term “video” may mean a video image obtained from a video camera and presented in analog and / or digital form. Examples of videos may include: a television image; movie; a sequence of images from a video camera or other surveillance device; a sequence of images from a transmission in real time; computer generated image sequence; a sequence of images from a computer graphics machine; a sequence of images from a storage device, for example, from a computer-readable storage medium, digital video disk (Digital Video Disk, DVD) or high-definition disk (High-Definition Disk, HDD); a sequence of images from an interface based on IEEE 1394; a sequence of images from a device for converting video images into digital form; or a sequence of images from a network.
«Видеоданные» представляют собой визуальную часть видео.“Video data” is the visual part of the video.
«Невизуальные данные» представляют собой невизуальную информацию, полученную из видеоданных.“Non-visual data” is non-visual information obtained from video data.
Термином «видеопоследовательность» может обозначаться выбранная часть видеоданных и/или невизуальных данных.The term “video sequence” may mean a selected portion of video data and / or non-visual data.
Термином «обработка видео» может обозначаться любая операция с видеоданными и/или анализ видеоданных, в том числе, например, сжатие, монтаж и выполнение алгоритма, формирующего невизуальные данные из видео.The term “video processing” can mean any operation with video data and / or analysis of video data, including, for example, compression, editing and execution of an algorithm that generates non-visual data from video.
Термином «кадр» может обозначаться конкретное изображение или иной дискретный элемент видео.The term “frame” may refer to a specific image or other discrete video element.
Термином «компьютер» может обозначаться одно или более устройств и/или одна или более систем, выполненных с возможностью приема структурированных входных данных, обработки указанных данных в соответствии с предписанными правилами и формирования результатов указанной обработки в виде выходных данных. В число примеров компьютера могут входить: компьютер; стационарный и/или портативный компьютер; компьютер с одним процессором, несколькими процессорами или с многоядерными процессорами, которые могут работать параллельно и/или не параллельно; компьютер общего назначения; суперкомпьютер; электронная вычислительная машина коллективного пользования; сверхминиатюрный компьютер; мини-компьютер; рабочая станция; микрокомпьютер; сервер; клиент; устройство интерактивного телевидения; бытовой прибор с подключением к интернет; телекоммуникационное устройство с доступом в интернет; гибридная комбинация компьютера и устройства интерактивного телевидения; портативный компьютер; планшетный персональный компьютер (ПК); карманный персональный компьютер (КПК); портативный телефон; специализированное аппаратное средство для эмуляции компьютера и/или программы, например, цифровой сигнальный процессор (digital signal processor, DSP), перепрограммируемая матрица логических элементов (field-programmable gate array, FPGA), интегральная схема специального назначения (application specific integrated circuit, ASIC), процессор с набором команд специального назначения (application specific instruction-set processor, ASIP), микросхема, микросхемы или набор микросхем; однокристальная электронная система (system on a chip, SoC) или многопроцессорная однокристальная электронная система (multiprocessor system-on-chip, MPSoC); оптический компьютер; квантовый компьютер; биологический компьютер; и устройство, выполненное с возможностью приема данных, с возможностью обработки данных в соответствии с одной или более сохраненными программами, реализованными программным способом, с возможностью формирования результатов, которое, как правило, может содержать модули ввода, вывода, хранения, арифметических операций, логических операций и управления.The term “computer” may mean one or more devices and / or one or more systems configured to receive structured input data, process said data in accordance with prescribed rules, and generate the results of said processing as output. Examples of a computer may include: a computer; stationary and / or laptop computer; A computer with one processor, several processors, or multi-core processors that can work in parallel and / or not in parallel; general purpose computer; supercomputer; collective electronic computer; subminiature computer; Mini-computer; work station; microcomputer; server; customer; interactive television device; household appliance with internet connection; telecommunication device with internet access; a hybrid combination of a computer and an interactive television device; laptop; tablet personal computer (PC); handheld personal computer (PDA); portable telephone; specialized hardware for emulating a computer and / or program, for example, digital signal processor (DSP), field-programmable gate array (FPGA), application-specific integrated circuit (ASIC) , a processor with a set of special purpose instructions (application specific instruction-set processor, ASIP), a chip, microchips, or a chipset; single-chip electronic system (system on a chip, SoC) or multiprocessor single-chip electronic system (multiprocessor system-on-chip, MPSoC); optical computer; quantum computer; biological computer; and a device configured to receive data, with the possibility of processing data in accordance with one or more stored programs implemented in software, with the possibility of generating results, which, as a rule, may include input, output, storage, arithmetic, logical operations and management.
Термином «программное обеспечение» могут обозначаться предписанные правила функционирования компьютера. В число примеров программного обеспечения могут входить: программа; сегменты кода; команды; апплеты; предварительно откомпилированный код; компилированный код; интерпретированный код; компьютерные программы; и запрограммированная логика. В настоящем раскрытии термины «программа» и «код» могут применяться в отношении программного обеспечения, микропрограммы или комбинации программного обеспечения и микропрограммы.The term “software” may mean prescribed rules for the operation of a computer. Examples of software may include: a program; code segments teams applets precompiled code; compiled code; interpreted code; computer programs; and programmed logic. In the present disclosure, the terms “program” and “code” may apply to software, firmware, or a combination of software and firmware.
Термином «машиночитаемый носитель данных» может обозначаться любое запоминающее устройство, используемое для хранения данных и выполненное с возможностью использования компьютером. В число примеров машиночитаемого носителя данных могут входить: магнитный жесткий диск; гибкий диск; оптический диск, например, CD-ROM и DVD; магнитная лента; съемная флэш-память; микросхема памяти; и/или другие типы носителей данных, выполненные с возможностью хранения в себе машиночитаемых команд. Термин «долговременный машиночитаемый носитель данных» охватывает все машиночитаемые носители данных за единственным исключением распространяющегося кратковременного сигнала.The term “computer-readable storage medium” may mean any storage device used to store data and configured to be used by a computer. Examples of computer-readable storage media may include: a magnetic hard disk; floppy disk; optical disc, for example, CD-ROM and DVD; magnetic tape; removable flash memory; memory chip; and / or other types of storage media configured to store machine-readable instructions within themselves. The term "long-term machine-readable storage medium" covers all computer-readable storage media with the exception of a propagating short-term signal.
Термином «компьютерная система» может обозначаться система, содержащая один или более компьютеров, в которой каждый компьютер может содержать машиночитаемый носитель данных, содержащий в своем составе программное обеспечение для управления работой этого компьютера. В число примеров компьютерной системы могут входить: распределенная компьютерная система для обработки информации посредством компьютерных систем, связанных сетью; две или более компьютерных системы, соединенные через сеть с целью передачи и/или приема информации между указанными компьютерными системами; и одно или более устройств и/или одна или более систем, которые выполнены с возможностью приема данных, с возможностью обработки данных в соответствии с одной или более сохраненными программами, с возможностью формирования результатов, и которые, как правило, могут содержать модули ввода, вывода, хранения, арифметических операций, логических операций и управления.The term "computer system" may mean a system containing one or more computers, in which each computer may contain a computer-readable storage medium containing software for controlling the operation of this computer. Examples of a computer system may include: a distributed computer system for processing information through computer systems connected by a network; two or more computer systems connected through a network for the purpose of transmitting and / or receiving information between said computer systems; and one or more devices and / or one or more systems that are capable of receiving data, with the possibility of processing data in accordance with one or more stored programs, with the possibility of generating results, and which, as a rule, may contain input, output modules , storage, arithmetic operations, logical operations and control.
Термином «сеть» могут обозначаться несколько компьютеров и относящихся к ним устройств, которые могут быть соединены между собой средствами связи. В сети могут использоваться постоянные соединения, например, кабели, или временные соединения, например, соединения, устанавливаемые через телефонные или другие линии связи. Сеть может дополнительно содержать проводные соединения (к примеру, коаксиальный кабель, витую пару, волоконно-оптический кабель, волноводы и т.д.) и/или беспроводные соединения (к примеру, радиочастотные сигналы, оптические сигналы в свободном пространстве, акустические сигналы и т.д.). В число примеров сети могут входить: межсетевая сеть, например, интернет; внутренняя сеть (интранет); локальная сеть (local area network, LAN); глобальная сеть (wide area network, WAN); и комбинация сетей, например, интернет и интранет. Предлагаемые в качестве примера сети могут работать с использованием произвольного количества протоколов, например, интернет-протокола (Internet protocol, IP), протокола асинхронного режима передачи (Asynchronous Transfer Mode, ATM) и/или протокола синхронной оптической сети (synchronous optical network, SONET), протокола передачи пользовательских данных (User Datagram Protocol, UDP), протокола IEEE 802.x и т.д.The term "network" can mean several computers and related devices that can be interconnected by means of communication. Permanent connections, for example, cables, or temporary connections, for example, connections established through telephone or other communication lines, can be used in a network. The network may further comprise wired connections (e.g., coaxial cable, twisted pair, fiber optic cable, waveguides, etc.) and / or wireless connections (e.g., radio frequency signals, optical signals in free space, acoustic signals, etc.) .d.). Examples of a network may include: an internetwork, such as the Internet; internal network (intranet); local area network (LAN) wide area network (WAN); and a combination of networks, such as the Internet and intranet. The networks proposed as an example can operate using an arbitrary number of protocols, for example, Internet protocol (Internet protocol, IP), Asynchronous Transfer Mode (ATM) protocol and / or synchronous optical network (SONET) protocol , User Datagram Protocol (UDP), IEEE 802.x, etc.
Анализом или обработкой, выполняемыми «в реальном времени», как правило, называется анализ или обработка видео, получаемого в реальном времени («в прямом эфире»), и практически моментальная передача отчетов или предупреждений о нештатных состояниях (заранее запрограммированных состояниях), нештатных сценариях (праздношатание, скопление людей, оставление предметов одежды или рюкзаков, портфелей, продуктов питания на нештатное время и т.д.) или других сценариях на основании поведения элементов (клиентов, постоянных покупателей, людей в толпе и т.д.) в одном или более видеопотоках.Real-time analysis or processing, as a rule, refers to the analysis or processing of real-time video (“live”), and the almost instant transmission of reports or warnings about abnormal conditions (pre-programmed states), abnormal scenarios (loitering, crowding, leaving items of clothing or backpacks, briefcases, food for extraordinary times, etc.) or other scenarios based on the behavior of the elements (customers, regular customers, people at that n, etc.) at one or more video streams.
Анализом или обработкой, выполняемыми «в отложенном режиме», как правило, называется обработка сохраненного видео из источника на основе камеры (из определенной системы камер (к примеру, в магазине, на автостоянке, на улице) или других видеоданных (из сотового телефона, домашней видеозаписи и т.д.)) и передача отчетов или предупреждений о нештатных состояниях (состояниях, программируемых позднее), нештатных сценариях (праздношатание, скопление людей, оставление предметов одежды или рюкзаков, портфелей, продуктов питания на нештатное время и т.д. или других сценариях на основании поведения элементов (клиентов, постоянных покупателей, людей в толпе и т.д.) в одном или более сохраненных видеопотоках.Analysis or processing carried out “in deferred mode”, as a rule, refers to the processing of saved video from a source based on a camera (from a specific camera system (for example, in a store, in a parking lot, on the street) or other video data (from a cell phone, home videos, etc.)) and the transmission of reports or warnings about abnormal conditions (conditions programmed later), abnormal scenarios (loitering, crowding, leaving items of clothing or backpacks, briefcases, food items for emergency conditions etc., or other scenarios based on the behavior of elements (customers, regular customers, people in the crowd, etc.) in one or more of the stored video streams.
«Данными мобильного устройства связи», как правило, называются данные, переданные мобильным устройством связи и/или полученные из него посредством связи с беспроводным или проводным протоколом.“Mobile communication device data” is generally referred to as data transmitted and / or received from a mobile communication device through communication with a wireless or wired protocol.
Осуществление изобретенияThe implementation of the invention
Далее со ссылкой на сопровождающие чертежи раскрываются конкретные варианты осуществления настоящего изобретения, однако должно быть понятно, что раскрытые варианты представляют собой лишь примеры осуществления изобретения, которое может быть осуществлено в различных формах. Чтобы не загромождать настоящее раскрытие ненужными подробностями, хорошо известные функциональные модули или конструкции не описываются подробно. Поэтому раскрытые здесь конкретные конструктивные и функциональные подробности должны интерпретироваться не как ограничивающие, а лишь как основа для толкования формулы и как иллюстративная основа для пояснения, понятного специалисту в данной области техники, различных вариантов осуществления настоящего изобретения в практически любой должным образом детализированной конструкции. В описании и на чертежах подобными номерами представлены элементы, которые могут выполнять одинаковые, подобные или эквивалентные функции.Further, with reference to the accompanying drawings, specific embodiments of the present invention are disclosed, however, it should be understood that the disclosed embodiments are merely examples of the invention, which can be implemented in various forms. In order not to clutter the present disclosure with unnecessary details, well-known functional modules or constructions are not described in detail. Therefore, the specific structural and functional details disclosed herein should not be interpreted as limiting, but merely as a basis for interpreting the formula and as an illustrative basis for explaining to a person skilled in the art various embodiments of the present invention in virtually any properly detailed design. In the description and drawings, like numbers represent elements that can perform the same, similar, or equivalent functions.
Кроме того, настоящее изобретение может быть раскрыто здесь посредством компонентов функциональных блоков, листингов кода, элементов выбора, экранов отображения страниц и различных шагов обработки. Должно быть понятно, что такие функциональные блоки могут быть осуществлены посредством произвольного количества аппаратных и/или программных компонентов, выполненных с возможностью выполнения определенных функций. Например, в настоящем раскрытии могут использоваться различные компоненты, представляющие собой интегральные схемы, к примеру, элементы памяти, элементы, обрабатывающие информацию, логические элементы, таблицы соответствия и т.п., которые могут выполнять разнообразные функции под управлением одного или более микропроцессоров или иных управляющих устройств.In addition, the present invention can be disclosed herein by means of components of function blocks, code listings, selection elements, page display screens, and various processing steps. It should be understood that such functional blocks may be implemented by an arbitrary number of hardware and / or software components configured to perform certain functions. For example, in the present disclosure, various components can be used, which are integrated circuits, for example, memory elements, information processing elements, logic elements, correspondence tables, etc., which can perform various functions under the control of one or more microprocessors or other control devices.
Аналогично, программные элементы настоящего раскрытия могут быть осуществлены с использованием любого языка программирования или языка описания сценариев, например, С, С++, С#, Java, COBOL, ассемблер, PERL, Python, PHP и т.п., с реализацией различных алгоритмов посредством произвольной комбинации структур данных, объектов, операций, подпрограмм или иных программных элементов. Созданный объектный код может исполняться под управлением различных операционных систем, включая Windows®, Macintosh OSX®, iOS®, Linux и/или Android®, но не ограничиваясь перечисленным.Similarly, the program elements of the present disclosure can be implemented using any programming language or scripting language, for example, C, C ++, C #, Java, COBOL, assembler, PERL, Python, PHP, etc., with the implementation of various algorithms through an arbitrary combination of data structures, objects, operations, subprograms, or other program elements. The generated object code can be executed under various operating systems, including, but not limited to, Windows ® , Macintosh OSX ® , iOS ® , Linux, and / or Android ® .
Кроме того, следует отметить, что в настоящем раскрытии может использоваться произвольное количество общеизвестных способов передачи данных, сигнализации, обработки данных, управления сетью и т.п. Следует понимать, что представленные и раскрытые здесь конкретные варианты осуществления предназначены лишь для иллюстрации изобретения и предпочтительного варианта его осуществления, но не подразумевают какого-либо ограничения объема настоящего изобретения. В представленных здесь примерах могут содержаться образцы элементов данных (к примеру, имена, даты и т.д.), которые служат лишь для пояснения и не должны пониматься как ограничивающие. Для краткости здесь могут не раскрываться подробно обычные сети передачи данных, разработка прикладных программ и другие функциональные аспекты систем (и компоненты отдельных функциональных элементов систем). Соединительные линии, представленные на различных фигурах чертежей, входящих в состав настоящего документа, предназначены для представления примера функциональных взаимосвязей и/или физических или виртуальных соединений между различными элементами. Следует отметить, что на практике в электронной системе передачи данных может быть множество альтернативных или дополнительных функциональных взаимосвязей и физических или виртуальных соединений.In addition, it should be noted that in the present disclosure, an arbitrary number of well-known methods of data transmission, signaling, data processing, network management, etc. can be used. It should be understood that the specific embodiments presented and disclosed herein are intended only to illustrate the invention and its preferred embodiment, but do not imply any limitation on the scope of the present invention. The examples presented here may contain samples of data elements (for example, names, dates, etc.) that serve only for clarification and should not be construed as limiting. For brevity, conventional data transmission networks, application development, and other functional aspects of systems (and components of individual functional elements of systems) may not be disclosed in detail here. The connecting lines shown in the various figures of the drawings included in this document are intended to provide an example of functional relationships and / or physical or virtual connections between different elements. It should be noted that in practice in an electronic data transfer system there can be many alternative or additional functional relationships and physical or virtual connections.
Специалисту обычного уровня в данной области техники должно быть понятно, что настоящее изобретение может быть осуществлено в виде способа, системы обработки данных, устройства для обработки данных и/или компьютерного программного продукта. Соответственно, настоящее изобретение может принимать форму полностью программного варианта осуществления, полностью аппаратного варианта осуществления или варианта осуществления, сочетающего как программный аспект, так и аппаратный аспект. Кроме того, настоящее изобретение может принимать форму компьютерного программного продукта на машиночитаемом носителе данных, содержащего машиночитаемые программные кодовые средства, реализованные на указанном носителе данных. Может быть использован любой пригодный машиночитаемый носитель данных, в том числе жесткие диски, CD-ROM, DVD-ROM, оптические запоминающие устройства, магнитные запоминающие устройства, полупроводниковые запоминающие устройства (к примеру, портативные запоминающие устройства с интерфейсом USB) и т.п.One of ordinary skill in the art should understand that the present invention may be embodied in the form of a method, a data processing system, a device for processing data, and / or a computer program product. Accordingly, the present invention may take the form of a fully software embodiment, a fully hardware embodiment, or an embodiment combining both a software aspect and a hardware aspect. In addition, the present invention may take the form of a computer program product on a computer-readable storage medium containing computer-readable software code means implemented on the storage medium. Any suitable computer-readable storage medium may be used, including hard drives, CD-ROMs, DVD-ROMs, optical storage devices, magnetic storage devices, semiconductor storage devices (e.g., portable storage devices with a USB interface), and the like.
В настоящем документе термины «элемент пользовательского интерфейса» и/или «кнопка» следует понимать как неограничивающие, охватывающие своим содержанием и другие элементы интерфейса, например, без ограничений, гиперссылку, изображение с возможностью нажатия на него и т.п.In this document, the terms “user interface element” and / or “button” should be understood as non-limiting, covering other elements of the interface, for example, without limitation, a hyperlink, an image with the ability to click on it, etc.
Настоящее изобретение далее раскрыто со ссылкой на иллюстративные функциональные схемы и блок-схемы способов, устройств (к примеру, систем) и компьютерных программных продуктов в соответствии с различными аспектами настоящего изобретения. Следует понимать, что любые функциональные блоки иллюстративных функциональных схем и блок-схем, а также комбинации функциональных блоков, показанные на функциональных схемах и блок-схемах, соответственно, могут быть осуществлены посредством инструкций компьютерной программы. Эти инструкции компьютерной программы могут быть загружены в компьютер общего назначения, в компьютер специального назначения, в мобильное устройство или в другое программируемое устройство обработки данных с целью реализации устройства, функционирующего таким образом, что посредством инструкций, исполняемых этим компьютером или другим программируемым устройством обработки, создается средство реализации функций, указанных в блоке или блоках блок-схемы.The present invention is further disclosed with reference to illustrative functional diagrams and flowcharts of methods, devices (eg, systems) and computer program products in accordance with various aspects of the present invention. It should be understood that any functional blocks of illustrative functional diagrams and block diagrams, as well as combinations of functional blocks shown in the functional diagrams and block diagrams, respectively, can be implemented using computer program instructions. These instructions of a computer program can be downloaded to a general purpose computer, a special purpose computer, a mobile device, or other programmable data processing device in order to implement a device that functions in such a way that, through instructions executed by this computer or other programmable processing device, means for implementing the functions indicated in the block or blocks of the flowchart.
Эти инструкции компьютерной программы также могут быть сохранены в машиночитаемой памяти, которая может управлять компьютером или другим программируемым устройством обработки данных для обеспечения его функционирования определенным образом, т.е., инструкции, сохраненные в этой машиночитаемой памяти, создают изделие, содержащее командные средства, реализующие функцию, указанную в блоке или блоках блок-схемы. Эти инструкции компьютерной программы также могут быть загружены в компьютер или другое программируемое устройство обработки данных с целью вызвать выполнение на указанном компьютере или другом программируемом устройстве обработки данных последовательности рабочих шагов, реализующей выполняемую компьютером операцию таким образом, что посредством инструкций, исполняемых этим компьютером или другим программируемым устройством, выполняются шаги реализации функций, указанных в блоке или блоках блок-схемы.These instructions of the computer program can also be stored in a computer-readable memory, which can control a computer or other programmable data processing device to ensure its functioning in a certain way, i.e., instructions stored in this computer-readable memory create an article containing command means that implement function indicated in the block or blocks of the flowchart. These instructions of the computer program can also be downloaded to a computer or other programmable data processing device in order to cause a sequence of work steps to be performed on the specified computer or other programmable data processing device that implements the operation performed by the computer in such a way that through instructions executed by this computer or other programmable device, the steps are taken to implement the functions specified in the block or blocks of the flowchart.
Соответственно, функциональные блоки иллюстративных функциональных схем и блок-схем допускают комбинирование средств выполнения указанных функций, комбинирование шагов выполнения указанных функций и средств реализации указанных функций посредством инструкций программы. Также следует понимать, что любые функциональные блоки иллюстративных функциональных схем и блок-схем, а также комбинации функциональных блоков, показанные на функциональных схемах и блок-схемах, могут быть осуществлены как аппаратно реализованной компьютерной системой специального назначения, выполняющей указанные функции или шаги, так и пригодными для этой цели комбинациями аппаратуры специального назначения и компьютерных инструкций.Accordingly, the functional blocks of the illustrative functional diagrams and block diagrams allow the combination of means for performing these functions, a combination of steps for performing these functions and means for implementing these functions through program instructions. It should also be understood that any functional blocks of illustrative functional diagrams and block diagrams, as well as combinations of functional blocks shown on functional diagrams and block diagrams, can be implemented as a hardware-based special-purpose computer system that performs these functions or steps, and suitable combinations of special equipment and computer instructions for this purpose.
Специалисту в данной области техники также должно быть понятно, что по соображениям безопасности какие-либо базы данных, системы или компоненты вариантов осуществления настоящего изобретения могут состоять из произвольной комбинации баз данных или компонентов, находящихся в одном месте или в нескольких местах, при этом каждая база данных или система содержит любые пригодные для это цели средства защиты, например, межсетевые экраны, коды доступа, шифрование, дешифрование, сжатие, восстановление сжатых данных и т.п.One of ordinary skill in the art would also appreciate that for security reasons, any databases, systems, or components of embodiments of the present invention may consist of an arbitrary combination of databases or components located in one place or in several places, with each base The data or the system contains any suitable means of protection for this purpose, for example, firewalls, access codes, encryption, decryption, compression, recovery of compressed data, etc.
Объем настоящего изобретения следует определять по прилагаемой формуле изобретения и ее законным эквивалентам, а не по приведенным здесь примерам. Например, шаги, изложенные в каком-либо пункте формулы изобретения на способ, могут выполняться в произвольном порядке и не ограничены порядком, представленном в формуле изобретения. Кроме того, ни один элемент не является существенным для практического осуществления изобретения, если явным образом не указано, что элемент является существенным или необходимым.The scope of the present invention should be determined by the attached claims and their legal equivalents, and not by the examples given here. For example, the steps set forth in any claim on a method may be performed in an arbitrary order and are not limited to the order presented in the claims. In addition, no element is essential for the practical implementation of the invention, unless it is explicitly stated that the element is essential or necessary.
Со ссылкой на фиг. 1 представлена аналитическая система 100 распознавания, выполняющая функции видеонаблюдения, мониторинга и верификации в соответствии с вариантом осуществления настоящего изобретения. Система 100 представляет собой сетевое устройство записи видео и данных, выполненное с возможностью записи видео из одной или более камер 110 (к примеру, аналоговых камер и/или IP-камер) и других данных, получаемых посредством одной или более антенн 150. Видеокамеры 110 соединены с компьютером 120 через соединение 130. Соединением 130 может быть аналоговое соединение, посредством которого видео передается в компьютер 120, цифровое соединение, посредством которого обеспечивается сетевое соединение между видеокамерой 110 и компьютером 120, либо соединение 130 может содержать аналоговое соединение и цифровое соединение.With reference to FIG. 1 illustrates an
Каждая видеокамера 110 подключена к компьютеру 120 и к пользовательскому интерфейсу 122, образуя тем самым пользовательское подключение к компьютеру 120. Каждая из указанных одной или более видеокамер 110 может подключаться через индивидуальное соединение, может подключаться через общее сетевое соединение или через любую комбинацию указанных соединений.Each
Указанные одна или более антенн 150 могут быть прикреплены к или содержаться в одной или более видеокамерах 110 или компьютере 120 и/или могут располагаться на удалении от одной или более видеокамер 110 и компьютера 120. Указанные одна или более антенн 150 могут быть соединены с возможностью осуществления связи с компьютером 120 посредством соединения 130 или могут осуществлять беспроводную связь с компьютером 120 посредством антенны компьютера 120.Said one or
Указанными одной или более антеннами 150 могут быть одна произвольная антенна или комбинация антенн различных типов. В число примеров типов одной или более антенн 150 входят антенна WiFi, антенна управления доступом к среде передачи (MAC), антенна Bluetooth, антенна сотовой связи, антенна связи малого радиуса действия, антенна радиочастотной идентификации (Radio Frequency Identification, RFID) и антенна системы глобального позиционирования (Global Positioning System, GPS). Должно быть понятно, что показанное на фиг. 1 в качестве примера расположение антенн 150 предлагается лишь в иллюстративных целях и возможны другие расположения антенн 150. Например, одна камера 110 может содержать множество антенн различных типов.The specified one or
Как более подробно рассматривается в настоящем документе, одна или более антенн 150 выполнены с возможностью захвата данных мобильного устройства связи из одного или более мобильных устройств связи (к примеру, смартфонов), расположенных в зоне действия одной или более антенн 150, и с возможностью передачи захваченных данных мобильного устройства связи в модуль 140 анализа данных для обработки в соответствии с различными вариантами осуществления настоящего изобретения, представленными в настоящем документе. Антенна 150 может быть выполнена с возможностью захвата данных мобильного устройства связи путем беспроводного приема данных, передаваемых мобильным устройством связи, находящимся в зоне действия антенны. Антенна 150 может быть выполнена с возможностью беспроводного приема данных из расположенных неподалеку мобильных устройств связи с периодической или непрерывной посылкой запросов в мобильные устройства связи и/или с возможностью периодического или непрерывного прослушивания мобильных устройств связи и захвата передаваемых ими данных без отправки ping-запросов.As discussed in more detail herein, one or
Система 100 содержит по меньшей мере один модуль 140 анализа данных. Модуль 140 анализа данных может находиться в компьютере 120 и/или в одной или более видеокамерах 110. Модуль 140 анализа данных выполняет обработку видео и/или данных мобильного устройства связи. Например, модуль 140 анализа данных выполняет один или более алгоритмов для формирования невизуальных данных из видео и/или из данных мобильного устройства связи. Невизуальные данные содержат невизуальные данные кадра, описывающие содержание отдельных кадров, например, объекты, идентифицированные в кадре, одно или более свойств объектов, идентифицированных в кадре, и одно или более свойств, относящихся к заранее определенным частям кадра. В число невизуальных данных также могут входить невизуальные данные времени описывающие длящееся во времени содержание между двумя или большим числом кадров. Невизуальные данные времени могут формироваться из визуальных и/или из невизуальных данных кадра. Невизуальные данные времени содержат данные времени например, временные свойства объекта, идентифицированного на двух или более кадрах, и временное свойство одной или более заранее определенных частей двух или более кадров. В число невизуальных данных кадра может входить количество обнаруженных объектов (в число объектов, к примеру, могут входить люди и/или произвольные части их тел, неживые объекты, животные, транспортные средства или объекты, заданные и/или созданные пользователем) и одно или более свойств объекта (к примеру, положение объекта, положение произвольной части объекта, размерные свойства объекта, размерные свойства частей и/или обнаруженных особенностей объекта) и свойств взаимосвязей (к примеру, положение первого объекта относительно второго объекта или любого другого объекта, который может быть идентифицирован в кадре). Объекты могут быть идентифицированы как объекты, появившиеся в видео, или объекты, исчезнувшие из видео. Объекты могут быть идентифицированы как виртуальные объекты, которые реально не появляются в видео, но могут быть добавлены для целей расследования, обучения и т.д.
В различных вариантах осуществления изобретения, предлагаемых в настоящем документе в качестве примера, модуль 140 анализа данных выполнен с возможностью сопоставления видеоданных и данных мобильного устройства связи, захваченных, соответственно, видеокамерами и антеннами, для формирования профиля человека, связанного с указанными видеоданными и данными мобильного устройства связи. Профиль может содержать данные профиля, например, захваченные видеоданные, захваченные данные мобильной связи и/или другие типы данных, относящихся к человеку (к примеру, имя, дату рождения, адрес места жительства и т.п.).In the various embodiments of the invention provided by way of example, the
Профиль может содержать захваченные видеоданные, захваченные данные мобильного устройства связи, данные времени, связанные с захваченными видеоданными или данными мобильного устройства связи, и/или данные местоположения, связанные с захваченными видеоданными или данными мобильного устройства связи. Захваченные видеоданные могут содержать захваченное неподвижное изображение и/или захваченный видеоматериал. Данные мобильного устройства связи могут содержать идентификатор WiFi, идентификатор управления доступом к среде передачи (MAC), идентификатор Bluetooth, идентификатор сотовой связи, идентификатор связи малого радиуса действия, радиочастотный идентификатор и/или любой другой идентификатор или данные, связанные с мобильным устройством связи, осуществляющим связь с антенной. Данные времени могут содержать время, в которое захвачены соответствующие видеоданные, и/или время, в которое захвачены соответствующие данные мобильного устройства связи. Данные местоположения могут содержать местоположение, в котором захвачены видеоданные, и/или местоположение, в котором захвачены данные мобильного устройства связи.A profile may comprise captured video data, captured data of a mobile communication device, time data associated with captured video data or data of a mobile communication device, and / or location data associated with captured video data or data of a mobile communication device. The captured video data may comprise a captured still image and / or captured video material. The data of the mobile communication device may include a WiFi identifier, a medium access control identifier (MAC), a Bluetooth identifier, a cellular identifier, a short-range communication identifier, a radio frequency identifier and / or any other identifier or data associated with a mobile communication device implementing communication with the antenna. The time data may comprise the time at which the corresponding video data is captured and / or the time at which the corresponding data of the mobile communication device is captured. The location data may comprise a location at which video data is captured and / or a location at which data of a mobile communication device is captured.
Модуль 140 анализа данных может быть выполнен с возможностью добавления в профиль количества посещений помещения человеком и/или частоты посещений помещения человеком на основании сопоставленных видеоданных и данных мобильного устройства связи. Модуль 140 анализа данных также может быть выполнен с возможностью сравнения данных, полученных из первого источника (к примеру, из базы данных неправительственной организации, базы данных правительственной организации и одного или более ранее сформированных профилей), с захваченными видеоданными, захваченными данными мобильного устройства связи, сопоставленными видеоданными и данными мобильного устройства связи, и/или профилем, и с возможностью идентификации человека на основании указанного сравнения.The
Модуль 140 анализа данных также может быть выполнен с возможностью определения времени прихода и/или времени ухода человека в определенное помещение или местоположение или из него на основании захваченных видеоданных и/или данных мобильного устройства связи. Модуль 140 анализа данных может сопоставлять видеоданные и данные мобильного устройства связи на основании указанных времени прихода и/или времени ухода. Такое сопоставление на основании времени, например, может дать модулю 140 анализа данных возможность связывания конкретного элемента данных мобильного устройства связи (к примеру, идентификатора Wi-Fi) с определенным человеком, присутствующем на захваченном видео.The
В одном примере видеокамерой 110 может быть одна из множества видеокамер 110, содержащихся в системе 100, и видеокамеры 110 могут быть выполнены с возможностью захвата множества наборов видеоданных, соответственно. Аналогично, антенной 150 может быть одна антенна из множества антенн 150, содержащихся в системе, и множество антенн 150 может быть выполнено с возможностью захвата множества наборов данных мобильного устройства связи, соответственно. Модуль 140 анализа данных также может быть выполнен с возможностью сопоставления множества наборов видеоданных и данных мобильного устройства связи для формирования соответствующих профилей для множества людей, которые связаны с соответствующими видеоданными и данными мобильного устройства связи. Видеокамеры и антенны могут быть размещены во множестве разных местоположений и/или помещений.In one example, the
В еще одном примере модуль 140 анализа данных может быть выполнен с возможностью внесения человека в позитивный список, неопределенный список или негативный список на основании видеоданных, данных мобильного устройства связи, данных профиля и/или введенных пользователем критериев (к примеру, введенных через модуль 800 расследования, описываемый далее). Модуль 140 анализа данных также может быть выполнен с возможностью установления факта соответствия видеоданных, данных мобильного устройства связи и/или профиля сотруднику или человеку из заранее заданного списка людей, и может относить человека к позитивному списку на основании установления этого факта.In yet another example,
В некоторых примерных вариантах осуществления настоящего изобретения модуль 140 анализа данных может быть выполнен с возможностью обнаружения поведения человека и сохранения в профиле данных поведения, соответствующих указанному поведению. Модуль 140 анализа данных может, например, быть выполнен с возможностью обнаружения поведения человека путем извлечения информации о поведении из видеоданных и/или данных мобильного устройства связи. Указанное поведение может содержать взгляд человека в конкретном направлении, протягивание руки за товаром, покупку товара, проход по некоторому маршруту в помещении, посещение прохода или местоположения в помещении, проведение некоторого времени в помещении, проведение некоторого времени в местоположении в помещении и/или посещения помещения некоторое число раз в разное время. Модуль 140 анализа данных может, кроме того, быть выполнен с возможностью классифицирования человека как нового клиента или повторного клиента в данном помещении на основании данных посещения помещения, сохраненных в профиле. Модуль 140 анализа данных может добавлять в профиль или уточнять в профиле признак того, является ли этот человек новым клиентом или повторным клиентом в данном помещении. Модуль 140 анализа данных в некоторых случаях может быть выполнен с возможностью обнаружения поведения человека путем сопоставления видеоданных, данных мобильного устройства связи и/или данных профиля с планом расположения проходов в помещении, планом размещения товара в помещении и/или планом расположения стеллажей в помещении.In some exemplary embodiments of the present invention, the
В некоторых аспектах, предлагаемых в настоящем документе в качестве примера, Модуль 140 анализа данных может быть выполнен с возможностью формирования, на основании захваченных видеоданных и/или данных мобильного устройства связи, данных местоположения, соответствующих конкретному поведению, и сохранения этих данных местоположения в профиле со связью с соответствующими данными поведения.In some aspects proposed by way of example herein,
Модуль 140 анализа данных может быть расположен в камере 110 и выполнен с возможностью преобразования видео в видеоданные и невизуальные данные и передачи указанных видеоданных и невизуальных данных в компьютер 120 через сеть. Таким образом система 100 передает функцию обработки видео на периферию сети, чем минимизирует объем обработки, который должен выполняться компьютером 120.
Компьютер 120 содержит машиночитаемый носитель данных, содержащий программное обеспечение для контроля поведения пользователя, которое при исполнении компьютером 120 вызывает выполнение операций компьютером 120. Пользовательский интерфейс 122 обеспечивает интерфейс с компьютером 120. Пользовательский интерфейс 122 может подключаться непосредственно к компьютеру 120 или может опосредованно подключаться к компьютеру 120 через пользовательскую сеть. Системный пользовательский интерфейс 122 также может быть выполнен с возможностью приема одного или более критериев от пользователя и с возможностью поиска профилей на основании указанных критериев. В некоторых вариантах осуществления изобретения, предлагаемых в настоящем документе в качестве примера, пользовательский интерфейс 122 может содержать модуль 800 расследования, что подробно описывается ниже.
Поведение пользователя определяется действием, бездействием, движением, множеством проявлений события, временным событием, внешним событием или любым их сочетанием. Конкретное поведение пользователя задают и сообщают в компьютер 120.User behavior is determined by action, inaction, movement, multiple manifestations of an event, a temporary event, an external event, or any combination thereof. The specific user behavior is set and reported to the
Действие может содержать взятие объекта, при котором объект размещают или оставляют в конкретном местоположении. Действие может содержать перемещение конкретного объекта, например, открывание двери, выдвижного ящика или ячейки. Действие может содержать расположение (или изменение положения) части тела, например помещение руки в карман или многократное поглаживание себя по определенному месту (признак того, что может быть спрятано оружие). Действие может содержать движение в конкретное место, прикосновение одного человека к другому человеку и/или перемещение кисти руки, руки, ноги и/или ступни в ходе конкретного движения. Действие также может содержать расположение головы в конкретном направлении, например, прямой взгляд на сотрудников охраны или в камеру 110 охраны. Другие разнообразные примеры рассмотрены выше.The action may comprise taking an object in which the object is placed or left at a specific location. The action may include moving a specific object, for example, opening a door, drawer or cell. The action may include the location (or change of position) of a part of the body, for example, putting your hand in your pocket or repeatedly stroking yourself in a certain place (a sign that a weapon may be hidden). The action may include moving to a specific place, touching one person to another person, and / or moving a hand, arm, leg, and / or foot during a specific movement. The action may also include the location of the head in a specific direction, for example, a direct look at the security personnel or into the
Бездействие может содержать невзятие объекта, когда объект уронили или разместили конкретным образом, а человек (к примеру, объект наблюдения) не поднял упавший объект. Бездействие также может содержать неприбытие в конкретное место или невыполнение конкретной функции. Например, чтобы проверить, заперта ли дверь запасного выхода, требуется действие, состоящее в приближении к двери, и действие, состоящее в приложении усилия к двери с целью убедиться в том, что дверь не откроется. При этом поведение пользователя при проверке того, заперта ли дверь, может быть задано как бездействие - невыполнение приближения к двери и/или бездействие - невыполнение надавливания на дверь. Другие разнообразные примеры бездействия рассмотрены выше.Inaction may contain a failure to take the object when the object was dropped or placed in a specific way, and a person (for example, an object of observation) did not pick up a fallen object. Inaction may also include non-arrival at a particular place or failure to perform a specific function. For example, to check if the emergency exit door is locked, an action is required that is close to the door and an action is the application of force to the door to ensure that the door does not open. At the same time, the user's behavior when checking whether the door is locked can be set as inaction - failure to approach the door and / or inaction - failure to apply pressure to the door. Other diverse examples of inaction are discussed above.
Временное событие может содержать обнаружение клиента, внезапно покинувшего магазин, длительное пребывание человека у входа в магазин или у выхода из магазина, пребывание человека в конкретном месте в течение периода времени, превосходящего пороговое значение. Другие разнообразные примеры временного события рассмотрены выше.A temporary event may include the discovery of a customer who has suddenly left the store, a long stay of a person at the entrance to the store or at the exit of the store, a person's stay in a specific place for a period of time exceeding the threshold value. Other diverse examples of temporary events are discussed above.
Пользователь может идентифицировать конкретное поведение пользователя и передавать и/или задавать характеристики этого конкретного поведения пользователя в компьютере 120. Компьютер 120 принимает невизуальные данные из камеры 110, причем эти невизуальные данные содержат данные информации о поведении. Конкретное поведение пользователя может быть задано моделью 143 поведения, содержащей один или более атрибутов, например, размер, форму, длину, ширину, отношение сторон или любой другой идентифицирующий или идентифицируемый атрибут (к примеру, татуировку или другие атрибуты, рассматриваемые в настоящем документе). Компьютер 120 содержит алгоритм проверки соответствия или модуль 141 проверки соответствия, например, компаратор, который сравнивает заданные характеристики и/или модель 143 конкретного поведения пользователя с поведением пользователя в заданных невизуальных данных. Признак соответствия в алгоритме проверки соответствия или в модуле 141 вызывает формирование расследования, содержащего видеоданные и/или невизуальные данные, идентифицированные алгоритмом 141 проверки соответствия. Расследование представляет собой подборку данных, относящихся к идентифицированному событию, и служит, в основном, для документирования поведения, представляющего интерес. При этом расследования требуют последующего контроля и инспекции с целью изучения конкретного поведения.The user can identify specific user behavior and transmit and / or set the characteristics of this specific user behavior in
Расследование может быть передано в другие камеры или системы данной сети или передано через сообщество сетей для проверки на соответствие или для идентификации и передачи оповещения. Алгоритм 141 проверки соответствия может быть реализован в виде независимого модуля или может быть встроен в модуль 140 анализа данных в компьютере 120 или в любой из камер 110. Модуль 140 анализа данных также может содержать модуль 142 сравнения, выполненный с возможностью сравнения модели 143 определенного поведения пользователя и невизуальных данных.An investigation can be transferred to other cameras or systems of a given network or transmitted through a community of networks to verify compliance or to identify and transmit alerts. The
Конкретное поведение пользователя может быть задано как превышение заранее заданного периода ориентирования головы в направлении камеры 110 наблюдения или превышение заранее заданного периода ориентирования головы в направлении кабинета руководителя. Такое конкретное поведение пользователя может быть признаком того, что клиент хочет найти камеры 110 наблюдения в магазине в попытке предотвратить свое обнаружение при совершении кражи, или того, что один из сотрудников хочет проверить, наблюдает ли руководитель за их поведением. Модуль 140 анализа данных выполняет алгоритм формирования невизуальных данных, распознающий положение головы объектов наблюдения. Модуль 140 анализа данных также может сообщать вектор, указывающий ориентацию лица и/или направление взгляда. Алгоритм 141 проверки соответствия выполняет поиск невизуальных данных с целью проверки превышения длительностью конкретного положения головы и/или определенного вектора, указывающего ориентацию лица, заранее заданного периода. При обнаружении соответствия формируется результат расследования.Specific user behavior can be defined as exceeding a predetermined orientation period of the head in the direction of the
Со ссылкой на фиг. 2 представлен контроллер 200 последовательности данных/видео/изображений в соответствии с вариантом осуществления настоящего изобретения. Контроллер 200 последовательности выполнен с возможностью приема видео, видеоданных, невизуальных данных, видеопоследовательностей и/или неподвижных изображений из различных источников видеоинформации (к примеру, из различных одной или более видеокамер 110) и/или из различных одной или более антенн 150. Например, из местоположений 1 и 2 видео может передаваться непрерывно, а из местоположения 7 могут передаваться только данные движения. Из местоположений 3 и 6 могут передаваться короткие видеоклипы, а из местоположений 4 и 5 могут передаваться неподвижные изображения. Данные мобильного устройства связи могут передаваться из местоположений 1-7. Эти данные могут передаваться в контроллер 200 последовательности через любое пригодное средство связи (к примеру, через LAN, WAN, интранет, интернет, фиксированное проводное соединение, модемное соединение, беспроводное соединение и т.д.). Как показано на фиг. 2, данные из каждого местоположения могут передаваться любым пригодным образом, например, непрерывно, периодически с заранее заданной частотой, асинхронно, в ответ на прием триггера и т.п.With reference to FIG. 2 illustrates a data / video /
Контроллер 200 последовательности формирует метку времени из данных, предоставленных с видеоданными, данными изображения и/или данными мобильного устройства связи. Метка времени может содержаться в видеоданных, данных изображения и/или данных мобильного устройства связи, предоставляться как часть видеоданных, данных изображения и/или данных мобильного устройства связи, или может предоставляться в файле, содержащем видеоданные, данные изображения и/или данные мобильного устройства связи. Как вариант, контроллер 200 последовательности может быть выполнен с возможностью приема введенных пользователем данных, содержащих информацию метки времени, связанной с каждым актом ввода данных пользователем.The
Контроллер 200 последовательности может, дополнительно или в качестве альтернативного варианта, формировать географическое местоположение из данных, предоставленных с видеоданными, данными изображения и/или данными мобильного устройства связи. Информация о географическом местоположении может содержаться в видеоданных, данных изображения и/или данных мобильного устройства связи, предоставляться как часть видеоданных, данных изображения и/или данных мобильного устройства связи, или может предоставляться в файле, содержащем видеоданные, данные изображения и/или данные мобильного устройства связи. Например, видеоданные, данные изображения и/или данные мобильного устройства связи могут содержать идентифицирующий объект, который может использоваться для идентификации местоположения, в котором было получено данное изображение.The
Контроллер 200 последовательности может, дополнительно или в качестве альтернативного варианта, формировать данные о поле зрения (ПЗ) (FOV, field-of-view) для видеоданных и/или данных изображения. Данные ПЗ могут быть получены из информации о местоположении камеры, из информации, содержащейся в самом видео (к примеру, определены по идентифицирующему объекту) и/или могут быть введены пользователем. Контроллер 200 последовательности может, дополнительно или в качестве альтернативного варианта, формировать данные о зоне действия антенны для данных мобильного устройства связи. Данные о зоне действия антенны могут быть получены из информации о местоположении антенны 150, полученной из информации, содержащейся в данных мобильного устройства связи, и/или могут вводиться пользователем.The
Фиг. 3 представляет иллюстрацию плана 300 изображений и связанной с ним временной шкалы 310, формируемых контроллером 200 последовательности. Контроллер 200 последовательности может быть выполнен с возможностью использования данных метки времени, данных географического местоположения и/или данных ПЗ для построения плана 300 изображений и временной шкалы 310 на основании всех видеоданных и данных изображения (или любой их части), переданных в контроллер 200 последовательности.FIG. 3 is an illustration of an
Пользователь может указать контроллеру 200 последовательности конкретное время и/или интервал времени, а контроллер 200 последовательности предоставляет все видеоданные, изображения и/или данные мобильного устройства связи, относящиеся к указанному времени. Время и/или интервал времени могут выбираться на временной шкале 310, а план 300 изображений может обновляться так, чтобы содержать все видеоданные, данные изображения и/или данные мобильного устройства связи, относящиеся к выбранному времени и/или интервалу времени.The user can indicate to the sequence controller 200 a specific time and / or time interval, and the
Пользователь может, дополнительно или в качестве альтернативного варианта, указывать контроллеру 200 последовательности выбранное местоположение, а контроллер последовательности предоставляет все видеоданные, данные изображения и/или данные мобильного устройства связи, относящиеся к этому конкретному местоположению. Местоположение может выбираться по плану 300 изображений или сообщаться в виде данных географического местоположения в контроллер 200 последовательности.The user may, additionally or alternatively, indicate to the
Пользователь может, дополнительно или в качестве альтернативного варианта, указывать контроллеру 200 последовательности, в дополнение к географическому местоположению, определенное время и/или интервал времени с целью дополнительного уточнения и выделения нужных данных из всех видеоданных, данных изображения и/или данных мобильного устройства связи, относящихся к этому конкретному местоположению.The user may, additionally or alternatively, indicate to the
Указав с целью нахождения нужных видеоданных, данных изображения и/или данных мобильного устройства связи конкретное время, интервал времени и/или местоположение, пользователь может использовать раскрытые здесь алгоритмы поиска, способы и систему для идентификации конкретных предметов, представляющих интерес, типов поведения и/или людей в видеоданных, данных изображения и/или данные мобильного устройства связи.To indicate the specific time, time interval and / or location in order to find the desired video data, image data and / or data of the mobile communication device, the user can use the search algorithms, methods and system disclosed here to identify specific items of interest, types of behavior and / or people in video data, image data and / or mobile communication device data.
Настоящее изобретение шире, чем программное обеспечение для распознавания лиц (которое может быть использовано совместно с настоящим изобретением), и предлагает дополнительные алгоритмы и средства анализа для целей слежения и/или расследования, что поясняется ниже. Кроме того, в некоторых случаях вообще отсутствует необходимость использования распознавания лиц для выделения объектов разного рода или слежения за ними, и раскрытая здесь система может использоваться без программного обеспечения или алгоритмов распознавания лиц, которые могут оказаться невосприимчивыми к нарушению некоторых моральных, федеральных или местных законов.The present invention is broader than facial recognition software (which can be used in conjunction with the present invention), and offers additional algorithms and analysis tools for tracking and / or investigation purposes, as explained below. In addition, in some cases there is no need to use face recognition to isolate objects of various kinds or to track them, and the system disclosed here can be used without software or face recognition algorithms that may be immune to violation of certain moral, federal or local laws.
Настоящее изобретение также относится к аналитической системе распознавания для слежения за объектами в режиме реального времени / в отложенном режиме на основании заранее заданных параметров, например, для анализа в реальном времени и отложенного анализа, распознавания, слежения за различными заранее заданными (или заданными позднее) известными объектами или вручную заданными объектами на основании формы, цвета, размера, количества конкретных предметов на человеке (людях), неадекватности конкретному обстоятельству (к примеру, зимнее пальто в 80-градусную жару (по Фаренгейту)), сходства конкретных объектов в течение конкретного временного интервала (сходные предметы, к примеру, рюкзаки, в конкретной зоне), отделения значимого объекта (объектов) от человека на заранее заданный период времени, нахождения постороннего объекта в конкретной зоне, размещения предметов около значимых объектов, размещения сходных предметов в сходных зонах и отделение этих предметов от человека, конкретного контраста и сочетания цветов (к примеру, красная футболка, выглядывающая из-под черной рубашки, или белый головной убор на черных волосах).The present invention also relates to an analytical recognition system for tracking objects in real time / in deferred mode based on predefined parameters, for example, for real-time analysis and deferred analysis, recognition, tracking of various predefined (or specified later) known objects or manually set objects based on the shape, color, size, number of specific objects on a person (s), inadequacy to a specific circumstance (for example, a winter coat in 80-degree heat (Fahrenheit)), similarity of specific objects during a specific time interval (similar objects, for example, backpacks, in a specific zone), separating a significant object (objects) from a person for a predetermined period of time, finding a foreign object in a specific zone, placing objects near significant objects, placing similar objects in similar zones and separating these items from a person specific con trust and color combinations (for example, a red T-shirt peeking out from under a black shirt, or a white headdress on black hair).
В число задаваемых объектов могут входить объекты с конкретной известной формой, размером, цветом или массой (определяемой по количеству людей, несущих объект, по походке человека, несущего объект, по способу переноски объекта и т.д.) или объекты, выбор которых основывается на использовании библиотеки объектов и алгоритма сопоставления. Эти объекты могут заранее задаваться в аналитической программе и отслеживаться в реальном времени и/или в отложенном режиме с целью анализа. Объекты, задаваемые вручную, могут вводиться в программу путем указания цвета, размера, формы, массы и т.д. и анализироваться и отслеживаться в реальном времени и/или в отложенном режиме с целью обнаружения нештатных состояний или с иными целями. Объекты, задаваемые вручную, могут загружаться для анализа в реальном времени; это могут быть, к примеру, изображения для распознавания лиц, изображения татуировок, пирсинга, логотипов или иных признаков, что более подробно раскрыто далее. Кроме того, по видеоданным (к примеру, по данным кадра) и/или по неподвижному изображению могут создаваться и предоставляться для анализа формируемые пользователем объекты и/или изображения. Например, и как показано в аналитической системе распознавания 400 на фиг. 4, объект 410 (к примеру, шляпа, рюкзак, снаряжение или любая особенность, которую можно идентифицировать), идентифицированный в неподвижном изображении и/или в видеокадре (или идентифицированный в результате одного из нештатных состояний, раскрытых в настоящем документе) может быть отделен от человека 405 на заданное время ( событие) и передан в качестве сформированного пользователем объекта 410' для идентификации в видео 420 реального времени или найден и идентифицирован в сохраненном видео 425, к примеру, в видеокадрах и/или в неподвижных изображениях.The set of objects can include objects with a specific known shape, size, color or mass (determined by the number of people carrying the object, the gait of the person carrying the object, the method of carrying the object, etc.) or objects whose selection is based on using a library of objects and a matching algorithm. These objects can be predefined in the analytical program and tracked in real time and / or in delayed mode for analysis. Manually defined objects can be entered into the program by specifying color, size, shape, mass, etc. and be analyzed and monitored in real time and / or in delayed mode in order to detect abnormal conditions or for other purposes. Manually defined objects can be loaded for analysis in real time; it can be, for example, images for face recognition, images of tattoos, piercings, logos or other signs, which is described in more detail below. In addition, user-generated objects and / or images can be created and provided for analysis from video data (for example, from frame data) and / or from a still image. For example, and as shown in the
Человек 405 может иметь мобильное устройство 440 связи (к примеру, смартфон), оснащенный одной или более антенн (не показанных на фиг. 4), посредством которых путем беспроводной связи передаются один или более сигналов (к примеру, данные мобильного устройства связи). В число примеров таких данных мобильного устройства связи входят сигналы (к примеру, сигналы установления связи), которые мобильное устройство 440 связи передает в соответствии с одним или более протоколами беспроводной связи, например, протоколом связи WiFi, протоколом связи на основе управления доступом к среде передачи (MAC), протоколом Bluetooth, протоколом сотовой связи, протоколом связи малого радиуса действия и протоколом радиочастотной идентификации. Как указано выше, одна или более антенн 150 выполнены с возможностью захвата данных мобильного устройства связи, передаваемых мобильным устройством связи при его нахождении в зоне действия одной или более антенн 150 и с возможностью передачи захваченных данных мобильного устройства связи в модуль 140 анализа данных для обработки в соответствии с различными вариантами осуществления настоящего изобретения.A
Система 400 может содержать модуль 140 анализа данных, выполненный с возможностью анализа видеоданных и невизуальных данных (к примеру, данных мобильного устройства связи) в реальном времени и/или в отложенном режиме и слежения за каждым человеком с рюкзаком 410 в конкретной зоне или в поле зрения конкретной камеры. Подозрительное и/или представляющее интерес поведение одного или более людей может быть отслежено, записано и проанализировано как в режиме реального времени, так и в отложенном режиме. Например, как показано на фиг. 4, если рюкзак 410 отделен от человека 405 и оставлен в течение заранее заданного периода времени, то данное видео может быть помечено для оповещения в реальном времени и/или для отложенного анализа. Объект, к примеру, рюкзак 410, может быть помечен, снабжен меткой времени и/или выделен в отдельный видеопоток для отложенного анализа. Пользователь может при анализе в реальном времени или в отложенном режиме применить масштабирование с целью слежения с высоким разрешением или ввода в контроллер 200 последовательности данных/видео/изображений в соответствии с приведенным здесь обсуждением. Человек 405, оставивший заранее заданный подозрительный объект, к примеру, рюкзак 410 (или любой другой объект, распознанный библиотекой 430 изображений, изображение/объект 435, сформированный пользователем (через устройство ввода) или некоторым алгоритмом сопоставления или модулем 140), может быть отслежен и подвергнут анализу для оповещения в реальном времени и/или для отложенного анализа. Система 400 может и следить за объектом 410, и отмечать человека 405 и следить за ним для анализа в режиме реального времени или в отложенном режиме через одну или более камер 110, через сеть камер 110, 110а, 110b, одну или более антенн 150 и/или сеть антенн 150 и т.д.
Еще в одном примере система 400 может отмечать и следить в реальном времени для целей передачи оповещений или отложенного анализа за человеком, одетым летом в зимнее пальто, в солнечную погоду в длинный плащ-дождевик и т.п. Такая ситуация также может считаться поводом к передаче оповещения или нештатным состоянием.In yet another example,
Система 400 может быть выполнена с возможностью комбинирования заранее заданных способов анализа для оповещения об одной или более нештатных ситуациях (или об их сочетании). Например, человек, несущий футляр, в котором может быть размещена полуавтоматическая или автоматическая винтовка, расхаживающий около стратегически важного здания в течение заранее заданного периода времени, может автоматически отмечаться, отслеживаться, а охране может передаваться оповещение.
Система 400 может быть выполнена с возможностью отслеживания и анализа конкретных объектов, и программа или модуль 140 анализа данных могут быть заранее настроены на обнаружение этих объектов в видеопотоках и/или в неподвижных изображениях, полученных позднее. Например, может быть запланировано, что особо важная персона даст брифинг для прессы или прибудет в конкретное место в конкретное время. Однако запланированное мероприятие переносится (намеренно или по стечению обстоятельств). Программа или модуль 140 анализа данных могут быть заранее настроены на распознавание некоторых объектов (или людей с объектами 410 или с объектами 435, сформированными пользователем), которые появятся в видео с мероприятия, перенесенного на более поздний срок. В некоторых случаях оригинальное видео, полученное во время первоначально запланированного мероприятия, может быть изучено, и пользователь может перенастроить программу или модуль 140 анализа данных на поиск конкретных «повторно появившихся» объектов 410 (рюкзаков, пальто, головных уборов, одежды, портфелей, людей и т.д.) в видеоматериале, получаемом в реальном времени на перенесенном мероприятии. Кроме того, некоторый человек также может быть отнесен к праздношатающимся и отмечен для контроля на мероприятии, перенесенном на более поздний срок. Группе охраны, просматривающей запись в реальном времени, может посылаться предупреждение, если это был человек, представляющий интерес.
Модуль 140 анализа данных может быть выполнен с возможностью распознавания нештатных типов поведения или неожиданных типов поведения и с возможностью оповещения охраны или инспекторов о возможных нештатных сценариях, событиях или состояниях. Видео и/или данные могут быть ориентированы на анализ в реальном времени или на отложенный анализ. Например, модуль 140 анализа данных может быть настроен на распознавание признаков собирающегося в конкретной географической зоне скопления людей и/или признаков скопления людей, расходящегося из конкретной географической зоны. Для достижения этой цели могут использоваться программы для глобального позиционирования и векторизации. Распознавание признаков собирающегося или расходящегося скопления людей может быть полезно при автоматическом распознавании возможных флэшмобов, массовых ограблений или других нештатных событий. Например, и как показано на фиг. 5, аналитическая система 500 распознавания содержит модуль 140 анализа данных, который может быть выполнен с возможностью слежения за необычным количеством посетителей 504a-504l, прибывающих в конкретное местоположение 520 в конкретное время 522 или около указанного времени. Модуль 140 анализа данных также может быть выполнен с возможностью отслеживания необычной скорости изменения числа посетителей 504a-504l и/или лиц, приходящих в конкретное местоположение 520 или уходящих из указанного местоположения. Типовая скорость прихода и/или ухода может быть задана заранее или получена из алгоритма, использованного в отношении людей, ранее приходивших в конкретное местоположение и уходивших из указанного местоположения в течение заранее заданного или варьируемого периода времени. Отклонение от типовой скорости прихода и/или ухода может инициировать нештатное состояние.The
Хотя это явно не показано на фиг. 5, один или более людей 504 могут иметь одно или более соответствующих мобильных устройств 440 связи (к примеру, смартфонов), оснащенных одной или более антенн, посредством которых путем беспроводной связи передаются один или более сигналов (к примеру, данные мобильного устройства связи). Как указано выше, одна или более антенн 150 выполнены с возможностью захвата данных мобильного устройства связи, передаваемых мобильными устройствами 440 связи при их нахождении в соответствующих зонах действия одной или более антенн 150 и с возможностью передачи захваченных данных мобильного устройства связи в модуль 140 анализа данных для обработки в соответствии с различными вариантами осуществления настоящего изобретения.Although not explicitly shown in FIG. 5, one or more people 504 may have one or more respective mobile communication devices 440 (e.g., smartphones) equipped with one or more antennas through which one or more signals (e.g., data from a mobile communication device) are transmitted wirelessly. As indicated above, one or
Охранная система 500 с модулем 140 анализа данных и одной или более группами или системами 510а-510g камер может быть выполнена с возможностью распознавания необычного количества людей, собирающихся в конкретной географической зоне 520 в течение заранее заданного времени. Модуль 140 анализа данных может быть выполнен с возможностью использования алгоритмов векторного анализа и/или векторного анализа изображения и данных и/или алгоритмов машинного обучения для обнаружения одного или более типов сбора людей в скопление. Кроме того, система 500 может быть выполнена с возможностью распознавания подобия в одежде, возрасте, переносимых вещах (к примеру, портфелях, рюкзаках и других подобных предметах) и с возможностью передачи охране или инспекторам оповещения о возможном возникновении нештатного состояния. Это может быть полезно для распознавания так называемых «флэшмобов» или других значимых ситуаций в ходе парада, марафона, выступления с политической речью и т.д.The
Для обнаружения необычных типов расхождения людей из конкретной зоны 520 могут использоваться типы расхождения и/или скорости. Например, в ситуации, подобной панике, следует ожидать, что скорость расхождения людей будет больше заранее заданной или вычисленной средней скорости расхождения. Если при этом обнаружено одно или более лиц, покидающих конкретную зону и/или местоположение со скоростью меньше средней скорости или скорости в ситуациях типа паники, то это может указывать на то, что эти лица не находились в состоянии типа паники, например, из-за того, что они совершили противоправное деяние или были осведомлены о данной ситуации типа паники. Кроме того, человек, покидающий зону со скоростью, превышающей среднюю скорость, может быть «убегающим с места происшествия», например, может убегать с места ограбления или с места запланированного взрыва.To detect unusual types of divergence of people from a
Модуль 140 анализа данных также может быть выполнен с возможностью контроля веб-трафика и/или сайтов социальных сетей (Facebook®, MySpace®, LinkedIn®) в отношении конкретного местоположения и/или мероприятия и передачи оповещений соответствующего типа охране, или с возможностью комбинирования веб-трафика, относящегося к мероприятию или географической зоне, с анализом видеоданных, при котором с целью оповещения о возможном флэшмобе или групповом ограблении распознаются типовые признаки сбора людей в скопление. Модуль 140 анализа данных также может действовать в обратном порядке и получать доступ к веб-трафику или различным сайтам социальных сетей, когда обнаружены признаки сбора людей в скопление, и запрашивать один или более из этих сайтов с целью сбора дополнительной информации для возможного раскрытия более серьезной групповой активности или флэшмоба в конкретном местоположении.The
Модуль 140 анализа данных также может быть выполнен с возможностью контроля веб-трафика или сайтов социальных сетей с целью обнаружения деятельности, предшествовавшей времени конкретной метки времени. Например, публикация в социальной сети соболезнования по поводу некоторого события, по времени совпадающая с этим событием или предшествующая ему, может указывать на предварительную готовность к этому событию и на предварительную осведомленность о предстоящем событии.The
Система 500 и модуль 140 анализа видеоданных могут быть выполнены с возможностью анализа видеоданных и/или данных мобильного устройства связи из одной или более уличных камер, камер автостоянки, камер магазина или торгового центра или других систем камер 510а-510g с целью обнаружения заранее заданных нештатных состояний или состояний, заданных вручную в реальном времени. Система 500 может быть выполнена с возможностью передачи оповещения, если в конкретном месте (к примеру, у торгового центра) собирается необычное количество автомобилей, и дополнения этой информации видеоматериалом с камер видеонаблюдения автостоянки с целью определения количества людей, собирающихся в конкретном магазине или месте, а также дополнения результатов этого анализа информацией с камер, установленных внутри магазина, с целью обнаружения присутствия подозрительных лиц в конкретном месте в конкретное время или в конкретном интервале времени. Это типовое поведение при флэшмобе или групповом ограблении. И в этом случае система 500 может связываться с одним или более сайтами социальных сетей для получения дополнительной информации и/или подтверждения.
Подобным образом, скорости приближающихся автомобилей, полученные из видеоданных и/или из данных мобильного устройства связи, и/или скорость, с который люди выходят из своих автомобилей, также может служить признаком нештатного состояния.Similarly, the speeds of approaching cars, obtained from video data and / or from the data of a mobile communication device, and / or the speed with which people get out of their cars, can also serve as an emergency condition.
Другие примеры анализа, который модуль 140 анализа данных может выполнять в реальном времени и/или в отложенном режиме, могут относиться к распознаванию сообществ типа криминальных группировок. Например, аналитическая система распознавания 600 на фиг. 6 может быть выполнена с возможностью распознавания цветов и/или цветовых комбинаций группировки и/или ее характерных признаков и с возможностью пометки видео 618 и/или оповещения охраны, если необычное количество людей (или необычная доля людей) с конкретными цветами или цветовыми комбинациями и/или характерными признаками собирается в конкретной географической зоне или пребывает в этой зоне. Модуль 140 анализа данных может быть заранее настроен на распознавание конкретной характеристики или характерного признака 615 человека или людей 605а, к примеру, одежды, головного убора, стиля брюк, цветов рубашки или пальто, манеры их ношения, символики и логотипов на верхней одежде, татуировок, пирсинга, прически, жестикуляции руками, автомобилей, мотоциклов и т.д. и на оповещение охраны о нештатном состоянии или о ранее проведенной инспекции, сохраненной как ранее полученное изображение 625 в компьютере 620. В качестве альтернативного варианта и/или дополнительно, модуль 140 анализа данных может быть заранее запрограммирован на распознавание данных (к примеру, идентификатора сотовой связи) мобильного устройства 440 связи человека 605а и на оповещение охраны о присутствии человека 605а, который может быть известным человеком, представляющим интерес. Эти люди 605а могут быть отмечены и могут отслеживаться в течение заранее заданного периода времени или до их выхода из зоны. Общность изображений и характеристик 615 конкретной группы посетителей в скоплении людей (подобие цветов, униформы, экипировки, стиля одежды, причесок, логотипа, пирсинга, татуировок, символики, другой атрибутики организованных группировок, автомобилей, мотоциклов или одежды и т.д.) может быть распознана и может служить поводом к оповещению. Модуль 140 анализа данных может передавать оповещение о том, что х % людей в конкретном скоплении людей имеет конкретный признак 615, к примеру, одинаковую татуировку, красную рубашку, одинаковый логотип, прическу, имеют при себе одинаковые предметы и т.д. Модуль 140 анализа данных может быть выполнен с возможностью передачи оповещения на основании определения того, что заранее заданное число людей в конкретном скоплении людей имеет конкретный признак 615.Other examples of analysis that the
Модуль 140 анализа данных может быть выполнен с возможностью создания графических представлений многочисленных нештатных состояний с целью упрощения распознавания типовых ситуаций или очень высоких уровней (и/или заранее определенных уровней) одного или более нештатных состояний. Это может позволить одному или более людям отслеживать и анализировать большее число типовых ситуаций. Модуль 140 анализа данных также может распознавать контакт между людьми, причем этот контакт может быть как физическим контактом (к примеру, рукопожатием, объятиями или передачей предмета), так и осуществляемым без физического контакта (к примеру, разговором, продолжительным взглядом в глаза друг другу или иным нефизическим контактом, который может свидетельствовать о взаимном признании).The
Другие состояния, требующие оповещения, могут относиться к нештатным сценариям, в которых модуль 140 анализа данных распознает переносимый человеком 605b объект, необычный для конкретной зоны. Например, как показано на фиг. 6, это может быть человек, несущий вилы или лопату (не показаны) в торговом центре 623, или группа людей (605b и 605с), несущих биты 616 в торговом центре 623 и собирающихся в конкретном месте. И в этом случае выполняемый в реальном времени анализ видео стал бы наиболее полезным и дал бы возможность передать охране оповещение о нештатном состоянии. Отложенный анализ может быть полезен для идентификации правонарушителей в случае происшествия, при котором пришлось обращаться за помощью к правоохранительным органам.Other conditions requiring notification may relate to abnormal scenarios in which the
В любом из раскрытых выше сценариев или при любом из упомянутых здесь оповещений, модуль 140 анализа данных может для инициирования оповещений или ответов на запросы работать совместно с библиотекой 650 видеоизображений или алгоритмов и/или с одной или более базами накопленных данных мобильного устройства связи. В модуль 140 анализа данных в качестве входной информации могут быть переданы дополнительные изображения, например, изображения из библиотеки и/или созданные пользователем изображения 650, которые могут быть использованы для анализа видео с использованием средств распознавания модуля 140 анализа данных. Это может происходить в реальном времени или в режиме отложенного анализа. И в этом случае в зависимости от конкретной задачи могут вводиться запросы, а система 100, 200, 300, 400, 500 и/или 600 может выполнять анализ видео, относящийся к запрошенным состояниям, в реальном времени или в отложенном режиме.In any of the scenarios described above or with any of the alerts mentioned here, the
Система 100, 200, 300, 400, 500 и/или 600 может быть выполнена с возможностью трехмерного распознавания лиц. Система 100, 200, 300, 400, 500 и/или 600 может быть вручную настроена на распознавание подозреваемого человека 605а при расследовании (или человека, уже совершавшего правонарушения) на основании типа одежды, пирсинга, татуировки, прически и т.д. (данный вид распознавания отличается от распознавания лиц, который также может использоваться в зависимости от полномочий организации (ФБР в сравнении с собственной охраной торгового центра)). Изображение подозреваемого 605а может быть просканировано в модуль 140 анализа данных, и такие объекты, как, например, пирсинг, татуировки, прическа, логотипы и головной убор могут быть отмечены и загружены в базу данных изображений для последующего анализа в реальном времени или в отложенном режиме. Например, если похититель 605а грабит магазин и изображение его лица фиксируется одной или более камерами 610, то во все камеры 610 магазина может быть загружено не только это изображение, но и другая идентифицирующая информация или характерные признаки 615, к примеру, прическа, татуировки, пирсинг, ювелирные изделия, логотипы на одежде и т.д. Если похититель 605а снова войдет в этот магазин, то охране будет автоматически отправлено оповещение. Даже если система распознает похожую татуировку, пирсинг или логотип 615 на другом человеке, то и этот человек может рассматриваться в качестве подозреваемого, подлежащего дознанию в уполномоченных органах. И в этом случае способ шире простого распознавания лиц, при котором указанный другой человек может не отмечаться, а его перемещение может не отслеживаться.The
Система 100, 200, 300, 400, 500 и/или 600 также может формировать библиотеку людей и/или постоянных клиентов, регулярно или часто бывающих в конкретном местоположении, чем устраняется необходимость отслеживать этих людей, а система 100, 200, 300, 400, 500 и/или 600 получает возможность сконцентрироваться на идентификации и отслеживании людей, ранее не идентифицированных и не сохраненных в библиотеке. Эта библиотека постоянных клиентов (не показана) также может связываться с расчетной системой пункта продаж с целью подтверждения того, что люди, идентифицированные и сохраненные в библиотеке, являются постоянными клиентами.The
Как лучше всего показано на фиг. 7, еще одна аналитическая система распознавания 700 с модулем 140 анализа данных используется в сети магазинов, в торговом центре или в группе магазинов 750 в городе или населенном пункте. Группа или сеть магазинов 750а-750е имеет возможность распространения видеоизображений 724, данных мобильного устройства связи и/или другой идентифицирующей информации с характеристикой или признаками известных преступников 705 по сети камер 710а-710е, использующих один и тот же модуль 140 анализа данных (или возможность загрузки изображения 724 и идентифицирующей информации в аналитическую систему 740а-740е отдельного магазина). Местные собственники магазинов 750а-750е сети имеют возможность предотвратить дополнительные потери путем отметки и отслеживания известных лиц 705, представляющих конкретный интерес (на основании полученных ранее характеристик или признаков, как раскрыто выше, и/или на основании идентифицирующей информации, введенной в базу данных изображений и/или информации), после входа такого лица 705 в магазин, к примеру, в магазин 750а. В отношении этих лиц (или групп лиц) могут быть переданы оповещения местным властям, и эти лица или группы могут отслеживаться во всей сети камер 710а-710е населенного пункта, в том числе камерами автостоянки, уличными камерами и т.д. Если человек 705 отмечен и выставлено оповещение, то может фиксироваться и другая информация, относящаяся к автомобилю, типу автомобиля, маршруту движения автомобиля, сообщниках и т.д. Кроме того, во все камеры 710а-710е и/или антенны 150а-150е системы 700 может быть передана команда отмечать и отслеживать человека 705 и его сообщников в реальном времени и/или в режиме отложенного анализа.As best shown in FIG. 7, another
Раскрытые здесь различные системы 100, 200, 300, 400, 500, 600, 700 и 800 также могут быть использованы для идентификации людей без физического контакта. Например, человек, постоянно проживающий в здании, может иметь выданный судом судебный запрет, запрещающий определенному лицу находиться в пределах некоторой зоны близости к указанному жителю. В систему, к примеру, в систему 700 может быть введено изображение, к примеру, изображение 724, а модуль 140 анализа данных может обнаруживать человека 705 и направлять этому жителю и/или властям оповещение и/или документальный материал. Подобным образом в систему 700а может быть передана созданная органами власти база 720 данных, содержащая библиотеку 724 изображений людей 705, идентифицированных в определенной программе регистрации в соответствии с законом.The
Сообществом населенного пункта может быть принято решение о создании для этой цели сети камер 710а-710е. Новые владельцы местных коммерческих предприятий могут согласиться на загрузку изображения 724 конкретного преступника для анализа (т.е., для передачи местных оповещений) на условиях подписки (к примеру, за вознаграждение) на информацию о вновь идентифицированных преступниках, например, изображение 724 конкретного опасного преступника и дополнительная идентифицирующая информация, являясь особо значимой для всего сообщества, может загружаться во все сетевые камеры 710а-710е (или даже в автономные системы), тогда как заурядный магазинный вор может не представлять интереса.The community of the village may decide to create a network of
Модуль 140 анализа данных в качестве признака человека или подозреваемого также может использовать походку, прихрамывание, шарканье, угол наклона головы, длину шага, качание рук, жестикуляцию руками и т.д. Походка человека так же индивидуальна, как отпечаток пальца, и может использоваться для идентификации замаскировавшихся правонарушителей. Походка человека характеризуется множеством факторов (к примеру, скоростью ходьбы, частотой шагов, углом между ступнями, положением кисти руки или руки в целом, взмахом кисти руки или руки в целом, прихрамыванием, шарканьем и т.д.), и эта информация может быть загружена в модуль 140 анализа данных.
Модуль 140 анализа данных также может быть выполнен с возможностью оповещения охраны, если в течение конкретного периода времени обнаружено некоторое количество известных изображений, событий или характерных движений (к примеру, поглаживание себя по определенной области (областям) в количестве X раз в заранее заданном периоде времени, поглаживание или поддержка известной области при ношении или маскировке оружия, нервозное подергивание или быстрые повороты головы в количестве X раз, выглядывание из-за угла, взгляд в видеокамеры в количестве X раз в течение заранее заданного периода времени и т.д. Модуль 140 анализа данных может быть выполнен с возможностью оповещения охраны или предоставления информации пользователю на основании ненормального или чрезмерного проявления привычного движения или события, произошедшего в заранее заданных временных пределах, или комбинации каких-либо событий, имевшей место в течение заранее заданного периода времени. Например, человек, идущий через магазин, что-то придерживающий рукой поверх брюк и быстро вращающий головой, может служить поводом для оповещения или нештатной ситуации. В еще одном примере отмечается или выделяется (или иным образом идентифицируется в конкретной зоне (зонах) системой 100, 200, 300, 400, 500, 600, 700 и/или 800) режим обеспечения охраны, и подозрительный человек, многократно скрытно смотрящий или поворачивающий голову в том направлении, может инициировать оповещение или нештатную ситуацию. В еще одном примере человек рассматривает товары и/или задерживается в зоне магазина, в которой обычное время пребывания невелико (к примеру, мужчины, как правило, находятся в отделе косметики недолго, тогда как время пребывания женщин почти всегда, если не всегда, велико).The
Как указано выше, аналитическая система 100, 200, 300, 400, 500, 600, 700 и/или 800 распознавания в соответствии с настоящим изобретением может быть использована для обнаружения оружия посредством предварительного ввода в модуль 140 анализа данных конкретных черт характерного поведения и их анализа (в реальном времени и/или отложенного). Например, для человека, многократно совершавшего ограбления в конкретной зоне, о котором известно, что у него есть оружие, определенная походка может быть признаком того, что данный человек вооружен (к примеру, прихрамывающий шаг может указывать на наличие пистолета). Для инициирования оповещения или нештатной ситуации анализ данной информации может проводиться с использованием другой идентифицирующей информации или характерных признаков (к примеру, татуировок, цветов организованной группировки, символики группировки, логотипов и т.д.). В еще одном примере человек, носящий длинный плащ в отсутствие дождя или в летний солнечный день, смотрит или вращает головой с подозрительным вниманием. В этом случае модулю 140 анализа данных нужен вход для информации о дожде, температуре, солнечном свете (освещенности) и/или подключение к системе, предоставляющей такие данные. Время суток также может служить триггером или дополнительным событием, задаваемым в модуле 140 анализа данных для повышения «осведомленности» модуля 140 анализа данных при инициировании оповещений, к примеру, чтобы принять во внимание тот факт, что поздним вечером и после полуночи грабежи случаются чаще.As indicated above, the
В других примерах модуль 140 анализа данных может предоставлять сотрудникам охраны возможность направления в аналитическую систему 100, 200, 300, 400, 500, 600, 700 и/или 800 распознавания, в реальном времени или в отложенном режиме, запросов, например, таких: «сколько человек в красных бейсболках вошли в магазин или зону в интервале 5-10 минут?»; «сколько человек собралось у центрального фонтана в этом интервале?»; «сколько человек слоняется у фонтана в определенном интервале времени?». Другие запросы могут содержать команды: «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми, носящими брюки или зимние пальто (в летний день с температурой 90° (по Фаренгейту))»; «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми в красных головных уборах»; «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми, несущими несколько рюкзаков»; «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми, оставившими предметы (к примеру, рюкзаки без присмотра) - следить за данным человеком в системе, во множестве систем, отмечать местоположение объекта и т.д.»; «сканировать и распознавать/ отмечать/ сопровождать/ следить за людьми, слоняющимися у важных зон, оставляющими предметы у важных зон - следить в системе, во множестве систем, отмечать местоположение»; и/или «оповещать, если предметы без присмотра в количестве, находящемся в заданном интервале, оставлены в заданное время или в течение заданного интервала времени».In other examples, the
В еще одном примере модуль 140 анализа данных может быть выполнен с возможностью обработки и анализа видео в реальном времени с целью определения параметра скопления людей (к примеру, текущего количества людей в скоплении или оценки текущей плотности скопления людей) путем автоматической обработки видеопоследовательности, полученной в некотором физическом местоположении. Модуль 140 анализа данных может содержать один или более алгоритмов, сконфигурированных с возможностью определения скорости изменения указанного параметра скопления людей. Скорость изменения параметра скопления людей может служить признаком собирающегося скопления людей или расходящегося скопления людей.In yet another example, the
Если скорость изменения параметра скопления людей превышает заранее заданное пороговое значение, то модуль 140 анализа данных автоматически передает оповещение. Например, если скорость изменения параметра скопления людей указывает на собирающееся скопление людей, то модуль 140 анализа данных может оповещать охрану о возможном флэшмобе или групповом ограблении. Модуль 140 анализа данных может быть выполнен с возможностью использования алгоритмов векторного анализа и/или векторного анализа изображения и данных и/или алгоритмов машинного обучения для обнаружения одного или более типов сбора людей в скопление.If the rate of change of the crowding parameter exceeds a predetermined threshold value, then the
Модуль 140 анализа данных может быть соединен с группой камер 510а-510g, организованных в сеть, и в случае передачи оповещения каждая камера в сети может использоваться для слежения за одним или более объектами или людьми (к примеру, за постоянными клиентами 504a-504l, показанными на фиг. 6). Если скорость изменения параметра скопления людей указывает на то, что скопление людей расходится, то модуль 140 анализа данных может оповещать охрану о возможности опасной ситуации или криминальных действий.The
Фиг. 8 представляет снимок экрана модуля 800 расследования, отображающего расследование, сформированное в соответствии с вариантом осуществления настоящего изобретения. Модуль 800 расследования выполнен с возможностью формирования и сохранения информации, требуемой для документирования конкретного поведения пользователя.FIG. 8 is a screen shot of an
Дополнительно, модуль 800 расследования может быть выполнен с возможностью приема критериев расследования, вводимых пользователем или машиной, и с возможностью поиска видеоданных, данных мобильного устройства связи и/или данных профиля на основании указанных критериев. В одном примере критерии расследования могут содержать временной интервал, и модуль 800 расследования может быть выполнен с возможностью формирования списка людей, присутствие которых было обнаружено в помещении в этом временном интервале. Модуль 800 расследования может также быть выполнен с возможностью определения текущего местоположения человека путем поиска сигнала, соответствующего данным мобильного устройства связи, ранее полученным в другом местоположении.Additionally, the
В некоторых примерных вариантах осуществления настоящего изобретения модуль 800 расследования выполнен с возможностью приема критериев отчета, вводимых пользователем, запрашивающим отчет определенного типа; поиска видеоданных, данных мобильного устройства связи и/или данных профиля, полученным из видеокамеры 110 и/или антенн 150, и/или данных продаж (к примеру, полученных из базы данных продаж); и формирования отчета на основании указанного поиска данных. Отчет может содержать, например, вычисленный показатель закрытия продаж, соответствующий товару, категории товара, проходу в помещении, стеллажу в помещении и/или заранее заданному месту в помещении.In some exemplary embodiments of the present invention,
Модуль 800 расследования содержит окно просмотра 810 с верхней и нижней полосами 812а, 812b управления просмотром, окно 814 ввода текста, окно 820 временной шкалы, окно 830 камеры, окно 840 поиска, окно 850 опций воспроизведения, окно 860 опций клипа и окно 870 работы с файлами.
Расследования, автоматически сформированные системой 100, пополняются информацией, относящейся к конкретному поведению пользователя, как рассмотрено выше. Например, расследование, показанное на фиг. 8, содержит первую видеопоследовательность 820а и вторую видеопоследовательность 820b, причем первая видеопоследовательность 820а получена из камеры нижнего этажа, а вторая видеопоследовательность 220b получена из камеры у лифта. В одном варианте осуществления первая видеопоследовательность 820а передается в автоматически сформированное расследование, а это автоматически сформированное расследование передается сотруднику, ответственному за предотвращение потерь.Investigations automatically generated by
Первая видеопоследовательность 820а выбирается в окне временной шкалы 820 и воспроизводится в окне 810 просмотра. Для пояснения в качестве примера предположим, что сотрудник, ответственный за предотвращение потерь, при просмотре первой видеопоследовательности 820а на КПК видит человека, уносящего принадлежащий компании портативный компьютер из зоны нижнего этажа. При формировании расследования система идентифицировала это поведение пользователя как конкретное поведение пользователя, и при просмотре сотрудник, ответственный за предотвращение потерь, решает, что данное автоматически сформированное расследование значимо и дает данному расследованию ход в качестве расследования кражи.The
Автоматически сформированное расследование передается сотруднику, ответственному за предотвращение потерь, практически в реальном времени, поэтому человек, завладевший портативным компьютером компании, вряд ли успеет сделать более нескольких шагов от места, из которого этот портативный компьютер был унесен.An automatically generated investigation is transmitted to the person responsible for the prevention of losses in almost real time, so a person who has taken possession of a laptop computer in the company is unlikely to have time to take more than a few steps from the place from which this laptop was taken away.
Используя КПК, сотрудник, ответственный за предотвращение потерь, продолжает вести автоматически сформированное расследование (теперь расследование кражи) путем просмотра соотнесенных по времени видео и видеоданных, доступных через модуль 800 расследования на КПК.Using the PDA, the person responsible for preventing losses continues to conduct an automatically generated investigation (now theft investigation) by viewing the time-related video and video data available through the
В окне поиска 240 может автоматически выбираться временной интервал, относящийся к данному расследованию. Шкалой времени можно вручную управлять через КПК.The search window 240 may automatically select a time interval related to this investigation. The timeline can be manually controlled through the PDA.
Видео и/или видеоданные из одной или более камер, указанных в окне камеры 830, могут быть выбраны для просмотра в окне 810 просмотра. Выбирая другой экран просмотра из верхней полосы 812а управления просмотром, можно одновременно контролировать множество видеопотоков из отдельных камер (см. фиг. 1).Video and / or video data from one or more cameras indicated in the
Нижняя полоса 812b управления просмотром дает возможность просмотра видео в окне 810 просмотра в реальном времени или с другой выбираемой скоростью. Модуль 800 расследования при этом определяет скорость воспроизведения расследования таким образом, что автоматически вычисляемая скорость воспроизведения дает сотруднику, ответственному за предотвращение потерь, возможность просмотра каждого кадра в видеопоследовательности. Скорость записи и сохранения видео такова, что обеспечиваются возможности распознавания, превосходящие способность человеческого глаза обнаруживать небольшие движения. Устройство воспроизведения тоже может иметь аппаратные и/или программные ограничения, не позволяющие ему отображать каждый кадр видео. При этом воспроизведение видео в «реальном времени» приводит к выпадению отдельных кадров видео вследствие ограниченности возможностей человеческого зрения и/или технических ограничений дисплея компьютера. Скорость воспроизведения расследования вычисляется с учетом ограниченности возможностей человеческого зрения и технических ограничений дисплея конкретного устройства, используемого для просмотра в модуле 800 расследования.The lower
Окно 850 опций воспроизведения дает возможность воспроизведения видеопоследовательности и/или видео из каждой камеры в различных режимах. В режиме с отображением всех кадров видео воспроизводится с вычисленной скоростью воспроизведения расследования, причем в ходе воспроизведения отображаются и могут быть изучены все кадры. В режиме с отображением только движения выдаются только видеопоследовательности, содержащие движение. В триггерном режиме отображения используются только видеопоследовательности, соотнесенные по времени с триггером.A window of 850 playback options enables playback of a video sequence and / or video from each camera in various modes. In the mode with the display of all frames, the video is played with the calculated investigation playback speed, and during the playback all frames are displayed and can be studied. In a motion-only display mode, only video sequences containing motion are output. In trigger display mode, only video sequences correlated in time with the trigger are used.
В число триггеров входят внутренние триггеры и внешние триггеры. В число внутренних триггеров входят триггеры движения, задаваемые пользователем и определяемые модулем 140 анализа данных, триггеры пункта продаж, формируемые модулем 141 пункта продаж, и анализируемые события, определяемые маршрутом прохода и/или зоной (к примеру, вход и/или выход из зоны) и задаваемые модулем 140 анализа данных. Внешние триггеры создаются внешними аппаратными устройствами, непосредственно или опосредованно подключенными к компьютеру 120.Triggers include internal triggers and external triggers. The internal triggers include user-defined motion triggers and defined by
В любом месте расследования сотрудник, ответственный за предотвращение потерь, может привязать видеопоследовательность к временной шкале. Например, на фиг. 8 сотрудник, ответственный за предотвращение потерь, добавил в расследование вторую видеопоследовательность 820b. Вторая видеопоследовательность 820b содержит видео, полученное из камеры, расположенной у лифта и лестничного марша. Далее предположим, что сотрудник, ответственный за предотвращение потерь, обнаружил во второй видеопоследовательности 820b подозреваемого, несущего портативный компьютер и приближающегося к лифту. Продолжая расследование кражи, сотрудник, ответственный за предотвращение потерь, включает вторую видеопоследовательность 820b во временную шкалу расследования.At any point in the investigation, the person responsible for preventing losses can link the video sequence to the timeline. For example, in FIG. 8 The Loss Prevention Officer added a second video sequence 820b to the investigation. The second video sequence 820b contains the video obtained from the camera located at the elevator and the flight of stairs. Further, suppose that the person responsible for the prevention of losses found in the second video sequence 820b a suspect carrying a laptop computer and approaching the elevator. Continuing the investigation into the theft, the person responsible for preventing the loss includes the second video sequence 820b in the investigation timeline.
Сотрудник, ответственный за предотвращение потерь, может выбирать различные опции из окна 860 видеоклипа. Окно 820 временной шкалы может пополняться видеоклипами, содержащими одну или более видеопоследовательностей, неподвижное изображение, сформированное по видеопоследовательности, или текст, введенный через окно 814 ввода текста. Видеоклип может содержать непрерывную видеопоследовательность. Как вариант, видеоклип, использующий опцию воспроизведения только движения (выбранную в окне 850 опций воспроизведения) содержит множество видеопоследовательностей, содержащих движение (к примеру, части, не содержащие движение, исключаются из данного видеоклипа).. Наконец, сотрудник, ответственный за предотвращение потерь, может делать снимки кадра с целью фиксации конкретных особенностей, например, лица, определенного инструмента или предмета, использованного при совершении кражи, или любого другого значимого изображения, которое может потребоваться для дальнейшего ведения расследования.The person responsible for preventing loss can select various options from the
В итоге, поскольку расследование формируется практически в реальном времени, сотрудник, ответственный за предотвращение потерь, при подтверждении того, что в данный момент происходит кража, может поставить в известность охрану и задержать похитителя до того, как он покинет помещение.As a result, since the investigation is being formed in almost real time, the officer responsible for preventing losses, when confirming that the theft is currently taking place, can notify the guard and detain the abductor before he leaves the premises.
Далее рассматривается фиг. 9, где представлена блок-схема аналитического способа распознавания 900 в соответствии с примерным вариантом осуществления настоящего изобретения. В соответствии с вариантом осуществления, предлагаемым в настоящем документе в качестве примера, способ 900 может использоваться для пополнения, по меньшей мере частично на основании видеоданных и/или данных мобильного устройства связи, захваченных одной или более видеокамерами 110 и/или одной или более антеннами 150, соответственно, базы данных данными, которые могут быть полезны для целей обеспечения безопасности, целей расследования, маркетинговых целей и т.п.Next, FIG. 9, which is a flow chart of an
В блоке 902, как подробнее раскрыто выше со ссылкой на фиг. 1, одной или более видеокамерами 110 захватывают видеоданные и одной или более антеннами 150 захватывают данные мобильного устройства связи. Указанные видеоданные в одном примере содержат изображения одного или более людей, которые в одно время находились в поле зрения одной или более камер 110, а указанные данные мобильного устройства связи содержат данные, захваченные из одного или более мобильных устройств 440 связи, которые в одно время находились в зоне действия беспроводной связи одной или более антенн 150. Каждый элемент данных мобильного устройства связи могут связывать с соответствующим мобильным устройством связи, которое имеет при себе соответствующий один человек из числа людей, чьи одно или более изображений были захвачены.In
В блоке 904 выполняют соотнесение элементов видеоданных, захваченных в блоке 902, с соответствующими элементами данных мобильного устройства связи, захваченных в блоке 902, на основании одного или более ключей, содержащихся в полученных видеоданных и данных мобильного устройства связи. В одном примере на основании соотнесения, выполненного в блоке 904, формируют соответствующие профили людей, связанных с одним или более соответствующими элементами видеоданных и/или данных мобильного устройства связи. Каждый профиль может содержать данные профиля, содержащие что-либо одно или комбинацию из захваченных видеоданных, захваченных данных мобильного устройства связи и/или дополнительных данных.In block 904, the video data elements captured in
Один или более ключей, используемых в блоке 904, может содержать какой-либо один атрибут или комбинацию атрибутов, которые включены в элемент видеоданных или в данные мобильного устройства связи и которые могут быть использованы для идентификации элемента видеоданных или данных мобильного устройства связи и/или для соотнесения множества элементов видеоданных и/или данных мобильного устройства связи с целью проверки наличия связи между этими элементами. Например, изображение лица человека, содержащееся в элементе видеоданных, захваченном в первую дату и время, может использоваться как ключ, по которому может выполняться соотнесение этого элемента видеоданных с другим элементом видеоданных, захваченным во вторую дату и время. В качестве еще одного примера, адрес IP, содержащийся в элементе данных мобильного устройства связи, захваченных в первом местоположении (к примеру, первой видеокамерой 110 или антенной 150), может использоваться в качестве ключа, по которому может выполняться соотнесение этого элемента данных мобильного устройства связи с другим элементом данных мобильного устройства связи, захваченным во втором местоположении (к примеру, второй видеокамерой 110 или антенной 150). В число примеров типов ключей входят, без ограничений, идентификатор устройства захвата данных/маяка (к примеру, уникальный идентификатор конкретной видеокамеры 110 или антенны 150, которой захвачен элемент видеоданных или данных мобильного устройства связи), адрес мобильного устройства связи (к примеру, адрес Wi-Fi, адрес Bluetooth, адрес NFC, адрес RFID, адрес сотовой связи, адрес устройства GPS, MAC адрес, международный идентификатор абонента мобильной связи (International Mobile Subscriber Identity, IMSI) и/или любой другой пригодный адрес или идентификатор), содержащийся в данных мобильного устройства связи, полученных из мобильного устройства 440 связи, интенсивность сигнала данных мобильного устройства связи, полученного из мобильного устройства 440 связи, дата, на которую захвачен элемент видеоданных или данных мобильного устройства связи, время, в которое захвачен элемент видеоданных или данных мобильного устройства связи, местоположение, в котором захвачен элемент видеоданных или данных мобильного устройства связи, среда передачи информации (к примеру, определенный протокол беспроводной связи), посредством которой захвачен элемент данных мобильного устройства связи и т.п. Ключи, используемые в блоке 904, как и любые другие данные, захваченные, сформированные или иным образом полученные в результате выполнения шагов способа 900, могут подвергаться шифрованию с использованием одного или более пригодных алгоритмов шифрования известным способом.One or more keys used in block 904 may comprise any one attribute or combination of attributes that are included in a video data element or data of a mobile communication device and which can be used to identify a video data element or data of a mobile communication device and / or correlation of a plurality of elements of video data and / or data of a mobile communication device in order to verify the presence of communication between these elements. For example, the image of a person’s face contained in a video data element captured on the first date and time can be used as a key to correlate this video data element with another video data element captured on the second date and time. As another example, the IP address contained in a data element of a mobile communication device captured at a first location (for example, a
В блоке 906 данные профиля, сформированные в блоке 904, нормализуют на основании одного или более критериев нормализации. Например, данные профиля могут нормализовать на основании (1) количества посещений людьми конкретного местоположения (к примеру, местоположения в магазине, имеющего одну или более камер 110 и антенн 150, посредством которых видеоданные и/или данные мобильного устройства связи были захвачены в блоке 902), (2) времени, в течение которого люди оставались в конкретном местоположении, и/или (3) частоты или скорости повторения посещений людьми конкретного местоположения. Это может быть полезно для идентификации повторных клиентов, преступника, заходившего в магазин до совершения ограбления и т.п.At
В блоке 908 данные профиля, сформированные в блоке 904 и/или нормализованные в блоке 906, уточняют с целью включения одного или более атрибутов, сформированных для соответствующих профилей на основании данных, накопленных с течением времени в отношении каждого профиля/человека. В число примеров таких атрибутов может входить то, является ли человек повторным покупателем, новым покупателем, сотрудником, прохожим (что определяют, например, по очень малой длительности пребывания в местоположении, например, когда человек просто проходит мимо магазина в пределах зоны действия камеры 110 и/или антенны 150, размещенных в этом магазине), делает ли человек покупки в других местах деятельности конкретного розничного продавца, в которых видеоданные и/или данные мобильного устройства связи этого человека были захвачены, был ли человек вовлечен в контакт с сотрудником при нахождении в магазине и т.п. После блока 908 способ 900 может возвращаться к блоку 902, выполняя таким образом непрерывный захват видеоданных и/или данных мобильного устройства связи, как раскрыто выше.In block 908, the profile data generated in block 904 and / or normalized in
Как указано выше, данные, захваченные, сформированные или иным образом полученные при выполнении различных шагов способа 900, могут быть использованы для целей обеспечения безопасности и/или целей расследования (к примеру, после ограбления в магазине), для маркетинговых целей и/или для многих других целей. Например, указанные данные могут быть использованы в одном или более открытых или секретных приложений (к примеру, для формирования виртуального представления с целью расследования преступления; для создания возможности анализа данных продаж или маркетинга в связи с заранее заданным событием, например, с праздничным сезоном продаж; для вычисления реального коэффициента перехода посетителей в клиенты при взаимодействии посетителей и продавцов; для анализа статистики заинтересованности клиентов, задерживающихся у товара; для формирования «тепловой карты» на основании фактической истории продаж в сегментах магазина; для формирования маршрутов, реализуемых пользователем, на основании данных, полученных из множества камер 110 и/или антенн 150; для идентификации людей, остающихся в магазине после закрытия магазина; и т.п.).As indicated above, the data captured, generated or otherwise obtained by performing the various steps of
Поскольку в раскрытых выше конструкциях могут быть сделаны разнообразные изменения без выхода за пределы объема изобретения, предполагается, что все содержание вышеприведенного раскрытия должно интерпретироваться в иллюстративном и неограничивающем смысле. Можно видеть, что достигнуто несколько целей изобретения и других полезных результатов, определяемых объемом нижеследующей формулы изобретения.Since various changes may be made to the constructions disclosed above without departing from the scope of the invention, it is intended that the entire contents of the foregoing disclosure be interpreted in an illustrative and non-limiting sense. You can see that achieved several objectives of the invention and other useful results, defined by the scope of the following claims.
Claims (41)
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/817,871 US9762865B2 (en) | 2013-03-15 | 2015-08-04 | Video identification and analytical recognition system |
US14/817,871 | 2015-08-04 | ||
PCT/US2016/045371 WO2017024045A1 (en) | 2015-08-04 | 2016-08-03 | Video identification and analytical recognition system |
Publications (3)
Publication Number | Publication Date |
---|---|
RU2018104654A RU2018104654A (en) | 2019-09-05 |
RU2018104654A3 RU2018104654A3 (en) | 2019-10-14 |
RU2720947C2 true RU2720947C2 (en) | 2020-05-15 |
Family
ID=57944114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2018104654A RU2720947C2 (en) | 2015-08-04 | 2016-08-03 | Analytical identification and video identification system |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP3332549A4 (en) |
JP (2) | JP6807925B2 (en) |
CA (1) | CA2994712A1 (en) |
RU (1) | RU2720947C2 (en) |
WO (1) | WO2017024045A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2798280C1 (en) * | 2023-03-02 | 2023-06-21 | Открытое Акционерное Общество "Российские Железные Дороги" | Device for detecting signs of antisocial behaviour |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6806626B2 (en) * | 2017-05-18 | 2021-01-06 | パナソニック株式会社 | Person group tracking device and person group tracking method |
EP3489842A1 (en) * | 2017-11-23 | 2019-05-29 | PKE Holding AG | Forensic database |
JP7210163B2 (en) * | 2018-06-07 | 2023-01-23 | キヤノン株式会社 | Image processing device, image processing method and program |
CN111191669B (en) * | 2018-11-15 | 2024-05-07 | ***通信集团黑龙江有限公司 | Data processing method, device and storage medium |
CN111294728A (en) * | 2018-12-06 | 2020-06-16 | 西安光启未来技术研究院 | Method and device for analyzing same lines |
CN111507140B (en) * | 2019-01-31 | 2023-08-08 | 金联汇通信息技术有限公司 | Portrait contrast method, system, electronic device and readable storage medium |
CN111126167B (en) * | 2019-12-02 | 2023-08-04 | 武汉虹信技术服务有限责任公司 | Method and system for quickly identifying serial activities of multiple specific personnel |
CN111178294A (en) * | 2019-12-31 | 2020-05-19 | 北京市商汤科技开发有限公司 | State recognition method, device, equipment and storage medium |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009111498A2 (en) * | 2008-03-03 | 2009-09-11 | Videoiq, Inc. | Object matching for tracking, indexing, and search |
US20090268030A1 (en) * | 2008-04-29 | 2009-10-29 | Honeywell International Inc. | Integrated video surveillance and cell phone tracking system |
RU2382408C2 (en) * | 2007-09-13 | 2010-02-20 | Институт прикладной физики РАН | Method and system for identifying person from facial image |
US20110128374A1 (en) * | 2009-11-30 | 2011-06-02 | Canon Kabushiki Kaisha | Detection of abnormal behaviour in video objects |
US20110134240A1 (en) * | 2009-12-08 | 2011-06-09 | Trueposition, Inc. | Multi-Sensor Location and Identification |
US20120233032A1 (en) * | 2011-03-08 | 2012-09-13 | Bank Of America Corporation | Collective network of augmented reality users |
US20140285660A1 (en) * | 2010-08-18 | 2014-09-25 | Nearbuy Systems, Inc. | Target Localization Utilizing Wireless and Camera Sensor Fusion |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004005511A (en) * | 2002-03-26 | 2004-01-08 | Toshiba Corp | Monitoring system, monitoring method and monitoring program |
JP4866754B2 (en) * | 2007-02-19 | 2012-02-01 | パナソニック株式会社 | Action history search device and action history search method |
US8047022B2 (en) * | 2007-05-16 | 2011-11-01 | Owens-Brockway Glass Container Inc. | Apparatus for opening and closing molds in a glassware forming machine |
WO2011001180A1 (en) * | 2009-07-01 | 2011-01-06 | E-Plate Limited | Video acquisition and compilation system and method of assembling and distributing a composite video |
US8819172B2 (en) * | 2010-11-04 | 2014-08-26 | Digimarc Corporation | Smartphone-based methods and systems |
JP2012069023A (en) * | 2010-09-27 | 2012-04-05 | Hitachi Ltd | Abnormality detection device |
US9171442B2 (en) * | 2010-11-19 | 2015-10-27 | Tyco Fire & Security Gmbh | Item identification using video recognition to supplement bar code or RFID information |
US9854208B2 (en) * | 2013-12-29 | 2017-12-26 | Qognify Ltd. | System and method for detecting an object of interest |
-
2016
- 2016-08-03 CA CA2994712A patent/CA2994712A1/en active Pending
- 2016-08-03 EP EP16833814.3A patent/EP3332549A4/en not_active Ceased
- 2016-08-03 JP JP2018526490A patent/JP6807925B2/en active Active
- 2016-08-03 WO PCT/US2016/045371 patent/WO2017024045A1/en active Application Filing
- 2016-08-03 RU RU2018104654A patent/RU2720947C2/en active
-
2020
- 2020-10-19 JP JP2020175258A patent/JP2021010187A/en not_active Withdrawn
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2382408C2 (en) * | 2007-09-13 | 2010-02-20 | Институт прикладной физики РАН | Method and system for identifying person from facial image |
WO2009111498A2 (en) * | 2008-03-03 | 2009-09-11 | Videoiq, Inc. | Object matching for tracking, indexing, and search |
US20090268030A1 (en) * | 2008-04-29 | 2009-10-29 | Honeywell International Inc. | Integrated video surveillance and cell phone tracking system |
US20110128374A1 (en) * | 2009-11-30 | 2011-06-02 | Canon Kabushiki Kaisha | Detection of abnormal behaviour in video objects |
US20110134240A1 (en) * | 2009-12-08 | 2011-06-09 | Trueposition, Inc. | Multi-Sensor Location and Identification |
US20140285660A1 (en) * | 2010-08-18 | 2014-09-25 | Nearbuy Systems, Inc. | Target Localization Utilizing Wireless and Camera Sensor Fusion |
US20120233032A1 (en) * | 2011-03-08 | 2012-09-13 | Bank Of America Corporation | Collective network of augmented reality users |
Non-Patent Citations (1)
Title |
---|
US 2011134240 A1 - 2011-06-09. US 2009268030 A1 - 2009-10-29. US 2014285660 A1 - 2014-09-25. US 2011128374 A1 - 2011-06-02. WO 2009111498 A2 - 2009-09-11. US 2012233032 A1 - 2012-09-13. RU 2382408 C2 - 2010-02-20. * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2798280C1 (en) * | 2023-03-02 | 2023-06-21 | Открытое Акционерное Общество "Российские Железные Дороги" | Device for detecting signs of antisocial behaviour |
Also Published As
Publication number | Publication date |
---|---|
JP6807925B2 (en) | 2021-01-06 |
RU2018104654A3 (en) | 2019-10-14 |
CA2994712A1 (en) | 2017-02-09 |
WO2017024045A1 (en) | 2017-02-09 |
EP3332549A1 (en) | 2018-06-13 |
JP2021010187A (en) | 2021-01-28 |
EP3332549A4 (en) | 2018-08-08 |
RU2018104654A (en) | 2019-09-05 |
JP2018526945A (en) | 2018-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11869325B2 (en) | Video identification and analytical recognition system | |
US10432897B2 (en) | Video identification and analytical recognition system | |
US11587326B2 (en) | Video identification and analytical recognition system | |
US11743431B2 (en) | Video identification and analytical recognition system | |
RU2720947C2 (en) | Analytical identification and video identification system | |
US11881090B2 (en) | Investigation generation in an observation and surveillance system | |
EP3683757A1 (en) | Investigation generation in an observation and surveillance system | |
Bouma et al. | Integrated roadmap for the rapid finding and tracking of people at large airports |