RU2701985C1 - Система и способ поиска объектов по траекториям движения на плане местности - Google Patents

Система и способ поиска объектов по траекториям движения на плане местности Download PDF

Info

Publication number
RU2701985C1
RU2701985C1 RU2018143321A RU2018143321A RU2701985C1 RU 2701985 C1 RU2701985 C1 RU 2701985C1 RU 2018143321 A RU2018143321 A RU 2018143321A RU 2018143321 A RU2018143321 A RU 2018143321A RU 2701985 C1 RU2701985 C1 RU 2701985C1
Authority
RU
Russia
Prior art keywords
objects
search
data
terrain
plan
Prior art date
Application number
RU2018143321A
Other languages
English (en)
Inventor
Мурат Казиевич Алтуев
Никита Сергеевич Скиба
Original Assignee
Общество с ограниченной ответственностью "Ай Ти Ви групп"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Ай Ти Ви групп" filed Critical Общество с ограниченной ответственностью "Ай Ти Ви групп"
Priority to RU2018143321A priority Critical patent/RU2701985C1/ru
Priority to DE102019123003.9A priority patent/DE102019123003A1/de
Priority to US16/574,113 priority patent/US20200184659A1/en
Application granted granted Critical
Publication of RU2701985C1 publication Critical patent/RU2701985C1/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

Изобретение относится к области систем поиска и наблюдения. Технический результат заключается в расширении арсенала средств. Компьютерная система поиска объектов по траекториям на плане местности содержит устройство обработки данных, множество различных устройств захвата данных, память и графический пользовательский интерфейс, который включает средства ввода и вывода данных, которые, в свою очередь, включают блок задания графических примитивов, блок задания характеристик поиска и блок поиска. Упомянутые средства вывода данных содержат блок отображения, выполненный с возможностью отображения результатов поиска. Способ поиска объектов по траекториям на плане местности содержит этапы, на которых осуществляют сбор и предоставление данных, задают графический примитив на плане местности посредством выбора нескольких точек в системе координат плана местности, задают характеристики поиска, осуществляют поиск объектов по траекториям движения объектов и отображают результаты поиска на устройстве отображения. 3 н. и 20 з.п. ф-лы, 3 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
Группа изобретений относится к области систем поиска и наблюдения, а более конкретно к технологиям, направленным на поиск объектов с использованием заданных на плане местности графических примитивов.
УРОВЕНЬ ТЕХНИКИ
Системы наблюдения чаще всего используются для охраны и контроля помещений или территорий. Обычно такие системы используют видеокамеры для идентификации и отслеживания движений объектов в пределах охраняемой территории. Например, видеокамеры могут использоваться для обнаружения несанкционированного доступа людей или транспортных средств. Кроме того, видеоданные, полученные от камер видеонаблюдения могут быть использованы для идентификации/распознавания и соответственно поиска конкретных людей, чьи действия по каким-либо причинам представляют интерес для оператора. Помимо видеокамер в упомянутых системах дополнительно используются устройства, способные получать/собирать данные, используемые при дальнейшем анализе для выявления сведений об интересующих объектах. К таким устройствам могут относиться, например, системы контроля и управления доступом (СКУД), устройства распознавания (лиц или номеров), датчики, передающие положения объектов (трекеры, браслеты), и многое другое.
Для анализа, обработки и сопоставления данных, полученных от множества различных устройств захвата данных, необходимы достаточно большие вычислительные возможности системы наблюдения. В тоже время для повышения точности поиска объектов по полученным данным из уровня техники известно множество технологий, таких как задание конкретных характеристик поиска, описывающих либо объект интереса, либо время и место события интереса.
Кроме того, из уровня техники известно решение, раскрытое в заявке RU 2017131075 A1, G06T 1/00, характеризующее системы и способы обнаружения тревожных траекторий движения объектов. Известное решение основано на классификации траекторий движения объектов по предварительно заданным правилам. При этом упомянутые правила в частности связаны с заданными графическими примитивами, которые в контексте этого решения упоминаются как поверхности.
Также из уровня техники известно решение, раскрытое в заявке RU 2018104556 A1, G06T 7/20, характеризующее системы и способы обнаружения тревожных траекторий движения объектов. Известное решение раскрывает систему, содержащую помимо прочего графический пользовательский интерфейс, выполненный с возможностью обработки метаданных объектов и содержащий: блок задания графических примитивов, блок задания правил классификации траекторий движения объектов, а также блок классификации, выполненный с возможностью проверки каждой траектории движения по правилам, заданным в блоке задания правил классификации, для выявления тревожных траекторий движения объектов. В сравнении с заявкой RU 2017131075, в данном решении есть возможность задавать более сложные графические примитивы и, следовательно, более сложные правила классификации.
Основным отличием известных решений от заявляемого является отсутствие возможности поиска конкретных объектов интереса именно на плане местности по всем имеющимся в системе траекториям движения объектов. Известные решения направлены на глобальное отслеживание нарушений, происходящих на охраняемой территории. При этом они прямо не относятся к поиску конкретных объектов.
Таким образом, заявляемое решение является развитием описанных выше известных решений и характеризуется заданием подобных графических примитивов, только на этот раз примитивы задаются именно на плане местности и используются для поиска объектов по их траекториям движения на упомянутом плане местности.
Также из уровня техники известно решение, раскрытое в патенте СА 2545535 С, G06K 9/00, опубл. 26.01.2016, в котором графический пользовательский интерфейс системы видеонаблюдения позволяет пользователю задавать видео «растяжку» и некоторые характеристики для классификации траекторий движения объектов. Однако данное решение узко направлено только на обработку видеоданных и не подразумевает обработку потока данных, полученного от множества различных устройств захвата данных.
Помимо прочего, из уровня техники известно решение, раскрытое в патенте US 9727976 Bl, G06K 9/00, опубл. 08.08.2017, характеризующее вычислительное устройство и способ, направленные на поиск объектов по запросу. Известное решение характеризует выполнение этапов, включающих: построение гео-пространственного временно-семантического (GTS) графика, который содержит узлы, которые представляют объекты, причем каждый узел соответствует траектории движения объекта во времени, и ребра, соединяющие соответствующие пары узлов; предоставление GTS графика поисковой системе, для выполнения поиска по запросу. Данное изобретение хоть и позволяет получать траектории движения объектов по данным от различных устройств захвата данных и выполнять поиск по заданным критериям, однако в данном решении абсолютно отсутствует возможность задания графических примитивов и, следовательно, их применение при поиске.
РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
Заявляемое техническое решение направлено на устранение недостатков, присущих предшествующему уровню техники и на развитие уже известных решений.
Техническим результатом заявленной группы изобретений является повышение точности поиска объектов по траекториям движения на плане местности за счет использования заданных графических примитивов на плане местности и конкретных характеристик поиска.
Данный технический результат достигается за счет того, что компьютерная система поиска объектов по траекториям на плане местности содержит: по меньшей мере, одно устройство обработки данных; множество различных устройств захвата данных, выполненных с возможностью сбора и предоставления данных, включающих метаданные объектов, причем метаданные включают в себя, по меньшей мере, набор положений объектов в разные моменты времени; память, выполненную с возможностью хранения данных, полученных от множества устройств захвата данных; графический пользовательский интерфейс, содержащий средства ввода и вывода данных, причем упомянутые средства ввода данных содержат: блок задания графических примитивов, выполненный с возможностью задания, по меньшей мере, одного графического примитива на плане местности посредством выбора нескольких точек в системе координат плана местности; блок задания характеристик поиска, выполненный с возможностью задания параметров объектов для поиска и выбора типа поиска, с учетом заданных графических примитивов; блок поиска, выполненный с возможностью поиска объектов по траекториям движения объектов, которые строятся устройством обработки данных на плане местности для каждого объекта по полученным данным от множества различных устройств захвата данных в разное время, причем поиск выполняется с учетом заданных характеристик поиска и графических примитивов; при этом упомянутые средства вывода данных содержат блок отображения, выполненный с возможностью отображения результатов поиска.
Указанный технический результат также достигается за счет способа поиска объектов по траекториям на плане местности, который реализуется компьютерной системой и содержит этапы, на которых: осуществляют сбор и предоставление данных, включающих метаданные объектов, причем метаданные включают в себя, по меньшей мере, набор положений объектов в определенные моменты времени, при этом полученные данные хранятся в памяти; задают, по меньшей мере, один графический примитив на плане местности посредством выбора нескольких точек в системе координат плана местности; задают характеристики поиска, путем задания параметров объектов для поиска и выбора типа поиска, с учетом заданных графических примитивов; осуществляют поиск объектов по траекториям движения объектов, которые строятся устройством обработки данных на плане местности для каждого объекта по полученным данным от множества различных устройств захвата данных в разное время, причем поиск выполняется с учетом заданных характеристик поиска и графических примитивов; отображают результаты поиска на устройстве отображения.
В одном частном варианте заявляемых решений параметрами объектов для поиска являются, по меньшей мере, следующие параметры: направление движения, тип, цвет, идентификатор (ID), минимально допустимая скорость движения, максимально допустимая скорость движения, минимально допустимый размер, максимально допустимый размер.
В еще одном частном варианте заявляемых решений типами поиска являются, по меньшей мере, следующие: поиск по лицам, поиск по номерам транспортных средств, поиск по идентификаторам в системе контроля и управления доступом (СКУД).
В другом частном варианте заявляемых решений типами поиска являются, по меньшей мере, следующие: движение в заданной области; одновременное пребывание в заданной области множества объектов; длительное пребывание объекта в заданной области; переход из одной области в другую; пересечение заданного, по меньшей мере, одного графического примитива.
В еще одном частном варианте заявляемых решений результаты поиска могут быть представлены как одно из: набора видеозаписей, показывающих соответствующие характеристикам поиска траектории движения объектов на плане местности; набора фотографий найденных объектов; списка идентификаторов найденных объектов.
В другом частном варианте заявляемых решений устройства захвата данных являются стационарными, подвижными или их комбинацией.
В еще одном частном варианте заявляемых решений в случае, когда устройство захвата данных является стационарным, для построения траекторий движения объектов устройство обработки данных дополнительно сконфигурировано с возможностью задавать положение каждого такого стационарного устройства захвата данных на плане местности.
В другом частном варианте заявляемых решений в случае, когда устройство захвата данных является подвижным, для построения траекторий движения объектов устройство обработки данных дополнительно сконфигурировано с возможностью автоматически преобразовывать координаты положений объектов, полученные от подвижных устройств захвата данных, из исходной системы координат в систему координат плана местности.
В еще одном частном варианте заявляемых решений в случае, когда устройство захвата данных является видеокамерой и содержит средства компьютерного зрения для выполнения видео анализа, устройство обработки данных системы дополнительно сконфигурировано для выполнения: перевода координат положений объектов из системы координат кадра в систему координат плана местности, при этом все видеокамеры привязаны к плану местности; и сопоставления данных объектов, полученных от разных камер, для построения единой траектории движения каждого объекта на плане местности.
В другом частном варианте заявляемых решений при сопоставлении данных объектов от разных камер используется, по меньшей мере, один или комбинация из критериев: временная близость фиксируемых объектов между соседними камерами; экстраполяция будущего положения объекта при его выходе из поля зрения одной камеры и близость этой экстраполяции к наблюдаемым положениям объектов в поле зрения других камер; визуальное сходство объектов, как по внешним признакам, так и по распознаванию лиц или номеров транспортных средств.
В еще одном частном варианте заявляемых решений планом местности является геоинформационная система (ГИС) или изображение, причем в случае, когда планом местности является изображение, графический пользовательский интерфейс дополнительно сконфигурирован для предоставления оператору системы возможности сопоставлять полученные координаты положений статичных объектов с их конкретными местоположениями на плане местности.
Данный технический результат также достигается за счет считываемого компьютером носителя данных, содержащего исполняемые процессором компьютера инструкции для осуществления вариантов способов поиска объектов по траекториям на плане местности.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 - блок-схема компьютерной системы поиска объектов по траекториям на плане местности.
Фиг. 2 - пример поиска объектов по траекториям движения объектов на плане офиса.
Фиг. 3 - блок-схема одного из вариантов реализации способа поиска объектов по траекториям на плане местности.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Ниже будет приведено описание примерных вариантов осуществления заявленной группы изобретений. Однако заявленная группа изобретений не ограничивается только этими вариантами осуществления. Специалистам будет очевидно, что под объем заявленной группы изобретений, описанной в формуле, могут попадать и другие варианты реализации.
Заявляемое техническое решение в различных своих вариантах осуществления может быть выполнено в виде компьютерных систем и способов для поиска объектов по траекториям движения объектов на плане местности, а также в виде считываемого компьютером носителя данных.
На фиг. 1 представлена блок-схема одного из вариантов реализации компьютерной системы поиска объектов по траекториям на плане местности. В базовой комплектации система включает в себя: по меньшей мере, одно устройство обработки данных (10, …, 1n); множество различных устройств захвата данных (20, …, 2m); память (30); и графический пользовательский интерфейс (40), который в свою очередь содержит: блок задания графических примитивов (50), блок задания характеристик поиска (60), блок поиска (70) и блок отображения (80). Указанные блоки (50), (60) и (70) пользовательского интерфейса представляют собой средства ввода данных, при этом блок (80) пользовательского интерфейса является средством вывода данных.
В данном контексте под компьютерными системами понимаются любые вычислительные системы, построенные на базе программно-аппаратных средств, например, такие как: персональные компьютеры, смартфоны, ноутбуки, планшеты и т.д.
Устройство обработки данных в отдельных вариантах исполнения компьютерной системы может быть выражено как: процессор, микропроцессор, ЭВМ (электронно-вычислительная машина), ПЛК (программируемый логический контроллер) или интегральная схема.
В роли устройства памяти могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD) и т.д.
Под устройствами захвата данных понимаются любые вычислительные устройства, которые могут осуществлять сбор и предоставление данных, в том числе и метаданных объектов. Устройство захвата данных может являться одним из: видеокамеры, GPS датчика, ГЛОНАСС датчика, детектора объектов. В некоторых реализациях устройство захвата данных может являться браслетом охранной системы, предоставляющим GPS или ГЛОНАСС координаты. Таким образом, необходимо понимать, что упомянутые устройства захвата данных могут являться либо стационарными, либо передвижными.
Графический пользовательский интерфейс (ГПИ) представляет собой систему средств для взаимодействия пользователя с компьютерной системой, основанную на представлении всех доступных пользователю системных объектов и функций в виде графических компонентов экрана (окон, значков, меню, кнопок, списков и т.п.). При этом пользователь имеет произвольный доступ (с помощью устройств ввода данных) ко всем видимым экранным объектам - блокам интерфейса, которые отображаются на дисплее (мониторе).
Следует отметить, что в указанную компьютерную систему могут входить и любые другие известные в данном уровне техники устройства. Например, устройства ввода данных, которые представляют собой, но не ограничиваться, манипулятор мышь, клавиатуру, тачпад, стилус, джойстик, трекпад и т.п.
Далее будет описан конкретный пример работы вышеупомянутой компьютерной системы поиска объектов по траекториям на плане местности.
Для осуществления работы компьютерной системы множество различных устройств захвата данных получает поток данных. Указанный поток данных содержит метаданные объектов, причем метаданные включают в себя, по меньшей мере, набор положений (координат) объектов в разные моменты времени. Поток данных может представлять собой видеопоток, если устройство захвата данных является видеокамерой, или же поток метаданных объектов, если устройство захвата данных является, например, датчиком или детектором объектов. При этом память компьютерной системы сконфигурирована для хранения всех данных, получаемых от множества различных устройств захвата данных в разное время.
Кроме того, память компьютерной системы хранит план местности. Для дальнейшего понимания сущности заявляемого решения необходимо пояснить, что план местности - это разновидность топографической карты или чертеж (рисунок) небольшого участка местности в заданном масштабе. План местности представляет из себя либо изображение в общедоступном формате, либо данные геоинформационной системы (ГИС), например, открытую карту улиц (OpenStreetMap).
При этом, когда планом местности является изображение, а не геокарта, оператор системы сопоставляет полученные от устройств захвата данных координаты положений статичных объектов с их конкретными местоположениями на плане местности посредством средств графического пользовательского интерфейса. В качестве статичных (неподвижных) объектов могут выступать различные предметы мебели, офисная и/или бытовая техника, двери, подоконники, углы стен и другие предметы, имеющие объемно-пространственную структуру. Данное сопоставление/привязка необходимы для дальнейшего преобразования координат положений движущихся объектов из исходной системы координат устройства захвата данных в систему координат плана местности, выполняемого устройством обработки данных автоматически.
Полученный поток данных далее попадает в графический пользовательский интерфейс, а также к устройствам обработки данных. По полученным данным по меньшей мере одно устройство обработки данных для каждого объекта на плане местности строит траекторию движения.
При этом, для каждого устройства захвата данных, являющегося стационарным (то есть фиксирующего положения объектов в конкретной точке), при построении траекторий движения объектов устройство обработки данных сконфигурировано с возможностью задавать положение каждого такого стационарного устройства захвата данных на плане местности (привязывать к плану местности). К упомянутым стационарным устройствам захвата данных могут относиться такие устройства, как: СКУД, устройства распознавания лиц, устройства распознавания номеров, видеокамеры и т.д.
Если устройство захвата данных является подвижным (например, GPS/ГЛОНАСС трекеры, браслеты, видеорегистраторы), то для построения траекторий движения объектов устройство обработки данных дополнительно сконфигурировано с возможностью автоматически преобразовывать координаты положений объектов, полученные от таких подвижных устройств захвата данных, из исходной системы координат в систему координат плана местности.
В случае, когда устройство захвата данных является видеокамерой, которая содержит средства компьютерного зрения для выполнения видео анализа, устройство обработки данных системы дополнительно сконфигурировано для выполнения:
1) перевода координат положений объектов из системы координат кадра в систему координат плана местности, при этом все видеокамеры привязаны к плану местности; и
2) сопоставления данных объектов, полученных от разных камер, для построения единой траектории движения каждого объекта на плане местности.
При этом, при сопоставлении данных объектов от разных камер, то есть при реидентификации объектов между разными камерами для получения единой траектории движения каждого идентифицированного объекта на плане местности используется, по меньшей мере, один или комбинация из критериев:
а) временная близость фиксируемых объектов между соседними камерами;
б) экстраполяция будущего положения объекта при его выходе из поля зрения одной камеры и близость этой экстраполяции к наблюдаемым положениям объектов в поле зрения других камер;
в) визуальное сходство объектов, как по внешним признакам, так и по распознаванию лиц или номеров транспортных средств.
Для примера, на фиг. 2 показаны две видеокамеры (к. 1 и к. 2), стационарно установленные в охраняемом офисе. Если, например, фиксируется движение объекта в к. 1, потом оно пропадает, но через пару секунд фиксируется в к. 2, то система может предположить, что зафиксированное указанными соседними камерами движение относится к одному и тому же объекту (временная близость). Однако использование только одного указанного критерия при сопоставлении не является достаточно точным способом, поэтому для повышения точности можно дополнительно использовать, например, критерий визуального сходства. Допустим, в области зрения к. 1 есть красный объект, и он двигается в направлении к. 2. Если через короткое время в поле зрения к. 2 появляется именно красный объект, то с большой уверенностью можно утверждать, что это один и тот же объект.
Понятно из вышеизложенного, что в различных реализациях компьютерной системы устройства захвата данных могут являться либо стационарными, либо подвижными, либо их комбинацией. При этом, если используется комбинация указанных устройств, то и построение траекторий движения объектов на плане местности будет являться комбинацией описанных выше способов построения для стационарных и подвижных устройств захвата данных.
Далее, для осуществления точного поиска требуемых объектов оператору необходимо задать графические примитивы в блоке задания графических примитивов. В контексте данного описания графический примитив - это виртуальная двухмерная или трехмерная поверхность, причем двухмерная поверхность являться, по меньшей мере, одним из: отрезка, прямой линии, кривой линии, ломаной линии, полилинии, дуги и т.д., а трехмерная поверхность является, по меньшей мере, одним из: плоскости, ломаной поверхности, плавно-изогнутой поверхности, мульти-сегментной поверхности и т.д.
В данном блоке оператор может задавать один или несколько графических примитивов на плане местности посредством выбора нескольких точек в системе координат данного плана местности. Для этого оператор может использовать устройства ввода данных, например, компьютерную мышь.
Следует отметить, что оператор может задать несколько графических примитивов, то есть набор, который образует между собой так называемую область отслеживания. Например, пользователь может задать четыре графических примитива, которые образуют между собой прямоугольную область отслеживания. При этом оператор никак не ограничен в способе расположения упомянутых графических примитивов. То есть, примитивы могут быть расположены абсолютно произвольно по отношению друг к другу, или же могут быть соблюдены некоторые правила, которые задаются оператором в настройках. Например, в некоторых реализациях, графические примитивы могут быть расположены параллельно. В других реализациях пользователь может задать конкретный угол, под которым будут располагаться графические примитивы. Для примера, на фиг. 2 представлены две прямоугольные области отслеживания (1 и 2), каждая из которых образована четырьмя графическими примитивами.
Далее, в блоке задания характеристик поиска оператор может задавать конкретные параметры объектов для поиска, а также выбирать тип поиска.
Для дальнейшего понимания сущности заявляемого решения необходимо пояснить, что параметрами объектов для поиска являются, по меньшей мере, следующие параметры: направление движения, тип, цвет, идентификатор (ID), минимально допустимая скорость движения, максимально допустимая скорость движения, минимально допустимый размер, максимально допустимый размер. Примерами типа объекта являются: человек, группа людей или транспортное средство. Кроме того, для повышения точности поиска могут быть заданы дополнительные параметры объекта, например, такие, как пол объекта или наличие у объекта, по меньшей мере, одного из: сумки, зонта, головного убора, усов, бороды.
После задания параметров объектов для поиска, оператор задает/выбирает конкретный один или несколько типов поиска. При этом, стандартными типами поиска являются, по меньшей мере, следующие типы: поиск по лицам, поиск по номерам транспортных средств, поиск по идентификаторам в системе контроля и управления доступом (СКУД) и т.д.
Следует отметить, что типы поиска могут быть связаны с заданными ранее графическими примитивами. К таким типам поиска относятся, по меньшей мере, следующие: движение в заданной области; одновременное пребывание в заданной области множества объектов; длительное пребывание объекта в заданной области; переход из одной области в другую; пересечение заданного, по меньшей мере, одного графического примитива.
Далее, работа системы переходит к блоку поиска, который сконфигурирован с возможностью поиска объектов по траекториям движения объектов, которые уже были построены устройством обработки данных на плане местности для каждого объекта по полученным данным от множества различных устройств захвата данных в разное время (о чем уже было подробно указано выше). Следует отметить, что поиск выполняется с учетом всех заданных характеристик поиска и с учетом заданных графических примитивов.
На фиг. 2 указан пример поиска объектов по траекториям движения объектов на плане офиса. К показанной части плана офиса привязаны две камеры (к. 1 и к. 2). В область зрения первой камеры попадает первая область отслеживания, в область зрения второй камеры соответственно попадает вторая область отслеживания. Для выполнения поиска задействованы данные, получаемые в режиме реального времени от двух указанных камер. Тип поиска задается как переход (перемещение) какого-либо объекта из области 1 в область 2.
После выполнения поиска в блоке отображения выводятся/отображаются полученные результаты поиска.
Упомянутые результаты могут быть представлены, например, как набор фотографий найденных объектов или как список идентификаторов найденных объектов. Кроме того, результаты могут быть представлены в виде набора видеозаписей, показывающих соответствующие характеристикам поиска траектории движения объектов на плане местности. Для того, чтобы просмотреть любую видеозапись из набора, необходимо кликнуть на нее для воспроизведения.
Хотя работа компьютерной системы была описана с учетом того, что поток данных поступает в реальном времени и поиск объектов, соответственно, выполняется в реальном времени, однако, иногда необходимо выполнять поиск объектов и по архивным данным. Для такого случая память компьютерной системы сконфигурирована для записи и хранения архива данных, получаемых от всех различных устройств захвата данных, при этом сама компьютерная система дополнительно сконфигурирована для поиска объектов по траекториям движения объектов, полученным устройством обработки данных по архивным данным.
На фиг. 3 представлена блок-схема одного из вариантов реализации способа поиска объектов по траекториям на плане местности. Указанный способ содержит этапы, на которых:
Этап (100) - осуществляют сбор и предоставление данных, включающих метаданные объектов, причем метаданные включают в себя, по меньшей мере, набор положений объектов в определенные моменты времени, при этом полученные данные хранятся в памяти;
Этап (200) - задают, по меньшей мере, один графический примитив на плане местности посредством выбора нескольких точек в системе координат плана местности;
Этап (300) - задают характеристики поиска, путем задания параметров объектов для поиска и выбора типа поиска, с учетом заданных графических примитивов;
Этап (400) - осуществляют поиск объектов по траекториям движения объектов, которые строятся устройством обработки данных на плане местности для каждого объекта по полученным данным от множества различных устройств захвата данных в разное время, причем поиск выполняется с учетом заданных характеристик поиска и графических примитивов;
Этап (500) - отображают результаты поиска на устройстве отображения.
Следует отметить, что данный способ выполняется (реализуется) компьютерной системой и, следовательно, может быть расширен и уточнен всеми теми же частными вариантами исполнения, которые уже были описаны выше для реализации компьютерной системы.
Кроме того, варианты осуществления настоящей группы изобретений могут быть реализованы с использованием программного обеспечения, аппаратных средств, программной логики или их комбинации. В примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном из различных традиционных машиночитаемых носителей, то есть на считываемом компьютером носителе данных.
В контексте данного документа «считываемым компьютером носителем данных» может быть любая среда или средства, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции для их использования (исполнения) компьютерной системой, такой как компьютер. Машиночитаемый носитель может являться энергонезависимым машиночитаемым носителем данных.
В одном из примеров осуществления заявляемого решения может быть предложена схема пользовательского интерфейса, сконфигурированная для обеспечения, по меньшей мере, некоторых функций управления, описанных выше.
При необходимости, по меньшей мере, часть различных операций, рассмотренных в описании данного решения, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом.
Хотя данное техническое решение было описано подробно в целях иллюстрации наиболее практичных в настоящее время и предпочтительных вариантов осуществления, следует понимать, что данное изобретение не ограничивается раскрытыми вариантами осуществления и более того, предназначено для модификации и различных других комбинаций признаков из описанных вариантов осуществления. Например, следует понимать, что настоящее изобретение предполагает, что в возможной степени, один или более признаков любого варианта осуществления могут быть объединены с другим одним или более признаками любого другого варианта осуществления.

Claims (50)

1. Компьютерная система поиска объектов по траекториям на плане местности, содержащая:
по меньшей мере, одно устройство обработки данных;
множество различных устройств захвата данных, выполненных с возможностью сбора и предоставления данных, включающих метаданные объектов, причем метаданные включают в себя, по меньшей мере, набор положений объектов в разные моменты времени;
память, выполненную с возможностью хранения данных, полученных от множества устройств захвата данных;
графический пользовательский интерфейс, содержащий средства ввода и вывода данных, причем упомянутые средства ввода данных содержат:
блок задания графических примитивов, выполненный с возможностью задания, по меньшей мере, одного графического примитива на плане местности посредством выбора нескольких точек в системе координат плана местности;
блок задания характеристик поиска, выполненный с возможностью задания параметров объектов для поиска и выбора типа поиска, с учетом заданных графических примитивов;
блок поиска, выполненный с возможностью поиска объектов по траекториям движения объектов, которые строятся устройством обработки данных на плане местности для каждого объекта по полученным данным от множества различных устройств захвата данных в разное время, причем поиск выполняется с учетом заданных характеристик поиска и графических примитивов;
при этом упомянутые средства вывода данных содержат блок отображения, выполненный с возможностью отображения результатов поиска.
2. Компьютерная система по п. 1, отличающаяся тем, что параметрами объектов для поиска являются, по меньшей мере, следующие параметры: направление движения, тип, цвет, идентификатор (ID), минимально допустимая скорость движения, максимально допустимая скорость движения, минимально допустимый размер, максимально допустимый размер.
3. Компьютерная система по п. 2, отличающаяся тем, что типами поиска являются, по меньшей мере, следующие: поиск по лицам, поиск по номерам транспортных средств, поиск по идентификаторам в системе контроля и управления доступом (СКУД).
4. Компьютерная система по п. 2, отличающаяся тем, что типами поиска являются, по меньшей мере, следующие: движение в заданной области; одновременное пребывание в заданной области множества объектов; длительное пребывание объекта в заданной области; переход из одной области в другую; пересечение заданного, по меньшей мере, одного графического примитива.
5. Компьютерная система по п. 1, отличающаяся тем, что результаты поиска могут быть представлены как одно из:
набора видеозаписей, показывающих соответствующие характеристикам поиска траектории движения объектов на плане местности; набора фотографий найденных объектов; списка идентификаторов найденных объектов.
6. Компьютерная система по любому из пп. 1-5, отличающаяся тем, что устройства захвата данных являются стационарными, подвижными или их комбинацией.
7. Компьютерная система по п. 6, отличающаяся тем, что в случае, когда устройство захвата данных является стационарным, для построения траекторий движения объектов устройство обработки данных дополнительно сконфигурировано с возможностью задавать положение каждого такого стационарного устройства захвата данных на плане местности.
8. Компьютерная система по п. 6, отличающаяся тем, что в случае, когда устройство захвата данных является подвижным, для построения траекторий движения объектов устройство обработки данных дополнительно сконфигурировано с возможностью автоматически преобразовывать координаты положений объектов, полученные от подвижных устройств захвата данных, из исходной системы координат в систему координат плана местности.
9. Компьютерная система по п. 6, отличающаяся тем, что в случае, когда устройство захвата данных является видеокамерой и содержит средства компьютерного зрения для выполнения видео анализа, устройство обработки данных системы дополнительно сконфигурировано для выполнения:
перевода координат положений объектов из системы координат кадра в систему координат плана местности, при этом все видеокамеры привязаны к плану местности; и
сопоставления данных объектов, полученных от разных камер, для построения единой траектории движения каждого объекта на плане местности.
10. Компьютерная система по п. 9, отличающаяся тем, что при сопоставлении данных объектов от разных камер используется, по меньшей мере, один или комбинация из критериев:
временная близость фиксируемых объектов между соседними камерами;
экстраполяция будущего положения объекта при его выходе из поля зрения одной камеры и близость этой экстраполяции к наблюдаемым положениям объектов в поле зрения других камер;
визуальное сходство объектов, как по внешним признакам, так и по распознаванию лиц или номеров транспортных средств.
11. Компьютерная система по любому из пп. 7-10, отличающаяся тем, что планом местности является геоинформационная система (ГИС) или изображение,
причем в случае, когда планом местности является изображение, графический пользовательский интерфейс дополнительно сконфигурирован для предоставления оператору системы возможности сопоставлять полученные координаты положений статичных объектов с их конкретными местоположениями на плане местности.
12. Способ поиска объектов по траекториям на плане местности, реализуемый компьютерной системой и содержащий этапы, на которых:
осуществляют сбор и предоставление данных, включающих метаданные объектов, причем метаданные включают в себя, по меньшей мере, набор положений объектов в определенные моменты времени, при этом полученные данные хранятся в памяти;
задают, по меньшей мере, один графический примитив на плане местности посредством выбора нескольких точек в системе координат плана местности;
задают характеристики поиска, путем задания параметров объектов для поиска и выбора типа поиска, с учетом заданных графических примитивов;
осуществляют поиск объектов по траекториям движения объектов, которые строятся устройством обработки данных на плане местности для каждого объекта по полученным данным от множества различных устройств захвата данных в разное время, причем поиск выполняется с учетом заданных характеристик поиска и графических примитивов;
отображают результаты поиска на устройстве отображения.
13. Способ по п. 12, отличающийся тем, что параметрами объектов для поиска являются, по меньшей мере, следующие параметры: направление движения, тип, цвет, идентификатор (ID), минимально допустимая скорость движения, максимально допустимая скорость движения, минимально допустимый размер, максимально допустимый размер.
14. Способ по п. 13, отличающийся тем, что типами поиска являются, по меньшей мере, следующие: поиск по лицам, поиск по номерам транспортных средств, поиск по идентификаторам в системе контроля и управления доступом (СКУД).
15. Способ по п. 13, отличающийся тем, что типами поиска являются, по меньшей мере, следующие: движение в заданной области; одновременное пребывание в заданной области множества объектов; длительное пребывание объекта в заданной области; переход из одной области в другую; пересечение заданного, по меньшей мере, одного графического примитива.
16. Способ по п. 12, отличающийся тем, что результаты поиска могут быть представлены как одно из:
набора видеозаписей, показывающих соответствующие характеристикам поиска траектории движения объектов на плане местности; набора фотографий найденных объектов; списка идентификаторов найденных объектов.
17. Способ по любому из пп. 12-16, отличающийся тем, что устройства захвата данных являются стационарными, подвижными или их комбинацией.
18. Способ по п. 17, отличающийся тем, что в случае, когда устройство захвата данных является стационарным, для построения траекторий движения объектов устройство обработки данных дополнительно сконфигурировано с возможностью задавать положение каждого такого стационарного устройства захвата данных на плане местности.
19. Способ по п. 17, отличающийся тем, что в случае, когда устройство захвата данных является подвижным, для построения траекторий движения объектов устройство обработки данных дополнительно сконфигурировано с возможностью автоматически преобразовывать координаты положений объектов, полученные от подвижных устройств захвата данных, из исходной системы координат в систему координат плана местности.
20. Способ по п. 17, отличающийся тем, что в случае, когда устройство захвата данных является видеокамерой и содержит средства компьютерного зрения для выполнения видео анализа, устройство обработки данных системы дополнительно сконфигурировано для выполнения:
перевода координат положений объектов из системы координат кадра в систему координат плана местности, при этом все видеокамеры привязаны к плану местности; и
сопоставления данных объектов, полученных от разных камер, для построения единой траектории движения каждого объекта на плане местности.
21. Способ по п. 20, отличающийся тем, что при сопоставлении данных объектов от разных камер используется, по меньшей мере, один или комбинация из критериев:
временная близость фиксируемых объектов между соседними камерами;
экстраполяция будущего положения объекта при его выходе из поля зрения одной камеры и близость этой экстраполяции к наблюдаемым положениям объектов в поле зрения других камер;
визуальное сходство объектов, как по внешним признакам, так и по распознаванию лиц или номеров транспортных средств.
22. Способ по любому из пп. 18-21, отличающийся тем, что планом местности является геоинформационная система (ГИС) или изображение,
причем в случае, когда планом местности является изображение, графический пользовательский интерфейс дополнительно сконфигурирован для предоставления оператору системы возможности сопоставлять полученные координаты положений статичных объектов с их конкретными местоположениями на плане местности.
23. Считываемый компьютером носитель данных, содержащий исполняемые процессором компьютера инструкции для осуществления способов поиска объектов по траекториям на плане местности по любому из пп. 12-22.
RU2018143321A 2018-12-06 2018-12-06 Система и способ поиска объектов по траекториям движения на плане местности RU2701985C1 (ru)

Priority Applications (3)

Application Number Priority Date Filing Date Title
RU2018143321A RU2701985C1 (ru) 2018-12-06 2018-12-06 Система и способ поиска объектов по траекториям движения на плане местности
DE102019123003.9A DE102019123003A1 (de) 2018-12-06 2019-08-27 System und verfahren zur suche nach objekten auf den trajektorien im geländeplan
US16/574,113 US20200184659A1 (en) 2018-12-06 2019-09-18 System and Method for Searching for Objects by Movement Trajectories on the Site Plan

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2018143321A RU2701985C1 (ru) 2018-12-06 2018-12-06 Система и способ поиска объектов по траекториям движения на плане местности

Publications (1)

Publication Number Publication Date
RU2701985C1 true RU2701985C1 (ru) 2019-10-02

Family

ID=68170826

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018143321A RU2701985C1 (ru) 2018-12-06 2018-12-06 Система и способ поиска объектов по траекториям движения на плане местности

Country Status (3)

Country Link
US (1) US20200184659A1 (ru)
DE (1) DE102019123003A1 (ru)
RU (1) RU2701985C1 (ru)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157064A1 (en) * 2008-12-18 2010-06-24 Industrial Technology Research Institute Object tracking system, method and smart node using active camera handoff
US20140050455A1 (en) * 2012-08-20 2014-02-20 Gorilla Technology Inc. Correction method for object linking across video sequences in a multiple camera video surveillance system
US20140092013A1 (en) * 2000-07-24 2014-04-03 Qualcomm Incorporated Video-based image control system
RU2623452C1 (ru) * 2016-05-19 2017-06-26 Российская Федерация, от имени которой выступает Государственная корпорация по атомной энергии "Росатом" Способ навигации движущихся объектов
EA028632B1 (ru) * 2015-06-04 2017-12-29 Общество с ограниченной ответственностью "Ай Ти Ви групп" Способ и система отображения данных с видеокамеры
RU2670429C1 (ru) * 2017-11-24 2018-10-23 ООО "Ай Ти Ви групп" Системы и способы отслеживания движущихся объектов на видеоизображении

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970083B2 (en) 2001-10-09 2005-11-29 Objectvideo, Inc. Video tripwire
US9727976B1 (en) 2015-09-08 2017-08-08 Sandia Corporation Geospatial-temporal semantic graph representations of trajectories from remote sensing and geolocation data
RU2688739C2 (ru) 2017-09-04 2019-05-22 ООО "Ай Ти Ви групп" Системы и способы обнаружения тревожных траекторий движения объектов

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140092013A1 (en) * 2000-07-24 2014-04-03 Qualcomm Incorporated Video-based image control system
US20100157064A1 (en) * 2008-12-18 2010-06-24 Industrial Technology Research Institute Object tracking system, method and smart node using active camera handoff
US20140050455A1 (en) * 2012-08-20 2014-02-20 Gorilla Technology Inc. Correction method for object linking across video sequences in a multiple camera video surveillance system
EA028632B1 (ru) * 2015-06-04 2017-12-29 Общество с ограниченной ответственностью "Ай Ти Ви групп" Способ и система отображения данных с видеокамеры
RU2623452C1 (ru) * 2016-05-19 2017-06-26 Российская Федерация, от имени которой выступает Государственная корпорация по атомной энергии "Росатом" Способ навигации движущихся объектов
RU2670429C1 (ru) * 2017-11-24 2018-10-23 ООО "Ай Ти Ви групп" Системы и способы отслеживания движущихся объектов на видеоизображении

Also Published As

Publication number Publication date
US20200184659A1 (en) 2020-06-11
DE102019123003A1 (de) 2020-06-10

Similar Documents

Publication Publication Date Title
KR101856488B1 (ko) 3차원 맵핑을 이용하는 객체 추적 방법, 이를 이용한 장치 및 컴퓨터-판독가능 매체
US10839533B2 (en) Systems and methods of tracking of the moving objects on the video image
KR102040702B1 (ko) 위성영상을 이용한 활용서비스 제공 장치 및 방법
TWI581207B (zh) 共乘路徑的計算方法及使用此方法的計算裝置與記錄媒體
JP2017151876A (ja) 画像クラスタリングシステム、画像クラスタリング方法、画像クラスタリングプログラム、および、コミュニティ構造検出システム
US8798318B2 (en) System and method for video episode viewing and mining
CN106295598A (zh) 一种跨摄像头目标跟踪方法及装置
KR101645959B1 (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
US10762372B2 (en) Image processing apparatus and control method therefor
Zhou et al. Anomaly detection in low quality traffic monitoring videos using optical flow
RU2742582C1 (ru) Система и способ отображения движущихся объектов на карте местности
JP2023505864A (ja) ターゲット移動軌跡の構築方法、機器及びコンピュータ記憶媒体
US20210089784A1 (en) System and Method for Processing Video Data from Archive
Qiu et al. Pedestrian detection and counting method based on YOLOv5+ DeepSORT
RU2703152C1 (ru) Система и способ отображения схемы перемещения объектов
CN116266359A (zh) 目标物的跟踪方法、装置、计算机设备和存储介质
Kim et al. GeoTree: Using spatial information for georeferenced video search
RU2701092C1 (ru) Система и способ сопровождения движущихся объектов
RU2701985C1 (ru) Система и способ поиска объектов по траекториям движения на плане местности
van Eekeren et al. Vehicle tracking in wide area motion imagery from an airborne platform
Bamond et al. Application of an event-sensor to situational awareness
Sommer et al. Generating object proposals for improved object detection in aerial images
Fischer et al. Privacy-aware smart video surveillance revisited
Medina et al. Where is this? Video geolocation based on neural network features
Se et al. Object and activity detection from aerial video