RU2019101759A - Обнаружение объектов в видеоданных - Google Patents
Обнаружение объектов в видеоданных Download PDFInfo
- Publication number
- RU2019101759A RU2019101759A RU2019101759A RU2019101759A RU2019101759A RU 2019101759 A RU2019101759 A RU 2019101759A RU 2019101759 A RU2019101759 A RU 2019101759A RU 2019101759 A RU2019101759 A RU 2019101759A RU 2019101759 A RU2019101759 A RU 2019101759A
- Authority
- RU
- Russia
- Prior art keywords
- video data
- surface features
- representation
- frame
- dimensional
- Prior art date
Links
- 238000000034 method Methods 0.000 claims 16
- 238000012545 processing Methods 0.000 claims 12
- 238000013527 convolutional neural network Methods 0.000 claims 8
- 238000003384 imaging method Methods 0.000 claims 5
- 238000009826 distribution Methods 0.000 claims 3
- 238000004891 communication Methods 0.000 claims 1
- 238000013480 data collection Methods 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 230000002085 persistent effect Effects 0.000 claims 1
- 238000003672 processing method Methods 0.000 claims 1
- 238000012549 training Methods 0.000 claims 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Claims (34)
1. Способ обнаружения объектов в видеоданных, содержащий этапы, на которых определяют значения вероятности метки объекта для пространственных элементов кадров видеоданных, используя двумерный классификатор изображений; идентифицируют поверхностные элементы в трехмерном представлении пространственных элементов, наблюдаемых в кадрах видеоданных, соответствующих пространственным элементам, где соответствие между пространственным элементом и поверхностным элементом определяется, основываясь на проекции представления поверхностных элементов, используя предполагаемую расположение для кадра; и обновляют значения вероятности метки объекта для поверхностных элементов, основываясь на значениях вероятности метки объекта для соответствующих пространственных элементов, чтобы обеспечить семантически маркированное трехмерное представление поверхностных элементов объектов, присутствующих в видеоданных.
2. Способ по п. 1, в котором во время обработки упомянутых видеоданных, способ содержит этапы, на которых обнаруживают событие закрытия цикла и применяют пространственную деформацию к представлению поверхностных элементов, причем пространственная деформация модифицирует трехмерные позиции поверхностных элементов в представлении поверхностных элементов, где пространственная деформация модифицирует соответствие между пространственными элементами и представление поверхностных элементов так, что после пространственной деформации значения вероятности метки объекта для первого поверхностного элемента обновляются, используя значения вероятности метки объекта для пространственных элементов, которые ранее соответствовали второму поверхностному элементу.
3. Способ по п. 1 или 2, содержащий этапы, на которых обрабатывают кадры видеоданных без графа расположения, чтобы сформировать трехмерное представление поверхностных элементов, в том числе, на покадровой основе: сравнивают рендерированный кадр, сформированный, используя трехмерное представление поверхностных элементов, с кадром видеоданных из числа кадров видеоданных, чтобы определить расположение устройства получения изображения для кадра видеоданных; и обновляют трехмерное представление поверхностных элементов, используя расположение и данные изображения из кадра видеоданных.
4. Способ по п. 3, в котором подмножество кадров видеоданных, используемых для формирования трехмерного представления поверхностных элементов, вводится в двумерный классификатор изображений.
5. Способ по любому из предшествующих пунктов, в котором кадры видеоданных содержат по меньшей мере одно из следующего: данные цветности, данные глубины или данные нормали; и в котором двумерный классификатор изображений выполнен с возможностью вычисления значений вероятности метки объекта, основываясь по меньшей мере на одном из следующего: данные цветности, данные глубины или данные нормали для кадра.
6. Способ по любому из предшествующих пунктов, в котором двумерный классификатор изображений содержит сверточную нейронную сеть.
7. Способ по п. 6, в котором сверточная нейронная сеть выполнена с возможностью вывода значений вероятности метки объекта как набора пиксельных карт для каждого кадра видеоданных, причем каждая пиксельная карта в наборе соответствует другой метке объекта в наборе доступных меток объекта.
8. Способ по п. 6 или 7, в котором двумерный классификатор изображений содержит обратную сверточную нейронную сеть, средствами связи связанную с выходом сверточной нейронной сети.
9. Способ по любому из предшествующих пунктов, содержащий после обновления значения вероятности метки объекта для поверхностных элементов этап, на котором упорядочивают значения вероятности метки объекта для поверхностных элементов.
10. Способ по п. 9, в котором упорядочивание содержит этап, на котором применяют условную рандомизированную область к значениям вероятности метки объекта для поверхностных элементов в представлении поверхностных элементов.
11. Способ по п. 9 или 10, в котором упорядочивание значений вероятности метки объекта содержит этап, на котором упорядочивают значения вероятности метки объекта, назначенные поверхностным элементам, основываясь на одном или более из следующего: позиции поверхностных элементов, цвета поверхностных элементов или нормали поверхностных элементов.
12. Способ по любому из предшествующих пунктов, содержащий этап, на котором заменяют набор из одного или более поверхностных элементов на трехмерное определение объекта, основываясь на значениях вероятности метки объекта, назначенных упомянутым поверхностным элементам.
13. Способ по любому из предшествующих пунктов, содержащий этапы, на которых аннотируют поверхностные элементы трехмерного представления поверхностных элементов пространства с метками объекта, чтобы обеспечить аннотированное представление; формируют аннотированные кадры видеоданных из аннотированного представления, основываясь на проекции аннотированного представления, причем проекция использует предполагаемое расположение для каждого аннотированного кадра, и каждый аннотированный кадр содержит пространственные элементы с назначенными метками объекта; и обучают двумерный классификатор изображений, используя аннотированные кадры видеоданных.
14. Способ по любому из предшествующих пунктов, содержащий этапы, на которых получают первый кадр видеоданных, соответствующий наблюдению за первым участком объекта; формируют карту изображения для первого кадра видеоданных, используя двумерный классификатор изображений, причем упомянутая карта изображений указывает присутствие первой части объекта в области первого кадра; и определяют, что поверхностный элемент не проецируется на область в первом кадре и, таким образом, не обновляет значения вероятности метки объекта для поверхностного элемента, основываясь на значениях карты изображения в упомянутой области; в котором после обнаружения события закрытия цикла способ содержит этапы, на которых модифицируют трехмерную позицию поверхностного элемента; получают второй кадр видеоданных, соответствующий повторному наблюдению первого участка объекта; формируют карту изображения для второго кадра видеоданных, используя двумерный классификатор изображения, причем карта изображения указывает присутствие первого участка объекта в области второго кадра; определяют, что модифицированный первый поверхностный элемент выполняет проецирование на область второго кадра после события закрытия цикла; и обновляют значения вероятности метки объекта для поверхностного элемента, основываясь на карте изображения для второго кадра видеоданных, где значения вероятности метки объекта для поверхностного элемента содержат объединенные предсказания объекта для поверхностного элемента с многочисленных точек наблюдения.
15. Устройство обнаружения объектов в видеоданных, содержащее интерфейс классификатора изображений для приема двумерных распределений вероятности метки объекта для индивидуальных кадров видеоданных; интерфейс соответствия для приема данных, указывающих для заданного кадра видеоданных соответствие между пространственными элементами внутри заданного кадра и поверхностными элементами в трехмерном представлении поверхностных элементов, причем упомянутое соответствие определяется, основываясь на проекции представления поверхностных элементов, используя предполагаемое расположение для заданного кадра; и семантический усилитель, чтобы итеративно обновлять значения вероятности метки объекта, назначенные индивидуальным поверхностным элементам в трехмерном представлении поверхностных элементов, где семантический усилитель выполнен с возможностью использования для заданного кадра видеоданных данных, полученные интерфейсом соответствия, чтобы применить двумерные распределения вероятности метки объекта принятые интерфейсом классификатора изображений к значениям вероятности метки объекта, назначенным соответствующим поверхностным элементам.
16. Устройство по п. 15, в котором интерфейс согласования выполнен с возможностью обеспечения обновленного соответствия после пространственной деформации представления поверхностных элементов, причем пространственная деформация предписывает закрытие цикла в пределах видеоданных, и семантический усилитель использует обновленное соответствие, чтобы обновить значения вероятности метки объекта для первого поверхностного элемента, используя значения вероятности метки объекта для пространственных элементов, которые ранее соответствовали второму поверхностному элементу.
17. Устройство по п. 15 или 16, в котором интерфейс классификатора изображений выполнен с возможностью приема многочисленных карт изображения, соответствующих определенному множеству меток объекта для заданного кадра видеоданных, причем каждая карта изображения имеет пиксельные значения, указывающие значения вероятности для сопутствующей метки объекта.
18. Устройство по любому из пп. 15-17, содержащее нормализатор для упорядочивания значений вероятности метки объекта, назначенных поверхностным элементам представления поверхностных элементов.
19. Устройство по п. 18, в котором нормализатор выполнен с возможностью применения условной рандомизированной области к значениям вероятности метки объекта для поверхностных элементов в представлении поверхностных элементов.
20. Устройство по п. 18 или 19, в котором нормализатор выполнен с возможностью упорядочивания значений вероятности метки объекта, назначенных поверхностным элементам, основываясь на одном или более из следующего: позиции поверхностных элементов, цвета поверхностных элементов или нормали поверхностных элементов.
21. Устройство по любому из пп. 15-20, в котором семантический усилитель выполнен с возможностью замены набора из одного или более поверхностных элементов с трехмерным определением объекта, основанным на значениях вероятности метки объекта, назначенных упомянутым поверхностным элементам.
22. Устройство по любому из пп. 15-21, в котором каждый поверхностный элемент в представлении поверхностных элементов содержит, по меньшей мере, данные, определяющие позицию поверхностного элемента в трех измерениях, и данные, определяющие вектор нормали для поверхностного элемента в трех измерениях, и в котором каждый поверхностный элемент представляет двумерную область в трехмерном пространстве.
23. Система обработки видеоданных для обнаружения объектов, присутствующих в видеоданных, содержащая устройство по любому из пп. 15-22; интерфейс сбора видеоданных для получения кадров видеоданных от устройства получения изображения, причем упомянутые кадры видеоданных являются результатом относительного движения между устройством получения изображения и трехмерным пространством во времени; и систему одновременного определения местоположения и отображения (SLAM), средствами связи связанную с интерфейсом соответствия устройства, чтобы сформировать представление поверхностных элементов трехмерного пространства, основываясь на полученных кадрах видеоданных, в котором система SLAM выполнена с возможностью применения пространственной деформации к представлению поверхностных элементов, чтобы замкнуть циклы наблюдения внутри кадров видеоданных, причем упомянутая пространственная деформация приводит в результате к новой трехмерной позиции по меньшей мере для одного модифицированного поверхностного элемента в представлении поверхностных элементов.
24. Система обработки видеоданных по п. 23, в которой система SLAM содержит сегментатор, выполненный с возможностью сегментации представления трехмерного поверхностного элемента, по меньшей мере, на активный и неактивный участки, основываясь по меньшей мере на одном свойстве представления, в которой система SLAM выполнена с возможностью вычисления активного рендерированного кадра, основываясь на проекции активных участков представления поверхностных элементов, чтобы обновлять упомянутое представление во времени; и механизм регистрации, выполненный с возможностью выравнивания активных участков трехмерного представления поверхностных элементов с неактивными участками трехмерного представления поверхностных элементов во времени, причем механизм регистрации выполнен с возможностью вычисления неактивного рендерированного кадра, основываясь на проекции неактивных участков трехмерного представления поверхностных элементов; определения пространственной деформации, которая выравнивает активный рендерированный кадр с неактивным рендерированным кадром; и обновления трехмерного представления поверхностных элементов, применяя пространственную деформацию.
25. Система обработки видеоданных по п. 23 или 24, в которой система SLAM содержит компонент слежения за кадром в модели, выполненный с возможностью сравнения активного рендерированного кадра с предоставленным кадром из упомянутых видеоданных, чтобы определить выравнивание активных участков трехмерного представления поверхностных элементов с видеоданными.
26. Система обработки видеоданных по любому из пп. 24-25, в которой механизм регистрации выполнен с возможностью использования графа деформации, чтобы выровнять активные участки трехмерного представления поверхностных элементов с неактивными участками трехмерного представления поверхностных элементов, причем граф деформации вычисляется, основываясь на времени инициализации для поверхностных элементов, и граф деформации указывает набор соседних поверхностных элементов с заданным поверхностным элементом, которые должны использоваться для модификации заданного поверхностного элемента во время выравнивания.
27. Система обработки видеоданных по любому из пп. 23-26, содержащая двумерный классификатор изображений, средствами связи связанный с интерфейса классификатора изображений, для вычисления распределений вероятности метки объекта для кадров видеоданных, полученных от интерфейса сбора видеоданных.
28. Система обработки видеоданных по п. 27, в которой двумерный классификатор изображений содержит сверточную нейронную сеть.
29. Система обработки видеоданных по п. 28, в которой сверточная нейронная сеть выполнена с возможностью вывода значений вероятности метки объекта в виде набора пиксельных карт для каждого кадра видеоданных.
30. Система обработки видеоданных по п. 28 или 29, в которой двумерный классификатор изображений содержит обратную сверточную нейронную сеть, средствами связи связанную с выходом сверточной нейронной сети.
31. Робототехническое устройство, содержащее по меньшей мере одно устройство получения изображения для обеспечения кадров видеоданных, содержащее одним или более данные глубины или данные цветности, причем упомянутые данные глубины указывают расстояние от устройства получения изображения для множества элементов изображения; устройство по любому из пп. 15-22 или система обработки видеоданных по любому из пп. 23-30; один или более приводов движения для движения робототехнического устройства в трехмерном пространстве; и механизм навигации для управления одним или более приводами движения, в котором механизм навигации выполнен с возможность получения доступа к значениям вероятности метки объекта, назначенным индивидуальным поверхностным элементам в трехмерном представлении пространственных элементов, для управляемого движения робототехнического устройства внутри трехмерного пространства.
32. Робототехническое устройство заявления 31, в чем механизм навигации конфигурируется, чтобы идентифицировать точки входа и точки выхода для комнаты, основанной на значениях вероятности метки объекта, присвоенных поверхностным элементам в трехмерном представлении поверхностных элементов.
33. Мобильное компьютерное устройство, содержащее по меньшей мере одно устройство получения изображения, выполненное с возможностью записи кадров видеоданных, содержащих одни или более из данных глубины или данных цветности, причем упомянутые данные глубины указывают расстояние от устройства получения изображения для множества элементов изображения, и устройство по любому из пп. 15-22 или система обработки видеоданных по любому из пп. 23-30.
34. Постоянный считываемый компьютером носитель, содержащий исполняемые компьютером команды, которые, когда выполняются процессором, заставляют компьютерное устройство выполнять способ обработки видеоданных по любому из пп. 1-14.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1611033.0 | 2016-06-24 | ||
GB1611033.0A GB2554633B (en) | 2016-06-24 | 2016-06-24 | Detecting objects in video data |
PCT/GB2017/051679 WO2017220966A1 (en) | 2016-06-24 | 2017-06-09 | Detecting objects in video data |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2019101759A true RU2019101759A (ru) | 2020-07-24 |
RU2019101759A3 RU2019101759A3 (ru) | 2020-09-30 |
Family
ID=56891621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2019101759A RU2019101759A (ru) | 2016-06-24 | 2017-06-09 | Обнаружение объектов в видеоданных |
Country Status (11)
Country | Link |
---|---|
US (1) | US10915731B2 (ru) |
EP (1) | EP3475875A1 (ru) |
JP (1) | JP7009399B2 (ru) |
KR (1) | KR20190038808A (ru) |
CN (1) | CN109643368B (ru) |
AU (1) | AU2017281822A1 (ru) |
BR (1) | BR112018076556A2 (ru) |
GB (1) | GB2554633B (ru) |
RU (1) | RU2019101759A (ru) |
SG (1) | SG11201811330WA (ru) |
WO (1) | WO2017220966A1 (ru) |
Families Citing this family (93)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10078908B2 (en) * | 2016-08-12 | 2018-09-18 | Elite Robotics | Determination of relative positions |
US11017269B2 (en) * | 2016-09-30 | 2021-05-25 | General Electric Company | System and method for optimization of deep learning architecture |
EP3537867B1 (en) * | 2016-11-08 | 2023-08-02 | Dogtooth Technologies Limited | A robotic fruit picking system |
US10048753B1 (en) * | 2017-04-20 | 2018-08-14 | Robert C. Brooks | Perspective or gaze based visual identification and location system |
WO2019045727A1 (en) * | 2017-08-31 | 2019-03-07 | Sony Mobile Communications Inc. | METHODS, DEVICES AND COMPUTER PROGRAM PRODUCTS FOR VERIFYING THE ACCEPTABILITY OF AN ENVIRONMENT FOR 3D SCANNING |
US10872228B1 (en) * | 2017-09-27 | 2020-12-22 | Apple Inc. | Three-dimensional object detection |
LU100465B1 (en) * | 2017-10-05 | 2019-04-09 | Applications Mobiles Overview Inc | System and method for object recognition |
US10970553B2 (en) * | 2017-11-15 | 2021-04-06 | Uatc, Llc | Semantic segmentation of three-dimensional data |
US10572775B2 (en) | 2017-12-05 | 2020-02-25 | X Development Llc | Learning and applying empirical knowledge of environments by robots |
WO2019116497A1 (ja) * | 2017-12-14 | 2019-06-20 | 日本電気株式会社 | 識別装置、識別方法、および記憶媒体 |
US11430069B1 (en) | 2018-01-15 | 2022-08-30 | Corelogic Solutions, Llc | Damage prediction system using artificial intelligence |
US11949889B2 (en) * | 2018-01-19 | 2024-04-02 | Interdigital Vc Holdings, Inc. | Processing a point cloud |
WO2019162241A1 (en) * | 2018-02-21 | 2019-08-29 | Robert Bosch Gmbh | Real-time object detection using depth sensors |
US10671835B2 (en) * | 2018-03-05 | 2020-06-02 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Object recognition |
US10410354B1 (en) | 2018-03-06 | 2019-09-10 | Mitsubishi Electric Research Laboratories, Inc. | Method and apparatus for multi-model primitive fitting based on deep geometric boundary and instance aware segmentation |
US11062469B2 (en) | 2018-03-09 | 2021-07-13 | Microsoft Technology Licensing, Llc | 4D tracking utilizing depth data from multiple 3D cameras |
US10762662B2 (en) * | 2018-03-14 | 2020-09-01 | Tata Consultancy Services Limited | Context based position estimation of target of interest in videos |
WO2019185170A1 (en) * | 2018-03-30 | 2019-10-03 | Toyota Motor Europe | Electronic device, robotic system and method for localizing a robotic system |
US10812711B2 (en) * | 2018-05-18 | 2020-10-20 | Samsung Electronics Co., Ltd. | Semantic mapping for low-power augmented reality using dynamic vision sensor |
US11475551B2 (en) | 2018-08-08 | 2022-10-18 | Abyssal S.A. | System and method of operation for remotely operated vehicles for automatic detection of structure integrity threats |
WO2020030950A1 (en) | 2018-08-08 | 2020-02-13 | Abyssal S.A. | System and method of operation for remotely operated vehicles leveraging synthetic data to train machine learning models |
EP3834172A1 (en) | 2018-08-08 | 2021-06-16 | Abyssal S.A. | System and method of operation for remotely operated vehicles for simultaneous localization and mapping |
EP3834175A1 (en) | 2018-08-08 | 2021-06-16 | Abyssal S.A. | System and method of operation for remotely operated vehicles with improved position estimation |
US11113823B2 (en) * | 2018-10-01 | 2021-09-07 | Seiko Epson Corporation | Three-dimensional detection and tracking pipline recommendation using performance prediction |
US10983217B2 (en) * | 2018-11-30 | 2021-04-20 | Huawei Technologes Co. Ltd. | Method and system for semantic label generation using sparse 3D data |
US11995854B2 (en) * | 2018-12-19 | 2024-05-28 | Nvidia Corporation | Mesh reconstruction using data-driven priors |
US10832392B2 (en) * | 2018-12-19 | 2020-11-10 | Siemens Healthcare Gmbh | Method, learning apparatus, and medical imaging apparatus for registration of images |
CN109711365A (zh) * | 2018-12-29 | 2019-05-03 | 佛山科学技术学院 | 一种融合语义信息的视觉slam回环检测方法及装置 |
EP3680812A1 (en) * | 2019-01-11 | 2020-07-15 | Aptiv Technologies Limited | Method for classifying an image taken by a sensor |
WO2020176439A1 (en) * | 2019-02-25 | 2020-09-03 | Walmart Apollo, Llc | Systems and methods of product recognition through multi-model image processing |
US10891744B1 (en) * | 2019-03-13 | 2021-01-12 | Argo AI, LLC | Determining the kinetic state of a body using LiDAR point cloud registration with importance sampling |
US11315328B2 (en) | 2019-03-18 | 2022-04-26 | Facebook Technologies, Llc | Systems and methods of rendering real world objects using depth information |
CN109919989B (zh) * | 2019-03-27 | 2023-11-14 | 广东工业大学 | 一种雷达电力巡检的点云数据配准方法、装置及设备 |
US11288857B2 (en) * | 2019-04-04 | 2022-03-29 | Google Llc | Neural rerendering from 3D models |
US11176374B2 (en) * | 2019-05-01 | 2021-11-16 | Microsoft Technology Licensing, Llc | Deriving information from images |
US11875252B2 (en) | 2019-05-17 | 2024-01-16 | Robert Bosch Gmbh | Neural network including a neural network projection layer configured for a summing parameter |
US11610142B2 (en) * | 2019-05-28 | 2023-03-21 | Ati Technologies Ulc | Safety monitor for image misclassification |
CN112015938B (zh) * | 2019-05-28 | 2024-06-14 | 杭州海康威视数字技术股份有限公司 | 点云标签传递方法、装置及*** |
US11210199B2 (en) | 2019-05-31 | 2021-12-28 | Ati Technologies Ulc | Safety monitor for invalid image transform |
JP6618162B1 (ja) * | 2019-06-06 | 2019-12-11 | クリスタルメソッド株式会社 | 評価装置、及び評価システム |
CN110428394B (zh) * | 2019-06-14 | 2022-04-26 | 北京迈格威科技有限公司 | 用于目标移动侦测的方法、装置及计算机存储介质 |
CN110110727B (zh) * | 2019-06-18 | 2023-04-18 | 南京景三医疗科技有限公司 | 基于条件随机场和贝叶斯后处理的图像分割方法 |
US20220358761A1 (en) * | 2019-06-28 | 2022-11-10 | Digital Diagnostics Inc. | Monitoring Surface Cleaning of Medical Surfaces Using Video Streaming |
US20220277603A1 (en) * | 2019-08-14 | 2022-09-01 | Abb Schweiz Ag | Method and apparatus for determining lock type |
KR20210029586A (ko) * | 2019-09-06 | 2021-03-16 | 엘지전자 주식회사 | 이미지 내의 특징적 객체에 기반하여 슬램을 수행하는 방법 및 이를 구현하는 로봇과 클라우드 서버 |
JP2022550548A (ja) * | 2019-09-29 | 2022-12-02 | ザックダン カンパニー | 機械学習を利用した画像内客体認識方法及び装置 |
US11455531B2 (en) * | 2019-10-15 | 2022-09-27 | Siemens Aktiengesellschaft | Trustworthy predictions using deep neural networks based on adversarial calibration |
CN110781262B (zh) * | 2019-10-21 | 2023-06-02 | 中国科学院计算技术研究所 | 基于视觉slam的语义地图的构建方法 |
US11222238B2 (en) * | 2019-11-14 | 2022-01-11 | Nec Corporation | Object detection with training from multiple datasets |
EP4051549A4 (en) * | 2019-11-15 | 2024-04-24 | Waymo Llc | GENERATION OF ENVIRONMENTAL DATA |
US11407431B2 (en) | 2019-11-22 | 2022-08-09 | Samsung Electronics Co., Ltd. | System and method for object trajectory prediction in an autonomous scenario |
CN111222543B (zh) * | 2019-12-19 | 2024-03-22 | 津海威视技术(天津)有限公司 | 物质识别方法和设备及计算机可读存储介质 |
CN111192299A (zh) * | 2019-12-20 | 2020-05-22 | 中冶天工集团有限公司 | 一种基于综合管廊视频监控***的人员轨迹定位方法 |
CN111428551B (zh) * | 2019-12-30 | 2023-06-16 | 杭州海康威视数字技术股份有限公司 | 密度检测方法、密度检测模型训练方法和装置 |
CN111260774B (zh) * | 2020-01-20 | 2023-06-23 | 北京百度网讯科技有限公司 | 生成3d关节点回归模型的方法和装置 |
CN111310643B (zh) * | 2020-02-12 | 2023-08-29 | 北京师范大学 | 一种基于点云数据的车辆计数方法、装置及电子设备 |
KR102297103B1 (ko) * | 2020-02-19 | 2021-09-03 | 한국과학기술원 | 3차원 장면 그래프 생성 방법 및 장치 |
US11443141B2 (en) | 2020-02-27 | 2022-09-13 | International Business Machines Corporation | Using video tracking technology to create machine learning datasets for tasks |
AU2021230443A1 (en) * | 2020-03-06 | 2022-04-28 | Yembo, Inc. | Identifying flood damage to an indoor environment using a virtual representation |
CA3184408A1 (en) * | 2020-03-30 | 2021-10-07 | Tetavi Ltd. | Techniques for improving mesh accuracy using labeled inputs |
US20210329306A1 (en) * | 2020-04-15 | 2021-10-21 | Nvidia Corporation | Video compression using neural networks |
CN111582447B (zh) * | 2020-04-30 | 2023-04-07 | 电子科技大学 | 基于多种网络特征的闭环检测方法 |
US11709917B2 (en) * | 2020-05-05 | 2023-07-25 | Nanjing University | Point-set kernel clustering |
US11275970B2 (en) * | 2020-05-08 | 2022-03-15 | Xailient | Systems and methods for distributed data analytics |
WO2021234623A1 (en) * | 2020-05-22 | 2021-11-25 | Cron Systems Pvt. Ltd. | System and method for transposition of a detected object and its tracking to a different device |
US11436812B2 (en) * | 2020-05-29 | 2022-09-06 | Open Space Labs, Inc. | Machine learning based object identification using scaled diagram and three-dimensional model |
US11541903B2 (en) * | 2020-06-03 | 2023-01-03 | Waymo Llc | Autonomous driving with surfel maps |
US11676392B2 (en) * | 2020-06-03 | 2023-06-13 | Waymo Llc | Localization using surfel data |
US11222232B1 (en) | 2020-06-19 | 2022-01-11 | Nvidia Corporation | Using temporal filters for automated real-time classification |
US20220063662A1 (en) * | 2020-08-26 | 2022-03-03 | Waymo Llc | Autonomous driving with surfel maps |
CN112131958B (zh) * | 2020-08-28 | 2022-05-20 | 成都信息工程大学 | 一种自动识别西南低涡的方法 |
CN111985578A (zh) * | 2020-09-02 | 2020-11-24 | 深圳壹账通智能科技有限公司 | 多源数据融合方法、装置、计算机设备及存储介质 |
US11417110B2 (en) | 2020-09-09 | 2022-08-16 | Waymo Llc | Annotated surfel maps |
US11561552B2 (en) * | 2020-09-15 | 2023-01-24 | Waymo Llc | Detecting environment changes using surfel data |
US11699274B2 (en) | 2020-10-06 | 2023-07-11 | Waymo Llc | Long range localization with surfel maps |
KR102399460B1 (ko) * | 2020-10-15 | 2022-05-17 | 건국대학교 산학협력단 | 의미론적 분할 기반의 3차원 포인트 클라우드 분류 장치 및 방법 |
US11978266B2 (en) | 2020-10-21 | 2024-05-07 | Nvidia Corporation | Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications |
US11145076B1 (en) * | 2020-10-27 | 2021-10-12 | R-Go Robotics Ltd | Incorporation of semantic information in simultaneous localization and mapping |
CN112312113B (zh) * | 2020-10-29 | 2022-07-15 | 贝壳技术有限公司 | 用于生成三维模型的方法、装置和*** |
US11734880B2 (en) * | 2020-12-31 | 2023-08-22 | Waymo Llc | Sensor calibration with environment map |
CN112699263B (zh) * | 2021-01-08 | 2023-05-23 | 郑州科技学院 | 基于ai的二维美术图像动态展示方法及装置 |
KR102489927B1 (ko) * | 2021-01-22 | 2023-01-18 | 한국과학기술연구원 | 증강현실 엔진에 독립적인 피처 데이터 기반의 엔터티 추적 방법 및 장치 |
CN112785643A (zh) * | 2021-02-02 | 2021-05-11 | 武汉科技大学 | 一种基于机器人平台的室内墙角二维语义地图构建方法 |
CN113094551B (zh) * | 2021-02-19 | 2023-09-19 | 深圳市麦谷科技有限公司 | 行车记录仪视频的检索方法、装置、服务端及检索*** |
WO2022187251A1 (en) * | 2021-03-01 | 2022-09-09 | Waymo Llc | Generating scene flow labels from point clouds using object labels |
CN113313742A (zh) * | 2021-05-06 | 2021-08-27 | Oppo广东移动通信有限公司 | 图像深度估计方法、装置、电子设备及计算机存储介质 |
US11640698B2 (en) | 2021-05-27 | 2023-05-02 | International Business Machines Corporation | Mapping physical locations to fit virtualized AR and VR environments |
CN113593053A (zh) * | 2021-07-12 | 2021-11-02 | 北京市商汤科技开发有限公司 | 视频帧修正方法及相关产品 |
CN114280566B (zh) * | 2021-11-30 | 2023-05-23 | 电子科技大学 | 一种类标签关联一维距离像识别方法 |
KR20230102441A (ko) | 2021-12-30 | 2023-07-07 | 주식회사 버넥트 | 맵 타겟 생성을 위한 사용자 인터페이스 제공 방법 및 그 시스템 |
WO2023132817A1 (en) * | 2022-01-04 | 2023-07-13 | Hewlett-Packard Development Company, L.P. | Temperature profile deformation predictions |
CN115965673B (zh) * | 2022-11-23 | 2023-09-12 | 中国建筑一局(集团)有限公司 | 基于双目视觉的集中式多机器人定位方法 |
CN116071694B (zh) * | 2023-03-07 | 2023-06-23 | 浙江华是科技股份有限公司 | 船舶检测方法、装置及计算机可读存储介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7609860B2 (en) * | 2005-06-14 | 2009-10-27 | Mitsubishi Electric Research Laboratories, Inc. | Bilinear illumination model for robust face recognition |
JP5278770B2 (ja) * | 2007-02-08 | 2013-09-04 | ビヘイヴィアラル レコグニション システムズ, インコーポレイテッド | 挙動認識システム |
DE102007048320A1 (de) * | 2007-10-09 | 2008-05-15 | Daimler Ag | Verfahren zur Anpassung eines Objektmodells an eine dreidimensionale Punktwolke |
GB0818561D0 (en) * | 2008-10-09 | 2008-11-19 | Isis Innovation | Visual tracking of objects in images, and segmentation of images |
CN101930284B (zh) | 2009-06-23 | 2014-04-09 | 腾讯科技(深圳)有限公司 | 一种实现视频和虚拟网络场景交互的方法、装置和*** |
CN101763636B (zh) * | 2009-09-23 | 2012-07-04 | 中国科学院自动化研究所 | 视频序列中的三维人脸位置和姿态跟踪的方法 |
US8786625B2 (en) | 2010-09-30 | 2014-07-22 | Apple Inc. | System and method for processing image data using an image signal processor having back-end processing logic |
US8494285B2 (en) * | 2010-12-09 | 2013-07-23 | The Hong Kong University Of Science And Technology | Joint semantic segmentation of images and scan data |
DE102011075253A1 (de) * | 2011-05-04 | 2012-11-08 | Eberhard-Karls-Universität Tübingen | Verfahren zur Bestimmung der relativen Lage eines Objekts im Raum sowie optisches Eingabesystem |
US8879828B2 (en) * | 2011-06-29 | 2014-11-04 | Matterport, Inc. | Capturing and aligning multiple 3-dimensional scenes |
TWI461963B (zh) * | 2011-08-17 | 2014-11-21 | Wistron Corp | 電腦鍵盤及其控制方法 |
US10033979B2 (en) * | 2012-03-23 | 2018-07-24 | Avigilon Fortress Corporation | Video surveillance systems, devices and methods with improved 3D human pose and shape modeling |
JP6202544B2 (ja) * | 2012-08-27 | 2017-09-27 | アクティエボラゲット エレクトロラックス | ロボット位置決めシステム |
US9542626B2 (en) * | 2013-09-06 | 2017-01-10 | Toyota Jidosha Kabushiki Kaisha | Augmenting layer-based object detection with deep convolutional neural networks |
US20150332464A1 (en) * | 2014-05-19 | 2015-11-19 | Occipital, Inc. | Methods for automatic registration of 3d image data |
EP3032495B1 (en) * | 2014-12-10 | 2019-11-13 | Dassault Systèmes | Texturing a 3d modeled object |
GB2538751A (en) | 2015-05-27 | 2016-11-30 | Imp College Of Science Tech And Medicine | Modelling a three-dimensional space |
GB2576322B (en) * | 2018-08-13 | 2022-11-09 | Imperial College Innovations Ltd | Mapping object instances using video data |
-
2016
- 2016-06-24 GB GB1611033.0A patent/GB2554633B/en active Active
-
2017
- 2017-06-09 RU RU2019101759A patent/RU2019101759A/ru not_active Application Discontinuation
- 2017-06-09 SG SG11201811330WA patent/SG11201811330WA/en unknown
- 2017-06-09 BR BR112018076556-2A patent/BR112018076556A2/pt not_active Application Discontinuation
- 2017-06-09 CN CN201780051781.9A patent/CN109643368B/zh active Active
- 2017-06-09 AU AU2017281822A patent/AU2017281822A1/en not_active Abandoned
- 2017-06-09 WO PCT/GB2017/051679 patent/WO2017220966A1/en active Search and Examination
- 2017-06-09 EP EP17740064.5A patent/EP3475875A1/en not_active Withdrawn
- 2017-06-09 KR KR1020197002338A patent/KR20190038808A/ko active IP Right Grant
- 2017-06-09 JP JP2018567057A patent/JP7009399B2/ja active Active
-
2018
- 2018-12-20 US US16/228,517 patent/US10915731B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP7009399B2 (ja) | 2022-01-25 |
US20190147220A1 (en) | 2019-05-16 |
KR20190038808A (ko) | 2019-04-09 |
RU2019101759A3 (ru) | 2020-09-30 |
GB2554633A (en) | 2018-04-11 |
GB201611033D0 (en) | 2016-08-10 |
CN109643368A (zh) | 2019-04-16 |
WO2017220966A1 (en) | 2017-12-28 |
CN109643368B (zh) | 2023-09-22 |
SG11201811330WA (en) | 2019-01-30 |
GB2554633B (en) | 2020-01-22 |
US10915731B2 (en) | 2021-02-09 |
BR112018076556A2 (pt) | 2019-04-02 |
AU2017281822A1 (en) | 2019-01-03 |
JP2019520654A (ja) | 2019-07-18 |
EP3475875A1 (en) | 2019-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2019101759A (ru) | Обнаружение объектов в видеоданных | |
US11238668B2 (en) | Method for detecting objects and localizing a mobile computing device within an augmented reality experience | |
Kim et al. | Real-time 3D reconstruction and 6-DoF tracking with an event camera | |
US20230209036A1 (en) | Active stereo depth prediction based on coarse matching | |
US20190147221A1 (en) | Pose estimation and model retrieval for objects in images | |
EP3379459A1 (en) | System and method for telecom inventory management | |
US9600898B2 (en) | Method and apparatus for separating foreground image, and computer-readable recording medium | |
JP2020087440A (ja) | 位置合わせされたcadモデルを使用するar対応ラベル付け | |
KR102472767B1 (ko) | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 | |
Petrović et al. | Stereo vision-based human tracking for robotic follower | |
US20140152660A1 (en) | Method for creating 3-d models by stitching multiple partial 3-d models | |
US10699438B2 (en) | Mobile device localization in complex, three-dimensional scenes | |
US11669977B2 (en) | Processing images to localize novel objects | |
US12014459B2 (en) | Image processing device, image processing method, and program for forming an accurate three-dimensional map | |
Tanke et al. | Iterative greedy matching for 3d human pose tracking from multiple views | |
Elhayek et al. | Fully automatic multi-person human motion capture for vr applications | |
Hansen et al. | Fusing information from multiple 2D depth cameras for 3D human pose estimation in the operating room | |
JP2021060868A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Luvizon et al. | Consensus-based optimization for 3D human pose estimation in camera coordinates | |
Ge et al. | Vipose: Real-time visual-inertial 6d object pose tracking | |
KR20230049969A (ko) | 글로벌 측위 장치 및 방법 | |
US20180350216A1 (en) | Generating Representations of Interior Space | |
Díaz Barros et al. | Real-time head pose estimation by tracking and detection of keypoints and facial landmarks | |
US20200285247A1 (en) | Systems and methods for autonomous robot navigation | |
US11610414B1 (en) | Temporal and geometric consistency in physical setting understanding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
HZ9A | Changing address for correspondence with an applicant | ||
FA92 | Acknowledgement of application withdrawn (lack of supplementary materials submitted) |
Effective date: 20210224 |