RU2686590C1 - Способ и устройство для сравнения схожих элементов высокоразмерных признаков изображений - Google Patents

Способ и устройство для сравнения схожих элементов высокоразмерных признаков изображений Download PDF

Info

Publication number
RU2686590C1
RU2686590C1 RU2018106458A RU2018106458A RU2686590C1 RU 2686590 C1 RU2686590 C1 RU 2686590C1 RU 2018106458 A RU2018106458 A RU 2018106458A RU 2018106458 A RU2018106458 A RU 2018106458A RU 2686590 C1 RU2686590 C1 RU 2686590C1
Authority
RU
Russia
Prior art keywords
dimensional
low
eigenvectors
segment
requested image
Prior art date
Application number
RU2018106458A
Other languages
English (en)
Inventor
Сидун ЛИНЬ
Чуань МОУ
Original Assignee
Бэйцзин Цзиндун Шанкэ Информейшн Текнолоджи Ко, Лтд.
Бэйцзин Цзиндун Сенчури Трэйдинг Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Бэйцзин Цзиндун Шанкэ Информейшн Текнолоджи Ко, Лтд., Бэйцзин Цзиндун Сенчури Трэйдинг Ко., Лтд. filed Critical Бэйцзин Цзиндун Шанкэ Информейшн Текнолоджи Ко, Лтд.
Application granted granted Critical
Publication of RU2686590C1 publication Critical patent/RU2686590C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Изобретение относится к способу и устройству для сравнения схожих элементов высокоразмерных признаков изображений. Технический результат заключается в повышении скорости и точности определения схожих элементов изображений. Устройство содержит модуль уменьшения размерности признаков для уменьшения размерностей извлеченных собственных векторов изображений посредством LSH-алгоритма для получения низкоразмерных собственных векторов; модуль индексации сегментов для сегментирования с усреднением низкоразмерных собственных векторов и создания таблицы индексов сегментов; модуль запрашивания схожих элементов для извлечения сегментированного низкоразмерного собственного вектора запрошенного изображения из таблицы индексов сегментов для получения набора выборок-кандидатов и модуль сравнения показателей для представления показателя сходства между каждой выборкой в наборе выборок-кандидатов и низкоразмерным собственным вектором запрошенного изображения. 2 н. и 12 з.п. ф-лы, 7 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящая заявка относится к области техники компьютера, в частности, к способу и устройству для сравнения схожих элементов высокоразмерных признаков изображений.
УРОВЕНЬ ТЕХНИКИ
В сегодняшнем Интернет-окружении, пользователи Интернета также желают извлекать мультимедийные контенты, такие как голос, изображения и видео, в дополнение к необходимости извлечения текста. Касательно извлечения изображения, пользователь ожидает, что поставщики Интернет-услуг найдут набор потенциально подходящих изображений (изображений-кандидатов), сходных с изображением, предоставленным им/ею для запроса. Примеры применимых сценариев включают в себя организации электронной коммерции, рекомендующие одинаковые или схожие стили товаров на основе изображений товаров, предоставленных пользователями, поисковые сайты, отображающие схожие изображения согласно ландшафтным изображениям, предоставленным пользователями, и т.д.
Обыкновенное извлечение изображения обычно совершается посредством представления показателя сходства на основе вручную заданных признаков изображения. Из-за семантически неструктурированных характеристик данных изображения, сложно вручную обнаружить репрезентативные признаки. Метод глубокого обучения для нейронной сети, предложенный Hinton и другими, обеспечивает возможность извлечения признаков, т.е. эффективного отображения из высокоразмерного пространства собственных векторов в низкоразмерное пространство собственных векторов необработанного изображения, посредством самообучения, что значительно повышает эффективность для представления признаков в области изображения.
В Интернет-индустрии, сервисные компании часто имеют огромное хранилище изображений. Касательно пользовательских потребностей извлечения, если результаты извлечения должны быть получены в пределах времени отклика на уровне секунд, в дополнение к использованию крупномасштабной технологии параллельного вычисления, также требуется увеличить скорость в уменьшении размерности, индексации и алгоритмах сопоставления. Алгоритм локально-чувствительного хэширования (LSH) является видом метода кодирования для уменьшения размерностей, который характеризуется тем, что удерживает относительное положение в первоначальном пространстве собственного вектора в сгенерированном HASH-коде, и таким образом может быть использован для быстрого извлечения изображений.
В предшествующем уровне техники, LSH-алгоритм для извлечения изображения в основном включает в себя нижеследующие этапы:
1. LSH-кодирования для изображения
Процесс LSH-кодирования для изображения показан на Фиг. 1. Необработанное изображение представляется как n-размерный вектор для канала RGB, и затем выход скрытых слоев (обычно с предпоследнего слоя по четвертый слой снизу), полученных путем кодирования n-размерного вектора посредством сверточной нейронной сети (CNN), берется как m-размерный собственный вектор изображения (обычная длина размерности составляет 4096). Собственный вектор затем преобразовывается в k-размерный (k намного меньше, чем m) LSH-код после применения набора векторных операций LSH к m-размерному собственному вектору. Согласно этому способу, сервисные предприятия преобразовывают все изображения в такие коды, и затем извлечение схожих элементов для последующих изображений совершается на основе такого представления изображения.
2. Извлечения схожих элементов для изображения
Процесс извлечения схожих элементов для изображения показан на Фиг. 2. Сначала, LSH-код (вектор A) изображения, загруженного пользователем для запроса, получают посредством вышеуказанного этапа 1, и затем для каждого вектора (вектора B) в таблице LSH-векторов, вычисляется расстояние Хэмминга между вектором A и B. Впоследствии, векторы сортируются в порядке возрастания согласно вычисленным расстояниям, и, наконец, необработанные изображения, соответствующие нескольким верхним векторам, возвращаются пользователю как результат извлечения схожих элементов.
Однако, применение существующего LSH-алгоритма к способу извлечения изображения имеет следующие недостатки при использовании:
1. Скорость извлечения схожих элементов на основе LSH-кодирования является все еще низкой, в том случае, когда набор изображений является относительно большим (например, содержащим миллионы, десятки миллионов изображений и больше).
2. Хотя показатель расстояния Хэмминга быстрее, чем показатель евклидова расстояния и показатель манхэттенского расстояния и т.д., в том, что касается скорости вычисления, их точность значительно снижается, и результат извлечения является неудовлетворительным.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Ввиду этого, настоящее изобретение предусматривает способ и устройство для сравнения схожих элементов высокоразмерных признаков изображений. Посредством способа индексирования сегментов и извлечения сегментов LSH-коды изображений, и применения манхэттенского расстояния к показателю сходства, скорость извлечения и точность извлечения повышаются при извлечении схожих элементов из огромного количества изображений на основе LSH-кодирования.
Чтобы достигнуть вышеуказанной цели, согласно одному аспекту настоящего изобретения, предусматривается способ сравнения схожих элементов высокоразмерных признаков изображений.
Способ сравнения схожих элементов высокоразмерных признаков изображений согласно настоящему изобретению содержит: уменьшение размерностей извлеченных собственных векторов изображений посредством алгоритма локально-чувствительного хэширования (LSH) для получения низкоразмерных собственных векторов; сегментирование с усреднением низкоразмерных собственных векторов и создание таблицы индексов сегментов; извлечение сегментированного низкоразмерного собственного вектора запрошенного изображения из таблицы индексов сегментов для получения набора выборок-кандидатов; и представление показателя сходства между каждой выборкой в наборе выборок-кандидатов и низкоразмерным собственным вектором запрошенного изображения.
Опционально, собственные векторы изображения извлекаются с помощью нейронной сети, сконструированной с использованием метода глубокого обучения.
Опционально, нейронная сеть является сверточной нейронной сетью.
Опционально, до этапа сегментирования с усреднением низкоразмерных собственных векторов, способ дополнительно содержит определение экспериментальным образом оптимальной длины сегмента на меньшем наборе верификации.
Опционально, этап сегментирования с усреднением низкоразмерных собственных векторов и создания таблицы индексов сегментов содержит: сегментирование с усреднением низкоразмерных собственных векторов, с использованием сегментированных собственных векторов в качестве индексных элементов, и вычисление отличительного признака каждого из индексных элементов; выполнение операции деления по модулю в отношении отличительного признака с простым числом, которое наиболее близко к предварительно определенному числу записей, содержащихся в таблице индексов сегментов, чтобы получить адреса записей для индексных элементов; и вставку низкоразмерных собственных векторов в таблицу индексов сегментов согласно полученным адресам записей для создания таблицы индексов сегментов.
Опционально, этап извлечения сегментированного низкоразмерного собственного вектора запрошенного изображения из таблицы индексов сегментов для получения набора выборок-кандидатов содержит: осуществление доступа к адресу записи сегментированного низкоразмерного собственного вектора запрошенного изображения для получения конфликтного набора; извлечение низкоразмерных собственных векторов, соответствующих узлу из конфликтного набора, который имеет такой же отличительный признак, как отличительный признак сегментированного низкоразмерного собственного вектора запрошенного изображения, в качестве набора кандидатов; и объединение набора кандидатов, полученного посредством соответствующих извлечений сегментов и удаление из него дублированных низкоразмерных собственных векторов для получения набора выборок-кандидатов.
Опционально, этап представления показателя сходства между каждой выборкой в наборе выборок-кандидатов и низкоразмерным собственным вектором запрошенного изображения содержит: вычисление оценок манхэттеновских расстояний между каждой выборкой в наборе выборок-кандидатов и низкоразмерным собственным вектором запрошенного изображения; и сортировку оценок в порядке возрастания, и принятие изображений, соответствующих выборкам с предварительно определенным числом наивысших оценок, в качестве схожих изображений запрошенного изображения.
Согласно другому аспекту настоящего изобретения, предусматривается устройство для сравнения схожих элементов высокоразмерных признаков изображений.
Устройство для сравнения схожих элементов высокоразмерных признаков изображений согласно настоящему изобретению содержит: модуль уменьшения размерностей признаков для уменьшения размерностей извлеченных собственных векторов изображений посредством LSH-алгоритма для получения низкоразмерных собственных векторов; модуль индексации сегментов для сегментирования с усреднением низкоразмерных собственных векторов и создания таблицы индексов сегментов; модуль запрашивания схожих элементов для извлечения сегментированного низкоразмерного собственного вектора запрошенного изображения из таблицы индексов сегментов для получения набора выборок-кандидатов; и модуль сравнения показателей для представления показателя сходства между каждой выборкой в наборе выборок-кандидатов и низкоразмерным собственным вектором запрошенного изображения.
Опционально, собственные векторы изображения извлекаются с помощью нейронной сети, сконструированной с использованием метода глубокого обучения.
Опционально, нейронная сеть является сверточной нейронной сетью.
Опционально, до этапа сегментирования с усреднением низкоразмерных собственных векторов, модуль индексации сегментов дополнительно определяет экспериментальным образом оптимальную длину сегмента на меньшем наборе верификации.
Опционально, модуль индексации сегментов служит дополнительно для: сегментирования с усреднением низкоразмерных собственных векторов, с использованием сегментированных собственных векторов в качестве индексных элементов, и вычисления отличительного признака каждого из индексных элементов; выполнения операции деления по модулю в отношении отличительного признака с простым числом, которое наиболее близко к предварительно определенному числу записей, содержащихся в таблице индексов сегментов, чтобы получить адреса записей для индексных элементов; и вставки низкоразмерных собственных векторов в таблицу индексов сегментов согласно полученным адресам записей для создания таблицы индексов сегментов.
Опционально, модуль запрашивания схожих элементов служит дополнительно для: осуществления доступа к адресу записи сегментированного низкоразмерного собственного вектора запрошенного изображения для получения конфликтного набора; извлечения низкоразмерных собственных векторов, соответствующих узлу из конфликтного набора, который имеет такой же отличительный признак, как отличительный признак сегментированного низкоразмерного собственного вектора запрошенного изображения, в качестве набора кандидатов; и объединения набора кандидатов, полученного посредством соответствующих извлечений сегментов, и удаления из него дублированных низкоразмерных собственных векторов для получения набора выборок-кандидатов.
Опционально, модуль сравнения показателей служит дополнительно для: вычисления оценок манхэттеновских расстояний между каждой выборкой в наборе выборок-кандидатов и низкоразмерным собственным вектором запрошенного изображения; и сортировки оценок в порядке возрастания, и принятия изображений, соответствующих выборкам с предварительно определенным числом наивысших оценок, в качестве схожих изображений запрошенного изображения.
Согласно техническому решению настоящего изобретения, посредством создания индекса сегмента для собственных векторов с уменьшенными размерностями для LSH-кода для изображений, скорость извлечения может быть ускорена для повышения эффективности извлечения. При извлечении схожих элементов изображения, посредством использования показателя манхэттенского расстояния при замене обыкновенного показателя расстояния Хэмминга, количественная информация расстояния, содержащаяся в LSH-коде, может быть в достаточной мере использована для повышения точности извлечения при извлечении сегментов.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Чертежи служат для лучшего понимания настоящего изобретения, и не составляют ненадлежащие ограничения для данного изобретения.
Фиг. 1 является принципиальной схемой процесса генерирования LSH-кода изображения в предшествующем уровне техники.
Фиг. 2 является принципиальной схемой процесса извлечения схожих элементов изображения в предшествующем уровне техники.
Фиг. 3 является принципиальной схемой основных этапов способа сравнения схожих элементов высокоразмерных признаков изображений согласно варианту осуществления настоящего изобретения.
Фиг. 4 является принципиальной схемой процесса генерирования LSH-кода изображения и создания индекса сегмента согласно реализации настоящего изобретения.
Фиг. 5 является структурной схемой таблицей индексов хэша сегментов согласно реализации настоящего изобретения.
Фиг. 6 является принципиальной схемой процесса извлечения схожих элементов изображения на основе индекса сегмента согласно реализации настоящего изобретения.
Фиг. 7 является принципиальной схемой основных модулей устройства для сравнения схожих элементов высокоразмерных признаков изображений согласно варианту осуществления настоящего изобретения.
ПРЕДПОЧТИТЕЛЬНЫЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ
Примерные варианты осуществления настоящего изобретения описаны ниже со ссылкой на прилагаемые чертежи, на которых различные сведения вариантов осуществления настоящего изобретения включены для способствования пониманию, и должны рассматриваться лишь как примерные. Соответственно, специалисты в данной области техники поймут, что различные изменения и модификации могут быть внесены в варианты осуществления, описанные в настоящем документе, без отступления от объема и сущности данного изобретения. Также, для ясности и краткости, описания хорошо известных функций и конструкций исключены из нижеследующих описаний.
Реализация настоящего изобретения будет описана ниже со ссылкой на Фиг. 3 - Фиг. 6. Фиг. 3 является принципиальной схемой основных этапов способа сравнения схожих элементов высокоразмерных признаков изображений согласно варианту осуществления настоящего изобретения. Как показано на Фиг. 3, способ для сравнения схожих элементов высокоразмерных признаков изображений согласно настоящему изобретению включает в себя нижеследующие этапы S31-S34.
Этап S31: уменьшение размерностей извлеченных собственных векторов изображений посредством LSH-алгоритма для получения низкоразмерных собственных векторов. Собственные векторы изображений на данном этапе могут быть извлечены с помощью нейронной сети, сконструированной с использованием метода глубокого обучения. В основном используемая нейронная сеть является сверточной нейронной сетью CNN. Теперь обращаясь к принципиальной схеме процесса генерирования LSH-кода изображения и создания индекса сегмента согласно реализации настоящего изобретения, как показано на Фиг. 4, необработанное изображение подвергается извлечению признаков посредством сверточной нейронной сети CNN для получения m-размерных собственных векторов для CNN. Впоследствии, m-размерные собственные векторы подвергаются уменьшению размерностей посредством LSH для получения LSH-кода более низкоразмерных (например, k которая гораздо меньше, чем m) собственных векторов.
Этап S32: сегментирование с усреднением низкоразмерных собственных векторов и создание таблицы индексов сегментов. Перед этапом сегментирования с усреднением LSH-кода и создания индекса сегмента, оптимальная длина сегмента может быть определена экспериментальным образом на меньшем наборе верификации, так что техническое решение настоящего изобретения получает относительно удовлетворительный компромисс между скоростью извлечения и точностью. Впоследствии, низкоразмерные векторы LSH-кода сегментируются с усреднением согласно определенной оптимальной длине d сегмента. В качестве примера, LSH-кодом выборки с номером 1001 является:
[0,1,1,0,0,3,1,0,1,0,2,1,0,1,2,1,1,0,1,-1,2,1,0,1,1,1,0,0].
Если оптимальная длина d сегмента составляет 7, он должен быть разделен на четыре сегмента, и полученными индексными элементами сегментов являются:
1[0,1,1,0,0,3,1], 2[0,1,0,2,1,0,1], 3[2,1,1,0,1,-1,2], 4[1,0,1,1,1,0,0]
при этом число перед каждым сегментом представляет номер позиции: первый сегмент - 1, второй сегмент - 2 и т.д.
После сегментирования с усреднением низкоразмерных собственных векторов LSH-кода, для низкоразмерных собственных векторов в памяти создается таблица индексов хэша сегментов. Можно подытожить основные этапы:
Этап S321: сегментирование с усреднением низкоразмерных собственных векторов, с использованием сегментированных собственных векторов в качестве индексных элементов, и вычисление отличительного признака каждого из индексных элементов;
Этап S322: выполнение операции деления по модулю в отношении отличительного признака с простым числом, которое наиболее близко к предварительно определенному числу записей, содержащихся в таблице индексов сегментов, чтобы получить адреса записей для индексных элементов; и
Этап S323: вставка низкоразмерных собственных векторов в таблицу индексов сегментов согласно полученным адресам записей для создания таблицы индексов сегментов.
Со ссылкой на структурную схему таблицы индексов хэша сегментов согласно реализации настоящего изобретения, показанной на Фиг. 5, вышеприведенная выборка с номером 1001 берется в качестве примера для описания. После разделения выборки на четыре сегмента, сегментированные собственные векторы используются в качестве индексного элемента, и вычисляется отличительный признак каждого индексного элемент сегмента. Например, отличительный признак каждого индексного элемента может быть получен посредством вычисления с помощью пятого поколения алгоритма дайджеста сообщения (то есть, функции MD5). Затем, операция деления по модулю в отношении отличительного признака с простым числом, которое наиболее близко к предварительно определенному числу записей, содержащихся в таблице индексов сегментов, чтобы получить адрес записи для каждого из индексных элементов. Число записей N таблицы индексов сегментов может быть задано по необходимости, например, согласно размеру памяти машины или требования для реализации функции, и т.д. На практике, так как число индексных элементов сегментов является большим, адреса записей индексных элементов могут дублироваться, что обычно называется "конфликтом ключей". Индексные элементы с конфликтом ключей сохраняются в виде связного списка для конфликтного набора. Наконец, низкоразмерные собственные векторы LSH-кода вставляются в таблицу индексов сегментов согласно полученным адресам записей для создания таблицы индексов сегментов.
Посредством вышеуказанных этапов S31 и S32, процесс генерирования LSH-кода изображения и создания индекса сегмента согласно реализации настоящего изобретения может быть применен на практике. Процесс извлечения схожих элементов изображения на основе индекса сегмента будет описан ниже со ссылкой на прилагаемые чертежи.
Этап S33: извлечение сегментированного низкоразмерного собственного вектора запрошенного изображения из таблицы индексов сегментов для получения набора выборок-кандидатов. Процесс извлечения схожего изображения может быть реализован на основе нижеследующих этапов:
Этап S331: осуществление доступа к адресу записи сегментированного низкоразмерного собственного вектора запрошенного изображения для получения конфликтного набора;
Этап S332: извлечение низкоразмерных собственных векторов, соответствующих узлу из конфликтного набора, который имеет такой же отличительный признак, как отличительный признак сегментированного низкоразмерного собственного вектора запрошенного изображения, в качестве набора кандидатов; и
Этап S333: объединение набора кандидатов, полученного посредством соответственно извлечения при извлечениях сегментов, и удаления из него дублированных низкоразмерных собственных векторов для получения набора выборок-кандидатов.
Со ссылкой на структуру таблицы индексов хэша сегментов, показанной на Фиг. 5, процесс извлечения для набора выборок-кандидатов вводится посредством принятия вышеприведенной выборки с номером 1001 в качестве примера. Например, на этапе S331, сначала, вычисляется отличительный признак каждого индексного элемента сегмента, чтобы найти адрес S записи каждого индексного элемента сегмента в таблице индексов, и соответствующий связный список для конфликтного набора получают посредством осуществления доступа к адресу S записи. Указатель вправо каждого узла в связном списке для конфликтного набора используется для указания связного списка для конфликтного набора, и указатель вниз используется для указания связного списка для набора кандидатов. Так называемый набор кандидатов служит для набора выборок-кандидатов, соответствующего индексным элементам сегментов для узлов, которые будут подвергнуты сравнению конкретных расстояний, при этом отличительные признаки "LSH-кодов сегментов" (индексных элементов сегментов) для узлов являются такими же как отличительные признаки индексных элементов сегментов некоторого запрошенного изображения. Здесь выборками-кандидатами являются низкоразмерные собственные векторы. Как указано на этапе S332, извлекаются наборы кандидатов. Наконец, как указано на этапе S333, после завершения всех извлечений сегментов, все полученные наборы кандидатов объединяются, и дублированные низкоразмерные собственные векторы удаляются, чтобы в итоге получить набор выборок-кандидатов для сравнения расстояний.
Этап S34: представление показателя сходства между каждой выборкой в наборе выборок-кандидатов и низкоразмерным собственным вектором запрошенного изображения. В показателе сходства, сначала вычисляются оценки манхэттенского расстояния между каждой выборкой в наборе выборок-кандидатов и низкоразмерным собственным вектором запрошенного изображения, и оценки сортируются в порядке возрастания, и изображения, соответствующие выборкам с предварительно определенным числом из наивысших оценок, считаются схожими изображения запрошенного изображения.
Согласно принципу манхэттенского расстояния, чем меньше оценка, тем выше сходство. Вследствие этого, на основе вычисленной оценки манхэттенского расстояния можно сравнивать и сортировать схожие элементы. На практике, число схожих изображений, которые должны быть отображены, может быть предварительно задано согласно потребностям приложения, или может быть выбрано самим пользователем.
Процесс изображения извлечения схожих элементов на основе индекса сегмента согласно реализации настоящего изобретения, показанный на Фиг. 6, может быть реализован посредством этапа S33 и этапа S34. То есть, сходство между низкоразмерным собственным вектором запрошенного изображения и каждым одним из набора векторов для LSH-кода сегмента соответственно распознается на основе индекса сегмента и манхэттенского расстояния. Наконец, получают набор записей со схожим LSH-кодом, чтобы получить соответствующие схожие изображения.
Техническое решение настоящего изобретения может быть реализовано посредством вышеуказанных этапов S31-S34. Посредством экспериментов, касательно набора в миллион изображений, LSH-код в 512 битов будет получен из собственного вектора третьего слоя из нижней части сверточной нейронной сети. Если выбрана длина d сегмента в 24 бита, и создан индекс, в том, что касается извлечения схожих элементов изображения, скорость извлечения составляет примерно в 1000 раз быстрее, чем прямое попарное сравнение без сегмента. То есть, скорость извлечения с индексом сегмента была значительно улучшена относительно сравнения, непосредственно основанного на первоначальном LSH-коде. В дополнение, так как LSH-код содержит количественную информацию расстояния, информация расстояния может быть использована эффективно, когда манхэттенское расстояние используется для показателя сходства, тогда как расстояние Хэмминга является более подходящим для сравнения равнозначности цифр. Так точность извлечения для показателя сходства на основе манхэттенского расстояния выше, чем точность извлечения для показателя сходства на основе расстояния Хэмминга. Большое число экспериментальных данных показывает, что точность их извлечения выше примерно на 5%.
Фиг. 7 является принципиальной схемой основных модулей устройства для сравнения схожих элементов высокоразмерных признаков изображений согласно варианту осуществления настоящего изобретения. Как показано на Фиг. 7, устройство для сравнения схожих элементов высокоразмерных признаков изображений 70 в варианте осуществления настоящего изобретения в основном содержит модуль 71 уменьшения размерностей признаков, модуль 72 индексации сегментов, модуль 73 запрашивания схожих элементов и модуль 74 сравнения показателей.
Модуль 71 уменьшения размерностей признаков служит для уменьшения размерностей извлеченных собственных векторов изображений посредством LSH-алгоритма для получения низкоразмерных собственных векторов.
Модуль 72 индексации сегментов служит для сегментирования с усреднением низкоразмерных собственных векторов и создания таблицы индексов сегментов. До этапа сегментирования с усреднением низкоразмерных собственных векторов, модуль 72 индексации сегментов дополнительно определяет экспериментальным образом оптимальную длину сегмента на меньшем наборе верификации.
Модуль 72 индексации сегментов служит дополнительно для: сегментирования с усреднением низкоразмерных собственных векторов, с использованием сегментированных собственных векторов в качестве индексных элементов, и вычисления отличительного признака каждого из индексных элементов; выполнения операции деления по модулю в отношении отличительного признака с простым числом, которое наиболее близко к предварительно определенному числу записей, содержащихся в таблице индексов сегментов, чтобы получить адреса записей для индексных элементов; и вставки низкоразмерных собственных векторов в таблицу индексов сегментов согласно полученным адресам записей для создания таблицы индексов сегментов.
Модуль 73 запрашивания схожих элементов служит для извлечения сегментированного низкоразмерного собственного вектора запрошенного изображения из таблицы индексов сегментов для получения набора выборок-кандидатов.
Модуль 73 запрашивания схожих элементов служит дополнительно для: осуществления доступа к адресу записи для сегментированного низкоразмерного собственного вектора запрошенного изображения для получения конфликтного набора; извлечения низкоразмерных собственных векторов, соответствующих узлу из конфликтного набора, который имеет такой же отличительный признак, как отличительный признак сегментированного низкоразмерного собственного вектора запрошенного изображения, в качестве набора кандидатов; и объединения набора кандидатов, полученного посредством соответствующих извлечений сегментов, и удаления из него дублированных низкоразмерных собственных векторов для получения набора выборок-кандидатов.
Модуль 74 сравнения показателей служит для представления показателя сходства между каждой выборкой в наборе выборок-кандидатов и низкоразмерным собственным вектором запрошенного изображения.
Модуль 74 сравнения показателей служит дополнительно для: вычисления оценок манхэттеновских расстояний между каждой выборкой в наборе выборок-кандидатов и низкоразмерным собственным вектором запрошенного изображения; и сортировки оценок в порядке возрастания, и принятия изображений, соответствующих выборкам с предварительно определенным числом наивысших оценок, как схожих изображений запрошенного изображения.
Согласно техническому решению варианта осуществления настоящего изобретения, посредством создания индекса сегмента собственных векторов с уменьшенными размерностями для LSH-кода для изображений, скорость извлечения может быть ускорена для повышения эффективности извлечения. При извлечении схожих элементов изображения, посредством использования показателя манхэттенского расстояния при замене обыкновенного показателя расстояния Хэмминга, количественная информация расстояния, содержащаяся в LSH-коде, может быть в достаточно мере использована для повышения точности извлечения при извлечении сегментов.
В дополнение, процесс создания индекса сегмента в техническом решении настоящего изобретения может не ограничиваться выполнением на одной машине и может выполняться параллельно в распределенной системе планирования. Таким образом, могут быть обработаны данные большого масштаба.
Вышеуказанная конкретная реализация не накладывает какого-либо ограничения на объем правовой охраны настоящего изобретения. Специалистам в данной области техники должно быть понятно, что различные модификации, комбинации, подкомбинации и перемены могут происходить в зависимости от проектных требований и других факторов. Любые модификации, эквивалентные замены, улучшение и т.д., сделанные в рамках сущности и принципа настоящего изобретения, должны быть включены в объем правовой охраны настоящего изобретения.

Claims (38)

1. Компьютерно-реализуемый способ сравнения схожих элементов высокоразмерных признаков изображений, отличающийся тем, что содержит этапы, на которых:
уменьшают размерности извлеченных собственных векторов изображений посредством алгоритма локально-чувствительного хеширования (LSH) для получения низкоразмерных собственных векторов;
сегментируют с усреднением низкоразмерные собственные векторы и создают таблицу индексов сегментов;
извлекают сегментированный низкоразмерный собственный вектор запрошенного изображения из таблицы индексов сегментов для получения набора выборок-кандидатов и
представляют показатель сходства между каждой выборкой в наборе выборок-кандидатов и низкоразмерным собственным вектором запрошенного изображения.
2. Способ по п. 1, отличающийся тем, что собственные векторы изображения извлекаются с помощью нейронной сети, сконструированной с использованием метода глубокого обучения.
3. Способ по п. 2, отличающийся тем, что нейронная сеть является сверточной нейронной сетью.
4. Способ по п. 1, отличающийся тем, что до этапа сегментирования с усреднением низкоразмерных собственных векторов способ дополнительно содержит этап, на котором определяют экспериментальным образом оптимальную длину сегмента на меньшем наборе верификации.
5. Способ по п. 1, отличающийся тем, что этап сегментирования с усреднением низкоразмерных собственных векторов и создания таблицы индексов сегментов содержит этапы, на которых:
сегментируют с усреднением низкоразмерные собственные векторы с использованием сегментированных собственных векторов в качестве индексных элементов и вычисляют отличительный признак каждого из индексных элементов;
выполняют операцию деления по модулю в отношении отличительного признака с простым числом, которое наиболее близко к предварительно определенному числу записей, содержащихся в таблице индексов сегментов, чтобы получить адреса записей для индексных элементов; и
вставляют низкоразмерные собственные векторы в таблицу индексов сегментов согласно полученным адресам записей для создания таблицы индексов сегментов.
6. Способ по п. 1, отличающийся тем, что этап извлечения сегментированного низкоразмерного собственного вектора запрошенного изображения из таблицы индексов сегментов для получения набора выборок-кандидатов содержит этапы, на которых:
осуществляют доступ к адресу записи сегментированного низкоразмерного собственного вектора запрошенного изображения для получения конфликтного набора;
извлекают низкоразмерные собственные векторы, соответствующие узлу из конфликтного набора, который имеет такой же отличительный признак, как отличительный признак сегментированного низкоразмерного собственного вектора запрошенного изображения, в качестве набора кандидатов и
объединяют набор кандидатов, полученный посредством соответствующих извлечений сегментов, и удаляют из него дублированные низкоразмерные собственные векторы для получения набора выборок-кандидатов.
7. Способ по п. 1, отличающийся тем, что упомянутое представление показателя сходства между каждой выборкой в наборе выборок-кандидатов и низкоразмерным собственным вектором запрошенного изображения содержит:
вычисление оценок манхэттеновских расстояний между каждой выборкой в наборе выборок-кандидатов и низкоразмерным собственным вектором запрошенного изображения;
сортировку оценок в порядке возрастания и принятие изображений, соответствующих выборкам с предварительно определенным числом наивысших оценок, в качестве схожих изображений запрошенного изображения.
8. Устройство для сравнения схожих элементов высокоразмерных признаков изображений, отличающееся тем, что содержит:
модуль уменьшения размерности признаков для уменьшения размерностей извлеченных собственных векторов изображений посредством LSH-алгоритма для получения низкоразмерных собственных векторов;
модуль индексации сегментов для сегментирования с усреднением низкоразмерных собственных векторов и создания таблицы индексов сегментов;
модуль запрашивания схожих элементов для извлечения сегментированного низкоразмерного собственного вектора запрошенного изображения из таблицы индексов сегментов для получения набора выборок-кандидатов и
модуль сравнения показателей для представления показателя сходства между каждой выборкой в наборе выборок-кандидатов и низкоразмерным собственным вектором запрошенного изображения.
9. Устройство по п. 8, отличающееся тем, что собственные векторы изображения извлекаются с помощью нейронной сети, сконструированной с использованием метода глубокого обучения.
10. Устройство по п. 9, отличающееся тем, что нейронная сеть является сверточной нейронной сетью.
11. Устройство по п. 8, отличающееся тем, что до упомянутого сегментирования с усреднением низкоразмерных собственных векторов модуль индексации сегментов служит дополнительно для определения экспериментальным образом оптимальной длины сегмента на меньшем наборе верификации.
12. Устройство по п. 8, отличающееся тем, что модуль индексации сегментов служит дополнительно для:
сегментирования с усреднением низкоразмерных собственных векторов с использованием сегментированных собственных векторов в качестве индексных элементов и вычисления отличительного признака каждого из индексных элементов;
выполнения операции деления по модулю в отношении отличительного признака с простым числом, которое наиболее близко к предварительно определенному числу записей, содержащихся в таблице индексов сегментов, чтобы получить адреса записей для индексных элементов; и
вставки низкоразмерных собственных векторов в таблицу индексов сегментов согласно полученным адресам записей для создания таблицы индексов сегментов.
13. Устройство по п. 8, отличающееся тем, что модуль запрашивания схожих элементов служит дополнительно для:
осуществления доступа к адресу записи сегментированного низкоразмерного собственного вектора запрошенного изображения для получения конфликтного набора;
извлечения низкоразмерных собственных векторов, соответствующих узлу из конфликтного набора, который имеет такой же отличительный признак, как отличительный признак сегментированного низкоразмерного собственного вектора запрошенного изображения, в качестве наборов кандидатов и
объединения набора кандидатов, полученных посредством соответствующих извлечений сегментов, и удаления из него дублированных низкоразмерных собственных векторов для получения набора выборок-кандидатов.
14. Устройство по п. 8, отличающееся тем, что модуль сравнения показателей служит дополнительно для:
вычисления оценок манхэттеновских расстояний между каждыми выборками в наборе выборок-кандидатов и низкоразмерным собственным вектором запрошенного изображения и
сортировки оценок в порядке возрастания и принятия изображений, соответствующих выборкам с предварительно определенным числом наивысших оценок, в качестве схожих изображений запрошенного изображения.
RU2018106458A 2015-07-23 2016-07-13 Способ и устройство для сравнения схожих элементов высокоразмерных признаков изображений RU2686590C1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510436176.6A CN105095435A (zh) 2015-07-23 2015-07-23 一种图像高维特征的相似比较方法及装置
CN201510436176.6 2015-07-23
PCT/CN2016/089866 WO2017012491A1 (zh) 2015-07-23 2016-07-13 一种图像高维特征的相似比较方法及装置

Publications (1)

Publication Number Publication Date
RU2686590C1 true RU2686590C1 (ru) 2019-04-29

Family

ID=54575872

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018106458A RU2686590C1 (ru) 2015-07-23 2016-07-13 Способ и устройство для сравнения схожих элементов высокоразмерных признаков изображений

Country Status (5)

Country Link
US (1) US11048966B2 (ru)
JP (1) JP6544756B2 (ru)
CN (1) CN105095435A (ru)
RU (1) RU2686590C1 (ru)
WO (1) WO2017012491A1 (ru)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095435A (zh) 2015-07-23 2015-11-25 北京京东尚科信息技术有限公司 一种图像高维特征的相似比较方法及装置
CN105512273A (zh) * 2015-12-03 2016-04-20 中山大学 一种基于可变长深度哈希学习的图像检索方法
CN105721933A (zh) * 2016-03-23 2016-06-29 Tcl集团股份有限公司 广告视频信息库的创建方法、广告视频识别方法及装置
CN105844667A (zh) * 2016-03-25 2016-08-10 中国矿业大学 一种紧凑颜色编码的结构化目标跟踪方法
CN107423309A (zh) * 2016-06-01 2017-12-01 国家计算机网络与信息安全管理中心 基于模糊哈希算法的海量互联网相似图片检测***及方法
CN106227851B (zh) * 2016-07-29 2019-10-01 汤一平 基于深度卷积神经网络的分层深度搜索的图像检索方法
CN108629345B (zh) 2017-03-17 2021-07-30 北京京东尚科信息技术有限公司 高维图像特征匹配方法和装置
CN108629233A (zh) 2017-03-20 2018-10-09 华为技术有限公司 一种行人检索方法及装置
CN107220325A (zh) * 2017-05-22 2017-09-29 华中科技大学 一种基于卷积神经网络的app相似图标检索方法和***
CN107273471A (zh) * 2017-06-07 2017-10-20 国网上海市电力公司 一种基于Geohash的二元电力时序数据索引构建方法
CN110019905B (zh) * 2017-10-13 2022-02-01 北京京东尚科信息技术有限公司 信息输出方法和装置
CN108876864B (zh) * 2017-11-03 2022-03-08 北京旷视科技有限公司 图像编码、解码方法、装置、电子设备及计算机可读介质
CN107992892A (zh) * 2017-12-05 2018-05-04 奕响（大连）科技有限公司 一种像素灰度图片相似判定方法
CN108038436A (zh) * 2017-12-05 2018-05-15 奕响（大连）科技有限公司 一种局部像素灰度图片相似判定方法
CN108021693A (zh) * 2017-12-18 2018-05-11 北京奇艺世纪科技有限公司 一种图像检索方法和装置
CN109416689B (zh) * 2018-01-16 2021-08-03 深圳力维智联技术有限公司 海量特征向量数据的相似检索方法及设备、存储介质
CN108959441A (zh) * 2018-06-13 2018-12-07 新华智云科技有限公司 一种基于局部敏感哈希的近相似快速查找方法
CN109271545B (zh) * 2018-08-02 2022-06-03 深圳市商汤科技有限公司 一种特征检索方法及装置、存储介质和计算机设备
CN109165307B (zh) * 2018-09-19 2021-02-02 腾讯科技（深圳）有限公司 一种特征检索方法、装置和存储介质
CN111126102A (zh) * 2018-10-30 2020-05-08 富士通株式会社 人员搜索方法、装置及图像处理设备
CN110149529B (zh) * 2018-11-01 2021-05-28 腾讯科技（深圳）有限公司 媒体信息的处理方法、服务器及存储介质
CN109543057A (zh) * 2018-11-20 2019-03-29 广州逗号智能零售有限公司 基于智能收银台的商品识别方法、装置、设备及存储介质
CN109582674B (zh) * 2018-11-28 2023-12-22 亚信科技（南京）有限公司 一种数据存储方法及***
CN109753576A (zh) * 2018-12-25 2019-05-14 上海七印信息科技有限公司 一种相似图像检索方法
CN111460088A (zh) * 2019-01-22 2020-07-28 阿里巴巴集团控股有限公司 相似文本的检索方法、装置和***
CN111506756B (zh) * 2019-01-30 2024-05-17 北京京东尚科信息技术有限公司 相似图片的查找方法及***、电子设备、存储介质
US10922584B2 (en) 2019-01-30 2021-02-16 Walmart Apollo, Llc Systems, methods, and techniques for training neural networks and utilizing the neural networks to detect non-compliant content
US10810726B2 (en) 2019-01-30 2020-10-20 Walmart Apollo, Llc Systems and methods for detecting content in images using neural network architectures
CN110059634B (zh) * 2019-04-19 2023-04-18 山东博昂信息科技有限公司 一种大场景人脸抓拍方法
CN110209895B (zh) * 2019-06-06 2023-09-05 创新先进技术有限公司 向量检索方法、装置和设备
KR20210033774A (ko) 2019-09-19 2021-03-29 삼성전자주식회사 이미지 분석 방법 및 이를 수행하는 전자 장치
CN111143597B (zh) * 2019-12-13 2023-06-20 浙江大华技术股份有限公司 图像检索方法、终端及存储装置
CN111008301B (zh) * 2019-12-19 2023-08-15 新华智云科技有限公司 一种以图搜视频的方法
CN111191058B (zh) * 2019-12-27 2023-08-29 青岛海洋科技中心 一种图片检索方法
US11758069B2 (en) 2020-01-27 2023-09-12 Walmart Apollo, Llc Systems and methods for identifying non-compliant images using neural network architectures
CN111325245B (zh) * 2020-02-05 2023-10-17 腾讯科技（深圳）有限公司 重复图像识别方法、装置、电子设备及计算机可读存储介质
CN111324760B (zh) * 2020-02-19 2023-09-26 创优数字科技(广东)有限公司 一种图像检索方法及装置
CN111581413B (zh) * 2020-04-03 2023-02-28 北京联合大学 一种面向高维图像数据检索的数据过滤方法及***
CN111738194B (zh) * 2020-06-29 2024-02-02 深圳力维智联技术有限公司 一种用于人脸图像相似性的评价方法和装置
CN111737586B (zh) * 2020-08-19 2020-12-04 腾讯科技（深圳）有限公司 信息推荐方法、装置、设备及计算机可读存储介质
CN112100412B (zh) * 2020-09-01 2024-04-12 深圳市欢太科技有限公司 图片检索方法、装置、计算机设备和存储介质
CN112000940B (zh) * 2020-09-11 2022-07-12 支付宝(杭州)信息技术有限公司 一种隐私保护下的用户识别方法、装置以及设备
CN112307248B (zh) * 2020-11-26 2023-11-03 国网数字科技控股有限公司 一种图像检索方法及装置
CN112417381B (zh) * 2020-12-11 2021-06-22 中国搜索信息科技股份有限公司 应用于图像版权保护的快速定位侵权图像的方法及装置
JP7200279B2 (ja) * 2021-03-03 2023-01-06 三菱電機インフォメーションシステムズ株式会社 検知装置、検知方法、検知プログラム及び検知システム
CN113127515A (zh) * 2021-04-12 2021-07-16 中国电力科学研究院有限公司 面向电网的调控数据高速缓存方法、装置、计算机设备和存储介质
CN113436188B (zh) * 2021-07-28 2023-02-03 北京计算机技术及应用研究所 一种利用卷积计算图像哈希值的方法
CN114595350B (zh) * 2021-12-08 2024-04-26 拓尔思信息技术股份有限公司 一种百亿级图像快速搜索的方法
CN114445811A (zh) * 2022-01-30 2022-05-06 北京百度网讯科技有限公司 一种图像处理方法、装置及电子设备
CN114795468B (zh) * 2022-04-19 2022-11-15 首都医科大学附属北京天坛医院 一种血管内治疗的术中导航方法及其***
CN114943090B (zh) * 2022-07-22 2022-11-22 图灵人工智能研究院（南京）有限公司 一种基于同态加密大规模人脸库隐匿查询的方法
CN114978783B (zh) * 2022-08-02 2022-11-11 暗链科技(深圳)有限公司 零知识身份验证方法、验证客户端、用户客户端及***
CN115357747B (zh) * 2022-10-18 2024-03-26 山东建筑大学 一种基于序数哈希的图像检索方法及***
CN117390013A (zh) * 2023-09-12 2024-01-12 博瀚智能(深圳)有限公司 数据存储方法、检索方法、***、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7353224B2 (en) * 2001-12-04 2008-04-01 Hewlett-Packard Development Company, L.P. System and method for efficiently finding near-similar images in massive databases
US20110142335A1 (en) * 2009-12-11 2011-06-16 Bernard Ghanem Image Comparison System and Method
RU2480831C1 (ru) * 2011-11-24 2013-04-27 Общество с ограниченной ответственностью "КБК Групп" Способ выборки изображений из базы изображений
CN103345496A (zh) * 2013-06-28 2013-10-09 新浪网技术(中国)有限公司 多媒体信息检索方法和***
CN104050247A (zh) * 2014-06-04 2014-09-17 上海美琦浦悦通讯科技有限公司 实现海量视频快速检索的方法
CN104572804A (zh) * 2013-10-24 2015-04-29 Tcl集团股份有限公司 一种视频物体检索的方法及其***

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070276733A1 (en) * 2004-06-23 2007-11-29 Frank Geshwind Method and system for music information retrieval
US7657126B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for search portions of objects in images and features thereof
CN101710334B (zh) * 2009-12-04 2012-01-25 大连理工大学 基于图像哈希的大规模图像库检索方法
US8488883B2 (en) * 2009-12-28 2013-07-16 Picscout (Israel) Ltd. Robust and efficient image identification
US8515964B2 (en) * 2011-07-25 2013-08-20 Yahoo! Inc. Method and system for fast similarity computation in high dimensional space
US9208219B2 (en) 2012-02-09 2015-12-08 Stroz Friedberg, LLC Similar document detection and electronic discovery
US20150169644A1 (en) * 2013-01-03 2015-06-18 Google Inc. Shape-Gain Sketches for Fast Image Similarity Search
CN103440292B (zh) * 2013-08-16 2016-12-28 新浪网技术(中国)有限公司 基于比特向量的多媒体信息检索方法和***
US9412031B2 (en) 2013-10-16 2016-08-09 Xerox Corporation Delayed vehicle identification for privacy enforcement
JP6211407B2 (ja) * 2013-12-06 2017-10-11 株式会社デンソーアイティーラボラトリ 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム
CN104035949B (zh) * 2013-12-10 2017-05-10 南京信息工程大学 一种基于局部敏感哈希改进算法的相似性数据检索方法
CN105095435A (zh) * 2015-07-23 2015-11-25 北京京东尚科信息技术有限公司 一种图像高维特征的相似比较方法及装置
US11100073B2 (en) * 2015-11-12 2021-08-24 Verizon Media Inc. Method and system for data assignment in a distributed system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7353224B2 (en) * 2001-12-04 2008-04-01 Hewlett-Packard Development Company, L.P. System and method for efficiently finding near-similar images in massive databases
US20110142335A1 (en) * 2009-12-11 2011-06-16 Bernard Ghanem Image Comparison System and Method
RU2480831C1 (ru) * 2011-11-24 2013-04-27 Общество с ограниченной ответственностью "КБК Групп" Способ выборки изображений из базы изображений
CN103345496A (zh) * 2013-06-28 2013-10-09 新浪网技术(中国)有限公司 多媒体信息检索方法和***
CN104572804A (zh) * 2013-10-24 2015-04-29 Tcl集团股份有限公司 一种视频物体检索的方法及其***
CN104050247A (zh) * 2014-06-04 2014-09-17 上海美琦浦悦通讯科技有限公司 实现海量视频快速检索的方法

Also Published As

Publication number Publication date
WO2017012491A1 (zh) 2017-01-26
JP2018527656A (ja) 2018-09-20
US11048966B2 (en) 2021-06-29
US20180349735A1 (en) 2018-12-06
CN105095435A (zh) 2015-11-25
JP6544756B2 (ja) 2019-07-17

Similar Documents

Publication Publication Date Title
RU2686590C1 (ru) Способ и устройство для сравнения схожих элементов высокоразмерных признаков изображений
AU2011326430B2 (en) Learning tags for video annotation using latent subtags
CN106202256B (zh) 基于语义传播及混合多示例学习的Web图像检索方法
US8577882B2 (en) Method and system for searching multilingual documents
CN110502664B (zh) 视频标签索引库创建方法、视频标签生成方法及装置
JP2014533868A (ja) 画像検索
KR20160107187A (ko) 검색 결과에서의 논리적인 질문 응답 기법
WO2020114100A1 (zh) 一种信息处理方法、装置和计算机存储介质
US11429792B2 (en) Creating and interacting with data records having semantic vectors and natural language expressions produced by a machine-trained model
JP2009075791A (ja) 機械翻訳を行う装置、方法、プログラムおよびシステム
US20190108280A1 (en) Image search and index building
JP7149976B2 (ja) 誤り訂正方法及び装置、コンピュータ読み取り可能な媒体
US11574004B2 (en) Visual image search using text-based search engines
CN113918807A (zh) 数据推荐方法、装置、计算设备及计算机可读存储介质
CN106599305B (zh) 一种基于众包的异构媒体语义融合方法
CN110209895B (zh) 向量检索方法、装置和设备
JP2016110256A (ja) 情報処理装置及び情報処理プログラム
US10824811B2 (en) Machine learning data extraction algorithms
CN113971403A (zh) 一种考虑文本语义信息的实体识别方法及***
CN110275990B (zh) Kv存储的键与值的生成方法及装置
JP6625087B2 (ja) 違法コンテンツ探索装置及び違法コンテンツ探索方法
CN111522903A (zh) 一种深度哈希检索方法、设备及介质
CN114723073B (zh) 语言模型预训练、产品搜索方法、装置以及计算机设备
CN115048543B (zh) 图像相似判断方法、图像搜索方法及设备
US20220253473A1 (en) Machine generated ontology