RU2345414C1 - Способ построения системы индексирования для поиска объектов на цифровых изображениях - Google Patents
Способ построения системы индексирования для поиска объектов на цифровых изображениях Download PDFInfo
- Publication number
- RU2345414C1 RU2345414C1 RU2007130629/09A RU2007130629A RU2345414C1 RU 2345414 C1 RU2345414 C1 RU 2345414C1 RU 2007130629/09 A RU2007130629/09 A RU 2007130629/09A RU 2007130629 A RU2007130629 A RU 2007130629A RU 2345414 C1 RU2345414 C1 RU 2345414C1
- Authority
- RU
- Russia
- Prior art keywords
- objects
- list
- images
- image
- file
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
Изобретение относится к способу построения ситстемы индексирования для поиска объектов на цифровых изображениях и может найти широкое применение в поисковых системах управления цифровыми фотоальбомами. Техническим результатом, на достижение которого направлено данное изобретение, является повышение скорости поиска цифровых изображений, содержащих один и тот же объект или набор из нескольких объектов, а также обеспечение возможности построения поисковых запросов, использующих комбинацию графических объектов в качестве элементов запроса. В соответствии с данным изобретением все доступные системе индексирования графические файлы заносятся в список. В этот список, кроме имени и пути до файла, может автоматически заноситься информация, хранящаяся в метаданных файла, характеристики изображения, полученные после автоматического анализа файла, и набор атрибутов, определенных пользователем для данного файла вручную. Каждое изображение, хранящееся в графическом файле, анализируется на предмет нахождения на нем изображений искомых объектов. Найденные изображения объектов заносятся в список изображений объектов вместе со ссылкой на файл, содержащий изображение. Для каждой записи списка изображений объектов посредством автоматического анализа формируются характеристики изображения объекта (угол поворота объекта, угол наклона и т.п.). Здесь же хранятся добавленные вручную признаки изображения объекта. 4 з.п. ф-лы, 1 ил.
Description
Изобретение используется для реализации контентно-ориентированного поиска графической информации, расположенной на локальном компьютере пользователя или на общедоступных ресурсах, в том числе в Интернете в виде файлов различных графических форматов.
Предлагаемый способ может найти широкое применение в поисковых системах, а также в системах управления цифровыми фотоальбомами.
Известны методы построения индексов для реализации поисковых систем (см., например, Патент № WO 2006/081325 А2, "Multiple index based information retrieval system"), подобные системы развиты уже довольно сильно и продолжают развиваться, в них реализуется сложный эвристический анализ индексируемой информации. Однако подобные системы ориентируются на поиск текстовой информации и не позволяют работать с цифровыми графическими изображениями.
Известны методы построения контентно-ориентированного индекса для организации поиска файлов различных форматов, в том числе и графических, в которых оценивается совпадение содержимого (см., например, Патент № WO 2005/033885 А2, 14.04.2005, "Content oriented index and search method and system"). Недостатками таких методов при анализе графических файлов является отсутствие анализа изображения как такового, из-за чего изображения одного и того же объекта, хранящиеся с разным масштабом, будут восприниматься как совершенно разные изображения.
Более перспективными представляются методы поиска, основанные на анализе цветовой палитры изображений (см., например, Патент № US 006026411 А, 15.02.2000, "Method, apparatus and computer program product for generating an image index and for internet searching and querying by image colors"). Каждое изображение масштабируется с различными коэффициентами масштабирования, для каждого уровня масштабирования производится низкочастотная фильтрация изображения, а затем типовые цвета каждого уровня сохраняются в качестве индекса. Такой метод обеспечивает анализ интегральных характеристик изображений, но не их содержимое, что не позволяет находить различные изображения одного объекта - в лучшем случае будут найдены изображения подобных объектов, сфотографированные при одинаковых условиях съемки.
Известны методы индексирования цифровых изображений, которые предполагают построение миниатюрных изображений - уменьшенных копий изображений для последующей ручной сортировки изображений пользователем (см., например, Патент GB 2404807 A, 09.02.2005 "A method and a system for indexing and tracking images"). Недостатками таких методов являются большие трудозатраты со стороны пользователя на этапе построения индекса.
Наиболее близким по технической сущности является способ построения системы индексирования для поиска объектов на цифровых изображениях, при котором из доступных файлов выбирают графические файлы, формируют список графических файлов, доступных для индексирования, выявляют на графических файлах изображения, а информацию об изображениях используют для построения индексов (Патент US 2007/0112850 А1, 17.05.2007, "System and methods for image management"). Для всех доступных сетевой файловой системе изображений автоматически или вручную (пользователем) создаются дескрипторы. Далее эти дескрипторы могут использоваться для выборки изображений, соответствующих предъявленным критериям, например, с одинаковыми значениями определенных дескрипторов. Недостатком прототипа является невозможность автоматической обработки изображений, а также анализ изображения в целом, без выделения объектов, расположенных на изображении.
Техническим результатом, на достижение которого направлено данное изобретение, является повышение скорости поиска цифровых изображений, содержащих один и тот же объект или набор из нескольких объектов, а также обеспечение возможности построения поисковых запросов, использующих комбинацию графических объектов в качестве элементов запроса.
Технический результат, на достижение которого направлено создание данного изобретения, заключается в том, что в способе построения системы индексирования для поиска объектов на цифровых изображениях, при котором из доступных файлов выбирают графические файлы, формируют список графических файлов, доступных для индексирования, информацию об изображениях, хранящуюся в графических файлах, используют для построения индексов, выявляют в изображениях, хранящихся в графических файлах изображения объектов, формируют список изображений объектов, для каждого изображения объекта автоматически выявляют информацию, относящуюся к заданным характеристикам изображения, которой снабжают каждое изображение объекта в списке изображений объектов, при этом по окончании обработки всех изображений объектов, найденных на текущем обрабатываемом графическом файле, автоматически сформированная информация об изображении объекта добавляется в список графических файлов, в процессе формирования списка изображений объектов группируют похожие изображения объектов, формируют список групп изображений объектов, из которого формируют список объектов, причем индексы для поиска объектов включают в себя данные об объектах и характеристиках изображений объектов.
Заданными характеристиками изображения является ракурс съемки, угол поворота объекта, угол наклона.
При необходимости вручную дополняют записи в списке графических файлов, списке изображений объектов и списке объектов, а также корректируют список групп.
Для корректировки списка групп вручную выбирают изображение объекта и объект в соответствующих списках, при этом перестроение группы осуществляется автоматически.
Способ основан на предварительном анализе цифрового представления изображения с целью определения наличия и расположения искомых объектов.
Все доступные системе индексирования графические файлы заносятся в список. В этот список, кроме имени и пути до файла, может автоматически заноситься информация, хранящаяся в метаданных файла, характеристики изображения, полученные после автоматического анализа файла, и набор атрибутов, определенных пользователем для данного файла вручную.
Каждое изображение, хранящееся в графическом файле, анализируется на предмет нахождения на нем изображений искомых объектов. Найденные изображения объектов заносятся в список изображений объектов вместе со ссылкой на файл, содержащий изображение. Для каждой записи списка изображений объектов посредством автоматического анализа формируются характеристики изображения объекта (угол поворота объекта, угол наклона и т.п.). Здесь же хранятся добавленные вручную признаки изображения объекта.
Список изображений объектов обрабатывается с целью объединения похожих изображений объектов в группы. Полученные группы формируют список групп.
На базе списка групп формируется список объектов, каждому элементу списка объектов может соответствовать одна или несколько групп. Для каждого элемента списка объектов может быть задан набор характеристик объекта.
Для реализации предлагаемого способа построения индекса должны быть решены следующие задачи: поиск объектов на изображении, автоматическое формирование признаков изображений объектов, автоматическое формирование групп изображений объектов.
Задача поиска изображения объекта на цифровом изображении может быть решена различными способами, например с помощью выделения замкнутого контура, максимально совпадающего с границами объекта с последующим поочередным наложением шаблонов, хранящихся в памяти компьютера (см., например, патент № RU 2250499 С1, 17.11.2003 «Способ компьютерного распознавания объектов»). Или с помощью способов, основанных на выделении замкнутых контуров (контуров одного цвета) на изображении с их последующим представлением в виде коэффициентов преобразования Фурье (см., например, US патент №6563959 B1, 13.05.2003, "Perceptual similarity image retrieval method"). В этом случае степень схожести двух объектов на разных изображениях определяется по ряду коэффициентов.
Поиск областей изображения, содержащих изображения искомых объектов, может быть, например, с помощью перевода изображения в пространство коэффициентов вейвлет-преобразования, описанного в R. Lienhart, J. Maydt "An Extended Set of Haar-like Features for Rapid Object Detection". Полученные коэффициенты вейвлет-преобразования сравниваются с набором шаблонов - нормированных по размеру изображений лиц. Если выявляется совпадение области изображения с одним из шаблонов, то это значит, что эта область, скорее всего, содержит искомый объект.
Известны способы, предусматривающие обнаружение объекта на изображении с последующей его классификацией и построения индекса распознавания (recognition signature) для организации поиска (см., например, Патент № WO 2006/122164 А2, 16.11.2006, "System and method for enacting the use of captured images through recognition").
Способ ориентируется на поиск изображений человека и заключается в последовательном выполнении для каждого изображения следующих этапов: обнаружение объектов на изображении; выполнение распознавания найденных объектов в зависимости от их типа; формирование идентификационной информации для каждого объекта. Идентификационная информация в дальнейшем может быть использована для организации групп изображений, содержащих похожие лица.
Изображения могут быть объединены в группы по дате и времени появления изображений, а также по месту появления изображений. Эта информация хранится в виде метаданных в некоторых файлах изображений, созданных с помощью современных цифровых фотоаппаратов. Подобные способы могут быть использованы для автоматического формирования признаков изображений объектов. Отличие способа заключается в том, что все графические файлы подвергаются обязательной автоматической обработке для выделения искомых объектов на изображении из графического файла с автоматическим формированием набора признаков графического файла, а также набора признаков всех найденных изображений объектов, объединения нескольких различных изображений одного и того же объекта в группу изображений и отнесении ее к одному объекту.
Предлагаемый способ иллюстрируется последовательностью операций, приведенных на чертеже, где
10 - набор всех доступных файлов;
20 - операция поиска и первичного анализа графических файлов;
30 - список графических файлов;
40 - операция поиска изображений объектов на изображении из графического файла;
45 - автоматически сформированная информация об изображении, хранящемся в графическом файле;
47 - автоматически сформированная информация об изображении объекта;
49 - сохранение информации в списке изображений объектов;
50 - список найденных изображений объектов;
60 - операция формирования групп похожих изображений объектов;
65 - сохранение информации в списке групп;
70 - список групп похожих изображений объектов;
75 - операция автоматического формирования списка объектов;
80 - список объектов:
90 - операция перегруппировки;
100 - операция дополнения свойств записей списка графических файлов пользователем;
110 - операция дополнения свойств записей списка изображений объектов пользователем;
120 - операция дополнения свойств записей списка объектов пользователем;
130 - операция корректировки списка групп пользователем;
140 - операция корректировки списка объектов пользователем.
Построение индекса начинается с формирования списка графических файлов, доступных для индексирования. Из списка всех доступных системе файлов (10) операция поиска графических файлов (20) выбирает графические файлы и сохраняет имя файла, путь до него и метаданные в списке графических файлов (30). Операция поиска изображений объектов (40) выполняется над всеми элементами списка (30). Каждое найденное изображение объекта заносится (49) в список изображений объектов (50). При этом оно снабжается автоматически сформированной информацией об объекте (47) (ракурс съемки и т.п., все, что можно определить на основании автоматического анализа изображения объекта). По окончании обработки всех изображений объектов, найденных на текущем обрабатываемом изображении из графического файла, автоматически сформированная информация об изображении объекта (45) заносится в список графических файлов (30).
Операция группировки (60) выполняется для всех вновь появляющихся изображений объектов. По ее результатам формируется список групп (70). В результате выполнения операции группировки (60) очередное изображение объекта либо добавляется в существующую группу, либо для нее создается новая группа.
Каждая группа из списка (70) сразу после появления автоматически заносится (75) в список объектов (80). В дальнейшем этот список может корректироваться пользователем с целью объединения нескольких автоматически сформированных групп в один объект (140). Кроме того, предусмотрена операция корректировки пользователем списка групп (130). Эта корректировка выполняется опосредовано путем явного указания пользователем, что изображение объекта, отнесенное к одной группе, должно, в конечном итоге, относится к другой группе. При этом пользователь не указывает группу, к которой должно относиться изображение объекта, он указывает объект, а система автоматически перестраивает группы (90) таким образом, чтобы изображение объекта, в конечном итоге, относилось к нужному объекту. Также предусмотрены операции дополнения пользователем свойств записей списка графических файлов (100), списка изображений объектов (110) и списка объектов (120).
Благодаря построению индекса, состоящего из элементов изображений и их характеристик, обеспечивается возможность группировки изображений по заданным признакам, быстрого поиска разных изображений одного и того же объекта, поиска совокупности изображений, содержащих один и тот же объект или набор из более, чем одного одинаковых объектов, а также обеспечения иных видов поисковых запросов, использующих комбинацию графических объектов в качестве элементов запроса.
Claims (5)
1. Способ построения системы индексирования для поиска объектов на цифровых изображениях, при котором из доступных файлов выбирают графические файлы, формируют список графических файлов, доступных для индексирования, информацию об изображениях, хранящуюся в графических файлах, используют для построения индексов, отличающийся тем, что выявляют в графических файлах изображения объектов, формируют список изображений объектов, для каждого изображения объекта автоматически выявляют информацию, относящуюся к заданным характеристикам изображения, которой снабжают каждое изображение объекта в списке изображений объектов, при этом по окончании обработки всех изображений объектов, найденных на текущем обрабатываемом графическом файле, автоматически сформированная информация об изображении объекта добавляется в список графических файлов, в процессе формирования списка изображений объектов группируют похожие изображения объектов, формируют список групп изображений объектов, из которого формируют список объектов, причем индексы для поиска объектов включают в себя данные об объектах и характеристиках изображений объектов.
2. Способ по п.1, отличающийся тем, что заданными характеристиками изображения являются ракурс съемки, угол поворота объекта, угол наклона.
3. Способ по п.1, отличающийся тем, что при необходимости вручную дополняют записи в списке графических файлов, списке изображений объектов и списке объектов.
4. Способ по п.1, отличающийся тем, что при необходимости вручную корректируют список групп.
5. Способ по п.4, отличающийся тем, что для корректировки списка групп вручную выбирают изображение объекта и объект в соответствующих списках, при этом перестроение группы осуществляется автоматически.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2007130629/09A RU2345414C1 (ru) | 2007-08-10 | 2007-08-10 | Способ построения системы индексирования для поиска объектов на цифровых изображениях |
| PCT/RU2008/000435 WO2009031924A1 (ru) | 2007-08-10 | 2008-07-03 | Способ построения системы индексирования для поиска объектов на цифровых изображениях |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2007130629/09A RU2345414C1 (ru) | 2007-08-10 | 2007-08-10 | Способ построения системы индексирования для поиска объектов на цифровых изображениях |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2345414C1 true RU2345414C1 (ru) | 2009-01-27 |
Family
ID=40429098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2007130629/09A RU2345414C1 (ru) | 2007-08-10 | 2007-08-10 | Способ построения системы индексирования для поиска объектов на цифровых изображениях |
Country Status (2)
| Country | Link |
|---|---|
| RU (1) | RU2345414C1 (ru) |
| WO (1) | WO2009031924A1 (ru) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012125064A1 (ru) | 2011-03-15 | 2012-09-20 | Общество С Ограниченной Ответственностью "Виси Рус" | Способ отображения рекламы на ресурсах интернет в зависимости от их комбинированного содержания |
| WO2014007671A1 (ru) * | 2012-07-02 | 2014-01-09 | Общество С Ограниченной Ответственностью "Кузнеч" | Технология поиска визуально похожих товаров в интернет-магазине |
| RU2533441C2 (ru) * | 2009-12-30 | 2014-11-20 | Нокиа Корпорейшн | Способ и устройство для обеспечения поиска изображения по содержимому |
| RU2619195C2 (ru) * | 2014-08-15 | 2017-05-12 | Сяоми Инк. | Способ и устройство для нахождения файла в устройстве хранения и маршрутизатор |
| RU2628167C2 (ru) * | 2014-03-14 | 2017-08-15 | Сяоми Инк. | Способ и устройство для кластеризации |
| RU2630373C2 (ru) * | 2014-03-14 | 2017-09-07 | Сяоми Инк. | Способ и устройство для кластеризации |
| RU2647681C2 (ru) * | 2015-04-08 | 2018-03-16 | Сяоми Инк. | Способ и устройство отображения альбома |
| RU2652093C1 (ru) * | 2012-07-02 | 2018-04-25 | Интел Корпорейшн | Индексирование элементов расширенного канала управления для пространства поиска физического нисходящего канала управления |
| US10037345B2 (en) | 2014-03-14 | 2018-07-31 | Xiaomi Inc. | Clustering method and device |
| RU2688271C2 (ru) * | 2014-05-16 | 2019-05-21 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Поиск изображений на естественном языке |
| US10833832B2 (en) | 2016-06-22 | 2020-11-10 | Intel Corporation | Communication device and a method for full duplex scheduling |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7882139B2 (en) * | 2003-09-29 | 2011-02-01 | Xunlei Networking Technologies, Ltd | Content oriented index and search method and system |
| RU2250499C1 (ru) * | 2003-11-17 | 2005-04-20 | Иванов Александр Львович | Способ компьютерного распознавания объектов |
| US7783135B2 (en) * | 2005-05-09 | 2010-08-24 | Like.Com | System and method for providing objectified image renderings using recognition information from images |
| US7512859B2 (en) * | 2005-10-20 | 2009-03-31 | Shutterfly, Inc. | System and methods for image management |
-
2007
- 2007-08-10 RU RU2007130629/09A patent/RU2345414C1/ru not_active IP Right Cessation
-
2008
- 2008-07-03 WO PCT/RU2008/000435 patent/WO2009031924A1/ru active Application Filing
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2533441C2 (ru) * | 2009-12-30 | 2014-11-20 | Нокиа Корпорейшн | Способ и устройство для обеспечения поиска изображения по содержимому |
| WO2012125064A1 (ru) | 2011-03-15 | 2012-09-20 | Общество С Ограниченной Ответственностью "Виси Рус" | Способ отображения рекламы на ресурсах интернет в зависимости от их комбинированного содержания |
| WO2014007671A1 (ru) * | 2012-07-02 | 2014-01-09 | Общество С Ограниченной Ответственностью "Кузнеч" | Технология поиска визуально похожих товаров в интернет-магазине |
| RU2652093C1 (ru) * | 2012-07-02 | 2018-04-25 | Интел Корпорейшн | Индексирование элементов расширенного канала управления для пространства поиска физического нисходящего канала управления |
| US10037345B2 (en) | 2014-03-14 | 2018-07-31 | Xiaomi Inc. | Clustering method and device |
| RU2628167C2 (ru) * | 2014-03-14 | 2017-08-15 | Сяоми Инк. | Способ и устройство для кластеризации |
| RU2630373C2 (ru) * | 2014-03-14 | 2017-09-07 | Сяоми Инк. | Способ и устройство для кластеризации |
| US11222044B2 (en) | 2014-05-16 | 2022-01-11 | Microsoft Technology Licensing, Llc | Natural language image search |
| RU2688271C2 (ru) * | 2014-05-16 | 2019-05-21 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Поиск изображений на естественном языке |
| RU2619195C2 (ru) * | 2014-08-15 | 2017-05-12 | Сяоми Инк. | Способ и устройство для нахождения файла в устройстве хранения и маршрутизатор |
| US9953212B2 (en) | 2015-04-08 | 2018-04-24 | Xiaomi Inc. | Method and apparatus for album display, and storage medium |
| RU2647681C2 (ru) * | 2015-04-08 | 2018-03-16 | Сяоми Инк. | Способ и устройство отображения альбома |
| US10833832B2 (en) | 2016-06-22 | 2020-11-10 | Intel Corporation | Communication device and a method for full duplex scheduling |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2009031924A1 (ru) | 2009-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2345414C1 (ru) | Способ построения системы индексирования для поиска объектов на цифровых изображениях | |
| US9424277B2 (en) | Methods and apparatus for automated true object-based image analysis and retrieval | |
| US6556710B2 (en) | Image searching techniques | |
| Marques et al. | Content-based image and video retrieval | |
| US7043474B2 (en) | System and method for measuring image similarity based on semantic meaning | |
| US20030123737A1 (en) | Perceptual method for browsing, searching, querying and visualizing collections of digital images | |
| JP5524219B2 (ja) | 対話式画像選択方法 | |
| US20020090148A1 (en) | Image and text searching techniques | |
| US8832134B2 (en) | Method, system and controller for searching a database contaning data items | |
| JP2010519659A (ja) | 見本画像に基づく画像の検索 | |
| JP2006216026A (ja) | ディジタル写真の時間的イベント・クラスタリングのための有効な方法 | |
| JP2005510775A (ja) | コンテンツをカテゴリ化するためのカメラメタデータ | |
| US20160283564A1 (en) | Predictive visual search enginge | |
| Suh et al. | Semi-automatic photo annotation strategies using event based clustering and clothing based person recognition | |
| US6522780B1 (en) | Indexing of images and/or text | |
| JP2002259410A (ja) | オブジェクト分類管理方法、オブジェクト分類管理システム、オブジェクト分類管理プログラム及び記録媒体 | |
| JP2009217828A (ja) | 画像検索装置 | |
| US6522779B2 (en) | Representing an image with a posterized joint histogram | |
| Khokher et al. | Content-based image retrieval: state-of-the-art and challenges | |
| JP2010073194A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| EP1973046A1 (en) | Indexing presentation slides | |
| Chen et al. | Content-based image retrieval with LIRe and SURF on a smartphone-based product image database | |
| US6671402B1 (en) | Representing an image with weighted joint histogram | |
| Robles et al. | Towards a content-based video retrieval system using wavelet-based signatures | |
| Cerosaletti et al. | Approaches to consumer image organization based on semantic categories |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PC41 | Official registration of the transfer of exclusive right |
Effective date: 20101126 |
|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20160811 |