RU2018140528A - Способ и система для обновления базы данных поискового индекса - Google Patents

Claims (82)

1. Исполняемый на компьютере способ динамического обновления поискового индекса сервера, причем поисковый индекс разделен на множество частей, каждая из которых включает в себя соответствующую долю из множества документов, причем способ выполняется на сервере и включает в себя:

получение сервером запроса на обновление набора документов в поисковом индексе, причем запрос на обновление набора документов включает в себя удаление первого подмножества документов;

вычисление сервером, для каждой части из набора из множества частей, где каждая часть включает в себя по меньшей мере один документ из первого подмножества документов:

соответствующего обновленного активного размера соответствующего набора активных документов из соответствующей доли из множества документов в данной части, причем соответствующий набор активных документов не включает в себя по меньшей мере один документ из первого подмножества документов, предназначенных для удаления,

соответствующего обновленного общего размера соответствующей доли из множества документов в данной части, причем соответствующая доля из множества документов не включает в себя по меньшей мере один документ из первого подмножества документов, предназначенных для удаления, и

соответствующего соотношения соответствующего обновленного активного размера к соответствующему обновленному общему размеру;

создание копии сервером, на основе соответствующего отношения, подмножества частей из набора частей для получения подмножества частей-кандидатов;

обновление сервером по меньшей мере части из набора документов в наборе частей-кандидатов;

замещение сервером подмножества частей подмножеством частей-кандидатов.

2. Способ по п. 1, в котором запрос на обновление набора документов в поисковом индексе далее включает в себя: добавление второго подмножества документов ко множеству документов во множестве частей.

3. Способ по п. 2, в котором обновление по меньшей мере доли набора документов в подмножестве частей включает в себя: удаление сервером из подмножества частей-кандидатов первого подмножества документов на удаление; и распределение сервером второго подмножества документов в подмножестве частей-кандидатов.

4. Способ по п. 3, в котором способ дополнительно включает в себя, до этапа распределения второго подмножества документов в подмножестве частей-кандидатов: добавление сервером оставшихся документов в подмножестве частей-кандидатов во второе подмножество документов.

5. Способ по п. 4, в котором подмножество частей-кандидатов включает в себя заранее определенное количество частей, обладающих соответствующим наименьшим соотношением.

6. Способ по п. 5, в котором каждый соответствующий документ из множества документов поискового индекса обладает соответствующим размером; местоположением в соответствующей части; и идентификатором соответствующей части.

7. Способ по п. 6, в котором распределение второго подмножества документов в подмножестве частей-кандидатов включает в себя, для данного документа во втором подмножестве документов: обновление сервером идентификатора соответствующей данному документу части; и обновление сервером местоположения данного документа в соответствующей части.

8. Способ по п. 7, в котором набор документов для обновления связан с размером обновления; и размер обновления меньше заранее определенного порогового размера обновления.

9. Способ по п. 8, в котором каждая данная часть из множества частей включает в себя:

соответствующий набор активных документов обладающий соответствующим активным размером;

соответствующий набор неактивных документов обладающий соответствующим неактивным размером; и

соответствующую долю из множества документов обладающую соответствующим общим размером.

10. Способ по п. 9, в котором способ дополнительно включает в себя, до этапа вычисления:

определение сервером того, находится ли размер обновления выше заранее определенного порогового размера обновления; и

в ответ на то, что размер обновления выше заранее определенного порогового размера обновления:

разделение сервером набора документов для обновления на по меньшей мере два подмножества документов таким образом, что каждое из по меньшей мере двух подмножеств находится ниже заранее определенного порогового размера изменения; и

выполнение сервером вычисления, создания копии и обновления для каждого из по меньшей мере двух подмножеств.

11. Способ по п. 10, в котором вычисление, создание копии и обновление выполняются оффлайн.

12. Способ по п. 10, в котором

сервер является сервером поисковой системы; и

каждый соответствующий набор неактивных документов во множестве частей поискового индекса включает в себя по меньшей мере одно из:

документы, с которыми не было пользовательских взаимодействий в ответ на любой запрос в течение заранее определенного периода времени, и

документы, которые не были представлены в ответ на любой запрос в течение заранее определенного периода времени

13. Способ по п. 10, в котором

сервер соединен с устройством хранения, включающим первую долю и вторую долю;

поисковый индекс хранится в первой доле;

подмножество частей-кандидатов хранится во второй доле; и

ограничение по размеру первой доли ниже ограничения по размеру второй доли.

14. Система для динамического обновления поискового индекса, причем поисковый индекс разделен на множество частей, каждая из которых включает в себя соответствующую долю из множества документов, причем система включает в себя:

процессор;

постоянный машиночитаемый носитель компьютерной информации, содержащий инструкции;

процессор, при выполнении инструкций, настраиваемый на возможность осуществить:

получение запроса на обновление набора документов в поисковом индексе, причем запрос на обновление набора документов включает в себя удаление первого подмножества документов;

вычисление, для каждой части из набора из множества частей, где каждая часть включает в себя по меньшей мере один документ из первого подмножества документов:

соответствующего обновленного активного размера соответствующего набора активных документов из соответствующей доли из множества документов в данной части, причем соответствующий набор активных документов не включает в себя по меньшей мере один документ из первого подмножества документов, предназначенных для удаления,

соответствующего обновленного общего размера соответствующей доли из множества документов в данной части, причем соответствующая доля из множества документов не включает в себя по меньшей мере один документ из первого подмножества документов, предназначенных для удаления, и

соответствующего соотношения соответствующего обновленного активного размера к соответствующему обновленному общему размеру;

создание копии, на основе соответствующего отношения, подмножества частей из набора частей для получения подмножества частей-кандидатов;

обновление по меньшей мере доли из набора документов в наборе частей-кандидатов;

замещение подмножества частей подмножеством частей-кандидатов.

15. Система по п. 14, в которой запрос на обновление набора документов в поисковом индексе далее включает в себя: добавление второго подмножества документов ко множеству документов во множестве частей.

16. Система по п. 15, в которой для обновления по меньшей мере доли набора документов в подмножестве частей, процессор выполнен с возможностью осуществлять

удаление из подмножества частей-кандидатов первого подмножества документов на удаление; и

распределение второго подмножества документов в подмножестве частей-кандидатов.

17. Система по п. 16, в которой процессор выполнен с дополнительной возможностью осуществлять, до этапа распределения второго подмножества документов в подмножестве частей-кандидатов: добавление оставшихся документов в подмножестве частей-кандидатов во второе подмножество документов.

18. Система по п. 17, в которой подмножество частей-кандидатов включает в себя заранее определенное количество частей, обладающих соответствующим наименьшим соотношением.

19. Система по п. 18, в которой каждый соответствующий документ из множества документов поискового индекса обладает

соответствующим размером;

местоположением в соответствующей части; и

идентификатором соответствующей части.

20. Система по п. 19, в которой для распределения второго подмножества документов в подмножестве частей-кандидатов процессор выполнен с дополнительной возможностью осуществлять, для данного документа во втором подмножестве документов:

обновление идентификатора соответствующей данному документу части; и обновление местоположения данного документа в соответствующей части.

21. Система по п. 20, в которой:

набор документов для обновления связан с размером обновления; и

размер обновления меньше заранее определенного порогового размера обновления.

22. Система по п. 21, в которой каждая данная часть из множества частей включает в себя:

соответствующий набор активных документов обладающий соответствующим активным размером;

соответствующий набор неактивных документов обладающий соответствующим неактивным размером; и

соответствующую долю из множества документов обладающую соответствующим общим размером.

23. Система по п. 22, в которой система далее выполнена с возможностью, до этапа вычисления:

определение того, находится ли размер обновления выше заранее определенного порогового размера обновления; и

в ответ на то, что размер обновления выше заранее определенного порогового размера обновления:

разделение набора документов для обновления на по меньшей мере два подмножества документов таким образом, что каждое из по меньшей мере двух подмножеств находится ниже заранее определенного порогового размера изменения; и

выполнение вычисления, создания копии и обновления для каждого из по меньшей мере двух подмножеств.

24. Система по п. 23, в которой вычисление, создание и обновление выполняются оффлайн.

25. Система по п. 22, в которой

каждый соответствующий набор неактивных документов во множестве частей поискового индекса включает в себя по меньшей мере одно из:

документы, с которыми не было пользовательских взаимодействий в ответ на любой запрос в течение заранее определенного периода времени, и

документы, которые не были представлены в ответ на любой запрос в течение заранее определенного периода времени

26. Система по п. 22, в которой

система соединена с устройством хранения, включающим первую долю и вторую долю;

поисковый индекс хранится в первой доле;

подмножество частей-кандидатов хранится во второй доле; и

ограничение по размеру первой доли ниже ограничения по размеру второй доли.