NL1013793C1

NL1013793C1 - Document search system with automatic field selection and field-driven document sorting.

Info

Publication number: NL1013793C1
Application number: NL1013793A
Authority: NL
Inventors: Annius Victor Groenink
Original assignee: Eidetica B V
Priority date: 1999-12-08
Filing date: 1999-12-08
Publication date: 2001-06-11
Also published as: EP1107133A1

Description

55

Korte aanduiding: Documentenzoeksysteem met automatische veldselectie en veldgestuurde documentsortering.Short designation: Document search system with automatic field selection and field-driven document sorting.

De onderhavig uitvinding heeft betrekking op een documentenzoeksysteem volgens de aanhef van de conclusie 1.The present invention relates to a document search system according to the preamble of claim 1.

Metadata is data die een document beschrijft, per document 10 verdeeld in een aantal velden. Voorbeelden van veldtypen zijn auteursnaam, titel, datum van uitgave. Metadata kan per veld bestaan uit losse woorden, of meerdere bij elkaar horende woorden achter elkaar (bijvoorbeeld een naamwoordelijk zinsdeel). Een gangbare methode om metadata te produceren is de 15 zogenaamde full-text indexering^(Salton and McGill, 1983). Bij full-text indexering wordt elk woord uit het document gebruikt als indexterm, uitgezonderd een lijst van woorden die als niet-onderscheidend worden beschouwd (zoals lidwoorden en voorzetsels). De aldus verkregen indexen worden als 20 onderwerpsbeschrijvingen van het document opgenomen in één veld van de metadataverzameling. Naast full-text indexering bestaan er methoden die, in plaats van losse woorden, automatisch begripsaanduidingen identificeren in documenten. Soms ook worden niet alleen de begrippen geïdentificeerd uit de documenten zelf 25 en toegevoegd aan de metadata, maar ook nauw verwante begrippen daarvan. De laatste worden bijvoorbeeld geïdentificeerd in een thesaurus (ISO 2788 (1986) . ISO 2788, Documentation - Guidelines for the establishment and development of monolingual thesauri. Geneva: International Organization for Standardisation). Andere 30 metadata dan onderwerpsbeschrijvende wordt meestal handmatig aangemaakt, bijvoorbeeld de datum van uitgave.Metadata is data that describes a document, per document 10 divided into a number of fields. Examples of field types are author name, title, date of issue. Metadata can consist of individual words per field, or several consecutive words consecutively (for example, a nominal phrase). A common method for producing metadata is the so-called full-text indexing ^ (Salton and McGill, 1983). Full-text indexing uses every word in the document as an index term, except for a list of words that are considered non-distinctive (such as articles and prepositions). The indexes thus obtained are included as 20 subject descriptions of the document in one field of the metadata set. In addition to full-text indexing, there are methods that, instead of single words, automatically identify terms in documents. Sometimes, not only are concepts identified from the documents themselves 25 and added to the metadata, but also closely related concepts thereof. The latter are identified, for example, in a thesaurus (ISO 2788 (1986). ISO 2788, Documentation - Guidelines for the establishment and development of monolingual thesauri. Geneva: International Organization for Standardization). Metadata other than descriptive subject is usually created manually, for example the date of publication.

Matching algoritmen zijn bekend, in allerlei varianten. Voorbeelden zijn Bools matchen en matchen volgens het 35 vectorruimte model (Salton, G. and McGill, M.J. (1983) .Matching algorithms are known, in all kinds of variants. Examples are Bools matching and matching according to the vector space model (Salton, G. and McGill, M.J. (1983).

Introduction to Modern Information Retrieval. McGraw-Hill, New York.).Introduction to Modern Information Retrieval. McGraw-Hill, New York.).

1013795 21013795 2

Een matching algoritme creëert een relevantiewaarde bij elk document, welke waarde de relevantie voorspelt van het document voor de zoekvraag van een gebruiker. Sommige matching algoritmen produceren binaire relevantiewaarden. Andere berekenen een 5 waarde op een continu interval, en rangschikken de documenten op grond van deze waarden. Het aantal relevante documenten wordt dan bepaald als het aantal dat een relevantiewaarde behaalt groter dan een vooraf ingegeven grenswaarde.A matching algorithm creates a relevance value for each document, which predicts the relevance of the document to a user's query. Some matching algorithms produce binary relevance values. Others calculate a 5 value on a continuous interval, and rank the documents according to these values. The number of relevant documents is then determined if the number that achieves a relevance value exceeds a pre-entered limit value.

10 Een zoekvraag is een string omvattend een of meerdere paren (<target>,<gewicht>), mogelijk gekoppeld door operatoren. Een zoekvraag wordt door het matching algoritme beoordeeld als functie van de gelijkenis van zijn targets met de metadata, rekening houdend met de gewichten. Een voorbeeld van een 15 operator in een zoekvraag is de Boolese conjunctiefunctie. Een gewicht is een getal dat aangeeft wat het relatieve belang is van de bijbehorende target in de zoekvraag. Doorgaans wordt dit getal gekozen in het interval [0;1] en geeft de waarde 1 aan dat het target van groot belang is.10 A search query is a string containing one or more pairs (<target>, <weight>), possibly linked by operators. A search query is assessed by the matching algorithm as a function of the similarity of its targets with the metadata, taking into account the weights. An example of a 15 operator in a search query is the Boolean conjunction function. A weight is a number that indicates the relative importance of the corresponding target in the search query. Usually this number is chosen in the interval [0; 1] and the value 1 indicates that the target is of great importance.

2020

Een target is een string bestaand uit een of meerdere termen, mogelijk gekoppeld door operatoren. Een target wordt door het matching algoritme gematcht als functie van de gelijkenis van zijn termen met de metadata. Een voorbeeld van een operator in 25 een term is de Boolese disjunctiefunctie. Een target kan op zich wederom per term een gewicht bevatten, dat aangeeft hoe belangrijk de term in de target is.A target is a string consisting of one or more terms, possibly linked by operators. A target is matched by the matching algorithm as a function of the similarity of its terms with the metadata. An example of an operator in a term is the Boolean disjunction function. A target can again contain a weight per term, which indicates how important the term is in the target.

Een term is een string zonder operatoren, die met metadata kan 30 worden gematcht volgens een functie die de gelijkenis (volgens een gegeven criterium) berekent tussen term en metadata. Een eenvoudig voorbeeld van een dergelijke functie is de identiteitsfunctie; bij deze functie wordt een term gematcht indien deze identiek is aan metadata in een veld.A term is a string without operators, which can be matched with metadata according to a function that calculates the similarity (according to a given criterion) between term and metadata. A simple example of such a function is the identity function; this function matches a term if it is identical to metadata in a field.

3535

Een systeem als beschreven in de aanhef van de hoofdconclusie wordt reeds enige tijd toegepast, bijvoorbeeld in het bekende 1 ü i ύ ? : 3A system as described in the preamble of the main claim has been used for some time, for instance in the well-known 1 i ύ? : 3

Dialog zoeksysteem (nu Dialog Classic geheten, en afkomstig van The Dialog Corporation te Londen). Dialog en soortgelijke zoeksystemen bieden een gebruiker de mogelijkheid om te zoeken al dan niet met een geselekteerd zoekveldtype; bij afwezigheid 5 van een selektie worden alle zoekveldtypen (uit een vaste deelverzameling van veldtypen, de zogenaamde basic-index) doorzocht. In antwoord op de zoekvraag presenteert het zoekalgoritme de gebruiker via een beeldscherm de gegevens uit de relevantieverzameling. Het Dialog zoeksysteem biedt de 10 mogelijkheid om per veldtype de informatie (<veldtype-id>, <aantal~hits>) op te vragen, maar per veldtype moet men de zoekvraag opnieuw ingeven. De gebruiker kan de op deze omslachtige wijze verkregen gegevens zelf gebruiken om vervolgens een verfijnde zoekvraag te maken; het Dialog systeem 15 zelf doet er (naast het tonen aan de gebruiker) niets mee.Dialog search system (now called Dialog Classic, and originating from The Dialog Corporation in London). Dialog and similar search systems allow a user to search with or without a selected search field type; in the absence of a selection, all search field types (from a fixed subset of field types, the so-called basic index) are searched. In response to the search query, the search algorithm presents the user with data from the relevance set via a screen. The Dialog search system offers the possibility to request the information (<field type-id>, <number of ~ hits>) per field type, but the search question must be entered again per field type. The user can use the data obtained in this cumbersome way to create a refined search query; the Dialog system 15 itself does nothing (besides showing it to the user).

Dialog en soortgelijke bekende zoeksystemen hebben als nadeel dat de gebruiker zelf een selectie moet maken van de zoekveldtypen die in de zoekvraag kunnen worden ingevuld. Vaak 20 zal de gebruiker dan alle veldtypen selecteren, of een min of meer willekeurige deelverzameling daaruit, omdat vooraf niet bekend is welk veldtype leidt tot het meest bruikbare antwoord. Nadat de gebruiker een selectie heeft gemaakt, wordt de zoekvraag door het zoekalgoritme verwerkt en wordt de verkregen 25 relevantielijst op een beeldscherm getoond. Daarna kan de gebruiker zelf handmatig een selectie maken uit de veldtypen, op grond van de na het matchen getoonde informatie. Door het maken van deze selectie kan de gebruiker een verfijnde zoekvraag opstellen en deze vervolgens laten verwerken door het 30 zoekalgoritme. Dit is een mentaal inspannende werkwijze, aangezien deze vereist dat de gebruiker zelf de voor hem relevante informatie herkent tussen en selecteert uit alle gegeven informatie.The disadvantage of Dialog and similar known search systems is that the user has to make a selection of the search field types that can be entered in the search query. Often the user will then select all field types, or a more or less arbitrary subset thereof, because it is not known beforehand which field type leads to the most useful answer. After the user has made a selection, the search query is processed by the search algorithm and the obtained relevance list is displayed on a screen. After that, the user can manually make a selection from the field types, based on the information shown after matching. By making this selection, the user can create a sophisticated search query and have it processed by the search algorithm. This is a mentally strenuous method, as it requires the user to recognize the information relevant to him between and select from all the information given.

35 Tevens is uit het Amerikaanse octrooischrift ÜS 5 983 216 een zoeksysteem bekend waarin automatisch op grond van het matchen van een lijst met metadata een document collectie wordt gekozen 1 0 1 3 7 9 3 4 uit een verzameling document collecties. De document collecties kunnen hierbij weliswaar worden beschouwd als deelcollecties van de totale collectie die door middel van een zoekveld kunnen worden aangeduid, maar deze deelcollecties zijn volgens de 5 beschrijving van het genoemde octrooi fysiek gescheiden opgeslagen, en voorzien van afzonderlijke zoeksystemen met bijbehorende gescheiden metadatalijsten. De automatische selectie van de documentcollectie(s) op grond van metadata gebeurt dan ook met de bedoeling om vervolgens verder te zoeken 10 in een of meerdere van de afzonderlijke zoeksystemen (en bijbehorende eigen metadataverzameling) en niet om een (verdere) selectie te maken op grond van matching informatie over andere zoekvelden dan het zoekveld dat de documentencollectie aanduidt. Het zoeken op veldtypen is ongebruikelijk in het 15 toepassingsgebied van Infoseek: het World Wide Web. Voor zover dit toch gebeurt, geldt hetzelfde nadeel als genoemd bij Dialog.35 A search system is also known from US patent US 5 983 216 in which a document collection is automatically selected from a collection of document collections on the basis of matching a list of metadata. Although the document collections can be regarded as partial collections of the total collection that can be indicated by means of a search field, these partial collections are physically stored according to the description of the said patent, and are provided with separate search systems with associated separate metadata lists. The automatic selection of the document collection (s) on the basis of metadata is therefore done with the intention of subsequently further searching 10 in one or more of the separate search systems (and associated own metadata collection) and not to make a (further) selection on based on matching information about search fields other than the search field that indicates the document collection. Searching by field types is unusual in Infoseek's scope of application: the World Wide Web. Insofar as this does happen, the same drawback applies as mentioned with Dialog.

De uitvinding beoogt bovengenoemd nadeel op te heffen. De uitvinding verschaft daartoe een documentenzoeksysteem volgens 20 conclusie 1.The object of the invention is to eliminate the above drawback. To this end, the invention provides a document search system according to claim 1.

In het systeem volgens de uitvinding wordt minder irrelevante informatie getoond dan in een systeem volgens de stand der techniek. De informatie die wordt weggefilterd en dus niet wordt 25 getoond is niet van belang voor de effectiviteit van het zoekproces van de gebruiker. Deze niet-relevante informatie omvat ten eerste de drie-tuples waarvoor de lijst van document identificatoren een lege verzameling is, oftewel de combinaties van target en veldtype waarvoor geen relevante documenten zijn 30 gevonden. Daarnaast bevat deze informatie de drie-tuples met elk een de lijst van document identificatoren die identiek is aan de lijst van document identificatoren van de gehele documentenverzameling, oftewel de combinaties van target en veldtype waarvoor alle documenten relevant zijn bevonden. Door 35 deze twee soorten drie-tuples niet te tonen wordt de gebruiker minder afgeleid door irrelevante informatie en vindt hij met 10'^ 7 0! 5 minder mentale inspanning de informatie op grond waarvan hij het zoeksysteem effectief kan bedienen.In the system according to the invention, less irrelevant information is shown than in a system according to the prior art. The information that is filtered out and therefore not shown is not important for the effectiveness of the user's search process. Firstly, this irrelevant information includes the three tuples for which the list of document identifiers is an empty set, ie the target and field type combinations for which no relevant documents have been found. In addition, this information includes the three tuples, each with a list of document identifiers that is identical to the list of document identifiers of the entire document set, that is, the combinations of target and field type for which all documents have been found relevant. By not showing these two types of three tuples, the user is less distracted by irrelevant information and finds with 10 '^ 7 0! 5 less mental effort the information on the basis of which he can effectively operate the search system.

In voordelige uitvoeringsvormen zijn de paren 5 ((<target>,<gewicht>), <veldtype-id>) in de getoonde lijst geordend naar <veldtype-id>, volgens een toenemende lengte of volgens een afnemende lengte van de lijst van document identificatoren bij elk der genoemde paren. Een dergelijke ordening maakt het voor de gebruiker aanzienlijk gemakkelijker 10 om de voor hem interessante veldtypen te vinden in de getoonde lijst, aangezien de veldtypen die slechts weinig relevante documenten opleveren voorin of juist achterin de lijst staan, en zo extra opvallen. Het zijn juist deze veldtypen die men relatief vaak zal selecteren voor een volgende zoekvraag.In advantageous embodiments, the pairs 5 ((<target>, <weight>), <field type id>) in the displayed list are ordered by <field type id>, according to an increasing length or a decreasing length of the document list identifiers at each of said pairs. Such an arrangement makes it considerably easier for the user to find the field types of interest to him in the list shown, since the field types which yield only little relevant documents are at the front or at the back of the list, and thus stand out. It is precisely these field types that will be selected relatively often for the next search query.

1515

In een volgende voordelige uitvoeringsvorm kan de gebruiker elk der elementen <veldtype-idlijst> van de paren ((<target>,<gewicht>), <veldtype-idlijst>) in de zoekvraag via de invoermiddelen wijzigen, zonder dat een der elementen 20 (<target>,<gewicht>) verandert. Dit heeft als voordeel dat de gebruiker het zoekalgoritme met velden van een ander type kan laten zoeken, zonder opnieuw de gehele zoekvraag in te geven.In a further advantageous embodiment, the user can change any of the elements <field type id list> of the pairs ((<target>, <weight>), <field type id list>) in the query via the input means, without any of the elements (<target>, <weight>) changes. This has the advantage that the user can have the search algorithm search with fields of a different type, without having to enter the whole search query again.

Dit reduceert het aantal handelingen alsmede de benodigde mentale inspanning.This reduces the number of actions as well as the required mental effort.

2525

In een verdere voordelige uitvoeringsvorm stelt het zoekalgoritme na het tonen van de gefilterde relevantieverzameling als standaardinstelling automatisch alle in de metadataverzameling aanwezige veldtypen in bij elke 30 combinatie (<target>,<gewicht>) in <veldtype-idlijst>, in reactie op een toevoeging via de invoermiddelen van een of meer targets in de zoekvraag. Na een toevoeging van een target zal men doorgaans opnieuw willen zoeken in alle veldtypen, en pas daarna weer een of enkele veldtypen willen selecteren. De 35 terugstelling naar alle veldtypen gebeurt in deze uitvoeringsvorm automatisch, en vermindert derhalve het aantal benodigde handelingen en de mentale inspanning.In a further advantageous embodiment, after displaying the filtered relevance set, the search algorithm automatically sets all field types present in the metadata set for every combination (<target>, <weight>) in <field type idlist>, in response to an addition via the input means of one or more targets in the search query. After adding a target, people will usually want to search again in all field types, and only then will they want to select one or more field types again. The reset to all field types in this embodiment occurs automatically, and therefore reduces the number of actions required and mental effort.

1013793 61013793 6

Voorts is het voordelig om alle document identificatoren voorkomend in de gefilterde relevantieverzameling te laten tonen middels de uitvoermiddelen, gerangschikt naar criteria op basis 5 van de gegevens die de relevantieverzameling geeft over de individuele veldmetadata. Zo kunnen de documenten met de hoogste voorspelde relevantie bovenaan de lijst komen te staan, en derhalve makkelijk worden onderscheiden van de andere documenten.Furthermore, it is advantageous to have all document identifiers contained in the filtered relevance set displayed by the output means, arranged according to criteria based on the data that the set of relevance provides for the individual field metadata. For example, the documents with the highest predicted relevance can be placed at the top of the list, and can therefore easily be distinguished from the other documents.

1010

De rangschikking vindt daarbij met voordeel plaats volgens een der functiewaarden rl, r2, r3 en r4 zoals bepaald in de conclusies 7 tot en met 10.The arrangement advantageously takes place according to one of the function values r1, r2, r3 and r4 as defined in claims 7 to 10.

15 Ten aanzien van de maatregelen volgens conclusie 9 wordt opgemerkt dat de veldlengte per zoeksysteem verschillend kan worden berekend. Indien het begrip term is bepaald als een enkel woord, dan is de veldlengte gelijk aan het aantal woorden. Als term is bepaald als de woorden die een begrip aanduiden, dan is 20 veldlengte gelijk aan het aantal begrippen in dat veld. Bij dat laatste kan men er zowel voor kiezen alleen alle disjuncte begrippen te tellen, alsmede ook deelbegrippen van samengestelde begrippen te tellen, die dus overlappen. Het begrip 'lineaire algebra' telt dan tenminste tweemaal, namelijk eenmaal als 25 algebra en eenmaal als lineaire algebra.With regard to the measures according to claim 9, it is noted that the field length can be calculated differently per search system. If the term is defined as a single word, the field length is equal to the number of words. If the term is defined as the words that indicate a term, then 20 field length is equal to the number of terms in that field. With the latter, one can choose to count only all disjunct concepts, as well as count partial concepts of compound concepts, which therefore overlap. The term 'linear algebra' then counts at least twice, namely once as 25 algebra and once as linear algebra.

Het is bijzonder voordelig als de rangschikking niet volgens een enkel criterium plaats vindt zoals bovengenoemd, maar volgens een getrapt sorteeralgoritme waarin het aantal trappen tenminste 30 twee bedraagt en waarin in een of meer der tenminste twee trappen wordt gesorteerd op grond van een der bovengenoemde functiewaarden rl, r2, r3 en r4. Getrapte sorteeralgoritmen op basis van een vergelijkingsfunctie zijn op zich bekend (Kernighan, B.W. and Ritchie, D.M. (1988), "Qsort", The C 35 programming language. Prentice-Hall. Englewood Cliffs, NewIt is particularly advantageous if the ranking does not take place according to a single criterion as mentioned above, but according to a graduated sorting algorithm in which the number of stages is at least 30 and in which one or more of the at least two stages are sorted on the basis of one of the above function values rl , r2, r3 and r4. Staged sorting algorithms based on a comparison function are known per se (Kernighan, B.W. and Ritchie, D.M. (1988), "Qsort", The C 35 programming language. Prentice-Hall. Englewood Cliffs, New

Jersey). Ze werken volgens het principe dat de documententen in een iteratief proces herhaald paarsgewijs worden gesorteerd, : fl 1 7 P 7 7 waarbij telkens een enkel criterium wordt geprobeerd. In elke vergelijking waarin dat criterium geen uitsluitsel biedt, wordt een tweede criterium gebruikt. Dit omschakelen naar een volgend criterium kan worden voortgezet totdat het aantal criteria 5 gelijk is aan het aantal trappen. Deze wijze van sorteren staat bekend als zeer effectief, en is dat ook bij toepassing in een zoeksysteem volgens de uitvinding.Jersey). They work according to the principle that the documents are sorted in pairs in an iterative process, in pairs: fl 1 7 P 7 7, each time trying a single criterion. A second criterion is used in every comparison in which that criterion does not provide a definite answer. This switching to a next criterion can be continued until the number of criteria 5 equals the number of stages. This sorting method is known to be very effective, and it is also when used in a search system according to the invention.

Bij een dergelijke wijze van sorteren komen documenten met sterk 10 afwijkende waarden van de sorteercriteria helemaal vooraan de gesorteerde lijst. Ze vallen daardoor extra op, en de gebruiker kan ze snel beoordelen op relevantie, zonder een hele lijst van documenten te moeten doorlopen. Het zijn vaak juist de heel relevante of de heel irrelevante documenten.In such a sorting method, documents with strongly deviating values from the sorting criteria are placed at the very front of the sorted list. As a result, they stand out even more, and the user can quickly assess them for relevance, without having to go through a whole list of documents. It is often the very relevant or the very irrelevant documents.

1515

Het is daarbij bovendien voordelig als de gebruiker zelf voorafgaand aan het matchen de volgorde van de trappen in de getrapte sortering kan instellen. Het systeem doet hierbij met voordeel een suggestie ten aanzien van de instelling van de 20 volgorde van de getrapte sortering volgens de in conclusie 14 bepaalde regel.Moreover, it is advantageous if the user himself can set the order of the steps in the step sorting prior to matching. The system advantageously makes a suggestion with regard to the setting of the sequence of the graduated sorting according to the rule defined in claim 14.

De gefilterde relevantieverzameling kan met voordeel verder worden verkleind, door een selectie toe te passen. Dit reduceert 25 in sommige gevallen de hoeveelheid getoonde en voor het verdere zoekproces irrelevante informatie op de visuele presentatiemiddelen nog verder. Een dergelijke verdere verkleining van de gefilterde relevantieverzameling kan worden gerealiseerd door aan elk der drie-tuples uit de gefilterde 30 relevantieverzameling een waardering R toe te kennen, die een functie is van tenminste een der bovengenoemde functiewaarden rl, r2, r3 en r4, en uit de gefilterde relevantieverzameling de drie-tuples te verwijderen waarvan de waardering R kleiner is dan of gelijk is aan een vooraf ingestelde grenswaarde.The filtered relevance collection can advantageously be further reduced by applying a selection. In some cases this further reduces the amount of information on the visual presentation means which is irrelevant for the further search process. Such a further reduction of the filtered relevance set can be realized by assigning a rating R, which is a function of at least one of the above-mentioned function values r1, r2, r3 and r4, to each of the three tuples from the filtered relevance set. remove the filtered relevance set from the three tuples whose rating R is less than or equal to a preset limit value.

35 Het toekennen van een waardering aan documenten en vervolgens selecteren op grond van een grenswaarde is bekend, zoals hierboven reeds genoemd. Het is echter niet bekend in combinatie 1 0 1 3 79 3 8 met de voorafgaande automatische veldtype-waardering volgens de uitvinding.As already mentioned above, it is known to assign a valuation to documents and then to select them on the basis of a limit value. However, it is not known in combination with the previous automatic field type evaluation according to the invention.

In een bijzondere uitvoering wordt deze verdere verkleining 5 uigevoerd met een waarde van R die gelijk is aan rl en waarbij de vooraf ingestelde grenswaarde gelijk is aan de som van de gewichten van de targets in de zoekvraag. Aldus ontstaat hetzelfde effect als bij de Boolese conjunctie-operatie tussen de targets.In a special embodiment, this further reduction is performed with a value of R equal to r1 and wherein the preset limit value is equal to the sum of the weights of the targets in the query. This produces the same effect as in the Boolean conjunction operation between the targets.

1010

In een volgende bijzondere uitvoering wordt de waarde van R zodanig ingesteld dat bij periodiek herhaalde uitvoering van de zoekvraag een vooraf geschat gekozen aantal nieuwe documenten per tijdsinterval arriveert. Dit kan in een groeiende 15 documentenverzameling, zoals een verzameling periodiek verschijnende uitgaven, bijvoorbeeld dagelijks verschijnende kranten, weekbladen en maandelijks uitgegeven tijdschriften. Daarnaast is het voordelig voor documentverzamelingen waaraan met grote regelmaat nieuwe documenten worden toegevoegd, zoals 20 octrooiverzamelingen. Een dergelijke instelling is mogelijk door de schatting te maken met de formule genoemd in conclusie 16.In a subsequent special embodiment, the value of R is set such that, with periodically repeated execution of the search query, a pre-estimated number of new documents per time interval arrives. This is possible in a growing collection of documents, such as a collection of periodically published publications, for example daily newspapers, weekly magazines and monthly magazines. In addition, it is advantageous for document collections to which new documents are added regularly, such as 20 patent collections. Such an adjustment is possible by making the estimate with the formula mentioned in claim 16.

De uitvinding zal hierna nader worden toegelicht aan de hand van de tekening. Daarbij toont: 25 figuur 1 een blokschema van een documentenzoeksysteem volgens de uitvinding, figuur 2 een voorbeeld van een zoekvraag en een gedeelte van de bijbehorende relevantieverzameling, weergegeven volgens een layout gelijkend op een layout die op een beeldscherm zou kunnen 30 worden getoond, en figuur 3 een voorbeeld van een ander gedeelte van de relevantieverzameling behorende bij figuur 2, namelijk de gerangschikte lijst documenten behorende bij de document identificatoren uit de relevantieverzameling.The invention will be explained in more detail below with reference to the drawing. In the drawing: figure 1 shows a block diagram of a document search system according to the invention, figure 2 shows an example of a search query and a part of the associated collection of relevance, represented according to a layout similar to a layout that could be displayed on a screen, and figure 3 shows an example of another part of the relevance collection associated with figure 2, namely the ordered list of documents belonging to the document identifiers from the relevance collection.

3535

In figuur 1 is een zoeksysteem 1 volgens de uitvinding getoond, waartoe invoermiddelen 2, uitvoermiddelen 3 en data-Figure 1 shows a search system 1 according to the invention, for which purpose input means 2, output means 3 and data

10^.;·: ? fjj T10 ^ .; ·:? fjj T

9 opslagmiddelen 4 behoren, welke dataopslagmiddelen 4 tenminste een metadataverzameling 5 en een zoekalgoritme 6 bevatten. De in- en uitvoermiddelen 2,3, en de data-opslagmiddelen 4 zijn door data-communicatiemiddelen 8 verbonden met een 5 verwerkingseenheid 7, op zodanige wijze dat een computersysteem is verschaft waarop het zoekalgoritme volgens de uitvinding kan worden uitgevoerd. De metadataverzameling bevat data die de documenten van een documentenverzameling beschrijven. Elk van de documenten in de verzameling is opgebouwd uit een aantal velden, 10 waaronder velden voor titel, auteur, jaar van uitgave, document inhoud, ISBN-nummer, etc.9 storage means 4 belong, which data storage means 4 contain at least a metadata set 5 and a search algorithm 6. The input and output means 2,3, and the data storage means 4 are connected by data communication means 8 to a processing unit 7 in such a way that a computer system is provided on which the search algorithm according to the invention can be executed. The metadata set contains data describing the documents of a document set. Each of the documents in the collection is made up of a number of fields, 10 including fields for title, author, year of publication, document content, ISBN number, etc.

De invoermiddelen 2 omvatten in dit voorbeeld een toetsenbord 9 en een computermuis 10. De uitvoermiddelen 3 omvatten grafische presentatiemiddelen in de vorm van een beeldscherm 11.In this example, the input means 2 comprise a keyboard 9 and a computer mouse 10. The output means 3 comprise graphic presentation means in the form of a screen 11.

1515

Aanvullend, maar niet getoond in de figuren, bevatten de dataopslagmiddelen 5 een indexeeralgoritme alsmede de documentenverzameling. Deze behoren niet tot de uitvinding, maar zijn wel nuttig. Het indexeeralgoritme is gebruikt om de 20 metadataverzameling aan te maken, en kan worden gebruikt om deze te vernieuwen; dit is nodig zodra er nieuwe documenten aan de verzameling worden toegevoegd. De documentenverzameling dient om de documenten te tonen, nadat een gebruiker deze heeft geselecteerd uit een relevantieverzameling die hij heeft 25 verkregen na het matchen van zijn zoekvraag.Additionally, but not shown in the figures, the data storage means 5 includes an indexing algorithm as well as the document set. These are not part of the invention, but they are useful. The indexing algorithm has been used to create the metadata set, and can be used to refresh it; this is necessary as new documents are added to the collection. The document set serves to display the documents after a user has selected them from a relevance set obtained after matching his query.

Figuur 2 toont schematisch een afdruk van de grafische presentatiemiddelen van het zoeksysteem volgens figuur 1. De totale documentenverzameling omvat 50.000 documenten. Aan de 30 linker zijde is de zoekvraag getoond; deze heeft twee targets: "Laurent" en "1990". Beide gewichten in de zoekvraag zijn gelijk aan 1. Beide targets moeten in alle veldtypen (auteur, titel, jaar van uitgave, uitgever, ISBN-nummer, classificatie bibliotheek, etc) worden gematcht. Na het matchen, dat gebeurt 35 op een commando van de gebruiker, wordt aan de rechter zijde getoond hoeveel keer elk target is gematcht in een gegeven veldtype. Volgens de uitvinding worden hier slechts sommige 1 0 1 3 7 9 3 10 veldtypen getoond, namelijk de veldtypen die voor de gebruiker nuttige informatie bevatten. De veldtypen waarop geen documenten zijn gematcht bij een gegeven target worden niet getoond.Figure 2 schematically shows a print-out of the graphical presentation means of the search system according to figure 1. The total document collection comprises 50,000 documents. The search query is shown on the left-hand side; it has two targets: "Laurent" and "1990". Both weights in the search query are equal to 1. Both targets must be matched in all field types (author, title, year of publication, publisher, ISBN number, library classification, etc.). After matching, which happens on a command from the user, the right side shows how many times each target was matched in a given field type. According to the invention, only some 1 0 1 3 7 9 3 10 field types are shown here, namely the field types containing information useful to the user. The field types on which no documents are matched with a given target are not shown.

Evenmin worden de veldtypen getoond die tijdens het matchen alle 5 documenten uit de gehele documentenverzameling als relevante documenten opleverden. Derhalve worden voor het target "Laurent" de veldtypen "auteur" en "titel" getoond, en voor target "1990" de veldtypen "jaar van uitgave" en "titel". Deze veldtypen zijn geordend volgens afnemend aantal document identificatoren dat 10 matcht; een dergelijke ordening bevordert de overzichtelijkheid, vooral in die gevallen waarin in drie of meer veldtypen documenten zijn gematcht.Nor are the field types shown that matched all 5 documents from the entire document set as relevant documents during matching. Therefore, for the target "Laurent", the field types "author" and "title" are displayed, and for target "1990" the field types "year of publication" and "title". These field types are ordered by decreasing number of document identifiers that match 10; such an arrangement promotes clarity, especially in those cases where documents are matched in three or more field types.

Ter informatie aan de gebruiker zijn de totale omvang van de 15 documentenverzameling alsmede het totale aantal gematchte documenten getoond. De gebruiker kan op grond van de getoonde informatie over de relevantieverzameling een verfijnde zoekvraag formuleren door in de linkerzijde van het beeldscherm targets en/of veldtypen te wijzigen. Het wijzigen van veldtypen alleen 20 kan met gemak plaats vinden op grond van de gegeven informatie over het aantal gematchte documenten per veldtype. Het toevoegen van een target leidt tot automatische instelling van het veldtype voor dat target in de zoekvraag op "alle". De gebruiker kan echter deze instelling naar believen zelf wijzigen. Het 25 toevoegen van een target gebeurt met behulp van een commando door de gebruiker via de invoermiddelen.For the information of the user, the total size of the 15 document set as well as the total number of matched documents are shown. Based on the information about the relevance collection shown, the user can formulate a refined search query by changing targets and / or field types in the left side of the screen. Changing field types only 20 can easily be done based on the information given about the number of matched documents per field type. Adding a target automatically sets the field type for that target in the search query to "all". However, the user can change this setting at will. The addition of a target is done with the aid of a command by the user via the input means.

Figuur 3 toont documentgegevens van de documenten uit de relevantieverzameling, dat wil zeggen documenten waarnaar in de 30 document identificatorenlijst van de relevantieverzameling wordt verwezen. De documenten zijn getoond als een lijst die is gerangschikt naar relevantie van de documenten voor de zoekvraag. De relevantie is bepaald volgens een getrapt sorteeralgoritme, waarin eerst naar rl wordt gesorteerd, 35 vervolgens naar r2, en tenslotte naar r3, waarbij rl, r2 en r3 zijn gedefinieerd volgens de conclusies. Dat wil zeggen dat het belangrijkste criterium is: de som van het aantal gewichten van ’013793 11 alle keren dat een document wordt gematcht (dat wil zeggen relevant wordt bevonden) in een combinatie van target en veldtype. Aangezien de gewichten van beide targets gelijk zijn aan 1, komt dit overeen met het totale aantal keren dat het 5 document (althans zijn identificator) voorkomt in de relevantieverzameling.Figure 3 shows document data of the documents from the pertinence collection, ie documents referenced in the pertinence collection document identifier list. The documents are presented as a list arranged by relevance of the documents to the query. Relevance is determined according to a staged sorting algorithm, in which first sorting is to r1, then to r2, and finally to r3, wherein r1, r2 and r3 are defined according to the claims. That is, the most important criterion is the sum of the number of weights of 013793 11 all times that a document is matched (i.e. found relevant) in a combination of target and field type. Since the weights of both targets are equal to 1, this corresponds to the total number of times the 5 document (at least its identifier) appears in the relevance set.

In de figuur 3 zijn de waarden van rl, r2 en r3 getoond, voor zover nuttig voor deze toelichting. Het is duidelijk zichtbaar 10 dat bij documenten 1 en 2 dezelfde waarde voor rl geldt. Deze twee documenten worden daarom vervolgens gesorteerd naar r2, die wel verschillende waarden heeft. Voor de documenten 4 en 5 hebben zowel rl als r2 dezelfde waarde, en daarom wordt gesorteerd op grond van r3.In figure 3 the values of r1, r2 and r3 are shown, where useful for this explanation. It is clearly visible that documents 1 and 2 have the same value for rl. These two documents are therefore then sorted into r2, which has different values. For documents 4 and 5, both r1 and r2 have the same value, and therefore they are sorted on the basis of r3.

1515

Het in de figuren 1 tot en met 3 getoonde zoeksysteem volgens de uitvinding bespaart de gebruiker mentale inspanning door zijn automatische selectie en ordening van te tonen veldtypen uit de relevantieverzameling, en door rangschikking van de documenten 20 in de relevantieverzameling. Daarnaast kunnen andere maatregelen volgens de conclusies het gebruikersgemak verder vergroten.The search system according to the invention shown in Figures 1 to 3 saves the user mental effort by his automatic selection and arrangement of field types to be displayed from the relevance set, and by arranging the documents 20 in the relevance set. In addition, other measures according to the claims can further increase the ease of use.

10137931013793

Claims

1. Documentenzoeksysteem (1), omvattende 5 - data opslagmiddelen (4) die tenminste de volgende data bevatten: - een metadataverzameling (5) met een verzameling drie-tuples (<metadata>, <veldtype-id>, <doc-id-lijst>), welke metadataverzameling is verkregen uit een 10 verzameling documenten en is opgebouwd uit een aantal velden, waarbij aan elk veld een veldtype-identificator <veldtype-id> is toegekend, en in welke metadataverzameling elk drie-tuple aanduidt dat voor alle documenten in de niet-lege lijst met document 15 identificatoren <doc-id-lijst> het element <metadata> metadata is van een veld geïdentificeerd door <veldtype-id>, en - een zoekalgoritme (6) omvattende een matching algoritme dat als invoer een zoekvraag heeft, welke zoekvraag 20 tenminste omvat een opsomming van paren ((<target>,<gewicht>), <veldtype-idlijst>), in welke paren <gewicht> een reëel getal is op het interval [0;1], en welk matching algoritme als invoer de metadataverzameling heeft, en per <veldtype-id> de 25 waarden van <metadata> uit de metadataverzameling vergelijkt met de waarden van <target> uit de zoekvraag en in de vergelijking <gewicht> betrekt, en welk matching algoritme als uitvoer een relevantieverzameling heeft die bestaat uit drie-tuples (<target>, Cveldtype-30 id>, <doc-idlijst>), welke relevantieverzameling per unieke combinatie van <metadata > en <veldtype-id> een lijst van document identificatoren <doc-idlijst> bevat waarin de identificatoren documenten aanduiden welke door het matching algoritme als voldoende relevant voor 35 de zoekvraag zijn beoordeeld, - invoermiddelen (3), 10 1 3 79 3 - uitvoermiddelen (2), tenminste omvattende visuele presentatiemiddelen, - een verwerkingseenheid (7) die via datacommunicatiemiddelen (8) is verbonden met de genoemde data opslagmiddelen, 5 invoermiddelen en uitvoermiddelen, en deze middelen bestuurt en op een via de invoermiddelen gegeven commando het zoekalgoritme uitvoert, in welk zoeksysteem 10. het zoekalgoritme een invoergebied toont op de visuele presentatiemiddelen, - in het invoergebied door een gebruiker een zoekvraag kan worden ingegeven via de invoermiddelen, in welke zoekvraag bij elk target de lijst van veldidentificatoren <veldtype-idlijst> 15 als standaardinstelling alle waarden van <veldtype-id> bevat die in de metadataverzameling aanwezig zijn, en bij welk invoergebied via de invoermiddelen door de gebruiker een commando kan worden gegeven voor het activeren van het matching algoritme, en 20. waarbij het zoekalgoritme een deel van de relevantieverzameling in een naar target geordende lijstvorm op de visuele presentatiemiddelen toont, zodanig dat per paar (<target>,<veldtype-id>) uit de relevantieverzameling tenminste het aantal elementen uit de lijst van document identificatoren 25 <doc-idlijst> is getoond, met het kenmerk, dat - het matching algoritme uit de relevantieverzameling drie-tuples verwijdert zodanig dat een gefilterde 30 relevantieverzameling ontstaat welke alleen drie-tuples omvat waarin de lijst van document identificatoren <doc-idlijst> een niet-lege verzameling is, en waarin de lijst van document identificatoren <doc-idlijst> niet identiek is aan de lijst van document identificatoren <doc-idlijst> van de gehele 35 documentenverzameling. 10 1 3 713Document search system (1), comprising 5 - data storage means (4) containing at least the following data: - a metadata set (5) with a set of three tuples (<metadata>, <field type-id>, <doc-id- list>), which metadata set is obtained from a set of documents and is made up of a number of fields, each field being assigned a field type identifier <field type id>, and in which metadata set each three-tuple denotes that for all documents in the non-empty list with document 15 identifiers <doc-id-list> the element <metadata> is metadata of a field identified by <fieldtype-id>, and - a search algorithm (6) comprising a matching algorithm that inputs an search query, which search query at least includes an enumeration of pairs ((<target>, <weight>), <field type idlist>), in which pairs <weight> is a real number on the interval [0; 1], and which matching algorithm has the metadata set as input, and per <field type -id> compares the 25 values of <metadata> from the metadata set with the values of <target> from the query and takes it into the equation <weight>, and which matching algorithm has an output set consisting of three tuples (< target>, Cveldtype-30 id>, <doc-idlist>), which relevance set contains for each unique combination of <metadata> and <fieldtype-id> a list of document identifiers <doc-idlist> in which the identifiers indicate documents which are matching algorithm have been assessed as sufficiently relevant for the search query, - input means (3), 10 1 3 79 3 - output means (2), at least comprising visual presentation means, - a processing unit (7) which is connected via data communication means (8) to the said data storage means, input means and output means, and controls these means and executes the search algorithm on a command given via the input means, in which search system 10. the search algorithm an input area shows on the visual presentation means, - in the input area a search query can be entered by a user via the input means, in which search query for each target the list of field identifiers <field type id list> 15 as default setting all values of <field type id> which are present in the metadata set, and at which input area the user can issue a command for activating the matching algorithm via the input means, and 20. the search algorithm part of the relevance set in a target-ordered list form. visual presentation means, such that per pair (<target>, <field type id>) from the relevance collection, at least the number of elements from the list of document identifiers <doc-id list> is shown, characterized in that - the matching algorithm remove three-tuples from the relevance set such that a filtered set of relevance arises which all includes a three-tuples in which the list of document identifiers <doc-idlist> is a non-empty collection, and in which the list of document identifiers <doc-idlist> is not identical to the list of document identifiers <doc-idlist> of the entire 35 document collection. 10 1 3 713

2. Documentenzoeksysteem volgens conclusie 1, met het kenmerk, dat de paren ( (<target>,<gewicht>), <veldtype-id>) in de getoonde lijst zijn geordend naar <veldtype-id>, volgens een toenemende lengte van de lijst van document identificatoren bij 5 elk der genoemde paren.Document search system according to claim 1, characterized in that the pairs ((<target>, <weight>), <field type id>) in the displayed list are ordered by <field type id>, according to an increasing length of the list of document identifiers for each of the aforementioned pairs.

3. Documentenzoeksysteem volgens conclusie 1, met het kenmerk, dat de paren ((<target>,<gewicht>), <veldtype-id>) in de getoonde lijst zijn geordend naar <veldtype-id>, volgens een 10 afnemende lengte van de lijst van document identificatoren bij elk der genoemde paren.Document search system according to claim 1, characterized in that the pairs ((<target>, <weight>), <field type id>) in the displayed list are ordered by <field type id>, according to a decreasing length of the list of document identifiers for each of the aforementioned pairs.

4. Documentenzoeksysteem volgens een der conclusies 1-3, met het kenmerk, dat de gebruiker elk der elementen <veldtype- 15 idlijst> van de paren ((<target>, <gewicht>), <veldtype-id>) in de zoekvraag via de invoermiddelen kan wijzigen, zonder dat een der elementen (<target>,<gewicht>) verandert.Document search system according to any one of claims 1-3, characterized in that the user searches each of the elements <field type list> of the pairs ((<target>, <weight>), <field type id>) in the query. can change via the input means, without changing any of the elements (<target>, <weight>).

5. Documentenzoeksysteem volgens conclusie 4, met het kenmerk, 20 dat het zoekalgoritme na het tonen van de gefilterde relevantieverzameling als standaardinstelling automatisch alle in de metadataverzameling aanwezige veldtypen instelt bij elke (<target>,<gewicht>) in <veldtype-idlijst>, in reactie op een toevoeging via de invoermiddelen van een of meer targets in de 25 zoekvraag.Document search system according to claim 4, characterized in that the search algorithm automatically sets all field types present in the metadata set in each (<target>, <weight>) in <field type idlist> after displaying the filtered relevance set as default setting, in response to an addition via the input means of one or more targets in the search query.

6. Documentenzoeksysteem volgens een der conclusies 1-5, met het kenmerk, dat alle document identificatoren voorkomend in de gefilterde relevantieverzameling gerangschikt naar relevantie 30 worden getoond op de uitvoermiddelen.6. Document search system as claimed in any of the claims 1-5, characterized in that all document identifiers occurring in the filtered relevance set arranged according to relevance are displayed on the output means.

7. Documentenzoeksysteem volgens conclusie 6, met het kenmerk, dat de rangschikking plaatsvindt volgens de functiewaarde rl, die is gedefinieerd als rl(< doc — id >) = Σ« gewicht >)largel alle paren (ctaiget >, <veldlype-id>) die <doc-id> opleveren 35 10 1 3 7 9 3Document search system according to claim 6, characterized in that the arrangement takes place according to the function value rl, which is defined as rl (<doc - id>) = Σ «weight>) largel all pairs (ctaiget>, <veldlype-id> ) that yield <doc-id> 35 10 1 3 7 9 3

8. Documentenzoeksysteem volgens conclusie 6, met het kenmerk, dat de rangschikking plaats vindt volgens de functiewaarde r2, die is gedefinieerd als r2 (< doc - id >) = , gewicht (< target >) alle (aantal elementen in < doe - idlijst »target,veidtype-id (<target>, <veldtype-id>) die <doc-id> opleveren 5Document search system according to claim 6, characterized in that the ranking takes place according to the function value r2, which is defined as r2 (<doc - id>) =, weight (<target>) all (number of elements in <job list) »Target, veidtype-id (<target>, <fieldtype-id>) that yield <doc-id> 5

9. Documentenzoeksysteem volgens conclusie 6, met het kenmerk, dat - de relevantieverzameling bestaat uit drie-tuples (<target>, <veldtype-id>, <document gegevens>) in welke drie-tuples 10 <document gegevens> wederom een lijst is van drie-tuples (<document-id>, clengte van het veld met veldtype <veldtype-id> gemeten in targets>, <aantal keer dat de target <target> in het veld voorkomt>, en - de rangschikking plaats vindt volgens de functiewaarde r3, die 15 is gedefinieerd als r3 (< doc - id >) = MclX gewicht (< target >) * f (< target > , < veldtype - id > alle paren (<target>, <veldtype-idj·) die <doc-id> opleveren met , < aantal keer dat de target < targe t> in het veld is gematcht> J (< target>, < veldtype- id >) =- < lengtevanhet veld met veldtype<veldtype- id > gemeterin targets>Document search system according to claim 6, characterized in that - the relevance set consists of three tuples (<target>, <fieldtype-id>, <document data>) in which three tuples 10 <document data> is again a list of three tuples (<document-id>, clength of the field with field type <fieldtype-id> measured in targets>, <number of times the target <target> occurs in the field>, and - the ranking takes place according to the function value r3, which is defined as r3 (<doc - id>) = MclX weight (<target>) * f (<target>, <field type - id>) all pairs (<target>, <field type idj ·) that <doc-id> return with, <number of times the target <targe t> was matched in the field> J (<target>, <field type id>) = - <length of the field with field type <field type id> metered targets >

10 Dtotaal waarin Dnieuw gematcht = aantal verwachte nieuw-gematchte documenten in een tijdsinterval t bij gegeven R,10 Dtotal in which D new matched = number of expected new matched documents in a time interval t at given R,

10. Documentenzoeksysteem volgens conclusie 6, met het kenmerk, dat de metadataverzameling een veldtype omvat voor het opslaan van de datum van toevoeging van een document identificator aan de metadataverzameling, waarmee aan elke document identificator precies één dergelijke datum is toegekend als <metadata> bij het 25 veld van dit type, en welk documentenzoeksysteem de rangschikking plaats vindt volgens de functiewaarde r4, waarin r4 <<doc-id>) = ((huidige datum) - (datum van toevoeging van het document met <doc-id>)) / ((huidige datum) - (datum van 30 toevoeging van het oudste document uit de documentencollectie)). 10 1 3 79 3Document search system according to claim 6, characterized in that the metadata set comprises a field type for storing the date of adding a document identifier to the metadata set, whereby each document identifier is assigned exactly one such date as <metadata> in the 25 field of this type, and which document search system is ordered according to the function value r4, where r4 <<doc-id>) = ((current date) - (date of adding the document with <doc-id>)) / ((current date) - (date of 30 addition of the oldest document from the document collection)). 10 1 3 79 3

11. Documentenzoeksysteem volgens conclusie 6, met het kenmerk, dat de rangschikking plaats vindt volgens een getrapt sorteeralgoritme waarin het aantal trappen tenminste twee 5 bedraagt en waarin in een of meer der tenminste twee trappen wordt gesorteerd op grond van een der bovengenoemde functiewaarden rl, r2, r3 en r4.Document search system according to claim 6, characterized in that the arrangement takes place according to a graduated sorting algorithm in which the number of stages is at least two and in which one or more of the at least two stages are sorted on the basis of one of the above function values r1, r2. , r3 and r4.

12. Documentenzoeksysteem volgens conclusie 11, met het kenmerk, 10 dat de gebruiker voorafgaand aan het matchen de volgorde van de trappen in de getrapte sortering kan instellen.Document search system according to claim 11, characterized in that the user can set the order of the steps in the step sorting prior to matching.

13. Documentenzoeksysteem volgens conclusie 12, met het kenmerk, dat het zoekalgoritme een suggestie doet ten aanzien van de 15 instelling van de volgorde van de getrapte sortering volgens de volgende regel: als de zoekvraag < 4 targets bevat, dan functiewaarde rl als eerste trap, functiewaarde r2 als tweede trap, functiewaarde r3 als derde trap, en functiewaarde r4 als vierde trap, 20 als de zoekvraag >4 targets bevat, dan functiewaarde r2 als eerste trap, functiewaarde rl als tweede trap, functiewaarde r3 als derde trap, en functiewaarde r4 als vierde trap.13. Document search system according to claim 12, characterized in that the search algorithm makes a suggestion regarding the setting of the order of the step sorting according to the following rule: if the search query contains <4 targets, then function value r1 as first step, function value r2 as second stage, function value r3 as third stage, and function value r4 as fourth stage, 20 if the query contains> 4 targets, then function value r2 as first stage, function value rl as second stage, function value r3 as third stage, and function value r4 as the fourth stage.

14. Documentenzoeksysteem volgens een of meerdere der conclusies 25 6-13, met het kenmerk, dat - aan elk der drie-tuples uit de gefilterde relevantieverzameling een waardering R wordt toegekend, die een functie is van tenminste een der bovengenoemde functiewaarden rl, r2, r3 en r4, en 30 - uit de gefilterde relevantieverzameling de drie-tuples worden verwijderd waarvan de waardering R kleiner is dan of gelijk is aan een vooraf ingestelde grenswaarde. 1 2 10 1 3 7 9 3 Documentenzoeksysteem volgens conclusie 14, met het kenmerk, 35 dat R gelijk is aan rl en de vooraf ingestelde grenswaarde 2 gelijk is aan de som van de gewichten van de targets in de zoekvraag.Document search system according to one or more of claims 6 to 6, characterized in that - each of the three tuples from the filtered relevance set is assigned a rating R, which is a function of at least one of the above function values r1, r2, r3 and r4, and 30 - the three tuples whose rating R is less than or equal to a preset limit value are removed from the filtered relevance set. 1 2 10 1 3 7 9 3 Document search system according to claim 14, characterized in that R equals r1 and the preset limit value 2 equals the sum of the weights of the targets in the query.

16. Documentenzoeksysteem volgens conclusie 14, met het kenmerk, dat de waarde van R zodanig wordt ingesteld dat bij periodiek herhaalde uitvoering van de zoekvraag een vooraf geschat gekozen 5 aantal nieuwe documenten per tijdsinterval arriveert, waarbij de schatting is gemaakt met de formule Dtotaal gematcht bij R Dnieuw gematcht = -----------------------------* DgroeiDocument search system according to claim 14, characterized in that the value of R is set such that upon periodically repeated execution of the search query a pre-estimated number of new documents per time interval arrives, the estimate being made with the formula D total matched at R D matched again = ----------------------------- * D growth

15 Dtotaal gematcht bij R = het totaal aantal document identificatoren in de gefilterde relevantieverzameling bij R, Dtotaal = het totale aantal document identificatoren in de metadataverzameling, Dgroei = het aantal aan de. metadataverzameling toegevoegde 20 document identificatoren in het tijdsinterval t. 1 10 1 3 7 9 3 Werkwijze voor het zoeken van documenten met gebrukmaking van een documentenzoeksysteem volgens een of meer van de voorgaande conclusies.15 Dtotal matched at R = the total number of document identifiers in the filtered relevance set at R, Dtotal = the total number of document identifiers in the metadata set, D growth = the number of. metadata collection added 20 document identifiers in the time interval t. 1 10 1 3 7 9 3 Method for searching documents using a document search system according to one or more of the preceding claims.