WO2017121251A1 - 一种信息推送方法及装置 - Google Patents

一种信息推送方法及装置 Download PDF

Info

Publication number
WO2017121251A1
WO2017121251A1 PCT/CN2016/113588 CN2016113588W WO2017121251A1 WO 2017121251 A1 WO2017121251 A1 WO 2017121251A1 CN 2016113588 W CN2016113588 W CN 2016113588W WO 2017121251 A1 WO2017121251 A1 WO 2017121251A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
push
natural
score
materials
Prior art date
Application number
PCT/CN2016/113588
Other languages
English (en)
French (fr)
Inventor
陈烨
张涛
王兴
郑志昊
李璟
叶树蕻
沈丹
王观海
张弓
赵晓蕾
管宏
Original Assignee
北京三快在线科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京三快在线科技有限公司 filed Critical 北京三快在线科技有限公司
Priority to US16/070,058 priority Critical patent/US11100178B2/en
Publication of WO2017121251A1 publication Critical patent/WO2017121251A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques

Definitions

  • the present application relates to the field of computer technology, and in particular, to an information push method and apparatus.
  • search engines With the development of Internet technology, more and more users use search engines, Internet users can obtain various information through search engines, and search engines almost become the entrance of Internet users to the Internet. Therefore, based on the characteristics of large users of search engines, more and more enterprises use search engines to push information, such as: push advertising information, push website links, and so on.
  • a more common search-based information push method is: pushing the information with the push identifier associated with the search term according to the search term, and searching for the ranking in advance.
  • the technical problem to be solved by the present application is to provide an information push method, which solves the problem that the push information appears in the fixed position of the search result in the prior art, and the natural search result in the vicinity of the push information and the search term may be compared.
  • the problem that the relevance of the search terms is much different, resulting in a decrease in the click rate of the search results.
  • the embodiment of the present application provides an information pushing method, including: calling a natural search service to perform a search operation on a search term to obtain a natural search list; and calling a push information search service to perform a search operation on the search word to obtain push information.
  • the natural search list includes a first threshold number of natural search materials and a first evaluation score of each of the natural search materials, the push information list including a second threshold quantity of push materials and a first of each of the push materials a second evaluation score; combining the first evaluation score and the second evaluation score of the material existing in the natural search list and the push information list to obtain a comprehensive evaluation score of the natural search material in the natural search list;
  • the natural search materials are reordered according to the comprehensive evaluation score and pushed.
  • the calling natural search service performs a search operation on the search term to obtain a natural search list, and further includes: calling a natural search service, performing a natural search material recall, and selecting a first threshold quantity of natural search materials according to text relevance; using the preset Sorting method of the first threshold number of natural search materials according to a sorting score, and the self The ranking score of the material is then searched as the first evaluation score.
  • the preset sorting method is obtained by collecting data related to user experience indicators in the search log.
  • the calling push information search service performs a search operation on the search word to obtain a push information list, and further includes: calling a push information search service, performing a push material recall, and selecting a second threshold quantity of push materials according to text relevance;
  • the push evaluation parameter and the score weight of the push evaluation parameter respectively calculate a second evaluation score of the second threshold quantity of the push material.
  • the second evaluation score of the second threshold quantity of the pushed material is respectively calculated according to the preset push evaluation parameter and the score weight of the push evaluation parameter, specifically: obtaining the corresponding material of the current search term The score weight of the evaluation parameter is pushed; the product of the push evaluation parameter value of the push material and the score weight is used as the second evaluation score of the push material.
  • the method further includes: optimizing, according to the search log, the score weight of the push evaluation parameter of the corresponding material of the search term under the preset user experience index constraint.
  • an embodiment of the present application further provides an information pushing apparatus, including a processor, by reading a machine readable instruction stored on a storage medium and corresponding to information push control logic, and executing the instruction.
  • the natural search list includes a first threshold number of natural search materials and each a first evaluation score of the natural search item,
  • the push information list includes a second threshold quantity of push materials and a second evaluation score of each of the push materials;
  • the natural search list and the push information will exist simultaneously
  • the first evaluation score of the material in the list and the second evaluation score are integrated to obtain a comprehensive evaluation score of the natural search material in the natural search list; the natural search materials are reordered according to the comprehensive evaluation score, and pushed.
  • the machine readable instructions when the natural search service is invoked to perform a search operation on the search term to obtain a natural search list, the machine readable instructions cause the processor to: invoke the natural search service, perform a natural search material recall, and follow the text relevance. Selecting a first threshold number of natural search materials; sorting the first threshold number of natural search materials by a predetermined sorting method according to a sorting score, and using the ranking score of the natural search material as the first evaluation score.
  • the preset sorting method is obtained by collecting data related to user experience indicators in the search log.
  • the machine readable instruction causes the processor to: invoke the push information search service, perform a push material recall, and follow the text.
  • the correlation selects a second threshold quantity of push materials; and calculates a second evaluation score of the second threshold quantity of push materials according to the preset push evaluation parameters and the score weights of the push evaluation parameters.
  • the machine readable instruction causes the processor And obtaining a score weight of the push evaluation parameter of the material corresponding to the current search term; and using the product of the push evaluation parameter value of the push material and the score weight as the second evaluation score of the push material.
  • the machine readable instructions further cause the processor to: optimize and update a push evaluation parameter of a corresponding material of the search term according to a search log, under a preset user experience indicator constraint Score weight.
  • the application performs a search operation on the search term by the search server calling the natural search service, and obtains a natural search list including the first threshold quantity of the natural search material and the first evaluation score of each natural search item, and the search server calls the push information search service in parallel to search.
  • the word performs a search operation to obtain a push information list including a second threshold number of push materials and a second evaluation score of each of the push materials; and then, a first evaluation of materials that are simultaneously present in the natural search list and the push information list
  • the score is combined with the second evaluation score to obtain a comprehensive evaluation score of the material in the natural search list, and the comprehensive evaluation score is equal to the first evaluation score for the material existing only in the natural search list; finally, according to the comprehensive evaluation score
  • Natural search items are reordered and pushed.
  • FIG. 1 is a flowchart of an information pushing method according to an embodiment of the present application.
  • FIG. 2 is a flow chart of an information pushing method according to another embodiment of the present application.
  • 3 is a flow chart of calculating score weights for push evaluation parameters in one embodiment of the present application.
  • FIG. 4 is a flow chart of an information pushing method according to still another embodiment of the present application.
  • FIG. 5 is a schematic structural diagram of hardware of an information pushing apparatus according to an embodiment of the present application.
  • FIG. 6 is a schematic diagram of functional modules of information push control logic according to an embodiment of the present application.
  • FIG. 7 is a schematic diagram of functional modules of information push control logic according to another embodiment of the present application.
  • FIG. 8 is a schematic diagram of functional modules of information push control logic according to still another embodiment of the present application.
  • the information pushing manner may be: after the search server receives the web page or the search term sent by the terminal application, the natural search service and the push information search service are respectively invoked by using the search term as an input parameter.
  • the natural search service recalls the search material according to the search term, and sorts the ranking parameters according to the relevance of the search term and the user click feedback rate from high to low, and obtains a natural search result list.
  • the push information search service recalls the push material according to the search term, and sorts according to the relevance of the search term, selects a preset amount of push materials with high correlation, and calculates the selected preset according to the preset push parameters.
  • the search server pushes the top N (N is a positive integer) push information and the natural search result in the push information list to the web page or the preset fixed position of the terminal application for display.
  • the information push method may have the following defects: the push information appears at a fixed position of the search result, and the correlation between the push information and the search term may be much worse than the correlation between the natural search result and the search term in the vicinity, and the visual representation is Inaccurate search results result in a decrease in clickthrough rate on search results.
  • the information push may include the case where the searched related information is pushed to the user after receiving the search term input by the user.
  • the information push may also include the case where no trigger is received from the user and the information is actively sent to the user.
  • This application is applicable to the case where the relevant information is pushed after receiving the search term input by the user.
  • the information that is to be pushed in the present application may include: a website link, a notification, an advertisement, and the like, which is not limited in this application.
  • there may be corresponding push information search service and each push information search service may search according to the search word sent by the front page in the corresponding push database, and may use the same search method or push policy. Different retrieval methods are used for different purposes, and this application does not limit this.
  • the information push method of the present application is described by using an application scenario of a commonly used push advertisement.
  • the natural search service in the embodiment of the present application refers to a program module or hardware that implements Natural Search in a search engine, and is used to find a matching page in the search engine that is most relevant to the search request.
  • the push information search service is a program module or hardware for realizing unnatural search in a search engine, and is used to find a program module or hardware in the search engine that is associated with the search request and conforms to the push information of the preset push rule.
  • the objects to be searched may be collectively referred to as “materials” in the embodiments of the present application, including: a website address, various web page contents, and the like, for example, business information, product introduction, articles, pictures, website addresses, and the like on the website.
  • An information pushing method disclosed in the present application may include steps 110-130.
  • Step 110 Calling a natural search service to perform a search operation on the search term to obtain a natural search list; and calling a push information search service to perform a search operation on the search word to obtain a push information list;
  • the natural search list may include a first threshold number of natural searches And a first evaluation score of the material and each of the natural search materials
  • the push information list may include a second threshold quantity of push materials and a second evaluation score of each of the push materials.
  • Step 120 Integrate the first evaluation score and the second evaluation score of the materials existing in the natural search list and the push information list to obtain a comprehensive evaluation score of the natural search materials in the natural search list.
  • step 130 the natural search materials are reordered according to the comprehensive evaluation score and pushed.
  • the natural search service and the push information search service may be invoked by the search server.
  • the application may also include the step of receiving a search term.
  • a search term input by a user through a web page or an input interface of an application (APP) is sent to a search server by a web page or an application, and after receiving the search term sent by the front end, the search server performs subsequent steps 110 to Step 130: Complete the search result related to the search term and the push operation of the push information.
  • the search server may also receive the search term by other means. For example, in the navigation system, when the geographic location changes, the screening function sends the current geographic location as a search term to the search server according to the current geographic location, and the same. Search function can be implemented.
  • the search server may be a physical machine or a plurality of physical machines.
  • the present application does not limit the search server, and the search server can invoke the natural search service and the push information search service in parallel and independently.
  • the natural search service is invoked to perform a search operation on the search term
  • the push information search service is invoked to perform a search operation on the search term, which may be performed simultaneously or sequentially.
  • the execution order of the two search operations is not in the present application. Make a limit.
  • the search server invokes the natural search service to perform a search operation on the input search term, and may search for tens of thousands of search results depending on the search term and the database built in the search server, and the natural search service obtains each search result.
  • the evaluation score of the search result can be used to indicate the matching degree of the search result.
  • the search server can filter the search results according to the evaluation score of the search result, and only select some of the search results for pushing.
  • the first threshold number of natural search results are selected for pushing, wherein the first threshold quantity may be determined according to the receiving capability or setting of the pushed end, for example, for the case where the pushed end is a mobile terminal, The first threshold number is 200.
  • the search server invokes the push information search service to perform a search operation on the input search term, and may search for hundreds of push information according to the difference between the search term and the push information database built in the search server, and the information push search service An evaluation score for each push information is obtained, and the evaluation score of each push information can be used to indicate the degree of matching of the push information.
  • the search server presets the maximum amount of push information, and then filters according to the evaluation score of the push information, and only selects some of the push information for pushing.
  • the second threshold quantity of push information is selected for pushing, For example, the second threshold number is 10. The second threshold number may be less than the first threshold amount.
  • the materials to be searched may be stored in the database of the search server, or may be stored in the data server, and may include natural search materials and push materials, wherein the push materials may also exist in the natural search material, that is, some natural search materials have push attributes. .
  • Each item can be set with a unique item ID, such as the item ID of the URL can be the URL of the URL.
  • the first threshold number of natural search materials may be traversed.
  • the first evaluation score and the push of the material identifier in the push information list are pushed.
  • the sum of the second evaluation scores of the materials is used as the comprehensive evaluation score of the natural search material; and the first evaluation score of the materials having no push attributes in the natural search list is taken as the comprehensive evaluation score.
  • step 130 the natural search materials are reordered according to the comprehensive evaluation score, and pushed in the reordered order.
  • the user can input the search term "hot pot” through the public comment client.
  • the client can send the search term "hot pot” to the search server, and the search server can respectively call the natural search service and the push information search service to perform the search operation.
  • the natural search service can search 100,000 items in the database, and then filter out the 10,000 items with high scores in the order of the first evaluation score of the materials to form a natural search list (Table 1).
  • the push information search service searches 1000 items in the push information database, and then filters the 100 items with high scores to form a push information search list according to the second evaluation score of the materials (see Table 2).
  • the natural search list is reordered in descending order of the comprehensive evaluation scores, as shown in Table 3.
  • the natural search list can then be pushed to the public comment client in the reordered order.
  • the search server may invoke the natural search service to perform a search operation on the input search term to obtain a natural search list including the first threshold number of natural search materials and the first evaluation scores of the respective natural search materials.
  • the search server concurrently invokes the push information search service to perform a search operation on the input search term, and obtains a push information list including the second threshold number of push materials and the second evaluation score of each of the push materials.
  • the natural search materials are reordered and pushed according to the comprehensive evaluation score.
  • the push position of the search result with the push attribute in the natural search list is advanced, which not only ensures the accuracy of the search result, but also ensures the click of the search result with the push attribute. Rate and improve the user experience.
  • the search server invokes the natural search service to perform a search operation on the search term to obtain a natural search list, and further includes steps 1101 and 1102.
  • step 1101 the search server invokes the natural search service, performs a natural search material recall, and selects a first threshold number of natural search items according to text relevance.
  • Step 1102 Sort the first threshold number of natural search materials according to a sorting score by using a preset sorting method, and use the sorting score of the natural search material as the first evaluation score.
  • the search server can invoke the natural search service to perform a natural search for material recalls. After searching for a large amount of material in the database, the search server can use a simple sorting method, such as sorting the high-to-low order of text relevance, or sorting the mass materials in descending order of text relevance. Then, the search server can filter the mass materials, select the first threshold quantity of materials with higher correlation, and add the natural search list as the natural search material to be returned.
  • the text relevance score can be obtained by calculating the tf-idf value of the search term and the material title by the tf-idf algorithm.
  • the search server may select the first threshold number of materials to be added to the natural search list as the natural search material to be returned. If the searched mass materials are sorted in descending order of text relevance, the search server may select the first threshold quantity of materials to be added to the natural search list as the natural search material to be returned.
  • the search server may reorder the filtered first threshold number of natural search items by using a preset sorting method.
  • the preset sorting method outputs the re-sorted first threshold number of natural search items in an order of highest to lowest sorting scores during execution.
  • the ranking score of the first threshold number of natural search materials is taken as the first evaluation score of the corresponding material.
  • the preset sorting method may use a complex sorting algorithm, and may include a supervised learning sorting method learningToRank, a webpage ranking pagerank, and the like.
  • the training method is trained, the user experience is the optimization target. Therefore, the preset sorting method can be obtained by collecting data related to the user experience index in the search log.
  • the data related to the user experience indicator may include, but is not limited to, a click count and a text relevance.
  • the present application obtains a ranking score that reflects the user experience by a preset sorting method, and is the first evaluation score of the natural search result.
  • the training process of the sorting method can be introduced by a commonly used complex sorting method: pair wise ranking svm method.
  • the backend query log can be saved on the search server.
  • the query log may include: query unique identifier (queryid), city, query (query) category, latitude and longitude (geohash), search term, natural search list di (item id), text relevance score (ti), category relevance Score (ci) and so on.
  • the text relevance score can be obtained by calculating the tf-idf value of the search term and the material title by the tf-idf algorithm.
  • the category correlation score can be used to calculate the similarity between the query category and the material category using the cosine similarity algorithm as the category correlation.
  • the ranking method training data is generated according to the query log of the natural search of the back end and the click log of the front end natural search list.
  • the format of each training data is (label, queryid, city, query category, latitude and longitude, search term, ti, ci), where queryid, city, query category, latitude and longitude, search term, ti, ci are from the back end of the natural search.
  • the query log, ti and ci are the textual relevance of the material di and the search term and the similarity of the category of the material di and the query category.
  • the Label value can be set according to the number of user clicks Count corresponding to the query log of the natural search of each backend.
  • the Label value of the training data may be set according to the user click count Count corresponding to the query log of the natural search of each backend, as follows: the query log of the natural search of the backend and the click log of the front-end natural search list are associated with the queryid to find each The natural search query log of all front-end users corresponding to the query log of the natural search of the back end is clicked (queryid, di), and the corresponding user click count Count is calculated.
  • the query log for the natural search of each backend is expanded into N training data, and N is equal to the number of materials in the natural search list.
  • the label of each training data is equal to 0; if count>0, it traverses the query log of the natural search of the backend.
  • the first clicked material label is equal to count
  • the second clicked material label is equal to count–1
  • the other unclicked material label is equal to 0.
  • the natural search material recalls by the natural search service, and the first threshold number of natural search materials are filtered according to the text relevance, corresponding sort input parameters (queryid, city, query category, latitude and longitude, search) are generated for each material.
  • Word, ti, ci) use the ranking svm to load the model parameter file obtained by training, calculate the score corresponding to each material, and all the materials are arranged in descending order of score, then complete the complex sorting, each material The corresponding score is taken as the first evaluation score of the material.
  • the feature of the training data used by the ranking svm method may further include more features, and may also use a more complex training method.
  • the specific training method and training data of the sorting method are not limited in this application.
  • the ranking model is trained by introducing features related to user experience indicators (eg, text relevance, number of clicks), so that the returned natural search results are more in line with the user experience.
  • the first round of natural search results is sorted by a simple sorting method, and the number of search results is reduced, and the efficiency of pushing can be improved.
  • the needle of the natural search result can be improved by introducing a sorting factor that the search server pays attention to in the preset sorting method. Sexuality to further improve the user experience.
  • the search server invokes the push information search service to perform a search operation on the input search term to obtain a push information list, and further includes steps 1103 and 1104.
  • Step 1103 The search server invokes the push information search service, performs a push material recall, and selects a second threshold quantity of push materials according to the text relevance.
  • Step 1104 Calculate a second evaluation score of the second threshold quantity of the pushed material according to the preset push evaluation parameter and the score weight of the push evaluation parameter.
  • the search server may invoke the push information search service to perform a push material recall. After the search server searches for a large amount of material in the push database, it can use a simple sorting method, such as filtering the mass materials in descending order of text relevance or in descending order of text relevance. The search server may select a second threshold quantity of material with a higher correlation as a material to be pushed, and join the push information list.
  • the text relevance score can be obtained by calculating the tf-idf value of the search term and the material title by the tf-idf algorithm.
  • the searched mass materials are sorted in descending order of text relevance, the first threshold quantity of materials is selected as the natural search material to be returned, and the natural search list is added; if the text correlation is low, The high order sorts the searched mass materials, and then selects the first threshold quantity of materials as the natural search material to be returned, and adds the natural search list.
  • the second evaluation score of the second threshold quantity of the push material may be separately calculated.
  • the score weight ⁇ of the push evaluation parameter can be set in advance according to experience.
  • the method may be: first, obtaining a score weight ⁇ of a push evaluation parameter of a material corresponding to the current search term; and then, using the product of the push evaluation parameter value of the push material and the score weight ⁇ as the push The second evaluation score of the material.
  • the push evaluation parameter of the material represents the index for measuring the push effect of the material.
  • the push evaluation parameters of the push materials of different categories are slightly different.
  • the push material of the push material is the eCPM (effective cost) of the advertisement.
  • Per mille refers to the advertising revenue, or click-through rate, that is available for every thousand impressions.
  • the push evaluation parameter of the push material may be pre-defined, and the score weight of the push evaluation parameter is stored in the search server, and is calculated offline according to the search log.
  • the step of separately calculating the second evaluation score of the second threshold quantity of the push material according to the preset push evaluation parameter and the score weight of the push evaluation parameter is described in detail.
  • the preset push evaluation parameter is the eCPM of the advertising material
  • each advertising material includes CTR and Bid information, wherein the basic attribute of the Bid advertisement (the advertiser is a one-click bid), It is a preset value; CTR is obtained based on dynamic calculation.
  • the calculation of the CTR by the dynamic calculation can adopt the calculation model in the prior art, and will not be described here.
  • the step of calculating the second evaluation score of the second threshold quantity of the push material according to the preset push evaluation parameter and the score weight of the push evaluation parameter is described in detail by using only the advertising material as an example.
  • the push material of the present application is not limited to the advertising material, and the evaluation parameter of the push material is also limited to the eCPM of the advertising material, and the method for calculating the second evaluation score is not limited to the above formula.
  • the above specific examples are not to be construed as limiting the application.
  • the first round of natural search results is sorted by a simple sorting method, and the number of search results is reduced, and the efficiency of pushing can be improved.
  • the second evaluation score of the push material By calculating the second evaluation score of the push material by using the score weight of the push evaluation parameter, the arrangement position of the material having the push attribute in the returned natural search list can be dynamically balanced, thereby further improving the user experience.
  • ⁇ can be set to 0 if the effect of information push is not considered. If you want to consider the effect of information push and the user experience of natural search results, you need to set the value of ⁇ in combination with the evaluation score of the first evaluation score and the push material.
  • the specific method of setting the score weight ⁇ of the push evaluation parameter is: collecting the query log; classifying the collected query logs according to the business rules; using the log in each category as a sample, using the batch gradient descent algorithm to calculate the score weight of the push evaluation parameter ⁇ .
  • a query log is generated for each search process, and the log of each search process is recorded by a list.
  • a list can correspond to a search.
  • Each list includes: unique query ID, city, query category, latitude and longitude, search terms and other query conditions, including: query occurrence time, all results returned to the user (ie, natural search sorted according to the comprehensive evaluation score) List), push information list, natural search list sorted according to the first evaluation score, sorting factor, and the like.
  • the natural search list further includes: a material identifier and a first evaluation score of the material; the push information list further includes a push evaluation parameter of the push material.
  • the query log is classified, and the feature classification method can be adopted, for example, the classification method using (city, category, latitude and longitude, search term).
  • the batch gradient descent algorithm is used to calculate the score weight ⁇ of the push evaluation parameters.
  • the search server or the log server of the search system records the query log, that is, the log of each search.
  • the log record of each search is in a list, and the list includes all the results of the query occurrence time and returned to the user (ie, according to the comprehensive evaluation score) Sorted natural search list), push letter
  • the natural search list sorted according to the first evaluation score may further include: a material identification id, a first evaluation score of the material, and a promotion score parameter CTR and a Bid of the push material.
  • the query logs are classified according to the business rules.
  • the classification of the collected query logs by using the classification method of city, category, latitude and longitude, search term
  • each category includes multiple record query logs. list of.
  • the batch gradient descent algorithm is used to calculate the score weight ⁇ of the push evaluation parameters.
  • the specific method may include steps 310 to 380.
  • step 310 assuming that there are K lists in the current classification, the total user experience score Rel of the current classification is calculated.
  • Reli RelevanceScore1+RelevanceScore2+RelevanceScorei+...+RelevanceScorem, the total of the categories
  • step 320 ⁇ takes a random value between 0 and 1, and calculates the total mixed sorted user experience score Rel'k of the current classification. Then, ⁇ takes a random value between (0, 1), according to the formula:
  • Step 330 Determine whether the user experience loss exceeds a preset value. If yes, return to step 320 to reset the ⁇ value; otherwise, continue to perform the step of ⁇ value tuning.
  • the user experience loss is equal to (Rel–Rel')/Rel, and the user experience loss target value is preset to X%. If (Rel–Rel')/Rel>X%, it is determined that the user experience loss exceeds the preset target value. Re-estimate the lambda value. Otherwise, it is determined that the user experience loss is lower than the preset target value, and under this condition, the ⁇ value is further adjusted.
  • Step 340 Calculate an increase value of the advertising revenue when the ⁇ increases by ⁇ according to the corresponding relationship between the advertising revenue and the ⁇ .
  • the advertising revenue Revenue is a function of RankScore, expressed as: g(RankScore), and the calculation formula is:
  • Step 350 Update the ⁇ value according to the learning result of ⁇ of each list in the current classification.
  • the formula for updating the lambda value is: Where ⁇ is a learning rate parameter, which can be manually tuned according to the learning effect and speed, and K is the number of lists in the current category.
  • Step 360 Recalculate the user experience score after the mixed sorting by using the updated ⁇ value.
  • the comprehensive evaluation score RankScore of each item in the current classification is recalculated using the updated ⁇ value, and each list is arranged in descending order of RankScore. Then, the user experience score of the M positions in the front of each list is further calculated.
  • the user experience score Rel' of the mixed sorting of the category is further calculated. For details, refer to step 320, and details are not described herein again.
  • Step 370 Determine whether the user experience loss is less than or equal to a preset value. If yes, repeat steps 340 to 360 to continue to optimize the ⁇ value; otherwise, perform step 380. With the updated mixed-sorted user experience score Rel', it is judged whether or not the constraint of (Rel-Rel') / Rel ⁇ X% is satisfied, and if so, steps 340 to 360 are repeatedly executed to continue optimizing the ⁇ value.
  • step 380 the ⁇ value before the update is saved as an optimal value.
  • the ⁇ value before the update in step 350 is saved as the score weight optimal value of the push evaluation parameter corresponding to the material of the category, and is used to calculate the second evaluation score.
  • the score weight of the evaluation parameters can be maximized under the set user experience damage constraints, thereby maximizing advertising revenue.
  • This embodiment only describes the push information as an advertisement, but the application scope of the present application is not limited to push advertisement. It can be understood that the method of the present application can also be used to push other information, and when the different information is pushed, the idea of optimizing ⁇ is unchanged, and only the calculation formula needs to be adjusted correspondingly for the change of g( ⁇ ).
  • the information pushing method further includes step 140.
  • Step 140 According to the search log, optimize and update the score weight ⁇ of the push evaluation parameter of the corresponding material of the search term under the preset user experience index constraint.
  • the lambda value of each category can be optimized by the offline batch gradient descent algorithm and then uploaded to the search system, which can be optimized by the online batch gradient descent algorithm and updated in real time.
  • the present application also discloses an information push device.
  • the information push device can include a processor 51 and a machine readable storage medium 52, wherein the processor 51 and the machine readable storage medium 52 They are usually connected to each other by an internal bus 53.
  • the information push device may also include an interface 54 to enable communication with other devices or components.
  • the machine readable storage medium 52 can be: RAM (Radom Access Memory), volatile memory, non-volatile memory, flash memory, storage drive (eg, hard drive), solid state A hard disk, any type of storage disk (such as a compact disc, dvd, etc.), or a similar storage medium, or a combination thereof.
  • RAM Random Access Memory
  • volatile memory non-volatile memory
  • flash memory storage drive (eg, hard drive), solid state A hard disk, any type of storage disk (such as a compact disc, dvd, etc.), or a similar storage medium, or a combination thereof.
  • storage drive eg, hard drive
  • solid state A hard disk any type of storage disk (such as a compact disc, dvd, etc.), or a similar storage medium, or a combination thereof.
  • control logic 60 can include a search module 610, a score synthesis module 620, and a push module 630.
  • the search module 610 can be configured to invoke a natural search service to perform a search operation on the search term to obtain a natural search list; invoke a push information search service to perform a search operation on the search word to obtain a push information list;
  • the natural search list includes a first threshold number of natural Searching for a first evaluation score of the material and each of the natural search materials, the push information list includes a second threshold quantity of push materials and a second evaluation score of each of the push materials.
  • the score synthesis module 620 is configured to combine the first evaluation score and the second evaluation score of the materials existing in the natural search list and the push information list to obtain a comprehensive evaluation score of the natural search materials in the natural search list. .
  • the push module 630 can be configured to reorder the natural search materials according to the comprehensive evaluation score and push.
  • the application performs a search operation on the input search term by the search server calling the natural search service, and obtains a natural search list including the first threshold quantity of the natural search material and the first evaluation score of each natural search item, and the search server calls the push information in parallel.
  • the search service performs a search operation on the input search term to obtain a push information list including the second threshold quantity of the push material and the second evaluation score of each of the push materials; and then, the same exists in the natural search list and the push information list.
  • the first evaluation score of the material and the second evaluation score are integrated to obtain a comprehensive evaluation score of the material in the natural search list, and the comprehensive evaluation score is equal to the first evaluation score for the material existing only in the natural search list;
  • the comprehensive evaluation score reorders the natural search items and pushes them.
  • the search module further includes a natural search sub-module 6101, a natural search sorting sub-module 6102.
  • the natural search sub-module 6101 can be used to invoke a natural search service, perform a natural search material recall, and select a first threshold number of natural search items in accordance with text relevance.
  • the natural search sorting sub-module 6102 is configured to sort the first threshold number of natural search materials according to a sorting score by using a preset sorting method, and use the sorting score of the natural search material as the first evaluation score.
  • the preset sorting method is obtained by collecting data related to user experience indicators in the search log.
  • the data related to the user experience indicator includes, but is not limited to, text relevance and number of clicks.
  • the first round of natural search results is sorted by a simple sorting method, and the number of search results is reduced, and the efficiency of pushing can be improved.
  • the filtered natural search results are sorted again by using a preset sorting method.
  • the user experience can be further improved by introducing a ranking factor that the search server pays attention to in the preset sorting method, thereby improving the targeting of the natural search result.
  • the search module further includes a push search sub-module 6103 and a push score calculation sub-module 6104.
  • the push search sub-module 6103 can be used to invoke the push information search service, perform a push material recall, and select a second threshold amount of push material according to text relevance.
  • the push score calculation sub-module 6104 is configured to calculate a second evaluation score of the second threshold amount of push materials according to the preset push evaluation parameter and the score weight of the push evaluation parameter.
  • the push score calculation sub-module is specifically configured to: obtain a score weight of a push evaluation parameter of a material corresponding to the current search term; and use a product of the push evaluation parameter value of the push material and the score weight as a The second evaluation score of the pushed material.
  • the first round of natural search results is sorted by a simple sorting method, and the number of search results is reduced, and the efficiency of pushing can be improved.
  • the second evaluation score of the pushed material is calculated by using the score weight of the push evaluation parameter. The user experience can be further improved by dynamically balancing the placement of materials with push attributes in the returned natural search list.
  • the apparatus further includes an evaluation parameter update module 640.
  • the evaluation parameter update module 640 can be configured to optimize and update the score weight of the push evaluation parameter of the corresponding material of the search term according to the search log according to the preset user experience index constraint.
  • the lambda value of each category can be optimized by the offline batch gradient descent algorithm and then uploaded to the search system, which can be optimized by the online batch gradient descent algorithm and updated in real time.
  • control logic of the present application can be understood as machine readable instructions stored in machine readable storage medium 52.
  • processor 51 on the information push device of the present application executes the control logic, the processor 51 performs the following operations by calling machine readable instructions stored on the machine readable storage medium 52:
  • a natural search service to perform a search operation on the search term to obtain a natural search list, the natural search list including a first threshold number of natural search materials and a first evaluation score of each of the natural search materials;
  • the push information search service Calling the push information search service to perform a search operation on the search term to obtain a push information list, where the push information list includes a second threshold quantity of push materials and a second evaluation score of each of the push materials;
  • the natural search materials are reordered according to the comprehensive evaluation score and pushed.
  • the machine readable instructions stored on the machine readable storage medium 52 may cause the processor 51 to:
  • the first threshold number of natural search materials are arranged according to a sorting score by using a preset sorting method, and the sorting score of the natural search material is used as the first evaluation score.
  • the preset sorting method is obtained by collecting data related to user experience indicators in the search log.
  • the machine readable instructions stored on the machine readable storage medium 52 may cause the processor 51 to:
  • the calculating, according to the preset push evaluation parameter and the score weight of the push evaluation parameter, respectively, the second evaluation score of the second threshold quantity of the push material is saved on the machine readable storage medium 52.
  • the machine readable instructions can cause the processor 51 to:
  • the product of the push evaluation parameter value of the push material and the score weight is used as a second evaluation score of the push material.
  • the machine readable instructions stored on the machine readable storage medium 52 may cause the processor 51 to: optimize and update the push evaluation parameters of the corresponding materials of the search terms according to the search log under the preset user experience index constraints. Score weight.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种信息推送方法，搜索服务器可调用自然搜索服务对检索词执行搜索操作，获得包括第一阈值数量的自然搜索物料和各自然搜索物料第一评价得分的自然搜索列表，及调用推送信息搜索服务对检索词执行搜索操作，获得包括第二阈值数量的推送物料及各所述推送物料的第二评价得分的推送信息列表；并将同时存在于自然搜索列表和推送信息列表中的物料的第一评价得分和第二评价得分进行综合；最后按照综合评价得分将所述自然搜索物料重新排序，并推送。

Description

一种信息推送方法及装置
相关申请的交叉引用
本专利申请要求于2016年01月13日提交的、申请号为201610022317.4、发明名称为“一种信息推送方法及装置”的中国专利申请的优先权，该申请的全文以引用的方式并入本文中。
技术领域
本申请涉及计算机技术领域，特别是涉及一种信息推送方法及装置。
背景技术
随着互联网技术的发展，使用搜索引擎的用户越来越多，互联网用户可以通过搜索引擎获取各种信息，搜索引擎几乎成为网民进入互联网的入口。因此，基于搜索引擎的大用户量的特点，越来越多的企业利用搜索引擎进行信息推送，例如：推送广告信息、推送网站链接等。比较常见的一种基于搜索的信息推送方式是：根据检索词推送与该检索词相关的具有推送标识的信息，提前搜索排名。
发明内容
本申请所要解决的技术问题是：提供一种信息推送方法，解决现有技术中推送信息出现在搜索结果的固定位置，可能出现推送信息与检索词的相关度相比其附近的自然搜索结果与检索词的相关度差很多的情况，从而导致对搜索结果的点击率下降的问题。
为了解决上述问题，本申请实施例提供了一种信息推送方法，包括：调用自然搜索服务对检索词执行搜索操作，获得自然搜索列表；调用推送信息搜索服务对检索词执行搜索操作，获得推送信息列表；所述自然搜索列表包括第一阈值数量的自然搜索物料及各所述自然搜索物料的第一评价得分，所述推送信息列表包括第二阈值数量的推送物料及各所述推送物料的第二评价得分；将同时存在于所述自然搜索列表和所述推送信息列表中的物料的第一评价得分和第二评价得分进行综合，得到所述自然搜索列表中自然搜索物料的综合评价得分；对所述自然搜索物料按照综合评价得分重新排序，并推送。
所述调用自然搜索服务对检索词执行搜索操作，获得自然搜索列表，进一步包括：调用自然搜索服务，执行自然搜索物料召回，并按照文本相关性选择第一阈值数量的自然搜索物料；利用预设的排序方法对所述第一阈值数量的自然搜索物料按照排序得分排列，并将该自 然搜索物料的排序得分作为第一评价得分。
具体实施时，所述预设的排序方法通过采集搜索日志中的与用户体验指标相关的数据训练得到。
所述调用推送信息搜索服务对检索词执行搜索操作，获得推送信息列表，进一步包括：调用推送信息搜索服务，执行推送物料召回，并按照文本相关性选择第二阈值数量的推送物料；根据预设的推送评价参数和所述推送评价参数的得分权重，分别计算所述第二阈值数量的推送物料的第二评价得分。
具体实施时，所述根据预设的推送评价参数和所述推送评价参数的得分权重，分别计算所述第二阈值数量的推送物料的第二评价得分，具体为：获得当前检索词对应物料的推送评价参数的得分权重；将所述推送物料的所述推送评价参数值与所述得分权重的乘积作为所述推送物料的第二评价得分。
在本申请的一个优选实施例中，所述方法还包括：根据搜索日志，在预设的用户体验指标约束下，优化并更新检索词对应物料的推送评价参数的得分权重。
相应的，本申请实施例还提供了一种信息推送装置，包括处理器，所述处理器通过读取存储介质上所存储的与信息推送控制逻辑对应的机器可读指令并执行所述指令来：调用自然搜索服务对检索词执行搜索操作，获得自然搜索列表；调用推送信息搜索服务对检索词执行搜索操作，获得推送信息列表；所述自然搜索列表包括第一阈值数量的自然搜索物料及各所述自然搜索物料的第一评价得分，所述推送信息列表包括第二阈值数量的推送物料及各所述推送物料的第二评价得分；将同时存在于所述自然搜索列表和所述推送信息列表中的物料的第一评价得分和第二评价得分进行综合，得到所述自然搜索列表中自然搜索物料的综合评价得分；对所述自然搜索物料按照综合评价得分重新排序，并推送。
具体实施时，当调用自然搜索服务对检索词执行搜索操作，获得自然搜索列表时，所述机器可读指令促使所述处理器：调用自然搜索服务，执行自然搜索物料召回，并按照文本相关性选择第一阈值数量的自然搜索物料；利用预设的排序方法对所述第一阈值数量的自然搜索物料按照排序得分排列，并将该自然搜索物料的排序得分作为第一评价得分。
具体实施时，所述预设的排序方法通过采集搜索日志中的与用户体验指标相关的数据训练得到。
具体实施时，当调用推送信息搜索服务对检索词执行搜索操作，获得推送信息列表时，所述机器可读指令促使所述处理器：调用推送信息搜索服务，执行推送物料召回，并按照文 本相关性选择第二阈值数量的推送物料；根据预设的推送评价参数和所述推送评价参数的得分权重，分别计算所述第二阈值数量的推送物料的第二评价得分。
具体实施时，当根据预设的推送评价参数和所述推送评价参数的得分权重，分别计算所述第二阈值数量的推送物料的第二评价得分，所述机器可读指令促使所述处理器：获得当前检索词对应物料的推送评价参数的得分权重；将所述推送物料的所述推送评价参数值与所述得分权重的乘积作为所述推送物料的第二评价得分。
在本申请的另一优选实施例中，所述机器可读指令还促使所述处理器：根据搜索日志，在预设的用户体验指标约束下，优化并更新检索词对应物料的推送评价参数的得分权重。
本申请通过搜索服务器调用自然搜索服务对检索词执行搜索操作，获得包括第一阈值数量的自然搜索物料和各自然搜索物料第一评价得分的自然搜索列表，搜索服务器并行调用推送信息搜索服务对检索词执行搜索操作，获得包括第二阈值数量的推送物料及各所述推送物料的第二评价得分的推送信息列表；然后，将同时存在于自然搜索列表和推送信息列表中的物料的第一评价得分和第二评价得分进行综合，得到自然搜索列表中该物料的综合评价得分，对于仅存在于自然搜索列表中的物料其综合评价得分等于第一评价得分；最后，按照综合评价得分将所述自然搜索物料重新排序，并推送。通过综合推送信息列表中的物料的第二评价得分，提前了自然搜索列表中具有推送属性的搜索结果的推送位置，即保证了搜索结果的准确性，又保证了具有推送属性的搜索结果的点击率，并且改善了用户体验。
附图说明
图1是本申请一个实施例的信息推送方法流程图。
图2是本申请另一个实施例的信息推送方法流程图。
图3是本申请一个实施例中计算推送评价参数的得分权重的流程图。
图4是本申请又一个实施例的信息推送方法流程图。
图5为本申请一个实施例的一种信息推送装置的硬件结构示意图。
图6是本申请一个实施例的信息推送控制逻辑的功能模块示意图。
图7是本申请另一个实施例的信息推送控制逻辑的功能模块示意图。
图8是本申请又一个实施例的信息推送控制逻辑的功能模块示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
信息推送方式可以为：搜索服务器接收到Web页面或者终端应用程序发送的检索词之后，以检索词作为输入参数分别调用自然搜索服务和推送信息搜索服务。自然搜索服务根据检索词召回搜索物料，并按照与检索词的相关性以及用户点击反馈率等排序参数得分由高到低的顺序排序，得到自然搜索结果列表。推送信息搜索服务根据检索词召回推送物料，并按照与检索词的相关性进行排序，筛选出相关度较高的预设数量的推送物料，并根据预设推送参数计算所述筛选出的预设数量的推送物料推送得分，并按照得分由高到低降序排列，得到推送信息列表。搜索服务器将推送信息列表中前N(N为正整数)个推送信息和自然搜索结果分别推送至Web页面或者终端应用程序的预设固定位置进行显示。
该信息推送方式可能存在以下缺陷：推送信息出现在搜索结果的固定位置，可能出现推送信息与检索词的相关度比其附近的自然搜索结果与检索词的相关度差很多的情况，直观表现为搜索结果不准确，导致对搜索结果的点击率下降。
信息推送可包括在接收到用户输入的检索词后，将搜索到的相关信息推送给用户的情况。信息推送还可包括没有接收到用户的任何触发，主动给用户发送信息的情况。本申请适用于接收到用户输入的检索词后推送相关信息的情况。属于本申请中推送的信息可以包括：网站链接、通知、广告等，本申请对此不做限定。对于推送的不同信息，可对应有相应的推送信息搜索服务，各推送信息搜索服务可根据前端页面发送的检索词在相应的推送数据库中进行检索，可以采用相同的检索方法，也可以根据推送策略的不同采用不同的检索方法，本申请对此不做限定。本申请的实施例中，为了便于理解，采用常用的推送广告的应用场景来描述本申请的信息推送方法。
本申请实施例中的自然搜索服务是指搜索引擎中实现自然搜索(Natural Search)的程序模块或硬件，用于在搜索引擎里找到与搜索请求最相关的匹配页面。推送信息搜索服务是搜索引擎中实现非自然搜索的程序模块或硬件，用于在搜索引擎里找到与搜索请求关联的符合预设推送规则的推送信息的程序模块或硬件。对于被搜索的对象，在本申请的实施例中可统称为“物料”，包括：网址、各种网页内容等，例如：网站上的商家信息、产品介绍、文章、图片、网站地址等。
本申请公开的一种信息推送方法，如图1所示，该方法可包括步骤110-步骤130。
步骤110，调用自然搜索服务对检索词执行搜索操作，获得自然搜索列表；调用推送信息搜索服务对检索词执行搜索操作，获得推送信息列表；所述自然搜索列表可包括第一阈值数量的自然搜索物料及各所述自然搜索物料的第一评价得分，所述推送信息列表可包括第二阈值数量的推送物料及各所述推送物料的第二评价得分。
步骤120，将同时存在于所述自然搜索列表和所述推送信息列表中的物料的第一评价得分和第二评价得分进行综合，得到所述自然搜索列表中自然搜索物料的综合评价得分。
步骤130，对所述自然搜索物料按照综合评价得分重新排序，并推送。
本申请实施例中，可以由搜索服务器调用自然搜索服务和推送信息搜索服务。
在步骤110之前，本申请还可包括接收检索词的步骤。例如，用户可通过Web页面或者应用程序(APP)的输入界面输入的检索词，由Web页面或者应用程序发送给搜索服务器，搜索服务器在接收到前端发送的检索词后，执行后续的步骤110至步骤130，完成该检索词相关的搜索结果和推送信息的推送操作。具体实施时，搜索服务器还可以通过其它方式接收检索词，例如，在导航***中，当地理位置变化时，筛选功能根据当前的地理位置，将当前地理位置作为检索词，发送至搜索服务器，同样可以实现搜索功能。
上述步骤110中，搜索服务器可以是一台物理机也可以是多台物理机，本申请对此不做限定，所述搜索服务器能够并行、独立地调用自然搜索服务和推送信息搜索服务。上述步骤110中，调用自然搜索服务对检索词执行搜索操作，和调用推送信息搜索服务对检索词执行搜索操作，可以同时执行，也可以先后执行，本申请对上述两个搜索操作的执行顺序不做限定。搜索服务器调用自然搜索服务对输入的检索词执行搜索操作，根据检索词的不同和搜索服务器中内置的数据库的不同可能会搜索到上万条搜索结果，并且，自然搜索服务会获得每个搜索结果的评价得分，所述每个搜索结果的评价得分可用于指示搜索结果的匹配度。为了提高浏览的效率，搜索服务器可根据搜索结果的评价得分对搜索结果进行筛选，仅选择其中的一部分搜索结果进行推送。本申请实施例中的选择第一阈值数量的自然搜索结果进行推送，其中，所述第一阈值数量可以根据被推送端的接收能力或设置确定，如对于被推送端为移动终端的情形，可以设置第一阈值数量为200。同样，搜索服务器调用推送信息搜索服务对输入的检索词执行搜索操作，根据检索词的不同和搜索服务器中内置的推送信息数据库的不同可能会搜索到上百条推送信息，并且，信息推送搜索服务会获得每个推送信息的评价得分，所述每个推送信息的评价得分可以用于指示推送信息的匹配度。根据被推送端的接收能力，搜索服务器会预设最大的推送信息数量，然后根据推送信息的评价得分进行筛选，仅选择其中的一部分推送信息进行推送。本申请实施例中的选择第二阈值数量的推送信息进行推送， 例如，所述第二阈值数量为10。所述第二阈值数量可以小于第一阈值数量。
待搜索物料可以存储在搜索服务器的数据库中，也可以存储在数据服务器中，可包括自然搜索物料和推送物料，其中，推送物料也可以存在于自然搜索物料中，即部分自然搜索物料具有推送属性。每一个物料可设置有唯一的物料标识，例如网址的物料标识可为网址的url。上述步骤120，通过对比自然搜索列表中的物料标识是否存在于推送信息列表中，可以找出存在于自然搜索列表中具有推送属性的物料。具体实施时，可以遍历所述第一阈值数量的自然搜索物料。当所述推送信息列表中存在所述自然搜索物料对应的推送物料时，即对于所述自然搜索列表中的具有推送属性的物料，将其第一评价得分和推送信息列表中该物料标识的推送物料的第二评价得分之和作为该自然搜索物料的综合评价得分；对于所述自然搜索列表中不具有推送属性的物料的第一评价得分作为其综合评价得分。
最后，在步骤130中，对所述自然搜索物料按照综合评价得分重新排序，并按照重新排序后的顺序进行推送。
下面以在大众点评客户端搜索“火锅”为例，对本申请的具体实现方案进行说明。用户可以通过大众点评客户端输入检索词“火锅”，点击搜索后，客户端可将检索词“火锅”发送至搜索服务器，搜索服务器可分别调用自然搜索服务和推送信息搜索服务执行搜索操作。自然搜索服务可在数据库中搜索到10万个物料，然后，按照物料的第一评价得分由高到低的顺序筛选出得分高的10000个物料组成自然搜索列表(如表1)。推送信息搜索服务在推送信息库中搜索到1000个物料，然后，按照物料的第二评价得分由高到低的顺序筛选出得分高的100个物料组成推送信息搜索列表(如表2)。
表1：自然搜索列表
物料标识 第一评价得分 其他
老城一锅 85 --
李不管重庆老灶火锅 80 --
阳坊胜利涮肉 79 --
宴渝老灶达州铜锅 70 --
…… …… ……
表2：推送信息列表
物料标识 第二评价得分 其他
宴渝老灶达州铜锅 75 --
小渔棠 60 --
…… …… ……
遍历自然搜索信息列表中物料，发现物料标识为“宴渝老灶达州铜锅”的物料既存在于自然搜索信息列表中，也存在于推送信息列表中，则可标识“宴渝老灶达州铜锅”的物料的综合评价得分为70+75＝145，其他不同时存在于自然搜索列表和推送信息列表中的物料的综合评价得分为该物料在自然搜索信息列表中的第一评价得分。经过综合第二评价得分，对自然搜索列表按照综合评价得分由高到低的顺序重新排序，如表3所示。
表3：重新排序的自然搜索列表
物料标识 综合评价得分 其他
宴渝老灶达州铜锅 145 --
老城一锅 85 --
李不管重庆老灶火锅 80 --
阳坊胜利涮肉 79 --
…… …… ……
然后，可按照重新排序后的顺序，将自然搜索列表推送至大众点评客户端。
以上表格和数据仅作为用于帮助阅读者理解本申请的一个例子，不应作为对本申请的限定。本申请中搜索服务器可调用自然搜索服务对输入的检索词执行搜索操作，获得包括第一阈值数量的自然搜索物料和各自然搜索物料第一评价得分的自然搜索列表。搜索服务器并行调用推送信息搜索服务对输入的检索词执行搜索操作，获得包括第二阈值数量的推送物料及各所述推送物料的第二评价得分的推送信息列表。然后，将同时存在于所述自然搜索列表和所述推送信息列表中的物料的第一评价得分和第二评价得分进行综合，得到所述自然搜索列表中该物料的综合评价得分，对于仅存在于所述自然搜索列表中的物料其综合评价得分等于第一评价得分。最后，按照综合评价得分将所述自然搜索物料重新排序，并推送。通过综合推送信息列表中的物料的第二评价得分，提前了自然搜索列表中具有推送属性的搜索结果的推送位置，既保证了搜索结果的准确性，又保证了具有推送属性的搜索结果的点击率，并且改善了用户体验。
在本申请的一个实施例中，如图2所示，所述搜索服务器调用自然搜索服务对检索词执行搜索操作，获得自然搜索列表，进一步包括步骤1101和步骤1102。
步骤1101，搜索服务器调用自然搜索服务，执行自然搜索物料召回，并按照文本相关性选择第一阈值数量的自然搜索物料。
步骤1102，利用预设的排序方法对所述第一阈值数量的自然搜索物料按照排序得分排列，并将该自然搜索物料的排序得分作为第一评价得分。
搜索服务器可调用自然搜索服务，执行自然搜索物料召回。在数据库中搜索到海量物料后，搜索服务器可利用简单排序方法，如按照文本相关性由高到低的顺序，或按照文本相关性由低到高的顺序对海量物料进行排序。然后，搜索服务器可对海量物料进行筛选，选择相关性较高的第一阈值数量的物料，作为待返回的自然搜索物料，加入自然搜索列表。文本相关性得分可以通过tf-idf算法计算检索词与物料标题的tf-idf值得到。如果按照文本相关性由高到低的顺序对搜索到海量物料进行排序，则搜索服务器可选择前第一阈值数量的物料，作为待返回的自然搜索物料，加入自然搜索列表。如果按照文本相关性由低到高的顺序对搜索到海量物料进行排序，则搜索服务器可选择后第一阈值数量的物料，作为待返回的自然搜索物料，加入自然搜索列表。
然后，在步骤1102中，搜索服务器可利用预设的排序方法对筛选出的所述第一阈值数量的自然搜索物料进行重新排序。所述预设的排序方法在执行过程中，按照排序得分由高到低的顺序输出重新排序后的所述第一阈值数量的自然搜索物料。将所述第一阈值数量的自然搜索物料的排序得分作为相应的物料的第一评价得分。
具体实施时，所述预设的排序方法可以使用复杂排序算法，可包括监督学习排序方法learningToRank、网页排名pagerank等。在训练排序方法时，以用户体验为优化目标，因此，所述预设的排序方法可以通过采集搜索日志中的与用户体验指标相关的数据训练得到。其中，与用户体验指标相关的数据可包括但不限于：点击次数、文本相关性。本申请通过预设的排序方法得出能够反映用户体验的排序得分，作为自然搜索结果的第一评价得分。在本实施例中可通过一种常用复杂排序方法：pair wise的ranking svm方法，来介绍排序方法的训练过程。
首先，收集后端的自然搜索的查询日志。后端的查询日志可保存在搜索服务器上。查询日志可包括：查询唯一标识(queryid)，城市，查询(query)类目，经纬度(geohash)，检索词，自然搜索列表di(物料id)、文本相关性得分(ti)、类目相关性得分(ci)等。其中，文本相关性得分可通过tf-idf算法计算检索词与物料标题的tf-idf值得到。类目相关性得分可以利用余弦相似度算法计算query类目和物料类目之间的相似度，做为类目相关性。
然后，收集用户在前端自然搜索列表的点击日志，可包括：查询唯一标识(queryid)，自然 搜索列表di(物料id)。
再后，根据后端的自然搜索的查询日志和前端自然搜索列表的点击日志生成排序方法训练数据。每条训练数据格式为(label，queryid，城市，query类目，经纬度，检索词，ti，ci)，其中queryid、城市、query类目、经纬度、检索词、ti、ci来自后端的自然搜索的查询日志，ti和ci是物料di与检索词的文本相关性和物料di与query类目的类目相似度，Label值可根据每个后端的自然搜索的查询日志对应的用户点击次数Count设置。
可根据每个后端的自然搜索的查询日志对应的用户点击次数Count设置训练数据的Label值，具体如下：通过queryid关联后端的自然搜索的查询日志和前端自然搜索列表的点击日志，找出每个后端的自然搜索的查询日志对应的所有前端用户的自然搜索列表点击日志(queryid，di)，计算对应用户点击次数Count。对每个后端的自然搜索的查询日志展开成N条训练数据，N等于自然搜索列表中的物料个数。假设一条后端的自然搜索的查询日志有count条用户点击，count>＝0，如果count＝＝0,则每条训练数据的label等于0；如果count>0，则遍历后端的自然搜索的查询日志中的物料id列表，第1个被点击的物料label等于count，第2个被点击的物料label等于count–1，第i个被点击的物料label等于count+1–i，其中i<＝count，其他未被点击的物料label等于0。
最后，用pair wise的机器学习方法ranking svm，对上述训练数据进行学习，训练复杂排序模型，生成模型参数文件。至此排序方法训练完成。
在自然搜索服务执行自然搜索物料召回后，并按照文本相关性筛选出第一阈值数量的自然搜索物料后，对每个物料生成对应的排序输入参数(queryid，城市，query类目，经纬度，检索词，ti，ci)，用ranking svm加载训练得到的模型参数文件，计算每个物料对应的得分(score),所有物料按照score由高到低的顺序排列，即可完成复杂排序，每个物料对应的score作为该物料的第一评价得分。
具体实施时，上述ranking svm方法使用的训练数据的特征还可以包括更多特征，也可以使用更复杂训练方法，本申请对具体的排序方法训练方法和训练数据不做限定。在本申请的实施例中，通过引入与用户体验指标相关的特征(如：文本相关性、点击次数)训练排序模型，使返回的自然搜索结果更符合用户体验。
本实施例中，利用简单排序方法对自然搜索结果进行第一轮排序，并筛选，减少搜索结果的数量，可以提高推送的效率。利用预设的排序方法对筛选后的自然搜索结果进行再次排序，可以通过在预设的排序方法中引入搜索服务器关注的排序因子，提高自然搜索结果的针 对性，从而进一步改善用户体验。
在本申请的另一具体实施例中，如图2所示，所述搜索服务器调用推送信息搜索服务对输入的检索词执行搜索操作，获得推送信息列表，进一步包括步骤1103和步骤1104。
步骤1103，搜索服务器调用推送信息搜索服务，执行推送物料召回，并按照文本相关性选择第二阈值数量的推送物料。
步骤1104，根据预设的推送评价参数和所述推送评价参数的得分权重，分别计算所述第二阈值数量的推送物料的第二评价得分。
具体实施时，搜索服务器可调用推送信息搜索服务，执行推送物料召回。搜索服务器在推送数据库中搜索到海量物料后，可利用简单排序方法，如按照文本相关性由高到低的顺序或按照文本相关性由低到高的顺序，对海量物料进行筛选。搜索服务器可选择相关性较高的第二阈值数量的物料，作为待推送物料，加入推送信息列表。具体实施时，文本相关性得分可以通过tf-idf算法计算检索词与物料标题的tf-idf值得到。如果按照文本相关性由高到低的顺序对搜索到海量物料进行排序，则选择前第一阈值数量的物料，作为待返回的自然搜索物料，加入自然搜索列表；如果按照文本相关性由低到高的顺序对搜索到海量物料进行排序，则选择后第一阈值数量的物料，作为待返回的自然搜索物料，加入自然搜索列表。
然后，根据预设的推送评价参数和所述推送评价参数的得分权重，可分别计算所述第二阈值数量的推送物料的第二评价得分。其中，推送评价参数的得分权重λ可以根据经验预先设定。具体实施时，可以为：首先，获得当前检索词对应物料的推送评价参数的得分权重λ；然后，将所述推送物料的所述推送评价参数值与所述得分权重λ的乘积作为所述推送物料的第二评价得分。物料的推送评价参数代表对该类物料的推送效果进行衡量的指标，不同类别的推送物料的推送评价参数略有不同，以推送广告物料为例，广告物料的推送参数为广告的eCPM(effective cost per mille)指的就是每一千次展示可以获得的广告收入，或者点击率。其中，推送物料的推送评价参数可预先定义，所述推送评价参数的得分权重在搜索服务器中存储，根据搜索日志离线计算得到。
下面以推送物料为广告物料为例，对根据预设的推送评价参数和所述推送评价参数的得分权重，分别计算所述第二阈值数量的推送物料的第二评价得分的步骤进行详细说明。假设预设的推送评价参数为广告物料的eCPM，根据公式eCPM＝CTR*Bid可以计算得到广告物料的eCPM，其中，CTR代表用户点击广告的概率，Bid表示广告出价。在推送数据库中，每个广告物料包括CTR和Bid信息，其中，Bid广告基本属性(广告主为一次点击的出价)， 为预先设置的数值；CTR根据动态计算获得。动态计算获得CTR可以采用现有技术中的计算模型，此处不再赘述。搜索服务器中读取推送评价参数的得分权重λ，根据公式AdScore＝λ*CTR*Bid，计算广告物料的第二评价得分AdScore。
本实施例中仅以广告物料为例对根据预设的推送评价参数和所述推送评价参数的得分权重，分别计算所述第二阈值数量的推送物料的第二评价得分的步骤进行详细说明，本申请的推送物料不限于广告物料，推送物料的评价参数也限于广告物料的eCPM，计算第二评价得分的方法也不限于上述公式。以上具体实施例不应作为对本申请的限定。
本实施例中，利用简单排序方法对自然搜索结果进行第一轮排序，并筛选，减少搜索结果的数量，可以提高推送的效率。利用推送评价参数的得分权重计算推送物料的第二评价得分，可以动态平衡具有推送属性的物料在返回的自然搜索列表中的排列位置，从而进一步改善用户体验。
若不考虑信息推送的效果，λ可以设置为0。若既要考虑信息推送的效果，同时兼顾自然搜索结果的用户体验，则需要结合第一评价得分和推送物料的评价参数设定λ的值。设定推送评价参数的得分权重λ的具体方法为：收集查询日志；按照业务规则对收集的查询日志分类；以每一个分类中的日志作为样本，采用批量梯度下降算法计算推送评价参数的得分权重λ。每一次搜索过程的都生成一条查询日志，每一次搜索过程的日志采用一个列表来记录。例如，你在东直门搜“火锅”的日志生成一个列表，我在西直门搜“火锅”的日志生成另一个列表；我在东直门搜“火锅”的日志生成又一个列表。一个列表可对应一次搜索。每个列表中都包括：唯一的查询标识、城市、查询类目、经纬度、检索词等查询条件，还包括：查询发生时间、返回给用户的所有结果(即根据综合评价得分排序后的自然搜索列表)、推送信息列表、根据第一评价得分排序的自然搜索列表、排序因子等等各种信息。其中，自然搜索列表中还包括：物料标识、物料的第一评价得分；推送信息列表中还包括推送物料的推送评价参数。然后，按照业务规则对查询日志分类，可以采用要素分类法，如采用(城市，类目，经纬度,检索词)的分类方法。最后，以每一个分类中的日志作为样本，采用批量梯度下降算法计算推送评价参数的得分权重λ。
下面结合内容搜索中推送广告的例子详细说明设定推送评价参数的得分权重λ的具体方法。假设，广告物料的推荐评价参数为用户点击广告的概率CTR和广告出价Bid；自然搜索物料的排序因子为用户体验得分RelevanceScore。搜索***的搜索服务器或日志服务器会记录查询日志，即每一次搜索的日志，每一次搜索的日志记录在一个列表中，列表中包括查询发生时间、返回给用户的所有结果(即根据综合评价得分排序后的自然搜索列表)、推送信 息列表、根据第一评价得分排序的自然搜索列表、排序因子等等各种信息。其中，根据第一评价得分排序的自然搜索列表中还可包括：物料标识id、物料的第一评价得分RelevanceScore；推送信息列表中还包括推送物料的推送评价参数CTR和Bid。
然后，按照业务规则对查询日志分类，如采用(城市，类目，经纬度，检索词)的分类方法对收集的查询日志分类，可以得到多个类别，每个类别中又包含多个记录查询日志的列表。
最后，以每一个分类中的查询日志作为样本，采用批量梯度下降算法计算推送评价参数的得分权重λ。如图3所示，具体方法可包括步骤310至步骤380。
步骤310，假设当前分类有K个列表，计算当前分类的总用户体验得分Rel。首先，设λ＝0，对当前分类下每个列表中物料按照RelevanceScore降序排序，计算每个列表前M个位置的物料的用户体验得分Reli＝RelevanceScore1+RelevanceScore2+RelevanceScorei+…+RelevanceScorem，该分类的总用户体验得分为Rel＝Rel1+Rel2+…+Reli+…+Relk。
步骤320，λ取0和1之间的一个随机值，计算当前分类的总混合排序后用户体验得分Rel’k。然后，λ取(0,1)之间的一个随机值，根据公式：
RankScore＝RelevanceScore+λ*CTR*Bid；
计算该分类中每个列表中物料的综合评价得分RankScore，对每个列表按照RankScore由高到低的顺序排列。然后，取每个列表前M个位置的用户体验得分Rel’i＝RelevanceScore1+RelevanceScore2+RelevanceScorei+…+RelevanceScorem，该分类的总用户体验得分为Rel’＝Rel’1+Rel’2+…+Rel’i+…+Rel’k。
步骤330，判断用户体验损失是否超过预设值，若超过，则返回步骤320，重新设置λ值；否则，继续执行对λ值调优的步骤。用户体验损失等于(Rel–Rel’)/Rel，用户体验损失目标值预设为X％，若(Rel–Rel’)/Rel>X％,则确定为用户体验损失超过预设目标值，需要重新估算λ值。否则，确定为用户体验损低于预设目标值，在此条件下，进一步调优λ值。
步骤340，根据广告收益与λ的增长对应关系，计算λ增长Δλ时，广告收益的增长值。广告收益Revenue是RankScore的函数，表示为：g(RankScore)，计算公式为：
Revenue＝g(RankScore)＝g(RelevanceScore+λ*CTR*Bid)。
针对每个列表，分别计算广告收益g(λ)对λ的偏导数
Figure PCTCN2016113588-appb-000001
计算方法为λ增加一个微小量 Δλ，计算广告收益的增长ΔRev，表示为
Figure PCTCN2016113588-appb-000002
步骤350，根据当前分类下每个列表的λ的学习结果，更新λ值。更新λ值的公式为：
Figure PCTCN2016113588-appb-000003
其中，α是学习速率参数，可以根据学习效果和速度人工调优，K为当前类别中列表的数量。
步骤360，利用更新后的λ值重新计算混合排序后的用户体验得分。利用更新后的λ值重新计算当前分类中每个列表中物料的综合评价得分RankScore，对每个列表按照RankScore由高到低的顺序排列。然后，取每个列表前M个位置的用户体验得分进一步计算该分类的混合排序后的用户体验得分Rel’，具体方式参见步骤320，此处不再赘述。
步骤370，判断用户体验损失是否小于或等于预设值，若是，则重复执行步骤340至步骤360，继续优化λ值；否则，执行步骤380。利用更新后的混合排序后的用户体验得分Rel’，判断是否满足(Rel-Rel’)/Rel≤X％的约束，若是，则重复执行步骤340至步骤360，继续优化λ值。
步骤380，将更新前的λ值作为最优值进行保存。当确定为当前λ值过大，将步骤350中更新前的λ值作为该类别的物料对应的推送评价参数的得分权重最优值进行保存，用于计算第二评价得分。
通过在一定的用户体验损伤约束下，最大限度提高λ值，可以在设定的用户体验损伤约束下最大化推送评价参数的得分权重，从而最大化广告收益。本实施例仅以推送信息为广告为例进行阐述，但本申请的应用范围不限于推送广告。可以理解，本申请的方法还可以用于推送其他信息，推送不同信息时，优化λ的思路不变，仅需针对g(λ)的变化对计算公式做相应调整即可。
基于前述实施例，本申请的另一优选实施中，如图4所示，所述信息推送方法还包括步骤140。
步骤140，根据搜索日志，在预设的用户体验指标约束下，优化并更新检索词对应物料的推送评价参数的得分权重λ。每个类别的λ值可以通过离线批量梯度下降算法进行优化，然后上传至搜索***，也就可以通过在线批量梯度下降算法进行优化，并实时更新。
通过不断调优推送评价参数的得分权重λ，可以有效适应由于不同的查询时间、查询地点等的变化导致的搜索结果变化，使推送信息总是排列在搜索结果的恰当位置，不仅有效地改 善了用户体验，也保证了具有推送属性的搜索结果的点击率。
相应地，本申请还公开了一种信息推送装置，如图5所示，所述信息推送装置可包括处理器51以及机器可读存储介质52，其中，处理器51和机器可读存储介质52通常借由内部总线53相互连接。在其他可能的实现方式中，所述信息推送装置还可能包括接口54，以能够与其他设备或者部件进行通信。
在不同的例子中，所述机器可读存储介质52可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
进一步地，机器可读存储介质52上可存储由处理器51执行的信息推送的控制逻辑60对应的机器可读指令。这样，在处理器51读取并执行机器可读存储介质52上所存储的机器可读指令时，所述处理器51可执行如上所述的信息推送方法。从功能上划分，如图6所示，所述控制逻辑60可以包括搜索模块610、得分综合模块620和推送模块630。
搜索模块610可用于调用自然搜索服务对检索词执行搜索操作，获得自然搜索列表；调用推送信息搜索服务对检索词执行搜索操作，获得推送信息列表；所述自然搜索列表包括第一阈值数量的自然搜索物料及各所述自然搜索物料的第一评价得分，所述推送信息列表包括第二阈值数量的推送物料及各所述推送物料的第二评价得分。
得分综合模块620可用于同时存在于所述自然搜索列表和所述推送信息列表中的物料的第一评价得分和第二评价得分进行综合，得到所述自然搜索列表中自然搜索物料的综合评价得分。
推送模块630可用于对所述自然搜索物料按照综合评价得分重新排序，并推送。
本申请通过搜索服务器调用自然搜索服务对输入的检索词执行搜索操作，获得包括第一阈值数量的自然搜索物料和各自然搜索物料第一评价得分的自然搜索列表，同时，搜索服务器并行调用推送信息搜索服务对输入的检索词执行搜索操作，获得包括第二阈值数量的推送物料及各所述推送物料的第二评价得分的推送信息列表；然后，将同时存在于自然搜索列表和推送信息列表中的物料的第一评价得分和第二评价得分进行综合，得到自然搜索列表中该物料的综合评价得分，对于仅存在于自然搜索列表中的物料其综合评价得分等于第一评价得分；最后，按照综合评价得分将所述自然搜索物料重新排序，并推送。通过综合推送信息列表中的物料的第二评价得分，提前了自然搜索列表中具有推送属性的搜索结果的推送位置，即保证了搜索结果的准确性，又保证了具有推送属性的搜索结果的点击率，并且改善了用户 体验。
进一步地，如图7所示，所述搜索模块进一步包括自然搜索子模块6101，自然搜索排序子模块6102。
自然搜索子模块6101可用于调用自然搜索服务，执行自然搜索物料召回，并按照文本相关性选择第一阈值数量的自然搜索物料。
自然搜索排序子模块6102可用于利用预设的排序方法对所述第一阈值数量的自然搜索物料按照排序得分排列，并将该自然搜索物料的排序得分作为第一评价得分。
其中，所述预设的排序方法通过采集搜索日志中的与用户体验指标相关的数据训练得到。所述用户体验指标相关的数据包括但不限于：文本相关度、点击次数。预设的排序方法的训练过程参见方法实施例部分，此处不再赘述。
本实施例中，利用简单排序方法对自然搜索结果进行第一轮排序，并筛选，减少搜索结果的数量，可以提高推送的效率；利用预设的排序方法对筛选后的自然搜索结果进行再次排序，可以通过在预设的排序方法中引入搜索服务器关注的排序因子，提高自然搜索结果的针对性，从而进一步改善用户体验。
进一步地，如图7所示，所述搜索模块进一步包括推送搜索子模块6103和推送得分计算子模块6104。
推送搜索子模块6103可用于调用推送信息搜索服务，执行推送物料召回，并按照文本相关性选择第二阈值数量的推送物料。
推送得分计算子模块6104可用于根据预设的推送评价参数和所述推送评价参数的得分权重，分别计算所述第二阈值数量的推送物料的第二评价得分。
具体实施时，所述推送得分计算子模块具体用于：获得当前检索词对应物料的推送评价参数的得分权重；将所述推送物料的所述推送评价参数值与所述得分权重的乘积作为所述推送物料的第二评价得分。当前检索词对应物料的推送评价参数的得分权重获取过程参见方法实施例部分和图3，此处不再赘述。
本实施例中，利用简单排序方法对自然搜索结果进行第一轮排序，并筛选，减少搜索结果的数量，可以提高推送的效率；利用推送评价参数的得分权重计算推送物料的第二评价得分，可以动态平衡具有推送属性的物料在返回的自然搜索列表中的排列位置，从而进一步改善用户体验。
优选的，如图8所示，所述装置还包括评价参数更新模块640。
评价参数更新模块640可用于根据搜索日志，在预设的用户体验指标约束下，优化并更新检索词对应物料的推送评价参数的得分权重。每个类别的λ值可以通过离线批量梯度下降算法进行优化，然后上传至搜索***，也就可以通过在线批量梯度下降算法进行优化，并实时更新。
通过不断调优推送评价参数的得分权重λ，可以有效适应由于不同的查询时间、查询地点等的变化导致的搜索结果变化，使推送信息总是排列在搜索结果的恰当位置，不仅有效地改善了用户体验，也保证了具有推送属性的搜索结果的点击率。
下面以软件实现为例，进一步描述信息推送装置如何执行该控制逻辑60。在该例子中，本申请控制逻辑可理解为存储在机器可读存储介质52中的机器可读指令。当本申请的信息推送装置上的处理器51执行该控制逻辑时，该处理器51通过调用机器可读存储介质52上保存的机器可读指令来执行如下操作：
调用自然搜索服务对检索词执行搜索操作，获得自然搜索列表，所述自然搜索列表包括第一阈值数量的自然搜索物料及各所述自然搜索物料的第一评价得分；
调用推送信息搜索服务对检索词执行搜索操作，获得推送信息列表，所述推送信息列表包括第二阈值数量的推送物料及各所述推送物料的第二评价得分；
将同时存在于所述自然搜索列表和所述推送信息列表中的物料的第一评价得分和第二评价得分进行综合，得到所述自然搜索列表中自然搜索物料的综合评价得分；
对所述自然搜索物料按照综合评价得分重新排序，并推送。
本实施例中，当调用自然搜索服务对检索词执行搜索操作，获得自然搜索列表时，机器可读存储介质52上保存的机器可读指令可促使处理器51：
调用自然搜索服务，执行自然搜索物料召回，并按照文本相关性选择第一阈值数量的自然搜索物料；
利用预设的排序方法对所述第一阈值数量的自然搜索物料按照排序得分排列，并将该自然搜索物料的排序得分作为第一评价得分。
本实施例中，所述预设的排序方法通过采集搜索日志中的与用户体验指标相关的数据训练得到。
本实施例中，当调用推送信息搜索服务对检索词执行搜索操作，获得推送信息列表时，机器可读存储介质52上保存的机器可读指令可促使处理器51：
调用推送信息搜索服务，执行推送物料召回，并按照文本相关性选择第二阈值数量的推送物料；
根据预设的推送评价参数和所述推送评价参数的得分权重，分别计算所述第二阈值数量的推送物料的第二评价得分。
本实施例中，所述根据预设的推送评价参数和所述推送评价参数的得分权重，分别计算所述第二阈值数量的推送物料的第二评价得分时，机器可读存储介质52上保存的机器可读指令可促使处理器51：
获得当前检索词对应物料的推送评价参数的得分权重；
将所述推送物料的所述推送评价参数值与所述得分权重的乘积作为所述推送物料的第二评价得分。
本实施例中，机器可读存储介质52上保存的机器可读指令可促使处理器51：根据搜索日志，在预设的用户体验指标约束下，优化并更新检索词对应物料的推送评价参数的得分权重。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本申请对提供的一种信息推送方法、装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

Claims (18)

  1. 一种信息推送方法，其特征在于，包括：
    调用自然搜索服务对检索词执行搜索操作，获得自然搜索列表，所述自然搜索列表包括第一阈值数量的自然搜索物料及各所述自然搜索物料的第一评价得分；
    调用推送信息搜索服务对检索词执行搜索操作，获得推送信息列表，所述推送信息列表包括第二阈值数量的推送物料及各所述推送物料的第二评价得分；
    将同时存在于所述自然搜索列表和所述推送信息列表中的物料的第一评价得分和第二评价得分进行综合，得到所述自然搜索列表中自然搜索物料的综合评价得分；
    对所述自然搜索物料按照综合评价得分重新排序，并推送。
  2. 如权利要求1所述的方法，其特征在于，所述调用自然搜索服务对检索词执行搜索操作，获得自然搜索列表，进一步包括：
    调用自然搜索服务，执行自然搜索物料召回，并按照文本相关性选择第一阈值数量的自然搜索物料；
    利用预设的排序方法对所述第一阈值数量的自然搜索物料按照排序得分排列，并将该自然搜索物料的排序得分作为第一评价得分。
  3. 如权利要求2所述的方法，其特征在于，所述预设的排序方法通过采集搜索日志中的与用户体验指标相关的数据训练得到。
  4. 如权利要求1所述的方法，其特征在于，所述调用推送信息搜索服务对检索词执行搜索操作，获得推送信息列表，进一步包括：
    调用推送信息搜索服务，执行推送物料召回，并按照文本相关性选择第二阈值数量的推送物料；
    根据预设的推送评价参数和所述推送评价参数的得分权重，分别计算所述第二阈值数量的推送物料的第二评价得分。
  5. 如权利要求4所述的方法，其特征在于，所述根据预设的推送评价参数和所述推送评价参数的得分权重，分别计算所述第二阈值数量的推送物料的第二评价得分，包括：
    获得当前检索词对应物料的推送评价参数的得分权重；
    将所述推送物料的所述推送评价参数值与所述得分权重的乘积作为所述推送物料的第二评价得分。
  6. 如权利要求5所述的方法，其特征在于，所述方法还包括：根据搜索日志，在预设的用户体验指标约束下，优化并更新检索词对应物料的推送评价参数的得分权重。
  7. 一种信息推送装置，包括处理器，所述处理器通过读取存储介质上所存储的与信息推送控制逻辑对应的机器可读指令并执行所述指令来：
    调用自然搜索服务对检索词执行搜索操作，获得自然搜索列表，所述自然搜索列表包括第一阈值数量的自然搜索物料及各所述自然搜索物料的第一评价得分；
    调用推送信息搜索服务对检索词执行搜索操作，获得推送信息列表，所述推送信息列表包括第二阈值数量的推送物料及各所述推送物料的第二评价得分；
    将同时存在于所述自然搜索列表和所述推送信息列表中的物料的第一评价得分和第二评价得分进行综合，得到所述自然搜索列表中自然搜索物料的综合评价得分；
    对所述自然搜索物料按照综合评价得分重新排序，并推送。
  8. 如权利要求7所述的装置，其特征在于，当调用自然搜索服务对检索词执行搜索操作，获得自然搜索列表时，所述机器可读指令促使所述处理器：
    调用自然搜索服务，执行自然搜索物料召回，并按照文本相关性选择第一阈值数量的自然搜索物料；
    利用预设的排序方法对所述第一阈值数量的自然搜索物料按照排序得分排列，并将该自然搜索物料的排序得分作为第一评价得分。
  9. 如权利要求8所述的装置，其特征在于，所述预设的排序方法通过采集搜索日志中的与用户体验指标相关的数据训练得到。
  10. 如权利要求7所述的装置，其特征在于，当调用推送信息搜索服务对检索词执行搜索操作，获得推送信息列表时，所述机器可读指令促使所述处理器：
    调用推送信息搜索服务，执行推送物料召回，并按照文本相关性选择第二阈值数量的推送物料；
    根据预设的推送评价参数和所述推送评价参数的得分权重，分别计算所述第二阈值数量的推送物料的第二评价得分。
  11. 如权利要求10所述的装置，其特征在于，当根据预设的推送评价参数和所述推送评价参数的得分权重，分别计算所述第二阈值数量的推送物料的第二评价得分，所述机器可读指令促使所述处理器：
    获得当前检索词对应物料的推送评价参数的得分权重；
    将所述推送物料的所述推送评价参数值与所述得分权重的乘积作为所述推送物料的第二评价得分。
  12. 如权利要求11所述的装置，其特征在于，所述机器可读指令还促使所述处理器：
    根据搜索日志，在预设的用户体验指标约束下，优化并更新检索词对应物料的推送评价参数的得分权重。
  13. 一种机器可读存储介质，存储由一个或多个处理器执行的机器可读指令，所述机器可读指令促使所述处理器：
    调用自然搜索服务对检索词执行搜索操作，获得自然搜索列表，所述自然搜索列表包括第一阈值数量的自然搜索物料及各所述自然搜索物料的第一评价得分；
    调用推送信息搜索服务对检索词执行搜索操作，获得推送信息列表，所述推送信息列表包括第二阈值数量的推送物料及各所述推送物料的第二评价得分；
    将同时存在于所述自然搜索列表和所述推送信息列表中的物料的第一评价得分和第二评价得分进行综合，得到所述自然搜索列表中自然搜索物料的综合评价得分；
    对所述自然搜索物料按照综合评价得分重新排序，并推送。
  14. 如权利要求13所述的机器可读存储介质，其特征在于，所述调用自然搜索服务对检索词执行搜索操作，获得自然搜索列表，进一步包括：
    调用自然搜索服务，执行自然搜索物料召回，并按照文本相关性选择第一阈值数量的自然搜索物料；
    利用预设的排序方法对所述第一阈值数量的自然搜索物料按照排序得分排列，并将该自然搜索物料的排序得分作为第一评价得分。
  15. 如权利要求14所述的机器可读存储介质，其特征在于，所述预设的排序方法通过采集搜索日志中的与用户体验指标相关的数据训练得到。
  16. 如权利要求13所述的机器可读存储介质，其特征在于，所述调用推送信息搜索服务对检索词执行搜索操作，获得推送信息列表，进一步包括：
    调用推送信息搜索服务，执行推送物料召回，并按照文本相关性选择第二阈值数量的推送物料；
    根据预设的推送评价参数和所述推送评价参数的得分权重，分别计算所述第二阈值数量的推送物料的第二评价得分。
  17. 如权利要求16所述的机器可读存储介质，其特征在于，所述根据预设的推送评价参数和所述推送评价参数的得分权重，分别计算所述第二阈值数量的推送物料的第二评价得分，包括：
    获得当前检索词对应物料的推送评价参数的得分权重；
    将所述推送物料的所述推送评价参数值与所述得分权重的乘积作为所述推送物料的第二 评价得分。
  18. 如权利要求17所述的机器可读存储介质，其特征在于，所述非易失性机器可读存储介质还包括：根据搜索日志，在预设的用户体验指标约束下，优化并更新检索词对应物料的推送评价参数的得分权重。
PCT/CN2016/113588 2016-01-13 2016-12-30 一种信息推送方法及装置 WO2017121251A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/070,058 US11100178B2 (en) 2016-01-13 2016-12-30 Method and device for pushing information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610022317.4A CN105701216B (zh) 2016-01-13 2016-01-13 一种信息推送方法及装置
CN201610022317.4 2016-01-13

Publications (1)

Publication Number Publication Date
WO2017121251A1 true WO2017121251A1 (zh) 2017-07-20

Family

ID=56227260

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/113588 WO2017121251A1 (zh) 2016-01-13 2016-12-30 一种信息推送方法及装置

Country Status (3)

Country Link
US (1) US11100178B2 (zh)
CN (1) CN105701216B (zh)
WO (1) WO2017121251A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989276A (zh) * 2019-12-12 2021-06-18 北京沃东天骏信息技术有限公司 信息推送***的评价方法和装置
CN113495947A (zh) * 2020-04-08 2021-10-12 ***通信集团安徽有限公司 工单搜索方法、装置及计算设备

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701216B (zh) 2016-01-13 2017-03-08 北京三快在线科技有限公司 一种信息推送方法及装置
CN106372249B (zh) * 2016-09-23 2018-04-13 北京三快在线科技有限公司 一种点击率预估方法、装置及电子设备
CN106649554A (zh) * 2016-11-08 2017-05-10 北京奇虎科技有限公司 一种应用程序的搜索方法和装置、搜索服务器及***
CN108268506A (zh) * 2016-12-30 2018-07-10 百度在线网络技术（北京）有限公司 一种推广信息的处理方法、装置、终端及计算机可读存储介质
CN107105031A (zh) * 2017-04-20 2017-08-29 北京京东尚科信息技术有限公司 信息推送方法和装置
CN108319585B (zh) * 2018-01-29 2021-03-02 北京三快在线科技有限公司 数据处理方法及装置、电子设备、计算机可读介质
CN108540831B (zh) * 2018-04-19 2019-10-22 百度在线网络技术（北京）有限公司 用于推送信息的方法和装置
CN108984756B (zh) * 2018-07-18 2022-03-08 网易传媒科技（北京）有限公司 信息处理方法、介质、装置和计算设备
CN109165351B (zh) * 2018-08-27 2021-11-26 成都信息工程大学 一种基于语义的服务构件搜索推荐方法
CN110769069B (zh) * 2019-10-30 2022-01-11 许继集团有限公司 一种告警信息的推送方法与装置
CN111143738B (zh) * 2019-11-27 2023-06-09 北京三快在线科技有限公司 资源展示方法、装置、电子设备及存储介质
CN111180080A (zh) * 2019-12-30 2020-05-19 四川华迪信息技术有限公司 一种老年健康知识库精准推送方法
CN111338714B (zh) * 2020-02-19 2024-05-17 北京百度网讯科技有限公司 小程序物料处理方法、装置、电子设备和介质
CN111368198B (zh) * 2020-03-04 2023-08-01 百度在线网络技术（北京）有限公司 一种物料推送方法、装置、电子设备及存储介质
CN111563198B (zh) * 2020-04-16 2023-07-25 百度在线网络技术（北京）有限公司 一种物料召回方法、装置、设备及存储介质
CN112507196A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 融合排序模型的训练方法、搜索排序方法、装置和设备
CN112948713B (zh) * 2021-02-02 2023-05-30 挂号网（杭州）科技有限公司 建议搜索词确定方法、装置、服务器及介质
CN113378046B (zh) * 2021-06-09 2022-04-15 北京爱论答科技有限公司 一种本地化学习内容的智能推送或推荐方法
US20230088722A1 (en) * 2021-09-23 2023-03-23 Verizon Media Inc. System and method for generating relevant sets of results using datasets
CN114168761B (zh) * 2021-11-30 2022-10-28 上海益世界信息技术集团有限公司广州分公司 多媒体数据的推送方法、装置、电子设备及存储介质
CN115081403B (zh) * 2022-07-26 2023-01-17 广东壹公里数智科技有限公司 会议ppt自动生成方法、装置、电子设备及存储介质
CN116501972B (zh) * 2023-05-06 2024-01-05 广州市巨应信息科技有限公司 基于大数据在线服务的内容推送方法及ai智能推送***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2131290A1 (en) * 2007-03-28 2009-12-09 Alibaba Group Holding Limited Method of displaying related keyword and system as the same
CN101641694A (zh) * 2007-02-16 2010-02-03 雅虎公司 通过若干搜索引擎实现的联合搜索
CN102945253A (zh) * 2012-10-17 2013-02-27 北京奇虎科技有限公司 一种搜索服务器及搜索方法
CN103412881A (zh) * 2013-07-17 2013-11-27 北京奇虎科技有限公司 提供搜索结果的方法及***
CN105701216A (zh) * 2016-01-13 2016-06-22 北京三快在线科技有限公司 一种信息推送方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8209724B2 (en) * 2007-04-25 2012-06-26 Samsung Electronics Co., Ltd. Method and system for providing access to information of potential interest to a user
CN104516887B (zh) * 2013-09-27 2019-08-30 腾讯科技（深圳）有限公司 一种网页数据搜索方法、装置和***
US10042937B2 (en) * 2014-07-30 2018-08-07 Microsoft Technology Licensing, Llc Adjusting search results based on overlapping work histories
US9871714B2 (en) * 2014-08-01 2018-01-16 Facebook, Inc. Identifying user biases for search results on online social networks
CN104834698A (zh) * 2015-04-27 2015-08-12 百度在线网络技术（北京）有限公司 信息推送方法和装置
CN104881484A (zh) * 2015-06-04 2015-09-02 百度在线网络技术（北京）有限公司 信息推荐方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101641694A (zh) * 2007-02-16 2010-02-03 雅虎公司 通过若干搜索引擎实现的联合搜索
EP2131290A1 (en) * 2007-03-28 2009-12-09 Alibaba Group Holding Limited Method of displaying related keyword and system as the same
CN102945253A (zh) * 2012-10-17 2013-02-27 北京奇虎科技有限公司 一种搜索服务器及搜索方法
CN103412881A (zh) * 2013-07-17 2013-11-27 北京奇虎科技有限公司 提供搜索结果的方法及***
CN105701216A (zh) * 2016-01-13 2016-06-22 北京三快在线科技有限公司 一种信息推送方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989276A (zh) * 2019-12-12 2021-06-18 北京沃东天骏信息技术有限公司 信息推送***的评价方法和装置
CN113495947A (zh) * 2020-04-08 2021-10-12 ***通信集团安徽有限公司 工单搜索方法、装置及计算设备
CN113495947B (zh) * 2020-04-08 2024-05-10 ***通信集团安徽有限公司 工单搜索方法、装置及计算设备

Also Published As

Publication number Publication date
US20190012392A1 (en) 2019-01-10
CN105701216B (zh) 2017-03-08
US11100178B2 (en) 2021-08-24
CN105701216A (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
WO2017121251A1 (zh) 一种信息推送方法及装置
WO2018041168A1 (zh) 信息推送方法、存储介质和服务器
JP5693746B2 (ja) 製品情報のランク付け
TWI518529B (zh) Search result sorting method and device
CN104679771B (zh) 一种个性化数据搜索方法和装置
TWI554895B (zh) Search results sorting methods and systems, search results sorting optimization methods and systems
CN104866474B (zh) 个性化数据搜索方法及装置
US9633082B2 (en) Search result ranking method and system
CN105765573B (zh) 网站通信量优化方面的改进
JP5542812B2 (ja) クエリ識別および関連付け
JP5860456B2 (ja) 検索語重み付けの決定および利用
CN104050187B (zh) 搜索结果展示方法及***
TW201501059A (zh) 訊息推薦方法及裝置
JP2013504118A (ja) クエリのセマンティックパターンに基づく情報検索
CN102004782A (zh) 一种搜索结果排序方法和搜索结果排序器
WO2016155493A1 (zh) 数据处理方法及装置
KR20150036117A (ko) 쿼리 확장
CN109409928A (zh) 一种素材推荐方法、装置、存储介质、终端
CA3059929C (en) Text searching method, apparatus, and non-transitory computer-readable storage medium
CN106126544B (zh) 一种互联网内容的投放方法及装置
CN103064852A (zh) 网站统计信息处理方法及***
CN102364467A (zh) 一种网络搜索方法和***
CN109446402B (zh) 一种搜索方法及装置
CN106294410A (zh) 一种个性化信息推送时间的确定方法及确定***
WO2006126800A1 (en) Method and system for recommending category and computer readable recording medium recording program for implementing the method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16884802

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16884802

Country of ref document: EP

Kind code of ref document: A1