KR100932318B1 - 웹 검색 기술 및 웹 컨텐트와 결합된 후원 검색 목록의매칭 및 랭킹 - Google Patents

웹 검색 기술 및 웹 컨텐트와 결합된 후원 검색 목록의매칭 및 랭킹 Download PDF

Info

Publication number
KR100932318B1
KR100932318B1 KR1020077018836A KR20077018836A KR100932318B1 KR 100932318 B1 KR100932318 B1 KR 100932318B1 KR 1020077018836 A KR1020077018836 A KR 1020077018836A KR 20077018836 A KR20077018836 A KR 20077018836A KR 100932318 B1 KR100932318 B1 KR 100932318B1
Authority
KR
South Korea
Prior art keywords
search
list
listing
lists
listings
Prior art date
Application number
KR1020077018836A
Other languages
English (en)
Other versions
KR20070092763A (ko
Inventor
찰스 씨. 주니어 카슨
데비카 차울라
제임스 비. 하르베이
맷베이 네멘만
모히트 사바르왈
마르코 제이. 자그하
Original Assignee
야후! 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 야후! 인크. filed Critical 야후! 인크.
Publication of KR20070092763A publication Critical patent/KR20070092763A/ko
Application granted granted Critical
Publication of KR100932318B1 publication Critical patent/KR100932318B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

컴퓨터 네트워크를 이용하는 검색자로부터의 검색 요청에 대응하여 검색 결과 목록을 생성하는 시스템이 개시되어 있다. 복수의 제1 검색 목록들을 포함하는 제1 데이터베이스가 유지된다. 일반 웹 컨텐트를 포함하는 자료들을 포함하는 제2 데이터베이스가 유지된다. 검색자로부터 검색 요청이 수신된다. 상기 제1 데이터베이스로부터 상기 검색 요청과 매치를 이루는 자료들을 포함하는 제1 검색 목록 집합이 식별되고, 상기 제2 데이터베이스로부터 상기 검색 요청과 매치를 이루는 자료들을 포함하는 제2 검색 목록 집합이 식별된다. 상기 제1 검색 목록 집합으로부터 각 목록에 대한 신뢰도 점수가 결정되며, 상기 신뢰도 점수는 상기 제2 검색 목록 집합의 목록들과 비교할 때 각 목록의 적합성에 따라 결정된다. 상기 제1 검색 목록 집합에서 식별된 검색 목록을, 적어도 부분적으로, 각 검색 목록에 대한 상기 신뢰도 점수에 따라 정렬한다.
웹 검색, 쿼리, 스폰서 링크.

Description

웹 검색 기술 및 웹 컨텐트와 결합된 후원 검색 목록의 매칭 및 랭킹{MATCHING AND RANKING OF SPONSORED SEARCH LISTINGS INCORPORATING WEB SEARCH TECHNOLOGY AND WEB CONTENT}
관련 출원
본 출원은 2005년 1월 18일 출원된 U.S. 가출원 번호 60/645,054의 우선권을 향유하며, 그 전체 내용은 본 명세서에 참조로서 통합된다.
저작권 안내
본 특허 명세서에 개시된 내용은 저작권의 보호를 받는 내용을 포함한다. 저작권 소유자는 특허청의 특허 문서 또는 기록에 나타나는 대로 본 특허 문서 또는 특허 개시 내용을 팩시밀리 복제해도 이의를 갖지 않으나, 그렇지 않은 경우 모든 저작권에 관한 권리를 유보한다.
컴퓨터 네트워크를 통하여 정보를 전달하는 것은, 학술 단체, 기업 및 개인들이 비지니스를 행하는데 이용하는 중요한 수단이다. 컴퓨터 네트워크는, 단일 그룹의 필요를 충족시키도록 수립된 독립적이고 고립된 개체들로부터, 별개의 물리적 네트워크들을 상호 연결하며 이들이 동등한 시스템으로 기능하도록 하는 광역 인터넷으로, 여러 해에 걸쳐 성장해왔다. 현재, 가장 넓은 범위의 컴퓨터 네트워 크는 인터넷으로, 공용 프로토콜을 사용하여 통신하는 전 세계적인 상호접속 컴퓨터 네트워크이다.
인터넷은, 상당 부분 월드 와이드 웹(이하 "웹")이라는 정보 시스템의 도입에 의해, 물품 및 서비스의 글로벌 시장으로 변화해왔다. 인터넷에 연결된 컴퓨터들은, 강력하고 배우기 간편한 그래픽 사용자 인터페이스인 브라우저 프로그램을 통하여 웹 페이지를 액세스할 수 있다. 인터넷 검색 엔진 상의 웹 기반 검색에 있어서, 사용자는 하나 이상의 키워드를 검색 용어(search term)로 입력하고, 검색 엔진은 이를 이용하여 사용자가 하이퍼링크를 통해 액세스할 수 있는 웹 페이지 목록을 생성한다.
인터넷의 검색 엔진 기능성은, 인터넷 네트워크 정보 제공자들에게 최적의 비용으로 소비자들을 타겟팅하는 방법을 제공하는 동시에 검색자들에게 빠르고 쉬우며 적절한 검색 결과를 제공하는 온라인 시장을 촉진시키는데 초점이 맞춰져야 한다. 이러한 온라인 시장을 촉진시키는 검색 엔진을 이용하는 소비자는 검색자가 찾고 있는 제품, 서비스 또는 정보를 제공하는 기업 또는 사업을 발견하게 된다. 온라인 시장에서, 제품, 서비스 또는 정보를 제공하는 기업들은, 인터넷 검색 엔진에 의해 생성된 검색 결과 목록상의 랭크를 위한 개방형 경매-기반 랭킹 환경(open auction-based ranking environment)에 입찰할 수 있다.
일부 경매-기반 검색 엔진의 운영자들은, 이를테면 특정 검색 용어에 대하여 충분히 후원된(sponsored) 결과를 보여주지 못함으로 인해, 얻을 수 있는 이익을 잃고 있다. 또한, 부적절한 결과 및/또는 그 결과로부터 효율적인 이익을 얻지 못 하는 일이 발생할 수 있다. 일부 운영자들은 그 결과의 적합성 및 적용 범위 간의 트레이드오프(tradeoff)를 세밀하게 조정할 수 없을 것이다. 마찬가지로, 사용자들의 요구가 상업적인 목적의 검색 쿼리(query)에 부합되지 않을 수 있다. 후원된 결과가 사용자의 일부 쿼리 용어들에만 기초하여 보여진다면 부적절한 결과가 나타날 수 있다. 또한, 광고주들은 일부 경매-기반 검색 엔진을 이용할 때, 낮은 트래픽(traffic)을 경험할 수 있다. 광고주들은, 그들의 사이트로의 관련 검색 트래픽을 최대화하기 위해, 그들의 웹 페이지에 대응되는 입찰된(bidded) 용어를 생성하는 부담을 질 수 있다. 특정 쿼리(query)에 대한 양질의 매치(match)를 제공할 기회를 잃을 수도 있다. 마찬가지로, 검색 결과가 부적절한 것으로 밝혀져, 많은 사용자가 광고주의 사이트를 액세스하긴 하지만 아무것도 구입하지 않을 수 있다. 이와 같이, 광고주들은, 판매되는 아이템과의 개연성이 적은 사용자로부터의 클릭수에 대하여 비용을 지불하게 될 수 있다.
컴퓨터 네트워크를 이용하는 검색자로부터의 검색 요청에 대응하여 시스템은 검색 결과 목록을 생성한다. 복수의 제1 검색 목록을 포함하는 제1 데이터베이스가 유지될 수 있으며, 각 검색 목록은 하나 이상의 검색 용어와 연관될 수 있다. 일반 웹 컨텐트를 갖는 자료들을 포함하는 제2 데이터베이스가 유지될 수 있다. 검색자로부터 검색 요청이 수신된다. 검색 요청과의 매치를 이루는 자료들을 포함하는 제1 데이터베이스로부터 검색 목록의 제1 집합이 식별되며, 검색 요청과의 매치를 이루는 자료들을 포함하는 제2 데이터베이스로부터 검색 목록의 제2 집합이 식별된다. 검색 목록의 제1 집합으로부터 각 목록에 대한 신뢰도 점수(confidence score)가 결정되며, 상기 신뢰도 점수는 검색 목록의 양쪽 집합들의 목록을 비교할 때 각 목록의 적합성(relevance)에 따라 결정된다. 검색 목록의 제1 집합으로부터 식별된 검색 목록은, 적어도 부분적으로, 각 검색 목록의 신뢰도 점수에 따라 정렬된다.
이하의 도면 및 실시예를 고찰하면, 본 발명에 대한 다른 시스템, 방법 및 이점들이 당업자에게 명백해질 것이다. 그러한 모든 추가적인 시스템, 방법, 특징 및 이점들을 본 설명에 포괄하고자 하며, 이들은 모두 본 발명의 범주에 속하는 것으로, 첨부된 청구항에 의해 보호하고자 한다.
본 발명은 이하의 도면 및 실시예를 참조함으로써 확실히 이해할 수 있다. 도면의 구성 요소들은 본래의 크기인 것은 아니며 대신 발명의 원리를 도시함에 있어서 강조될 수 있다. 또한 도면에서, 유사한 참조부호들은 다른 도면들을 통틀어 대응되는 부분들을 가리킨다.
도 1은 검색 쿼리에 대한 결과를 제공하는 시스템을 도시하는 도.
도 2는 쿼리 및 데이터베이스 컨텐트를 관리하는 시스템을 나타내는 도.
도 3은 예시 검색 파이프라인의 블록도.
도 4는 다양한 서버들의 목록으로부터 조합된 목록 집합을 제공하는 아키텍처를 도시하는 블록도.
도 5는 사용자에게 반환될 수 있는 웹 페이지의 예시 스크린 샷을 도시하는 도.
도 6은 임의의 웹 페이지에 대하여 쿼리 용어와 후원된 목록을 매칭하는 시스템의 이용을 도시하는 블록도.
시스템은 광고 후원받은 목록들의 분석, 광고주 웹 사이트 컨텐트, 월드 와이드 웹 컨텐트, 쿼리 의도 및/또는 사용자 행동 통계를 조합하여 이를테면 후원받은 매치와 같은 적절한 매치(match) 및 쿼리와 결과의 연관된 특성을 전달할 수 있다. 본 명세서에 사용되는 경우, '적합한'이라는 용어는 검색 제공자에게 수익을 가져다주는 결과들, 깊고 넓은 내용의 결과들 및/또는 검색자에게 적합한 결과들을 포함한다. 시스템은 하나 이상의 서버에 의해 제공된 검색 쿼리에 대한 결과를 조합하여 분석할 수 있다. 별도의 상이한 검색 쿼리에 대한 결과에 따라 제1 검색 쿼리로부터의 결과의 적합성 또는 품질이 결정될 수 있다.
도 1은 검색 쿼리들에 대한 결과를 제공하는 시스템(100)을 도시한다. 사용자(100)와 같은 검색자는, YAHOO 또는 OVERTURE와 같은 프론트 엔드 서버(120)를 액세스하는 웹 브라우저를 이용하여 검색 쿼리를 입력한다. 쿼리는 하나 이상의 용어를 포함할 수 있다. 프론트 엔드 서버(120)는 후원 목록 서버(sponsored listing server) 또는 기타 유형의 서버와 같은 제1 백엔드 서버(130)로 검색 쿼리를 전송한다. 후원 목록 서버는 상기 검색 쿼리에 대한 결과들을 제공할 수 있으며, 여기에는 그 결과에 포함되기 위해 비용을 지불한 광고주들이 포함된다. 제1 서버(130)는 후원 목록 매치 엔진(sponsored listing match engine; 140)을 액세스 할 수 있다. 후원 목록 서버(130)는 인입되는 검색 쿼리들을 처리하기 위해 IDP 프록시들(150)과 접속할 수 있다. IDP 프록시(150)는, 후원 목록 검색 클러스터(160) 및 프리 웹 크롤 검색 클러스터(free web crawl search cluster; 170)와 같은 서로 다른 검색 클러스터들과 접속할 수 있다.
도 2는 쿼리들 및 데이터베이스 컨텐트를 관리하는 시스템을 도시한다. 후원 목록 서버(130)는 후원 목록 검색 클러스터(160) 및 프리 웹 크롤 검색 클러스터(170)로부터의 결과들을 이용할 수 있다. 후원 목록 검색 클러스터(160)는 후원 목록 데이터베이스(200)로부터 목록들을 얻을 수 있다. 후원 목록 데이터베이스(200)는, 후원 목록 서버(130)가 프리 웹 크롤 검색 클러스터(170)의 운용자와 다른 개체(entity)에 의해 운영되는 경우 이용될 수 있다. 후원 목록 서버(130)와 프리 웹 크롤 검색 클러스터(170)의 운영자는 동일한 개체일 수도 있다.
후원 목록 데이터베이스(200)로부터 목록을 얻기 위해, 시스템(100)은 컨텍스트 인덱싱(context indexing)을 수행할 수 있다. 컨텍스트 인덱싱은 더 좋은 결과의 매치에 적합한 목록들을 결정하기 위한 후원 목록 데이터베이스(200)의 스냅샷의 캡쳐를 포함할 수 있다. 적합한 목록들은, 그 목록의 광고주들이 시스템(100)의 알고리즘을 이용하여 그들의 목록이 표시되는 것에 동의한 목록을 포함한다. 목록 데이터베이스로부터의 정보는, 예를 들면 후원 목록 업데이트 서버(220)를 통하여, 후원 목록 크롤 클러스터(210)로 전달될 수 있다. 컨텐트의 인덱스를 생성하기 위해 후원 목록 마샬러(sponsored listing marshaler; 230)가 이용될 수 있다. 예를 들어, 스팸 목록들, 동작하지 않는 목록에 대한 링크들 및 클 릭수(click-through) 비율이 낮은 링크들을 제거하는 것과 같은 편집적인 고려 사항에 기초하여, 인덱싱된 페이지들의 품질을 표시하기 위해 IDPD 태그 데몬(240)이 이용될 수 있다. IDPD 태그 데몬(240)은 편집 데이터베이스(editorial database; 250)로부터 편집 컨텐트(editorial content)를 얻을 수 있다. 목록들은 관련 주석, 탐색된 컨텐트(crawled content), 타겟 페이지에 대한 인바운드 링크와 연관된 텍스트와 같은 앵커 텍스트(anchor text) 또는 알고리즘으로 생성된 요약 및 키워드들과 함께 인덱싱될 수 있다.
프리 웹 크롤 검색 클러스터(170)에 대한 자료들을 얻기 위해, 프리 웹 크롤 클러스터(270) 및 프리 웹 크롤 마샬러(280)를 통하여 웹(260)으로부터 컨텐트가 수집된다. 편집 데이터베이스(250)로부터 편집 요소(editorial material)가 프리 웹 크롤 마샬러(280)에서 자료들에 제공될 수 있다. 편집 요소는 또한 IDPD 태그 데몬(290)을 통하여 편집 데이터베이스(250)로부터 프리 웹 크롤 검색 클러스터(170)에서 제공될 수도 있다. 후원 목록 크롤 클러스터(210), 프리 웹 크롤 클러스터(270), 편집 데이터베이스(250), 후원 목록 마샬러(230) 및 프리웹 크롤 마샬러(280)에 정보를 제공하고 이들로부터 정보를 수신하기 위해 웹맵(webmap; 300)이 이용될 수 있다. 웹맵(300)은 하이퍼링크들에 연관된 앵커 텍스트를 포함하여, 웹상의 호스트들 및 하이퍼링크들에 대한 정보를 제공할 수 있다.
마샬러(230 및 280)는 검색 쿼리에 응답하기 위해 검색 클러스터(160 및 170)에 의해 이용되는 인덱스 또는 검색 데이터베이스를 생성한다. 프리 웹 컨텐트 또는 일반 웹 컨텐트의 검색 데이터베이스는 후원 목록들의 검색 데이터베이스 로부터의 결과에 대한 품질을 결정하는데 이용될 수 있다.
후원 목록들을 웹 크롤/인덱싱 시스템으로 전송하는 것은 XML 인코딩과 같은 전송 프로토콜을 이용하여 이루어질 수 있다. 검색 제공자로부터 웹 검색 시스템으로의 요청 및 응답은 IDP(INKTOMI Data Protocol) 2.0과 같은 프로토콜을 이용하여 이루어질 수 있으며 전송은 HTTP에 의해 이루어질 수 있다. 최종 전송 이후 변경된 목록만을 전송하는 것과 같이 후원 목록의 효율적인 전송을 위해 점진적 업데이트 프로토콜(incremental update protocol)이 사용될 수 있다. 상기 목록의 속성들은 웹 검색 데이터베이스에 적절한 형식으로 변형될 수 있다. 인덱싱 가능한 웹 컨텐트로 변형하는 것은 XSLT 변환을 이용하여 이루어질 수 있다.
후원 목록은, 표시 제목, 표시 초록, 표시 호스트네임, 목적지 URL, 탐색 URL(crawl URL), 입찰된 용어들, 계정, 광고 그룹, 그동안의 CTR 등과 함께 제공될 수 있다. 간편함을 위해, 광고주는 제목, 초록 및 입찰된 용어들을 특정하지 않고, 한 세트의 탐색 URL을 제공하거나 웹 페이지 트리를 가리키는 루트 URL을 제공할 수 있다. 이와 달리, 또는 이에 덧붙여, 광고주가 목록에 대한 제목, 추록, 표시 호스트네임 및 목적지 URL을 제공하는 경우, 광고주는 목록에 대하여 탐색될 컨텐트가 없음을 특정할 수 있다. 복수의 목록이 동일한 크롤 URL을 사용할 수 있다. 예를 들면 상대적인 디스플레이 빈도수를 특정하거나 시스템이 개선된 클릭수 및/또는 변환에 대한 선택을 최적화하도록 요청함으로써, 광고주는 유사한 제목들과 초록들 사이에서 어떻게 선택할 것인가에 대한 선택적인 설명과 함께 동일한 URL 및 입찰된 용어들에 대하여 복수의 제목 및 초록 조합들을 제공할 수 있다.
인덱싱(indexing), 검색(retrieval) 및/또는 계산(accounting)의 성능을 향상시키기 위해, 예를 들면 계정, URL, URL의 관련 그룹 및/또는 입찰된 용어들에 의해, 복수의 목록들이 후원 목록 데이터베이스 내에 그룹화될 수 있다. 효율성을 위해, 복수의 목록에 의해 공유되는 크롤 URL은 단 한번만 탐색될 수 있다. 다른 양만큼 탐색하는 방법도 이용될 수 있다.
사용자(110)가 목록을 클릭하는 경우의 광고주에 대한 비용, 계정/목록 ID 및 부정 키워드(negative keyword)와 같이 목록과 연관된 인덱싱되지 않는 속성들이 목록에 포함될 수 있다. 부정 키워드는 광고주에 의해 선택된 용어들을 포함되며, 상기 용어가 검색 쿼리의 일부인 경우, 광고주의 목록은 표시되지 않는다. 목록의 특성들을 변환하는 것 외에, 이를테면, 입찰된 용어, 제목, 초록, URL 및/또는 목록에 대하여 탐색된 컨텐트를 기초로 파생 변형어(stemming variant), 동의어 및/또는 관련 용어를 추가함으로써, 자료에 보조 단어(helper word)들로 주석을 달아 인덱싱할 수 있다. 이를테면 'shoe'와 'shoes', 'running'과 'run' 또는 용어에 대한 기타 변형어 등을 추가하는 것과 같이, 자료에 새로운 섹션이 생성되어 목록에 대안적인(alternate) 용어들을 추가하도록 할 수 있다.
시스템(100)은, 적어도 부분적으로, 신뢰도 점수와 같은 결과 적합성 점수 및/또는 랭킹 기준(ranking criteria)에 따라 검색 쿼리에 대한 결과를 제공함으로써 사용자(110)로부터의 검색 쿼리들을 처리할 수 있다. 후원 목록 검색 클러스터(160) 및 프리 웹 크롤 검색 클러스터(170), 또는 기타 데이터베이스로부터의 검색 결과들이 얻어지며, 상기 결과들은 사용자에게 표시될 결과들을 결정하기 위해 비교될 수 있다.
사용자(110)가 쿼리를 입력할 때, 쿼리는 프록시(150)에 의해 처리될 수 있다. 프록시(150)에서, 시스템(100)은, 이를테면 그동안의 쿼리 로그 및/또는 웹 페이지에서의 발생 빈도수를 기초로, 철자가 틀린 쿼리들의 자동 보정, 쿼리를 단어 및 구문 단위로 분할, 격(格; case) 변경, 개념 확장(concept expansion) 및 중요도가 떨어지는 단어의 삭제와 같은 방법으로 쿼리를 수정할 수 있다. 시스템(100)은 백엔드 쿼리 검색 엔진에 더 적합한 형태로 사용자 쿼리를 변환할 수 있다. 구현에 따라, 쿼리 또는 변환된 쿼리가 부적합 용어(objectionable term) 목록상의 용어와 일치할 경우 검색 결과가 반환되지 않을 수 있다. 예를 들면, 쿼리가, 참수 관련 영상, 성인 컨텐트 등과 연관된 용어들과 같이 부적합 용어를 포함하고 있는 경우 검색 결과가 반환되지 않을 수 있다. 부적합 용어들은 정책상의 문제로서 검색 엔진의 에디터에 의해 결정되거나, 광고주 또는 자동 성인 분류기(automatic adult classifier)와 같은 다른 개체들에 의해 결정될 수 있다. 필요한 쿼리 구문의 목록은 에디터 또는 광고주에 의해 제공되거나, 알고리즘에 의해 생성될 수 있으며, 이러한 구문들은 계정이나 도메인으로부터의 하나의 목록, 복수의 목록 또는 모든 목록들과 연관될 수 있다. 후원 목록과 연관된 하나 이상의 검색 용어들이 사용자 쿼리에는 포함되어 있지 않은 필요 구문(required phrase)을 포함하는 경우, 상기 목록은 상기 쿼리에 대한 결과 집합에서 배제될 수 있다.
수정된 쿼리가 후원 목록 검색 클러스터(160) 및 적어도 하나의 다른 검색 클러스터, 이를테면 일반 웹 컨텐트를 검색하는 프리 웹 크롤 검색 클러스터(170) 로 발급될 수 있다. 프리 웹 크롤 검색 클러스터(170)는 전체(full-scale) 웹 인덱스를 검색하거나 지정된 파라미터에 따라 선택된 전체 웹 인덱스의 일부를 검색할 수 있다. 전체 웹 인덱스는, 예를 들면 100억 개의 결과를 포함할 수 있는 반면 인덱스의 샘플 부분은 단순화된 프로세싱, 속도를 위해, 또한/또는 상기 결과의 사용자(110)에 대한 적합성을 향상시키기 위해 2억 개의 결과를 포함할 수 있다. 웹 컨텐트는, 이를테면 다른 링크보다 더 자주 액세스되는 링크를 이용하는 것과 같이, 웹 링크들의 속성에 기초하여 자료를 포함시킴으로써 샘플링될 수 있다.
예를 들면 후원 목록 검색 제공자(sponsored listings search provider; 330)와 같은 것으로부터 시스템 모니터/실행기(executor)(310)를 통하여 후원 목록 검색 클러스터(160)로 정보가 제공될 수 있다. 후원 목록 검색 제공자는 콘트랙트 & 클릭 데이터 창고(contract & click data warehouse; 340)를 이용하여 스폰서에 대한 데이터 및 스폰서의 웹사이트에 발생한 클릭을 관리한다. 데이터 창고(340)는, 이를테면 계정 관리 및 보고 모듈(account management and reporting moduel; 360)을 통하여 데이터 품질 검사 모듈(data quality review module; 350)로부터 목록에 대한 정보를 수신한다. 웹 사이트에 대한 사용자 클릭에 관한 정보는, 재지정 서버(redirect server; 370)를 경유하여, 예를 들면 클릭 로그 처리 및 오류 감지 모듈(click log processing and fraud detection module; 380)에 의해 처리된 후 수신될 수 있다. 데이터 창고(340)는 또한 사용자에 의해 발급된 쿼리에 대한 정보와, 쿼리 및 임프레션 처리 모듈(query and impression procession module; 390)을 통해 후원 목록 서버(130) 및/또는 IDP 프록시(150)로부터 사용자에게 표시 되는 결과들을 수신할 수 있다.
후원 목록 검색 클러스터(160)는 결과를 제1의 방식, 이를테면 비용을 지불한 광고주들의 결과가, 예를 들면 그 결과가 검색 제공자에게 가져다주는 수익에 의해 순위가 랭크되어 후원 목록 데이터베이스에 포함되도록 하는 방식으로 제공할 수 있다. 프리 웹 크롤 검색 클러스터(170)는 또 다른 방식, 이를테면 광고주와 관련되어 있건 아니건, 모든 가능 결과 또는 모든 가능 결과의 일부를 예를 들면 인기도(popularity)에 의한 방식으로 결과를 제공할 수 있다. 후원 목록 데이터베이스의 검색 결과는 일반 웹 컨텐트 데이터베이스의 결과와 대조될 수 있으며, 후원 목록 데이터베이스에서 상위 랭크된 결과가 일반 웹 컨텐트 데이터베이스에 대한 결과의 상위 랭크에도 속하는 경우 그 결과가 표시될 수 있다. 결과 페이지의 위치, 이를테면 목록이 사용자에게 페이지의 상단, 측면 또는 하단에 표시되어야 하는지를 최적화하기 위해, 문서의 적합성에 관한 적합성 점수 및 신뢰도 점수도 이용될 수 있다. 후원 결과는 또한 후원 목록과 웹 결과를 대조한 것을 기초로 중복되는 경우 다시 랭크되거나 삭제될 수 있다.
시스템(100)은 또한 후원 목록 데이터베이스 쿼리에 대하여 다양한 득점 파라미터를 사용할 수 있다. 예를 들면, 검색 결과 자료의 서로 다른 부분들에 대하여 조정된 가중치(weight)가 사용될 수 있다. 예를 들면, 자료의 제목에 나타난 검색어는 검색어가 자료의 내용 부분에만 나타나는 경우보다 중요한 것으로 간주될 수 있다.
각 데이터베이스에 대하여 적합한 결과들이 결정될 수 있으며 조합된 결과들 은 적합성 또는 신뢰도 점수에 의해 소팅될 수 있다. 적합성 점수는 쿼리 용어의 존재 여부, 쿼리 용어 상호간의 근접성, 자료 앵커 텍스트에 대한 쿼리의 매칭, 자료 카테고리 및 자료 품질의 지정된 척도를 포함하는 많은 인자(factor)들을 기초로 할 수 있다. 소팅된 상위 결과 집합에 나타나는 후원 목록 데이터베이스 결과들은, 부정 키워드와 일치하는 쿼리가 나타나는 결과들은 제거될 수 있도록 더 수정될 수 있다. 또한, 쿼리가 지정된 상표등록된 용어(trademarked term)의 목록에 올라있는 단어를 포함하는 경우, 결과의 가시 부분(visible portion) 내에 상표등록된 용어 전체를 포함하지 않거나 목록에 대한 입찰 용어들을 포함하지 않는 모든 결과는 제거될 수 있다.
어떠한 결과들이 표시되어야 하는지를 결정하는 것을 돕기 위해 후원 목록 데이터베이스로부터의 결과에 대한 특징들이 산정될 수 있다. 상기 특징들은 예를 들면 입찰 랭킹(bid ranking)에 기초하여 결과를 클릭하는 사용자(110)에 대해 광고주에게 소요되는 실제 비용을 포함한다. 상기 특징들은 또한 그동안의 클릭수 및 변환 데이터와 같은 기타 인자들에 따라 결정될 수 있다. 사이트가 결과로 제공되는 경우, 그동안의 클릭수 데이터는 사용자(110)가 광고주의 사이트를 통하여 클릭한 횟수에 대한 정보를 포함한다. 변환 데이터는 사용자(110)가 광고주가 원하는 동작(예를 들면 광고주의 사이트를 방문하는 사용자(110)가 상품을 구매하는 것)을 행하였는지에 관한, 광고주로부터의 정보를 포함한다. 기타의 특징들은 후원 목록 데이터베이스 및 일반 웹 컨텐트 데이터베이스의 조합으로부터의 완전 소팅된 상위 결과 집합 내에서의 결과 랭크 및 일반 웹 컨텐트 데이터베이스의 상위 결과로부터의 적합성 점수 차이 및 비율을 포함한다. 결과의 다른 특징으로는 쿼리 단어/구문이 제목, 초록, URL, 표시 호스트, 입찰된 키구문(bidded keyphrase) 및/또는 알고리즘으로 생성된 키워드 또는 상기 결과의 요약에 나타나는지의 여부가 포함된다.
상기 결과가 쿼리에 대하여 우수한 매치가 된다는 복합적인 신뢰도를 향상시키기 위해 개개의 특징들은 따로 또는 조합으로 분석될 수 있다. 상기 특징들은 또한 각각의 결과에 대한 신뢰도 점수를 생성하는데 사용될 수 있으며, 후원 목록 서버(130) 또는 기타 서버는 상기 점수를 기초로 결과를 소팅하여 높은 점수를 획득한 결과가 사용자에게 표시되는 검색 결과 리스트에서 먼저 표시되도록 할 수 있다. 후원 목록 서버(130)는 쿼리의 분류(categorization)와 같은 입력 쿼리의 특징들을 반환할 수 있으며, 각 목록과 연관된 키워드와 같은 각 목록의 특징들을 반환할 수 있다. 적합성 점수를 부여하기 위한 함수들과 순위를 다시 랭크시키기 위한 함수들은 전체 또는 일부에 있어서 기계-학습(machine-learning) 방법에 의해 구성될 수 있다. 기계-학습 방법은 이를테면 선형 공식의 계수를 구하는 방법, 의사 결정 트리(decision tree)를 구성하는 방법, SVM(Support Vector Machine)을 구성하는 방법, 신경망(neural network), 베이지안 네트워크(Bayesian network) 또는 기타 방법들이다. 특징, 특징들의 조합 및 점수 수여 함수와 재랭킹 함수(reranking function)는 클릭 히스토리 및 임프레션 데이터 및/또는 편집상 표시된 적합성 판단의 도움으로 구성될 수 있다.
신뢰도 점수와, 검색 제공자가 보다 적합한 결과 및/또는 보다 수익을 창출 할 수 있는 결과를 표시하기를 원하는가 등과 같은 기타 인자에 따라, 표시될 결과가 결정될 수 있다. 신뢰도를 결정하는 특징들이 특정한 검색 제공자에 대하여 수정될 수 있도록 매칭 통계의 실시간 보고가 제공될 수 있다. 각 웹 검색 데이터베이스 결과에 대한 신뢰도 점수와 함께 목록 ID가 검색 제공자에게 반환될 수 있다. 웹 검색 데이터베이스 결과에 대한 목록 ID는 현재 제목, 초록, 표시 호스트네임, 클릭수에 대하여 광고주에 소요되는 비용 및 목록/계정 상태를 참조하는데 이용될 수 있다. 목록의 매칭은, 현재 제목, 초록, URL, CPC 및 목록/계정 상태를 검색한 때로부터 수 시간 또는 수 일이 지난 것일 수 있는, 탐색된 컨텐트 및 인덱싱된 컨텐트를 기초로 분리될 수 있다.
상기 기술된 특징들을 임의로 조합한 측면에서 가장 적합한 것으로 판단되는 결과들이 표시될 수 있다. 광고주가 하나의 목록에 대하여 복수의 서로 다른 제목들 및 초록들을 제공한 경우, 쿼리, 클릭수 통계 및/또는 각 제목 및 초록이 표시되는 것에 대한 요구 빈도수의 명세에 기초하여 표시될 제목 및 초록의 선택이 이루어질 수 있다. 쿼리 및 변형된 쿼리와 일치하는 목록의 용어들은 사용자에게 하이라이트로 표시될 수 있다. 각 클릭수에 대하여 광고주에게 소요되는 비용, 적합성 점수 및/또는 선호도 규칙(preference rule)에 기초하여 적합한 결과가 완전 정합(exact matching) 및 기타 알고리즘들과 조화될 수 있다. 시스템(100)에 의해 생성된 결과들을 다른 시스템들로부터의 매치 결과와 계층화하거나 조합하기 위해 유연성 있는 정책들이 구현될 수 있다. 여분의 결과들은 크롤 URL, 표시 URL, 표시 호스트네임 등으로부터 추출된 계정 id, 도메인 네임, 호스트네임의 조합에 기 초하여 제거될 수 있다.
도 3은 예시 검색 파이프라인(400)의 블록도이다. 블록(410)에서 원 쿼리(raw query)가 사용자(110)로부터 접수된다. 원 쿼리는, 쿼리 내의 용어상의 기타 변형을 판단하고, 불필요한 용어 또는 복수 어미 혹은 'ing' 어미와 같은 어미를 제거하며, 원 쿼리에 대한 동의어를 결정하기 위해, 예를 들면 블록(420)의 서브구문 매치(sub-phrase match; SPM) 매치 드라이버(match driver; MD) 정규(canonical; canon) 쿼리 모듈 및/또는 블록(430)의 MD 정규 쿼리 모듈을 이용하여 처리될 수 있다. 원 쿼리는 블록(440)의 IDP 프록시로 전송될 수 있다. MD 정규 쿼리는 블록(450)의 제목 및/또는 설명 매치 서버로 전송될 수 있다. MD 정규 쿼리(430)는 또한 블록(460)의 완전 정합 또는 OMD(orthographic match driver) 매치로 전송될 수 있다. 완전 정합 또는 OMD 매치의 결과는 SPM MD 정규 쿼리로부터의 결과와 함께 블록(470)의 구문 매치 또는 광역 매치 서버로 전송될 수 있다. SPM MD 정규 쿼리 결과는 또한 블록(480)의 로컬 매치 서버로 전송될 수 있다. 모든 서버들(440, 450, 470 및 480)로부터의 결과는 블록(490)의 서버 목록 모듈로 전송될 수 있다. 각 목록은 목록이 적합하다는 목록 신뢰도 등급을 판단하기 위해 분석된다.
시스템(100)에 대한 예시 코어 매칭 알고리즘은 다음과 같다.
"전체 결과 집합"은 적합성 점수에 의해 랭크된, 후원 목록 데이터베이스 및 기타 데이터베이스로부터의 최고 num_candidate 결과의 조합된 집합이다. 전체 결과 집합 내의 후원 목록 데이터베이스로부터의 각 결과는, 한 결과의 비이상적인 특성을 캡쳐하려고 시도하는 "강등(demotion)" 용어의 수를 산출함으로써 점수(score)와 랭크(rank)가 조정될 수 있다.
전체 결과 집합 내의 각 아이템의 "랭크(rank)" 및 정규화된 "점수(score)"를 이용하면,
rank_demotion = log2(rank)
rawscore_demotion = 1 - score / top_score
(여기서, top_score는 전체 결과 집합 내의 제1 결과의 점수).
각 쿼리 단어의 가중치는 디폴트로 1.0으로 설정될 수 있으나, 0과 1 사이의 임의의 값으로 변경될 수 있다. 단어 가중치를 기초로, max_query_score는 각각의 고유 쿼리 단어의 가중치의 합이 된다.
세 개의 행렬이 각각의 "섹션(section)"에 대해 별도로 계산될 수 있으며, 여기서 "섹션"은 목록 제목, 초록, 입찰된 용어, 또는 목록에 대한 키 주제의 목록이다. 만일 "editorial_switch" 파라미터가 1이라면, 입찰된 용어는 편집상 검토되지 않은 목록에 대하여 비어있는 것으로 간주될 수 있다. absence_demotion, edit_distance_demotion 및 order_distance_demotion은 아래와 같이 결정될 수 있다.
absence_demotion = (max_query_score - match_weight) / max_query_score,
(여기서, match_weight는 섹션 내의 고유 쿼리 단어들의 가중치가 적용된 합이다)
edit_distance_demotion = (max_query_score - max) / max_query_score,
(여기서, max는 전부 쿼리 단어인 섹션 내의 연속적인 섹션 단어들의 시퀀스 중 고유 쿼리 단어들의 최대의 가중치가 적용된 합이다)
order_distance_demotion =
0 (한 단어 쿼리일 경우)
1 (섹션 내에 쿼리 단어가 없는 경우)
1 - (ordered_words - 1)/(nunique_query_words - 1) (나머지 경우)
(여기서, ordered_words는 섹션 내에서 쿼리 단어가 아닌 것(non-query-words)을 무시하고 고유 정렬된 쿼리 단어들의 최대 수를 구함으로써 결정될 수 있다)
이를테면 계산에 의해, 섹션의 리스트에 대한 섹션 강등(section demotion)를 판단하는 경우, 임의의 섹션의 최소 강등이 세 가지 강등 유형 각각에 대하여 이용될 수 있다.
section_demotion(section_list) =
edit_distance_demotion_weight *
min_of_sections(edit_distance_demotion)
+ order_distance_demotion_weight *
min_of_sections(order_distance_demotion)
+ absent_words_demotion_weight *
min_of_sections(absence_demotion)
편집상 검토되지 않은 목록을 나타내기 위해 "편집상 강등(editorial demotion)"이 1이 될 수 있으며, 그렇지 않은 경우 0이 된다. 기타의 표시가 사용될 수 있다.
최종 적합성 점수는 다음과 같이 결정될 수 있다.
relevance_confidence =
base_confidence
- rawscore_demotion * rawscore_weight
- rank_demotion * rank_weight
- section_demotion(title, abstract) * title_abstract_weight
- section_demotion(bidded_term) * bidded_term_weight
- section_demotion(title, abstract, bidded_term) * title_abstract_bidded_term_weight
- section_demotion(topics) * topics_weight
- editorial_demotion * editorial_weight
각 후원된 결과에 대한 actual_cpc(cpc는 클릭당 비용; cost per click)를 결정하기 위해, 후원된 결과는 각 결과와 연관된 bid_cpc에 의해 소팅될 수 있다. min_bid_cpc보다 작은 bid_cpc를 갖는 임의의 결과에 bid_cpc와 동일한 actual_cpc가 할당될 수 있다. 그렇지 않으면, 최하위 결과에 bid_cpc의 actual_cpc가 할당되고 다른 결과 각각에는 다음 결과의 bid_cpc의 actual_cpc에 cpc_increment를 더한 값이 할당되며, actual_cpc는 bid_cpc를 초과할 수 없다는 제약이 따른다.
min_relevance_confidence 이하의 relevance_confidence를 가진 결과들은 무시될 수 있다. 남은 결과들은 다음과 같이 결정되는 ranking_score에 의해 다시 랭크될 수 있다.
actual_cpc <= cpc_knee이면, cpc = actual_cpc
그렇지 않으면, cpc = (cpc_knee + cpc_slope*log2(actual_cpc + 1)) / 100)
ranking_score = relevance_confidence + cpc_weight * cpc.
또는, ranking_score는 다음과 같이 결정될 수 있다.
acrual_cpc <= cpc_knee이면, cpc = actual_cpc
그렇지 않으면, cpc = cpc_knee
ranking_score = relevance_confidence + cpc_weight * cpc.
US 시장에 대하여 조정 가능한 입력 파라미터에 대한 설정의 예시 조합은 다음과 같다.
0.05 rank_weight
0.24 rawscore_weight
0.45 title_abstract_weight
0.0 bidded_term_weiglit
0.1 title_abstract_bidded_term_weight
0.01 topics_weight
0.2 edit_distance_demotion_weight
0.3 order_distance_demotion_weight
0.5 absent_words_demotion_weight
0.95 base_conf[iota]dence
0.01 editorial_weight
1 editorial switch
2.0 cpc_weight
100 num_candidates
0.35 min_relevance_confidence
$0.10 min_bid_cpc
$0.01 cpc__increment.
$0.20 cpcjknee
$1.00 cpc_slope
도 4는 다양한 서버들로부터의 목록으로부터 조합된 목록 집합을 표시하기 위한 아키텍처(500)를 도시하는 블록도이다. 블록(510)에서 사용자 쿼리가 수신된다. 블록(520)에서, 쿼리는 서로 다른 검색 서버로 전송된다. 쿼리의 변형어도 서로 다른 서버들로 전송될 수 있다. 변형어가 적합한 결과를 반환할 것이라는 가능성으로서, 각 변형 쿼리에 개연성 점수(certainty score)가 부가될 수 있다. 블록(530)에서, 검색 서버들은 목록을 쿼리에 매치시킨다. 목록이 적합한 매치가 되는 목록들에 개연성 점수가 부가될 수 있다. 블록(540)에서, 목록들은 이를테면 개연성 점수 및 클릭 당 비용(cost per click)(블록 550), 클릭수 등급(블록 560)과 같은 기타 인자들에 따라, 또한 편집상 고려사항(블록 570)에 기초하여 랭크될 수 있다. 블록(580)에서, 목록은 랭킹 및 기타 인자들에 따라 표시될 수 있다. 목록은, 이를테면 최고 신뢰도 등급의 목록이 처음 및/또는 디스플레이된 브라우저 페이지의 특정 영역에 보여지는 것과 같이, 신뢰도 순으로 보여질 수 있다.
도 5는 사용자에게 반환될 수 있는 웹 페이지의 예시 스크린 샷(600)을 도시한다. 사용자가 'deboning chicken'이라는 용어를 입력하는 경우, 그 용어에 대하여 후원된 결과가 존재하지 않을 수 있다. 시스템(100)은 웹 검색 데이터베이스로 부터의 결과와 일반 웹 검색 데이터베이스로부터의 결과를 비교하기 때문에, 'Chicken Shears at Shopping.com'과 같은 결과가 발견될 수 있다. 상기 링크에 접속하면, 사용자(110)는 그 제목에 'deboning' 또는 'chicken' 중 어느 것도 포함하지 않는 'Diamond Cut Multi-purpose Kitchen Shears'와 같은 결과를 볼 수 있다.
시스템(100)은 서로 다른 검색 제공자들의 다양한 수요를 처리하기 위해 커스터마이징될 수 있다. 후원 목록들은, 예를 들면 후원 목록들에는 어느 정도 비중을 두는 것과 같이, 일반 웹 자료들과 상이하게 점수가 부여될 수 있다. 웹 검색 데이터베이스를 업데이트하기 위한 크롤 빈도수(crawl frequency)는 데이터베이스 내의 컨텐트의 필요 신선도(freshness)에 따라, 이를테면 주(week)에서 일(day)로 변화될 수 있다. 개개의 매칭 기준에 대해 조정 가능한 파라미터들이 제공될 수 있다. 결과는 모든 쿼리 용어들이 결과의 지정된 부분(제목 또는 초록 등)에 존재하는 경우로 제한될 수 있다. 'a', 'the' 및 'and'와 같은 불용어(stopword)들은 배제되거나 가중치가 낮게 주어질 수 있다. 일부 쿼리 용어들은 다른 용어들보다 더 중요한 것으로서 가중치가 부여될 수 있다. 시스템(100)은 그러한 쿼리 용어들이 서로 다른 검색 제공자들에 대해 서로 다른 가중치를 갖도록 조정될 수 있다. 예를 들면 'picture'라는 용어는 다른 단어들의 반 정도 중요한 것으로서 가중치가 부여될 수 있다. 제목 또는 초록과 같이, 전체 웹 컨텐트 목록을 검색할 필요없이 웹 컨텐트에 관련된 결과가 랭크될 수 있다. 지연 시간을 감소시키고 제공 비용을 낮추기 위해 결과 집합은 캐싱될 수 있다.
시스템(100)은 또한, 이를테면 광고주의 사이트를 액세스했던 사용자(110)의 수에 관한 그동안의 클릭 수 데이터 및 광고주의 사이트에서 아이템을 구매했던 사용자(110)의 수에 관한 변환 데이터를 이용함으로써, 적합성 및/또는 수익 향상을 돕는 기타 특징들을 포함할 수 있다. URL, 도메인, 또는 모든 쿼리들에 대한 계약 또는 특정 쿼리들 및 쿼리어들에 대한 계약마다 데이터가 수집될 수 있다.
사용자(110)로부터의 쿼리들은, 이를테면 편집상 특정 쿼리들 또는 쿼리 용어들에 대하여 재작성하기로 판단하거나, 또는 알고리즘에 의해 재작성하기로 판단함으로써 수정될 수 있다. 특정 쿼리 용어들은 삭제되거나 가중치가 감소될 수 있다. 관련 용어 및 상기 용어의 동의어 확장이 쿼리에 추가되고 그에 따라 가중치가 부여될 수 있다. 시스템(100)은 또한, 이를테면 상기 용어에 's'와 'ing'를 추가하거나 제거함으로써 쿼리 용어들을 확장하여 파생되는 변형어들을 추가할 수 있으며, 상기 용어의 생략 변형어(abbreviation variant)들이 쿼리에 추가될 수 있다. 쿼리는 용어에 대하여 보다 우수한 근접성을 획득하기 위해 구문(phrase)들로 분할될 수 있다. 예를 들면, 'New'와 'Mexico'라는 용어들은 함께 그룹화되어 'New Mexico'라는 주(state)에 대한 결과를 얻을 수 있다. 중국어 쿼리에 있어서와 같이 단어들을 분리하는 스페이스가 없이 작성된 쿼리는 단어들로 분할될 수 있다. 한국어 또는 독일어 쿼리에 있어서와 같이, 합성어(compound word)들은 구성 단어들로 분할될 수 있다. 중국어에 있어서의 변형어들과 같이, 이를테면 아시아 언어들에 대하여 스크립트 변형어(script variant)가 허용될 수 있다. 상기 용어를 재작성함에 따라 히트-하이라이팅(hit-highlighting)에 이용하기 위해 용어 목 록이 생성될 수 있다. 예를 들면, 결과가 디스플레이되는 경우, 사용자의 편의를 위해 검색 용어들은 하이라이트로 표시될 수 있으며, 상기 검색 용어의 변형어들도 하이라이트로 표시될 수 있다. 검색 용어 'S.F. opera'에 대하여, 변형어 'San Fransisco opera'도 결과가 디스플레이될 때 하이라이트로 표시될 수 있다.
시스템(100)은 또한 웹 검색 데이터베이스 및/또는 일반 웹 컨텐트 데이터베이스에 저장된 웹 페이지 결과의 컨텐트를 수정할 수 있다. 예를 들면, 페이지 구조와, 계약, 공급 또는 사이트에 연관된 자료의 집합에 적용되는 페이지 템플릿 초록(page template extraction)과, 쿼리 및 쿼리 용어 당 클릭 및 변환 통계를 포함하는 여러 인자들에 따라, 페이지 컨텐트는 감소되거나 증가될 수 있다. 부적합한 매치를 방지하기 위해 웹 페이지 설명에 가격이 추가될 수 있다. 동의어, 다른 스펠링, 파생 변형어, 생략 변형어 및 관련 용어들도 웹 페이지 설명에 추가될 수 있다.
시스템(100)은 또한 다른 특징들을 제공하도록 구성될 수 있다. 쿼리 분류, 스펠링 보정 및 쿼리 재작성과 같은 진보된 기능을 필요로 하는 구성 요소들이 시스템(100)에 추가될 수 있다. 지역 및 언어의 성향에 따라 적합성을 조정하는 것이 허용될 수 있다. 특정 지역의 사용자에 대하여 특정 지역에 연관된 쿼리 결과는 더 높은 가중치가 부여되도록 지역별 점수 부여(region-specific scoring)가 구현될 수 있다. 컨텐트 선호도, 사용자 위치, 사용자 인구 통계학(demographics) 및 쿼리 히스토리 등의 여러 인자들을 이용하여 개인화 데이터(personalization data)가 적합성 점수를 부여하는데 포함될 수 있다. 검색 제공자는, 보다 적합한 것으로 보이는 결과에 대하여 가중치가 부여되어야 할지 또는 결과에 대한 더 큰 범위/심도가 요구되는지를 조절하는 것이 허용될 수 있다. URL, 도메인 또는 계약 내용을 기초로 후원 목록 데이터에 대해 긍정적 혹은 부정적인 편집상의 판단이 포함될 수 있다. 관련 목록에 대한 입찰 용어 및 입찰액을 자동으로 생성하기 위해 후원 목록 공급(sponsored listings feeds)이 이용될 수 있다. 서비스 비용을 절감하고 웹 컨텐트와 같은 부정확한 매치에 사용된 인자들을 기초로 정확한 매치 목록의 적합성 랭킹을 통합하기 위해, 시스템(100)은 입찰된 용어들에 대한 완전 정합을 구현하도록 이용될 수 있다.
시스템(100)의 기타 특징들은, 전체 결과 집합 또는 포함되거나, 배제되거나, 진급되거나 강등되는 특정 결과 집합을 특정함으로써 편집상으로(editorially) 결과 집합을 결정하는 기능을 포함한다. 시스템(100)은 결과를 선택하고 등급을 부여하는데 있어서의 현재 광고주 예산(budget)을 포함할 수 있다. 예를 들면, 광고주가 그 예산의 정해진 부분을 소모한 경우, 결과가 다른 방식으로는 표시될 수 있는 경우라도, 그 광고주에 대한 결과는 그 결과가 특정 랭크 이상에 랭크되지 않는 한 보이지 않을 수 있다. 로컬/지리적인 쿼리, 도메인 쿼리 및 제품 번호 쿼리는 달리 점수가 부여될 수 있다. 예를 들면, 다른 방식으로는 표시되지 않을 수 있는 결과가, 로컬 쿼리가 발생하였기 때문에 별도의 가중치가 부여되어 표시될 수 있다.
편집상 검토되어야 할 목록의 큐 또는 쿼리 목록 쌍(pair)은, 클릭 데이터, 변환 데이터, 쿼리 또는 쿼리-용어 빈도수, 목록 표시 빈도수, 목록 입찰액, 이전 의 편집상 검토 결과(있는 경우) 및 사용자 불만 빈도수를 포함하는 여러 인자들에 기초하여 자동으로 생성될 수 있으며, 계정, 도메인, 쿼리 또는 쿼리 용어에 따라 수집될 수 있다. 예를 들면 언어, 지역, 컨텐트-유형, 인터넷 도메인, 주제 및 사용된 어휘에 의한 적용 범위를 최적화하는 것 등과 같은, 선택 빈도수와는 다른 인자들을 이용하여 웹 검색 데이터베이스 컨텐트의 상대적인 랭크를 생성하기 위해 대표 웹 컨텐트가 선택되어 사용될 수 있다.
시스템(100)은 후원 목록과 다른 제안, 이를테면 경매 목록, 일자리 제안 등과 같은 것을 보여주고 일반 웹 컨텐트와 다른 컨텐트 데이터베이스, 이를테면 수직적 검색(vertical search) 또는 여행, 쇼핑 등과 같은 디렉토리를 운영하는 데이터베이스와 같은 것에 관련된 그러한 제안들의 적합성을 평가하도록 적용될 수 있다. 적합성 평가에 있어서, 가격, 유용성, 제안의 기간, 인기도, 벤더 등급 및 사이즈, 색상 및 장식 등의 제품 디테일 등과 같은 기타의 컨텐트 속성들이 포함될 수 있다. 시스템(100)은 페이지 상에 선호되는 컨텐트에 대한 링크를 표시하는 때와 위치를 결정하도록 이용될 수 있다. 'YAHOO! Shortcut' 목록을 예로 들면, 쿼리가 'HONDA CIVIC'이라는 용어를 포함하는 경우, YAHOO! Autos에 대한 링크가 제공될 수 있도록 하는 것이다. 다른 특징은, 광고주가 입찰된 용어, 제목, 초록을 특정하지 않고 웹 페이지를 제공할 수 있다는 것이다. 또한 목록 초록은 웹 페이지 컨텐트 내의 쿼리 용어에 대한 매치를 기초로 수정될 수 있다.
도 6은 쿼리 용어 및 후원 목록을 임의의 웹 페이지에 매칭시키기 위한 시스템(100)의 이용을 도시하는 블록도이다. 웹 페이지 제공자는 각각 하나의 웹 페이 지를 특정하는 하나 이상의 URL, 또는 웹 페이지의 트리를 가리키는 루트 페이지를 제공한다. 웹 페이지 소유자는 URL에 그 URL과 연관된 선택적인 키워드 또는 텍스트를 이용하여 주석을 달 수 있다. 각 웹 페이지는 시스템(100)에 의해 탐색되고, 정렬되고, 태깅(tagging)되고 검색되는 후원 목록 데이터베이스에 위치한다. 이러한 방식으로, 시스템(100)은 어떤 광고가 페이지 상에 표시되기에 적합한지를 결정하도록 이용될 수 있다.
웹 페이지 소유자는 컨텍스트 벡터 프로세서(700)에게 주석이 달린 URL 요청을 전송함으로써 웹 페이지에 관련된 목록을 요청할 수 있다. 상기 요청은 웹 페이지에 대한 URL을 포함할 수 있고 또한 웹 페이지 및 관련 사이트에 대한 추가적인 주석 및/또는 웹 페이지를 보고 있는 사용자에 대한 주석(사용자 위치 및 현재 동작)을 포함할 수도 있다. 주석이 달린 URL 요청과 같은 요청에 대해, 컨텍스트 벡터 프로세서(700)는 쿼리 데이터 창고(720)로부터 상기 URL, 사이트 또는 계정에 적합한 결과를 갖는 이전 검색 집합을 요청하도록 이용될 수 있다. 쿼리 데이터 창고는 그동안의 적합한 검색 용어 및 그러한 검색 용어와 연관된 결과 집합의 속성을 제공함으로써 이에 응답할 수 있다. 컨텍스트 벡터 프로세서는 쿼리 데이터 창고(720)로부터의 결과를 분석하여 추가적인 후보 검색 용어를 생성할 수도 있으며, 후원 목록 서버(710)에 제공되도록 선택된 검색 용어 집합을 생성할 수도 있다. 후원 목록 서버(710)는 후보 목록 및 그러한 목록의 속성들로 응답한다. 컨텍스트 벡터 프로세서(700)는 후보 목록 집합을 분석하고, 어떤 목록을 반환할 것인지 결정하며, 선택적으로 목록의 등급을 조정하고, 주석이 달린 URL 요청에 대하 여 목록 및 관련 속성으로 응답하며, 여기에는 웹 페이지에 대한 각 목록의 매치의 신뢰도가 포함될 수 있다.
컨텍스트 벡터 프로세서에 의해 반환된 목록의 유효성은 신선도 옵티마이저(freshness optimizer; 730)를 이용함으로써 최적화될 수 있으며, 이는 주석이 달린 URL 요청의 전달과 비동기적으로 동작할 수 있다. 신선도 옵티마이저는, 쿼리 데이터 창고(720)으로부터, 이전에 검색되었으나 새로이 다시 검색하면 동일한 결과가 생성될 것임을 보장할 수 있을 정도로 최근에는 검색되지 않은 검색 용어를 요청할 수 있다. 신선도 옵티마이저는 후원 목록 갱신 서버(740)로부터 최근에 후원 목록 데이터베이스에 추가된 검색 용어 목록을 요청할 수 있다. 신선도 옵티마이저는 쿼리 데이터 창고 및/또는 후원 목록 갱신 서버로부터 검색 용어들을 수집하여 후원 목록 서버(710)로 검색 용어 집합을 제공할 수 있으며, 그 후 후원 목록 서버는 쿼리 데이터 창고(720)에 저장될 새로운 검색 결과를 생성하게 된다.
본 발명의 다양한 실시예들이 기술되었으나, 본 발명의 범주 내에서 보다 많은 실시예 및 구현들이 가능하다는 것은 당업자에게 명백하다. 따라서, 본 발명은 첨부된 클레임 및 그와 동등한 범위의 내용을 제외하고 한정될 수 없다.

Claims (29)

  1. 컴퓨터 네트워크를 이용하는 검색자로부터의 검색 요청에 대응하여 검색 결과 목록을 생성하는 방법으로서,
    후원된 컨텐트를 가지는 복수의 제1 검색 목록을 포함하는 제1 데이터베이스를 유지하는 단계;
    일반 웹 컨텐트를 포함하는 자료들을 포함하는 제2 데이터베이스를 유지하는 단계;
    상기 검색자로부터 검색 요청을 수신하는 단계;
    상기 제1 데이터베이스로부터 상기 검색 요청과 매치를 이루는 자료들을 포함하는 제1 검색 목록 집합을, 상기 제2 데이터베이스로부터 상기 검색 요청과 매치를 이루는 자료들을 포함하는 제2 검색 목록 집합을 식별하는 단계;
    상기 제1 검색 목록 집합으로부터 각 목록에 대한 신뢰도 점수를 결정하는 단계 - 상기 신뢰도 점수는 상기 제2 검색 목록 집합의 목록들과 비교할 때의 각 목록의 적합성(relevance)에 따라 결정됨 -;
    상기 제1 검색 목록 집합의 식별된 검색 목록들을, 적어도 부분적으로, 각 검색 목록에 대한 상기 신뢰도 점수에 따라 정렬하는 단계;
    상기 제1 검색 목록 집합으로부터 복수의 상위 랭크된(top-ranked) 식별된 검색 목록과 관련된 복수의 강등 용어(demotion term)를 산정하는 단계 - 상기 강등 용어는 비-이상적인 특성을 캡쳐함 - ;
    상기 복수의 강등 용어에 기초해서 상기 복수의 상위 랭크된 식별된 검색 목록 각각의 신뢰도 점수를 업데이트하는 단계; 및
    상기 업데이트된 신뢰도 점수에 따라 상기 제1 검색 목록 집합으로부터 상기 복수의 상위 랭크된 식별된 검색 목록을 재정렬하는 단계를 포함하는, 검색 결과 목록 생성 방법.
  2. 제1항에 있어서,
    각 검색 목록은 하나 이상의 검색 용어와 연관되는, 검색 결과 목록 생성 방 법.
  3. 제2항에 있어서,
    적어도 하나의 검색 목록과 연관된 상기 하나 이상의 검색 용어 중 적어도 하나는, 상기 적어도 하나의 검색 목록과 연관된 제1 주소에 위치한 정보에 기초하여 자동으로 생성되는, 검색 결과 목록 생성 방법.
  4. 제1항에 있어서,
    상기 제1 검색 목록 집합을 식별하는 단계 이전에 쿼리를 수정하는 단계를 더 포함하는, 검색 결과 목록 생성 방법.
  5. 제1항에 있어서,
    상기 제1 검색 목록 집합으로부터의 각 목록은 제1 속성 집합과 연관되고, 상기 제1 속성 집합의 각 속성은 속성 가중치와 연관되며,
    상기 신뢰도 점수는 각 목록에 대한 적어도 하나의 속성에 상기 연관된 속성 가중치를 부여함으로써 결정되는, 검색 결과 목록 생성 방법.
  6. 제5항에 있어서,
    상기 검색자는 지리적 영역과 연관되고,
    상기 신뢰도 점수는 각 목록에 대한 적어도 하나의 속성에 상기 지리적 영역 과 연관된 제2 속성 가중치 집합으로 가중치를 부여함으로써 결정되는, 검색 결과 목록 생성 방법.
  7. 제1항에 있어서,
    상기 식별된 검색 목록 중 적어도 하나는 부정 키워드(negative keyword) 목록에 따라 삭제되는, 검색 결과 목록 생성 방법.
  8. 제1항에 있어서,
    상기 제1 검색 목록 집합으로부터 식별된 검색 목록들은, 상기 제2 검색 목록 집합의 목록과 비교해 각 검색 목록의 연관성과는 다른, 적어도 하나의 특징과 연관되고,
    상기 제1 검색 목록 집합으로부터 식별된 검색 목록들은 상기 적어도 하나의 특징에 따라 더 정렬되는 - 상기 적어도 하나의 특징은 하나 이상의 클릭 수, 클릭수 비율(click-through rate), 변환 비율(conversion rate)을 포함함 - 검색 결과 목록 생성 방법.
  9. 제1항에 있어서,
    상기 신뢰도 점수는 기계-학습(machine-learning) 방법을 이용하여 결정되는, 검색 결과 목록 생성 방법.
  10. 컴퓨터 네트워크를 이용하는 검색자로부터의 검색 요청에 응답해 검색 결과 목록을 생성하는 서버로서,
    데이터 및 명령어들을 저장하는데 이용하기 위한 메모리; 및
    상기 메모리와 통신하며 상기 저장된 명령어들에 기초해 단계들을 실행하는 프로세서
    를 포함하고, 상기 저장된 명령어는,
    후원된 컨텐트를 가지는 복수의 제1 검색 목록을 포함하는 제1 데이터베이스와 통신하는 단계;
    일반 웹 컨텐트를 포함하는 자료를 포함하는 제2 데이터베이스와 통신하는 단계;
    상기 검색자로부터 검색 요청을 수신하는 단계;
    상기 제1 데이터베이스로부터 상기 검색 요청과 매치를 이루는 자료들을 포함하는 제1 검색 목록 집합을, 상기 제2 데이터베이스로부터 상기 검색 요청과 매치를 이루는 자료들을 포함하는 제2 검색 목록 집합을 식별하는 단계;
    상기 제1 검색 목록 집합으로부터 각 목록에 대한 신뢰도 점수를 결정하는 단계 - 상기 신뢰도 점수는 상기 제2 검색 목록 집합의 목록들과 비교할 때 각 목록의 적합성에 따라 결정됨 -; 및
    상기 제1 검색 목록 집합에서 식별된 검색 목록을, 적어도 부분적으로, 각 검색 목록에 대한 상기 신뢰도 점수에 따라 정렬하는 단계를 위한 명령어들을 포함하고,
    상기 제1 검색 목록 집합으로부터 식별된 검색 목록들은, 상기 제2 검색 목록 집합의 목록과 비교해 각 검색 목록의 연관성과는 다른, 적어도 하나의 특징과 연관되고,
    상기 제1 검색 목록 집합으로부터 식별된 검색 목록들은 상기 적어도 하나의 특징에 따라 더 정렬되는 - 상기 적어도 하나의 특징은 하나 이상의 클릭 수, 클릭수 비율, 변환 비율을 포함함 - 서버.
  11. 제10항에 있어서,
    상기 저장된 명령어들은,
    상기 제1 검색 목록 집합을 식별하기 위한 제1 방식으로 상기 검색 요청을 수정하는 동작; 및
    상기 제2 검색 목록 집합을 식별하기 위한 제2 방식으로 상기 검색 요청을 수정하는 동작
    을 위한 명령어들을 더 포함하는, 서버.
  12. 제11항에 있어서,
    상기 제1 검색 목록 집합으로부터의 각 목록은 제1 속성 집합과 연관되고, 상기 제1 속성 집합의 각 속성은 속성 가중치와 연관되며,
    상기 신뢰도 점수는 각 목록에 대한 적어도 하나의 속성에 상기 연관된 속성 가중치를 부여함으로써 결정되는, 서버.
  13. 삭제
  14. 제10항에 있어서,
    상기 저장된 명령어들은,
    상기 제2 검색 목록 집합을 저장하는 단계; 및
    미리 결정된 시간 이후 상기 제2 검색 목록 집합을 자동으로 업데이트하는 단계
    를 위한 명령어들을 더 포함하는, 서버.
  15. 제10항에 있어서,
    상기 제1 데이터베이스는 제1 개체(entity)에 의해 관리되고 상기 제2 데이터베이스는 제2 특정 개체에 의해 관리되는, 서버.
  16. 제10항에 있어서,
    상기 식별된 검색 목록들 중 적어도 하나는 부정 키워드 목록에 따라 삭제되는, 서버.
  17. 삭제
  18. 제10항에 있어서,
    각 검색 목록은 하나 이상의 검색 용어와 연관되는, 서버.
  19. 컴퓨터 네트워크를 이용하는 검색자로부터의 검색 요청에 응답해 검색 결과 목록을 생성하기 위한 단계들을 가능하게 하고 수행하는 프로세서 실행 가능한 코드(processor-executable code)를 포함하는 프로세서 판독 가능한 매체(processor-readable medium)로서, 상기 단계들은,
    후원된 컨텐트를 가지는 복수의 제1 검색 목록을 포함하는 제1 데이터베이스를 유지하는 단계;
    일반 웹 컨텐트를 포함하는 자료를 포함하는 제2 데이터베이스를 유지하는 단계;
    상기 검색자로부터 검색 요청을 수신하는 단계;
    상기 제1 데이터베이스로부터 상기 검색 요청과 매치를 이루는 자료들을 포함하는 제1 검색 목록 집합을, 상기 제2 데이터베이스로부터 상기 검색 요청과 매치를 이루는 자료들을 포함하는 제2 검색 목록 집합을 식별하는 단계;
    상기 제1 검색 목록 집합으로부터 각 목록에 대한 신뢰도 점수를 결정하는 단계 - 상기 신뢰도 점수는 상기 제2 검색 목록 집합의 목록들과 비교할 때 각 목록의 적합성에 따라 결정됨 -; 및
    상기 제1 검색 목록 집합에서 식별된 검색 목록을, 적어도 부분적으로, 각 검색 목록에 대한 상기 신뢰도 점수에 따라 정렬하는 단계를 포함하고,
    상기 제1 검색 목록 집합으로부터 식별된 검색 목록들은, 상기 제2 검색 목록 집합의 목록과 비교해 각 검색 목록의 연관성과는 다른, 적어도 하나의 특징과 연관되고,
    상기 제1 검색 목록 집합으로부터 식별된 검색 목록들은 상기 적어도 하나의 특징에 따라 더 정렬되는 - 상기 적어도 하나의 특징은 하나 이상의 클릭 수, 클릭수 비율, 변환 비율을 포함함 - 프로세서 판독 가능한 매체.
  20. 제19항에 있어서,
    상기 식별된 검색 목록들은 상표 키워드(trademark keyword)의 목록에 따라 더 정렬되는, 프로세서 판독 가능한 매체.
  21. 삭제
  22. 제19항에 있어서,
    상기 적어도 하나의 특징은, 매치가 제목에서 일어났는지의 여부, 매치가 초록에서 일어났는지의 여부, 매치가 URL에서 일어났는지의 여부, 매치가 표시 호스트에서 일어났는지의 여부, 매치가 입찰된 키구문(keyphrase)에서 일어났는지의 여부, 매치가 알고리즘으로 생성된 키워드에서 일어났는지의 여부 및 매치가 알고리즘으로 생성된 요약에서 일어났는지의 여부로 이루어진 그룹에서 선택되는, 프로세서 판독 가능한 매체.
  23. 제19항에 있어서,
    각 검색 목록은 하나 이상의 검색 용어와 연관될 수 있는, 프로세서 판독 가능한 매체.
  24. 제1항에 있어서,
    상기 신뢰도 점수에 기초해 검색 결과 페이지의 위치상에서 상기 검색 목록의 배치를 최적화하는 단계 - 상기 위치는 상기 검색 결과 페이지의 상단, 측면, 또는 하단을 포함함 - 를 더 포함하는, 검색 결과 목록 생성 방법.
  25. 제8항에 있어서,
    상기 적어도 하나의 특징은, (i) 상기 식별된 검색 목록과 상기 제2 검색 목록 집합의 조합으로부터의, 정렬된 상위 검색 목록 집합 가운데의 순위; 및 (ⅱ) 상기 검색 요청이 표시 호스트, 입찰된 키구문, 알고리즘으로 생성된 키워드 또는 요약, 및 상기 표시 호스트, 상기 입찰된 키구문, 및 상기 알고리즘으로 생성된 키워드 또는 요약의 조합 중 적어도 하나에 존재하는지의 여부 중 어느 것을 더 포함하는, 검색 결과 목록 생성 방법.
  26. 제11항에 있어서,
    상기 제1 방식은, 다른 검색 제공자에 대해, 상기 검색 요청의 쿼리 용어에 다른 가중치를 부여하는 단계를 포함하는 서버.
  27. 제10항에 있어서,
    상기 적어도 하나의 특징은, (i) 상기 식별된 검색 목록과 상기 제2 검색 목록 집합의 조합으로부터의, 정렬된 상위 검색 목록 집합 가운데의 순위; 및 (ⅱ) 상기 검색 요청이 표시 호스트, 입찰된 키구문, 알고리즘으로 생성된 키워드 또는 요약, 및 상기 표시 호스트, 상기 입찰된 키구문, 및 상기 알고리즘으로 생성된 키워드 또는 요약의 조합 중 적어도 하나에 존재하는지의 여부 중 어느 것을 더 포함하는, 서버.
  28. 제1항에 있어서,
    상기 강등 용어는, 문서 섹션, 상기 목록이 편집상 검토되었는지의 여부, 및 정렬 거리(order distance)에 대해 계산된 강등 행렬로 이루어진 그룹으로부터 선택되는, 검색 결과 목록 생성 방법.
  29. 제28항에 있어서, 상기 문서 섹션은 하나 이상의 제목, 초록, 입찰된 용어, 및 주제의 목록을 포함하는, 검색 결과 목록 생성 방법.
KR1020077018836A 2005-01-18 2006-01-18 웹 검색 기술 및 웹 컨텐트와 결합된 후원 검색 목록의매칭 및 랭킹 KR100932318B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US64505405P 2005-01-18 2005-01-18
US60/645,054 2005-01-18
PCT/US2006/001857 WO2006078794A2 (en) 2005-01-18 2006-01-18 Matching and ranking of sponsored search listings incorporating web search technology and web content

Publications (2)

Publication Number Publication Date
KR20070092763A KR20070092763A (ko) 2007-09-13
KR100932318B1 true KR100932318B1 (ko) 2009-12-16

Family

ID=36692861

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077018836A KR100932318B1 (ko) 2005-01-18 2006-01-18 웹 검색 기술 및 웹 컨텐트와 결합된 후원 검색 목록의매칭 및 랭킹

Country Status (6)

Country Link
US (2) US7698331B2 (ko)
EP (1) EP1839124A4 (ko)
JP (1) JP4977624B2 (ko)
KR (1) KR100932318B1 (ko)
CN (1) CN101601032A (ko)
WO (1) WO2006078794A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018156011A1 (en) * 2017-02-24 2018-08-30 Mimos Berhad System and method for providing customised content items

Families Citing this family (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7617197B2 (en) * 2005-08-19 2009-11-10 Google Inc. Combined title prefix and full-word content searching
US7536382B2 (en) * 2004-03-31 2009-05-19 Google Inc. Query rewriting with entity detection
US7606793B2 (en) 2004-09-27 2009-10-20 Microsoft Corporation System and method for scoping searches using index keys
US7827181B2 (en) 2004-09-30 2010-11-02 Microsoft Corporation Click distance determination
US7739277B2 (en) * 2004-09-30 2010-06-15 Microsoft Corporation System and method for incorporating anchor text into ranking search results
US7761448B2 (en) 2004-09-30 2010-07-20 Microsoft Corporation System and method for ranking search results using click distance
US20110208732A1 (en) * 2010-02-24 2011-08-25 Apple Inc. Systems and methods for organizing data items
US7979457B1 (en) 2005-03-02 2011-07-12 Kayak Software Corporation Efficient search of supplier servers based on stored search results
US7792833B2 (en) * 2005-03-03 2010-09-07 Microsoft Corporation Ranking search results using language types
US7685191B1 (en) 2005-06-16 2010-03-23 Enquisite, Inc. Selection of advertisements to present on a web page or other destination based on search activities of users who selected the destination
WO2007002820A2 (en) * 2005-06-28 2007-01-04 Yahoo! Inc. Search engine with augmented relevance ranking by community participation
US20070027750A1 (en) * 2005-07-28 2007-02-01 Bridgewell Inc. Webpage advertisement mechanism
US7725464B2 (en) * 2005-09-27 2010-05-25 Looksmart, Ltd. Collection and delivery of internet ads
US20070250501A1 (en) * 2005-09-27 2007-10-25 Grubb Michael L Search result delivery engine
US20070244868A1 (en) * 2005-10-31 2007-10-18 Grubb Michael L Internet book marking and search results delivery
US7783632B2 (en) * 2005-11-03 2010-08-24 Microsoft Corporation Using popularity data for ranking
US20070260520A1 (en) * 2006-01-18 2007-11-08 Teracent Corporation System, method and computer program product for selecting internet-based advertising
US20070239659A1 (en) * 2006-03-30 2007-10-11 Oracle International Corporation Query generator
US7814112B2 (en) 2006-06-09 2010-10-12 Ebay Inc. Determining relevancy and desirability of terms
US7657626B1 (en) 2006-09-19 2010-02-02 Enquisite, Inc. Click fraud detection
US7752195B1 (en) 2006-08-18 2010-07-06 A9.Com, Inc. Universal query search results
US8484283B2 (en) * 2006-08-18 2013-07-09 Akamai Technologies, Inc. Method and system for mitigating automated agents operating across a distributed network
US8401921B2 (en) * 2006-09-21 2013-03-19 Alejandro Backer Seller-driven method for a bid set system
US20100293490A1 (en) * 2006-09-26 2010-11-18 Armand Rousso Apparatuses, Methods and Systems For An Information Comparator Comparison Engine
US20080104049A1 (en) * 2006-10-25 2008-05-01 Microsoft Corporation Document ranking utilizing parameter varying data
US8812532B2 (en) * 2007-01-08 2014-08-19 Mazen A. Skaf System and method for tracking and rewarding users
KR100898456B1 (ko) * 2007-01-12 2009-05-21 엔에이치엔(주) 검색 결과를 제공하는 방법 및 상기 방법을 수행하는시스템
WO2008097810A2 (en) * 2007-02-02 2008-08-14 Veoh Networks, Inc. Indicator-based recommendation system
US8060505B2 (en) * 2007-02-13 2011-11-15 International Business Machines Corporation Methodologies and analytics tools for identifying white space opportunities in a given industry
US9449322B2 (en) 2007-02-28 2016-09-20 Ebay Inc. Method and system of suggesting information used with items offered for sale in a network-based marketplace
US7827172B2 (en) * 2007-03-14 2010-11-02 Yahoo! Inc. “Query-log match” relevance features
US8086624B1 (en) 2007-04-17 2011-12-27 Google Inc. Determining proximity to topics of advertisements
US8229942B1 (en) 2007-04-17 2012-07-24 Google Inc. Identifying negative keywords associated with advertisements
US8051040B2 (en) 2007-06-08 2011-11-01 Ebay Inc. Electronic publication system
US8015181B2 (en) * 2007-06-19 2011-09-06 Conduit, Ltd System for providing enhanced search results on the internet
US20090006179A1 (en) * 2007-06-26 2009-01-01 Ebay Inc. Economic optimization for product search relevancy
US7783630B1 (en) * 2007-06-29 2010-08-24 Emc Corporation Tuning of relevancy ranking for federated search
US7783620B1 (en) * 2007-06-29 2010-08-24 Emc Corporation Relevancy scoring using query structure and data structure for federated search
US8200694B1 (en) 2007-07-23 2012-06-12 Google Inc. Identification of implicitly local queries
US9178848B1 (en) 2007-07-23 2015-11-03 Google Inc. Identifying affiliated domains
US20090076927A1 (en) 2007-08-27 2009-03-19 Google Inc. Distinguishing accessories from products for ranking search results
US8639714B2 (en) * 2007-08-29 2014-01-28 Yahoo! Inc. Integrating sponsored media with user-generated content
US8352511B2 (en) * 2007-08-29 2013-01-08 Partnet, Inc. Systems and methods for providing a confidence-based ranking algorithm
US8712758B2 (en) 2007-08-31 2014-04-29 Microsoft Corporation Coreference resolution in an ambiguity-sensitive natural language processing system
WO2009029923A2 (en) * 2007-08-31 2009-03-05 Powerset, Inc. Emphasizing search results according to conceptual meaning
US8280721B2 (en) * 2007-08-31 2012-10-02 Microsoft Corporation Efficiently representing word sense probabilities
US8316036B2 (en) 2007-08-31 2012-11-20 Microsoft Corporation Checkpointing iterators during search
US8346756B2 (en) * 2007-08-31 2013-01-01 Microsoft Corporation Calculating valence of expressions within documents for searching a document index
US8868562B2 (en) * 2007-08-31 2014-10-21 Microsoft Corporation Identification of semantic relationships within reported speech
US8463593B2 (en) * 2007-08-31 2013-06-11 Microsoft Corporation Natural language hypernym weighting for word sense disambiguation
US8229730B2 (en) * 2007-08-31 2012-07-24 Microsoft Corporation Indexing role hierarchies for words in a search index
US8229970B2 (en) * 2007-08-31 2012-07-24 Microsoft Corporation Efficient storage and retrieval of posting lists
US20090070322A1 (en) * 2007-08-31 2009-03-12 Powerset, Inc. Browsing knowledge on the basis of semantic relations
US8639708B2 (en) * 2007-08-31 2014-01-28 Microsoft Corporation Fact-based indexing for natural language search
US20090100051A1 (en) * 2007-10-10 2009-04-16 Yahoo! Inc. Differentiated treatment of sponsored search results based on search context
US9348912B2 (en) 2007-10-18 2016-05-24 Microsoft Technology Licensing, Llc Document length as a static relevance feature for ranking search results
US20090106221A1 (en) * 2007-10-18 2009-04-23 Microsoft Corporation Ranking and Providing Search Results Based In Part On A Number Of Click-Through Features
US7840569B2 (en) * 2007-10-18 2010-11-23 Microsoft Corporation Enterprise relevancy ranking using a neural network
US8051076B1 (en) 2007-12-13 2011-11-01 Google Inc. Demotion of repetitive search results
US7814108B2 (en) * 2007-12-21 2010-10-12 Microsoft Corporation Search engine platform
US20090164268A1 (en) * 2007-12-21 2009-06-25 Hogan Christopher L System and method for advertiser response assessment
KR100903499B1 (ko) * 2007-12-27 2009-06-18 엔에이치엔비즈니스플랫폼 주식회사 검색 의도 분류에 따른 광고 제공 방법 및 상기 방법을수행하기 위한 시스템
US20090210391A1 (en) * 2008-02-14 2009-08-20 Hall Stephen G Method and system for automated search for, and retrieval and distribution of, information
US20090216710A1 (en) * 2008-02-27 2009-08-27 Yahoo! Inc. Optimizing query rewrites for keyword-based advertising
KR101188939B1 (ko) 2008-03-12 2012-10-08 엔에이치엔(주) 검색 결과를 제공하는 방법 및 상기 방법을 수행하는시스템
US20090248627A1 (en) * 2008-03-27 2009-10-01 Yahoo! Inc. System and method for query substitution for sponsored search
US8061142B2 (en) * 2008-04-11 2011-11-22 General Electric Company Mixer for a combustor
US8812493B2 (en) 2008-04-11 2014-08-19 Microsoft Corporation Search results ranking using editing distance and document information
US20090292674A1 (en) * 2008-05-22 2009-11-26 Yahoo! Inc. Parameterized search context interface
AU2009257386A1 (en) * 2008-06-14 2009-12-17 Veoh Networks, Inc. Searching using patterns of usage
US9323832B2 (en) * 2008-06-18 2016-04-26 Ebay Inc. Determining desirability value using sale format of item listing
US20090327278A1 (en) * 2008-06-26 2009-12-31 Baran-Sneh Alex System and method for ranking web content
US8788490B1 (en) 2008-06-27 2014-07-22 Google Inc. Link based locale identification for domains and domain content
US9183323B1 (en) 2008-06-27 2015-11-10 Google Inc. Suggesting alternative query phrases in query results
US20100010895A1 (en) * 2008-07-08 2010-01-14 Yahoo! Inc. Prediction of a degree of relevance between query rewrites and a search query
US8364529B1 (en) 2008-09-05 2013-01-29 Gere Dev. Applications, LLC Search engine optimization performance valuation
US20100082542A1 (en) * 2008-09-30 2010-04-01 Yahoo! Inc. Comparison of online advertising data consistency
US8095545B2 (en) * 2008-10-14 2012-01-10 Yahoo! Inc. System and methodology for a multi-site search engine
US8316037B1 (en) * 2009-01-30 2012-11-20 Google Inc. Providing remedial search operation based on analysis of user interaction with search results
US20100235343A1 (en) * 2009-03-13 2010-09-16 Microsoft Corporation Predicting Interestingness of Questions in Community Question Answering
US20100235311A1 (en) * 2009-03-13 2010-09-16 Microsoft Corporation Question and answer search
CN101887436B (zh) 2009-05-12 2013-08-21 阿里巴巴集团控股有限公司 一种检索方法和装置
US8577909B1 (en) 2009-05-15 2013-11-05 Google Inc. Query translation using bilingual search refinements
US8572109B1 (en) 2009-05-15 2013-10-29 Google Inc. Query translation quality confidence
US8577910B1 (en) 2009-05-15 2013-11-05 Google Inc. Selecting relevant languages for query translation
US8538957B1 (en) * 2009-06-03 2013-09-17 Google Inc. Validating translations using visual similarity between visual media search results
CN101930438B (zh) * 2009-06-19 2016-08-31 阿里巴巴集团控股有限公司 一种搜索结果生成方法及信息搜索***
US8918365B2 (en) 2009-06-19 2014-12-23 Blekko, Inc. Dedicating disks to reading or writing
US20100324993A1 (en) * 2009-06-19 2010-12-23 Google Inc. Promotional content presentation based on search query
EP2665003A1 (en) 2009-06-19 2013-11-20 Blekko, Inc. Search term based query method with modifiers expressed as slash operators
US8600993B1 (en) * 2009-08-26 2013-12-03 Google Inc. Determining resource attributes from site address attributes
US20110072045A1 (en) * 2009-09-23 2011-03-24 Yahoo! Inc. Creating Vertical Search Engines for Individual Search Queries
US9305089B2 (en) * 2009-12-08 2016-04-05 At&T Intellectual Property I, L.P. Search engine device and methods thereof
US8903812B1 (en) 2010-01-07 2014-12-02 Google Inc. Query independent quality signals
US8849785B1 (en) * 2010-01-15 2014-09-30 Google Inc. Search query reformulation using result term occurrence count
EP2533163A4 (en) 2010-02-04 2015-04-15 Ebay Inc VISUALIZATION OF LISTS BASED ON LIST ACTIVITY
US9953083B2 (en) * 2010-02-16 2018-04-24 Excalibur Ip, Llc System and method for determining an authority rank for real time searching
US10204163B2 (en) * 2010-04-19 2019-02-12 Microsoft Technology Licensing, Llc Active prediction of diverse search intent based upon user browsing behavior
US9317613B2 (en) * 2010-04-21 2016-04-19 Yahoo! Inc. Large scale entity-specific resource classification
US8732177B1 (en) * 2010-04-26 2014-05-20 Jpmorgan Chase Bank, N.A. Ranking online listings
US9064266B2 (en) * 2010-05-13 2015-06-23 Adthena Ltd Method and system for compiling competitive advertiser and keyword information for search engine advertisers
US20110288927A1 (en) * 2010-05-19 2011-11-24 Microsoft Corporation Estimating a discounted cumulative gain
US8738635B2 (en) 2010-06-01 2014-05-27 Microsoft Corporation Detection of junk in search result ranking
US8650084B2 (en) 2010-06-18 2014-02-11 Microsoft Corporation Tool for analysis of advertising auctions
US20120010994A1 (en) * 2010-07-08 2012-01-12 American Express Travel Related Services Company, Inc. Systems and methods for transaction account offerings
US9020922B2 (en) * 2010-08-10 2015-04-28 Brightedge Technologies, Inc. Search engine optimization at scale
EP2606421A4 (en) 2010-08-20 2014-03-05 Carl Mandel SORTING AND PRESENTATION OF FORUM DATA
US8504567B2 (en) 2010-08-23 2013-08-06 Yahoo! Inc. Automatically constructing titles
CN102411584B (zh) * 2010-09-25 2014-09-17 ***通信集团公司 一种数据搜索方法及***
US9098569B1 (en) * 2010-12-10 2015-08-04 Amazon Technologies, Inc. Generating suggested search queries
US20120158712A1 (en) * 2010-12-16 2012-06-21 Sushrut Karanjkar Inferring Geographic Locations for Entities Appearing in Search Queries
US8706725B2 (en) * 2011-03-14 2014-04-22 Microsoft Corporation Ranking contextual signals for search personalization
US20150254342A1 (en) * 2011-05-30 2015-09-10 Lei Yu Video dna (vdna) method and system for multi-dimensional content matching
CN105975632B (zh) * 2011-06-24 2019-11-19 阿里巴巴集团控股有限公司 一种搜索方法、关系建立方法及相关设备
WO2013003500A1 (en) * 2011-06-28 2013-01-03 Redbox Automated Retail, Llc System and method for searching and browsing for directly and indirectly matching media content
US20130117105A1 (en) * 2011-09-30 2013-05-09 Matthew G. Dyor Analyzing and distributing browsing futures in a gesture based user interface
US8751591B2 (en) 2011-09-30 2014-06-10 Blackberry Limited Systems and methods of adjusting contact importance for a computing device
US10438246B1 (en) 2011-11-21 2019-10-08 Rightquestion, Llc Advertising model
US9495462B2 (en) 2012-01-27 2016-11-15 Microsoft Technology Licensing, Llc Re-ranking search results
CN103309864B (zh) * 2012-03-07 2018-10-19 深圳市世纪光速信息技术有限公司 一种搜索结果显示方法、装置及***
US9922120B2 (en) 2012-08-24 2018-03-20 Microsoft Technology Licensing, Llc Online learning of click-through rates on federated search results
CN103678362A (zh) * 2012-09-13 2014-03-26 深圳市世纪光速信息技术有限公司 搜索方法及***
US10242373B1 (en) 2012-10-04 2019-03-26 Groupon, Inc. Method, apparatus, and computer program product for setting a benchmark conversion rate
US9330357B1 (en) 2012-10-04 2016-05-03 Groupon, Inc. Method, apparatus, and computer program product for determining a provider return rate
US10915843B1 (en) 2012-10-04 2021-02-09 Groupon, Inc. Method, apparatus, and computer program product for identification of supply sources
US10032180B1 (en) 2012-10-04 2018-07-24 Groupon, Inc. Method, apparatus, and computer program product for forecasting demand using real time demand
US9947024B1 (en) 2012-10-04 2018-04-17 Groupon, Inc. Method, apparatus, and computer program product for classifying user search data
US10817887B2 (en) 2012-10-04 2020-10-27 Groupon, Inc. Method, apparatus, and computer program product for setting a benchmark conversion rate
US9940635B1 (en) 2012-10-04 2018-04-10 Groupon, Inc. Method, apparatus, and computer program product for calculating a supply based on travel propensity
US10108974B1 (en) 2012-10-04 2018-10-23 Groupon, Inc. Method, apparatus, and computer program product for providing a dashboard
US9152680B1 (en) * 2013-02-08 2015-10-06 Educationdynamics Llc Systems and methods for providing leads and appointments
US9536259B2 (en) * 2013-03-05 2017-01-03 Google Inc. Entity-based searching with content selection
US20150019287A1 (en) 2013-03-14 2015-01-15 Groupon, Inc. Method, apparatus, and computer program product for providing mobile location based sales lead identification
US10176500B1 (en) * 2013-05-29 2019-01-08 A9.Com, Inc. Content classification based on data recognition
US20150006414A1 (en) * 2013-07-01 2015-01-01 Gozaik Llc Social network for employment search
US9779074B2 (en) * 2013-12-20 2017-10-03 International Business Machines Corporation Relevancy of communications about unstructured information
US20150302467A1 (en) * 2014-04-22 2015-10-22 Taptica Ltd System and method for real time selection of an optimal offer out of several competitive offers based on context
CN105095625B (zh) * 2014-05-14 2018-12-25 阿里巴巴集团控股有限公司 点击率预估模型建立方法、装置及信息提供方法、***
US9916328B1 (en) 2014-07-11 2018-03-13 Google Llc Providing user assistance from interaction understanding
US11282012B1 (en) 2014-08-04 2022-03-22 Educationdynamics, Llc Graphical user interface including configurable electronic cards
US9965559B2 (en) * 2014-08-21 2018-05-08 Google Llc Providing automatic actions for mobile onscreen content
CN104598611B (zh) * 2015-01-29 2018-03-23 百度在线网络技术（北京）有限公司 对搜索条目进行排序的方法及***
US10489463B2 (en) * 2015-02-12 2019-11-26 Microsoft Technology Licensing, Llc Finding documents describing solutions to computing issues
US10229219B2 (en) * 2015-05-01 2019-03-12 Facebook, Inc. Systems and methods for demotion of content items in a feed
US9443025B1 (en) * 2015-07-07 2016-09-13 Yext, Inc. Suppressing duplicate listings on multiple search engine web sites from a single source system given a known synchronized listing
US9298836B1 (en) * 2015-07-07 2016-03-29 Yext, Inc. Suppressing duplicate listings on multiple search engine web sites from a single source system given a synchronized listing is unknown
US10762156B2 (en) 2015-07-07 2020-09-01 Yext, Inc. Suppressing duplicate listings on multiple search engine web sites from a single source system triggered by a user
CN105516319B (zh) * 2015-12-15 2019-02-19 华为技术有限公司 管理http报文的方法和装置
RU2632148C2 (ru) 2015-12-28 2017-10-02 Общество С Ограниченной Ответственностью "Яндекс" Система и способ ранжирования результатов поиска
US10650475B2 (en) * 2016-05-20 2020-05-12 HomeAway.com, Inc. Hierarchical panel presentation responsive to incremental search interface
US10535005B1 (en) 2016-10-26 2020-01-14 Google Llc Providing contextual actions for mobile onscreen content
GB2559314A (en) 2016-11-15 2018-08-08 Olx Bv Data retrieval system
US11328005B2 (en) 2018-10-05 2022-05-10 Accenture Global Solutions Limited Machine learning (ML) based expansion of a data set
CN110647998B (zh) * 2019-08-12 2022-11-25 北京百度网讯科技有限公司 自动机器学习实现方法、***、设备及存储介质
US11681720B2 (en) * 2019-12-11 2023-06-20 Target Brands, Inc. Database searching while maintaining data security
US11302327B2 (en) * 2020-06-22 2022-04-12 Bank Of America Corporation Priori knowledge, canonical data forms, and preliminary entrentropy reduction for IVR

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269361B1 (en) 1999-05-28 2001-07-31 Goto.Com System and method for influencing a position on a search result list generated by a computer network search engine
KR100311355B1 (ko) * 1999-04-07 2001-11-02 맹성현 링크 타입의 구분에 따른 링크 정보를 이용한 정보 검색 방법
US20020169764A1 (en) 2001-05-09 2002-11-14 Robert Kincaid Domain specific knowledge-based metasearch system and methods of using

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4972349A (en) * 1986-12-04 1990-11-20 Kleinberger Paul J Information retrieval system and method
US7110993B2 (en) 1999-05-28 2006-09-19 Overture Services, Inc. System and method for influencing a position on a search result list generated by a computer network search engine
US6622140B1 (en) * 2000-11-15 2003-09-16 Justsystem Corporation Method and apparatus for analyzing affect and emotion in text
US7778872B2 (en) * 2001-09-06 2010-08-17 Google, Inc. Methods and apparatus for ordering advertisements based on performance information and price information
US8352499B2 (en) 2003-06-02 2013-01-08 Google Inc. Serving advertisements using user request information and user information
US7136875B2 (en) 2002-09-24 2006-11-14 Google, Inc. Serving advertisements based on content
WO2004051418A2 (en) * 2002-11-27 2004-06-17 Findwhat.Com System and method for pay for performance advertising having biddable advertising units utilizing rotating routing to advertiser websites
US7197497B2 (en) * 2003-04-25 2007-03-27 Overture Services, Inc. Method and apparatus for machine learning a document relevance function
US7257570B2 (en) * 2003-11-13 2007-08-14 Yahoo! Inc. Geographical location extraction
US20060155751A1 (en) * 2004-06-23 2006-07-13 Frank Geshwind System and method for document analysis, processing and information extraction
ITMI20050933A1 (it) * 2005-05-23 2006-11-24 Filippi Giotto De Sistema di auto-segmentazione ed auto-allocazione per massiminizzare il ricavato della pubblicita' a pagamento per i motori di ricerca in internet

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100311355B1 (ko) * 1999-04-07 2001-11-02 맹성현 링크 타입의 구분에 따른 링크 정보를 이용한 정보 검색 방법
US6269361B1 (en) 1999-05-28 2001-07-31 Goto.Com System and method for influencing a position on a search result list generated by a computer network search engine
US20020169764A1 (en) 2001-05-09 2002-11-14 Robert Kincaid Domain specific knowledge-based metasearch system and methods of using

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018156011A1 (en) * 2017-02-24 2018-08-30 Mimos Berhad System and method for providing customised content items

Also Published As

Publication number Publication date
CN101601032A (zh) 2009-12-09
JP4977624B2 (ja) 2012-07-18
US20100174710A1 (en) 2010-07-08
US20060161534A1 (en) 2006-07-20
WO2006078794A3 (en) 2009-04-16
US7698331B2 (en) 2010-04-13
EP1839124A4 (en) 2009-12-30
EP1839124A2 (en) 2007-10-03
JP2008533553A (ja) 2008-08-21
KR20070092763A (ko) 2007-09-13
WO2006078794A2 (en) 2006-07-27

Similar Documents

Publication Publication Date Title
KR100932318B1 (ko) 웹 검색 기술 및 웹 컨텐트와 결합된 후원 검색 목록의매칭 및 랭킹
US8060520B2 (en) Optimization of targeted advertisements based on user profile information
CA2530400C (en) Serving advertisements using a search of advertiser web information
US8015065B2 (en) Systems and methods for assigning monetary values to search terms
JP3860036B2 (ja) データベース・サーチ・システム中の関連サーチを識別する装置及び方法
US7831474B2 (en) System and method for associating an unvalued search term with a valued search term
AU2004260464B2 (en) Improving content-targeted advertising using collected user behavior data
CA2540805C (en) Automatically targeting web-based advertisements
US7668808B2 (en) System for modifying queries before presentation to a sponsored search generator or other matching system where modifications improve coverage without a corresponding reduction in relevance
US20100030647A1 (en) Advertisement selection for internet search and content pages
US20070214118A1 (en) Delivery of internet ads
US20050065774A1 (en) Method of self enhancement of search results through analysis of system logs
WO2005119423A2 (en) System and method for automated mapping of items to documents
US8832097B2 (en) Vertical search expansion, disambiguation, and optimization of search queries

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121119

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131119

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141120

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161122

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171117

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20181115

Year of fee payment: 10