KR20070020256A - 컨텐츠 아이템 시그내처 매칭을 위한 방법 및 장치 - Google Patents

컨텐츠 아이템 시그내처 매칭을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20070020256A
KR20070020256A KR1020067024837A KR20067024837A KR20070020256A KR 20070020256 A KR20070020256 A KR 20070020256A KR 1020067024837 A KR1020067024837 A KR 1020067024837A KR 20067024837 A KR20067024837 A KR 20067024837A KR 20070020256 A KR20070020256 A KR 20070020256A
Authority
KR
South Korea
Prior art keywords
matchability
indication
content item
signature
content
Prior art date
Application number
KR1020067024837A
Other languages
English (en)
Inventor
조브 체. 오스트빈
마우로 바르비에리
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20070020256A publication Critical patent/KR20070020256A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627—Rights management associated to the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

컨텐츠 아이템 시그내처 매칭을 위한 장치는 복수의 컨텐츠 아이템에 대한 시그내처를 갖는 데이터베이스(103)를 포함한다. 가능성 프로세서(105)는, 매치 가능성 표시가 컨텐츠 아이템과 알려지지 않은 시그내처 사이의 매치 가능성을 나타내는, 컨텐츠 아이템에 대한 매치 가능성 표시를 결정한다. 인터페이스(111)는 컨텐츠 아이템과 연관된 질의 시그내처를 수신하고, 이에 응답하여 검색 프로세서(113)는 질의 시그내처에 대한 매칭 시그내처에 대해 데이터베이스(103)를 검색한다. 검색 프로세서(113)는 복수의 컨텐츠 아이템의 매치 가능성 표시에 응답하여 데이터베이스를 검색하도록 동작가능하다. 특히 데이터베이스(103)는 감소하는 매치 확률의 순서로 배열될 수 있고, 검색 프로세서(113)는 이러한 순서로 데이터베이스를 검색할 수 있다. 따라서, 초기 매치의 확률은 증가하고, 평균 검색 시간은 감소한다.

Description

컨텐츠 아이템 시그내처 매칭을 위한 방법 및 장치{METHOD AND APPARATUS FOR CONTENT ITEM SIGNATURE MATCHING}
본 발명은 컨텐츠 아이템 시그내처 매칭을 위한 방법 및 장치에 관한 것으로, 더 구체적으로 배타적이지 않게 데이터베이스에서 매칭 핑거프린트를 찾는 것에 관한 것이다.
저작권 자료의 불법 배포는 이러한 자료를 위한 적법한 로열티를 저작권 소유자에게 주지 않고, 계속된 불법 배포를 조장하는 이득을 이러한 불법 배포된 자료의 공급자에게 제공할 수 있다. 예를 들어 인터넷에 의해 제공된 전송의 쉬움으로 인해, 예술적 렌더링(artistic renderings) 또는 제한된 배포권을 갖는 다른 자료와 같이 저작권 보호되도록 의도된 컨텐츠 자료는 광범위하게 불법 배포되기 쉽다.
특히, 음악 또는 비디오 아이템과 같은 컨텐츠 아이템은 현재 상당량의 인증받지 못한 배포 및 복사를 유인하고 있다. 이것은 부분적으로 신기술에 의해 제공된 배포 및 복사의 증가하는 실용성 및 실행 가능함으로 인한 것이다. 예를 들어, 압축된 오디오 파일을 저장 및 송신하기 위한 MP3 포맷은 오디오 리코딩의 광범위한 배포를 실행할 수 있게 한다. 예를 들어, 노래의 30 또는 40메가바이트 디지털 PCM(펄스 코드 변조) 오디오 리코딩인 노래는 3 또는 4메가바이트의 MP3 파일로 압축될 수 있다. 광대역 인터넷 연결의 도입은 MPEG 비디오와 같은 심지어 더 큰 파일의 다운로드를 촉진시킨다. MP3 인코딩된 노래의 불법 복사는 소프트웨어 또는 하드웨어에 의해 후속적으로 렌더링될 수 있거나, 종래의 CD 플레이어 상의 재생을 위해 리코딩가능한 CD 상에 압축 해제되어 저장될 수 있다.
복사 방지 컨텐츠 자료의 재현을 한정하고 추적하기 위한 다수의 기술이 제안되었다. 디지털 음악 보호 협회(SDMI: Secure Digital Music Initiative) 및 다른 것은 인증받지 못한 복사를 방지하기 위해 "디지털 워터마크"의 이용을 주장한다.
디지털 워터마크는 전술한 시나리오에 따라 복사 방지에 사용될 수 있다. 그러나, 디지털 워터마크의 이용은 복사 예방에 한정되지 않고, 소위 포렌직 추적(forensic tracking)에 사용될 수 있으며, 여기서 워터마크는 예를 들어 전자 컨텐츠 전달 시스템을 통해 배포된 파일에 내장되고, 예를 들어 인터넷 상의 불법 복사된 컨텐츠를 추적하는데 사용된다. 워터마크는 더욱이 방송국(예를 들어, 광고)을 감시하거나, 또는 인증 목적 등을 위해 사용될 수 있다.
컨텐츠 아이템의 검출 및 인식에 적합한 다른 기술은 핑거프린트(fingerprint) 기술로서 알려져 있다. 워터마킹에 비해, 컨텐츠 신호는 특정 워터마크 패턴의 도입에 의해 변형되지 않고, 오히려 컨텐츠 아이템에 대한 실질적으로 고유한 특징이 결정되고, 식별을 위해 사용된다.
일례로, 다수의 컨텐츠 아이템에 관련된 데이터는 데이터베이스에 저장될 수 있고, 핑거프린트 기술은 주어진 알려지지 않은 컨텐츠 아이템에 매칭하는 컨텐츠 아이템을 찾는데 사용될 수 있다. 이러한 접근법은 일반적으로 다음 단계를 포함한다:
1. 알려진 컨텐츠 아이템의 핑거프린트(일반적으로 짧은 디지털 표현)는 컨텐츠 아이템에 기초하여 계산되고, 연관된 메타데이터와 함께 데이터베이스에 저장된다. 메타데이터는 예를 들어 컨텐츠의 식별 정보에 대응할 수 있다.
2. 질의(query)(일반적으로 알려지지 않은 컨텐츠 아이템)의 수신시, 핑거프린트는 계산되고 저장된 핑거프린트와 비교된다.
3. 알려지지 않은 컨텐츠의 핑거프린트가 데이터베이스에서 핑거프린트 중 하나에 충분히 근접하게 매칭하면, 메타데이터는 질의에 응답하여 복귀된다. 특히, 상기 방법은 컨텐츠 아이템의 식별정보를 복귀할 수 있다.
컨텐츠 아이템의 식별정보는 컨텐츠 아이템 추적 및 권리 관리 및 단속을 포함하는 많은 응용에 유용할 수 있다.
많은 응용에 대해, 데이터베이스는 몇몇 알려지지 않은 컨텐츠를 식별하기 위해 클라이언트(분산된 감시국, 셀-폰, 개인용 컴퓨터 등과 같은)가 통신하는 큰 중앙 서버일 것이다. 그러나, 몇몇 응용은 중앙 데이터베이스를 갖지 않는다. 예를 들어, 하드-디스크 비디오 리코더는 국부적으로 자신이 저장한 모든 자료의 핑거프린트를 갖는 데이터베이스를 구비할 것이다. 이것은 복제 리코딩을 방지하기 위해 핑거프린트 기술을 이용할 것이다.
핑거프린팅에 대한 중요한 문제는, 최상의 매치가 데이터베이스에서 발견될 필요가 있다는 것이다. 일반적으로, 이것은 어려운 문제인데, 이는 질의 컨텐츠 아이템이 저장된 핑거프린트의 컨텐츠 아이템과 정확히 동일하지 않기 때문이다. 예를 들어, 압축 및 잡음은, 질의 핑거프린트가 매칭 컨텐츠 아이템에 대한 저장된 핑거프린트와 동일하지 않게 되는 차이를 초래할 것이다. 따라서, 매치는 일반적으로, 질의 핑거프린트와 저장된 핑거프린트 사이의 거리 측정치가 주어진 값보다 작은 경우 발생하도록 결정된다. 그 거리 측정치는 비교적 결정하기 복잡할 수 있어서, 프로세스의 신뢰성 및 정확도는 사용된 거리 측정치의 특징에 밀접하게 좌우된다.
더욱이, 데이터베이스는 매우 클 수 있다. 예를 들어, 미국에 있는 라디오 채널 중 하나에서 정기적으로 플레이되는 모든 노래의 데이터베이스는 약 백만 개의 노래의 핑거프린트를 포함한다. 그러므로, 매칭 프로세스의 복잡도 및 지속기간은 최소화되어야 하는 것이 바람직하고, 증가하는 데이터베이스 크기가 증가함에 따라 크게 증가하지 않아야 한다.
핑거프린트에 대한 크기 조정된(scalable) 데이터베이스 구조의 일례는 PCT 특허 공보 WO 02/065782에 주어진다. 여기서, 검색의 계산상(scalable) 복잡도는 증가하는 메모리 요건과 교환하여 감소한다. 더 엄밀히, 후보 매칭 위치의 빠른 액세스 결정을 허용하기 위해 인덱스가 추가된다. 검색 속도 및 복잡도의 효과적인 크기 조정이 달성되지만, 필요한 메모리 비용은 중앙 데이터베이스를 이용하지 않는 응용에서와 같이 많은 응용에서 불리하거나 용인할 수 없다.
대부분의 핑거프린트 또는 워터마크 매칭 알고리즘은 간단히 데이터베이스의 시작에서 시작하고, 데이터베이스를 통해 순차적으로 그리고 철저하게 검색한다. 몇몇 기술은 그러한 검색을 용이하게 하거나 가속화하는데 이용될 수 있다. 특히 프루닝(pruning) 기술은 알고리즘을 가속화하는데 사용될 수 있다. 프루닝 기술은, 충분히 가까운 매치를 위해 불가능한 위치로서 데이터베이스의 큰 서브셋을 지정하여, 검색 알고리즘이 이들 위치를 우회하도록 하는데 사용된다. 데이터베이스에서의 다수의 엔트리는 소위 앵커(anchor)라 불린다. 데이터베이스에서의 각 엔트리에 대해, 앵커와의 거리는 사전 계산된다. 질의가 데이터베이스로 전달될 때, 앵커와의 거리는 계산된다. 앵커와 질의 사이의 거리가 충분히 크면, 앵커에 근접한 모든 포인트는 큰 거리를 가지므로, 매치될 수 없다. 따라서, 상기 앵커의 이웃은 검색될 필요가 없고 프루닝될 수 있다.
프루닝이 검색 속도를 증가시키지만, 개선점은 항상 충분하지 않다. 더욱이, 프루닝은 시스템의 비용 및 복잡도를 추가하는데, 이는 모든 앵커 포인트와의 거리가 각 엔트리에 저장될 필요가 있기 때문이다.
따라서, 컨텐츠 아이템 시그내처 매칭을 위한 개선된 시스템이 유리하고, 특히 증가된 융통성, 감소된 복잡도 및/또는 감소된 검색 지속기간을 허용하는 시스템이 유리하다.
따라서, 본 발명은 전술한 하나 이상의 단점을 단독으로 또는 임의의 조합으로 완화시키고, 경감하거나 제거하는 것을 바람직하게 추구한다.
본 발명의 제 1 양상에 따라, 컨텐츠 아이템 시그내처 매칭을 위한 장치가 제공되며, 상기 장치는 복수의 컨텐츠 아이템을 위한 시그내처를 포함하는 데이터베이스와; 복수의 컨텐츠 아이템 각각에 대한 매치 가능성 표시를 결정하는 수단으로서, 상기 각 컨텐츠 아이템의 매치 가능성 표시는 컨텐츠 아이템과 알려지지 않은 시그내처 사이의 매치의 가능성을 나타내는, 매치 가능성 표시 결정 수단과; 컨텐츠 아이템과 연관된 질의 시그내처를 수신하는 수단과; 질의 시그내처에 매칭 시그내처에 대한 데이터베이스를 검색하기 위한 검색 수단을 포함하며; 상기 검색 수단은 복수의 컨텐츠 아이템의 매치 가능성 표시에 응답하여 데이터베이스를 검색하도록 동작가능하다.
본 발명은 데이터베이스에 저장된 시그내처에 대해 발생하는 매치의 가능성을 고려하는 더 융통성있는 컨텐츠 아이템 시그내처 매칭 알고리즘을 허용할 수 있다. 본 발명은 감소된 검색 시간을 허용할 수 있고, 특히 질의 시그내처에 대한 매치가 결정되기 전에 평균 시간을 감소시킬 수 있다. 감소된 복잡도는 달성될 수 있고, 특히 본 발명은 저장될 추가 정보를 필요로 하거나 증가된 메모리 요건을 초래하지 않고도 개선된 검색 속도를 허용할 수 있다.
매치 가능성 표시는 특히 질의 시그내처가 매치 가능성 표시와 연관된 컨텐츠 아이템의 시그내처에 매칭할 확률을 나타낼 수 있다. 바람직하게, 검색 수단은 저장된 시그내처가 적합한 매치가 되는 감소하는 확률의 순서로 데이터베이스를 검색한다.
데이터베이스는 바람직하게 복수의 컨텐츠 아이템의 시그내처를 저장하지만, 컨텐츠 아이템 자체를 추가로 또는 대안적으로 저장할 수 있다. 검색 수단은 각 컨텐츠 아이템에 대해 검색 동안 시그내처를 결정할 수 있지만, 바람직하게 검색 수단은 사전 계산된 저장된 시그내처를 이용한다.
컨텐츠 아이템 시그내처는 특히 컨텐츠 아이템의 워터마크 또는 핑거프린트와 같은 컨텐츠 아이템의 식별에 적합한 특징 또는 파라미터일 수 있다.
수신 수단은 내부 또는 외부 소스로부터 질의 시그내처를 수신할 수 있다.
본 발명의 바람직한 특징에 따라, 상기 장치는 매치 가능성 표시에 응답하여 데이터베이스에서 복수의 컨텐츠 아이템의 시그내처를 배열하는 수단을 더 포함하고, 상기 검색 수단은 복수의 컨텐츠 아이템의 시그내처의 배열에 따라 데이터베이스를 검색하도록 동작가능하다.
특히, 데이터베이스는 감소하는 매치 가능성의 순서로 시그내처를 배열함으로써 순차적으로 배열될 수 있다. 따라서, 검색 수단은 간단히 데이터베이스를 통해 순차적으로 이동함으로써 감소하는 매치 가능성의 순서로 저장된 시그내처를 검색할 수 있다. 데이터베이스는 대안적으로 예를 들어 트리 구조로 배열될 수 있다. 특징은 적합한 구현을 제공할 수 있고, 특히 검색 및 이에 따라 컨텐츠 아이템 시그내처 매칭 동작을 용이하게 할 수 있다.
본 발명의 바람직한 특징에 따라, 매치 가능성 표시를 결정하는 수단은 복수의 컨텐츠 아이템의 적어도 일부의 각 시그내처에 대한 이전 매치 카운트에 응답하여 매치 가능성 표시를 결정하도록 동작가능하다.
예를 들어, 매치 가능성 표시는 저장된 시그내처에 대한 증가하는 수의 이전 매치에 대해 더 높은 가능성을 나타낼 수 있다. 특히, 매치 가능성 표시는 각 컨텐츠 아이템에 대한 매치 카운트에 있으며, 이러한 특성에 응답하여 배열된 검색 동작을 초래한다. 검색 수단은 시그내처에 대한 이전 매치의 수의 순서로 데이터베이스를 검색할 수 있다. 따라서, 많은 이전 질의와 매치된 시그내처는 많은 이전 매치를 초래하지 않는 시그내처 이전에 검색될 수 있다. 특징은 몇몇 실시예에서 개선된 시그내처 매칭 동작을 제공하고, 특히 감소된 검색 시간을 달성하기 위해 검색을 제어하는데 특히 유리하다.
본 발명의 바람직한 특징에 따라, 상기 매치 가능성 표시를 결정하는 수단은 복수의 컨텐츠 아이템의 각 시그내처에 대한 데이터베이스 엔트리 시간에 응답하여 매치 가능성 표시를 결정하도록 동작가능하다.
예를 들어, 매치 가능성 표시는 시그내처의 엔트리 시간 이래로 증가하는 지속기간 동안 감소하는 가능성을 나타낼 수 있다. 엔트리 시간은 특히 시그내처 또는 컨텐츠 아이템이 데이터베이스에 저장(또는 업데이트)되는 시간일 수 있다. 특히, 매치 가능성 표시는 각 컨텐츠 아이템에 대한 엔트리 시간이므로, 이러한 특성에 응답하여 배열된 검색 동작을 초래한다. 검색 수단은 엔트리 시간의 순서로 데이터베이스를 검색할 수 있다. 따라서, 최근에 데이터베이스에 저장된 시그내처는 얼마 전에 저장된 시그내처 이전에 검색될 수 있다. 그 특징은 몇몇 실시예에서 개선된 시그내처 매칭 동작을 제공하고, 특히 감소된 검색 시간을 달성하기 위해 검색을 제어하는데 특히 유리하다.
본 발명의 바람직한 특징에 따라, 매치 가능성 표시를 결정하는 수단은 복수의 컨텐츠 아이템의 각 시그내처에 대해 이전 매치 시간에 응답하여 매치 가능성 표시를 결정하도록 동작가능하다.
예를 들어, 매치 가능성 표시는, 연관된 메타데이터에 좌우되는 가능성을 나타낼 수 있다. 메타데이터는 매치 확률을 나타내는데 사용될 수 있는 컨텐츠 아이템에 대한 정보를 더 나타낼 수 있다. 예를 들어, 컨텐츠 아이템이 음악 컨텐츠 아이템이라는 것을 나타내는 메타데이터에 대한 높은 가능성과, 컨텐츠 아이템이 음성 전용 컨텐츠 아이템이라는 것을 나타내는 메타데이터에 대한 낮은 가능성을 갖는 매치 가능성 표시가 결정될 수 있다. 질의 시그내처가 음악 컨텐츠 아이템에 대한 것인 높은 확률이 있는 음악 시그내처 매치 응용에서, 검색 수단은 저장된 음성 전용 컨텐츠 아이템 이전에 저장된 음악 컨텐츠 아이템을 먼저 검색할 수 있다. 몇몇 실시예에서, 매치 가능성 표시는 질의에 응답하여 해석될 수 있다. 예를 들어, 음성 전용 시그내처가 수신되면, 매치 가능성 표시는 그 대신에 음성 전용 컨텐츠 아이템에 대해 높고, 음악 컨텐츠 아이템에 대해 낮은 것으로 고려될 수 있다.
그 특징은 개선된 시그내처 매칭 동작을 제공하고, 특히 감소된 검색 시간을 달성하기 위해 검색을 제어하는데 유리하다.
본 발명의 바람직한 특징에 따라, 매치를 결정하는 수단은 복수의 컨텐츠 아이템 각각과 연관된 컨텍스트(context) 정보에 응답하여 매치 가능성 표시를 결정하도록 동작가능하다.
예를 들어, 매치 가능성 표시는 컨텐츠 아이템의 컨텍스트 정보에 좌우되는 가능성을 나타낼 수 있다. 컨텍스트 정보는 배포 수단, 소스, 배포 시간, 송신 포맷, 다른 컨텐츠 아이템과의 연관 등과 같은 컨텐츠 아이템과 연관된 외부 특성에 관련될 수 있다.
컨텍스트 정보는 매치 확률을 표시하는데 사용될 수 있는 컨텐츠 아이템에 관련된 추가 정보를 이에 따라 표시할 수 있다. 예를 들어, 컨텐츠 아이템이 TV 방송으로부터 나오는 것인지를 나타내는 컨텍스트 정보에 대해 높은 가능성을 갖고, 컨텐츠 아이템이 비디오 카메라로부터 나오는 것인지를 나타내는 컨텍스트 정보에 대해 낮은 가능성을 갖는 매치 가능성 표시가 결정될 수 있다. 질의 시그내처가 TV 클립을 위한 것인지에 대해 높은 확률이 있는 TV 클립 시그내처 매치 응용에서, 검색 수단은 저장된 비디오 카메라 컨텐츠 아이템 이전에 저장된 TV 컨텐츠 아이템을 먼저 검색할 수 있다. 몇몇 실시예에서, 매치 가능성 표시는 질의에 응답하여 해석될 수 있다.
그 특징은 몇몇 실시예에서 개선된 시그내처 매칭 동작을 제공하고 특히 감소된 검색 시간을 달성하기 위해 검색을 제어하는데 특히 유리하다.
본 발명의 바람직한 특징에 따라, 매치 가능성 표시를 결정하는 수단은 복수의 컨텐츠 아이템 각각과 연관된 컨텐츠 정보에 응답하여 매치 가능성 표시를 결정하도록 동작가능하다.
예를 들어, 매치 가능성 표시는 컨텐츠 아이템의 컨텐츠 정보에 따라 좌우되는 가능성을 나타낼 수 있다. 컨텐츠 정보는 장르, 컬러 채도, 장면 변경 속도 등과 같은 컨텐츠 아이템의 컨텐츠와 연관된 특성에 관련될 수 있다.
컨텐츠 정보는 이에 따라 매치 확률을 나타내는데 사용될 수 있는 컨텐츠 아이템에 관련된 추가 정보를 나타낼 수 있다. 예를 들어, 컨텐츠 아이템이 만화라는 것을 나타내는 컨텐츠 정보에 대해 높은 가능성을 갖고, 컨텐츠 아이템이 축구 경기라는 것을 나타내는 컨텐츠 정보에 대해 낮은 가능성을 갖는 매치 가능성 표시가 결정될 수 있다. 어린이의 컨텐츠 아이템 시그내처 매치 응용에서, 질의 시그내처가 만화에 대한 것에 대해 높은 확률이 있고 이에 따라 검색 수단은 저장된 축구 컨텐츠 아이템 이전에 저장된 만화 컨텐츠 아이템을 먼저 검색할 수 있다. 몇몇 실시예에서, 매치 가능성 표시는 질의에 응답하여 해석될 수 있다.
그 특징은 몇몇 실시예에서 개선된 시그내처 매칭 동작을 제공하고 특히 감소된 검색 시간을 달성하기 위해 검색을 제어하는데 특히 유리하다.
본 발명의 바람직한 특징에 따라, 상기 장치는 컨텐츠 분석에 의해 컨텐츠 정보를 결정하는 수단을 더 포함한다. 이것은 자동 컨텐츠 정보 결정을 허용할 수 있고, 기존의 컨텐츠 아이템과 사용하는데 적합할 수 있다. 이것은 컨텐츠 정보를 결정하는 실용적이고 편리한 방식을 제공한다.
본 발명의 바람직한 특징에 따라, 매치 가능성 표시는 복수의 서브-매치 가능성 표시를 포함하고, 검색 수단은 서브-매치 가능성 표시에 응답하여 데이터베이스를 계층적으로 검색하도록 동작가능하다.
이것은 검색을 용이하게 하고 가속화할 수 있고, 정확한 매치의 증가된 확률을 제공할 수 있다. 매치 가능성 표시는 예를 들어 전술한 몇몇 파라미터 또는 모든 파라미터의 조합의 형태로 서브-매치 가능성 표시를 포함할 수 있다.
본 발명의 바람직한 특징에 따라, 매치 가능성 표시는 복수의 서브-매치 가능성 표시를 포함하고, 검색 수단(113)은 질의 시그내처의 특성에 응답하여 서브-매치 가능성 기준을 선택하도록 동작가능하다.
매치 가능성 표시는 각 컨텐츠 아이템에 대한 복수의 서브-매치 가능성 표시를 포함할 수 있고, 검색 수단은 각 컨텐츠 아이템에 대한 서브-매치 가능성 표시를 선택하도록 동작가능할 수 있다. 이 선택은 예를 들어 질의 시그내처의 특성 또는 이와 연관된 컨텐츠 아이템에 응답할 수 있다. 더욱이, 매치 가능성 표시는 질의 시그내처의 특성 또는 이와 연관된 컨텐츠 아이템에 응답하여 해석될 수 있다. 이것은 검색을 용이하게 하고 가속화할 수 있고, 정확한 증가된 매치 확률을 제공할 수 있다.
바람직하게, 질의 시그내처는 컨텐츠 아이템 핑거프린트이다. 복수의 컨텐츠 아이템의 시그내처가 복수의 컨텐츠 아이템의 핑거프린트인 것이 바람직하다. 본 발명은 이에 따라 질의 핑거프린트에 대한 매칭 핑거프린트를 결정하는 개선된 수단을 제공할 수 있다.
본 발명의 바람직한 특징에 따라, 매칭 시그내처는 매칭 핑거프린트이고, 검색 수단은 미리 결정된 값 아래에 있는 질의 시그내처에 대한 차이 측정치를 갖는 복수의 컨텐츠 아이템의 핑거프린트로서 매칭 핑거프린트를 결정하도록 동작가능하다. 이것은 고속의 신뢰성있는 컨텐츠 아이템 핑거프린트 매칭 성능을 제공하는 특별히 적합한 구현을 제공할 수 있다.
본 발명의 바람직한 특징에 따라, 컨텐츠 아이템은 오디오 영상 컨텐츠 아이템이다. 오디오 영상 컨텐츠 아이템은 특히 오디오 클립 또는 노래, 또는 연관된 오디오가 있거나 없는 비디오 클립과 같은 오디오 컨텐츠 아이템일 수 있다.
본 발명의 바람직한 특징에 따라, 수신 수단은 컨텐츠 아이템을 수신하고, 컨텐츠 아이템에 응답하여 컨텐츠 아이템 시그내처를 결정하는 수단을 포함한다. 이것은 실용적인 구현을 제공한다.
본 발명의 제 2 양상에 따라, 복수의 컨텐츠 아이템에 대한 시그내처를 포함하는 데이터베이스에서 컨텐츠 아이템 시그내처 매칭 방법이 제공되는데, 상기 방법은 복수의 컨텐츠 아이템 각각에 대한 매치 가능성 표시를 결정하는 단계로서, 상기 각 컨텐츠 아이템의 매치 가능성 표시는 컨텐츠 아이템과 알려지지 않은 시그내처 사이의 매치의 가능성을 나타내는, 매치 가능성 표시 결정 단계와; 컨텐츠 아이템과 연관된 질의 시그내처를 수신하는 단계와; 상기 복수의 컨텐츠 아이템의 시그내처의 매치 가능성 표시에 응답하여 질의 시그내처에 매칭 시그내처에 대한 데이터베이스를 검색하는 단계를 포함한다.
본 발명의 이들 및 다른 양상, 특징 및 장점은 이후에 설명될 실시예(들)를 참조하여 명백해지고 설명될 것이다.
본 발명의 실시예는 도면을 참조하여 예로서만 설명될 것이다.
도 1은 본 발명의 실시예에 따라 컨텐츠 아이템 시그내처 매칭을 위한 장치를 도시한 도면.
다음 설명은 오디오 영상 컨텐츠 아이템에 대한 핑거프린트 매칭에 적용가능한 본 발명의 실시예에 집중하지만, 본 발명이 이 응용에 한정되지 않고, 워터마크 매칭을 포함하는 많은 다른 응용에 적용될 수 있다는 것이 이해될 것이다.
도 1은 본 발명의 실시예에 따라 컨텐츠 아이템 시그내처 매칭을 위한 장치를 도시한다.
장치(101)는 복수의 오디오 영상 컨텐츠 아이템에 대한 핑거프린트를 저장하는 데이터베이스(103)를 포함한다. 특정 예로서, 데이터베이스는 MP3 인코딩된 노래와 같은 다수의 음악 클립에 대한 핑거프린트를 저장할 수 있다. 특정 실시예에서, 데이터베이스는 각 컨텐츠 아이템에 대한 핑거프린트와 연관된 데이터를 저장한다. 임의의 적합한 연관된 데이터는 저장될 수 있고, 특정 실시예에서, 데이터베이스는 적어도 노래 제목, 아티스트, 길이, 노래가 취해지는 앨범, 및 연관된 앨범 표지를 저장한다.
상기 장치는, 상기 실시예에서 데이터베이스(103)에 정보를 저장할 새로운 컨텐츠 아이템을 수신할 수 있는 가능성 프로세서(105)를 더 포함한다. 가능성 프로세서(105)가 데이터베이스(103)에 저장하기 위한 새로운 컨텐츠 아이템을 수신할 때, 새로운 컨텐츠 아이템에 대한 매치 가능성 표시를 결정한다. 매치 가능성 표시는 알려지지 않은 컨텐츠 아이템의 핑거프린트가 새로운 컨텐츠 아이템의 핑거프린트와 매치할 가능성의 표시이다. 매치 가능성 표시를 결정하기 위한 임의의 적합한 기준 또는 알고리즘은 본 발명에서 벗어나지 않고도 사용될 수 있고, 다수의 가능한 기준은 이후에 설명될 것이다.
가능성 프로세서(105)는 배열 프로세서(ordering processer)(107)에 결합된다. 배열 프로세서(107)는 데이터베이스(103)에 추가로 결합되고, 매치 가능성 표 시에 응답하여 데이터베이스(103)에서 복수의 컨텐츠 아이템의 핑거프린트를 배열하도록 동작가능하다. 특정 실시예에서, 배열 프로세서(107)는 가능성 프로세서(107)로부터 새로운 핑거프린트 및 매치 가능성 표시를 수신한다. 이 예에서, 데이터베이스(103)는, 가장 높은 매치 가능성 표시를 갖는 핑거프린트에서 시작하고 가장 낮은 매치 가능성 표시를 갖는 핑거프린트에서 종료하는 단일 순차 엔트리 목록으로서 배열된다. 배열 프로세서(107)는 데이터베이스에서 위치를 간단히 발견하고, 여기서 새로운 핑거프린트의 매치 가능성 표시가 꼭 맞는데, 즉 이전 핑거프린트의 매치 가능성 표시는 새로운 핑거프린트의 매치 가능성 표시보다 높거나 동일하고, 후속하는 핑거프린트의 매치 가능성 표시는 현재 핑거프린트의 매치 가능성 표시보다 낮거나 동일하다. 더욱이, 배열 프로세서(107)는 노래 제목, 아티스트 이름 등을 포함하는 컨텐츠 아이템과 함께 수신된 연관 데이터를 저장한다.
따라서, 컨텐츠 아이템이 수신될 때, 데이터베이스(103)는 알려지지 않은 컨텐츠 아이템의 핑거프린트에 매칭하는 핑거프린트의 감소하는 확률에 관해 배열된 순차 목록에서 핑거프린트 및 연관 데이터에 의해 거주된다.
데이터베이스(103)의 배열이 데이터베이스를 포함하는 메모리에서 물리적 배열에 대응하거나 대응하지 않을 수 있는 구조적 또는 논리적 배열인 것이 바람직하다는 것이 인식될 것이다. 예를 들어, 데이터베이스가 하드 디스크 상에 저장되면, 새로운 핑거프린트 및 연관 데이터는 그 다음 이용가능한 메모리 위치에 저장될 수 있다. 하드 디스크는 이 경우에 각 핑거프린트의 물리적 위치를 가리키는 배열된 파일 할당 테이블을 추가로 포함할 수 있다. 이 예에서, 파일 할당 테이블은 이에 따라 매치 가능성 표시에 응답하여 배열 프로세서(107)에 의해 처리되고 배열될 수 있는 반면, 핑거프린트의 물리적 위치는 컨텐츠 아이템이 수신되는 시퀀스를 반영할 수 있다.
상기 실시예에서, 장치(101)는 데이터베이스에서 매칭 핑거프린트를 발견함으로써 컨텐츠 아이템을 식별하도록 동작가능한 중앙 장치이다. 특히, 외부 소스(109)는 질의를 장치(101)로 송신할 수 있는데, 이에 응답하여 매칭 핑거프린트는 데이터베이스(103)에서 결정되어, 그 결과 상기 컨텐츠 아이템에 대한 연관 데이터가 외부 소스(109)로 송신된다. 상기 장치는 예를 들어 인터넷에 연결될 수 있고, 외부 소스는 또한 인터넷에 결합된 개인용 컴퓨터일 수 있다. 컨텐츠 아이템이 개인용 컴퓨터에서 플레이될 때, 이것은 컨텐츠의 핑거프린트를 결정하여, 이를 장치(101)로 송신할 수 있다. 이러한 질의에 응답하여, 상기 장치는 노래 제목, 아티스트 등의 데이터를 개인용 컴퓨터로 다시 송신하고, 이 개인용 컴퓨터는 이를 사용자에게 디스플레이할 수 있다. 따라서, 이 특정 예에서, 상기 장치는 배포된 클라이언트로부터 송신된 질의에 응답하여 정보를 배포된 클라이언트에 제공하도록 동작가능한 중앙 서버로서 동작한다.
따라서, 장치(101)는 외부 소스(109)로부터 질의 핑거프린트를 수신하는 인터페이스(111)를 포함한다. 질의 핑거프린트는 외부 소스에 의해 컨텐츠 아이템으로부터, 특히 노래로부터 유도된다. 인터페이스(111)는 검색 프로세서(113)에 결합되고, 질의 핑거프린트는 검색 프로세서(113)에 공급된다.
검색 프로세서(113)는 데이터베이스(103)에 추가로 결합되고, 질의 핑거프린 트에 대한 매칭 핑거프린트를 발견하기 위해 데이터베이스(103)를 검색하도록 동작가능하다. 특히, 검색 프로세서(113)는 컨텐츠 아이템의 매치 가능성 표시에 응답하여 데이터베이스(103)를 검색하도록 동작가능하다.
데이터베이스가 단일 배열된 순차 목록인 예에서, 검색 수단은 순차적으로 아이템을 간단히 처리한다. 따라서, 검색 프로세서(113)는 먼저 질의 핑거프린트를 데이터베이스(103)의 제 1 핑거프린트와 비교한다. 이것인 매치되지 않으면, 검색 프로세서(113)는 질의 핑거프린트를 목록 내의 다음 핑거프린트와 비교하는 등으로 진행한다. 검색 프로세서(113)는 매치가 발견될 때까지 또는 데이터베이스 내의 모든 핑거프린트가 평가될 때까지 진행한다.
매치가 발생하였는지를 결정하는 임의의 적합한 수단이 사용될 수 있다는 것이 인식될 것이다. 일반적으로, 노래와 같은 컨텐츠 아이템의 상이한 버전은 동일하지 않다. 예를 들어, 상이한 압축 설정 또는 잡음은 이들이 동일한 노래에 관련되더라도 외부 소스(109)의 컨텐츠 아이템과 데이터베이스(103)의 컨텐츠 아이템 사이의 변동을 초래할 수 있다. 그러므로, 질의 핑거프린트가 저장된 핑거프린트에 충분히 근접할 때 발생하지만, 이들이 동일하다는 것을 요구하지 않고도 매치가 결정되는 것이 바람직하다. 바람직하게, 이진 핑거프린트에 대한 해밍 거리(Hamming Distance), 또는 비-이진 핑거프린트에 대한 유클리드 거리(Euclidian distance)와 같은 적합한 거리 도량법이 사용된다. 데이터베이스(103)의 핑거프린트에 적용된 이러한 거리 측정치가 주어진 임계치보다 아래일 때, 매치는 발생한 것으로 간주된다.
매치 핑거프린트가 발견될 때, 검색 프로세서(113)는 상기 핑거프린트에 대한 연관 데이터를 검색하고, 이를 인터페이스(111)로 송출하고, 인터페이스(111)는 이를 외부 소스(109)로 송신한다.
실시예에서, 검색 프로세서(113)는 이에 따라 저장된 핑거프린트의 매치 가능성 표시에 응답하여, 특히 저장된 핑거프린트의 감소하는 확률이 적합한 매치가 되는 순서로 데이터베이스(103)를 통해 검색한다.
종래의 접근법에서, 매칭 핑거프린트에 대한 검색은 매칭 핑거프린트가 발견되기 전에 무작위 지속기간을 초래하여, 충분히 근접한 매치가 발견되기 전에 검색되어야 하는 데이터베이스의 예상 분수(fraction)는 대략 0.5이다. 현재 실시예에서, 이것은 상당히 감소될 수 있는데, 이는 가장 가능성있는 후보가 덜 가능성있는 후보 이전에 평가되고, 이에 따라 매치가 발견되기 전의 검색 시간은 실질적으로 감소될 수 있기 때문이다. 더욱이, 이러한 장점은 상기 장치의 매우 간단한 구현 및 복잡도로 달성되고, 검색 알고리즘은 다른 고속 검색 알고리즘에 비해 감소될 수 있다. 더욱이, 실시예는 적은 메모리 리소스 요건을 허용하고, 특히 메모리 요건에서 임의의 상당한 증가를 도입하지 않는다.
상기 설명이 배열된 데이터베이스(103)에서 간단한 검색과 조합된 매치 가능성 표시에 응답하여 데이터베이스(103)의 배열에 집중되었지만, 이것이 본질적이지 않고, 예를 들어 매치 가능성 표시를 고려하는 더 복잡한 검색 알고리즘이 대안적으로 또는 추가적으로 비-배열된 데이터베이스와 함께 사용될 수 있다는 것이 인식될 것이다.
또한, 간략함 및 명백함을 위해 설명된 실시예가 새로운 컨텐츠 아이템만을 위한 매치 가능성 표시를 결정하는 프로세스를 설명하였지만, 장치는 저장된 핑거프린트의 매치 가능성 표시를 반복적으로 및/또는 동적으로 재평가하도록 추가로 동작할 수 있고 및/또는 이에 따라 데이터베이스 및/또는 검색 알고리즘을 재배열할 수 있다는 것이 인식될 것이다. 예를 들어, 핑거프린트의 매치 가능성 표시는 업데이트될 수 있고, 데이터베이스는 핑거프린트의 매치 성능에 응답하여 재배열된다.
몇몇 실시예에서, 매치 가능성 표시의 해석은 수신된 질의의 특성에 따라 좌우된다. 예를 들어, 고정된 수의 카테고리는 매치 가능성 표시의 가능한 값으로서 한정될 수 있다. 각 컨텐츠 아이템에 대해, 한정된 카테고리 중 어떤 것에 컨텐츠 아이템이 속하고 이에 따라 상기 컨텐츠 아이템에 대한 매치 가능성 표시가 설정되는지를 결정한다. 질의가 수신될 때, 검색 프로세서는 연관된 컨텐츠 아이템이 가장 가능성있게 속하는 카테고리를 결정할 수 있고, 이에 따라 매치 가능성 표시의 이러한 카테고리가 높은 매치 확률에 대응하는 반면, 다른 카테고리가 더 낮은 가능성으로 고려된다는 것을 결정할 수 있다. 따라서, 대응하는 카테고리의 핑거프린트는 다른 카테고리 이전에 검색된다.
매치 가능성 표시가 몇몇 실시예에서 복수의 서브-표시를 포함할 수 있다는 것이 인식될 것이다. 예를 들어, 매치 가능성 표시는 복수의 상이한 특성 또는 가정에 응답하여 생성될 수 있다. 모든 결정된 값은 복합 매치 가능성 표시로서 저장될 수 있다. 검색 프로세서(113)는 특정 카테고리에 응답하여 하나 이상의 매치 가 능성 표시를 선택할 수 있고, 검색을 배열하기 위해 이들을 이용할 수 있다.
매치 가능성 표시를 결정할 때, 매치 가능성 표시로서 사용될 수 있는 파라미터 및 특성의 예는 다음에 설명된다. 설명된 예는 임의의 적합한 조합 또는 상호 관계에서 단일로 또는 함께 사용될 수 있고, 다른 파라미터 또는 특성과 함께 대안적으로 또는 추가적으로 사용될 수 있다. 더욱이, 아래에 제공된 용어 및 예는 상호 배타적이지만, 공통 양상, 특징 및 장점과 겹치고 포함할 수 있다.
매치 가능성 표시는 복수의 컨텐츠 아이템의 각 핑거프린트에 대한 이전 매치 카운트에 응답하여 결정될 수 있다. 많은 실시예에서, 핑거프린트 매치의 히스토리는 미래 매치를 위해 최상의 예측자(predictor)일 수 있다. 그러므로, 데이터베이스에서의 각 핑거프린트는, 핑거프린트가 주어진 이전 시간 간격 내에서 최상의 매치(또는 적어도 충분히 근접한 매치)인 것으로 얼마나 자주 발견되었는지를 반영하는 연관된 매치 카운터를 가질 수 있다. 때때로, 배열 프로세서(107)는 매치 카운터의 값을 반영하기 위해 데이터베이스를 재배열할 수 있다. 따라서, 검색 프로세서(113)는, 많은 이전 질의에 매칭한 핑거프린트에서 시작하고 단지 매칭된 소수의 이전 질의를 갖거나 매칭된 이전 질의가 전혀 없는 핑거프린트에서 종료하는 성공적인 매치의 순서로 데이터베이스(103)를 통해 검색할 것이다.
매치 가능성 표시는 복수의 컨텐츠 아이템의 각 핑거프린트에 대해 데이터베이스 엔트리 시간에 응답하여 대안적으로 또는 추가적으로 결정될 수 있다. 특정 응용에서, 컨텐츠 아이템은 한정된 수명(특히, 이것은 일반적으로 광고, 뉴스-클립 및 음악-클립의 경우이다)을 가질 것이다. 따라서, 데이터베이스에 입력되는 핑거 프린트의 시간 및/또는 날짜는 적합한 매치 가능성 표시를 결정하는데 사용될 수 있다. 특히, 데이터베이스에서의 엔트리 날짜는 그것 자체가 검색 및/또는 데이터 엔트리를 배열하기 위해 유용한 적절한 매치 가능성 표시일 수 있다. 따라서, 질의가 제기될 때, 이것은, 바람직하게 가장 최근의 컨텐츠 아이템에서 시작하고 가장 오래된 컨텐츠 아이템에서 종료하는, 데이터베이스에서의 이들 핑거프린트의 엔트리 날짜의 순서로 핑거프린트와 비교될 것이다.
매치 가능성 표시는 복수의 컨텐츠 아이템의 각 핑거프린트에 대한 매치의 이전 시간에 응답하여 대안적으로 또는 추가적으로 결정될 수 있다. 몇몇 응용에서, 특정 컨텐츠 아이템에서의 관심은 주기적으로 변할 수 있다. 예를 들어 뉴스 클립의 경우에: 특정 이벤트는 히스토리 이벤트를 언급하여, 이러한 히스토리 이벤트에 관련된 오래된 뉴스 클립의 방송을 초래할 것이다. 이 경우에, 마지막 매치의 날짜는 매치 가능성 표시를 결정하기 위한 적절한 특성이고, 특히 데이터베이스를 배열하기 위한 매치 가능성 표시로서 직접 사용될 수 있다. 예를 들어, 데이터베이스에서의 핑거프린트가 현재 질의에 최상의 매치인 것으로 발견될 때마다, 데이터베이스 배열에서 제 1 위치로 이동된다. 질의는 데이터베이스 핑거프린트의 매치 날짜의 순서로 데이터베이스에서 핑거프린트에 매칭될 것이다. 따라서, 새로운 질의는 이전 질의의 매칭 핑거프린트에 먼저 비교될 것이다.
매치 가능성 표시는 복수의 컨텐츠 아이템의 각각에 연관된 메타데이터에 응답하여 대안적으로 또는 추가적으로 결정될 수 있다. 많은 응용에서, 메타데이터는 핑거프린트가 저장되는 컨텐츠 아이템과, 핑거프린트 질의 자체 모두와 함께 제출 될 것이다. 메타데이터는 보조 데이터일 수 있는데, 이 보조 데이터는 컨텐츠 아이템을 재생성하는데 필요하지 않고, 컨텐츠 아이템과 연관된 추가 정보를 제공할 수 있다. 추가 정보는 질의 핑거프린트에 매칭하는 컨텐츠 아이템의 가능성을 결정하는데 적합할 수 있다. 예를 들어, 데이터베이스 내의 엔트리는 카테고리 데이터 또는 장르 데이터와 같은 메타데이터의 파라미터에 응답하여 배열될 수 있다. 질의가 수신될 때, 대응하는 카테고리 또는 장르는 결정되고, 동일한 카테고리 또는 장르와 연관된 저장된 핑거프린트가 먼저 검색된다.
매치 가능성 표시는 각 컨텐츠 아이템과 연관된 컨텍스트 정보에 응답하여 대안적으로 또는 추가적으로 결정될 수 있다. 대부분의 응용에서, 컨텐츠에 관련된 컨텍스트 정보의 이용은 검색을 배열하기 위한 강력한 특성일 수 있다. 컨텍스트 정보는, 컨텐츠 아이템의 표현 신호를 재생성하는데 필요하지 않고 컨텐츠 아이템과 연관된 조건에 관련된 정보를 제공하는 정보일 수 있다. 예를 들어, 컨텍스트 정보는 기원의 소스, 배포 특성 또는 타깃 청중에 관련될 수 있다. 특정 예로서, TV 클립에 대한 컨텍스트 정보는 소스 채널, 요일(월요일, 화요일 등), 시각(예를 들어 아침, 저녁, 밤) 등을 나타내는 정보를 포함할 수 있다. 이러한 추가 컨텍스트 정보는 질의 핑거프린트에 매칭하는 컨텐츠 아이템의 가능성을 결정하는 것에 적합할 수 있다. 예를 들어, 데이터베이스 내의 엔트리는 컨텍스트 정보의 파라미터에 응답하여 배열될 수 있고, 질의가 수신될 때, 동일한 특성을 갖는 대응하는 핑거프린트가 먼저 검색될 수 있다. 특정 예에서, 동일한 소스 채널, 요일 및 시각으로부터의 핑거프린트가 먼저 검색될 것이다.
매치 가능성 표시는 복수의 컨텐츠 아이템 각각과 연관된 컨텐츠 정보에 응답하여 대안적으로 또는 추가적으로 결정될 수 있다.
컨텐츠 정보는 소스 클립의 컨텐츠에 관련된 추가 정보일 수 있다. 컨텐츠 정보는 컨텐츠 아이템과 함께 포함된 추가 또는 보조 정보일 수 있거나, 컨텐츠 분석에 의해 컨텐츠 아이템으로부터 결정될 수 있다.
일반적으로, 컨텐츠 분석은 컨텐츠의 카테고리에 대해 일반적인 특정한 특성을 검출하는 것에 기초한다. 예를 들어, 비디오 컨텐츠 아이템은 높은 평균 농도의 녹색 컬러 및 빈번한 측면 움직임을 가짐으로써 축구 경기에 관련된 것으로 검출될 수 있다. 만화는 일반적으로 강렬한 원색, 높은 레벨의 밝기 및 뚜렷한 컬러 전이를 가지는 것을 특징으로 한다.
따라서, 비디오 코딩 파라미터는 유리하게 비디오 신호의 컨텐츠를 결정하는데 사용될 수 있다. 예를 들어, DCT 변환 블록에서 AC 계수의 높은 상대값은, 뚜렷한 전이가 변환 블록에 포함될 가능성이 높다는 것을 나타낸다. 그러한 전이는 만화에 대해 일반적이므로, 현재 컨텐츠가 만화일 것이라는 것을 나타내는 비디오 코딩 파라미터로서 포함될 수 있다. 일반적으로, 상당한 수의 파라미터가 고려되고, 컨텐츠는 결정된 특성과 가장 밀접하게 상관되는 컨텐츠 카테고리로서 결정될 수 있다. 따라서, 컬러 채도 및 휘도는 현재 컨텐츠가 만화인 지를 결정하도록 추가로 포함될 수 있다. 예를 들어, 비디오 코딩 데이터가 높은 정도의 컬러 채도, 높은 휘도, 높은 빈도의 DCT 계수에서의 높은 에너지 농도 뿐 아니라 큰 균일하거나 평평한 화상 영역을 나타내는 경우, 컨텐츠 분석 알고리즘은 만화로서 현재 컨텐츠를 결정할 수 있다.
컨텐츠 분석에 유용할 수 있는 비디오 코딩 파라미터의 다른 예는 움직임 벡터와 같은 움직임 데이터이다. 예를 들어, 화상 영역이 작은 연관된 움직임 벡터를 갖는 매우 높은 예측도를 포함하면, 이것은, 화상이 이 영역에 대해 정적이어서, 이 영역의 컨텐츠가 오버레이 텍스트 또는 온-스크린 로고(예를 들어 스테이션 로고)일 가능성이 있다는 표시일 수 있다.
일반적으로, 비디오 코딩 파라미터 및 비-비디오 코딩 파라미터 모두는 컨텐츠 분석을 위해 함께 사용될 수 있다. 예를 들어, 높은 움직임 정도, 강한 휘도, 및 연관된 사운드 트랙의 리듬 특성은 현재 컨텐츠가 뮤직 비디오라는 것을 나타낼 수 있다.
컨텐츠 분석에 대한 추가 정보는 일반적으로 당업자에게 이용가능하다. 예를 들어, IEEE, 2002년 4월-6월, IEEE 멀티미디어, C.Djeraba가 저술한 논문 "컨텐츠 기반의 멀티미디어 인덱싱 및 검색"과; IEEE, 1999년 1월/2월, 지식 및 데이터 엔지니어링에 대한 IEEE 회보, 11권 1호, A. Yoshika 등이 저술한 "멀티미디어 데이터베이스를 위한 컨텐츠 기반의 검색의 조사와; IDDD, 2002년 7월-9월, IEEE 멀티미디어, N.Dimitrova 등이 저술한 "비디오-컨텐츠 분석 및 검색의 응용" 및 그 안에 포함된 인용은 컨텐츠 분석에 대한 개요를 제공한다.
이러한 추가 컨텐츠 정보는 질의 핑거프린트에 매칭하는 컨텐츠 아이템의 가능성을 결정하는데 적합할 수 있다. 예를 들어, 데이터베이스 내의 엔트리는 컨텐츠 정보의 파라미터에 응답하여 배열될 수 있고, 질의가 수신될 때, 동일한 특성을 갖는 대응하는 핑거프린트가 먼저 검색될 수 있다.
전술한 실시예에서, 장치(101)는 외부 소스(109)로부터 질의 핑거프린트를 수신한다. 그러나, 몇몇 실시예에서, 장치가 질의 컨텐츠 아이템을 수신할 수 있고, 장치가 수신된 컨텐츠 아이템에 응답하여 핑거프린트를 결정할 수 있다는 것이 인식될 것이다. 유사하게, 데이터베이스에 저장된 핑거프린트는 장치에 의해 결정될 수 있거나, 외부 수단으로부터 수신될 수 있다.
설명된 실시예에서, 컨텐츠 아이템의 핑거프린트는 컨텐츠 아이템 자체보다는 데이터베이스에 저장된다. 그러나, 몇몇 실시예서, 컨텐츠 아이템은 데이터베이스에 추가적으로 또는 대안적으로 저장될 수 있다. 예를 들어, 몇몇 실시예에서, 컨텐츠 아이템만이 데이터베이스에 저장되고, 검색 프로세서는 데이터베이스를 통해 검색할 때 저장된 컨텐츠 아이템에 대한 핑거프린트를 생성하도록 동작가능하다. 그러한 실시예는 예를 들어 기술적 또는 법적인 이유로 인해 변형될 수 없는 기존의 컨텐츠 아이템의 데이터베이스에 핑거프린트 매칭 기능을 제공하는데 적합할 수 있다.
몇몇 실시예에서, 매치 가능성 표시가 복수의 서브-매치 가능성 표시를 포함할 수 있다는 것이 인식될 것이다. 예를 들어, 매치 가능성 표시는 컨텐츠 아이템의 장르를 나타내는 서브-매치 가능성 표시, 송신 시간을 나타내는 다른 서브-매치 가능성 표시, 컨텐츠 아이템 소스를 나타내는 제 3 서브-매치 가능성 표시 등을 포함할 수 있다.
이 경우에, 검색 프로세서(113)는 데이터베이스를 계층적으로 검색하는 것이 바람직하다. 특히, 프로세서(113)는 먼저 동일한 장르인 컨텐츠 아이템에 대해 데이터베이스를 검색하고, 그 다음에 이러한 컨텐츠 아이템을 검색하여 유사한 송신 시간을 갖는 컨텐츠 아이템을 발견하고, 마지막으로 컨텐츠 아이템 소스에 기초하여 이들 중에서 선택한다. 바람직하게, 데이터베이스는 이 예에서 컨텐츠 아이템의 장르에 의해 배열되고, 그 다음에 송신 시간에 의해 배열되고, 마지막으로 컨텐츠 아이템 소스에 의해 검색되어, 매우 빠른 검색 및 매치 프로세스를 제공한다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함하는 임의의 적합한 형태로 구현될 수 있다. 그러나, 바람직하게, 본 발명은 하나 이상의 데이터 프로세서 및/또는 디지털 신호 프로세서 상에서 실행되는 컴퓨터 소프트웨어로서 구현된다. 본 발명의 실시예의 요소 및 구성요소는 임의의 적합한 방식으로 물리적으로, 기능적으로 그리고 논리적으로 구현될 수 있다. 더욱이, 기능은 단일 유닛에서, 복수의 유닛에서, 또는 다른 기능 유닛의 부분으로서 구현될 수 있다. 이와 같이, 본 발명은 단일 유닛으로 구현될 수 있거나, 상이한 유닛과 프로세서 사이에서 물리적으로 그리고 기능적으로 분배될 수 있다.
본 발명은 다음과 같이 요약될 수 있다. 컨텐츠 아이템 시그내처 매칭을 위한 장치는 복수의 컨텐츠 아이템에 대한 시그내처를 갖는 데이터베이스(103)를 포함한다. 가능성 프로세서(105)는, 매치 가능성 표시가 컨텐츠 아이템과 알려지지 않은 시그내처 사이의 매치의 가능성을 나타내는 컨텐츠 아이템에 대한 매치 가능성 표시를 결정한다. 인터페이스(111)는 컨텐츠 아이템에 연관된 질의 시그내처를 수신하고, 이에 응답하여, 검색 프로세서(113)는 질의 시그내처에 대한 매칭 시그 내처에 대해 데이터베이스(103)를 검색한다. 검색 프로세서(113)는 복수의 컨텐츠 아이템의 매치 가능성 표시에 응답하여 데이터베이스를 검색하도록 동작가능하다. 특히 데이터베이스(103)는 감소하는 매치 확률의 순서로 배열될 수 있고, 검색 프로세서(113)는 이러한 순서로 데이터베이스를 검색할 수 있다. 따라서, 초기 매치의 확률은 증가하고, 평균 검색 시간은 감소한다.
본 발명이 바람직한 실시예와 연계하여 설명되었지만, 본 명세서에 설명된 특정 형태에 한정되도록 의도되지 않는다. 오히려, 본 발명의 범주는 첨부된 청구항에 의해서만 한정된다. 청구항에서, 포함하는의 용어는 다른 요소 또는 단계의 존재를 배제하지 않는다. 더욱이, 개별적으로 기술되었지만, 복수의 수단, 요소 또는 방법 단계는 예를 들어 단일 유닛 또는 프로세서에 의해 구현될 수 있다. 추가로, 개별적인 특징이 상이한 청구항에 포함될 수 있지만, 이들은 아마도 유리하게 조합될 수 있고, 상이한 청구항 내의 포함은, 특징의 조합이 실행가능하지 않거나 및/또는 유리하지 않다는 것을 의미하지 않는다. 더욱이, 단일한 인용은 복수를 배제하지 않는다. 따라서, "하나", "제 1의", "제 2의" 등에 대한 인용은 복수를 배제하지 않는다. 청구항 내의 참조 번호는 단지 명백한 예가 어쨌든 청구 범위를 한정하는 것으로 해석되지 않는 것으로 제공된다.
상술한 바와 같이, 본 발명은 컨텐츠 아이템 시그내처 매칭을 위한 방법 및 장치에 관한 것으로, 더 구체적으로 배타적이지 않게 데이터베이스에서 매칭 핑거프린트를 찾는 것 등에 이용된다.

Claims (18)

  1. 컨텐츠 아이템 시그내처 매칭을 위한 장치로서,
    복수의 컨텐츠 아이템을 위한 시그내처를 포함하는 데이터베이스(103)와;
    상기 복수의 컨텐츠 아이템 각각에 대한 매치 가능성 표시(match likelihood indication)를 결정하는 수단(105)으로서, 각 컨텐츠 아이템의 매치 가능성 표시는 상기 컨텐츠 아이템과 알려지지 않은 시그내처 사이의 매치의 가능성을 나타내는, 매치 가능성 표시를 결정하는 수단과;
    컨텐츠 아이템과 연관된 질의(query) 시그내처를 수신하는 수단(111)과;
    상기 질의 시그내처에 대한 매칭 시그내처에 대해 데이터베이스(103)를 검색하는 검색 수단(113)을 포함하며,
    상기 검색 수단(113)은 복수의 컨텐츠 아이템의 매치 가능성 표시에 응답하여 데이터베이스(103)를 검색하도록 동작가능한, 컨텐츠 아이템 시그내처 매칭을 위한 장치.
  2. 제 1항에 있어서, 상기 매치 가능성 표시에 응답하여 상기 데이터베이스(103)에서 복수의 컨텐츠 아이템의 시그내처를 배열(ordering)하는 수단(107)을 더 포함하고; 상기 검색 수단(113)은 복수의 컨텐츠 아이템의 시그내처의 배열에 따라 데이터베이스(103)를 검색하도록 동작가능한, 컨텐츠 아이템 시그내처 매칭을 위한 장치.
  3. 제 1항에 있어서, 상기 매치 가능성 표시를 결정하는 수단(105)은 복수의 컨텐츠 아이템의 적어도 몇몇의 각 시그내처에 대한 이전 매치 카운트에 응답하여 매치 가능성 표시를 결정하도록 동작가능한, 컨텐츠 아이템 시그내처 매칭을 위한 장치.
  4. 제 1항에 있어서, 상기 매치 가능성 표시를 결정하는 수단(105)은 상기 복수의 컨텐츠 아이템의 각 시그내처에 대한 데이터베이스 엔트리 시간에 응답하여 매치 가능성 표시를 결정하도록 동작가능한, 컨텐츠 아이템 시그내처 매칭을 위한 장치.
  5. 제 1항에 있어서, 상기 매치 가능성 표시를 결정하는 수단(105)은 복수의 컨텐츠 아이템의 각 시그내처에 대한 이전 매칭 시간에 응답하여 매치 가능성 표시를 결정하도록 동작가능한, 컨텐츠 아이템 시그내처 매칭을 위한 장치.
  6. 제 1항에 있어서, 상기 매치 가능성 표시를 결정하는 수단(105)은 복수의 컨텐츠 아이템 각각과 연관된 메타데이터에 응답하여 매치 가능성 표시를 결정하도록 동작가능한, 컨텐츠 아이템 시그내처 매칭을 위한 장치.
  7. 제 1항에 있어서, 상기 매치 가능성 표시를 결정하는 수단(105)은 복수의 컨 텐츠 아이템 각각과 연관된 컨텍스트 정보(context information)에 응답하여 매치 가능성 표시를 결정하도록 동작가능한, 컨텐츠 아이템 시그내처 매칭을 위한 장치.
  8. 제 1항에 있어서, 상기 매치 가능성 표시를 결정하는 수단(105)은 복수의 컨텐츠 아이템 각각과 연관된 컨텐츠 정보에 응답하여 매치 가능성 표시를 결정하도록 동작가능한, 컨텐츠 아이템 시그내처 매칭을 위한 장치.
  9. 제 8항에 있어서, 컨텐츠 분석에 의해 컨텐츠 정보를 결정하는 수단을 더 포함하는, 컨텐츠 아이템 시그내처 매칭을 위한 장치.
  10. 제 1항에 있어서, 상기 매치 가능성 표시는 복수의 서브-매치 가능성 표시를 포함하고, 상기 검색 수단(113)은 상기 서브-매치 가능성 표시에 응답하여 상기 데이터베이스를 계층적으로 검색하도록 동작가능한, 컨텐츠 아이템 시그내처 매칭을 위한 장치.
  11. 제 1항에 있어서, 상기 매치 가능성 표시는 복수의 서브-매치 가능성 표시를 포함하고, 상기 검색 수단(113)은 질의 시그내처의 특성에 응답하여 서브-매치 가능성 기준을 선택하도록 동작가능한, 컨텐츠 아이템 시그내처 매칭을 위한 장치.
  12. 제 1항에 있어서, 상기 질의 시그내처는 컨텐츠 아이템 핑거프린 트(fingerprint)인, 컨텐츠 아이템 시그내처 매칭을 위한 장치.
  13. 제 12항에 있어서, 상기 매칭 시그내처는 매칭 핑거프린트이고, 상기 검색 수단(113)은 미리 결정된 값 아래의 질의 시그내처에 대한 상이한 측정치를 갖는 핑거프린트로서 매칭 핑거프린트를 결정하도록 동작가능한, 컨텐츠 아이템 시그내처 매칭을 위한 장치.
  14. 제 1항에 있어서, 상기 컨텐츠 아이템은 오디오 영상 컨텐츠 아이템인, 컨텐츠 아이템 시그내처 매칭을 위한 장치.
  15. 제 1항에 있어서, 상기 수신 수단(111)은 컨텐츠 아이템을 수신하고 상기 컨텐츠 아이템에 응답하여 컨텐츠 아이템 시그내처를 결정하는 수단을 포함하는, 컨텐츠 아이템 시그내처 매칭을 위한 장치.
  16. 복수의 컨텐츠 아이템에 대한 시그내처를 포함하는 데이터베이스(103)에서의 컨텐츠 아이템 시그내처 매칭을 위한 방법으로서,
    상기 복수의 컨텐츠 아이템 각각에 대한 매치 가능성 표시를 결정하는 단계로서, 상기 각 컨텐츠 아이템의 매치 가능성 표시는 상기 컨텐츠 아이템과 알려지지 않은 시그내처 사이의 매치의 가능성을 나타내는, 매치 가능성 표시 결정 단계와;
    컨텐츠 아이템과 연관된 질의 시그내처를 수신하는 단계와;
    상기 복수의 컨텐츠 아이템의 시그내처의 매치 가능성 표시에 응답하여 상기 질의 시그내처에 대한 매칭 시그내처에 대해 데이터베이스(103)를 검색하는 단계를
    포함하는, 데이터베이스에서의 컨텐츠 아이템 시그내처 매칭을 위한 방법.
  17. 제 16항에 기재된 방법을 수행할 수 있게 하는, 컴퓨터 프로그램.
  18. 제 17항에 기재된 컴퓨터 프로그램을 포함하는, 리코드 캐리어.
KR1020067024837A 2004-05-28 2005-05-23 컨텐츠 아이템 시그내처 매칭을 위한 방법 및 장치 KR20070020256A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04102377.1 2004-05-28
EP04102377 2004-05-28

Publications (1)

Publication Number Publication Date
KR20070020256A true KR20070020256A (ko) 2007-02-20

Family

ID=34968583

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067024837A KR20070020256A (ko) 2004-05-28 2005-05-23 컨텐츠 아이템 시그내처 매칭을 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US20080270373A1 (ko)
EP (1) EP1756693A1 (ko)
JP (1) JP2008501273A (ko)
KR (1) KR20070020256A (ko)
CN (1) CN100485574C (ko)
WO (1) WO2005116793A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100927230B1 (ko) * 2007-12-17 2009-11-16 한국전자통신연구원 시그니처 최적화 장치 및 방법

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7930546B2 (en) * 1996-05-16 2011-04-19 Digimarc Corporation Methods, systems, and sub-combinations useful in media identification
US20070276823A1 (en) * 2003-05-22 2007-11-29 Bruce Borden Data management systems and methods for distributed data storage and management using content signatures
US9678967B2 (en) 2003-05-22 2017-06-13 Callahan Cellular L.L.C. Information source agent systems and methods for distributed data storage and management using content signatures
CN2792450Y (zh) * 2005-02-18 2006-07-05 冯锦满 聚能保健仪
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US9256668B2 (en) 2005-10-26 2016-02-09 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US9286623B2 (en) 2005-10-26 2016-03-15 Cortica, Ltd. Method for determining an area within a multimedia content element over which an advertisement can be displayed
US9235557B2 (en) 2005-10-26 2016-01-12 Cortica, Ltd. System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page
US9031999B2 (en) 2005-10-26 2015-05-12 Cortica, Ltd. System and methods for generation of a concept based database
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US9330189B2 (en) 2005-10-26 2016-05-03 Cortica, Ltd. System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US9489431B2 (en) 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US9396435B2 (en) 2005-10-26 2016-07-19 Cortica, Ltd. System and method for identification of deviations from periodic behavior patterns in multimedia content
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US10180942B2 (en) 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US9466068B2 (en) 2005-10-26 2016-10-11 Cortica, Ltd. System and method for determining a pupillary response to a multimedia data element
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US8266185B2 (en) 2005-10-26 2012-09-11 Cortica Ltd. System and methods thereof for generation of searchable structures respective of multimedia data content
US9558449B2 (en) 2005-10-26 2017-01-31 Cortica, Ltd. System and method for identifying a target area in a multimedia content element
US9529984B2 (en) 2005-10-26 2016-12-27 Cortica, Ltd. System and method for verification of user identification based on multimedia content elements
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US20160321253A1 (en) 2005-10-26 2016-11-03 Cortica, Ltd. System and method for providing recommendations based on user profiles
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US20140093844A1 (en) * 2005-10-26 2014-04-03 Cortica, Ltd. Method for identification of food ingredients in multimedia content
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US10733326B2 (en) * 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US8275681B2 (en) 2007-06-12 2012-09-25 Media Forum, Inc. Desktop extension for readily-sharable and accessible media playlist and media
EP2009638A1 (en) * 2007-06-28 2008-12-31 THOMSON Licensing Video copy prevention if the difference betweeen the fingerprints before and after its modification is above a threshold
US8447032B1 (en) 2007-08-22 2013-05-21 Google Inc. Generation of min-hash signatures
US8238669B2 (en) * 2007-08-22 2012-08-07 Google Inc. Detection and classification of matches between time-based media
US8280905B2 (en) * 2007-12-21 2012-10-02 Georgetown University Automated forensic document signatures
US8312023B2 (en) * 2007-12-21 2012-11-13 Georgetown University Automated forensic document signatures
US9088578B2 (en) * 2008-01-11 2015-07-21 International Business Machines Corporation Eliminating redundant notifications to SIP/SIMPLE subscribers
GB2465141B (en) 2008-10-31 2014-01-22 Media Instr Sa Simulcast resolution in content matching systems
US8984577B2 (en) 2010-09-08 2015-03-17 Microsoft Technology Licensing, Llc Content signaturing
US20120060116A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Content signaturing user interface
US8539546B2 (en) * 2010-10-22 2013-09-17 Hitachi, Ltd. Security monitoring apparatus, security monitoring method, and security monitoring program based on a security policy
US9141676B2 (en) * 2013-12-02 2015-09-22 Rakuten Usa, Inc. Systems and methods of modeling object networks
US9838494B1 (en) * 2014-06-24 2017-12-05 Amazon Technologies, Inc. Reducing retrieval times for compressed objects
US20160005410A1 (en) * 2014-07-07 2016-01-07 Serguei Parilov System, apparatus, and method for audio fingerprinting and database searching for audio identification
CN107077543B (zh) * 2014-09-23 2020-01-03 华为技术有限公司 流媒体中内容成分的所有权标识、信令和处理
US10509824B1 (en) * 2014-12-01 2019-12-17 The Nielsen Company (Us), Llc Automatic content recognition search optimization
US9900636B2 (en) 2015-08-14 2018-02-20 The Nielsen Company (Us), Llc Reducing signature matching uncertainty in media monitoring systems
US9836535B2 (en) * 2015-08-25 2017-12-05 TCL Research America Inc. Method and system for content retrieval based on rate-coverage optimization
US9848214B2 (en) 2015-10-01 2017-12-19 Sorenson Media, Inc. Sequentially overlaying media content
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
US11037015B2 (en) 2015-12-15 2021-06-15 Cortica Ltd. Identification of key points in multimedia data elements
US9924222B2 (en) * 2016-02-29 2018-03-20 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on location
FR3059801B1 (fr) 2016-12-07 2021-11-26 Lamark Procede d’enregistrement d’un contenu multimedia, procede de detection d’une marque au sein d’un contenu multimedia, dispositifs et programme d’ordinateurs correspondants
CN107071577A (zh) * 2017-04-24 2017-08-18 安徽森度科技有限公司 一种视频传送签名方法
US9936230B1 (en) * 2017-05-10 2018-04-03 Google Llc Methods, systems, and media for transforming fingerprints to detect unauthorized media content items
US11760387B2 (en) 2017-07-05 2023-09-19 AutoBrains Technologies Ltd. Driving policies determination
WO2019012527A1 (en) 2017-07-09 2019-01-17 Cortica Ltd. ORGANIZATION OF DEPTH LEARNING NETWORKS
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
US20200133308A1 (en) 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US11181911B2 (en) 2018-10-18 2021-11-23 Cartica Ai Ltd Control transfer of a vehicle
US11126870B2 (en) 2018-10-18 2021-09-21 Cartica Ai Ltd. Method and system for obstacle detection
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US10748038B1 (en) 2019-03-31 2020-08-18 Cortica Ltd. Efficient calculation of a robust signature of a media unit
US11244176B2 (en) 2018-10-26 2022-02-08 Cartica Ai Ltd Obstacle detection and mapping
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US10789527B1 (en) 2019-03-31 2020-09-29 Cortica Ltd. Method for object detection using shallow neural networks
US10796444B1 (en) 2019-03-31 2020-10-06 Cortica Ltd Configuring spanning elements of a signature generator
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US11537690B2 (en) * 2019-05-07 2022-12-27 The Nielsen Company (Us), Llc End-point media watermarking
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
US10748022B1 (en) 2019-12-12 2020-08-18 Cartica Ai Ltd Crowd separation
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
US11756424B2 (en) 2020-07-24 2023-09-12 AutoBrains Technologies Ltd. Parking assist

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4677466A (en) * 1985-07-29 1987-06-30 A. C. Nielsen Company Broadcast program identification method and apparatus
JP3340532B2 (ja) * 1993-10-20 2002-11-05 株式会社日立製作所 ビデオの検索方法および装置
US7289643B2 (en) * 2000-12-21 2007-10-30 Digimarc Corporation Method, apparatus and programs for generating and utilizing content signatures
US6374260B1 (en) * 1996-05-24 2002-04-16 Magnifi, Inc. Method and apparatus for uploading, indexing, analyzing, and searching media content
US6553404B2 (en) * 1997-08-08 2003-04-22 Prn Corporation Digital system
JP3648101B2 (ja) * 1999-09-09 2005-05-18 日本電信電話株式会社 コンテンツ不正利用探索装置およびコンテンツ不正利用探索方法
US8055899B2 (en) * 2000-12-18 2011-11-08 Digimarc Corporation Systems and methods using digital watermarking and identifier extraction to provide promotional opportunities
WO2002067447A2 (en) * 2001-02-20 2002-08-29 Ellis Caron S Enhanced radio systems and methods
US7363278B2 (en) * 2001-04-05 2008-04-22 Audible Magic Corporation Copyright detection and protection system and method
US7283954B2 (en) * 2001-04-13 2007-10-16 Dolby Laboratories Licensing Corporation Comparing audio using characterizations based on auditory events
US7203692B2 (en) * 2001-07-16 2007-04-10 Sony Corporation Transcoding between content data and description data
US7421587B2 (en) * 2001-07-26 2008-09-02 Mcafee, Inc. Detecting computer programs within packed computer files
US6988093B2 (en) * 2001-10-12 2006-01-17 Commissariat A L'energie Atomique Process for indexing, storage and comparison of multimedia documents
US7477739B2 (en) * 2002-02-05 2009-01-13 Gracenote, Inc. Efficient storage of fingerprints
US8130746B2 (en) * 2004-07-28 2012-03-06 Audible Magic Corporation System for distributing decoy content in a peer to peer network

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100927230B1 (ko) * 2007-12-17 2009-11-16 한국전자통신연구원 시그니처 최적화 장치 및 방법

Also Published As

Publication number Publication date
EP1756693A1 (en) 2007-02-28
CN1957310A (zh) 2007-05-02
JP2008501273A (ja) 2008-01-17
CN100485574C (zh) 2009-05-06
WO2005116793A1 (en) 2005-12-08
US20080270373A1 (en) 2008-10-30

Similar Documents

Publication Publication Date Title
KR20070020256A (ko) 컨텐츠 아이템 시그내처 매칭을 위한 방법 및 장치
US11902711B2 (en) Systems and methods for generating bookmark video fingerprints
USRE48791E1 (en) Scalable, adaptable, and manageable system for multimedia identification
US9436689B2 (en) Distributed and tiered architecture for content search and content monitoring
US7143353B2 (en) Streaming video bookmarks
US9785708B2 (en) Scalable, adaptable, and manageable system for multimedia identification
EP1474760B1 (en) Fast hash-based multimedia object metadata retrieval
KR101242664B1 (ko) 재생목록들에 기초하여 사용자 프로파일을 발생시키기 위한 방법 및 디바이스
KR101026752B1 (ko) 휴대용 재생 목록
US11200299B2 (en) Crowd sourcing for file recognition
US20090177299A1 (en) Recording and playback of video clips based on audio selections
US20080256378A1 (en) Audio/Video Content Synchronization Through Playlists
US20070112861A1 (en) Selection of a subset of assets based upon unrelated user preferences
WO2005079510A2 (en) Generation of a media content database by correlating repeating media content in media streams
CN1393882A (zh) 存取元数据的简化方法和装置
EP1506550A2 (en) Signal processing method and arrangement
US20070091736A1 (en) System and method for storing and managing digital content

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application