KR20050010763A - 확실하고 불변적인 오디오 패턴 매칭방법 - Google Patents

확실하고 불변적인 오디오 패턴 매칭방법 Download PDF

Info

Publication number
KR20050010763A
KR20050010763A KR10-2004-7016919A KR20047016919A KR20050010763A KR 20050010763 A KR20050010763 A KR 20050010763A KR 20047016919 A KR20047016919 A KR 20047016919A KR 20050010763 A KR20050010763 A KR 20050010763A
Authority
KR
South Korea
Prior art keywords
fingerprint
relative
value
determined
peak
Prior art date
Application number
KR10-2004-7016919A
Other languages
English (en)
Other versions
KR100820385B1 (ko
Inventor
왕에이버리리춘
쿨버트다니엘
Original Assignee
샤잠 엔터테인먼트 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤잠 엔터테인먼트 리미티드 filed Critical 샤잠 엔터테인먼트 리미티드
Publication of KR20050010763A publication Critical patent/KR20050010763A/ko
Application granted granted Critical
Publication of KR100820385B1 publication Critical patent/KR100820385B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/135—Library retrieval index, i.e. using an indexing scheme to efficiently retrieve a music piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/141—Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/235—Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Collating Specific Patterns (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

본 발명은 두개의 오디오 샘플이 매칭되는지의 여부, 또 이들 샘플이 재생속도 변화와 같은 다양한 변환에 대해 안전한지 여부를 신속정확히 판단하는 혁신적인 기술을 제공한다. 두개의 오디오샘플 사이의 관계는 먼저 각 샘플에서 유도된 특정 지문들을 매칭시켜 얻어진다. 특정 위치(242)에서 생기는 지문(231,232) 세트(230)가 각각의 오디오샘플(210)에 대해 형성된다. 각각의 위치는 오디오샘플(210)의 컨텐츠에 따라 결정되며, 각각의 지문(232)은 특정 위치(242)나 그 부근에서의 하나 이상의 국부적 특징(222)을 갖는다. 다음, 매칭된 지문쌍 각각에 대한 상대값이 결정된다. 상대갓 그래프가 얻어진다. 통계학적으로 큰 피크가 있으면, 두개의 오디오샘플은 매칭된 것으로 본다.

Description

확실하고 불변적인 오디오 패턴 매칭방법{Robust and Invariant Audio Pattern Matching}
음악과 기타 오디오신호들을 신속정확히 자동으로 인식할 필요성은 계속 증대되고 있다. 종래의 오디오 인식기술에서는 흔히 정확도 대신 속도가 떨어지거나 잡음 면역도가 떨어졌다. 경우에 따라서는, 잡음이 심한 상태에서 시간-시간 산포도의 기울기를 평가하는데 회귀선의 계산이 필요하고, 이 경우 많은 어려움이 생기며 속도와 정확도 양측면에서 성능이 저하된다. 따라서, 기존의 오디오 인식기술에서는 재생속도의 변화가 클 경우 신속정확한 인식을 할 수 없는데, 예를 들면 정상속도보다 빨리 재생되는 레코딩을 인식하기가 불가능했다.
라디오방송국, 클럽 등에서 DJ들이 속도나 피치-코렉티드(pitch-corrected) 템포 변화를 많이 주기 때문에 문제가 더 복잡해진다. 재생속도변화 및/또는 피치-코렉티드 템포변화에도 불구하고 신속정확한 오디오인식을 할 수 있는 확실하고 신뢰성있는 기술이 현재는 없다고 본다.
본 발명은 대규모 오디오파일 데이타베이스를 통한 오디오신호 처리에 관한 것으로, 구체적으로는 두개의 오디오샘플이 서로 매칭되는지 또 재생속도 변화를 포함한 여러가지 변환에 대해 안전한지 여부를 신속정확히 판단하는 기술에 관한 것이다. 본 발명의 기술에 의하면 변환을 정확히 예측할 수도 있다.
도 1은 분석이 끝난 오디오샘플의 분광사진;
도 2는 본 발명에 따라 오디오샘플에서 생긴 지문을 보여주는 그래프;
도 3은 본 발명의 원리에 따라 두개의 오디오샘플을 비교하기 위한 플로어차트;
도 4a-b는 통계적으로 높은 피크를 갖는 그래프와 없는 그래프;
도5a-b는 재생속도 변화에 따른 시간-주파수 포인트들의 움직임을 보여주는 그래프;
도 6a-b는 첫번째 오디오샘플(샘플 사운드)와 두번째 오디오샘플(데이타베이스 사운드)의 시간에 따른 매칭부호를 보여주는 그래프로서, 샘플사운드의 재생속도가 데이타베이스의 재생속도와 같을 때는 기울기가 1임;
도 7a-d는 본 발명에 따라 신속하고 효율적으로 기울기를 구하기 위한 여러가지 그래프.
발명의 개요
본 발명은 두개의 오디오파일들 사이의 관계를 신속하고 일관되게 특정하는 방법을 제공하여 오디오 인식기술에서의 종래의 문제점을 해결하고자 한다. 본 발명의 방법은 잡음이 심할 경우에도 정확하여, 전술한 기존의 문제점들을 극복한다.
본 발명에 의하면, 두개의 오디오샘플 각각에서 생긴 지문(fingerprint)들을 먼저 매칭시켜 오디오샘플 사이의 관계를 구할 수 있다. 각각의 오디오샘플에 대한 지문 세트가 형성된다. 각각의 지문은 오디오샘플내의 특정 위치에 생긴다. 각각의 위치는 오디오샘플의 컨텐츠에 따라 결정되고, 각각의 지문은 특정 위치나 그 부근에서 오디오샘플의 국부적 특징들을 하나 이상 보여준다. 일 실시예에서, 각각의 지문은 가변성분과 불변성분이란 특징을 갖는다. 다음, 매칭된 각각의 지문 쌍에 대한 상대값이 결정된다. 이들 상대값의 그래프가 형성된다. 그래프에 통계학적으로 큰 피크가 있으면, 두개의 오디오샘필은 매칭되었다고 할 수 있다.
본 발명의 다른 특징에 의하면, 그래프의 축에서 피크의 위치에 대한 글로벌 상대값을 평가하여 전술한 기술을 더 개선할 수 있다. 글로벌 상대값은 관심 피크 부근의 이웃을 선택하고 선택된 이웃의 상대값 평균을 계산하여 얻을 수 있다.
다른 실시예에서는, 그래프의 피크로부터 상대 재생속도값이 결정되고, 각각의 매칭된 지문 쌍에 대해 보상된 상대 타임오프셋이 계산된다. 보상된 상대 타임오프셋 값들로부터 다른 그래프가 얻어진다. 두번째 그래프에 통계학적으로 큰 피크가 있으면, 두개의 오디오샘플 사이의 관계를 피크에 의해 특정할 수 있어, 정확도가 더 개선된다.
본 발명에 의하면, 대형 오디오파일 데이타베이스를 신속하고 강력 불변적인 스케일러블 인덱싱(scalable indexing)과 서치가 가능하고, 특히 오디오패턴 인식분야에 유용하다. 경우에 따라서는, 여기서 설명된 기술을 이용해 전술한 미국특허출원에서 설명한 오디오 인식시스템과 방법들을 개선할 수 있다.
상용 오디오인식 시스템을 구축하는데 있어서는 두개의 오디오 샘플파일들을 아주 신속하고 효과적으로 비교하는 것이 필수적이다. 본 발명에 의하면, 두개의 오디오샘플 사이의 관계는 각각의 오디오 샘플들의 분광사진에서 생긴 지문들을 먼저 매칭시켜 성립된다(도 1 참조). 분광사진은 슬라이딩하는 윈도우 프레임에서 2*K 샘플들을 한번에 취하고 퓨리에 변환을 계산하여 생긴 시간-주파수 표현/분석으로서, 매 프레임마다 K 주파수대역을 생성한다. 분석의 시간해상도를 향상시키기 위해 프레임들을 중첩할 수도 있다. 사용된 특정 파라미터들은 처리되는 오디오샘플의 종류에 따라 좌우된다. 샘플링속도 8㎑, K=512의 프레임, 및 스트라이드 64 샘플의 이산 오디오파일들을 이용하는 것이 바람직하다.
지문
각각의 오디오샘플의 분광사진이 생성된 뒤, 국부적 에너지 피크와 같은 특징들을 스캔한다(도 2 참조). 각각의 오디오샘플의 국부적 특징에서 지문 세트를 추출하면서 매칭과정이 시작된다. 본 실시예에서, 한쪽 오디오샘플은 미지의 인식할 사운드샘플이고, 나머지 오디오샘플은 데이타베이스에 저장된 공지된 레코딩이다. 각각의 지문이 각각의 오디오샘플의 특정 위치에 생긴다. 경우에 따라서는 각각의 지문이 오디오파일에 어느정도 타임오프셋(time offset)을 두고 위치하고 각각의 시간좌표 부근의 오디오파일에 관한 서술정보 세트를 포함한다. 즉, 각각의 지문에 포함된 서술정보가 각각의 타임오프셋 부근의 오디오샘플에 대해 종속적으로 계산된다. 이 정보는 소형 데이타구조로 엔코딩된다. 바람직하게, 위치와 서술정보는 잡음, 왜곡, 기타 가변적인 재생속도와 같은 변환이 있을 경우에도 재생 가능하도록 결정된다. 이 경우, 각각의 위치는 각각의 오디오샘플의 컨텐츠에 따라 결정되고, 각각의 지문은 특정 위치, 예컨대 도 1의 (t1,f1) 또는 (t2,f2)와 같은 위치에서의 오디오샘플의 국부적 특징들을 나타낸다.
본 실시예에서, 각각의 지문은 자신의 위치, 가변성분 및 불변성분의 특징을 보인다. 분광사진의 피크가 국부적 특징이고, 각각의 주파수값은 대응 분광사진 피크의 주파수 좌표로부터 결정된다. 이들 피크는 각각의 시간-주파수 좌표의 부근을 서치하여, 그리고 그 이웃보다 큰 값을 갖는 지점들을 선택하여 결정된다. 구체적으로는, 도 2에 도시된 것처럼, 오디오샘플(210)은 에너지가 높아 보이는 영역들(221,222)을 갖는 분광사진(220)으로 분석된다. 국부적 에너지 영역들(221,222)에 관한 정보가 추출되어 지문(231,232...) 리스트(230)로 요약된다. 각각의 지문은 국부필드(242), 가변성분(252), 불변성분(262)을 포함할 수 있다. 바람직하게는, 선택된 포인트 각각이 이곳을 중심으로 한 21x21 단위블록중에서 최대가 되도록 이웃을 선택한다. 이웃과 포인트 선택에 대한 더 자세한 설명은 전술한 미국특허출원을 참조한다. 다음, 각각의 매칭된 지문 쌍에 대한 상대값이 결정된다. 경우에 따라서는, 상대값은 각각의 오디오샘플의 파라미터값의 로그값의 몫이나 차이이다. 이어서 상대값의 그래프가 형성된다. 그래프에 통계학적으로 큰 피크가 있으면, 두개의 오디오샘플은 실질적으로 매칭되었다고 볼 수 있다.
도 3에서, 오디오샘플(1,2) 각각에 대해 전술한 바와 같은 지문리스트(310,320)가 준비되었다. 각 리스트의 지문(311,322)을 비교한다. 351 단계에서는 불변성분(Inv,Inv')을 이용해 매칭되는 지문들을 짝짓고 352 단계에서 리스트로 만든다. 353 단계에서는 각각의 매칭된 쌍에 대한 상대값을 계산한다. 다음, 354 단계에서, 상대값의 그래프를 만든다. 355 단계에서는 통계학적으로 큰 피크를 그래프에서 서치한다. 356 단계에서 아무것도 발견되지 못하면, 오디오샘플(1,2)은 매칭되지 않은 것이다(도 4A의 그래프 410 참조). 한편, 통계학적으로 큰 피크가 검출되면, 오디오샘플(1,2)은 매칭된 것이다(도 4B의 그래프 420 참조).
361 단계에서 보듯이, 그래프의 축에서 피크의 위치에 대한 글로벌 상대값(R)을 추정하면, 전술한 기술을 더 향상시킬 수 있다. 경우에 따라, R은 관심 피크 주변의 이웃을 먼저 선택하면 R을 다듬을 수 있다. 도 1에서는 특정 위치(t1,f1) 둘레의 관심영역(110)에서 이것이 보인다. 다음, 선택된 이웃의 상대값의 평균을 계산한다. 평균값은 선택된 이웃의 각각의 상대값에서 포인트 수로 계산된 가중 평균값일 수 있다. 경우에 따라, 각각의 매칭 쌍에 대한 상대 타임오프셋 값 t'-R*t을 생성하도록 R을 더 다듬을 수 있다. 362-364 단계에서는, 이들 상대 타임오프 값들로 두번째 그래프를 만들어, 보상된 타임오프셋을 계산할 수 있다.
위그너-빌 분포함수나 웨이브렛(wavelet) 등의 다른 종류의 시간-주파수 분석법을 지문추출에 이용할 수도 있다. 또, 분광사진 피크 대신, cepstral 계수 등의 다른 특징을 사용할 수도 있다. 또, 분광사진 피크로 제공된 시간-주파수 좌표의 더 정밀한 주파수와 시간 추정치를 얻는데 super-resolution 기술을 이용할 수 있다. 예컨대, 주파수 해상도를 높이기 위해 주파수대역에 대한 포물선 보간법을 이용할 수 있다. 이와 관련한 설명은, 1987년 개최된 International Computer Music Conference (ICMC-87, Tokyo)의 회의록에 기재된 Julius O. Smith III와Xavier Serra의 "PARSHL: An ANalysis/Synthesis Program for Non-Harmonic Sounds Based on a sinusoidal Representation"과, 1988년 1월 Prentice Hall에서 Steven M. Kay의 "Modern Spectral Estimation: Theory and Application"에서 볼 수 있고, 이들 둘다 본 발명에 참고하였다.
매칭
매칭동작에서, 두개의 오디오샘플을 각각의 지문을 통해 비교한다. 도 3을 참조해 설명한 대로, 매칭된 지문 쌍들이 생기되, 각각의 쌍은 실질적인 매칭 성분들을 포함한다. 고속서치가 가능하도록 데이타를 준비하는 방법중 하나는, 32비트 무부호 정수와 같은 숫자기호로 지문을 엔코딩하고, 이 숫자기호를 분류와 서치 기준으로 이용하는 것이다. 효과적인 데이타 조작기술은 당 분야에 공지되어 있는바, Donald Ervin Knuth (April 1988)의 "Art of Computer Programming, Volume 3: Sorting and Searching (2nd Edition)을 참조한다.
본 실시예에서, 각각의 지문은 불변성분과 가변성분을 포함한다. 불변성분은 스펙트럼 피크에 해당하는 주파수값들의 비이고, 스펙트럼 피크들 사이의 Δt(시간차) 값의 비는 시간 스트레치(time stretch)에서 불변한다. 예컨대, 도 5A, 5B에 따르면, 오디오샘플의 분광사진의 국부적 스펙트럼 피크의 좌표가 (t1,f1), (t2,f2), (t3,f3)이면, 2 지점의 값은 불변값으로서 f2'/f1' = f2/f1이다. 3 지점들의 다른 불변값은 f3/f1, (t3-t1)/(t2-t1) 또는 (t3-t2)/(t2-t1)이거나, 또는 이들 지점들을 치환하거나 이들 량의 함수들을 계산하거나 이들 량을 조합하여 생긴 다른 조합으로 주어진다. 예컨대, f2/f3는 f2/f1을 f3/f1으로 나누면 얻어진다. 또, 오디오샘플이 선형으로 스트레치되어 재생이 더 빨리 되거나 하면, 주파수와 Δt가 상호관계를 맺어, 예컨대 f1*(t2-t1)와 같은 양이 불변으로 된다. 이들의 로그값을 이용해, 곱셈과 나눗셈 대신 덧셈과 뺄셈을 할 수도 있다. 주파수 비와 타임스트레치 비 둘다 발견하려면, 이들이 서로 독립적이라 할 경우, 주파수 변수와 시변수를 모두 가져야 한다.
효과적인 매칭을 위해, 지문 인덱스에는 불변부를 이용하고, 서치에는 개략적이거나 정확한 값을 이용했다. 개략적 매칭을 이용한 서치는 왜곡이나 라운딩오차에 특히 강력하지만, 불변성분들을 통한 서치가 다차원 범위의 서치로 될 경우 비용 증가를 가져온다. 바람직한 실시예에서, 각각의 지문들의 불변성분을 정확히 매칭시켜, 속도가 아주 빠르면서도 잡음중에서의 인식감도의 저하가 거의 없는 시스템을 만든다. 이 방식은, 대응 오디오샘플의 일부 지문만 정확히 매칭할 때에도 잘 적용된다. 그래프의 피크 검출단계에서, 지문중 1-2%만 정확히 매칭될 경우에도 피크가 통계적으로 상당히 클 수 있다.
가변성분은 매칭되는 지문의 수를 좁히는데 사용될 수 있으며, 불변성분과 함께 또는 그 대신 사용된다. 예를 들어, 첫번째 오디오샘플의 가변성분 V가 두번째 오디오샘플의 V'와 ±20% 범위내에서 매칭될 필요가 있을 수 있다. 이 경우, 상부부위(예; 최상위 비트)가 불변성분을 포함하고, 하부부위(예; 최하위비트)가 가변성분을 포함하도록 숫자기호를 나타낼 수 있다. 다음, 개략적 매칭을 위한 서치는 가변성분의 최저값과 최고값을 이용해 구성된 기호를 통한 범위서치로 된다. 따라서, 가변성분을 이용해 서치할 경우 불변성분의 이용이 반드시 필요한 것은 아니다. 그러나, 매칭과정에서 불변성분을 이용하면 잘못된 매칭 수를 줄여 그래프 처리과정을 최적화하고 오버헤드 처리량을 줄이므로 권장할만 하다.
한편, 새로운 가변성분 자체는 두개의 지문 사이의 매칭 기준의 일부이거나 아닐 수 있다. 가변성분은 오리지널 레코딩에서 샘플된 레코딩으로 이전하는 몇가지 간단한 파라미터 변환에 의해 왜곡될 수 있는 값을 나타낸다. 예컨대, f1, f2, f3와 같은 주파수 가변성분과, (t2-t1), (t3-t1), (t3-t2)와 같은 시간 가변성분을 재생속도 변화를 위한 가변성분으로 선택할 수 있다. 데이타베이스로부터의 매칭 번역을 의미하는 두번째 오디오샘플이 첫번째 오디오샘플에 대해 앞에서 리스트한 지점에 대응하는 좌표 (t1',f1'), (t2',f2'), (t3',f3')를 갖는다고 하자. 주파수성분 f1'은 f1'=Rf*f1의 값을 갖고, 여기서 Rf는 첫번째 샘플 레코딩이 두번째 샘플레코딩에 비해 얼마나 빠르거나 느린지를 설명하는 선형 스트레치 파라미터이다. 두개의 매칭 오디오샘플 각각의 가변성분은 두개의 주파수 값의 비, Rf=f1'/f2'를 계산함으로써 거시적 파라미터를 의미하는 글로벌 스트레치 값의 추정값을 계산하는데 사용될 수 있다. 이것은 두개의 매칭된 시간-주파수 포인트들의 상대 피치비를 제공하는바; 예컨대 Rf=2는 첫번째 오디오샘플이 두번째의 피치(주파수)의 절반임을 의미한다. 다른 가능성은 Rt=(t2'-t1')/(t2-t1)을 이용하는 것이다. 이 경우, 상대값 R은 상대적 재생속도비로서, Rt=2는 첫번째 오디오샘플이 두번째 오디오샘플의 두배의 속도로 플레이함을 의미한다.
Rf=1/Rt, 즉 f'/f=(t2-t1)/(t2'-t1')이면, 두개의 오디오샘플이 선형 타임스트레치 관계를 갖는데, 이는 이런 오디오 샘플의 시간-주파수의 역수관계 때문이다. 이 경우, 본 출원에서 설명한 그래프 처리법에서 먼저 대응하는 변동 주파수성분을 이용해 상대 주파수비의 추정치 Rf를 구한 다음, 상대 재생속도의 추정치 Rt를 구하고, 이들을 비교해 재생관계가 선형인지 비선형인지 판단한다.
일반적으로, 오디오샘플 1, 2의 대응하는 가변성분들을 이용해 매칭된 지문에서 상대값을 계산한다. 상대값은 주파수나 Δt의 비이거나 또는 두가지 오디오샘플 사이의 매핑을 설명하는데 사용되는 글로벌 파라미터의 추정치를 가져오는 다른 함수일 수 있다. 그러나, 일반적으로, 입력값이 두개인 함수 F()이기만 하면, 예컨대 R=F(v1,v1')를 사용할 수도 있는데, 여기서 v1, v1'은 각각 변동값이다. F()가 연속함수이어서 v1, v1' 측정에 작은 오차가 있어도 출력값 R의 오차가 작은 것이 가장 좋다.
그래프 처리
전술한 바와 같이, 매칭하는 지문 쌍 리스트에서 계산된 상대값 세트를 통해 그래프를 구한다. 그래프에서 피크를 서치한다. 그래프에 통계학적으로 높은 피크가 있으면, 매칭이 가능함을 의미한다. 이 방식은, (t1'-t1)과 같은 타임오프셋의 차이 대신 상대값의 막대그래프들을 서치하는 것이다. 본 발명의 원리에 의하면, 그래프는 카운트 값들 막대그래프를 형성하고, 각각의 그래프는 축상의 특정 값에 대응한다. 본 발명의 목적을 위해, 상대값 리스트를 분류하기만 해도 그래프를 만들 수 있다. 따라서, 상대값 리스트의 그래프의 피크를 검출하는 첫번째 효과적인 방식은 오름순차로 리스트를 분류한 다음, 동일하거나 비슷한 값을 갖는 최대 아이템 집단을 스캔하는 것이다.
통계학적 중요성
전술한 바와 같이, 본 발명에서는, 지문들중 2% 정도만이 모든 왜곡에서 살아남아 올바르게 매칭되어도 두개의 오디오샘플들을 옳게 매칭할 수 있다. 이것은 두개의 오디오샘플 사이의 비교결과를 점수화하면 가능하다. 구체적으로, 그래프의 피크점 둘레의 이웃을 선택하고, 이웃에 속하는 모든 매칭 쌍들을 카운트하여, 점수화한다. 또, 가중치를 두어, 피크의 중심에서 떨어질수록 기여도를 낮출 수도 있다.
컷오프 기준을 예측하는 한가지 방법은, 비매칭 트랙의 점수의 확률분포중에서 지수꼬리(exponential tail)를 제거하는 것이다. 이 모델을 실제 측정된 비매칭 트랙의 점수분포에 적용한다. 다음, N 트랙의 데이타베이스에서 최고 점수의 누적 확률분포들(예; 싱글 비매칭 점수의 누적 확률분포중 N제곱으로 취한 분포)를 계산한다. 일단 확률곡선이 나오고 false positive(가양성)의 최대레벨이 선정되면(예; 0.5%), 수치 임계값을 선택하고, 이 값을 이용해 그래프 피크가 통계학적으로 높은 수의 매칭쌍을 갖는지의 여부를 판단할 수 있다.
초정밀 평가
일단 통계학적으로 높은 그래프피크가 발견되면, (상대 재생속도와 같은) 글로벌 상대값에 대한 고해상 "초정밀" 평가가 완료되었다고 할 수 있다. 피크 둘레의 이웃, 예컨대 피크 그래프를 중심으로 약 3 또는 5개의 그래프를 포함한 이웃을 선택하고, 이웃의 상대값 평균을 계산하면 된다. 이 기술을 이용해, 0.05% 이내의 정확한 상대 재생속도를 찾을 수 있다. 이런 오프셋 유도법(offset derivation)으로, 글로벌 타임오프셋을 1밀리초 이내의 정확도로 판단할 수 있고, 이는 전술한 분광사진 프레임의 시간해상도보다 더 미세하다.
로버스트 회귀(Robust Regression)
전술한 미국특허출원에서 설명한 바와 같이, 샘플들이 실제로 매칭된 경우, 매칭 샘플들이 매칭 지문의 대응 시간좌표 (t',t)를 갖는 산포도로부터 경사선을 그릴 수 있다(도 6A 참조). 목적은 산포도의 방정식을 구하는데 있는데, 이 방정식은 잡음이 아주 많을 때 기울기와 시간의 오프셋에 의해 결정된다. 기울기는 상대 재생속도를 의미하고, 오프셋은 한쪽 오디오샘플의 시작점으로부터 두번째 오디오샘플의 시작점까지의 상대 오프셋이다. 최소자승법과 같은 종래의 회귀분석법도 이용할 수 있는데, 이에 대해서는 캠브리지 대학신문에 게재된 1993년 1월의 William H. Press, Brian P. Flannery, Saul A. Teukolsky & William T. Vetterling의 "Numerical Recipes in C: The Art of Scientific Computing (2nd Edition)"을 참조하고, 그 내용은 본 발명에서 참고하였다. 불행히도, 이들 종래의 기술은 그 감도가 불균형적이어서, 현격한 이상값이 하나만 있어도 추정 회귀 파라미터가 크게 왜곡될 수 있다. 실제로는, 여러 포인트들이 이상값의 지배를 받아, 올바른 기울기를 찾기가 아주 어렵다. 다른 로버스트 회귀분석법을 이용해 이런 이상값 문제를 극복할 수도 있는데, 이 경우 잡음이 있을 때 여러 포인트들 사이의 선형 관계를 찾을 수는 있지만, 속도가 느리고 상관적이며 최적값을 국부적으로만 얻을 가능성이 있다. 미지의 회귀선을 찾는 기술은 아주 다양하게 있다. The Mathworks에서 볼 수 있고 본 발명에서 참고로 한 Matlab toolkit에는 회귀분석을위한 다양한 소프트웨어 루틴이 포함되어 있다.
본 발명은 매칭 기울기가 1이 아닌 경우에도 시간-시간 산포도에서 회귀선을 찾는 문제를 해결하는 상대 재생속도(또는 마찬가지로 선형 재생관계의 경우 상대 피치의 관계)를 추정하는 새로운 방법을 제시한다(도 6B 참조). 전술한 바와 같이, 국부적인 상대 재생속도 그래프를 이용하면 전에는 고려하지 못했던 정보를 이용할 수 있고, 회귀분석 문제를 신속하고 효과적으로 해결한다는 예상치 못했던 장점도 생긴다.
오프셋을 찾기 위해, 대응 시간 포인트들이 다음 관계를 갖는다고 하자:
오프셋 = t1' - Rt*t1
여기서 Rt는 전술한 바와 같이 구해진다. 이 값은 보상된 타임오프셋이고 두개의 오디오샘플 사이의 시간좌표 체계를 표준화하는 역할을 한다. 이것은, 도 7A의 미지의 경사선과 도 7C의 수직선을 만드는 시간-시간 산포도상의 전단변환(shear transformation)으로 나타날 수도 있다. 도 7B의 그래프(720)에서 보이는 누적 상대 재생속도비의 피크는 글로벌 상대 재생속도비 R을 표시한다. 오프셋 공식에 의해 새로운 상대값들이 주어지고, 새로운 그래프(740)가 생긴다(도 7D 참조). 이 그래프(740)의 피크값은 글로벌 오프셋의 추정값을 제시하고, 전술한 바와 같이 이 추정값은 피크 부근의 이웃의 값들의 평균을 이용해 현저하게 나타날 수 있다.
요컨대, 첫번째 그래프 단계에서는 상대 재생속도를 추정하고 또한 매칭이 존재하는지를 판단한다. 두번째 그래프 단계에서는, 후보 매칭 오디오샘플들이 일시적으로 정렬되는 상당한 수의 지문들을 갖는 것을 확인한다. 두번째 그래프 단계는 별도의 두번째 판단기준으로 작용하고, false positive 확률을 낮추어 두개의 오디오샘플들이 매칭되는지를 판단하기 위한 더 강력한 기준을 제공한다. 두번째 그래프 단계는 첫번째 그래프에 통계적으로 높은 피크가 있을 경우에만 실행되므로, 계산상의 리소스와 노력이 절감된다. 리스트상의 모든 매칭된 지문 쌍들에 대한 두번째 그래프를 계산하지 않고, 계산상의 장애를 줄이는 등 더 최적화할 수도 있는데, 첫번째 그래프의 피크값에 대응하는 매칭 쌍들만을 이용해 두번째 그래프를 만드는 방법이 있다.
멀티플 레코딩의 동기화
본 발명은 동기화되지 않은 오디오 레코딩들의 큐잉(cueing)과 시정렬에 이용될 수도 있다. 예컨대, DAT 레코더와 카세트레코더가 약간 다른 장소나 환경에서 서로 다른 마이크로폰으로 독립적으로 작동된다고 하자. 뒤에 각각의 레코딩들로부터의 두개의 레코딩을 하나의 믹스로 합치고자 할 경우, 전술한 로버스트 회귀분석기술을 이용해 두개의 트랙들을 동기화하여 타임오프셋을 얻을 수 있다. 이렇게 하면, 비동기 레코더들이 약간 다른 속도로 작동한다 해도, 고도의 정밀도로 상대속도를 결정하여, 하나의 레코딩을 다른 레코딩에 대해 보상할 수 있다. 이것은, 레코딩들중 하나가 오염되어 다른 소스로부터 보충되어야 할 경우 유용하다. 이상 설명한 시정렬과 동기화는 따라서 투명한 믹싱을 가능케 한다.
데이타베이스 서치
비교가 아주 신속하므로, 대량의 오디오샘플 데이타베이스를 각각의 지문 리스트로 전처리하는 것이 가능하다. 따라서, 당업자라면 알 수 있겠지만, 현재 가능한 데이타 처리기술을 이용해 미지의 오디오샘플을 자체적인 지문 리스트로 전처리할 수 있다. 이상 설명한 매칭, 그래프처리, 피크값 검출기술들은 데이타베이스에서 전처리된 지문들을 이용해 매칭을 찾는데 사용될 수 있다.
이상 본 발명과 그 장점에 대해 자세히 설명했지만, 본 발명은 이상의 설명에 한정되지 않는다. 특히, 본 발명을 예시하기 위한 도면과 설명들은 단지 예를 든 것일 뿐이고, 본 발명이 이에 한정되는 것은 아님을 알아야 한다. 종래의 방법이나 기술에 대해서는 본 발명의 원리의 이해를 방해하지 않기 위해 자세히 설명하지 않았다. 당업자라면 알 수 있겠지만, 본 발명은 발명의 원리와 정신을 벗어나지 않고 다양하게 변형되어 구현될 수 있다. 예컨대, 지금까지 설명한 방법이나 기술이 컴퓨터 판독매체에 저장된 컴퓨터 실행명령어 형태로 구현될 수도 있다. 한편, 본 발명은 클라이언트/서버의 컴퓨터 시스템에서 구현될 수도 있다. 클라이언트는 두개의 오디오샘플 사이의 관계 설명에 필요한 지문 등의 정보를 서버로 보내고, 서버에서 이 작업이 실행된다. 따라서, 본 발명의 범위는 첨부 특허청구범위에 의해서만 제한되어야 한다.

Claims (18)

  1. 두개의 오디오샘플 사이의 관계를 특정하는 방법에 있어서:
    첫번째 오디오샘플의 제1 지문 세트를 생성하되, 각각의 지문은 첫번째 오디오샘플 내부의 각각의 위치에서 발생하고, 각각의 위치는 첫번째 오디오샘플의 컨텐츠에 따라 결정되며, 각각의 지문은 각각의 위치 또는 그 부근에서 첫번째 오디오샘플의 하나 이상의 특징을 나타내는 단계;
    두번째 오디오샘플의 제2 지문 세트를 생성하되, 각각의 지문은 두번째 오디오샘플 내부의 각각의 위치에서 발생하고, 각각의 위치는 두번째 오디오샘플의 컨텐츠에 따라 결정되며, 각각의 지문은 각각의 위치 또는 그 부근에서 두번째 오디오샘플의 하나 이상의 특징을 나타내는 단계;
    첫번째 오디오샘플의 제1 지문과, 두번째 오디오샘플중 제1 지문과 비슷한 제2 지문을 매칭시켜 지문을 짝짓기 하는 단계;
    상기 짝짓기 단계를 기초로 매칭된 지문 쌍 리스트를 생성하는 단계;
    각각의 매칭된 지문 쌍에 대한 상대값을 결정하는 단계;
    상기 상대값들의 그래프를 만드는 단계; 및
    상기 두개의 오디오샘플들 사이의 관계를 나타내면서도 통계학적으로 큰 피크를 상기 그래프에서 서치하는 단계;를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 통계학적으로 큰 피크가 발견되었을 경우 상기 두개의 오디오샘플들 사이의 관계가 매칭이라고 보는 것을 특징으로 하는 방법.
  3. 제1항 또는 제2항에 있어서, 그래프 축에서의 피크 위치로 글로벌 상대값을 평가하는 단계를 더 포함하고, 상기 글로벌 상대값이 두개의 오디오샘플 사이의 관계를 나타내는 것을 특징으로 하는 방법.
  4. 제3항에 있어서, 상기 글로벌 상대값의 초정밀 평가를 결정하는 단계를 더 포함하고;
    상기 결정단계는,
    피크 부근의 이웃을 선택하는 단계와, 이웃의 상대값의 평균을 계산하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서, 각각의 지문이 불변성분을 갖고, 매칭된 지문 쌍 각각의 제1 및 제2 지문들이 매칭되는 불변성분들을 갖는 것을 특징으로 하는 방법.
  6. 제5항에 있어서, 상기 불변성분이 아래중 적어도 하나를 이용해 생성되는 것을 특징으로 하는 방법.
    (i) 각각의 지문의 위치 부근의 제1 및 제2 국부적 특징들로부터 결정되는 제1 및 제2 주파수값들 사이의 비;
    (ii) 주파수값과 Δt의 곱, 여기서 주파수값은 제1 국부적 특징으로부터 결정되고, Δt는 각각의 지문의 위치 부근의 제1 및 제2 국부적 특징들 사이에서 결정됨;
    (iii) 제1 및 제2 Δt 값들 사이의 비, 제1 Δt 값은 제1 및 제2 국부적 특징들로부터 결정되고, 제2 Δt 값은 제1 및 제3 국부적 특징들로부터 결정되며, 각각의 국부적 특징은 각각의 지문 위치 부근에 있음.
  7. 제6항에 있어서, 각각의 국부적 특징이 분광사진의 피크이고, 각각의 주파수값은 대응 분광사진 피크의 주파수 좌표로부터 결정되는 것을 특징으로 하는 방법.
  8. 제1항 또는 제5항에 있어서, 각각의 지문이 가변성분을 갖고, 각각의 매칭된 지문 쌍의 상대값은 제1 및 제2 지문들의 각각의 가변성분들을 이용해 결정되는 것을 특징으로 하는 방법.
  9. 제8항에 있어서, 상기 가변성분은 각각의 지문의 위치 부근의 국부적 성분으로부터 결정된 주파수값이어서, 매칭된 지문 쌍의 상대값은 제1 및 제2 지문들 각각의 주파수값들의 비로 특정되며, 그래프의 피크는 두개의 오디오샘플 사이의 상대 피치 또는 선형 스트레치의 경우 상대 재생속도와 같은 관계를 보이는 것을 특징으로 하는 방법.
  10. 제9항에 있어서, 상기 주파수값의 비가 로그값들의 몫이나 차이인 것을 특징으로 하는 방법.
  11. 제9항에 있어서, 각각의 국부적 특징이 분광사진 피크이고, 각각의 주파수값이 대응 분광사진 피크의 주파수좌표로부터 결정되는 것을 특징으로 하는 방법.
  12. 제8항에 있어서, 상기 가변성분이 각각의 지문의 위치 부근의 제1 및 제2 국부적 특징들로부터 결정된 Δt 값이어서, 매칭된 지문 쌍의 상대값은 각각의 변동 Δt 값들의 비로 특정되며, 그래프의 피크는 두개의 오디오샘플 사이의 상대 재생속도 또는 선형 스트레치의 경우 상대 피치와 같은 관계를 보이는 것을 특징으로 하는 방법.
  13. 제12항에 있어서, 각각의 변동 Δt 값들의 비가 로그값들의 몫이나 차이인 것을 특징으로 하는 방법.
  14. 제12항에 있어서, 각각의 국부적 특징이 분광사진의 피크이고, 각각의 주파수값은 대응 분광사진 피크의 주파수좌표로부터 결정되는 것을 특징으로 하는 방법.
  15. 제8항에 있어서,
    각각의 지문의 위치 부근의 국부적 특징으로부터 결정된 주파수값인 각각의가변성분을 이용해 두개의 오디오샘플의 상대피치를 결정하는 단계;
    각각의 지문의 위치 부근의 제1 및 제2 국부적 특징들로부터 결정된 Δt 값인 각각의 가변성분을 이용해 두개의 오디오샘플의 상대 재생속도를 결정하는 단계; 및
    두개의 오디오샘플 사이의 관계가 비선형일 경우 상기 상대피치와 상대재생속도의 역수가 다른지를 결정하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
  16. 제1항에 있어서, R은 상대값 그래프의 피크로부터 결정된 상대 재생속도값이고;
    리스트내의 각각의 매칭된 지문 쌍에 대해, 보상된 상대 타임오프셋 값 t-R*t'를 결정하는 단계, 여기서 t, t'는 제1 및 제2 지문들에 대한 시간상의 위치임;
    상기 보상된 상대 타임오프셋 값들에 대한 제2 그래프를 형성하는 단계; 및
    상기 보상된 상대 타임오프셋 값의 제2 그래프에서 두개의 오디오샘플 사이의 관계를 보여주는 통계학적으로 큰 피크를 서치하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
  17. 전항들중의 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램 제품.
  18. 두개의 오디오샘플 사이의 관계를 특정하는데 필요한 정보를 서버에 보내기위한 클라이언트를 포함하는, 제1항 내지 제16항중의 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 시스템.
KR1020047016919A 2002-04-25 2003-04-18 확실하고 불변적인 오디오 패턴 매칭방법 KR100820385B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US37605502P 2002-04-25 2002-04-25
US60/376,055 2002-04-25
PCT/US2003/012126 WO2003091990A1 (en) 2002-04-25 2003-04-18 Robust and invariant audio pattern matching

Publications (2)

Publication Number Publication Date
KR20050010763A true KR20050010763A (ko) 2005-01-28
KR100820385B1 KR100820385B1 (ko) 2008-04-10

Family

ID=29270756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047016919A KR100820385B1 (ko) 2002-04-25 2003-04-18 확실하고 불변적인 오디오 패턴 매칭방법

Country Status (16)

Country Link
US (1) US7627477B2 (ko)
EP (1) EP1504445B1 (ko)
JP (1) JP4425126B2 (ko)
KR (1) KR100820385B1 (ko)
CN (1) CN1315110C (ko)
AT (1) ATE405924T1 (ko)
AU (1) AU2003230993A1 (ko)
BR (1) BR0309598A (ko)
CA (1) CA2483104C (ko)
DE (1) DE60323086D1 (ko)
DK (1) DK1504445T3 (ko)
ES (1) ES2312772T3 (ko)
HK (1) HK1073382A1 (ko)
PT (1) PT1504445E (ko)
TW (1) TWI269196B (ko)
WO (1) WO2003091990A1 (ko)

Families Citing this family (285)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834308B1 (en) 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
US7853664B1 (en) * 2000-07-31 2010-12-14 Landmark Digital Services Llc Method and system for purchasing pre-recorded music
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US7562012B1 (en) 2000-11-03 2009-07-14 Audible Magic Corporation Method and apparatus for creating a unique audio signature
WO2002082271A1 (en) 2001-04-05 2002-10-17 Audible Magic Corporation Copyright detection and protection system and method
US7529659B2 (en) 2005-09-28 2009-05-05 Audible Magic Corporation Method and apparatus for identifying an unknown work
US7877438B2 (en) 2001-07-20 2011-01-25 Audible Magic Corporation Method and apparatus for identifying new media content
US8972481B2 (en) 2001-07-20 2015-03-03 Audible Magic, Inc. Playlist generation method and apparatus
US7239981B2 (en) 2002-07-26 2007-07-03 Arbitron Inc. Systems and methods for gathering audience measurement data
US9711153B2 (en) 2002-09-27 2017-07-18 The Nielsen Company (Us), Llc Activating functions in processing devices using encoded audio and detecting audio signatures
US8959016B2 (en) 2002-09-27 2015-02-17 The Nielsen Company (Us), Llc Activating functions in processing devices using start codes embedded in audio
CA2511919A1 (en) 2002-12-27 2004-07-22 Nielsen Media Research, Inc. Methods and apparatus for transcoding metadata
US8332326B2 (en) 2003-02-01 2012-12-11 Audible Magic Corporation Method and apparatus to identify a work received by a processing system
WO2005006758A1 (en) * 2003-07-11 2005-01-20 Koninklijke Philips Electronics N.V. Method and device for generating and detecting a fingerprint functioning as a trigger marker in a multimedia signal
CN100521781C (zh) * 2003-07-25 2009-07-29 皇家飞利浦电子股份有限公司 生成并检测用于同步音频和视频的指纹的方法和设备
US9053299B2 (en) 2003-11-03 2015-06-09 James W. Wieder Adaptive personalized playback or presentation using rating
US11165999B1 (en) 2003-11-03 2021-11-02 Synergyze Technologies Llc Identifying and providing compositions and digital-works
US8001612B1 (en) 2003-11-03 2011-08-16 Wieder James W Distributing digital-works and usage-rights to user-devices
US9053181B2 (en) 2003-11-03 2015-06-09 James W. Wieder Adaptive personalized playback or presentation using count
US9098681B2 (en) 2003-11-03 2015-08-04 James W. Wieder Adaptive personalized playback or presentation using cumulative time
US7884274B1 (en) 2003-11-03 2011-02-08 Wieder James W Adaptive personalized music and entertainment
US8554681B1 (en) * 2003-11-03 2013-10-08 James W. Wieder Providing “identified” compositions and digital-works
US20150128039A1 (en) 2003-11-03 2015-05-07 James W. Wieder Newness Control of a Personalized Music and/or Entertainment Sequence
US8396800B1 (en) 2003-11-03 2013-03-12 James W. Wieder Adaptive personalized music and entertainment
AU2003294095B2 (en) * 2003-11-27 2010-10-07 Advestigo System for intercepting multimedia documents
EP1719273A4 (en) 2004-02-19 2009-07-15 Landmark Digital Services Llc METHOD AND DEVICE FOR IDENTIFYING THE RADIATION SOURCE
JP2007533274A (ja) 2004-04-19 2007-11-15 ランドマーク、ディジタル、サーヴィセズ、エルエルシー コンテントのサンプリングおよび識別のための方法およびシステム
US20050267750A1 (en) 2004-05-27 2005-12-01 Anonymous Media, Llc Media usage monitoring and measurement system and method
US20150051967A1 (en) 2004-05-27 2015-02-19 Anonymous Media Research, Llc Media usage monitoring and measurment system and method
WO2006012241A2 (en) * 2004-06-24 2006-02-02 Landmark Digital Services Llc Method of characterizing the overlap of two media segments
US8130746B2 (en) 2004-07-28 2012-03-06 Audible Magic Corporation System for distributing decoy content in a peer to peer network
US7623823B2 (en) 2004-08-31 2009-11-24 Integrated Media Measurement, Inc. Detecting and measuring exposure to media content items
DE102004046746B4 (de) * 2004-09-27 2007-03-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Synchronisieren von Zusatzdaten und Basisdaten
EP1864243A4 (en) 2005-02-08 2009-08-05 Landmark Digital Services Llc AUTOMATIC IDENTIFICATION OF REPEATED MATERIAL IN AUDIO SIGNALS
DE102005014477A1 (de) * 2005-03-30 2006-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Datenstroms und zum Erzeugen einer Multikanal-Darstellung
US20070016918A1 (en) * 2005-05-20 2007-01-18 Alcorn Allan E Detecting and tracking advertisements
US9256668B2 (en) 2005-10-26 2016-02-09 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
IL185414A0 (en) * 2005-10-26 2008-01-06 Igal Raichelgauz Large-scale matching system and method for multimedia deep-content-classification
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US9529984B2 (en) 2005-10-26 2016-12-27 Cortica, Ltd. System and method for verification of user identification based on multimedia content elements
US9235557B2 (en) 2005-10-26 2016-01-12 Cortica, Ltd. System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US9396435B2 (en) 2005-10-26 2016-07-19 Cortica, Ltd. System and method for identification of deviations from periodic behavior patterns in multimedia content
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US9087049B2 (en) 2005-10-26 2015-07-21 Cortica, Ltd. System and method for context translation of natural language
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US20160321253A1 (en) 2005-10-26 2016-11-03 Cortica, Ltd. System and method for providing recommendations based on user profiles
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US9489431B2 (en) 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US9466068B2 (en) 2005-10-26 2016-10-11 Cortica, Ltd. System and method for determining a pupillary response to a multimedia data element
US9286623B2 (en) 2005-10-26 2016-03-15 Cortica, Ltd. Method for determining an area within a multimedia content element over which an advertisement can be displayed
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US8266185B2 (en) 2005-10-26 2012-09-11 Cortica Ltd. System and methods thereof for generation of searchable structures respective of multimedia data content
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US9558449B2 (en) 2005-10-26 2017-01-31 Cortica, Ltd. System and method for identifying a target area in a multimedia content element
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US10180942B2 (en) 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US9330189B2 (en) 2005-10-26 2016-05-03 Cortica, Ltd. System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US9031999B2 (en) 2005-10-26 2015-05-12 Cortica, Ltd. System and methods for generation of a concept based database
US9747420B2 (en) 2005-10-26 2017-08-29 Cortica, Ltd. System and method for diagnosing a patient based on an analysis of multimedia content
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US7688686B2 (en) 2005-10-27 2010-03-30 Microsoft Corporation Enhanced table of contents (TOC) identifiers
GB2431839B (en) * 2005-10-28 2010-05-19 Sony Uk Ltd Audio processing
KR100803206B1 (ko) 2005-11-11 2008-02-14 삼성전자주식회사 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법
EP2070231B1 (en) 2006-10-03 2013-07-03 Shazam Entertainment, Ltd. Method for high throughput of identification of distributed broadcast content
EP2074505A4 (en) 2006-10-05 2010-01-13 Splunk Inc CHRONOLOGICAL SERIES SEARCH ENGINE
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US8077839B2 (en) * 2007-01-09 2011-12-13 Freescale Semiconductor, Inc. Handheld device for dialing of phone numbers extracted from a voicemail
US20080317226A1 (en) * 2007-01-09 2008-12-25 Freescale Semiconductor, Inc. Handheld device for transmitting a visual format message
US10489795B2 (en) 2007-04-23 2019-11-26 The Nielsen Company (Us), Llc Determining relative effectiveness of media content items
US8849432B2 (en) * 2007-05-31 2014-09-30 Adobe Systems Incorporated Acoustic pattern identification using spectral characteristics to synchronize audio and/or video
US8140331B2 (en) * 2007-07-06 2012-03-20 Xia Lou Feature extraction for identification and classification of audio signals
US8006314B2 (en) 2007-07-27 2011-08-23 Audible Magic Corporation System for identifying content of digital data
US8213521B2 (en) 2007-08-15 2012-07-03 The Nielsen Company (Us), Llc Methods and apparatus for audience measurement using global signature representation and matching
WO2009059300A2 (en) * 2007-11-02 2009-05-07 Melodis Corporation Pitch selection, voicing detection and vibrato detection modules in a system for automatic transcription of sung or hummed melodies
CN101226741B (zh) * 2007-12-28 2011-06-15 无敌科技(西安)有限公司 一种活动语音端点的侦测方法
DE102008009024A1 (de) * 2008-02-14 2009-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum synchronisieren von Mehrkanalerweiterungsdaten mit einem Audiosignal und zum Verarbeiten des Audiosignals
DE102008009025A1 (de) * 2008-02-14 2009-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen eines Fingerabdrucks eines Audiosignals, Vorrichtung und Verfahren zum Synchronisieren und Vorrichtung und Verfahren zum Charakterisieren eines Testaudiosignals
GB2457694B (en) * 2008-02-21 2012-09-26 Snell Ltd Method of Deriving an Audio-Visual Signature
BR122012006265B1 (pt) * 2008-03-10 2024-01-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V Equipamento e método para a manipulação de um sinal de áudio tendo um evento transiente
GB2458471A (en) * 2008-03-17 2009-09-23 Taylor Nelson Sofres Plc A signature generating device for an audio signal and associated methods
EP2114079B2 (en) * 2008-05-02 2018-01-24 Psytechnics Ltd Method and apparatus for aligning signals
JP2010033265A (ja) 2008-07-28 2010-02-12 Nec Corp コンテンツ配信方法およびシステム
US8121830B2 (en) 2008-10-24 2012-02-21 The Nielsen Company (Us), Llc Methods and apparatus to extract data encoded in media content
US8359205B2 (en) 2008-10-24 2013-01-22 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US9667365B2 (en) 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8508357B2 (en) 2008-11-26 2013-08-13 The Nielsen Company (Us), Llc Methods and apparatus to encode and decode audio for shopper location and advertisement presentation tracking
US8199651B1 (en) 2009-03-16 2012-06-12 Audible Magic Corporation Method and system for modifying communication flows at a port level
US8738367B2 (en) * 2009-03-18 2014-05-27 Nec Corporation Speech signal processing device
US8351712B2 (en) 2009-04-27 2013-01-08 The Neilsen Company (US), LLC Methods and apparatus to perform image classification based on pseudorandom features
US8666528B2 (en) 2009-05-01 2014-03-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
GB2470201A (en) * 2009-05-12 2010-11-17 Nokia Corp Synchronising audio and image data
WO2010135623A1 (en) 2009-05-21 2010-11-25 Digimarc Corporation Robust signatures derived from local nonlinear filters
US8489774B2 (en) 2009-05-27 2013-07-16 Spot411 Technologies, Inc. Synchronized delivery of interactive content
WO2010138777A1 (en) * 2009-05-27 2010-12-02 Arsh Technologies, Llc Automatic resource retrieval and use
US10949458B2 (en) 2009-05-29 2021-03-16 Inscape Data, Inc. System and method for improving work load management in ACR television monitoring system
US8769584B2 (en) 2009-05-29 2014-07-01 TVI Interactive Systems, Inc. Methods for displaying contextually targeted content on a connected television
US9449090B2 (en) 2009-05-29 2016-09-20 Vizio Inscape Technologies, Llc Systems and methods for addressing a media database using distance associative hashing
US9055335B2 (en) 2009-05-29 2015-06-09 Cognitive Networks, Inc. Systems and methods for addressing a media database using distance associative hashing
US8190663B2 (en) * 2009-07-06 2012-05-29 Osterreichisches Forschungsinstitut Fur Artificial Intelligence Der Osterreichischen Studiengesellschaft Fur Kybernetik Of Freyung Method and a system for identifying similar audio tracks
EP2457232A1 (en) 2009-07-24 2012-05-30 Johannes Kepler Universität Linz A method and an apparatus for deriving information from an audio track and determining similarity between audio tracks
US20110041154A1 (en) * 2009-08-14 2011-02-17 All Media Guide, Llc Content Recognition and Synchronization on a Television or Consumer Electronics Device
US8161071B2 (en) 2009-09-30 2012-04-17 United Video Properties, Inc. Systems and methods for audio asset storage and management
US8677400B2 (en) 2009-09-30 2014-03-18 United Video Properties, Inc. Systems and methods for identifying audio content using an interactive media guidance application
US8521779B2 (en) 2009-10-09 2013-08-27 Adelphoi Limited Metadata record generation
US8706276B2 (en) 2009-10-09 2014-04-22 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for identifying matching audio
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US8860883B2 (en) * 2009-11-30 2014-10-14 Miranda Technologies Partnership Method and apparatus for providing signatures of audio/video signals and for making use thereof
US8682145B2 (en) 2009-12-04 2014-03-25 Tivo Inc. Recording system based on multimedia content fingerprints
US8886531B2 (en) * 2010-01-13 2014-11-11 Rovi Technologies Corporation Apparatus and method for generating an audio fingerprint and using a two-stage query
US9275141B2 (en) 2010-05-04 2016-03-01 Shazam Entertainment Ltd. Methods and systems for processing a sample of a media stream
KR101582436B1 (ko) 2010-05-04 2016-01-04 샤잠 엔터테인먼트 리미티드 미디어의 동기화 방법 및 시스템
US9159338B2 (en) 2010-05-04 2015-10-13 Shazam Entertainment Ltd. Systems and methods of rendering a textual animation
JP5907511B2 (ja) 2010-06-09 2016-04-26 アデルフォイ リミテッド オーディオメディア認識のためのシステム及び方法
US9876905B2 (en) 2010-09-29 2018-01-23 Genesys Telecommunications Laboratories, Inc. System for initiating interactive communication in response to audio codes
US20140046967A1 (en) * 2010-11-22 2014-02-13 Listening Methods, Llc System and method for pattern recognition and analysis
EP2676208A1 (en) 2011-02-18 2013-12-25 Shazam Entertainment Ltd. Methods and systems for identifying content in a data stream by a client device
US8589171B2 (en) 2011-03-17 2013-11-19 Remote Media, Llc System and method for custom marking a media file for file matching
US8478719B2 (en) 2011-03-17 2013-07-02 Remote Media LLC System and method for media file synchronization
US8688631B2 (en) 2011-03-17 2014-04-01 Alexander Savenok System and method for media file synchronization
US9380356B2 (en) 2011-04-12 2016-06-28 The Nielsen Company (Us), Llc Methods and apparatus to generate a tag for media content
US8996557B2 (en) 2011-05-18 2015-03-31 Microsoft Technology Licensing, Llc Query and matching for content recognition
MX2013014245A (es) 2011-06-06 2014-02-27 Bridge Mediatech S L Metodo y sistema para conseguir hashing de audio invariante al canal.
JP6060155B2 (ja) 2011-06-08 2017-01-11 シャザム エンターテインメント リミテッドＳｈａｚａｍ Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｌｉｍｉｔｅｄ 受信データの比較を実行しその比較に基づいて後続サービスを提供する方法及びシステム
CA2837725C (en) 2011-06-10 2017-07-11 Shazam Entertainment Ltd. Methods and systems for identifying content in a data stream
US9515904B2 (en) 2011-06-21 2016-12-06 The Nielsen Company (Us), Llc Monitoring streaming media content
US9209978B2 (en) 2012-05-15 2015-12-08 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US8620646B2 (en) * 2011-08-08 2013-12-31 The Intellisis Corporation System and method for tracking sound pitch across an audio signal using harmonic envelope
US8639178B2 (en) 2011-08-30 2014-01-28 Clear Channel Management Sevices, Inc. Broadcast source identification based on matching broadcast signal fingerprints
US9374183B2 (en) 2011-08-30 2016-06-21 Iheartmedia Management Services, Inc. Broadcast source identification based on matching via bit count
US9461759B2 (en) 2011-08-30 2016-10-04 Iheartmedia Management Services, Inc. Identification of changed broadcast media items
US9049496B2 (en) * 2011-09-01 2015-06-02 Gracenote, Inc. Media source identification
US9113202B1 (en) * 2011-09-21 2015-08-18 Google Inc. Inverted client-side fingerprinting and matching
US9460465B2 (en) 2011-09-21 2016-10-04 Genesys Telecommunications Laboratories, Inc. Graphical menu builder for encoding applications in an image
US9384272B2 (en) 2011-10-05 2016-07-05 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for identifying similar songs using jumpcodes
US8831763B1 (en) * 2011-10-18 2014-09-09 Google Inc. Intelligent interest point pruning for audio matching
US8538333B2 (en) 2011-12-16 2013-09-17 Arbitron Inc. Media exposure linking utilizing bluetooth signal characteristics
US8977194B2 (en) 2011-12-16 2015-03-10 The Nielsen Company (Us), Llc Media exposure and verification utilizing inductive coupling
US9268845B1 (en) * 2012-03-08 2016-02-23 Google Inc. Audio matching using time alignment, frequency alignment, and interest point overlap to filter false positives
JP2013205830A (ja) * 2012-03-29 2013-10-07 Sony Corp トーン成分検出方法、トーン成分検出装置およびプログラム
EP2648418A1 (en) * 2012-04-05 2013-10-09 Thomson Licensing Synchronization of multimedia streams
US9235867B2 (en) * 2012-06-04 2016-01-12 Microsoft Technology Licensing, Llc Concurrent media delivery
US9129015B1 (en) * 2012-06-26 2015-09-08 Google Inc. Min/max filter for audio matching
US9282366B2 (en) 2012-08-13 2016-03-08 The Nielsen Company (Us), Llc Methods and apparatus to communicate audience measurement information
US20140074466A1 (en) * 2012-09-10 2014-03-13 Google Inc. Answering questions using environmental context
US9081778B2 (en) 2012-09-25 2015-07-14 Audible Magic Corporation Using digital fingerprints to associate data with a work
US9390719B1 (en) * 2012-10-09 2016-07-12 Google Inc. Interest points density control for audio matching
US9069849B1 (en) * 2012-10-10 2015-06-30 Google Inc. Methods for enforcing time alignment for speed resistant audio matching
EP2731030A1 (en) * 2012-11-13 2014-05-14 Samsung Electronics Co., Ltd Music information searching method and apparatus thereof
US9158760B2 (en) 2012-12-21 2015-10-13 The Nielsen Company (Us), Llc Audio decoding with supplemental semantic audio recognition and report generation
US9183849B2 (en) 2012-12-21 2015-11-10 The Nielsen Company (Us), Llc Audio matching with semantic audio recognition and report generation
US9195649B2 (en) 2012-12-21 2015-11-24 The Nielsen Company (Us), Llc Audio processing techniques for semantic audio recognition and report generation
CN103971689B (zh) * 2013-02-04 2016-01-27 腾讯科技（深圳）有限公司 一种音频识别方法及装置
US9706252B2 (en) 2013-02-04 2017-07-11 Universal Electronics Inc. System and method for user monitoring and intent determination
US9313544B2 (en) 2013-02-14 2016-04-12 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
FR3002713B1 (fr) * 2013-02-27 2015-02-27 Inst Mines Telecom Generation d'une signature d'un signal audio musical
US9451048B2 (en) 2013-03-12 2016-09-20 Shazam Investments Ltd. Methods and systems for identifying information of a broadcast station and information of broadcasted content
US9773058B2 (en) 2013-03-15 2017-09-26 Shazam Investments Ltd. Methods and systems for arranging and searching a database of media content recordings
US20140278845A1 (en) 2013-03-15 2014-09-18 Shazam Investments Limited Methods and Systems for Identifying Target Media Content and Determining Supplemental Information about the Target Media Content
US9390170B2 (en) 2013-03-15 2016-07-12 Shazam Investments Ltd. Methods and systems for arranging and searching a database of media content recordings
US9269022B2 (en) 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements
US10225136B2 (en) 2013-04-30 2019-03-05 Splunk Inc. Processing of log data and performance data obtained via an application programming interface (API)
US10346357B2 (en) 2013-04-30 2019-07-09 Splunk Inc. Processing of performance data and structure data from an information technology environment
US10614132B2 (en) 2013-04-30 2020-04-07 Splunk Inc. GUI-triggered processing of performance data and log data from an information technology environment
US10353957B2 (en) 2013-04-30 2019-07-16 Splunk Inc. Processing of performance data and raw log data from an information technology environment
US10997191B2 (en) 2013-04-30 2021-05-04 Splunk Inc. Query-triggered processing of performance data and log data from an information technology environment
US10318541B2 (en) 2013-04-30 2019-06-11 Splunk Inc. Correlating log data with performance measurements having a specified relationship to a threshold value
US10019496B2 (en) 2013-04-30 2018-07-10 Splunk Inc. Processing of performance data and log data from an information technology environment by using diverse data stores
US9460201B2 (en) 2013-05-06 2016-10-04 Iheartmedia Management Services, Inc. Unordered matching of audio fingerprints
CN103402118B (zh) * 2013-07-05 2017-12-01 Tcl集团股份有限公司 一种媒体节目互动方法及***
US20150039321A1 (en) 2013-07-31 2015-02-05 Arbitron Inc. Apparatus, System and Method for Reading Codes From Digital Audio on a Processing Device
US9711152B2 (en) 2013-07-31 2017-07-18 The Nielsen Company (Us), Llc Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio
US9275427B1 (en) * 2013-09-05 2016-03-01 Google Inc. Multi-channel audio video fingerprinting
US9898086B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
US9053711B1 (en) 2013-09-10 2015-06-09 Ampersand, Inc. Method of matching a digitized stream of audio signals to a known audio recording
US10014006B1 (en) 2013-09-10 2018-07-03 Ampersand, Inc. Method of determining whether a phone call is answered by a human or by an automated device
TWI527025B (zh) * 2013-11-11 2016-03-21 財團法人資訊工業策進會 電腦系統、音訊比對方法及其電腦可讀取記錄媒體
NL2011893C2 (en) * 2013-12-04 2015-06-08 Stichting Incas3 Method and system for predicting human activity.
US9426525B2 (en) 2013-12-31 2016-08-23 The Nielsen Company (Us), Llc. Methods and apparatus to count people in an audience
WO2015118431A1 (en) 2014-02-05 2015-08-13 Edge Innovation, Lda. Method for capture and analysis of multimedia content
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US9699499B2 (en) 2014-04-30 2017-07-04 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
CN104093079B (zh) 2014-05-29 2015-10-07 腾讯科技（深圳）有限公司 基于多媒体节目的交互方法、终端、服务器和***
EP3023884A1 (en) * 2014-11-21 2016-05-25 Thomson Licensing Method and apparatus for generating fingerprint of an audio signal
CN107534800B (zh) 2014-12-01 2020-07-03 构造数据有限责任公司 用于连续介质片段识别的***和方法
WO2016086905A1 (es) * 2014-12-05 2016-06-09 Monitoreo Tecnológico, S.A Método de medición de audiencias
CN118138844A (zh) 2015-01-30 2024-06-04 构造数据有限责任公司 用于识别视频片段以及显示从替代源和/或在替代设备上观看的选项的方法
US10360583B2 (en) 2015-02-05 2019-07-23 Direct Path, Llc System and method for direct response advertising
EP3284017B1 (en) 2015-04-17 2024-03-27 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
CN106294331B (zh) * 2015-05-11 2020-01-21 阿里巴巴集团控股有限公司 音频信息检索方法及装置
US9762965B2 (en) 2015-05-29 2017-09-12 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
CN108351879B (zh) 2015-07-16 2022-02-18 构造数据有限责任公司 用于提高识别媒体段的效率的划分搜索索引的***和方法
US10080062B2 (en) 2015-07-16 2018-09-18 Inscape Data, Inc. Optimizing media fingerprint retention to improve system resource utilization
WO2017011798A1 (en) 2015-07-16 2017-01-19 Vizio Inscape Technologies, Llc Detection of common media segments
CN106558318B (zh) * 2015-09-24 2020-04-28 阿里巴巴集团控股有限公司 音频识别方法和***
US11037015B2 (en) 2015-12-15 2021-06-15 Cortica Ltd. Identification of key points in multimedia data elements
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
US9596502B1 (en) 2015-12-21 2017-03-14 Max Abecassis Integration of multiple synchronization methodologies
US9516373B1 (en) 2015-12-21 2016-12-06 Max Abecassis Presets of synchronized second screen functions
AU2017210289B2 (en) 2016-01-19 2021-10-21 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US10951935B2 (en) 2016-04-08 2021-03-16 Source Digital, Inc. Media environment driven content distribution platform
US10397663B2 (en) * 2016-04-08 2019-08-27 Source Digital, Inc. Synchronizing ancillary data to content including audio
US9786298B1 (en) 2016-04-08 2017-10-10 Source Digital, Inc. Audio fingerprinting based on audio energy characteristics
US10311918B1 (en) 2016-04-19 2019-06-04 Space Projects Ltd. System, media, and method for synchronization of independent sensors and recording devices
AU2017257549B2 (en) 2016-04-26 2021-09-09 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
US10015612B2 (en) 2016-05-25 2018-07-03 Dolby Laboratories Licensing Corporation Measurement, verification and correction of time alignment of multiple audio channels and associated metadata
CN106910494B (zh) 2016-06-28 2020-11-13 创新先进技术有限公司 一种音频识别方法和装置
JPWO2018047805A1 (ja) * 2016-09-09 2019-06-24 日本電気株式会社 移動音源速度推定装置、速度監視システム、移動音源速度推定方法、および移動音源速度推定用プログラム
ES2765415T3 (es) 2016-10-21 2020-06-09 Fujitsu Ltd Aparato, método y programa de procesamiento de datos basado en microservicios
EP3312722A1 (en) 2016-10-21 2018-04-25 Fujitsu Limited Data processing apparatus, method, and program
US10776170B2 (en) 2016-10-21 2020-09-15 Fujitsu Limited Software service execution apparatus, system, and method
JP7100422B2 (ja) 2016-10-21 2022-07-13 富士通株式会社 データプロパティ認識のための装置、プログラム、及び方法
JP6805765B2 (ja) 2016-10-21 2020-12-23 富士通株式会社 ソフトウェアサービスの実行のためのシステム、方法、及びプログラム
US10922720B2 (en) 2017-01-11 2021-02-16 Adobe Inc. Managing content delivery via audio cues
US10166472B2 (en) 2017-05-04 2019-01-01 Shazam Investments Ltd. Methods and systems for determining a reaction time for a response and synchronizing user interface(s) with content being rendered
US10860786B2 (en) * 2017-06-01 2020-12-08 Global Tel*Link Corporation System and method for analyzing and investigating communication data from a controlled environment
WO2019008581A1 (en) 2017-07-05 2019-01-10 Cortica Ltd. DETERMINATION OF DRIVING POLICIES
GB2564495A (en) * 2017-07-07 2019-01-16 Cirrus Logic Int Semiconductor Ltd Audio data transfer
US11899707B2 (en) 2017-07-09 2024-02-13 Cortica Ltd. Driving policies determination
US10129392B1 (en) * 2017-08-25 2018-11-13 Global Tel*Link Corporation Systems and methods for detecting inmate to inmate conference calls
FR3071994A1 (fr) * 2017-09-29 2019-04-05 Theater Ears, LLC Procede et programme de reconnaissance et synchronisation audio
US20190104335A1 (en) * 2017-09-29 2019-04-04 Theater Ears, LLC Theater ears audio recognition & synchronization algorithm
US20190109804A1 (en) * 2017-10-10 2019-04-11 Microsoft Technology Licensing, Llc Audio processing for voice simulated noise effects
US10158907B1 (en) * 2017-10-10 2018-12-18 Shazam Investments Ltd. Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings
US10129575B1 (en) 2017-10-25 2018-11-13 Shazam Entertainment Limited Methods and systems for determining a latency between a source and an alternative feed of the source
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
WO2020018667A1 (en) * 2018-07-18 2020-01-23 Google Llc Echo detection
US11443724B2 (en) * 2018-07-31 2022-09-13 Mediawave Intelligent Communication Method of synchronizing electronic interactive device
US20200133308A1 (en) 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US11181911B2 (en) 2018-10-18 2021-11-23 Cartica Ai Ltd Control transfer of a vehicle
US11126870B2 (en) 2018-10-18 2021-09-21 Cartica Ai Ltd. Method and system for obstacle detection
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US10748038B1 (en) 2019-03-31 2020-08-18 Cortica Ltd. Efficient calculation of a robust signature of a media unit
US11700356B2 (en) 2018-10-26 2023-07-11 AutoBrains Technologies Ltd. Control transfer of a vehicle
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US10796444B1 (en) 2019-03-31 2020-10-06 Cortica Ltd Configuring spanning elements of a signature generator
US10789527B1 (en) 2019-03-31 2020-09-29 Cortica Ltd. Method for object detection using shallow neural networks
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
US11245959B2 (en) 2019-06-20 2022-02-08 Source Digital, Inc. Continuous dual authentication to access media content
US10748022B1 (en) 2019-12-12 2020-08-18 Cartica Ai Ltd Crowd separation
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
DE102020202400A1 (de) 2020-02-25 2021-08-26 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Optoelektronische sensorvorrichtung, detektor und elektronisches gerät sowie verfahren zum betreiben einer derartigen sensorvorrichtung bzw. eines derartigen detektors
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
US11756424B2 (en) 2020-07-24 2023-09-12 AutoBrains Technologies Ltd. Parking assist
US11694692B2 (en) 2020-11-11 2023-07-04 Bank Of America Corporation Systems and methods for audio enhancement and conversion
US20230388562A1 (en) * 2022-05-27 2023-11-30 Sling TV L.L.C. Media signature recognition with resource constrained devices

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4415767A (en) * 1981-10-19 1983-11-15 Votan Method and apparatus for speech recognition and reproduction
US4450531A (en) * 1982-09-10 1984-05-22 Ensco, Inc. Broadcast signal recognition system and method
US4843562A (en) * 1987-06-24 1989-06-27 Broadcast Data Systems Limited Partnership Broadcast information classification system and method
US5210820A (en) * 1990-05-02 1993-05-11 Broadcast Data Systems Limited Partnership Signal recognition system and method
GB9424429D0 (en) * 1994-12-02 1995-01-18 Philips Electronics Uk Ltd Audio/video timing discrepancy management
US5918223A (en) * 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
US6088455A (en) * 1997-01-07 2000-07-11 Logan; James D. Methods and apparatus for selectively reproducing segments of broadcast programming
WO1998034216A2 (en) 1997-01-31 1998-08-06 T-Netix, Inc. System and method for detecting a recorded voice
US5940799A (en) 1997-09-15 1999-08-17 Motorola, Inc. System and method for securing speech transactions
US5913196A (en) 1997-11-17 1999-06-15 Talmor; Rita System and method for establishing identity of a speaker
CN1219810A (zh) * 1997-12-12 1999-06-16 上海金陵股份有限公司 远程公共电脑***
US6434520B1 (en) * 1999-04-16 2002-08-13 International Business Machines Corporation System and method for indexing and querying audio archives
US20010044719A1 (en) * 1999-07-02 2001-11-22 Mitsubishi Electric Research Laboratories, Inc. Method and system for recognizing, indexing, and searching acoustic signals
GR1003625B (el) * 1999-07-08 2001-08-31 Μεθοδος χημικης αποθεσης συνθετων επικαλυψεων αγωγιμων πολυμερων σε επιφανειες κραματων αλουμινιου
US7174293B2 (en) * 1999-09-21 2007-02-06 Iceberg Industries Llc Audio identification system and method
US7194752B1 (en) * 1999-10-19 2007-03-20 Iceberg Industries, Llc Method and apparatus for automatically recognizing input audio and/or video streams
US6453252B1 (en) * 2000-05-15 2002-09-17 Creative Technology Ltd. Process for identifying audio content
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US7853664B1 (en) * 2000-07-31 2010-12-14 Landmark Digital Services Llc Method and system for purchasing pre-recorded music
US20020072982A1 (en) * 2000-12-12 2002-06-13 Shazam Entertainment Ltd. Method and system for interacting with a user in an experiential environment
US6483927B2 (en) 2000-12-18 2002-11-19 Digimarc Corporation Synchronizing readers of hidden auxiliary data in quantization-based data hiding schemes
ATE405101T1 (de) * 2001-02-12 2008-08-15 Gracenote Inc Verfahren zum erzeugen einer identifikations hash vom inhalt einer multimedia datei
US7328153B2 (en) * 2001-07-20 2008-02-05 Gracenote, Inc. Automatic identification of sound recordings
US7082394B2 (en) * 2002-06-25 2006-07-25 Microsoft Corporation Noise-robust feature extraction using multi-layer principal component analysis
AU2003264774A1 (en) * 2002-11-01 2004-05-25 Koninklijke Philips Electronics N.V. Improved audio data fingerprint searching
KR100456408B1 (ko) * 2004-02-06 2004-11-10 (주)뮤레카 오디오유전자 생성방법 및 오디오데이터 검색방법
EP1864243A4 (en) * 2005-02-08 2009-08-05 Landmark Digital Services Llc AUTOMATIC IDENTIFICATION OF REPEATED MATERIAL IN AUDIO SIGNALS

Also Published As

Publication number Publication date
DK1504445T3 (da) 2008-12-01
US20090265174A9 (en) 2009-10-22
JP2005524108A (ja) 2005-08-11
BR0309598A (pt) 2005-02-09
KR100820385B1 (ko) 2008-04-10
AU2003230993A1 (en) 2003-11-10
TWI269196B (en) 2006-12-21
WO2003091990A1 (en) 2003-11-06
JP4425126B2 (ja) 2010-03-03
US7627477B2 (en) 2009-12-01
EP1504445B1 (en) 2008-08-20
ES2312772T3 (es) 2009-03-01
EP1504445A1 (en) 2005-02-09
CA2483104C (en) 2011-06-21
EP1504445A4 (en) 2005-08-17
HK1073382A1 (en) 2005-09-30
CA2483104A1 (en) 2003-11-06
DE60323086D1 (de) 2008-10-02
ATE405924T1 (de) 2008-09-15
TW200307205A (en) 2003-12-01
PT1504445E (pt) 2008-11-24
CN1315110C (zh) 2007-05-09
US20050177372A1 (en) 2005-08-11
CN1647160A (zh) 2005-07-27

Similar Documents

Publication Publication Date Title
KR100820385B1 (ko) 확실하고 불변적인 오디오 패턴 매칭방법
Sonnleitner et al. Robust quad-based audio fingerprinting
US7626111B2 (en) Similar music search method and apparatus using music content summary
US9317561B2 (en) Scene change detection around a set of seed points in media data
US6928233B1 (en) Signal processing method and video signal processor for detecting and analyzing a pattern reflecting the semantics of the content of a signal
JP5362178B2 (ja) オーディオ信号からの特徴的な指紋の抽出とマッチング
JP5907511B2 (ja) オーディオメディア認識のためのシステム及び方法
US7371958B2 (en) Method, medium, and system summarizing music content
US8492633B2 (en) Musical fingerprinting
US10657175B2 (en) Audio fingerprint extraction and audio recognition using said fingerprints
US20140330556A1 (en) Low complexity repetition detection in media data
JP2010530100A (ja) 複数の検索の組み合わせを使用して、オーディオ／ビデオの指紋検索精度を改善する方法及び装置
EP1704454A2 (en) A method and system for generating acoustic fingerprints
US8718803B2 (en) Method for calculating measures of similarity between time signals
US7680654B2 (en) Apparatus and method for segmentation of audio data into meta patterns
CN106663110B (zh) 音频序列对准的概率评分的导出
Gillet et al. Comparing audio and video segmentations for music videos indexing
Htun Analytical approach to MFCC based space-saving audio fingerprinting system
Manzo-Martinez et al. An eigenvalues analysis with entropy-per-chroma feature
Yin et al. Robust online music identification using spectral entropy in the compressed domain
CN115691553A (zh) 一种视频背景音乐的版权识别方法
WIEST et al. Automatic Audio Thumbnail Positioning Using Self-Similarity
Arora et al. Comparison and Implementation of Audio based Searching for Indian Classical Music
de los Santos Guadarrama Nonlinear Audio Recurrence Analysis with Application to Music Genre Classification.

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130322

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140402

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150421

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee