KR20050010763A - 확실하고 불변적인 오디오 패턴 매칭방법 - Google Patents
확실하고 불변적인 오디오 패턴 매칭방법 Download PDFInfo
- Publication number
- KR20050010763A KR20050010763A KR10-2004-7016919A KR20047016919A KR20050010763A KR 20050010763 A KR20050010763 A KR 20050010763A KR 20047016919 A KR20047016919 A KR 20047016919A KR 20050010763 A KR20050010763 A KR 20050010763A
- Authority
- KR
- South Korea
- Prior art keywords
- fingerprint
- relative
- value
- determined
- peak
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000011295 pitch Substances 0.000 claims 4
- 238000004590 computer program Methods 0.000 claims 1
- 230000009466 transformation Effects 0.000 abstract description 5
- 238000000844 transformation Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000009826 distribution Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
- G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
- G10H2240/135—Library retrieval index, i.e. using an indexing scheme to efficiently retrieve a music piece
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
- G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
- G10H2240/141—Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
- G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
- G10H2250/235—Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Stereo-Broadcasting Methods (AREA)
- Collating Specific Patterns (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
본 발명은 두개의 오디오 샘플이 매칭되는지의 여부, 또 이들 샘플이 재생속도 변화와 같은 다양한 변환에 대해 안전한지 여부를 신속정확히 판단하는 혁신적인 기술을 제공한다. 두개의 오디오샘플 사이의 관계는 먼저 각 샘플에서 유도된 특정 지문들을 매칭시켜 얻어진다. 특정 위치(242)에서 생기는 지문(231,232) 세트(230)가 각각의 오디오샘플(210)에 대해 형성된다. 각각의 위치는 오디오샘플(210)의 컨텐츠에 따라 결정되며, 각각의 지문(232)은 특정 위치(242)나 그 부근에서의 하나 이상의 국부적 특징(222)을 갖는다. 다음, 매칭된 지문쌍 각각에 대한 상대값이 결정된다. 상대갓 그래프가 얻어진다. 통계학적으로 큰 피크가 있으면, 두개의 오디오샘플은 매칭된 것으로 본다.
Description
음악과 기타 오디오신호들을 신속정확히 자동으로 인식할 필요성은 계속 증대되고 있다. 종래의 오디오 인식기술에서는 흔히 정확도 대신 속도가 떨어지거나 잡음 면역도가 떨어졌다. 경우에 따라서는, 잡음이 심한 상태에서 시간-시간 산포도의 기울기를 평가하는데 회귀선의 계산이 필요하고, 이 경우 많은 어려움이 생기며 속도와 정확도 양측면에서 성능이 저하된다. 따라서, 기존의 오디오 인식기술에서는 재생속도의 변화가 클 경우 신속정확한 인식을 할 수 없는데, 예를 들면 정상속도보다 빨리 재생되는 레코딩을 인식하기가 불가능했다.
라디오방송국, 클럽 등에서 DJ들이 속도나 피치-코렉티드(pitch-corrected) 템포 변화를 많이 주기 때문에 문제가 더 복잡해진다. 재생속도변화 및/또는 피치-코렉티드 템포변화에도 불구하고 신속정확한 오디오인식을 할 수 있는 확실하고 신뢰성있는 기술이 현재는 없다고 본다.
본 발명은 대규모 오디오파일 데이타베이스를 통한 오디오신호 처리에 관한 것으로, 구체적으로는 두개의 오디오샘플이 서로 매칭되는지 또 재생속도 변화를 포함한 여러가지 변환에 대해 안전한지 여부를 신속정확히 판단하는 기술에 관한 것이다. 본 발명의 기술에 의하면 변환을 정확히 예측할 수도 있다.
도 1은 분석이 끝난 오디오샘플의 분광사진;
도 2는 본 발명에 따라 오디오샘플에서 생긴 지문을 보여주는 그래프;
도 3은 본 발명의 원리에 따라 두개의 오디오샘플을 비교하기 위한 플로어차트;
도 4a-b는 통계적으로 높은 피크를 갖는 그래프와 없는 그래프;
도5a-b는 재생속도 변화에 따른 시간-주파수 포인트들의 움직임을 보여주는 그래프;
도 6a-b는 첫번째 오디오샘플(샘플 사운드)와 두번째 오디오샘플(데이타베이스 사운드)의 시간에 따른 매칭부호를 보여주는 그래프로서, 샘플사운드의 재생속도가 데이타베이스의 재생속도와 같을 때는 기울기가 1임;
도 7a-d는 본 발명에 따라 신속하고 효율적으로 기울기를 구하기 위한 여러가지 그래프.
발명의 개요
본 발명은 두개의 오디오파일들 사이의 관계를 신속하고 일관되게 특정하는 방법을 제공하여 오디오 인식기술에서의 종래의 문제점을 해결하고자 한다. 본 발명의 방법은 잡음이 심할 경우에도 정확하여, 전술한 기존의 문제점들을 극복한다.
본 발명에 의하면, 두개의 오디오샘플 각각에서 생긴 지문(fingerprint)들을 먼저 매칭시켜 오디오샘플 사이의 관계를 구할 수 있다. 각각의 오디오샘플에 대한 지문 세트가 형성된다. 각각의 지문은 오디오샘플내의 특정 위치에 생긴다. 각각의 위치는 오디오샘플의 컨텐츠에 따라 결정되고, 각각의 지문은 특정 위치나 그 부근에서 오디오샘플의 국부적 특징들을 하나 이상 보여준다. 일 실시예에서, 각각의 지문은 가변성분과 불변성분이란 특징을 갖는다. 다음, 매칭된 각각의 지문 쌍에 대한 상대값이 결정된다. 이들 상대값의 그래프가 형성된다. 그래프에 통계학적으로 큰 피크가 있으면, 두개의 오디오샘필은 매칭되었다고 할 수 있다.
본 발명의 다른 특징에 의하면, 그래프의 축에서 피크의 위치에 대한 글로벌 상대값을 평가하여 전술한 기술을 더 개선할 수 있다. 글로벌 상대값은 관심 피크 부근의 이웃을 선택하고 선택된 이웃의 상대값 평균을 계산하여 얻을 수 있다.
다른 실시예에서는, 그래프의 피크로부터 상대 재생속도값이 결정되고, 각각의 매칭된 지문 쌍에 대해 보상된 상대 타임오프셋이 계산된다. 보상된 상대 타임오프셋 값들로부터 다른 그래프가 얻어진다. 두번째 그래프에 통계학적으로 큰 피크가 있으면, 두개의 오디오샘플 사이의 관계를 피크에 의해 특정할 수 있어, 정확도가 더 개선된다.
본 발명에 의하면, 대형 오디오파일 데이타베이스를 신속하고 강력 불변적인 스케일러블 인덱싱(scalable indexing)과 서치가 가능하고, 특히 오디오패턴 인식분야에 유용하다. 경우에 따라서는, 여기서 설명된 기술을 이용해 전술한 미국특허출원에서 설명한 오디오 인식시스템과 방법들을 개선할 수 있다.
상용 오디오인식 시스템을 구축하는데 있어서는 두개의 오디오 샘플파일들을 아주 신속하고 효과적으로 비교하는 것이 필수적이다. 본 발명에 의하면, 두개의 오디오샘플 사이의 관계는 각각의 오디오 샘플들의 분광사진에서 생긴 지문들을 먼저 매칭시켜 성립된다(도 1 참조). 분광사진은 슬라이딩하는 윈도우 프레임에서 2*K 샘플들을 한번에 취하고 퓨리에 변환을 계산하여 생긴 시간-주파수 표현/분석으로서, 매 프레임마다 K 주파수대역을 생성한다. 분석의 시간해상도를 향상시키기 위해 프레임들을 중첩할 수도 있다. 사용된 특정 파라미터들은 처리되는 오디오샘플의 종류에 따라 좌우된다. 샘플링속도 8㎑, K=512의 프레임, 및 스트라이드 64 샘플의 이산 오디오파일들을 이용하는 것이 바람직하다.
지문
각각의 오디오샘플의 분광사진이 생성된 뒤, 국부적 에너지 피크와 같은 특징들을 스캔한다(도 2 참조). 각각의 오디오샘플의 국부적 특징에서 지문 세트를 추출하면서 매칭과정이 시작된다. 본 실시예에서, 한쪽 오디오샘플은 미지의 인식할 사운드샘플이고, 나머지 오디오샘플은 데이타베이스에 저장된 공지된 레코딩이다. 각각의 지문이 각각의 오디오샘플의 특정 위치에 생긴다. 경우에 따라서는 각각의 지문이 오디오파일에 어느정도 타임오프셋(time offset)을 두고 위치하고 각각의 시간좌표 부근의 오디오파일에 관한 서술정보 세트를 포함한다. 즉, 각각의 지문에 포함된 서술정보가 각각의 타임오프셋 부근의 오디오샘플에 대해 종속적으로 계산된다. 이 정보는 소형 데이타구조로 엔코딩된다. 바람직하게, 위치와 서술정보는 잡음, 왜곡, 기타 가변적인 재생속도와 같은 변환이 있을 경우에도 재생 가능하도록 결정된다. 이 경우, 각각의 위치는 각각의 오디오샘플의 컨텐츠에 따라 결정되고, 각각의 지문은 특정 위치, 예컨대 도 1의 (t1,f1) 또는 (t2,f2)와 같은 위치에서의 오디오샘플의 국부적 특징들을 나타낸다.
본 실시예에서, 각각의 지문은 자신의 위치, 가변성분 및 불변성분의 특징을 보인다. 분광사진의 피크가 국부적 특징이고, 각각의 주파수값은 대응 분광사진 피크의 주파수 좌표로부터 결정된다. 이들 피크는 각각의 시간-주파수 좌표의 부근을 서치하여, 그리고 그 이웃보다 큰 값을 갖는 지점들을 선택하여 결정된다. 구체적으로는, 도 2에 도시된 것처럼, 오디오샘플(210)은 에너지가 높아 보이는 영역들(221,222)을 갖는 분광사진(220)으로 분석된다. 국부적 에너지 영역들(221,222)에 관한 정보가 추출되어 지문(231,232...) 리스트(230)로 요약된다. 각각의 지문은 국부필드(242), 가변성분(252), 불변성분(262)을 포함할 수 있다. 바람직하게는, 선택된 포인트 각각이 이곳을 중심으로 한 21x21 단위블록중에서 최대가 되도록 이웃을 선택한다. 이웃과 포인트 선택에 대한 더 자세한 설명은 전술한 미국특허출원을 참조한다. 다음, 각각의 매칭된 지문 쌍에 대한 상대값이 결정된다. 경우에 따라서는, 상대값은 각각의 오디오샘플의 파라미터값의 로그값의 몫이나 차이이다. 이어서 상대값의 그래프가 형성된다. 그래프에 통계학적으로 큰 피크가 있으면, 두개의 오디오샘플은 실질적으로 매칭되었다고 볼 수 있다.
도 3에서, 오디오샘플(1,2) 각각에 대해 전술한 바와 같은 지문리스트(310,320)가 준비되었다. 각 리스트의 지문(311,322)을 비교한다. 351 단계에서는 불변성분(Inv,Inv')을 이용해 매칭되는 지문들을 짝짓고 352 단계에서 리스트로 만든다. 353 단계에서는 각각의 매칭된 쌍에 대한 상대값을 계산한다. 다음, 354 단계에서, 상대값의 그래프를 만든다. 355 단계에서는 통계학적으로 큰 피크를 그래프에서 서치한다. 356 단계에서 아무것도 발견되지 못하면, 오디오샘플(1,2)은 매칭되지 않은 것이다(도 4A의 그래프 410 참조). 한편, 통계학적으로 큰 피크가 검출되면, 오디오샘플(1,2)은 매칭된 것이다(도 4B의 그래프 420 참조).
361 단계에서 보듯이, 그래프의 축에서 피크의 위치에 대한 글로벌 상대값(R)을 추정하면, 전술한 기술을 더 향상시킬 수 있다. 경우에 따라, R은 관심 피크 주변의 이웃을 먼저 선택하면 R을 다듬을 수 있다. 도 1에서는 특정 위치(t1,f1) 둘레의 관심영역(110)에서 이것이 보인다. 다음, 선택된 이웃의 상대값의 평균을 계산한다. 평균값은 선택된 이웃의 각각의 상대값에서 포인트 수로 계산된 가중 평균값일 수 있다. 경우에 따라, 각각의 매칭 쌍에 대한 상대 타임오프셋 값 t'-R*t을 생성하도록 R을 더 다듬을 수 있다. 362-364 단계에서는, 이들 상대 타임오프 값들로 두번째 그래프를 만들어, 보상된 타임오프셋을 계산할 수 있다.
위그너-빌 분포함수나 웨이브렛(wavelet) 등의 다른 종류의 시간-주파수 분석법을 지문추출에 이용할 수도 있다. 또, 분광사진 피크 대신, cepstral 계수 등의 다른 특징을 사용할 수도 있다. 또, 분광사진 피크로 제공된 시간-주파수 좌표의 더 정밀한 주파수와 시간 추정치를 얻는데 super-resolution 기술을 이용할 수 있다. 예컨대, 주파수 해상도를 높이기 위해 주파수대역에 대한 포물선 보간법을 이용할 수 있다. 이와 관련한 설명은, 1987년 개최된 International Computer Music Conference (ICMC-87, Tokyo)의 회의록에 기재된 Julius O. Smith III와Xavier Serra의 "PARSHL: An ANalysis/Synthesis Program for Non-Harmonic Sounds Based on a sinusoidal Representation"과, 1988년 1월 Prentice Hall에서 Steven M. Kay의 "Modern Spectral Estimation: Theory and Application"에서 볼 수 있고, 이들 둘다 본 발명에 참고하였다.
매칭
매칭동작에서, 두개의 오디오샘플을 각각의 지문을 통해 비교한다. 도 3을 참조해 설명한 대로, 매칭된 지문 쌍들이 생기되, 각각의 쌍은 실질적인 매칭 성분들을 포함한다. 고속서치가 가능하도록 데이타를 준비하는 방법중 하나는, 32비트 무부호 정수와 같은 숫자기호로 지문을 엔코딩하고, 이 숫자기호를 분류와 서치 기준으로 이용하는 것이다. 효과적인 데이타 조작기술은 당 분야에 공지되어 있는바, Donald Ervin Knuth (April 1988)의 "Art of Computer Programming, Volume 3: Sorting and Searching (2nd Edition)을 참조한다.
본 실시예에서, 각각의 지문은 불변성분과 가변성분을 포함한다. 불변성분은 스펙트럼 피크에 해당하는 주파수값들의 비이고, 스펙트럼 피크들 사이의 Δt(시간차) 값의 비는 시간 스트레치(time stretch)에서 불변한다. 예컨대, 도 5A, 5B에 따르면, 오디오샘플의 분광사진의 국부적 스펙트럼 피크의 좌표가 (t1,f1), (t2,f2), (t3,f3)이면, 2 지점의 값은 불변값으로서 f2'/f1' = f2/f1이다. 3 지점들의 다른 불변값은 f3/f1, (t3-t1)/(t2-t1) 또는 (t3-t2)/(t2-t1)이거나, 또는 이들 지점들을 치환하거나 이들 량의 함수들을 계산하거나 이들 량을 조합하여 생긴 다른 조합으로 주어진다. 예컨대, f2/f3는 f2/f1을 f3/f1으로 나누면 얻어진다. 또, 오디오샘플이 선형으로 스트레치되어 재생이 더 빨리 되거나 하면, 주파수와 Δt가 상호관계를 맺어, 예컨대 f1*(t2-t1)와 같은 양이 불변으로 된다. 이들의 로그값을 이용해, 곱셈과 나눗셈 대신 덧셈과 뺄셈을 할 수도 있다. 주파수 비와 타임스트레치 비 둘다 발견하려면, 이들이 서로 독립적이라 할 경우, 주파수 변수와 시변수를 모두 가져야 한다.
효과적인 매칭을 위해, 지문 인덱스에는 불변부를 이용하고, 서치에는 개략적이거나 정확한 값을 이용했다. 개략적 매칭을 이용한 서치는 왜곡이나 라운딩오차에 특히 강력하지만, 불변성분들을 통한 서치가 다차원 범위의 서치로 될 경우 비용 증가를 가져온다. 바람직한 실시예에서, 각각의 지문들의 불변성분을 정확히 매칭시켜, 속도가 아주 빠르면서도 잡음중에서의 인식감도의 저하가 거의 없는 시스템을 만든다. 이 방식은, 대응 오디오샘플의 일부 지문만 정확히 매칭할 때에도 잘 적용된다. 그래프의 피크 검출단계에서, 지문중 1-2%만 정확히 매칭될 경우에도 피크가 통계적으로 상당히 클 수 있다.
가변성분은 매칭되는 지문의 수를 좁히는데 사용될 수 있으며, 불변성분과 함께 또는 그 대신 사용된다. 예를 들어, 첫번째 오디오샘플의 가변성분 V가 두번째 오디오샘플의 V'와 ±20% 범위내에서 매칭될 필요가 있을 수 있다. 이 경우, 상부부위(예; 최상위 비트)가 불변성분을 포함하고, 하부부위(예; 최하위비트)가 가변성분을 포함하도록 숫자기호를 나타낼 수 있다. 다음, 개략적 매칭을 위한 서치는 가변성분의 최저값과 최고값을 이용해 구성된 기호를 통한 범위서치로 된다. 따라서, 가변성분을 이용해 서치할 경우 불변성분의 이용이 반드시 필요한 것은 아니다. 그러나, 매칭과정에서 불변성분을 이용하면 잘못된 매칭 수를 줄여 그래프 처리과정을 최적화하고 오버헤드 처리량을 줄이므로 권장할만 하다.
한편, 새로운 가변성분 자체는 두개의 지문 사이의 매칭 기준의 일부이거나 아닐 수 있다. 가변성분은 오리지널 레코딩에서 샘플된 레코딩으로 이전하는 몇가지 간단한 파라미터 변환에 의해 왜곡될 수 있는 값을 나타낸다. 예컨대, f1, f2, f3와 같은 주파수 가변성분과, (t2-t1), (t3-t1), (t3-t2)와 같은 시간 가변성분을 재생속도 변화를 위한 가변성분으로 선택할 수 있다. 데이타베이스로부터의 매칭 번역을 의미하는 두번째 오디오샘플이 첫번째 오디오샘플에 대해 앞에서 리스트한 지점에 대응하는 좌표 (t1',f1'), (t2',f2'), (t3',f3')를 갖는다고 하자. 주파수성분 f1'은 f1'=Rf*f1의 값을 갖고, 여기서 Rf는 첫번째 샘플 레코딩이 두번째 샘플레코딩에 비해 얼마나 빠르거나 느린지를 설명하는 선형 스트레치 파라미터이다. 두개의 매칭 오디오샘플 각각의 가변성분은 두개의 주파수 값의 비, Rf=f1'/f2'를 계산함으로써 거시적 파라미터를 의미하는 글로벌 스트레치 값의 추정값을 계산하는데 사용될 수 있다. 이것은 두개의 매칭된 시간-주파수 포인트들의 상대 피치비를 제공하는바; 예컨대 Rf=2는 첫번째 오디오샘플이 두번째의 피치(주파수)의 절반임을 의미한다. 다른 가능성은 Rt=(t2'-t1')/(t2-t1)을 이용하는 것이다. 이 경우, 상대값 R은 상대적 재생속도비로서, Rt=2는 첫번째 오디오샘플이 두번째 오디오샘플의 두배의 속도로 플레이함을 의미한다.
Rf=1/Rt, 즉 f'/f=(t2-t1)/(t2'-t1')이면, 두개의 오디오샘플이 선형 타임스트레치 관계를 갖는데, 이는 이런 오디오 샘플의 시간-주파수의 역수관계 때문이다. 이 경우, 본 출원에서 설명한 그래프 처리법에서 먼저 대응하는 변동 주파수성분을 이용해 상대 주파수비의 추정치 Rf를 구한 다음, 상대 재생속도의 추정치 Rt를 구하고, 이들을 비교해 재생관계가 선형인지 비선형인지 판단한다.
일반적으로, 오디오샘플 1, 2의 대응하는 가변성분들을 이용해 매칭된 지문에서 상대값을 계산한다. 상대값은 주파수나 Δt의 비이거나 또는 두가지 오디오샘플 사이의 매핑을 설명하는데 사용되는 글로벌 파라미터의 추정치를 가져오는 다른 함수일 수 있다. 그러나, 일반적으로, 입력값이 두개인 함수 F()이기만 하면, 예컨대 R=F(v1,v1')를 사용할 수도 있는데, 여기서 v1, v1'은 각각 변동값이다. F()가 연속함수이어서 v1, v1' 측정에 작은 오차가 있어도 출력값 R의 오차가 작은 것이 가장 좋다.
그래프 처리
전술한 바와 같이, 매칭하는 지문 쌍 리스트에서 계산된 상대값 세트를 통해 그래프를 구한다. 그래프에서 피크를 서치한다. 그래프에 통계학적으로 높은 피크가 있으면, 매칭이 가능함을 의미한다. 이 방식은, (t1'-t1)과 같은 타임오프셋의 차이 대신 상대값의 막대그래프들을 서치하는 것이다. 본 발명의 원리에 의하면, 그래프는 카운트 값들 막대그래프를 형성하고, 각각의 그래프는 축상의 특정 값에 대응한다. 본 발명의 목적을 위해, 상대값 리스트를 분류하기만 해도 그래프를 만들 수 있다. 따라서, 상대값 리스트의 그래프의 피크를 검출하는 첫번째 효과적인 방식은 오름순차로 리스트를 분류한 다음, 동일하거나 비슷한 값을 갖는 최대 아이템 집단을 스캔하는 것이다.
통계학적 중요성
전술한 바와 같이, 본 발명에서는, 지문들중 2% 정도만이 모든 왜곡에서 살아남아 올바르게 매칭되어도 두개의 오디오샘플들을 옳게 매칭할 수 있다. 이것은 두개의 오디오샘플 사이의 비교결과를 점수화하면 가능하다. 구체적으로, 그래프의 피크점 둘레의 이웃을 선택하고, 이웃에 속하는 모든 매칭 쌍들을 카운트하여, 점수화한다. 또, 가중치를 두어, 피크의 중심에서 떨어질수록 기여도를 낮출 수도 있다.
컷오프 기준을 예측하는 한가지 방법은, 비매칭 트랙의 점수의 확률분포중에서 지수꼬리(exponential tail)를 제거하는 것이다. 이 모델을 실제 측정된 비매칭 트랙의 점수분포에 적용한다. 다음, N 트랙의 데이타베이스에서 최고 점수의 누적 확률분포들(예; 싱글 비매칭 점수의 누적 확률분포중 N제곱으로 취한 분포)를 계산한다. 일단 확률곡선이 나오고 false positive(가양성)의 최대레벨이 선정되면(예; 0.5%), 수치 임계값을 선택하고, 이 값을 이용해 그래프 피크가 통계학적으로 높은 수의 매칭쌍을 갖는지의 여부를 판단할 수 있다.
초정밀 평가
일단 통계학적으로 높은 그래프피크가 발견되면, (상대 재생속도와 같은) 글로벌 상대값에 대한 고해상 "초정밀" 평가가 완료되었다고 할 수 있다. 피크 둘레의 이웃, 예컨대 피크 그래프를 중심으로 약 3 또는 5개의 그래프를 포함한 이웃을 선택하고, 이웃의 상대값 평균을 계산하면 된다. 이 기술을 이용해, 0.05% 이내의 정확한 상대 재생속도를 찾을 수 있다. 이런 오프셋 유도법(offset derivation)으로, 글로벌 타임오프셋을 1밀리초 이내의 정확도로 판단할 수 있고, 이는 전술한 분광사진 프레임의 시간해상도보다 더 미세하다.
로버스트 회귀(Robust Regression)
전술한 미국특허출원에서 설명한 바와 같이, 샘플들이 실제로 매칭된 경우, 매칭 샘플들이 매칭 지문의 대응 시간좌표 (t',t)를 갖는 산포도로부터 경사선을 그릴 수 있다(도 6A 참조). 목적은 산포도의 방정식을 구하는데 있는데, 이 방정식은 잡음이 아주 많을 때 기울기와 시간의 오프셋에 의해 결정된다. 기울기는 상대 재생속도를 의미하고, 오프셋은 한쪽 오디오샘플의 시작점으로부터 두번째 오디오샘플의 시작점까지의 상대 오프셋이다. 최소자승법과 같은 종래의 회귀분석법도 이용할 수 있는데, 이에 대해서는 캠브리지 대학신문에 게재된 1993년 1월의 William H. Press, Brian P. Flannery, Saul A. Teukolsky & William T. Vetterling의 "Numerical Recipes in C: The Art of Scientific Computing (2nd Edition)"을 참조하고, 그 내용은 본 발명에서 참고하였다. 불행히도, 이들 종래의 기술은 그 감도가 불균형적이어서, 현격한 이상값이 하나만 있어도 추정 회귀 파라미터가 크게 왜곡될 수 있다. 실제로는, 여러 포인트들이 이상값의 지배를 받아, 올바른 기울기를 찾기가 아주 어렵다. 다른 로버스트 회귀분석법을 이용해 이런 이상값 문제를 극복할 수도 있는데, 이 경우 잡음이 있을 때 여러 포인트들 사이의 선형 관계를 찾을 수는 있지만, 속도가 느리고 상관적이며 최적값을 국부적으로만 얻을 가능성이 있다. 미지의 회귀선을 찾는 기술은 아주 다양하게 있다. The Mathworks에서 볼 수 있고 본 발명에서 참고로 한 Matlab toolkit에는 회귀분석을위한 다양한 소프트웨어 루틴이 포함되어 있다.
본 발명은 매칭 기울기가 1이 아닌 경우에도 시간-시간 산포도에서 회귀선을 찾는 문제를 해결하는 상대 재생속도(또는 마찬가지로 선형 재생관계의 경우 상대 피치의 관계)를 추정하는 새로운 방법을 제시한다(도 6B 참조). 전술한 바와 같이, 국부적인 상대 재생속도 그래프를 이용하면 전에는 고려하지 못했던 정보를 이용할 수 있고, 회귀분석 문제를 신속하고 효과적으로 해결한다는 예상치 못했던 장점도 생긴다.
오프셋을 찾기 위해, 대응 시간 포인트들이 다음 관계를 갖는다고 하자:
오프셋 = t1' - Rt*t1
여기서 Rt는 전술한 바와 같이 구해진다. 이 값은 보상된 타임오프셋이고 두개의 오디오샘플 사이의 시간좌표 체계를 표준화하는 역할을 한다. 이것은, 도 7A의 미지의 경사선과 도 7C의 수직선을 만드는 시간-시간 산포도상의 전단변환(shear transformation)으로 나타날 수도 있다. 도 7B의 그래프(720)에서 보이는 누적 상대 재생속도비의 피크는 글로벌 상대 재생속도비 R을 표시한다. 오프셋 공식에 의해 새로운 상대값들이 주어지고, 새로운 그래프(740)가 생긴다(도 7D 참조). 이 그래프(740)의 피크값은 글로벌 오프셋의 추정값을 제시하고, 전술한 바와 같이 이 추정값은 피크 부근의 이웃의 값들의 평균을 이용해 현저하게 나타날 수 있다.
요컨대, 첫번째 그래프 단계에서는 상대 재생속도를 추정하고 또한 매칭이 존재하는지를 판단한다. 두번째 그래프 단계에서는, 후보 매칭 오디오샘플들이 일시적으로 정렬되는 상당한 수의 지문들을 갖는 것을 확인한다. 두번째 그래프 단계는 별도의 두번째 판단기준으로 작용하고, false positive 확률을 낮추어 두개의 오디오샘플들이 매칭되는지를 판단하기 위한 더 강력한 기준을 제공한다. 두번째 그래프 단계는 첫번째 그래프에 통계적으로 높은 피크가 있을 경우에만 실행되므로, 계산상의 리소스와 노력이 절감된다. 리스트상의 모든 매칭된 지문 쌍들에 대한 두번째 그래프를 계산하지 않고, 계산상의 장애를 줄이는 등 더 최적화할 수도 있는데, 첫번째 그래프의 피크값에 대응하는 매칭 쌍들만을 이용해 두번째 그래프를 만드는 방법이 있다.
멀티플 레코딩의 동기화
본 발명은 동기화되지 않은 오디오 레코딩들의 큐잉(cueing)과 시정렬에 이용될 수도 있다. 예컨대, DAT 레코더와 카세트레코더가 약간 다른 장소나 환경에서 서로 다른 마이크로폰으로 독립적으로 작동된다고 하자. 뒤에 각각의 레코딩들로부터의 두개의 레코딩을 하나의 믹스로 합치고자 할 경우, 전술한 로버스트 회귀분석기술을 이용해 두개의 트랙들을 동기화하여 타임오프셋을 얻을 수 있다. 이렇게 하면, 비동기 레코더들이 약간 다른 속도로 작동한다 해도, 고도의 정밀도로 상대속도를 결정하여, 하나의 레코딩을 다른 레코딩에 대해 보상할 수 있다. 이것은, 레코딩들중 하나가 오염되어 다른 소스로부터 보충되어야 할 경우 유용하다. 이상 설명한 시정렬과 동기화는 따라서 투명한 믹싱을 가능케 한다.
데이타베이스 서치
비교가 아주 신속하므로, 대량의 오디오샘플 데이타베이스를 각각의 지문 리스트로 전처리하는 것이 가능하다. 따라서, 당업자라면 알 수 있겠지만, 현재 가능한 데이타 처리기술을 이용해 미지의 오디오샘플을 자체적인 지문 리스트로 전처리할 수 있다. 이상 설명한 매칭, 그래프처리, 피크값 검출기술들은 데이타베이스에서 전처리된 지문들을 이용해 매칭을 찾는데 사용될 수 있다.
이상 본 발명과 그 장점에 대해 자세히 설명했지만, 본 발명은 이상의 설명에 한정되지 않는다. 특히, 본 발명을 예시하기 위한 도면과 설명들은 단지 예를 든 것일 뿐이고, 본 발명이 이에 한정되는 것은 아님을 알아야 한다. 종래의 방법이나 기술에 대해서는 본 발명의 원리의 이해를 방해하지 않기 위해 자세히 설명하지 않았다. 당업자라면 알 수 있겠지만, 본 발명은 발명의 원리와 정신을 벗어나지 않고 다양하게 변형되어 구현될 수 있다. 예컨대, 지금까지 설명한 방법이나 기술이 컴퓨터 판독매체에 저장된 컴퓨터 실행명령어 형태로 구현될 수도 있다. 한편, 본 발명은 클라이언트/서버의 컴퓨터 시스템에서 구현될 수도 있다. 클라이언트는 두개의 오디오샘플 사이의 관계 설명에 필요한 지문 등의 정보를 서버로 보내고, 서버에서 이 작업이 실행된다. 따라서, 본 발명의 범위는 첨부 특허청구범위에 의해서만 제한되어야 한다.
Claims (18)
- 두개의 오디오샘플 사이의 관계를 특정하는 방법에 있어서:첫번째 오디오샘플의 제1 지문 세트를 생성하되, 각각의 지문은 첫번째 오디오샘플 내부의 각각의 위치에서 발생하고, 각각의 위치는 첫번째 오디오샘플의 컨텐츠에 따라 결정되며, 각각의 지문은 각각의 위치 또는 그 부근에서 첫번째 오디오샘플의 하나 이상의 특징을 나타내는 단계;두번째 오디오샘플의 제2 지문 세트를 생성하되, 각각의 지문은 두번째 오디오샘플 내부의 각각의 위치에서 발생하고, 각각의 위치는 두번째 오디오샘플의 컨텐츠에 따라 결정되며, 각각의 지문은 각각의 위치 또는 그 부근에서 두번째 오디오샘플의 하나 이상의 특징을 나타내는 단계;첫번째 오디오샘플의 제1 지문과, 두번째 오디오샘플중 제1 지문과 비슷한 제2 지문을 매칭시켜 지문을 짝짓기 하는 단계;상기 짝짓기 단계를 기초로 매칭된 지문 쌍 리스트를 생성하는 단계;각각의 매칭된 지문 쌍에 대한 상대값을 결정하는 단계;상기 상대값들의 그래프를 만드는 단계; 및상기 두개의 오디오샘플들 사이의 관계를 나타내면서도 통계학적으로 큰 피크를 상기 그래프에서 서치하는 단계;를 포함하는 것을 특징으로 하는 방법.
- 제1항에 있어서, 통계학적으로 큰 피크가 발견되었을 경우 상기 두개의 오디오샘플들 사이의 관계가 매칭이라고 보는 것을 특징으로 하는 방법.
- 제1항 또는 제2항에 있어서, 그래프 축에서의 피크 위치로 글로벌 상대값을 평가하는 단계를 더 포함하고, 상기 글로벌 상대값이 두개의 오디오샘플 사이의 관계를 나타내는 것을 특징으로 하는 방법.
- 제3항에 있어서, 상기 글로벌 상대값의 초정밀 평가를 결정하는 단계를 더 포함하고;상기 결정단계는,피크 부근의 이웃을 선택하는 단계와, 이웃의 상대값의 평균을 계산하는 단계를 포함하는 것을 특징으로 하는 방법.
- 제1항에 있어서, 각각의 지문이 불변성분을 갖고, 매칭된 지문 쌍 각각의 제1 및 제2 지문들이 매칭되는 불변성분들을 갖는 것을 특징으로 하는 방법.
- 제5항에 있어서, 상기 불변성분이 아래중 적어도 하나를 이용해 생성되는 것을 특징으로 하는 방법.(i) 각각의 지문의 위치 부근의 제1 및 제2 국부적 특징들로부터 결정되는 제1 및 제2 주파수값들 사이의 비;(ii) 주파수값과 Δt의 곱, 여기서 주파수값은 제1 국부적 특징으로부터 결정되고, Δt는 각각의 지문의 위치 부근의 제1 및 제2 국부적 특징들 사이에서 결정됨;(iii) 제1 및 제2 Δt 값들 사이의 비, 제1 Δt 값은 제1 및 제2 국부적 특징들로부터 결정되고, 제2 Δt 값은 제1 및 제3 국부적 특징들로부터 결정되며, 각각의 국부적 특징은 각각의 지문 위치 부근에 있음.
- 제6항에 있어서, 각각의 국부적 특징이 분광사진의 피크이고, 각각의 주파수값은 대응 분광사진 피크의 주파수 좌표로부터 결정되는 것을 특징으로 하는 방법.
- 제1항 또는 제5항에 있어서, 각각의 지문이 가변성분을 갖고, 각각의 매칭된 지문 쌍의 상대값은 제1 및 제2 지문들의 각각의 가변성분들을 이용해 결정되는 것을 특징으로 하는 방법.
- 제8항에 있어서, 상기 가변성분은 각각의 지문의 위치 부근의 국부적 성분으로부터 결정된 주파수값이어서, 매칭된 지문 쌍의 상대값은 제1 및 제2 지문들 각각의 주파수값들의 비로 특정되며, 그래프의 피크는 두개의 오디오샘플 사이의 상대 피치 또는 선형 스트레치의 경우 상대 재생속도와 같은 관계를 보이는 것을 특징으로 하는 방법.
- 제9항에 있어서, 상기 주파수값의 비가 로그값들의 몫이나 차이인 것을 특징으로 하는 방법.
- 제9항에 있어서, 각각의 국부적 특징이 분광사진 피크이고, 각각의 주파수값이 대응 분광사진 피크의 주파수좌표로부터 결정되는 것을 특징으로 하는 방법.
- 제8항에 있어서, 상기 가변성분이 각각의 지문의 위치 부근의 제1 및 제2 국부적 특징들로부터 결정된 Δt 값이어서, 매칭된 지문 쌍의 상대값은 각각의 변동 Δt 값들의 비로 특정되며, 그래프의 피크는 두개의 오디오샘플 사이의 상대 재생속도 또는 선형 스트레치의 경우 상대 피치와 같은 관계를 보이는 것을 특징으로 하는 방법.
- 제12항에 있어서, 각각의 변동 Δt 값들의 비가 로그값들의 몫이나 차이인 것을 특징으로 하는 방법.
- 제12항에 있어서, 각각의 국부적 특징이 분광사진의 피크이고, 각각의 주파수값은 대응 분광사진 피크의 주파수좌표로부터 결정되는 것을 특징으로 하는 방법.
- 제8항에 있어서,각각의 지문의 위치 부근의 국부적 특징으로부터 결정된 주파수값인 각각의가변성분을 이용해 두개의 오디오샘플의 상대피치를 결정하는 단계;각각의 지문의 위치 부근의 제1 및 제2 국부적 특징들로부터 결정된 Δt 값인 각각의 가변성분을 이용해 두개의 오디오샘플의 상대 재생속도를 결정하는 단계; 및두개의 오디오샘플 사이의 관계가 비선형일 경우 상기 상대피치와 상대재생속도의 역수가 다른지를 결정하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
- 제1항에 있어서, R은 상대값 그래프의 피크로부터 결정된 상대 재생속도값이고;리스트내의 각각의 매칭된 지문 쌍에 대해, 보상된 상대 타임오프셋 값 t-R*t'를 결정하는 단계, 여기서 t, t'는 제1 및 제2 지문들에 대한 시간상의 위치임;상기 보상된 상대 타임오프셋 값들에 대한 제2 그래프를 형성하는 단계; 및상기 보상된 상대 타임오프셋 값의 제2 그래프에서 두개의 오디오샘플 사이의 관계를 보여주는 통계학적으로 큰 피크를 서치하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
- 전항들중의 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램 제품.
- 두개의 오디오샘플 사이의 관계를 특정하는데 필요한 정보를 서버에 보내기위한 클라이언트를 포함하는, 제1항 내지 제16항중의 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 시스템.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US37605502P | 2002-04-25 | 2002-04-25 | |
US60/376,055 | 2002-04-25 | ||
PCT/US2003/012126 WO2003091990A1 (en) | 2002-04-25 | 2003-04-18 | Robust and invariant audio pattern matching |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20050010763A true KR20050010763A (ko) | 2005-01-28 |
KR100820385B1 KR100820385B1 (ko) | 2008-04-10 |
Family
ID=29270756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020047016919A KR100820385B1 (ko) | 2002-04-25 | 2003-04-18 | 확실하고 불변적인 오디오 패턴 매칭방법 |
Country Status (16)
Country | Link |
---|---|
US (1) | US7627477B2 (ko) |
EP (1) | EP1504445B1 (ko) |
JP (1) | JP4425126B2 (ko) |
KR (1) | KR100820385B1 (ko) |
CN (1) | CN1315110C (ko) |
AT (1) | ATE405924T1 (ko) |
AU (1) | AU2003230993A1 (ko) |
BR (1) | BR0309598A (ko) |
CA (1) | CA2483104C (ko) |
DE (1) | DE60323086D1 (ko) |
DK (1) | DK1504445T3 (ko) |
ES (1) | ES2312772T3 (ko) |
HK (1) | HK1073382A1 (ko) |
PT (1) | PT1504445E (ko) |
TW (1) | TWI269196B (ko) |
WO (1) | WO2003091990A1 (ko) |
Families Citing this family (285)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6834308B1 (en) | 2000-02-17 | 2004-12-21 | Audible Magic Corporation | Method and apparatus for identifying media content presented on a media playing device |
US7853664B1 (en) * | 2000-07-31 | 2010-12-14 | Landmark Digital Services Llc | Method and system for purchasing pre-recorded music |
US6990453B2 (en) | 2000-07-31 | 2006-01-24 | Landmark Digital Services Llc | System and methods for recognizing sound and music signals in high noise and distortion |
US7562012B1 (en) | 2000-11-03 | 2009-07-14 | Audible Magic Corporation | Method and apparatus for creating a unique audio signature |
WO2002082271A1 (en) | 2001-04-05 | 2002-10-17 | Audible Magic Corporation | Copyright detection and protection system and method |
US7529659B2 (en) | 2005-09-28 | 2009-05-05 | Audible Magic Corporation | Method and apparatus for identifying an unknown work |
US7877438B2 (en) | 2001-07-20 | 2011-01-25 | Audible Magic Corporation | Method and apparatus for identifying new media content |
US8972481B2 (en) | 2001-07-20 | 2015-03-03 | Audible Magic, Inc. | Playlist generation method and apparatus |
US7239981B2 (en) | 2002-07-26 | 2007-07-03 | Arbitron Inc. | Systems and methods for gathering audience measurement data |
US9711153B2 (en) | 2002-09-27 | 2017-07-18 | The Nielsen Company (Us), Llc | Activating functions in processing devices using encoded audio and detecting audio signatures |
US8959016B2 (en) | 2002-09-27 | 2015-02-17 | The Nielsen Company (Us), Llc | Activating functions in processing devices using start codes embedded in audio |
CA2511919A1 (en) | 2002-12-27 | 2004-07-22 | Nielsen Media Research, Inc. | Methods and apparatus for transcoding metadata |
US8332326B2 (en) | 2003-02-01 | 2012-12-11 | Audible Magic Corporation | Method and apparatus to identify a work received by a processing system |
WO2005006758A1 (en) * | 2003-07-11 | 2005-01-20 | Koninklijke Philips Electronics N.V. | Method and device for generating and detecting a fingerprint functioning as a trigger marker in a multimedia signal |
CN100521781C (zh) * | 2003-07-25 | 2009-07-29 | 皇家飞利浦电子股份有限公司 | 生成并检测用于同步音频和视频的指纹的方法和设备 |
US9053299B2 (en) | 2003-11-03 | 2015-06-09 | James W. Wieder | Adaptive personalized playback or presentation using rating |
US11165999B1 (en) | 2003-11-03 | 2021-11-02 | Synergyze Technologies Llc | Identifying and providing compositions and digital-works |
US8001612B1 (en) | 2003-11-03 | 2011-08-16 | Wieder James W | Distributing digital-works and usage-rights to user-devices |
US9053181B2 (en) | 2003-11-03 | 2015-06-09 | James W. Wieder | Adaptive personalized playback or presentation using count |
US9098681B2 (en) | 2003-11-03 | 2015-08-04 | James W. Wieder | Adaptive personalized playback or presentation using cumulative time |
US7884274B1 (en) | 2003-11-03 | 2011-02-08 | Wieder James W | Adaptive personalized music and entertainment |
US8554681B1 (en) * | 2003-11-03 | 2013-10-08 | James W. Wieder | Providing “identified” compositions and digital-works |
US20150128039A1 (en) | 2003-11-03 | 2015-05-07 | James W. Wieder | Newness Control of a Personalized Music and/or Entertainment Sequence |
US8396800B1 (en) | 2003-11-03 | 2013-03-12 | James W. Wieder | Adaptive personalized music and entertainment |
AU2003294095B2 (en) * | 2003-11-27 | 2010-10-07 | Advestigo | System for intercepting multimedia documents |
EP1719273A4 (en) | 2004-02-19 | 2009-07-15 | Landmark Digital Services Llc | METHOD AND DEVICE FOR IDENTIFYING THE RADIATION SOURCE |
JP2007533274A (ja) | 2004-04-19 | 2007-11-15 | ランドマーク、ディジタル、サーヴィセズ、エルエルシー | コンテントのサンプリングおよび識別のための方法およびシステム |
US20050267750A1 (en) | 2004-05-27 | 2005-12-01 | Anonymous Media, Llc | Media usage monitoring and measurement system and method |
US20150051967A1 (en) | 2004-05-27 | 2015-02-19 | Anonymous Media Research, Llc | Media usage monitoring and measurment system and method |
WO2006012241A2 (en) * | 2004-06-24 | 2006-02-02 | Landmark Digital Services Llc | Method of characterizing the overlap of two media segments |
US8130746B2 (en) | 2004-07-28 | 2012-03-06 | Audible Magic Corporation | System for distributing decoy content in a peer to peer network |
US7623823B2 (en) | 2004-08-31 | 2009-11-24 | Integrated Media Measurement, Inc. | Detecting and measuring exposure to media content items |
DE102004046746B4 (de) * | 2004-09-27 | 2007-03-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zum Synchronisieren von Zusatzdaten und Basisdaten |
EP1864243A4 (en) | 2005-02-08 | 2009-08-05 | Landmark Digital Services Llc | AUTOMATIC IDENTIFICATION OF REPEATED MATERIAL IN AUDIO SIGNALS |
DE102005014477A1 (de) * | 2005-03-30 | 2006-10-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines Datenstroms und zum Erzeugen einer Multikanal-Darstellung |
US20070016918A1 (en) * | 2005-05-20 | 2007-01-18 | Alcorn Allan E | Detecting and tracking advertisements |
US9256668B2 (en) | 2005-10-26 | 2016-02-09 | Cortica, Ltd. | System and method of detecting common patterns within unstructured data elements retrieved from big data sources |
US11361014B2 (en) | 2005-10-26 | 2022-06-14 | Cortica Ltd. | System and method for completing a user profile |
US10535192B2 (en) | 2005-10-26 | 2020-01-14 | Cortica Ltd. | System and method for generating a customized augmented reality environment to a user |
US11216498B2 (en) | 2005-10-26 | 2022-01-04 | Cortica, Ltd. | System and method for generating signatures to three-dimensional multimedia data elements |
IL185414A0 (en) * | 2005-10-26 | 2008-01-06 | Igal Raichelgauz | Large-scale matching system and method for multimedia deep-content-classification |
US10360253B2 (en) | 2005-10-26 | 2019-07-23 | Cortica, Ltd. | Systems and methods for generation of searchable structures respective of multimedia data content |
US10691642B2 (en) | 2005-10-26 | 2020-06-23 | Cortica Ltd | System and method for enriching a concept database with homogenous concepts |
US10387914B2 (en) | 2005-10-26 | 2019-08-20 | Cortica, Ltd. | Method for identification of multimedia content elements and adding advertising content respective thereof |
US11604847B2 (en) | 2005-10-26 | 2023-03-14 | Cortica Ltd. | System and method for overlaying content on a multimedia content element based on user interest |
US11386139B2 (en) | 2005-10-26 | 2022-07-12 | Cortica Ltd. | System and method for generating analytics for entities depicted in multimedia content |
US9477658B2 (en) | 2005-10-26 | 2016-10-25 | Cortica, Ltd. | Systems and method for speech to speech translation using cores of a natural liquid architecture system |
US9529984B2 (en) | 2005-10-26 | 2016-12-27 | Cortica, Ltd. | System and method for verification of user identification based on multimedia content elements |
US9235557B2 (en) | 2005-10-26 | 2016-01-12 | Cortica, Ltd. | System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page |
US10621988B2 (en) | 2005-10-26 | 2020-04-14 | Cortica Ltd | System and method for speech to text translation using cores of a natural liquid architecture system |
US9396435B2 (en) | 2005-10-26 | 2016-07-19 | Cortica, Ltd. | System and method for identification of deviations from periodic behavior patterns in multimedia content |
US9218606B2 (en) | 2005-10-26 | 2015-12-22 | Cortica, Ltd. | System and method for brand monitoring and trend analysis based on deep-content-classification |
US9087049B2 (en) | 2005-10-26 | 2015-07-21 | Cortica, Ltd. | System and method for context translation of natural language |
US10614626B2 (en) | 2005-10-26 | 2020-04-07 | Cortica Ltd. | System and method for providing augmented reality challenges |
US10191976B2 (en) | 2005-10-26 | 2019-01-29 | Cortica, Ltd. | System and method of detecting common patterns within unstructured data elements retrieved from big data sources |
US20160321253A1 (en) | 2005-10-26 | 2016-11-03 | Cortica, Ltd. | System and method for providing recommendations based on user profiles |
US10585934B2 (en) | 2005-10-26 | 2020-03-10 | Cortica Ltd. | Method and system for populating a concept database with respect to user identifiers |
US10380623B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for generating an advertisement effectiveness performance score |
US9191626B2 (en) | 2005-10-26 | 2015-11-17 | Cortica, Ltd. | System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto |
US9489431B2 (en) | 2005-10-26 | 2016-11-08 | Cortica, Ltd. | System and method for distributed search-by-content |
US9466068B2 (en) | 2005-10-26 | 2016-10-11 | Cortica, Ltd. | System and method for determining a pupillary response to a multimedia data element |
US9286623B2 (en) | 2005-10-26 | 2016-03-15 | Cortica, Ltd. | Method for determining an area within a multimedia content element over which an advertisement can be displayed |
US9953032B2 (en) | 2005-10-26 | 2018-04-24 | Cortica, Ltd. | System and method for characterization of multimedia content signals using cores of a natural liquid architecture system |
US8266185B2 (en) | 2005-10-26 | 2012-09-11 | Cortica Ltd. | System and methods thereof for generation of searchable structures respective of multimedia data content |
US9646005B2 (en) | 2005-10-26 | 2017-05-09 | Cortica, Ltd. | System and method for creating a database of multimedia content elements assigned to users |
US9767143B2 (en) | 2005-10-26 | 2017-09-19 | Cortica, Ltd. | System and method for caching of concept structures |
US10742340B2 (en) | 2005-10-26 | 2020-08-11 | Cortica Ltd. | System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto |
US9372940B2 (en) | 2005-10-26 | 2016-06-21 | Cortica, Ltd. | Apparatus and method for determining user attention using a deep-content-classification (DCC) system |
US10372746B2 (en) | 2005-10-26 | 2019-08-06 | Cortica, Ltd. | System and method for searching applications using multimedia content elements |
US10698939B2 (en) | 2005-10-26 | 2020-06-30 | Cortica Ltd | System and method for customizing images |
US8818916B2 (en) | 2005-10-26 | 2014-08-26 | Cortica, Ltd. | System and method for linking multimedia data elements to web pages |
US10848590B2 (en) | 2005-10-26 | 2020-11-24 | Cortica Ltd | System and method for determining a contextual insight and providing recommendations based thereon |
US8326775B2 (en) | 2005-10-26 | 2012-12-04 | Cortica Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
US10380267B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for tagging multimedia content elements |
US11003706B2 (en) | 2005-10-26 | 2021-05-11 | Cortica Ltd | System and methods for determining access permissions on personalized clusters of multimedia content elements |
US9384196B2 (en) | 2005-10-26 | 2016-07-05 | Cortica, Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
US9639532B2 (en) | 2005-10-26 | 2017-05-02 | Cortica, Ltd. | Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts |
US11032017B2 (en) | 2005-10-26 | 2021-06-08 | Cortica, Ltd. | System and method for identifying the context of multimedia content elements |
US9558449B2 (en) | 2005-10-26 | 2017-01-31 | Cortica, Ltd. | System and method for identifying a target area in a multimedia content element |
US10193990B2 (en) | 2005-10-26 | 2019-01-29 | Cortica Ltd. | System and method for creating user profiles based on multimedia content |
US8312031B2 (en) | 2005-10-26 | 2012-11-13 | Cortica Ltd. | System and method for generation of complex signatures for multimedia data content |
US10380164B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for using on-image gestures and multimedia content elements as search queries |
US10776585B2 (en) | 2005-10-26 | 2020-09-15 | Cortica, Ltd. | System and method for recognizing characters in multimedia content |
US10635640B2 (en) | 2005-10-26 | 2020-04-28 | Cortica, Ltd. | System and method for enriching a concept database |
US10949773B2 (en) | 2005-10-26 | 2021-03-16 | Cortica, Ltd. | System and methods thereof for recommending tags for multimedia content elements based on context |
US10180942B2 (en) | 2005-10-26 | 2019-01-15 | Cortica Ltd. | System and method for generation of concept structures based on sub-concepts |
US9330189B2 (en) | 2005-10-26 | 2016-05-03 | Cortica, Ltd. | System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item |
US11019161B2 (en) | 2005-10-26 | 2021-05-25 | Cortica, Ltd. | System and method for profiling users interest based on multimedia content analysis |
US10607355B2 (en) | 2005-10-26 | 2020-03-31 | Cortica, Ltd. | Method and system for determining the dimensions of an object shown in a multimedia content item |
US9031999B2 (en) | 2005-10-26 | 2015-05-12 | Cortica, Ltd. | System and methods for generation of a concept based database |
US9747420B2 (en) | 2005-10-26 | 2017-08-29 | Cortica, Ltd. | System and method for diagnosing a patient based on an analysis of multimedia content |
US11403336B2 (en) | 2005-10-26 | 2022-08-02 | Cortica Ltd. | System and method for removing contextually identical multimedia content elements |
US7688686B2 (en) | 2005-10-27 | 2010-03-30 | Microsoft Corporation | Enhanced table of contents (TOC) identifiers |
GB2431839B (en) * | 2005-10-28 | 2010-05-19 | Sony Uk Ltd | Audio processing |
KR100803206B1 (ko) | 2005-11-11 | 2008-02-14 | 삼성전자주식회사 | 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법 |
EP2070231B1 (en) | 2006-10-03 | 2013-07-03 | Shazam Entertainment, Ltd. | Method for high throughput of identification of distributed broadcast content |
EP2074505A4 (en) | 2006-10-05 | 2010-01-13 | Splunk Inc | CHRONOLOGICAL SERIES SEARCH ENGINE |
US10733326B2 (en) | 2006-10-26 | 2020-08-04 | Cortica Ltd. | System and method for identification of inappropriate multimedia content |
US8077839B2 (en) * | 2007-01-09 | 2011-12-13 | Freescale Semiconductor, Inc. | Handheld device for dialing of phone numbers extracted from a voicemail |
US20080317226A1 (en) * | 2007-01-09 | 2008-12-25 | Freescale Semiconductor, Inc. | Handheld device for transmitting a visual format message |
US10489795B2 (en) | 2007-04-23 | 2019-11-26 | The Nielsen Company (Us), Llc | Determining relative effectiveness of media content items |
US8849432B2 (en) * | 2007-05-31 | 2014-09-30 | Adobe Systems Incorporated | Acoustic pattern identification using spectral characteristics to synchronize audio and/or video |
US8140331B2 (en) * | 2007-07-06 | 2012-03-20 | Xia Lou | Feature extraction for identification and classification of audio signals |
US8006314B2 (en) | 2007-07-27 | 2011-08-23 | Audible Magic Corporation | System for identifying content of digital data |
US8213521B2 (en) | 2007-08-15 | 2012-07-03 | The Nielsen Company (Us), Llc | Methods and apparatus for audience measurement using global signature representation and matching |
WO2009059300A2 (en) * | 2007-11-02 | 2009-05-07 | Melodis Corporation | Pitch selection, voicing detection and vibrato detection modules in a system for automatic transcription of sung or hummed melodies |
CN101226741B (zh) * | 2007-12-28 | 2011-06-15 | 无敌科技(西安)有限公司 | 一种活动语音端点的侦测方法 |
DE102008009024A1 (de) * | 2008-02-14 | 2009-08-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum synchronisieren von Mehrkanalerweiterungsdaten mit einem Audiosignal und zum Verarbeiten des Audiosignals |
DE102008009025A1 (de) * | 2008-02-14 | 2009-08-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Berechnen eines Fingerabdrucks eines Audiosignals, Vorrichtung und Verfahren zum Synchronisieren und Vorrichtung und Verfahren zum Charakterisieren eines Testaudiosignals |
GB2457694B (en) * | 2008-02-21 | 2012-09-26 | Snell Ltd | Method of Deriving an Audio-Visual Signature |
BR122012006265B1 (pt) * | 2008-03-10 | 2024-01-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V | Equipamento e método para a manipulação de um sinal de áudio tendo um evento transiente |
GB2458471A (en) * | 2008-03-17 | 2009-09-23 | Taylor Nelson Sofres Plc | A signature generating device for an audio signal and associated methods |
EP2114079B2 (en) * | 2008-05-02 | 2018-01-24 | Psytechnics Ltd | Method and apparatus for aligning signals |
JP2010033265A (ja) | 2008-07-28 | 2010-02-12 | Nec Corp | コンテンツ配信方法およびシステム |
US8121830B2 (en) | 2008-10-24 | 2012-02-21 | The Nielsen Company (Us), Llc | Methods and apparatus to extract data encoded in media content |
US8359205B2 (en) | 2008-10-24 | 2013-01-22 | The Nielsen Company (Us), Llc | Methods and apparatus to perform audio watermarking and watermark detection and extraction |
US9667365B2 (en) | 2008-10-24 | 2017-05-30 | The Nielsen Company (Us), Llc | Methods and apparatus to perform audio watermarking and watermark detection and extraction |
US8508357B2 (en) | 2008-11-26 | 2013-08-13 | The Nielsen Company (Us), Llc | Methods and apparatus to encode and decode audio for shopper location and advertisement presentation tracking |
US8199651B1 (en) | 2009-03-16 | 2012-06-12 | Audible Magic Corporation | Method and system for modifying communication flows at a port level |
US8738367B2 (en) * | 2009-03-18 | 2014-05-27 | Nec Corporation | Speech signal processing device |
US8351712B2 (en) | 2009-04-27 | 2013-01-08 | The Neilsen Company (US), LLC | Methods and apparatus to perform image classification based on pseudorandom features |
US8666528B2 (en) | 2009-05-01 | 2014-03-04 | The Nielsen Company (Us), Llc | Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content |
GB2470201A (en) * | 2009-05-12 | 2010-11-17 | Nokia Corp | Synchronising audio and image data |
WO2010135623A1 (en) | 2009-05-21 | 2010-11-25 | Digimarc Corporation | Robust signatures derived from local nonlinear filters |
US8489774B2 (en) | 2009-05-27 | 2013-07-16 | Spot411 Technologies, Inc. | Synchronized delivery of interactive content |
WO2010138777A1 (en) * | 2009-05-27 | 2010-12-02 | Arsh Technologies, Llc | Automatic resource retrieval and use |
US10949458B2 (en) | 2009-05-29 | 2021-03-16 | Inscape Data, Inc. | System and method for improving work load management in ACR television monitoring system |
US8769584B2 (en) | 2009-05-29 | 2014-07-01 | TVI Interactive Systems, Inc. | Methods for displaying contextually targeted content on a connected television |
US9449090B2 (en) | 2009-05-29 | 2016-09-20 | Vizio Inscape Technologies, Llc | Systems and methods for addressing a media database using distance associative hashing |
US9055335B2 (en) | 2009-05-29 | 2015-06-09 | Cognitive Networks, Inc. | Systems and methods for addressing a media database using distance associative hashing |
US8190663B2 (en) * | 2009-07-06 | 2012-05-29 | Osterreichisches Forschungsinstitut Fur Artificial Intelligence Der Osterreichischen Studiengesellschaft Fur Kybernetik Of Freyung | Method and a system for identifying similar audio tracks |
EP2457232A1 (en) | 2009-07-24 | 2012-05-30 | Johannes Kepler Universität Linz | A method and an apparatus for deriving information from an audio track and determining similarity between audio tracks |
US20110041154A1 (en) * | 2009-08-14 | 2011-02-17 | All Media Guide, Llc | Content Recognition and Synchronization on a Television or Consumer Electronics Device |
US8161071B2 (en) | 2009-09-30 | 2012-04-17 | United Video Properties, Inc. | Systems and methods for audio asset storage and management |
US8677400B2 (en) | 2009-09-30 | 2014-03-18 | United Video Properties, Inc. | Systems and methods for identifying audio content using an interactive media guidance application |
US8521779B2 (en) | 2009-10-09 | 2013-08-27 | Adelphoi Limited | Metadata record generation |
US8706276B2 (en) | 2009-10-09 | 2014-04-22 | The Trustees Of Columbia University In The City Of New York | Systems, methods, and media for identifying matching audio |
US9197736B2 (en) * | 2009-12-31 | 2015-11-24 | Digimarc Corporation | Intuitive computing methods and systems |
US8121618B2 (en) | 2009-10-28 | 2012-02-21 | Digimarc Corporation | Intuitive computing methods and systems |
US8860883B2 (en) * | 2009-11-30 | 2014-10-14 | Miranda Technologies Partnership | Method and apparatus for providing signatures of audio/video signals and for making use thereof |
US8682145B2 (en) | 2009-12-04 | 2014-03-25 | Tivo Inc. | Recording system based on multimedia content fingerprints |
US8886531B2 (en) * | 2010-01-13 | 2014-11-11 | Rovi Technologies Corporation | Apparatus and method for generating an audio fingerprint and using a two-stage query |
US9275141B2 (en) | 2010-05-04 | 2016-03-01 | Shazam Entertainment Ltd. | Methods and systems for processing a sample of a media stream |
KR101582436B1 (ko) | 2010-05-04 | 2016-01-04 | 샤잠 엔터테인먼트 리미티드 | 미디어의 동기화 방법 및 시스템 |
US9159338B2 (en) | 2010-05-04 | 2015-10-13 | Shazam Entertainment Ltd. | Systems and methods of rendering a textual animation |
JP5907511B2 (ja) | 2010-06-09 | 2016-04-26 | アデルフォイ リミテッド | オーディオメディア認識のためのシステム及び方法 |
US9876905B2 (en) | 2010-09-29 | 2018-01-23 | Genesys Telecommunications Laboratories, Inc. | System for initiating interactive communication in response to audio codes |
US20140046967A1 (en) * | 2010-11-22 | 2014-02-13 | Listening Methods, Llc | System and method for pattern recognition and analysis |
EP2676208A1 (en) | 2011-02-18 | 2013-12-25 | Shazam Entertainment Ltd. | Methods and systems for identifying content in a data stream by a client device |
US8589171B2 (en) | 2011-03-17 | 2013-11-19 | Remote Media, Llc | System and method for custom marking a media file for file matching |
US8478719B2 (en) | 2011-03-17 | 2013-07-02 | Remote Media LLC | System and method for media file synchronization |
US8688631B2 (en) | 2011-03-17 | 2014-04-01 | Alexander Savenok | System and method for media file synchronization |
US9380356B2 (en) | 2011-04-12 | 2016-06-28 | The Nielsen Company (Us), Llc | Methods and apparatus to generate a tag for media content |
US8996557B2 (en) | 2011-05-18 | 2015-03-31 | Microsoft Technology Licensing, Llc | Query and matching for content recognition |
MX2013014245A (es) | 2011-06-06 | 2014-02-27 | Bridge Mediatech S L | Metodo y sistema para conseguir hashing de audio invariante al canal. |
JP6060155B2 (ja) | 2011-06-08 | 2017-01-11 | シャザム エンターテインメント リミテッドShazam Entertainment Limited | 受信データの比較を実行しその比較に基づいて後続サービスを提供する方法及びシステム |
CA2837725C (en) | 2011-06-10 | 2017-07-11 | Shazam Entertainment Ltd. | Methods and systems for identifying content in a data stream |
US9515904B2 (en) | 2011-06-21 | 2016-12-06 | The Nielsen Company (Us), Llc | Monitoring streaming media content |
US9209978B2 (en) | 2012-05-15 | 2015-12-08 | The Nielsen Company (Us), Llc | Methods and apparatus to measure exposure to streaming media |
US8620646B2 (en) * | 2011-08-08 | 2013-12-31 | The Intellisis Corporation | System and method for tracking sound pitch across an audio signal using harmonic envelope |
US8639178B2 (en) | 2011-08-30 | 2014-01-28 | Clear Channel Management Sevices, Inc. | Broadcast source identification based on matching broadcast signal fingerprints |
US9374183B2 (en) | 2011-08-30 | 2016-06-21 | Iheartmedia Management Services, Inc. | Broadcast source identification based on matching via bit count |
US9461759B2 (en) | 2011-08-30 | 2016-10-04 | Iheartmedia Management Services, Inc. | Identification of changed broadcast media items |
US9049496B2 (en) * | 2011-09-01 | 2015-06-02 | Gracenote, Inc. | Media source identification |
US9113202B1 (en) * | 2011-09-21 | 2015-08-18 | Google Inc. | Inverted client-side fingerprinting and matching |
US9460465B2 (en) | 2011-09-21 | 2016-10-04 | Genesys Telecommunications Laboratories, Inc. | Graphical menu builder for encoding applications in an image |
US9384272B2 (en) | 2011-10-05 | 2016-07-05 | The Trustees Of Columbia University In The City Of New York | Methods, systems, and media for identifying similar songs using jumpcodes |
US8831763B1 (en) * | 2011-10-18 | 2014-09-09 | Google Inc. | Intelligent interest point pruning for audio matching |
US8538333B2 (en) | 2011-12-16 | 2013-09-17 | Arbitron Inc. | Media exposure linking utilizing bluetooth signal characteristics |
US8977194B2 (en) | 2011-12-16 | 2015-03-10 | The Nielsen Company (Us), Llc | Media exposure and verification utilizing inductive coupling |
US9268845B1 (en) * | 2012-03-08 | 2016-02-23 | Google Inc. | Audio matching using time alignment, frequency alignment, and interest point overlap to filter false positives |
JP2013205830A (ja) * | 2012-03-29 | 2013-10-07 | Sony Corp | トーン成分検出方法、トーン成分検出装置およびプログラム |
EP2648418A1 (en) * | 2012-04-05 | 2013-10-09 | Thomson Licensing | Synchronization of multimedia streams |
US9235867B2 (en) * | 2012-06-04 | 2016-01-12 | Microsoft Technology Licensing, Llc | Concurrent media delivery |
US9129015B1 (en) * | 2012-06-26 | 2015-09-08 | Google Inc. | Min/max filter for audio matching |
US9282366B2 (en) | 2012-08-13 | 2016-03-08 | The Nielsen Company (Us), Llc | Methods and apparatus to communicate audience measurement information |
US20140074466A1 (en) * | 2012-09-10 | 2014-03-13 | Google Inc. | Answering questions using environmental context |
US9081778B2 (en) | 2012-09-25 | 2015-07-14 | Audible Magic Corporation | Using digital fingerprints to associate data with a work |
US9390719B1 (en) * | 2012-10-09 | 2016-07-12 | Google Inc. | Interest points density control for audio matching |
US9069849B1 (en) * | 2012-10-10 | 2015-06-30 | Google Inc. | Methods for enforcing time alignment for speed resistant audio matching |
EP2731030A1 (en) * | 2012-11-13 | 2014-05-14 | Samsung Electronics Co., Ltd | Music information searching method and apparatus thereof |
US9158760B2 (en) | 2012-12-21 | 2015-10-13 | The Nielsen Company (Us), Llc | Audio decoding with supplemental semantic audio recognition and report generation |
US9183849B2 (en) | 2012-12-21 | 2015-11-10 | The Nielsen Company (Us), Llc | Audio matching with semantic audio recognition and report generation |
US9195649B2 (en) | 2012-12-21 | 2015-11-24 | The Nielsen Company (Us), Llc | Audio processing techniques for semantic audio recognition and report generation |
CN103971689B (zh) * | 2013-02-04 | 2016-01-27 | 腾讯科技(深圳)有限公司 | 一种音频识别方法及装置 |
US9706252B2 (en) | 2013-02-04 | 2017-07-11 | Universal Electronics Inc. | System and method for user monitoring and intent determination |
US9313544B2 (en) | 2013-02-14 | 2016-04-12 | The Nielsen Company (Us), Llc | Methods and apparatus to measure exposure to streaming media |
FR3002713B1 (fr) * | 2013-02-27 | 2015-02-27 | Inst Mines Telecom | Generation d'une signature d'un signal audio musical |
US9451048B2 (en) | 2013-03-12 | 2016-09-20 | Shazam Investments Ltd. | Methods and systems for identifying information of a broadcast station and information of broadcasted content |
US9773058B2 (en) | 2013-03-15 | 2017-09-26 | Shazam Investments Ltd. | Methods and systems for arranging and searching a database of media content recordings |
US20140278845A1 (en) | 2013-03-15 | 2014-09-18 | Shazam Investments Limited | Methods and Systems for Identifying Target Media Content and Determining Supplemental Information about the Target Media Content |
US9390170B2 (en) | 2013-03-15 | 2016-07-12 | Shazam Investments Ltd. | Methods and systems for arranging and searching a database of media content recordings |
US9269022B2 (en) | 2013-04-11 | 2016-02-23 | Digimarc Corporation | Methods for object recognition and related arrangements |
US10225136B2 (en) | 2013-04-30 | 2019-03-05 | Splunk Inc. | Processing of log data and performance data obtained via an application programming interface (API) |
US10346357B2 (en) | 2013-04-30 | 2019-07-09 | Splunk Inc. | Processing of performance data and structure data from an information technology environment |
US10614132B2 (en) | 2013-04-30 | 2020-04-07 | Splunk Inc. | GUI-triggered processing of performance data and log data from an information technology environment |
US10353957B2 (en) | 2013-04-30 | 2019-07-16 | Splunk Inc. | Processing of performance data and raw log data from an information technology environment |
US10997191B2 (en) | 2013-04-30 | 2021-05-04 | Splunk Inc. | Query-triggered processing of performance data and log data from an information technology environment |
US10318541B2 (en) | 2013-04-30 | 2019-06-11 | Splunk Inc. | Correlating log data with performance measurements having a specified relationship to a threshold value |
US10019496B2 (en) | 2013-04-30 | 2018-07-10 | Splunk Inc. | Processing of performance data and log data from an information technology environment by using diverse data stores |
US9460201B2 (en) | 2013-05-06 | 2016-10-04 | Iheartmedia Management Services, Inc. | Unordered matching of audio fingerprints |
CN103402118B (zh) * | 2013-07-05 | 2017-12-01 | Tcl集团股份有限公司 | 一种媒体节目互动方法及*** |
US20150039321A1 (en) | 2013-07-31 | 2015-02-05 | Arbitron Inc. | Apparatus, System and Method for Reading Codes From Digital Audio on a Processing Device |
US9711152B2 (en) | 2013-07-31 | 2017-07-18 | The Nielsen Company (Us), Llc | Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio |
US9275427B1 (en) * | 2013-09-05 | 2016-03-01 | Google Inc. | Multi-channel audio video fingerprinting |
US9898086B2 (en) * | 2013-09-06 | 2018-02-20 | Immersion Corporation | Systems and methods for visual processing of spectrograms to generate haptic effects |
US9053711B1 (en) | 2013-09-10 | 2015-06-09 | Ampersand, Inc. | Method of matching a digitized stream of audio signals to a known audio recording |
US10014006B1 (en) | 2013-09-10 | 2018-07-03 | Ampersand, Inc. | Method of determining whether a phone call is answered by a human or by an automated device |
TWI527025B (zh) * | 2013-11-11 | 2016-03-21 | 財團法人資訊工業策進會 | 電腦系統、音訊比對方法及其電腦可讀取記錄媒體 |
NL2011893C2 (en) * | 2013-12-04 | 2015-06-08 | Stichting Incas3 | Method and system for predicting human activity. |
US9426525B2 (en) | 2013-12-31 | 2016-08-23 | The Nielsen Company (Us), Llc. | Methods and apparatus to count people in an audience |
WO2015118431A1 (en) | 2014-02-05 | 2015-08-13 | Edge Innovation, Lda. | Method for capture and analysis of multimedia content |
US9311639B2 (en) | 2014-02-11 | 2016-04-12 | Digimarc Corporation | Methods, apparatus and arrangements for device to device communication |
US10430985B2 (en) | 2014-03-14 | 2019-10-01 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
US9699499B2 (en) | 2014-04-30 | 2017-07-04 | The Nielsen Company (Us), Llc | Methods and apparatus to measure exposure to streaming media |
CN104093079B (zh) | 2014-05-29 | 2015-10-07 | 腾讯科技(深圳)有限公司 | 基于多媒体节目的交互方法、终端、服务器和*** |
EP3023884A1 (en) * | 2014-11-21 | 2016-05-25 | Thomson Licensing | Method and apparatus for generating fingerprint of an audio signal |
CN107534800B (zh) | 2014-12-01 | 2020-07-03 | 构造数据有限责任公司 | 用于连续介质片段识别的***和方法 |
WO2016086905A1 (es) * | 2014-12-05 | 2016-06-09 | Monitoreo Tecnológico, S.A | Método de medición de audiencias |
CN118138844A (zh) | 2015-01-30 | 2024-06-04 | 构造数据有限责任公司 | 用于识别视频片段以及显示从替代源和/或在替代设备上观看的选项的方法 |
US10360583B2 (en) | 2015-02-05 | 2019-07-23 | Direct Path, Llc | System and method for direct response advertising |
EP3284017B1 (en) | 2015-04-17 | 2024-03-27 | Inscape Data, Inc. | Systems and methods for reducing data density in large datasets |
CN106294331B (zh) * | 2015-05-11 | 2020-01-21 | 阿里巴巴集团控股有限公司 | 音频信息检索方法及装置 |
US9762965B2 (en) | 2015-05-29 | 2017-09-12 | The Nielsen Company (Us), Llc | Methods and apparatus to measure exposure to streaming media |
CN108351879B (zh) | 2015-07-16 | 2022-02-18 | 构造数据有限责任公司 | 用于提高识别媒体段的效率的划分搜索索引的***和方法 |
US10080062B2 (en) | 2015-07-16 | 2018-09-18 | Inscape Data, Inc. | Optimizing media fingerprint retention to improve system resource utilization |
WO2017011798A1 (en) | 2015-07-16 | 2017-01-19 | Vizio Inscape Technologies, Llc | Detection of common media segments |
CN106558318B (zh) * | 2015-09-24 | 2020-04-28 | 阿里巴巴集团控股有限公司 | 音频识别方法和*** |
US11037015B2 (en) | 2015-12-15 | 2021-06-15 | Cortica Ltd. | Identification of key points in multimedia data elements |
US11195043B2 (en) | 2015-12-15 | 2021-12-07 | Cortica, Ltd. | System and method for determining common patterns in multimedia content elements based on key points |
US9596502B1 (en) | 2015-12-21 | 2017-03-14 | Max Abecassis | Integration of multiple synchronization methodologies |
US9516373B1 (en) | 2015-12-21 | 2016-12-06 | Max Abecassis | Presets of synchronized second screen functions |
AU2017210289B2 (en) | 2016-01-19 | 2021-10-21 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
US10951935B2 (en) | 2016-04-08 | 2021-03-16 | Source Digital, Inc. | Media environment driven content distribution platform |
US10397663B2 (en) * | 2016-04-08 | 2019-08-27 | Source Digital, Inc. | Synchronizing ancillary data to content including audio |
US9786298B1 (en) | 2016-04-08 | 2017-10-10 | Source Digital, Inc. | Audio fingerprinting based on audio energy characteristics |
US10311918B1 (en) | 2016-04-19 | 2019-06-04 | Space Projects Ltd. | System, media, and method for synchronization of independent sensors and recording devices |
AU2017257549B2 (en) | 2016-04-26 | 2021-09-09 | Magic Leap, Inc. | Electromagnetic tracking with augmented reality systems |
US10015612B2 (en) | 2016-05-25 | 2018-07-03 | Dolby Laboratories Licensing Corporation | Measurement, verification and correction of time alignment of multiple audio channels and associated metadata |
CN106910494B (zh) | 2016-06-28 | 2020-11-13 | 创新先进技术有限公司 | 一种音频识别方法和装置 |
JPWO2018047805A1 (ja) * | 2016-09-09 | 2019-06-24 | 日本電気株式会社 | 移動音源速度推定装置、速度監視システム、移動音源速度推定方法、および移動音源速度推定用プログラム |
ES2765415T3 (es) | 2016-10-21 | 2020-06-09 | Fujitsu Ltd | Aparato, método y programa de procesamiento de datos basado en microservicios |
EP3312722A1 (en) | 2016-10-21 | 2018-04-25 | Fujitsu Limited | Data processing apparatus, method, and program |
US10776170B2 (en) | 2016-10-21 | 2020-09-15 | Fujitsu Limited | Software service execution apparatus, system, and method |
JP7100422B2 (ja) | 2016-10-21 | 2022-07-13 | 富士通株式会社 | データプロパティ認識のための装置、プログラム、及び方法 |
JP6805765B2 (ja) | 2016-10-21 | 2020-12-23 | 富士通株式会社 | ソフトウェアサービスの実行のためのシステム、方法、及びプログラム |
US10922720B2 (en) | 2017-01-11 | 2021-02-16 | Adobe Inc. | Managing content delivery via audio cues |
US10166472B2 (en) | 2017-05-04 | 2019-01-01 | Shazam Investments Ltd. | Methods and systems for determining a reaction time for a response and synchronizing user interface(s) with content being rendered |
US10860786B2 (en) * | 2017-06-01 | 2020-12-08 | Global Tel*Link Corporation | System and method for analyzing and investigating communication data from a controlled environment |
WO2019008581A1 (en) | 2017-07-05 | 2019-01-10 | Cortica Ltd. | DETERMINATION OF DRIVING POLICIES |
GB2564495A (en) * | 2017-07-07 | 2019-01-16 | Cirrus Logic Int Semiconductor Ltd | Audio data transfer |
US11899707B2 (en) | 2017-07-09 | 2024-02-13 | Cortica Ltd. | Driving policies determination |
US10129392B1 (en) * | 2017-08-25 | 2018-11-13 | Global Tel*Link Corporation | Systems and methods for detecting inmate to inmate conference calls |
FR3071994A1 (fr) * | 2017-09-29 | 2019-04-05 | Theater Ears, LLC | Procede et programme de reconnaissance et synchronisation audio |
US20190104335A1 (en) * | 2017-09-29 | 2019-04-04 | Theater Ears, LLC | Theater ears audio recognition & synchronization algorithm |
US20190109804A1 (en) * | 2017-10-10 | 2019-04-11 | Microsoft Technology Licensing, Llc | Audio processing for voice simulated noise effects |
US10158907B1 (en) * | 2017-10-10 | 2018-12-18 | Shazam Investments Ltd. | Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings |
US10129575B1 (en) | 2017-10-25 | 2018-11-13 | Shazam Entertainment Limited | Methods and systems for determining a latency between a source and an alternative feed of the source |
US10846544B2 (en) | 2018-07-16 | 2020-11-24 | Cartica Ai Ltd. | Transportation prediction system and method |
WO2020018667A1 (en) * | 2018-07-18 | 2020-01-23 | Google Llc | Echo detection |
US11443724B2 (en) * | 2018-07-31 | 2022-09-13 | Mediawave Intelligent Communication | Method of synchronizing electronic interactive device |
US20200133308A1 (en) | 2018-10-18 | 2020-04-30 | Cartica Ai Ltd | Vehicle to vehicle (v2v) communication less truck platooning |
US11181911B2 (en) | 2018-10-18 | 2021-11-23 | Cartica Ai Ltd | Control transfer of a vehicle |
US11126870B2 (en) | 2018-10-18 | 2021-09-21 | Cartica Ai Ltd. | Method and system for obstacle detection |
US10839694B2 (en) | 2018-10-18 | 2020-11-17 | Cartica Ai Ltd | Blind spot alert |
US10748038B1 (en) | 2019-03-31 | 2020-08-18 | Cortica Ltd. | Efficient calculation of a robust signature of a media unit |
US11700356B2 (en) | 2018-10-26 | 2023-07-11 | AutoBrains Technologies Ltd. | Control transfer of a vehicle |
US10789535B2 (en) | 2018-11-26 | 2020-09-29 | Cartica Ai Ltd | Detection of road elements |
US11643005B2 (en) | 2019-02-27 | 2023-05-09 | Autobrains Technologies Ltd | Adjusting adjustable headlights of a vehicle |
US11285963B2 (en) | 2019-03-10 | 2022-03-29 | Cartica Ai Ltd. | Driver-based prediction of dangerous events |
US11694088B2 (en) | 2019-03-13 | 2023-07-04 | Cortica Ltd. | Method for object detection using knowledge distillation |
US11132548B2 (en) | 2019-03-20 | 2021-09-28 | Cortica Ltd. | Determining object information that does not explicitly appear in a media unit signature |
US11222069B2 (en) | 2019-03-31 | 2022-01-11 | Cortica Ltd. | Low-power calculation of a signature of a media unit |
US10796444B1 (en) | 2019-03-31 | 2020-10-06 | Cortica Ltd | Configuring spanning elements of a signature generator |
US10789527B1 (en) | 2019-03-31 | 2020-09-29 | Cortica Ltd. | Method for object detection using shallow neural networks |
US10776669B1 (en) | 2019-03-31 | 2020-09-15 | Cortica Ltd. | Signature generation and object detection that refer to rare scenes |
US11245959B2 (en) | 2019-06-20 | 2022-02-08 | Source Digital, Inc. | Continuous dual authentication to access media content |
US10748022B1 (en) | 2019-12-12 | 2020-08-18 | Cartica Ai Ltd | Crowd separation |
US11593662B2 (en) | 2019-12-12 | 2023-02-28 | Autobrains Technologies Ltd | Unsupervised cluster generation |
DE102020202400A1 (de) | 2020-02-25 | 2021-08-26 | OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung | Optoelektronische sensorvorrichtung, detektor und elektronisches gerät sowie verfahren zum betreiben einer derartigen sensorvorrichtung bzw. eines derartigen detektors |
US11590988B2 (en) | 2020-03-19 | 2023-02-28 | Autobrains Technologies Ltd | Predictive turning assistant |
US11827215B2 (en) | 2020-03-31 | 2023-11-28 | AutoBrains Technologies Ltd. | Method for training a driving related object detector |
US11756424B2 (en) | 2020-07-24 | 2023-09-12 | AutoBrains Technologies Ltd. | Parking assist |
US11694692B2 (en) | 2020-11-11 | 2023-07-04 | Bank Of America Corporation | Systems and methods for audio enhancement and conversion |
US20230388562A1 (en) * | 2022-05-27 | 2023-11-30 | Sling TV L.L.C. | Media signature recognition with resource constrained devices |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4415767A (en) * | 1981-10-19 | 1983-11-15 | Votan | Method and apparatus for speech recognition and reproduction |
US4450531A (en) * | 1982-09-10 | 1984-05-22 | Ensco, Inc. | Broadcast signal recognition system and method |
US4843562A (en) * | 1987-06-24 | 1989-06-27 | Broadcast Data Systems Limited Partnership | Broadcast information classification system and method |
US5210820A (en) * | 1990-05-02 | 1993-05-11 | Broadcast Data Systems Limited Partnership | Signal recognition system and method |
GB9424429D0 (en) * | 1994-12-02 | 1995-01-18 | Philips Electronics Uk Ltd | Audio/video timing discrepancy management |
US5918223A (en) * | 1996-07-22 | 1999-06-29 | Muscle Fish | Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information |
US6088455A (en) * | 1997-01-07 | 2000-07-11 | Logan; James D. | Methods and apparatus for selectively reproducing segments of broadcast programming |
WO1998034216A2 (en) | 1997-01-31 | 1998-08-06 | T-Netix, Inc. | System and method for detecting a recorded voice |
US5940799A (en) | 1997-09-15 | 1999-08-17 | Motorola, Inc. | System and method for securing speech transactions |
US5913196A (en) | 1997-11-17 | 1999-06-15 | Talmor; Rita | System and method for establishing identity of a speaker |
CN1219810A (zh) * | 1997-12-12 | 1999-06-16 | 上海金陵股份有限公司 | 远程公共电脑*** |
US6434520B1 (en) * | 1999-04-16 | 2002-08-13 | International Business Machines Corporation | System and method for indexing and querying audio archives |
US20010044719A1 (en) * | 1999-07-02 | 2001-11-22 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for recognizing, indexing, and searching acoustic signals |
GR1003625B (el) * | 1999-07-08 | 2001-08-31 | Μεθοδος χημικης αποθεσης συνθετων επικαλυψεων αγωγιμων πολυμερων σε επιφανειες κραματων αλουμινιου | |
US7174293B2 (en) * | 1999-09-21 | 2007-02-06 | Iceberg Industries Llc | Audio identification system and method |
US7194752B1 (en) * | 1999-10-19 | 2007-03-20 | Iceberg Industries, Llc | Method and apparatus for automatically recognizing input audio and/or video streams |
US6453252B1 (en) * | 2000-05-15 | 2002-09-17 | Creative Technology Ltd. | Process for identifying audio content |
US6990453B2 (en) * | 2000-07-31 | 2006-01-24 | Landmark Digital Services Llc | System and methods for recognizing sound and music signals in high noise and distortion |
US7853664B1 (en) * | 2000-07-31 | 2010-12-14 | Landmark Digital Services Llc | Method and system for purchasing pre-recorded music |
US20020072982A1 (en) * | 2000-12-12 | 2002-06-13 | Shazam Entertainment Ltd. | Method and system for interacting with a user in an experiential environment |
US6483927B2 (en) | 2000-12-18 | 2002-11-19 | Digimarc Corporation | Synchronizing readers of hidden auxiliary data in quantization-based data hiding schemes |
ATE405101T1 (de) * | 2001-02-12 | 2008-08-15 | Gracenote Inc | Verfahren zum erzeugen einer identifikations hash vom inhalt einer multimedia datei |
US7328153B2 (en) * | 2001-07-20 | 2008-02-05 | Gracenote, Inc. | Automatic identification of sound recordings |
US7082394B2 (en) * | 2002-06-25 | 2006-07-25 | Microsoft Corporation | Noise-robust feature extraction using multi-layer principal component analysis |
AU2003264774A1 (en) * | 2002-11-01 | 2004-05-25 | Koninklijke Philips Electronics N.V. | Improved audio data fingerprint searching |
KR100456408B1 (ko) * | 2004-02-06 | 2004-11-10 | (주)뮤레카 | 오디오유전자 생성방법 및 오디오데이터 검색방법 |
EP1864243A4 (en) * | 2005-02-08 | 2009-08-05 | Landmark Digital Services Llc | AUTOMATIC IDENTIFICATION OF REPEATED MATERIAL IN AUDIO SIGNALS |
-
2003
- 2003-04-18 JP JP2004500283A patent/JP4425126B2/ja not_active Expired - Fee Related
- 2003-04-18 KR KR1020047016919A patent/KR100820385B1/ko not_active IP Right Cessation
- 2003-04-18 CN CNB038089386A patent/CN1315110C/zh not_active Expired - Fee Related
- 2003-04-18 PT PT03724113T patent/PT1504445E/pt unknown
- 2003-04-18 BR BR0309598-3A patent/BR0309598A/pt active Pending
- 2003-04-18 CA CA2483104A patent/CA2483104C/en not_active Expired - Fee Related
- 2003-04-18 AU AU2003230993A patent/AU2003230993A1/en not_active Abandoned
- 2003-04-18 WO PCT/US2003/012126 patent/WO2003091990A1/en active Application Filing
- 2003-04-18 AT AT03724113T patent/ATE405924T1/de active
- 2003-04-18 ES ES03724113T patent/ES2312772T3/es not_active Expired - Lifetime
- 2003-04-18 DK DK03724113T patent/DK1504445T3/da active
- 2003-04-18 DE DE60323086T patent/DE60323086D1/de not_active Expired - Lifetime
- 2003-04-18 EP EP03724113A patent/EP1504445B1/en not_active Expired - Lifetime
- 2003-04-24 TW TW092109632A patent/TWI269196B/zh not_active IP Right Cessation
-
2004
- 2004-10-21 US US10/978,313 patent/US7627477B2/en active Active
-
2005
- 2005-07-14 HK HK05105991A patent/HK1073382A1/xx unknown
Also Published As
Publication number | Publication date |
---|---|
DK1504445T3 (da) | 2008-12-01 |
US20090265174A9 (en) | 2009-10-22 |
JP2005524108A (ja) | 2005-08-11 |
BR0309598A (pt) | 2005-02-09 |
KR100820385B1 (ko) | 2008-04-10 |
AU2003230993A1 (en) | 2003-11-10 |
TWI269196B (en) | 2006-12-21 |
WO2003091990A1 (en) | 2003-11-06 |
JP4425126B2 (ja) | 2010-03-03 |
US7627477B2 (en) | 2009-12-01 |
EP1504445B1 (en) | 2008-08-20 |
ES2312772T3 (es) | 2009-03-01 |
EP1504445A1 (en) | 2005-02-09 |
CA2483104C (en) | 2011-06-21 |
EP1504445A4 (en) | 2005-08-17 |
HK1073382A1 (en) | 2005-09-30 |
CA2483104A1 (en) | 2003-11-06 |
DE60323086D1 (de) | 2008-10-02 |
ATE405924T1 (de) | 2008-09-15 |
TW200307205A (en) | 2003-12-01 |
PT1504445E (pt) | 2008-11-24 |
CN1315110C (zh) | 2007-05-09 |
US20050177372A1 (en) | 2005-08-11 |
CN1647160A (zh) | 2005-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100820385B1 (ko) | 확실하고 불변적인 오디오 패턴 매칭방법 | |
Sonnleitner et al. | Robust quad-based audio fingerprinting | |
US7626111B2 (en) | Similar music search method and apparatus using music content summary | |
US9317561B2 (en) | Scene change detection around a set of seed points in media data | |
US6928233B1 (en) | Signal processing method and video signal processor for detecting and analyzing a pattern reflecting the semantics of the content of a signal | |
JP5362178B2 (ja) | オーディオ信号からの特徴的な指紋の抽出とマッチング | |
JP5907511B2 (ja) | オーディオメディア認識のためのシステム及び方法 | |
US7371958B2 (en) | Method, medium, and system summarizing music content | |
US8492633B2 (en) | Musical fingerprinting | |
US10657175B2 (en) | Audio fingerprint extraction and audio recognition using said fingerprints | |
US20140330556A1 (en) | Low complexity repetition detection in media data | |
JP2010530100A (ja) | 複数の検索の組み合わせを使用して、オーディオ/ビデオの指紋検索精度を改善する方法及び装置 | |
EP1704454A2 (en) | A method and system for generating acoustic fingerprints | |
US8718803B2 (en) | Method for calculating measures of similarity between time signals | |
US7680654B2 (en) | Apparatus and method for segmentation of audio data into meta patterns | |
CN106663110B (zh) | 音频序列对准的概率评分的导出 | |
Gillet et al. | Comparing audio and video segmentations for music videos indexing | |
Htun | Analytical approach to MFCC based space-saving audio fingerprinting system | |
Manzo-Martinez et al. | An eigenvalues analysis with entropy-per-chroma feature | |
Yin et al. | Robust online music identification using spectral entropy in the compressed domain | |
CN115691553A (zh) | 一种视频背景音乐的版权识别方法 | |
WIEST et al. | Automatic Audio Thumbnail Positioning Using Self-Similarity | |
Arora et al. | Comparison and Implementation of Audio based Searching for Indian Classical Music | |
de los Santos Guadarrama | Nonlinear Audio Recurrence Analysis with Application to Music Genre Classification. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130322 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20140402 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20150421 Year of fee payment: 8 |
|
LAPS | Lapse due to unpaid annual fee |