ES2512640T3 - Métodos y aparato para generar firmas - Google Patents

Métodos y aparato para generar firmas Download PDF

Info

Publication number
ES2512640T3
ES2512640T3 ES08873178.1T ES08873178T ES2512640T3 ES 2512640 T3 ES2512640 T3 ES 2512640T3 ES 08873178 T ES08873178 T ES 08873178T ES 2512640 T3 ES2512640 T3 ES 2512640T3
Authority
ES
Spain
Prior art keywords
window
audio
window function
characteristic
signature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES08873178.1T
Other languages
English (en)
Inventor
Alexander Pavlovich Topchy
Arun Ramamswamy
Venugopal Srinivasan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nielsen Co US LLC
Original Assignee
Nielsen Co US LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nielsen Co US LLC filed Critical Nielsen Co US LLC
Application granted granted Critical
Publication of ES2512640T3 publication Critical patent/ES2512640T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/58Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H2201/00Aspects of broadcast communication
    • H04H2201/90Aspects of broadcast communication characterised by the use of signatures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/66Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on distributors' side

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Un método de generación de una firma que representa una parte de una señal de audio, comprendiendo el método: capturar una señal de audio; multiplicar una primera función de ventana por una parte de la señal de audio capturada que representa un mismo número de muestras que la primera función de ventana para producir un primer bloque de audio de ventana que representa el mismo número de muestras que la primera función de ventana; multiplicar una segunda función de ventana diferente de la primera función de ventana y que representa el mismo número de muestras que la primera función de ventana por una parte idéntica de la señal de audio capturada que representa el mismo número de muestras que la primera función de ventana para producir un segundo bloque de audio de ventana que representa el mismo número de muestras que la primera función de ventana; transformar el primer bloque de audio de ventana en una primera representación del dominio de frecuencia; transformar el segundo bloque de audio de ventana en una segunda representación del dominio de frecuencia; determinar una primera característica para cada una de una pluralidad de bandas de las frecuencias a partir de la primera representación del dominio de frecuencia; determinar una segunda característica para cada una de las bandas de las frecuencias a partir de la segunda representación del dominio de frecuencia, siendo la segunda característica de un mismo tipo que la primera característica; restar la primera característica de la segunda característica para determinar un valor intermedio para cada una de las bandas de las frecuencias; y asignar un valor de bit de firma en base al valor intermedio determinado para cada una de las bandas de las frecuencias.

Description

imagen1
DESCRIPCIÓN
Métodos y aparato para generar firmas
5 Esta solicitud reivindica el beneficio de la Solicitud Provisional de Estados Unidos 61/033.992, presentada el 05 de marzo 2008.
CAMPO DE LA DIVULGACIÓN
10 La presente divulgación se refiere, en general, a la monitorización de medios, a la búsqueda y recuperación de contenidos multimedia y, más especialmente, a unos métodos y aparatos para generar firmas para su uso en la información de los medios de identificación.
ANTECEDENTES
15 La información de los medios de identificación y, más específicamente, las señales de audio (por ejemplo, la información en los flujos de audio) que usan técnicas de emparejamiento de firma están bien establecidas. Las firmas se conocen también de forma equivalente, y con frecuencia se denominan como huellas dactilares. Las técnicas de emparejamiento de firma se usan a menudo en aplicaciones de medición de audiencia de televisión y
20 radio y se implementan usando varios métodos para generar y emparejar firmas. Por ejemplo, en aplicaciones de medición de audiencia de televisión, las firmas se generan en los sitios de monitorización (por ejemplo, hogares monitorizados) y sitios de referencia. Los sitios de monitorización en general incluyen lugares tales como, por ejemplo, los hogares en los que se monitoriza el consumo de medios de los miembros de la audiencia. Por ejemplo, en un sitio de monitorización, las firmas monitorizadas pueden generarse en base a flujos de audio asociados con un
25 canal seleccionado, una estación de radio, etc. A continuación, las firmas monitorizadas pueden enviarse a una instalación de recopilación de datos central para su análisis. En un sitio de referencia, las firmas, normalmente denominadas como firmas de referencia, se generan en base a programas conocidos que se proporcionan dentro de una región de difusión. Las firmas de referencia pueden almacenarse en el sitio de referencia y/o en una instalación de recopilación de datos central y se comparan con las firmas monitorizadas generadas en los sitios de
30 monitorización. Puede encontrarse una firma monitorizada que se empareje con una firma de referencia y el programa conocido correspondiente a la firma de referencia emparejada puede identificarse como el programa que se ha presentado en el sitio de monitorización.
El número de publicación internacional WO 02/065782 A1 divulga un método que genera algoritmos robustos para el
35 contenido multimedia, por ejemplo, clips de audio. El clip de audio se divide en tramas sucesivas (preferentemente emparejadas). Para cada trama, el espectro de frecuencias se divide en bandas. Una propiedad robusta de cada banda (por ejemplo, la energía) se calcula y se representa por un bit hash respectivo. Por lo tanto, un clip de audio se representa por una concatenación de palabras hash binarias, una para cada trama. Para identificar una posible señal de audio comprimido, un bloque de palabras hash derivado de la misma se emparejan mediante un ordenador
40 con una gran base de datos. También se describen tales estrategias de emparejamiento. En una realización ventajosa, el proceso de extracción también proporciona información en cuanto a cuales de los bits hash son los menos fiables. Rechazando estos bits se mejora considerablemente la velocidad y el rendimiento del proceso de emparejamiento.
45 SUMARIO
La invención se dirige a métodos y aparatos para generar firmas como se define en las reivindicaciones adjuntas.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
50 Las figuras 1A y 1B ilustran un ejemplo de sistemas de identificación de flujo de audio para generar firmas e identificar flujos de audio.
La figura 2 es un diagrama de flujo que ilustra un proceso de generación de firma de ejemplo.
55 La figura 3 es una representación del dominio de tiempo de un flujo de audio monitorizado de ejemplo.
La figura 4 es una representación gráfica de un ejemplo de una parte del flujo de audio monitorizado (es decir, un bloque de audio) que es una sinusoide.
60 La figura 5 es una representación gráfica de una ventana de ejemplo que puede aplicarse al bloque de audio de la figura 4.
La figura 6 es una representación gráfica de un bloque de audio de ventana resultante de una aplicación de la 65 ventana de la figura 5 al bloque de audio de la figura 4.
imagen2
imagen3
La figura 7 es una representación gráfica de una segunda ventana de ejemplo que puede aplicarse al bloque de audio de la figura 4.
La figura 8 es una representación gráfica de un bloque de audio de ventana resultante de una aplicación de la 5 ventana de la figura 7 al bloque de audio de la figura 4.
La figura 9 es una representación gráfica de la ventana de la figura 5 que muestra la respuesta de frecuencia correspondiente de la ventana.
10 La figura 10 es una representación gráfica de la ventana de la figura 7 que muestra la respuesta de frecuencia correspondiente de la ventana.
La figura 11 es una representación gráfica de una segunda ventana de ejemplo alternativa y la respuesta de frecuencia correspondiente a la misma.
15 La figura 12 es una representación gráfica de una tercera ventana de ejemplo alternativa y la respuesta de frecuencia correspondiente a la misma.
La figura 13 es un diagrama de flujo de un proceso de emparejamiento de firma de ejemplo.
20 La figura 14 es un diagrama que muestra cómo pueden compararse unas firmas de acuerdo con el diagrama de flujo de la figura 13.
La figura 15 es un diagrama de bloques de un sistema de generación de firma de ejemplo para generar firmas en 25 base a flujos de audio o bloques de audio.
La figura 16 es un diagrama de bloques de un sistema de comparación de firmas de ejemplo para comparar firmas.
La figura 17 es un diagrama de bloques de un sistema de procesador de ejemplo que puede usarse para 30 implementar los métodos y los aparatos descritos en el presente documento.
DESCRIPCIÓN DETALLADA
Aunque lo siguiente divulga unos sistemas de ejemplo implementados usando, entre otros componentes, software
35 ejecutado en hardware, debería señalarse que dichos sistemas son meramente ilustrativos y no deberían considerarse como limitativos. Por ejemplo, se contempla que cualquiera o todos estos componentes de hardware y de software podrían realizarse exclusivamente en hardware, exclusivamente en software, o en cualquier combinación de hardware y software. En consecuencia, mientras que lo siguiente describe sistemas de ejemplo, los expertos en la materia apreciarán
40 fácilmente que los ejemplos proporcionados no son la única manera de implementar tales sistemas.
Los métodos y aparatos descritos en el presente documento se refieren en general a la generación de firmas digitales que pueden usarse para identificar la información de los medios. Una firma digital, o huella digital, es un descriptor de señal que caracteriza con precisión las señales con el fin de emparejar, indexar o buscar y recuperar 45 en una base de datos. En particular, los métodos y aparatos divulgados se describen con respecto a la generación de firmas de audio digitales en base a flujos de audio o bloques de audio (por ejemplo, información de audio). Sin embargo, los métodos y aparatos descritos en el presente documento también pueden usarse para generar firmas digitales en base a cualquier otro tipo de señales, datos de series de tiempo e información de los medios, tales como, por ejemplo, información de vídeo, páginas web, imágenes fijas, datos informáticos, etc. Además, la 50 información de los medios puede estar asociada con información de difusión (por ejemplo, información de televisión, información de radio, etc.), información reproducida a partir de cualquier medio de almacenamiento (por ejemplo, discos compactos (CD), discos versátiles digitales (DVD), etc.), o cualquier otra información que se asocie con un flujo de audio, un flujo de vídeo, o cualquier otra información de medio para el que se generan las firmas digitales. En un ejemplo específico, los flujos de audio se identifican en base a firmas digitales, que incluyen firmas
55 monitorizadas digitales generadas en un sitio de monitorización (por ejemplo, un hogar monitorizado) y firmas digitales de referencia generadas y/o almacenadas en un sitio de referencia y/o una instalación de recopilación de datos central.
Como se describe en detalle a continuación, los métodos y aparatos descritos en el presente documento identifican
60 la información de los medios, incluyendo los flujos de audio o cualquier otro medio, en base a las firmas digitales. Las técnicas de ejemplo descritas en el presente documento calculan una firma en un momento determinado usando, por ejemplo, un único bloque de audio de muestras de audio, pero procesa el bloque de audio usando dos o más funciones de ventana para resultar en dos o más bloques de audio de ventana. El tratamiento posterior de los bloques de audio de ventana permite la detección de los efectos de ventana en el espectro de audio del bloque de
65 audio. Los valores de firma únicos o sustancialmente únicos para el bloque de audio se derivan a partir de los efectos de las dos o más funciones de ventana en el bloque de audio. Es decir, las técnicas de ejemplo descritas en el presente documento permiten el cálculo o la determinación de las firmas de audio sin el uso de bloques de audio desplazados en tiempo. Por supuesto, puede ajustarse la selección de las funciones de ventana, como puede ser el tipo de transformaciones, sus parámetros, y/o las resoluciones usadas para determinar las firmas.
imagen4
imagen5
5 Como se describe en detalle a continuación, después de la aplicación de las funciones de ventana al bloque de muestras de audio, se generan los componentes de frecuencia de los bloques de audio de ventana transformando los bloques de audio de ventana del dominio de tiempo al dominio de frecuencia usando, por ejemplo, una transformada de Fourier discreta (DFT) o cualquier otra transformación adecuada (por ejemplo, la transformada de coseno discreta (DCT), la transformada de coseno discreta modificada (MDCT), la transformada de Haar, la
10 transformada de Walsh, etc.), esté o no basada en la transformada de Fourier. La transformada puede usarse para analizar los componentes de frecuencia en los bloques de audio de ventana y para identificar la potencia espectral de cada componente de frecuencia. A continuación, las potencias espectrales pueden usarse para generar firmas digitales.
15 Pueden usarse otras técnicas después de la aplicación de las funciones de ventana a los bloques de audio. Por ejemplo, los bloques de audio de ventana pueden procesarse usando las transformadas de wavelet que transforman los datos de audio a partir del dominio de tiempo al dominio wavelet. En general, las transformadas de wavelet pueden usarse para descomponer los bloques o las tramas de datos (por ejemplo, las muestras de audio del dominio de tiempo) en múltiples sub-bandas, permitiendo de este modo que los conjuntos de datos se analicen a
20 diferentes escalas y/o resoluciones. Separando los datos en múltiples sub-bandas, puede usarse una transformada wavelet para analizar cada intervalo de tiempo de los datos en una escala o resolución deseada.
Como alternativa, en lugar de aplicar las funciones de ventana en el dominio de tiempo a los bloques del dominio de tiempo de las muestras de audio, la visualización podría hacerse en el dominio de frecuencia, en el que una 25 respuesta de frecuencia correspondiente a una ventana del dominio de tiempo puede convolucionarse con el espectro de frecuencia de un bloque de audio. Si se usa el procesamiento del dominio de frecuencia que incluye una convolución, puede realizarse una conversión del bloque de audio al dominio de frecuencia usando una transformada de Fourier, en la que los ajustes se hacen entre los bloques de audio para tener en cuenta la discontinuidad. Además, si el procesamiento y la aplicación de las ventanas se hacen en el dominio de frecuencia,
30 puede seleccionarse una ventana del dominio de tiempo que tenga una característica de frecuencia con un número de elementos distinto de cero (por ejemplo, 3-5 elementos distintos de cero).
Las firmas monitorizadas pueden generarse usando las técnicas anteriores en un sitio de monitorización en base a los flujos de audio asociados a la información de los medios (por ejemplo, un flujo de audio monitorizado) que se
35 consume por una audiencia o para que se exponga a una audiencia. Por ejemplo, una firma monitorizada puede generarse en base a la pista de audio de un programa de televisión o cualquier otro medio presentado en un sitio de monitorización. A continuación, la firma monitorizada puede comunicarse a una instalación de recopilación de datos central para la comparación de una o más firmas de referencia.
40 Las firmas de referencia se generan en un sitio de referencia y/o en una instalación de recopilación de datos central usando las técnicas anteriores en los flujos de audio asociados con la información de los medios conocida. La información de los medios conocida puede incluir medios que se difunden dentro de una región, medios que se reproducen dentro de un hogar, medios que se reciben a través de Internet, etc. Cada firma de referencia se almacena en una memoria con una información de identificación de medios tales como, por ejemplo, un título de una
45 canción, un título de una película, etc. Cuando se recibe una firma monitorizada en la instalación de recopilación de datos central, la firma monitorizada se compara con uno o más firmas de referencia hasta que se encuentra un emparejamiento. A continuación, esta información de emparejamiento puede usarse para identificar la información de los medios (por ejemplo, el flujo de audio monitorizado) a partir del cual se ha generado la firma monitorizada. Por ejemplo, puede hacerse referencia a una tabla de consulta o a una base de datos para recuperar un título de
50 medios, una identidad de programa, un número de episodio, etc. que corresponde a la información de los medios a partir de la que se ha generado la firma monitorizada.
En un ejemplo, las velocidades a las que se generan las firmas monitorizadas y las firmas de referencia pueden ser diferentes. Por ejemplo, para el procesamiento y otros asuntos, una firma monitorizada puede ser un 25% de la 55 velocidad de datos de una firma de referencia. Por ejemplo, una firma de referencia de 48 bits puede generarse cada 0,032 segundos, lo que resulta en una velocidad de datos de referencia de 48 bits * 31,25 /segundo o 187,5 bytes/segundo. En tal disposición, una firma monitorizada de 48 bits puede generarse cada 0,128 segundos, lo que resulta en una velocidad de datos monitorizados de 48 bits * 7,8125/segundos o 46,875 bytes/segundo. Por supuesto, en una disposición en la que las velocidades de datos de las firmas monitorizadas y de referencia son
60 diferentes, debe tenerse en cuenta esta diferencia cuando se comparen las firmas monitorizadas con las firmas de referencia. Por ejemplo, si la velocidad de monitorización es el 25% de la velocidad de referencia, cada firma monitorizada consecutiva corresponderá a cada cuatro firmas de referencia.
Las figuras 1A y 1B ilustran unos sistemas 100 y 150 de identificación del flujo de audio de ejemplo para generar
65 firmas espectrales digitales e identificar los flujos de audio. Los sistemas 100 y 150 de identificación del flujo de audio de ejemplo pueden implementarse como un sistema de identificación de información de difusión de televisión y un sistema de identificación de información de difusión de radio, respectivamente. El sistema 100 de identificación de flujo de audio incluye un sitio 102 de monitorización (por ejemplo, un hogar monitorizado), un sitio 104 de referencia, y una instalación 106 de recopilación de datos central.
imagen6
imagen7
5 La monitorización de la información de difusión de televisión implica la generación de firmas monitorizadas en el sitio 102 de monitorización en base a los datos de audio de información de difusión de televisión y la comunicación de las firmas monitorizadas a la instalación 106 de recopilación de datos central a través de una red 108. Las firmas de referencia pueden generarse en el sitio 104 de referencia y también podrán comunicarse a la instalación 106 de recopilación de datos central a través de la red 108. El contenido de audio representado por una firma monitorizada
10 que se genera en el sitio 102 de monitorización puede identificarse en la instalación 106 de recopilación de datos central comparando la firma monitorizada con una o más firmas de referencia hasta que se encuentra un emparejamiento. Como alternativa, las firmas monitorizadas pueden comunicarse desde el sitio 102 de monitorización al sitio 104 de referencia y compararse con una o más firmas de referencia en el sitio 104 de referencia. En otro ejemplo, las firmas de referencia podrán comunicarse al sitio 102 de monitorización y compararse
15 con las firmas monitorizadas en el sitio 102 de monitorización.
El sitio 102 de monitorización puede ser, por ejemplo, un hogar para el que se monitoriza el consumo de medios de una audiencia. En general, el sitio 102 de monitorización puede incluir una pluralidad de dispositivos 110 de suministro de medios, una pluralidad de dispositivos 112 de presentación de medios y un generador 114 de firma
20 que se usa para generar firmas monitorizadas asociadas con los medios presentados en el sitio 102 de monitorización.
La pluralidad de dispositivos 110 de suministro de medios puede incluir, por ejemplo, sintonizadores decodificadores (por ejemplo, sintonizadores de cable, sintonizadores de satélite, etc.), dispositivos PVR, reproductores de DVD, 25 reproductores de CD, radios, etc. Algunos o todos los dispositivos 110 de suministro de medios, tales como, por ejemplo, los sintonizadores decodificadores pueden acoplarse de forma comunicativa a uno o más dispositivos 116 de recepción de información de difusión, que pueden incluir un cable, una antena parabólica, una antena, y/o cualquier otro dispositivo adecuado para recibir información de difusión. Los dispositivos 110 de suministro de medios pueden configurarse para reproducir la información de los medios (por ejemplo, información de audio, 30 información de vídeo, páginas web, imágenes fijas, etc.) en base a, por ejemplo, la información de difusión y/o la información almacenada. La información de difusión pueden obtenerse a partir de los dispositivos 116 de recepción de información de difusión y la información almacenada puede obtenerse a partir de cualquier medio de almacenamiento de información (por ejemplo, un DVD, un CD, una cinta, etc.). Los dispositivos 110 de suministro de medios se acoplan de forma comunicativa a los dispositivos 112 de presentación de medios y configurables para
35 comunicar información de los medios a los dispositivos 112 de presentación de medios para su presentación. Los dispositivos 112 de presentación de medios pueden incluir televisores que tengan un dispositivo de pantalla y/o un conjunto de altavoces por los que consumen los miembros de la audiencia, por ejemplo, información de televisión de difusión, música, películas, etc.
40 El generador 114 de firmas puede usarse para generar firmas digitales monitorizadas en base a la información de audio, como se describe en mayor detalle a continuación. En particular, en el sitio 102 de monitorización, el generador 114 de firmas puede configurarse para generar firmas monitorizadas en base a flujos de audio monitorizados que se reproducen por los dispositivos 110 de suministro de medios y/o presentados por los dispositivos 112 de presentación de medios. El generador 114 de firmas puede acoplarse de forma comunicativa a
45 los dispositivos 110 de suministro de medios y/o a los dispositivos 112 de presentación de medios a través de una interfaz 118 de monitorización de audio. De esta manera, el generador 114 de firma puede obtener los flujos de audio asociados con la información de los medios que se reproduce por los dispositivos 110 de suministro de medios y/o presentada por los dispositivos 112 de presentación de medios. Adicional o alternativamente, el generador 114 de firma puede acoplarse de forma comunicativa a los micrófonos (no mostrados) que se colocan en la proximidad
50 de los dispositivos 112 de presentación de medios para detectar los flujos de audio. El generador 114 de firmas puede acoplarse también de forma comunicativa a la instalación 106 de recopilación de datos central a través de la red 108.
La red 108 puede usarse para comunicar firmas (por ejemplo, firmas espectrales digitales), información de control,
55 y/o información de configuración entre el sitio 102 de monitorización, el sitio 104 de referencia, y la instalación 106 de recopilación de datos central. Cualquier sistema de comunicación por cable o inalámbrico tal como, por ejemplo, una red de cable de banda ancha, una red DSL, una red telefónica móvil, una red de satélite, y/o cualquier otra red de comunicaciones pueden usarse para implementar la red 108.
60 Como se muestra en la figura 1A, el sitio 104 de referencia puede incluir una pluralidad de sintonizadores 120 de información de difusión, un generador 122 de firmas de referencia, un transmisor 124, una base de datos o la memoria 126, y unos dispositivos 128 de recepción de información de difusión. El generador 122 de firmas de referencia y el transmisor 124 pueden acoplarse de forma comunicativa a la memoria 126 para almacenar las firmas de referencia en la misma y/o para recuperar las firmas de referencia almacenadas de la misma.
65 Los sintonizadores 120 de información de difusión pueden acoplarse de forma comunicativa a los dispositivos 128 de recepción de información de difusión, que pueden incluir un cable, una antena, una antena parabólica, y/o cualquier otro dispositivo adecuado para recibir información de difusión. Cada uno de los sintonizadores 120 de información de difusión puede configurarse para sintonizar un canal de difusión específico. En general, el número de
imagen8
imagen9
5 sintonizadores en el sitio 104 de referencia es igual al número de canales disponibles en una región de difusión específica. De esta manera, pueden generarse las firmas de referencia para toda la información de los medios transmitida a través de todos los canales en una región de difusión. La parte de audio de la información de medios sintonizada podría comunicarse desde los sintonizadores 120 de información de difusión al generador 122 de firmas de referencia.
10 El generador 122 de firmas de referencia puede configurarse para obtener la parte de audio de toda la información de los medios que está disponible en una región de difusión específica. A continuación, el generador 122 de firmas de referencia puede generar una pluralidad de firmas de referencia (usando, por ejemplo, el procesamiento descrito en mayor detalle a continuación) en base a la información de audio y almacenar las firmas de referencia en la
15 memoria 126. Aunque el generador de firmas de referencia se muestra en la figura 1, puede usarse una pluralidad de generadores de firma de referencia en el sitio 104 de referencia. Por ejemplo, cada uno de la pluralidad de generadores de firma puede acoplarse de forma comunicativa a uno de los sintonizadores 120 de información de difusión respectivo.
20 El transmisor 124 puede acoplarse de forma comunicativa a la memoria 126 y configurarse para recuperar las firmas de la misma y comunicar las firmas de referencia a la instalación 106 de recopilación de datos central a través de la red 108.
La instalación 106 de recopilación de datos central puede configurarse para comparar las firmas monitorizadas
25 recibidas desde el sitio 102 de monitorización con las firmas de referencia recibidas desde el sitio 104 de referencia. Además, la instalación 106 de recopilación de datos central puede configurarse para identificar los flujos de audio monitorizados, emparejando las firmas monitorizadas con las firmas de referencia y usando la información de emparejamiento para recuperar la información de identificación del programa de televisión (por ejemplo, el título del programa, la hora de difusión, el canal de difusión, etc.) a partir de una base de datos. La instalación 106 de
30 recopilación de datos central incluye un receptor 130, un analizador 132 de firma y una memoria 134, todos los cuales están acoplados de forma comunicativa como se muestra.
El receptor 130 puede configurarse para recibir las firmas monitorizadas y las firmas de referencia a través de la red
108. El receptor 130 está acoplado de forma comunicativa a la memoria 134 y se configura para almacenar las 35 firmas monitorizadas y las firmas de referencia en la misma.
El analizador 132 de firma puede usarse para comparar las firmas de referencia con las firmas monitorizadas. El analizador 132 de firma está acoplado de forma comunicativa con la memoria 134 y configurado para recuperar las firmas monitorizadas y las firmas de referencia de la misma. El analizador 132 de firma puede configurarse para
40 recuperar las firmas de referencia y las firmas monitorizadas desde la memoria 134 y comparar las firmas monitorizadas con las firmas de referencia hasta que se encuentre un emparejamiento. La memoria 134 puede implementarse usando cualquier medio de almacenamiento de información accesible por máquina tal como, por ejemplo, uno o más discos duros, uno o más dispositivos de almacenamiento óptico, etc.
45 Aunque el analizador 132 de firma se localiza en la instalación 106 de recopilación de datos central en la figura 1A, el analizador 132 de firma puede localizarse en el sitio 104 de referencia. En tal configuración, las firmas monitorizadas pueden comunicarse desde el sitio 102 de monitorización al sitio 104 de referencia a través de la red
108. Como alternativa, la memoria 134 puede localizarse en el sitio 102 de monitorización y las firmas de referencia pueden añadirse periódicamente a la memoria 134 a través de la red 108 mediante el transmisor 124. Además,
50 aunque el analizador 132 de firma se muestra como un dispositivo separado de los generadores 114 y 122 de firma, el analizador 132 de firma puede integrarse con el generador 122 de firmas de referencia y/o el generador 114 de firmas. Aún más, aunque la figura 1 representa un único sitio de monitorización (es decir, el sitio 102 de monitorización) y un único sitio de referencia (es decir, el sitio 104 de referencia), pueden acoplarse múltiples sitios a través de la red 108 a la instalación 106 de recopilación de datos central.
55 El sistema 150 de identificación de flujo de audio de la figura 1B puede configurarse para monitorizar e identificar los flujos de audio asociados con la información de difusión de radio, o cualquier otro medio. En general, el sistema 150 de identificación de flujo de audio se usa para monitorizar el contenido que se difunde mediante una pluralidad de estaciones de radio en una región de difusión específica. A diferencia del sistema 100 de identificación de flujo de
60 audio usado para monitorizar el contenido de televisión consumido por una audiencia, el sistema 150 de identificación de flujo de audio puede usarse para monitorizar música, canciones, etc. que se difunden dentro de una región de difusión y el número de veces que se difunden. Este tipo monitorizado de medios puede usarse para determinar el pago de derechos, el uso adecuado de los derechos de autor, etc. asociados con cada composición de audio. El sistema 150 de identificación de flujo de audio incluye un sitio 152 de monitorización, una instalación 154
65 de recopilación de datos central y la red 108.
imagen10
imagen11
El sitio 152 de monitorización está configurado para recibir toda la información de difusión de radio que está disponible en una región de difusión específica, y para generar firmas monitorizadas en base a la información de difusión de radio. El sitio 152 de monitorización incluye la pluralidad de sintonizadores 120 de información de difusión, el transmisor 124, la memoria 126, y los dispositivos 128 de recepción de información de difusión, todos los 5 cuales se han descrito anteriormente en relación con la figura 1A. Además, el sitio 152 de monitorización incluye un generador 156 de firma. Cuando se usan en el sistema 150 de identificación de flujo de audio, los dispositivos 128 de recepción de información de difusión están configurados para recibir información de difusión de radio y los sintonizadores 120 de información de difusión están configurados para sintonizar las estaciones de difusión de radio. El número de sintonizadores 120 de información de difusión en el sitio 152 de monitorización puede ser igual al
10 número de estaciones de difusión de radio en una región de difusión específica.
El generador 156 de firma está configurado para recibir la sintonización de la información de audio de cada uno de los sintonizadores 120 de información de difusión y generar firmas monitorizadas para el mismo. Aunque se muestra un generador de firma (es decir, el generador 156 de firma), el sitio 152 de monitorización puede incluir múltiples 15 generadores de firma, cada uno de los cuales puede acoplarse de forma comunicativa a uno de los sintonizadores 120 de información de difusión. El generador 156 de firma puede almacenar las firmas monitorizadas en la memoria
126. El transmisor 124 puede recuperar las firmas monitorizadas de la memoria 126 y comunicarlas a la instalación 154 de recopilación de datos central a través de la red 108.
20 La instalación 154 de recopilación de datos central está configurada para recibir firmas monitorizadas desde el sitio 152 de monitorización, generar firmas de referencia en base a los flujos de audio de referencia y comparar las firmas monitorizadas con las firmas de referencia. La instalación 154 de recopilación de datos central incluye el receptor 130, el analizador 132 de firmas y la memoria 134, todos los cuales se han descrito con mayor detalle anteriormente en relación con la figura 1A. Además, la instalación 154 de recopilación de datos central incluye un generador 158
25 de firmas de referencia.
El generador 158 de firmas de referencia está configurado para generar firmas de referencia en base a los flujos de audio de referencia. Los flujos de audio de referencia pueden almacenarse en cualquier tipo de medio accesible por máquina tal como, por ejemplo, un CD, un DVD, una cinta de audio digital (DAT), etc. En general, los artistas y/o las 30 empresas productoras discográficas envían sus trabajos de audio (es decir, la música, las canciones, etc.) a la instalación 154 de recopilación de datos central para añadirse a una biblioteca de referencia. El generador 158 de firmas de referencia puede leer datos de audio del medio accesible por máquina y generar una pluralidad de firmas de referencia en base a cada trabajo de audio (por ejemplo, el audio 300 capturado de la figura 3). A continuación, el generador 158 de firmas de referencia puede almacenar las firmas de referencia en la memoria 134 para su
35 posterior recuperación mediante el analizador 132 de firma. La información de identificación (por ejemplo, el título de la canción, el nombre del artista, el número de pista, etc.) asociada con cada flujo de audio de referencia puede almacenarse en una base de datos y puede indexarse en base a las firmas de referencia. De esta manera, la instalación 154 de recopilación de datos central incluye una base de datos de firmas de referencia y la información de identificación correspondiente a todos los títulos de las canciones conocidas y disponibles.
40 El receptor 130 está configurado para recibir firmas monitorizadas desde la red 108 y almacenar las firmas monitorizadas en la memoria 134. Las firmas monitorizadas y las firmas de referencia se recuperan de la memoria 134 mediante el analizador 132 de firma para su uso en la identificación de los flujos de audio monitorizados difundidos dentro de una región de difusión. El analizador 132 de firma puede identificar los flujos de audio
45 monitorizados mediante un primer emparejamiento de una firma monitorizada con una firma de referencia. La información de emparejamiento y/o la firma de referencia de emparejamiento se usan a continuación para recuperar la información de identificación (por ejemplo, un título de una canción, una pista de una canción, un artista, etc.) a partir de una base de datos almacenada en la memoria 134.
50 Aunque se muestra un sitio de monitorización (por ejemplo, el sitio 152 de monitorización) en la figura 1B, pueden acoplarse múltiples sitios de monitorización de forma comunicativa a la red 108 y configurarse para generar firmas monitorizadas. En particular, cada sitio de monitorización puede localizarse en una región de difusión respectiva y configurarse para monitorizar el contenido de las estaciones de difusión dentro de una región de difusión respectiva.
55 La figura 2 es un diagrama de flujo que representa un proceso 200 de generación de firmas de ejemplo. Como se muestra en la figura 2, el proceso 200 de generación de firmas captura primero un bloque de audio que se caracteriza por una firma (bloque 202). Una representación gráfica de un dominio de tiempo de audio de ejemplo que puede capturase se muestra en la figura 3 con el número de referencia 300. El audio puede capturarse desde una fuente de audio a través de, por ejemplo, una conexión cableada a una fuente de audio o a través de una
60 conexión inalámbrica, tal como un sensor de audio, a una fuente de audio. Si la fuente de audio es analógica, la captura incluye un muestreo de la fuente de audio analógica usando, por ejemplo, un convertidor analógico a digital. En un ejemplo, la fuente de audio puede muestrearse a una velocidad de 8 kilohercios (kHz), que se denomina como una velocidad (Fs) de muestreo. Esto significa que el audio analógico está representado por las muestras digitales de la misma que se toman a la velocidad de ocho mil muestras por segundo, o cada 125 microsegundos (µs). Cada
65 una de las muestras de audio puede representarse mediante monoaural, 16 bits de resolución.
imagen12
imagen13
En un ejemplo, se captura un bloque de audio correspondiente a 8192 muestras para su procesamiento. En la frecuencia de muestreo anterior de 8 kHz, esto corresponde a 1,024 segundos de audio. Sin embargo, esto es simplemente un ejemplo, y el número de muestras que se recopilan puede corresponder a segmentos de audio que van desde aproximadamente 1 segundo a 2 segundos de duración. Genéricamente, en el presente documento el
5 número de muestras capturadas en un bloque de audio se denomina con la variable N. Por lo tanto, en el ejemplo anterior, N = 8192 y el intervalo de tiempo de audio capturado corresponde a t... t + N/Fs. Se muestra una representación de un bloque de audio en la figura 4 con el número de referencia 402, en el que, para fines de ejemplo, el bloque de audio corresponde a una sinusoide.
10 Después de que se haya capturado el bloque de audio (bloque 202), el proceso 200 aplica la primera función de ventana, denominada como W1 (bloque 204A), al bloque de audio para producir un primer bloque de audio de ventana. Además, el proceso 200 visualiza el bloque de audio usando una segunda función de ventana, denominada como W2 (bloque 204B) para producir un segundo bloque de audio de ventana. Por ejemplo, la ventana puede ser una función en forma de campana o de Gauss tal como la mostrada con el número de referencia 502 en la figura 5,
15 en la que los extremos alto y bajo de W1 502 tienen un valor cero y el centro de la ventana 502 tiene un valor de uno. En un ejemplo, la visualización es una multiplicación a manera de muestra entre los valores de la función de ventana y las muestras respectivas del bloque de audio. Por ejemplo, visualizando el bloque 402 de audio con la ventana 502, resulta en un bloque 602 de audio de ventana, como se muestra en la figura 6, en la que la amplitud del bloque 602 de audio de ventana es cero en los extremos de la ventana 502 y es la misma amplitud que el bloque 402 de
20 audio en el centro del bloque 602 de audio de ventana.
Como alternativa, en lugar de aplicar las funciones de ventana en el dominio de tiempo usando la multiplicación a manera de muestra de las funciones de ventana al bloque de audio, la visualización podría hacerse en el dominio de frecuencia, en el que una respuesta de frecuencia correspondiente a una ventana del dominio de tiempo puede 25 convolucionarse con el espectro de frecuencia de un bloque de audio. Como se ha señalado anteriormente, si se usa un procesamiento de dominio de frecuencia que incluya una convolución, puede realizarse una conversión del bloque de audio al dominio de frecuencia usando una transformada de Fourier, en la que los ajustes se hacen entre los bloques de audio para tener en cuenta la discontinuidad. Además, si el procesamiento y la aplicación de las ventanas se hacen en el dominio de frecuencia, puede seleccionarse una ventana del dominio de tiempo que tenga
30 una característica de frecuencia con un número de elementos distinto de cero (por ejemplo, 3-5 elementos distintos de cero).
Las ventanas seleccionadas para W1 y W2 pueden ser complementarias por naturaleza. Por ejemplo, si se selecciona la ventana 502 mostrada en la figura 5 para W1, puede seleccionarse la ventana 702 de la figura 7 para 35 W2. Como se muestra en la figura 7, la ventana 702 es una versión invertida de la ventana W1, concretamente W2(k) = 1-W1(k), en la que k es un índice de muestra en el dominio de la ventana. La ventana W2 se aproxima a un valor unitario en los extremos alto y bajo de la ventana 702 y tiene un valor cero en el centro de la ventana 702. Por lo tanto, cuando la ventana 702 se aplica al bloque 402 de audio, resulta un bloque 802 de audio de ventana, como se muestra en la figura 8. Como se muestra en la figura 8, el bloque 802 de audio de ventana tiene una amplitud cero
40 en el centro de la misma, pero tiene una amplitud que se empareja sustancialmente con la amplitud del bloque 402 de audio en los extremos del bloque 802 de audio de ventana.
Como se muestra en las figuras 9 y 10, las ventanas 502 y 702 tienen unas respuestas 902 y 1002 de frecuencia respectivas. Por lo tanto, la aplicación de las ventanas 502 y 702 al bloque de audio (por ejemplo, el bloque 402 de
45 audio), afecta al espectro del bloque de audio. Como se explica a continuación, estos son los diferentes efectos de diferentes ventanas en el bloque de audio que se examinan para determinar las firmas representativas del bloque de audio.
Mientras que las ventanas 502, 702 seleccionadas para la descripción anterior se asemejan a una ventana de Hann
50 y a una ventana de Hann invertida, respectivamente, pueden usarse otras formas de ventana. Por ejemplo, como se muestra en las figuras 11 y 12, pueden seleccionarse dos ventanas asimétricas 1102, 1202, en la que una primera ventana 1102 ocupa una mitad superior del espacio de ventana y en las que una segunda ventana de 1202 ocupa una mitad inferior del espacio de ventana. Las respuestas de frecuencia de las ventanas 1102, 1202 asimétricas son idénticas, como se muestra en las figuras 11 y 12 con los números de referencia 1104 y 1204, pero debido a que las
55 ventanas funcionan en su mayoría en partes distintas de un bloque de audio, los resultados de la visualización tienen diferentes características espectrales para las señales de audio que no son sinusoidales.
Mientras que ciertos ejemplos de formas de ventana se describen en el presente documento, pueden usarse otras formas de ventana. Por ejemplo, pueden seleccionarse formas de ventana arbitrariamente, tanto para la primera
60 ventana como para la segunda ventana (por ejemplo, W1 y W2), en la que la selección se realiza a partir de un conjunto de funciones de ventana. Por supuesto, pueden usarse diferentes ventanas en diferentes momentos, proporcionados los sitios de monitor y de referencia que usan los mismos tiempos. Además, pueden usarse más de dos ventanas.
65 Volviendo a la figura 2, después de que se complete el windowing (bloques 204A y 204B), los bloques de audio de ventana se transforman respectivamente (bloques 206A y 206B). En un ejemplo, la transformación puede ser una transformación del dominio de tiempo al dominio de frecuencia. Por ejemplo, las N muestras de audio capturado que se han visualizado se pueden convertir en un espectro de audio que se representa por N/2 coeficientes de la DFT complejos. Como alternativa, pueden usarse cualquier transformación adecuada, tal como las transformadas wavelet, DCT, TCMD, las transformadas Haar, las transformadas Walsh, etc.
imagen14
imagen15
5 Después de que las transformaciones se hayan completado (bloques 206A y 206B), el proceso 200 caracteriza los resultados de cada transformación (208A y 208B del bloque). Por ejemplo, el proceso puede determinar la energía en cada una de las K + 1 bandas diferentes de cada uno de los resultados de la transformación. Es decir, los resultados de la transformación en el bloque de audio de ventana resultante a partir del uso de la ventana W1 (bloque 206A) pueden dividirse en, por ejemplo, 16 bandas diferentes y puede determinarse la energía en cada una de las 16 bandas diferentes. Esto puede representarse por Ej(w1), en la que j varía de 0 a 15, y w1 indica que la energía está asociada con el espectro resultante de la aplicación de la ventana W1 al audio de muestreo (es decir, al bloque de audio). Del mismo modo, los resultados de la transformación en el bloque de ventana resultante a partir del uso de la ventana W2 (bloque 206B) pueden dividirse en, por ejemplo, 16 bandas diferentes, la energía de las
15 cuales puede determinarse y se representa como Ej(w2), en la que j varía de 0 a 15, y w2 indica que la energía está asociada con el espectro resultante de la aplicación de la ventana W2. Como alternativa, pueden usarse diferentes características espectrales distintas de la energía para caracterizar los resultados. Por ejemplo, puede usarse la planitud espectral de la distribución de energía.
Después de que se haya caracterizado cada conjunto de resultados de transformación (bloques 208A y 208B), el proceso 210 compara los resultados de las caracterizaciones. Por ejemplo, los resultados de las caracterizaciones de cada banda pueden restarse entre sí. En un ejemplo, puede calcularse un valor intermedio como dj = Ej(w2) Ej(w1), en la que j varía de 0 a K. Siguiendo con el ejemplo específico anterior en el que K = 15, puede calcularse un valor dj intermedio, en el que dj = Ej(w2) -Ej(w1), y j varía de 0 a 15. Por lo tanto, tal comparación resulta en 16
25 valores intermedios diferentes (por ejemplo, d0, d1, d2... D15), en el que cada valor intermedio es la diferencia en las características en, por ejemplo, las bandas de frecuencia similares del espectro resultante de las transformaciones de los bloques de audio de ventana.
Después de que se haya calculado el valor intermedio para representar la comparación de las caracterizaciones (bloque 210), el proceso 200 determina los bits de la firma en base a las comparaciones (bloque 212). Por ejemplo, puede asignarse a un bit Sj de firma un valor de 1 si el valor intermedio dj > 0, y puede asignarse un valor de 0 en caso contrario, en el que j varía de 0 a K. Más específicamente, como se indica en el ejemplo anterior K = 15 y, por lo tanto, habrá 16 comparaciones de los valores intermedios al valor de 0 y, en base a estas comparaciones, se generará una firma de 16 bits para representar el bloque de audio, que se ha capturado en el bloque 202 de la figura
35 2. Después de que se haya determinado la firma (bloque 212), el proceso 200 se repite (bloque 214) y se captura audio adicional (bloque 202) para desarrollar firmas adicionales.
Aunque lo anterior describe la selección de una primera ventana (W1) y una segunda ventana (W2) y que todos los bits de firma de un bloque de audio capturado se determinan usando las ventanas seleccionadas, son posibles otras configuraciones. Por ejemplo, algunos bits de una firma que representan el bloque de audio capturado pueden determinarse usando un primer par de ventanas (por ejemplo, W1 y W2), mientras que los otros bits de la firma pueden determinarse usando un par diferente de ventanas (por ejemplo, W3 y W4). Además, puede usarse un tercer par de ventanas (por ejemplo, W1 y W3) para determinar los bits de firma adicionales. En algunos casos, podría seleccionarse un único par de ventanas de una manera predeterminada o arbitraria para determinar el valor de cada
45 bit de firma, siempre y cuando se hayan seleccionado los mismos pares de ventanas para operar en los mismos bloques de ventana en el sitio de referencia.
Lo anterior ha descrito las técnicas de firmas que se pueden realizar para determinar las firmas representativas de una parte del audio capturado. La figura 13 muestra un ejemplo de un proceso 1300 de emparejamiento de firmas que puede realizarse para comparar las firmas de referencia (es decir, las firmas determinadas en un sitio(s) de referencia) con las firmas monitorizadas (es decir, las firmas determinadas en un sitio de monitorización). El objetivo último del emparejamiento de firmas es encontrar el emparejamiento más cercano entre una firma de audio de consulta (por ejemplo, audio monitorizado) y las firmas en una base de datos (por ejemplo, las firmas tomadas en base a un audio de referencia). La comparación puede realizarse en un sitio de referencia, un sitio de
55 monitorización, o cualquier otro sitio de procesamiento de datos que tenga acceso a las firmas monitorizadas y a una base de datos que contenga las firmas de referencia.
Volviendo ahora en detalle al método del ejemplo de la figura 13, el proceso 1300 de ejemplo, consiste en obtener una firma monitorizada y su sincronización (bloque 1302). Como se muestra en la figura 14, una recopilación de firmas puede incluir un número de firmas monitorizadas, tres de las cuales se muestran en la figura 14 en los números de referencia 802, 804 y 806. Cada una de las firmas está representada por una sigma (σ). Cada una de las firmas 1402, 1404, 1406 monitorizadas pueden incluir información 1408, 1410, 1412, de sincronismo ya que la información de sincronismo está implícita o explícita.
65 A continuación, se hace una consulta a una base de datos que contiene firmas de referencia (bloque 1304) para identificar la firma en la base de datos que tiene el emparejamiento más cercano. En una implementación, se toma la medida de similitud (proximidad) entre las firmas para que sea una distancia de Hamming, concretamente, el número de posición en el que difieren los valores de consulta y las cadenas de bits de referencia. En la figura 14, se muestra una base de datos de firmas e información de sincronismo con el número de referencia 1416. Por supuesto, la base de datos 1406 puede incluir cualquier número de diferentes firmas de diferentes presentaciones de medios. A
imagen16
imagen17
5 continuación, se hace una asociación entre el programa asociado con la firma de referencia emparejada y la firma desconocida (bloque 1306).
Opcionalmente, a continuación, el procedimiento 1300 puede establecer una compensación entre la firma monitorizada y la firma de referencia (bloque 1308). Se requiere el valor de compensación con el fin de hacer una
10 mejor determinación, más segura, que si un bloque de firmas de consulta se empareja bien con la firma de referencia. Normalmente los valores de compensación para todas las firmas en un bloque de consulta corto se mantendrán casi constantes en relación con las firmas de referencia respectivas debido a la continuidad de la monitorización (visualización).
15 En los casos en los que todos los descriptores de más de una firma de referencia se asocian con una distancia de Hamming por debajo del umbral de la distancia de Hamming predeterminada, más de una firma monitorizada puede necesitar emparejarse con las firmas de referencia respectivas de los posibles flujos de audio de referencia emparejados. Será relativamente poco probable que todas las firmas monitorizadas generadas en base al flujo de audio monitorizado se emparejen con todas las firmas de referencia de más de un flujo de audio de referencia, y, por
20 lo tanto, puede evitarse emparejar erróneamente más de un flujo de audio de referencia a un flujo de audio monitorizado.
Los métodos de ejemplo, los procesos y/o las técnicas descritas anteriormente pueden implementarse mediante hardware, software, y/o cualquiera de sus combinaciones. Más específicamente, los métodos de ejemplo pueden
25 ejecutarse en un hardware definido por los diagramas de bloques de las figuras 15 y 16. Los métodos de ejemplo, los procesos y/o las técnicas pueden implementarse también mediante software ejecutado en un sistema de procesador tal como, por ejemplo, el sistema 1610 de procesador de la figura 16.
La figura 15 es un diagrama de bloques de un sistema 1500 de generación de firma de ejemplo para generar firmas
30 espectrales digitales. En particular, el sistema 1500 de generación de firma de ejemplo puede usarse para generar firmas monitorizadas y/o firmas de referencia en base a una visualización, transformación, caracterización, y comparación, de un bloque de audio, como se ha descrito anteriormente. Por ejemplo, el sistema 1500 de generación de firma de ejemplo puede usarse para implementar los generadores 114 y 122 de firma de la figura 1A
o los generadores 156 y 158 de firma de la figura 1B. Además, el sistema 1500 de generación de firma de ejemplo 35 puede usarse para implementar los métodos de ejemplo de la figura 2.
Como se muestra en la figura 15, el sistema 1500 de generación de firma de ejemplo incluye un generador 1502 de muestras, un dispositivo 1503 de sincronismo, un generador 1504 de tiempo de referencia, un windower 1506, un transformador 1508, un determinante 1510 de características, un comparador 1512, un determinador 1514 de firma,
40 un almacenamiento 1516 y una interfaz 1518 de comunicación de datos, todos los cuales puede estar acoplados de forma comunicativa tal como se muestra. El sistema 1500 de generación de firma de ejemplo puede configurarse para obtener un flujo de audio de ejemplo, para adquirir una pluralidad de muestras de audio a partir del flujo de audio de ejemplo para formar un bloque de audio y a partir de ese único bloque de audio, generar una firma representativa del mismo.
45 El generador 1502 de muestras puede configurarse para obtener el flujo de audio de ejemplo, tal como un flujo resultante en el audio 300 capturado de la figura 3. El flujo 300 puede ser cualquier flujo de audio analógico o digital. Si el flujo de audio de ejemplo es un flujo de audio analógico, el generador 1502 de muestras puede implementarse usando un convertidor analógico a digital. Si el flujo de audio de ejemplo es un flujo de audio digital, el generador
50 1502 de muestras puede implementarse usando un procesador de señal digital. Además, el generador 1502 de muestras puede configurarse para adquirir y/o extraer muestras de audio en cualquier frecuencia Fs de muestreo deseada. Por ejemplo, como se ha descrito anteriormente, el generador de muestras puede configurarse para adquirir N muestras a 8 kHz y puede usar 16 bits para representar cada muestra. En tal disposición, N puede ser cualquier número de muestras tales como, por ejemplo, N = 8192. El generador 1502 de muestras también podría
55 notificar al generador 1504 de tiempo de referencia cuando comienza un proceso de adquisición de muestras de audio. El generador 1502 de muestras comunica las muestras al windower 1506.
El dispositivo 1503 de sincronización puede configurarse para generar datos de tiempo y/o información de marca de tiempo y puede implementarse mediante un reloj, un temporizador, un contador, y/o cualquier otro dispositivo 60 adecuado. El dispositivo 1503 de sincronización puede acoplarse de forma comunicativa al generador 1504 de tiempo de referencia y puede configurarse para comunicar datos y/o marcas de tiempo al generador 1504 de tiempo de referencia. El dispositivo 1503 de sincronización también puede acoplarse de forma comunicativa al generador 1502 de muestras y puede declarar una señal de arranque o una interrupción para indicar al generador 1502 de muestras que empiece a recopilar o a adquirir los datos de muestra de audio. En un ejemplo, el dispositivo 1503 de 65 sincronización puede implementarse mediante un reloj en tiempo real que tenga un período de 24 horas que controla el tiempo con una resolución de milisegundos. En este caso, el dispositivo 1503 de sincronización puede
imagen18
imagen19
configurarse para reiniciarse a cero a medianoche y controlar el tiempo en milisegundos con respecto a la medianoche. Sin embargo, en general, las marcas de tiempo pueden representar un año completo, un mes, un día, una hora, un minuto, un segundo de información como un número de segundos transcurridos desde un momento predeterminado en el pasado, tal como las 00:00 AM, del 1 de enero del 2005. Puede añadirse una resolución por
5 debajo del segundo derivando a partir de la velocidad de adquisición determinística de las firmas de audio recopiladas.
El generador 1504 de tiempo de referencia puede inicializar un tiempo t0 de referencia cuando se recibe una notificación desde el generador 1502 de muestras. El tiempo t0 de referencia puede usarse para indicar el tiempo en
10 un flujo de audio en el que se genera una firma. En particular, el generador 1504 de tiempo de referencia puede configurarse para leer los datos de tiempo y/o un valor de marca de tiempo desde el dispositivo 1503 de sincronización cuando se notifique el inicio de un proceso de adquisición de muestras mediante el generador 1502 de muestras. A continuación, el generador 1504 de tiempo de referencia puede almacenar el valor de la marca de tiempo como el tiempo t0 de referencia.
15 El windower 1506 aplica, por ejemplo, dos ventanas a la salida del bloque de audio desde el generador 1502 de muestras. Por lo tanto, los resultados del windower 1506 son dos bloques de audio de ventana. Como se ha descrito anteriormente, las ventanas pueden ser cualquier conjunto de ventanas. Sin embargo, pueden preferirse las ventanas incluidas porque garantizarían fácilmente que, en promedio, la energía de ambos valores es la misma, lo
20 que conduce a la distribución de bits equi-probable.
El transformador 1508 puede configurarse para realizar un punto N de la DFT en cada uno de los bloques de audio de ventana, en el que N es el número de muestras obtenidas por el generador 1502 de muestras. Por ejemplo, si el generador de muestras obtiene 8192 muestras, el transformador producirá un espectro a partir de las muestras en el
25 que el espectro se representa por 4096 coeficientes de Fourier de valores complejos.
El determinante 1510 de características puede configurarse para identificar varias bandas de frecuencia (por ejemplo, 16 bandas) dentro de la caracterización del espectro de la DFT generada por el transformador 1508. Las bandas seleccionadas pueden, pero preferentemente no, solaparse entre sí. Las bandas pueden seleccionarse de 30 acuerdo con cualquier técnica. Por supuesto, pueden seleccionarse cualquier número de bandas adecuadas (por ejemplo, 48). A continuación, el determinante 1510 de características determina una característica en cada una de las bandas. Por ejemplo, el determinante 1510 de características puede determinar la energía en cada banda. Por lo tanto, los resultados del determinante 1510 de características son dos conjuntos de características por cada una de, por ejemplo, las 16 bandas. Por ejemplo, si se seleccionan 16 bandas, la salida del determinante 1510 de
35 características sería de 32 medidas de energía, una por cada una de las bandas en cada una de las DFT. Las características pueden representarse por Ej(w1) y Ej(w2), en la que j varía de 0 a K (por ejemplo, de 0 a 15), y w1 y w2 representan la ventana 1 y la ventana 2, respectivamente.
El comparador 1512 compara las características de las bandas respectivas para determinar los valores intermedios.
40 Por ejemplo, el comparador 1512 puede generar valores intermedios de acuerdo con dj = Ej(w2) -Ej(w1), de manera que las energías en las bandas respectivas de la DFT se restan entre sí.
El determinador 1514 de firma opera en los valores resultantes del comparador 1512 para producir un bit de firma para cada uno de los valores intermedios. Esta operación puede ser muy similar o idéntica al proceso 212 descrito
45 anteriormente junto con la figura 2. Es decir, los valores de bit de firma pueden basarse en una comparación del valor intermedio a cero. Los bits de firma son la salida a la memoria 1516.
El almacenamiento puede ser cualquier medio adecuado para alojar el almacenamiento de la firma. Por ejemplo, el almacenamiento 1516 puede ser una memoria tal como una memoria de acceso aleatorio (RAM), una memoria
50 flash, o similares. Adicional o alternativamente, el almacenamiento 1516 puede ser una memoria masiva, tal como un disco duro, un medio de almacenamiento óptico, una unidad de cinta, o similares.
El almacenamiento 1516 está acoplado a la interfaz 1518 de comunicación de datos. Por ejemplo, si el sistema 1500 está en un sitio de monitorización (por ejemplo, el hogar de una persona), la información de firma en el
55 almacenamiento 1516 podría comunicarse a una instalación de recopilación, un sitio de referencia, o similares, usando la interfaz 1518 de comunicación de datos.
La figura 16 es un diagrama de bloques de un sistema 1600 de comparación de firma de ejemplo para comparar firmas espectrales digitales. En particular, el sistema 1600 de comparación de firma de ejemplo puede usarse para
60 comparar firmas monitorizadas con firmas de referencia. Por ejemplo, el sistema 1600 de comparación de firma de ejemplo puede usarse para implementar el analizador 132 de firma de la figura 1A para comparar firmas monitorizadas con firmas de referencia. Además, el sistema 1600 de comparación de firma de ejemplo puede usarse para implementar el proceso de ejemplo de la figura 13.
65 El sistema 1600 de comparación de firma de ejemplo incluye un receptor 1602 de firma monitorizada, un receptor 1604 de firma de referencia, un comparador 1606, un filtro 1608 de distancia de Hamming, un identificador 1610 de medios, y una interfaz 1612 de tabla de consulta de identificación de medios, todos los cuales pueden acoplarse de forma comunicativa como se muestra.
imagen20
imagen21
El receptor 1602 de firma monitorizada puede configurarse para obtener las firmas monitorizadas a través de la red
5 108 (figura 1) y comunicar las firmas monitorizadas al comparador de 1606. El receptor 1604 de firma de referencia puede configurarse para obtener las firmas de referencia de la memoria 134 (figuras 1A y 1B) y comunicar las firmas de referencia al comparador 1606.
El comparador de 1606 y el filtro 1608 de distancia de Hamming pueden configurarse para comparar firmas de
10 referencia con las firmas monitorizadas usando las distancias de Hamming. En particular, el comparador 1606 puede configurarse para comparar los descriptores de firmas monitorizadas con descriptores de una pluralidad de firmas de referencia y para generar los valores de distancia de Hamming para cada comparación. A continuación, el filtro 1608 de distancia de Hamming puede obtener los valores de la distancia de Hamming del comparador 1606 y filtrar las firmas de referencia no emparejadas en base a los valores de la distancia de Hamming.
15 Después de que se encuentre una firma de referencia emparejada, el identificador 1610 de medios puede obtener la firma de referencia emparejada y en cooperación con la interfaz 1612 de tabla de consulta de identificación de medios puede identificar la información de los medios asociados con un flujo de audio no identificado (por ejemplo, el flujo 300 de audio monitorizado de ejemplo de la figura 3). Por ejemplo, la interfaz 1612 de tabla de consulta de
20 identificación de medios puede acoplarse de forma comunicativa a una tabla de consulta de identificación de medios
o a una base de datos que se usa para una referencia cruzada de la información de identificación de los medios (por ejemplo, el título de una película, el título de un programa, el título de una canción, el nombre del artista, el número del episodio, etc.) en base a las firmas de referencia. De esta manera, el identificador 1610 de medios puede recuperar la información de identificación de los medios a partir de la base de datos de identificación de los medios
25 en base a las firmas de referencia emparejadas.
La figura 17 es un diagrama de bloques de un sistema 1710 de procesador de ejemplo que puede usarse para implementar el aparato y los métodos descritos en el presente documento. Como se muestra en la figura 17, el sistema 1710 de procesador incluye un procesador 1712 que está acoplado a un bus de interconexión o a la red 30 1714. El procesador 1712 incluye un conjunto de registros o un espacio 116 de registros, que se representa en la figura 17 como que está enteramente en el chip, pero que como alternativa podría estar localizado total o parcialmente fuera del chip y directamente acoplado al procesador 1712 a través de conexiones eléctricas dedicadas y/o a través de la red de interconexión o un bus 1714. El procesador 1712 puede ser cualquier procesador adecuado, una unidad de procesamiento o un microprocesador. Aunque no se muestra en la figura 17, el sistema
35 1710 puede ser un sistema multiprocesador y, por lo tanto, puede incluir uno o más procesadores adicionales que son idénticos o similares al procesador 1712 y que están acoplados de forma comunicativa al bus de interconexión o a la red 1714.
El procesador 1712 de la figura 17 está acoplado a un chipset 1718, que incluye un controlador 1720 de memoria y
40 un controlador 1722 de entrada/salida (E/S). Como es bien sabido, un chipset proporciona normalmente funciones de E/S y de gestión de memoria, así como una pluralidad de registros de propósito general y/o de propósito especial, temporizadores, etc. que son accesibles o usados por uno o más procesadores acoplados al chipset. El controlador 1720 de memoria realiza funciones que permiten que el procesador 1712 (o procesadores si hay múltiples procesadores) acceda a una memoria 1724 del sistema y a una memoria 1725 de almacenamiento masivo.
45 La memoria 1724 del sistema puede incluir cualquier tipo deseado de memoria volátil y/o no volátil, tal como, por ejemplo, una memoria de acceso aleatorio estática (SRAM), una memoria de acceso aleatorio dinámica (DRAM), una memoria flash, una memoria de solo lectura (ROM), etc. La memoria 1725 de almacenamiento masivo puede incluir cualquier tipo deseado de dispositivo de almacenamiento masivo que incluya unidades de disco duro,
50 unidades ópticas, dispositivos de almacenamiento de cinta, etc.
El controlador 1722 de E/S realiza funciones que permiten al procesador 1712 comunicarse con los dispositivos 1726 y 1728 de entrada/salida (E/S) periféricos a través de un bus 1730 de E/S. Los dispositivos 1726 y 1728 de E/S pueden ser de cualquier tipo deseado de dispositivo de E/S, tal como, por ejemplo, un teclado, una pantalla o
55 monitor de vídeo, un ratón, etc. Mientras que el controlador 1720 de memoria y el controlador 1722 de E/S se representan en la figura 17 como bloques funcionales independientes dentro del chipset 1718, las funciones realizadas por estos bloques pueden integrarse dentro de un único circuito semiconductor o pueden implementarse usando dos o más circuitos integrados separados.
60 Los métodos descritos en el presente documento pueden implementarse usando instrucciones almacenadas en un medio legible por ordenador que se ejecutan por el procesador 1712. El medio legible por ordenador puede incluir cualquier combinación deseada de un medio de estado sólido, magnético y/o óptico implementada usando cualquier combinación deseada de dispositivos de almacenamiento masivo (por ejemplo, una unidad de disco), dispositivos de almacenamiento extraíbles (por ejemplo, disquetes, tarjetas o cartuchos de memoria, etc.) y/o dispositivos de
65 memoria integrada (por ejemplo, memoria de acceso aleatorio, memoria flash, etc.).
imagen22
imagen23
Aunque se han descrito ciertos métodos, aparatos y artículos de fabricación en el presente documento, el alcance de la cobertura de esta patente no se limita a los mismos.
imagen24

Claims (9)

  1. imagen1
    REIVINDICACIONES
    1. Un método de generación de una firma que representa una parte de una señal de audio, comprendiendo el método:
    5 capturar una señal de audio; multiplicar una primera función de ventana por una parte de la señal de audio capturada que representa un
    mismo número de muestras que la primera función de ventana para producir un primer bloque de audio de ventana que representa el mismo número de muestras que la primera función de ventana;
    10 multiplicar una segunda función de ventana diferente de la primera función de ventana y que representa el mismo número de muestras que la primera función de ventana por una parte idéntica de la señal de audio capturada que representa el mismo número de muestras que la primera función de ventana para producir un segundo bloque de audio de ventana que representa el mismo número de muestras que la primera función de ventana;
    transformar el primer bloque de audio de ventana en una primera representación del dominio de frecuencia; 15 transformar el segundo bloque de audio de ventana en una segunda representación del dominio de frecuencia; determinar una primera característica para cada una de una pluralidad de bandas de las frecuencias a partir de la primera representación del dominio de frecuencia; determinar una segunda característica para cada una de las bandas de las frecuencias a partir de la segunda representación del dominio de frecuencia, siendo la segunda característica de un mismo tipo que la primera 20 característica; restar la primera característica de la segunda característica para determinar un valor intermedio para cada una de las bandas de las frecuencias; y asignar un valor de bit de firma en base al valor intermedio determinado para cada una de las bandas de las frecuencias. 25
  2. 2. Un método como se define en la reivindicación 1, en el que capturar la señal de audio comprende una captura de audio inalámbrica.
  3. 3. Un método como se define en la reivindicación 2, en el que capturar la señal de audio comprende un muestreo 30 digital.
  4. 4. Un método como se define en la reivindicación 1, en el que las funciones de ventana primera y segunda comprenden unas funciones complementarias.
    35 5. Un método como se define en la reivindicación 4, en el que la primera función de ventana comprende una gran magnitud en los extremos superior e inferior de la primera función de ventana.
  5. 6. Un método como se define en la reivindicación 4, en el que la primera función de ventana comprende una gran
    magnitud en un extremo superior de la primera función de ventana y una pequeña magnitud en un extremo inferior 40 de la primera función de ventana.
  6. 7. Un método como se define en la reivindicación 1, en el que la primera función de ventana y la parte de la señal de audio capturada se multiplican en una operación del dominio de tiempo.
    45 8. Un método como se define en la reivindicación 1, en el que las características primera y segunda comprenden unas energías primera y segunda.
  7. 9. Un método como se define en la reivindicación 1, que comprende además:
    50 aplicar una tercera función de ventana y una cuarta función de ventana a la parte del audio capturado para
    producir un tercer bloque de audio de ventana y un cuarto bloque de audio de ventana; transformar el tercer bloque de audio de ventana en una tercera representación del dominio de frecuencia; transformar el cuarto bloque de audio de ventana en una cuarta representación del dominio de frecuencia; determinar las terceras características de las bandas de las frecuencias solo a partir de la tercera representación
    55 del dominio de frecuencia; determinar las cuartas características de las bandas de las frecuencias solo a partir de la cuarta representación
    del dominio de frecuencia, siendo la cuarta característica de un mismo tipo que la segunda característica; comparar la tercera característica con la cuarta característica de una o más de las bandas de las frecuencias; y asignar uno o más bits de firma adicionales representativos de las partes respectivas de la señal de audio
    60 capturada en base a las comparaciones de las terceras características y las cuartas características.
  8. 10. Un aparato para generar una firma que representa una parte de una señal de audio, comprendiendo el aparato:
    un generador de muestras para capturar una señal de audio; 65 un windower para multiplicar una primera función de ventana por una parte de la señal de audio capturada que representa un mismo número de muestras que la primera función de ventana para producir un primer bloque de
    imagen2
    imagen3
    audio de ventana que representa el mismo número de muestras que la primera función de ventana y para multiplicar una segunda función de ventana diferente a partir de la primera función de ventana y que representa el mismo número de muestras que la primera función de ventana por una parte idéntica de la señal de audio capturada que representa el mismo número de muestras que la primera función de ventana para producir un segundo bloque de
    5 audio de ventana que representa el mismo número de muestras que la primera función de ventana;
    un transformador para transformar el primer bloque de audio de ventana en una primera representación del dominio de frecuencia y para transformar el segundo bloque de audio de ventana en una segunda representación del dominio de frecuencia;
    un determinador de características para determinar una primera característica para cada una de una pluralidad
    10 de bandas de las frecuencias a partir de la primera representación del dominio de frecuencia y para determinar una segunda característica para cada una de las bandas de las frecuencias a partir de la segunda representación del dominio de frecuencia, siendo la segunda característica de un mismo tipo que la primera característica;
    un comparador para restar la primera característica de la segunda característica para determinar un valor intermedio para cada una de las bandas de las frecuencias; y 15 un determinador de firmas para asignar un valor de bit de firma en base al valor intermedio determinado para cada una de las bandas de las frecuencias.
  9. 11. Un aparato como se define en la reivindicación 10, en el que el windower multiplica la primera función de
    ventana y la parte de la señal de audio capturada en una operación del dominio de tiempo, y las funciones de 20 ventana primera y segunda comprenden unas funciones complementarias.
    imagen4
ES08873178.1T 2008-03-05 2008-11-06 Métodos y aparato para generar firmas Active ES2512640T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US3399208P 2008-03-05 2008-03-05
US33992P 2008-03-05
PCT/US2008/082657 WO2009110932A1 (en) 2008-03-05 2008-11-06 Methods and apparatus for generating signatures

Publications (1)

Publication Number Publication Date
ES2512640T3 true ES2512640T3 (es) 2014-10-24

Family

ID=40451076

Family Applications (1)

Application Number Title Priority Date Filing Date
ES08873178.1T Active ES2512640T3 (es) 2008-03-05 2008-11-06 Métodos y aparato para generar firmas

Country Status (8)

Country Link
US (2) US8600531B2 (es)
EP (1) EP2263335B1 (es)
JP (1) JP5266343B2 (es)
CN (2) CN102982810B (es)
CA (1) CA2717723C (es)
ES (1) ES2512640T3 (es)
HK (1) HK1155863A1 (es)
WO (1) WO2009110932A1 (es)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101278568B (zh) 2005-08-16 2010-12-15 尼尔森(美国)有限公司 显示装置开/关检测方法和设备
GB2460773B (en) 2007-02-20 2010-10-27 Nielsen Co Methods and apparatus for characterizing media
US10489795B2 (en) * 2007-04-23 2019-11-26 The Nielsen Company (Us), Llc Determining relative effectiveness of media content items
US8458737B2 (en) 2007-05-02 2013-06-04 The Nielsen Company (Us), Llc Methods and apparatus for generating signatures
DE102008009024A1 (de) * 2008-02-14 2009-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum synchronisieren von Mehrkanalerweiterungsdaten mit einem Audiosignal und zum Verarbeiten des Audiosignals
CN102982810B (zh) 2008-03-05 2016-01-13 尼尔森(美国)有限公司 生成签名的方法和装置
EP2406903A4 (en) * 2009-03-11 2013-01-16 Ravosh Samari DIGITAL SIGNATURES
US9036459B2 (en) * 2009-03-15 2015-05-19 San Diego State University Research Foundation Rectangular power spectral densities of orthogonal functions
WO2010135623A1 (en) * 2009-05-21 2010-11-25 Digimarc Corporation Robust signatures derived from local nonlinear filters
GB2511655B (en) * 2009-11-30 2014-10-15 Miranda Technologies Inc Method and apparatus for providing signatures of audio/video signals and for making use thereof
US8860883B2 (en) * 2009-11-30 2014-10-14 Miranda Technologies Partnership Method and apparatus for providing signatures of audio/video signals and for making use thereof
AU2012327192C1 (en) 2011-12-19 2016-07-07 The Nielsen Company (Us), Llc Methods and apparatus for crediting a media presentation device
US9692535B2 (en) 2012-02-20 2017-06-27 The Nielsen Company (Us), Llc Methods and apparatus for automatic TV on/off detection
US9495451B2 (en) 2013-01-07 2016-11-15 Gracenote, Inc. Identifying video content via fingerprint matching
US9323840B2 (en) * 2013-01-07 2016-04-26 Gracenote, Inc. Video fingerprinting
US9294815B2 (en) 2013-03-15 2016-03-22 The Nielsen Company (Us), Llc Methods and apparatus to discriminate between linear and non-linear media
US9693117B2 (en) 2013-03-15 2017-06-27 The Nielsen Company (Us), Llc Systems, methods, and apparatus to identify linear and non-linear media presentations
US9420323B2 (en) 2013-12-19 2016-08-16 The Nielsen Company (Us), Llc Methods and apparatus to verify and/or correct media lineup information
CA2939117C (en) * 2014-03-04 2022-01-18 Interactive Intelligence Group, Inc. Optimization of audio fingerprint search
US9548830B2 (en) 2014-09-05 2017-01-17 The Nielsen Company (Us), Llc Methods and apparatus to generate signatures representative of media
JP6251145B2 (ja) * 2014-09-18 2017-12-20 株式会社東芝 音声処理装置、音声処理方法およびプログラム
US9497505B2 (en) 2014-09-30 2016-11-15 The Nielsen Company (Us), Llc Systems and methods to verify and/or correct media lineup information
US9680583B2 (en) 2015-03-30 2017-06-13 The Nielsen Company (Us), Llc Methods and apparatus to report reference media data to multiple data collection facilities
US9924224B2 (en) 2015-04-03 2018-03-20 The Nielsen Company (Us), Llc Methods and apparatus to determine a state of a media presentation device
US9786298B1 (en) 2016-04-08 2017-10-10 Source Digital, Inc. Audio fingerprinting based on audio energy characteristics
US10225730B2 (en) * 2016-06-24 2019-03-05 The Nielsen Company (Us), Llc Methods and apparatus to perform audio sensor selection in an audience measurement device
CN107071531A (zh) * 2016-12-31 2017-08-18 天脉聚源(北京)科技有限公司 一种生成奖品海报的方法和装置
US11049507B2 (en) 2017-10-25 2021-06-29 Gracenote, Inc. Methods, apparatus, and articles of manufacture to identify sources of network streaming services
US10726852B2 (en) 2018-02-19 2020-07-28 The Nielsen Company (Us), Llc Methods and apparatus to perform windowed sliding transforms
US10733998B2 (en) * 2017-10-25 2020-08-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to identify sources of network streaming services
US10629213B2 (en) 2017-10-25 2020-04-21 The Nielsen Company (Us), Llc Methods and apparatus to perform windowed sliding transforms
JP2018025827A (ja) * 2017-11-15 2018-02-15 株式会社東芝 対話システム
CN108447501B (zh) * 2018-03-27 2020-08-18 中南大学 一种云存储环境下基于音频字的盗版视频检测方法与***
US10891971B2 (en) 2018-06-04 2021-01-12 The Nielsen Company (Us), Llc Methods and apparatus to dynamically generate audio signatures adaptive to circumstances associated with media being monitored
US10853413B2 (en) * 2018-09-20 2020-12-01 Rovi Guides, Inc. Method and systems for providing personalized supplemental audio streams

Family Cites Families (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2605361A (en) 1950-06-29 1952-07-29 Bell Telephone Labor Inc Differential quantization of communication signals
US3845391A (en) 1969-07-08 1974-10-29 Audicom Corp Communication including submerged identification signal
US3919479A (en) 1972-09-21 1975-11-11 First National Bank Of Boston Broadcast signal identification system
FR2238412A5 (es) 1973-07-20 1975-02-14 Trt Telecom Radio Electr
DE2536640C3 (de) * 1975-08-16 1979-10-11 Philips Patentverwaltung Gmbh, 2000 Hamburg Anordnung zur Erkennung von Geräuschen
US4025851A (en) 1975-11-28 1977-05-24 A.C. Nielsen Company Automatic monitor for programs broadcast
US4053710A (en) 1976-03-01 1977-10-11 Ncr Corporation Automatic speaker verification systems employing moment invariants
US4214125A (en) 1977-01-21 1980-07-22 Forrest S. Mozer Method and apparatus for speech synthesizing
JPS5525150A (en) 1978-08-10 1980-02-22 Nec Corp Pattern recognition unit
US4230990C1 (en) 1979-03-16 2002-04-09 John G Lert Jr Broadcast program identification method and system
US4624009A (en) 1980-05-02 1986-11-18 Figgie International, Inc. Signal pattern encoder and classifier
US4450531A (en) 1982-09-10 1984-05-22 Ensco, Inc. Broadcast signal recognition system and method
US4533926A (en) 1982-12-23 1985-08-06 American Home Products Corporation (Del.) Strip chart recorder and medium status
US4967273A (en) 1983-03-21 1990-10-30 Vidcode, Inc. Television program transmission verification method and apparatus
US4805020A (en) 1983-03-21 1989-02-14 Greenberg Burton L Television program transmission verification method and apparatus
US4639779A (en) 1983-03-21 1987-01-27 Greenberg Burton L Method and apparatus for the automatic identification and verification of television broadcast programs
US4547804A (en) 1983-03-21 1985-10-15 Greenberg Burton L Method and apparatus for the automatic identification and verification of commercial broadcast programs
US4703476A (en) 1983-09-16 1987-10-27 Audicom Corporation Encoding of transmitted program material
US4520830A (en) 1983-12-27 1985-06-04 American Home Products Corporation (Del.) Ultrasonic imaging device
FR2559002B1 (fr) 1984-01-27 1986-09-05 Gam Steffen Procede et dispositif de detection d'une information audiovisuelle diffusee par un emetteur
US4697209A (en) 1984-04-26 1987-09-29 A. C. Nielsen Company Methods and apparatus for automatically identifying programs viewed or recorded
JPH0813004B2 (ja) 1984-09-07 1996-02-07 株式会社日立製作所 A/d変換器
US4677466A (en) 1985-07-29 1987-06-30 A. C. Nielsen Company Broadcast program identification method and apparatus
JPS62204652A (ja) 1986-03-04 1987-09-09 Nec Corp 可聴周波信号識別方式
US4739398A (en) 1986-05-02 1988-04-19 Control Data Corporation Method, apparatus and system for recognizing broadcast segments
GB8611014D0 (en) 1986-05-06 1986-06-11 Emi Plc Thorn Signal identification
US4783660A (en) 1986-09-29 1988-11-08 Signatron, Inc. Signal source distortion compensator
GB8630118D0 (en) 1986-12-17 1987-01-28 British Telecomm Speaker identification
US4834724A (en) 1987-04-06 1989-05-30 Geiss Alan C Device for aspirating fluids from a body cavity or hollow organ
US4843562A (en) 1987-06-24 1989-06-27 Broadcast Data Systems Limited Partnership Broadcast information classification system and method
US5121428A (en) 1988-01-20 1992-06-09 Ricoh Company, Ltd. Speaker verification system
US4931871A (en) 1988-06-14 1990-06-05 Kramer Robert A Method of and system for identification and verification of broadcasted program segments
US4945412A (en) 1988-06-14 1990-07-31 Kramer Robert A Method of and system for identification and verification of broadcasting television and radio program segments
US5023929A (en) 1988-09-15 1991-06-11 Npd Research, Inc. Audio frequency based market survey method
GB8824969D0 (en) 1988-10-25 1988-11-30 Emi Plc Thorn Identification codes
EP0385799A3 (en) 1989-03-02 1991-04-17 Seiko Instruments Inc. Speech signal processing method
US5210820A (en) 1990-05-02 1993-05-11 Broadcast Data Systems Limited Partnership Signal recognition system and method
FR2681997A1 (fr) 1991-09-30 1993-04-02 Arbitron Cy Procede et dispositif d'identification automatique d'un programme comportant un signal sonore.
US5319735A (en) 1991-12-17 1994-06-07 Bolt Beranek And Newman Inc. Embedded signalling
CA2628654C (en) 1992-04-30 2009-12-01 Arbitron Inc. Method and system for updating a broadcast segment recognition database
US5436653A (en) 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US5437050A (en) * 1992-11-09 1995-07-25 Lamb; Robert G. Method and apparatus for recognizing broadcast information using multi-frequency magnitude detection
WO1994011989A1 (en) 1992-11-16 1994-05-26 The Arbitron Company Method and apparatus for encoding/decoding broadcast or recorded segments and monitoring audience exposure thereto
US7316025B1 (en) 1992-11-16 2008-01-01 Arbitron Inc. Method and apparatus for encoding/decoding broadcast or recorded segments and monitoring audience exposure thereto
DE59310346D1 (de) 1992-11-19 2003-08-14 Liechti Ag Kriegstetten Verfahren zur Ermittlung von Radiohörerverhalten und Vorrichtung dazu
US7171016B1 (en) 1993-11-18 2007-01-30 Digimarc Corporation Method for monitoring internet dissemination of image, video and/or audio files
CA2116043C (en) 1994-02-21 1997-09-23 Alexander F. Tulai Programmable digital call progress tone detector
US5450490A (en) 1994-03-31 1995-09-12 The Arbitron Company Apparatus and methods for including codes in audio signals and decoding
MX9604464A (es) 1994-03-31 1997-07-31 Arbitron Co Aparatos y metodos para incluir codigos en señales de audio y decodificacion.
CA2136054C (en) 1994-11-17 2005-06-21 Liechti Ag Method and device for the determination of radio and television users behaviour
US7362775B1 (en) 1996-07-02 2008-04-22 Wistaria Trading, Inc. Exchange mechanisms for digital information packages with bandwidth securitization, multichannel digital watermarks, and key management
US5629739A (en) 1995-03-06 1997-05-13 A.C. Nielsen Company Apparatus and method for injecting an ancillary signal into a low energy density portion of a color television frequency spectrum
US5650943A (en) 1995-04-10 1997-07-22 Leak Detection Services, Inc. Apparatus and method for testing for valve leaks by differential signature method
US7486799B2 (en) 1995-05-08 2009-02-03 Digimarc Corporation Methods for monitoring audio and images on the internet
FR2734977B1 (fr) 1995-06-02 1997-07-25 Telediffusion Fse Systeme de diffusion de donnees.
US7289643B2 (en) 2000-12-21 2007-10-30 Digimarc Corporation Method, apparatus and programs for generating and utilizing content signatures
US5822360A (en) 1995-09-06 1998-10-13 Solana Technology Development Corporation Method and apparatus for transporting auxiliary data in audio signals
US5687191A (en) 1995-12-06 1997-11-11 Solana Technology Development Corporation Post-compression hidden data transport
US6205249B1 (en) 1998-04-02 2001-03-20 Scott A. Moskowitz Multiple transform utilization and applications for secure digital watermarking
US6061793A (en) 1996-08-30 2000-05-09 Regents Of The University Of Minnesota Method and apparatus for embedding data, including watermarks, in human perceptible sounds
US6002443A (en) 1996-11-01 1999-12-14 Iggulden; Jerry Method and apparatus for automatically identifying and selectively altering segments of a television broadcast signal in real-time
US6317703B1 (en) 1996-11-12 2001-11-13 International Business Machines Corporation Separation of a mixture of acoustic sources into its components
US5941822A (en) 1997-03-17 1999-08-24 Polartechnics Limited Apparatus for tissue type recognition within a body canal
US5792053A (en) 1997-03-17 1998-08-11 Polartechnics, Limited Hybrid probe for tissue type recognition
US6026323A (en) 1997-03-20 2000-02-15 Polartechnics Limited Tissue diagnostic system
EP0887958B1 (en) 1997-06-23 2003-01-22 Liechti Ag Method for the compression of recordings of ambient noise, method for the detection of program elements therein, devices and computer program therefor
US6170060B1 (en) 1997-10-03 2001-01-02 Audible, Inc. Method and apparatus for targeting a digital information playback device
US6286005B1 (en) 1998-03-11 2001-09-04 Cannon Holdings, L.L.C. Method and apparatus for analyzing data and advertising optimization
US6272176B1 (en) 1998-07-16 2001-08-07 Nielsen Media Research, Inc. Broadcast encoding system and method
US7006555B1 (en) 1998-07-16 2006-02-28 Nielsen Media Research, Inc. Spectral audio encoding
US6167400A (en) * 1998-07-31 2000-12-26 Neo-Core Method of performing a sliding window search
US6711540B1 (en) 1998-09-25 2004-03-23 Legerity, Inc. Tone detector with noise detection and dynamic thresholding for robust performance
EP1118203A1 (en) 1998-09-29 2001-07-25 Sun Microsystems, Inc. Superposition of data over voice
JP2000115116A (ja) 1998-10-07 2000-04-21 Nippon Columbia Co Ltd 直交周波数分割多重信号発生装置、直交周波数分割多重信号発生方法及び通信装置
AUPP767898A0 (en) 1998-12-14 1999-01-14 Carter (New Zealand) Limited Spinal monitor apparatus and method
US6442283B1 (en) 1999-01-11 2002-08-27 Digimarc Corporation Multimedia data embedding
US7302574B2 (en) 1999-05-19 2007-11-27 Digimarc Corporation Content identifiers triggering corresponding responses through collaborative processing
AU2006203639C1 (en) 1999-05-25 2009-01-08 Arbitron Inc. Decoding of information in audio signals
US6871180B1 (en) 1999-05-25 2005-03-22 Arbitron Inc. Decoding of information in audio signals
US7284255B1 (en) 1999-06-18 2007-10-16 Steven G. Apel Audience survey system, and system and methods for compressing and correlating audio signals
US7194752B1 (en) 1999-10-19 2007-03-20 Iceberg Industries, Llc Method and apparatus for automatically recognizing input audio and/or video streams
US6469749B1 (en) 1999-10-13 2002-10-22 Koninklijke Philips Electronics N.V. Automatic signature-based spotting, learning and extracting of commercials and other video content
US6971010B1 (en) 1999-10-15 2005-11-29 Koninklijke Philips Electronics N.V. Image and video authentication system
CA2310769C (en) 1999-10-27 2013-05-28 Nielsen Media Research, Inc. Audio signature extraction and correlation
US7426750B2 (en) 2000-02-18 2008-09-16 Verimatrix, Inc. Network-based content distribution system
US6968564B1 (en) 2000-04-06 2005-11-22 Nielsen Media Research, Inc. Multi-band spectral audio encoding
US6879652B1 (en) 2000-07-14 2005-04-12 Nielsen Media Research, Inc. Method for encoding an input signal
US7058223B2 (en) 2000-09-14 2006-06-06 Cox Ingemar J Identifying works for initiating a work-based action, such as an action on the internet
US7085613B2 (en) 2000-11-03 2006-08-01 International Business Machines Corporation System for monitoring audio content in a video broadcast
US6604072B2 (en) 2000-11-03 2003-08-05 International Business Machines Corporation Feature-based audio content identification
US7031921B2 (en) 2000-11-03 2006-04-18 International Business Machines Corporation System for monitoring audio content available over a network
US20020114299A1 (en) 2000-12-27 2002-08-22 Daozheng Lu Apparatus and method for measuring tuning of a digital broadcast receiver
EP1362485B1 (en) 2001-02-12 2008-08-13 Gracenote, Inc. Generating and matching hashes of multimedia content
US8572640B2 (en) 2001-06-29 2013-10-29 Arbitron Inc. Media data use measurement with remote decoding/pattern matching
KR20040024870A (ko) 2001-07-20 2004-03-22 그레이스노트 아이엔씨 음성 기록의 자동 확인
US20030054757A1 (en) 2001-09-19 2003-03-20 Kolessar Ronald S. Monitoring usage of media data with non-program data elimination
US6814123B2 (en) 2001-12-21 2004-11-09 3M Innovative Properties Company Method and apparatus for applying a splicing tape to a roll of sheet material
US20030131350A1 (en) 2002-01-08 2003-07-10 Peiffer John C. Method and apparatus for identifying a digital audio signal
US7013030B2 (en) 2002-02-14 2006-03-14 Wong Jacob Y Personal choice biometric signature
US7013468B2 (en) 2002-02-26 2006-03-14 Parametric Technology Corporation Method and apparatus for design and manufacturing application associative interoperability
AUPS322602A0 (en) 2002-06-28 2002-07-18 Cochlear Limited Coil and cable tester
JP2006505821A (ja) 2002-11-12 2006-02-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 指紋情報付マルチメディアコンテンツ
US7483835B2 (en) 2002-12-23 2009-01-27 Arbitron, Inc. AD detection using ID code and extracted signature
US7460684B2 (en) 2003-06-13 2008-12-02 Nielsen Media Research, Inc. Method and apparatus for embedding watermarks
GB0317571D0 (en) 2003-07-26 2003-08-27 Koninkl Philips Electronics Nv Content identification for broadcast media
US7592908B2 (en) 2003-08-13 2009-09-22 Arbitron, Inc. Universal display exposure monitor using personal locator service
KR100554680B1 (ko) 2003-08-20 2006-02-24 한국전자통신연구원 크기 변화에 강인한 양자화 기반 오디오 워터마킹 장치 및방법
US7369677B2 (en) 2005-04-26 2008-05-06 Verance Corporation System reactions to the detection of embedded watermarks in a digital host content
US7420464B2 (en) 2004-03-15 2008-09-02 Arbitron, Inc. Methods and systems for gathering market research data inside and outside commercial establishments
US20050203798A1 (en) 2004-03-15 2005-09-15 Jensen James M. Methods and systems for gathering market research data
US7463143B2 (en) 2004-03-15 2008-12-09 Arbioran Methods and systems for gathering market research data within commercial establishments
CA2560321A1 (en) 2004-03-19 2005-10-06 Arbitron Inc. Gathering data concerning publication usage
US7483975B2 (en) 2004-03-26 2009-01-27 Arbitron, Inc. Systems and methods for gathering data concerning usage of media data
DE102004036154B3 (de) * 2004-07-26 2005-12-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur robusten Klassifizierung von Audiosignalen sowie Verfahren zu Einrichtung und Betrieb einer Audiosignal-Datenbank sowie Computer-Programm
EP2437508A3 (en) 2004-08-09 2012-08-15 Nielsen Media Research, Inc. Methods and apparatus to monitor audio/visual content from various sources
WO2006023770A2 (en) 2004-08-18 2006-03-02 Nielsen Media Research, Inc. Methods and apparatus for generating signatures
DE602004024318D1 (de) 2004-12-06 2010-01-07 Sony Deutschland Gmbh Verfahren zur Erstellung einer Audiosignatur
US7698008B2 (en) * 2005-09-08 2010-04-13 Apple Inc. Content-based audio comparisons
US20090132074A1 (en) 2005-12-08 2009-05-21 Nec Corporation Automatic segment extraction system for extracting segment in music piece, automatic segment extraction method, and automatic segment extraction program
ATE515844T1 (de) 2006-02-22 2011-07-15 Media Evolution Technologies Inc Verfahren und gerät zum erzeugen von digitalen audiosignaturen
WO2008091697A1 (en) * 2007-01-25 2008-07-31 Arbitron, Inc. Research data gathering
GB2460773B (en) 2007-02-20 2010-10-27 Nielsen Co Methods and apparatus for characterizing media
US8458737B2 (en) 2007-05-02 2013-06-04 The Nielsen Company (Us), Llc Methods and apparatus for generating signatures
JP5241832B2 (ja) * 2007-06-27 2013-07-17 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチメディアコンテンツの特定のためのシグネチャポインターを含む検索ツリーのインクレメンタル構造
CA2705549C (en) 2007-11-12 2015-12-01 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
CN102982810B (zh) 2008-03-05 2016-01-13 尼尔森(美国)有限公司 生成签名的方法和装置

Also Published As

Publication number Publication date
US9326044B2 (en) 2016-04-26
WO2009110932A1 (en) 2009-09-11
US8600531B2 (en) 2013-12-03
CA2717723C (en) 2016-10-18
US20090225994A1 (en) 2009-09-10
CN102007714B (zh) 2013-01-02
EP2263335A1 (en) 2010-12-22
JP5266343B2 (ja) 2013-08-21
US20140137146A1 (en) 2014-05-15
EP2263335B1 (en) 2014-07-23
CN102982810A (zh) 2013-03-20
CA2717723A1 (en) 2009-09-11
HK1155863A1 (en) 2012-05-25
JP2011521272A (ja) 2011-07-21
CN102982810B (zh) 2016-01-13
CN102007714A (zh) 2011-04-06

Similar Documents

Publication Publication Date Title
ES2512640T3 (es) Métodos y aparato para generar firmas
US9136965B2 (en) Methods and apparatus for generating signatures
US8489884B2 (en) Methods and apparatus for generating signatures
ES2312589T3 (es) Sistema de identificacion de audio.
CA2678942C (en) Methods and apparatus for characterizing media
EP1826932A1 (en) Method and apparatus for generating digital audio signatures
CN109829265A (zh) 一种音频作品的侵权取证方法和***
Kusuma et al. Audio Fingerprint Application for the Media Industry
AU2012211498B2 (en) Methods and apparatus for characterizing media
AU2013203321B2 (en) Methods and apparatus for characterizing media