ES2943586T3 - Facilitar las comunicaciones utilizando un dispositivo de comunicación portátil y salida de sonido dirigida - Google Patents
Facilitar las comunicaciones utilizando un dispositivo de comunicación portátil y salida de sonido dirigida Download PDFInfo
- Publication number
- ES2943586T3 ES2943586T3 ES11728126T ES11728126T ES2943586T3 ES 2943586 T3 ES2943586 T3 ES 2943586T3 ES 11728126 T ES11728126 T ES 11728126T ES 11728126 T ES11728126 T ES 11728126T ES 2943586 T3 ES2943586 T3 ES 2943586T3
- Authority
- ES
- Spain
- Prior art keywords
- audio
- communication device
- portable communication
- sound
- sound output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Transceivers (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
Abstract
Un método ejemplar para facilitar la comunicación incluye determinar una posición de un dispositivo de comunicación portátil que genera una salida de video. Se proporciona un control de salida de sonido a un dispositivo de audio que es distinto del dispositivo de comunicación portátil para dirigir una salida de sonido desde el dispositivo de audio en función de la posición determinada del dispositivo de comunicación portátil. (Traducción automática con Google Translate, sin valor legal)
Description
DESCRIPCIÓN
Facilitar las comunicaciones utilizando un dispositivo de comunicación portátil y salida de sonido dirigida
1. Campo de la invención
Esta invención se refiere en general a la comunicación. Más particularmente, esta invención se refiere al control de sonido para facilitar las comunicaciones.
2. Descripción de la técnica relacionada
Los dispositivos de comunicación portátiles tienen un uso generalizado. Los teléfonos celulares, los asistentes digitales personales y los ordenadores portátiles son extremadamente populares. A medida que aumentan las capacidades y funcionalidades de estos dispositivos, aumentan los diversos usos para ellos.
Una limitación de los dispositivos de comunicación portátiles es que el altavoz de dicho dispositivo normalmente no proporciona un sonido de alta calidad. Cuando se utiliza un dispositivo de este tipo para observar vídeo, el audio asociado suele tener una calidad deficiente. Por ejemplo, sería útil realizar una videoconferencia utilizando un dispositivo de comunicación portátil con capacidad de video. Sin embargo, la calidad del sonido del altavoz del dispositivo de comunicación portátil puede ser lo suficientemente mala como para desalentar dicho uso del dispositivo. De manera similar, aunque muchos dispositivos de comunicación portátiles tienen capacidad de reproducción de video, la salida de audio asociada deja mucho que desear.
Intentar utilizar una salida de audio externa con un dispositivo de comunicación portátil puede mejorar la calidad del sonido. Sin embargo, existen desafíos significativos debido a la portabilidad del dispositivo de comunicación. La relación espacial entre un altavoz externo y el dispositivo de comunicación portátil puede variar durante un solo uso del dispositivo para ese fin. Esto produce una falta de una experiencia visual y auditiva cohesiva. Es muy poco natural, por ejemplo, que un individuo observe una pantalla de video de un dispositivo de comunicación portátil mientras escucha el audio asociado que emana de algún lugar arbitrario en la habitación en la que se encuentra el individuo. Incluso los sistemas de sonido de alta calidad no proporcionarán ninguna cohesión espacial entre la salida de audio y el vídeo observado en el dispositivo de comunicación portátil. Esta falta de cohesión deja mucho que desear y desalentaría a las personas de intentar utilizar su dispositivo de comunicación portátil de esa manera. Antecedentes de la técnica relevantes se describen en los documentos EP 2200 349 A1 , US 2002/136414 A1 y JP 2006 165845. Resumen
La invención se define por un método para facilitar la comunicación de una pluralidad de personas de acuerdo con la reivindicación 1 y un sistema para facilitar la comunicación de una pluralidad de personas de acuerdo con la reivindicación 4.
Las diversas características y ventajas de los ejemplos descritos serán evidentes para los expertos en la técnica a partir de la siguiente descripción detallada. Los dibujos que acompañan a la descripción detallada se pueden describir brevemente como sigue.
Breve descripción de los dibujos
La Figura 1 muestra esquemáticamente un dispositivo de comunicación portátil de ejemplo diseñado de acuerdo con una realización de esta invención.
La Figura 2 es un diagrama de flujo que resume un enfoque de control de ejemplo.
La Figura 3 ilustra esquemáticamente partes del dispositivo de comunicación portátil de ejemplo de la Figura 1. La Figura 4 ilustra esquemáticamente un módulo de determinación de posición de ejemplo.
La Figura 5 ilustra esquemáticamente un módulo de control de sonido de ejemplo.
La Figura 6 ilustra en forma de diagrama un ejemplo de uso de un dispositivo de comunicación portátil con un dispositivo de audio distinto.
La Figura 7 ilustra esquemáticamente otro ejemplo de uso de un dispositivo de comunicación portátil y un dispositivo de audio distinto.
La Figura 8 ilustra esquemáticamente otro ejemplo de uso de un dispositivo de comunicación portátil con un dispositivo de audio distinto.
La Figura 9 ilustra esquemáticamente otro ejemplo de uso de un dispositivo de comunicación portátil con un dispositivo de audio distinto.
La Figura 10 ilustra esquemáticamente otro ejemplo de uso de un dispositivo de comunicación portátil con un dispositivo de audio distinto.
Descripción detallada
La Figura 1 muestra esquemáticamente partes seleccionadas de un dispositivo 20 de comunicación portátil de ejemplo. Este ejemplo tiene una salida 22 de video. En este ejemplo particular, la salida de video comprende una pantalla que es parte del dispositivo 20 de comunicación portátil. La salida 22 de video en un ejemplo comprende un proyector que proyecta una imagen sobre una superficie seleccionada separada del dispositivo 20.
Un módulo 24 de determinación de posición proporciona una indicación de una posición del dispositivo 20 de comunicación portátil. El módulo 24 de determinación de posición en este ejemplo es capaz de proporcionar información de posición en seis dimensiones. Por ejemplo, la información de posición puede incluir información de ubicación en coordenadas cartesianas (es decir, x, y, z) e información de orientación (es decir, azimut, elevación y balanceo). Se conocen sensores de posición de seis grados de libertad. Un ejemplo incluye un sensor de posición conocido de este tipo.
El dispositivo 20 de comunicación portátil en este ejemplo también incluye un módulo 26 de control de sonido tal como un espacializador de audio. El dispositivo 20 de comunicación portátil de ejemplo puede asociarse con un dispositivo 30 de audio que es distinto del dispositivo 20 de comunicación portátil. Los dispositivos 30 de audio de ejemplo incluyen auriculares o altavoces. Un enlace alámbrico o inalámbrico permite que el dispositivo 30 de audio proporcione una salida de audio basada en la información del módulo 26 de control de sonido. La salida de audio comprende audio que, de otro modo, se proporcionaría desde un altavoz del dispositivo 20 de comunicación, pero, en cambio, lo proporciona el dispositivo 30 de audio distinto. El módulo 26 de control de sonido proporciona información al dispositivo 30 de audio para permitir que ese dispositivo genere la salida de sonido deseada.
El módulo 26 de control de sonido controla la producción de sonido en función de la información de posición del módulo 24 de determinación de posición. Esto permite dirigir el sonido desde el dispositivo 30 de audio para que parezca que emana de la posición del dispositivo 20 de comunicación portátil. Esta característica proporciona cohesión espacial entre la salida 22 de video y la salida de sonido del dispositivo 30 de audio. Esto permite asociar sonido de alta calidad con video con cohesión espacial que mejora en gran medida la experiencia de una persona que usa el dispositivo 20 de comunicación portátil para obtener una salida de video y un dispositivo 30 de audio distinto para proporcionar un sonido de alta calidad.
La Figura 2 incluye un diagrama 52 de flujo que resume un enfoque de control de ejemplo. En 54, se determina la posición del dispositivo de comunicación portátil. En este ejemplo, se determina una posición de observador en 56. Luego, la salida de sonido se dirige en función de las posiciones determinadas en 58.
Es posible utilizar la posición de un dispositivo de comunicación portátil en relación con un punto de referencia fijo para un dispositivo 30 de audio dado. Por ejemplo, el dispositivo de audio puede incluir altavoces que permanecen en una posición fija dentro de un área particular y la posición del dispositivo 20 de comunicación portátil dentro de esa área puede determinarse en relación con un punto de referencia seleccionado. También es posible determinar la ubicación del observador de un individuo en relación con dicho punto de referencia fijo. En algunos ejemplos, la posición del dispositivo de comunicación portátil o la posición del individuo se puede utilizar como punto de referencia para que la posición determinada del otro sea relativa a ese punto de referencia. En un ejemplo, la posición del dispositivo 20 de comunicación portátil se utiliza como punto de referencia para determinar la posición del observador en relación con la posición determinada del dispositivo 20 de comunicación portátil.
La Figura 3 muestra esquemáticamente detalles adicionales del dispositivo 20 de comunicación portátil de ejemplo de acuerdo con una realización. Un decodificador 60 de flujo de transporte divide un flujo de datos audiovisuales en flujos de audio y video separados. En el ejemplo ilustrado, el decodificador 60 de flujo de transporte puede recibir la información audiovisual basada en una entrada actual al dispositivo 20 de comunicación portátil. Por ejemplo, una antena 66 y un receptor 68 están configurados para recibir señales de audio y video comunicadas de forma inalámbrica que luego puede ser procesada por el dispositivo 20 de comunicación portátil. Este ejemplo también tiene la capacidad de reproducir información de audio y video desde un almacenamiento 70 que puede comprender una memoria que es parte del dispositivo 20 de comunicación portátil o información almacenada en una memoria externa que se alimenta en el dispositivo 20 de comunicación portátil (por ejemplo, utilizando una unidad de disco o un puerto USB). El ejemplo ilustrado incluye un interruptor 72 para seleccionar la fuente de información de audio-video.
El flujo de audio se muestra esquemáticamente en 62. El flujo de video se muestra esquemáticamente en 64.
Un decodificador 84 de audio decodifica la información de audio. Dado que se pretende que la salida de audio a un individuo esté orientada a la posición, el módulo 24 de determinación de posición obtiene información de posición de
un sensor 86 de posición, por ejemplo, que proporciona una indicación de una posición del dispositivo 20 de comunicación portátil. La determinación de posición el módulo 24 en este ejemplo también recibe información de posición de un sensor 88 de posición externo que es capaz de proporcionar una indicación de la posición de un observador (por ejemplo, la ubicación y orientación de los auriculares usados por un individuo). El módulo 24 de determinación de posición hace una determinación con respecto a la información de posición que es útil para dirigir la salida de sonido de una manera que proporciona cohesión entre el video proporcionado por el dispositivo 20 de comunicación portátil y la salida de audio.
En el ejemplo ilustrado, el dispositivo 20 de comunicación portátil incluye un espacializador 90 de audio que proporciona información de salida de audio dirigida por posición al dispositivo 30 de audio. Alternativamente, la información de audio del decodificador 84 de audio y la información de posición del módulo 24 de determinación de posición se proporcionan a un espacializador 92 de audio externo que controla la salida del dispositivo 30 de audio para lograr la salida de sonido dirigida espacialmente desde el dispositivo 30 de audio.
El flujo 64 de video es procesado por un decodificador 74 de video. La visualización de la información de video en este ejemplo se proporciona en al menos una de las pantallas 76 de visualización de video internas o a través de un proyector 78 de video que proyecta un haz 80 de video para que el video pueda ser observado en una superficie cercana.
La Figura 4 muestra esquemáticamente un ejemplo de módulo 24 de determinación de posición. Una porción 101 de determinación de posición del dispositivo proporciona información sobre la posición del dispositivo 20 de comunicación portátil como se muestra en 103. La porción 101 de determinación de posición del dispositivo proporciona información sobre la posición del dispositivo portátil dispositivo 20 de comunicación en términos de coordenadas cartesianas (xd, yD, zd) y ángulos de orientación de Euler (azimut 0d, elevación Od y balanceo 9 d) en este ejemplo.
Una porción 102 de determinación de la posición del observador proporciona una indicación de la posición del observador (por ejemplo, la cabeza del observador). La salida 104 de la porción 102 de determinación de la posición del observador está en términos de coordenadas cartesianas (xl, yL, zl) y ángulos de orientación de Euler (azimut 0l, elevación 9l y balanceo 9 l) en este ejemplo.
Como se sabe, los ángulos de orientación de Euler son una forma de representar la orientación de un objeto con respecto a un sistema de coordenadas de referencia. Estos ángulos representan una secuencia de rotación del sistema de coordenadas de referencia, comenzando con una rotación de azimut, seguida de una rotación de elevación, seguida de una rotación de balanceo. El ángulo de azimut se define como una rotación de los ejes de referencia X e Y alrededor del eje Z que da como resultado la rotación de los ejes X' e Y'. El ángulo de elevación se puede definir como una rotación de los ejes Z y X' alrededor del eje Y', lo que da como resultado la rotación de los ejes Z' y X". Finalmente, el ángulo de balanceo se define como una rotación de los ejes Y' y Z' alrededor de X", lo que resulta en rotación de los ejes Y" y Z". El nuevo sistema de coordenadas X" Y" Z" determina la orientación del objeto.
Dependiendo del tipo de visualización de video (video incorporado versus video proyectado), solo un subconjunto de los parámetros emitidos por la porción 101 de determinación de la posición del dispositivo puede usarse para procesamiento adicional. Tal subconjunto puede ser las coordenadas cartesianas (xd, yD, zd) del dispositivo portátil, por ejemplo. Si el video se muestra utilizando el proyector 78 del dispositivo 20 de comunicación portátil, las coordenadas cartesianas (xd, yD, zd) y al menos los dos parámetros de orientación, el azimut 0d y la elevación 9d, son deseables para un procesamiento posterior, ya que los ángulos de orientación 0d y 9d son generalmente necesarios para determinar correctamente la ubicación del vídeo proyectado. Por otro lado, si se visualiza vídeo en la pantalla 22 de visualización, los ángulos de orientación pueden despreciarse con el fin de crear indicaciones para la dirección de la fuente de sonido. Los ángulos de orientación aún se pueden usar si se pretende proporcionar pistas adicionales para la orientación de la fuente de sonido. Estas pistas para la orientación del dispositivo se pueden crear, por ejemplo, cambiando la proporción de sonido directo a sonido reverberado. Cuando la pantalla 22 del dispositivo 20 portátil mira directamente al observador, la salida de sonido proporciona un sonido más directo que si el dispositivo 20 portátil estuviera apartado del observador, por ejemplo. Adicional o alternativamente, se puede modelar un patrón polar dependiente de la frecuencia de un hablante humano, mediante el cual, en un modelo simple, las frecuencias altas se atenúan gradualmente cuanto más se aleja el dispositivo del observador.
Dependiendo de la reproducción acústica del sonido, solo un subconjunto de los parámetros 104 de la porción 102 de determinación de la posición del observador puede usarse para procesamiento adicional. Un subconjunto de ejemplo comprende las coordenadas cartesianas (xl, yL, zl) del observador.
Para la reproducción de sonido cuando el dispositivo 30 de audio comprende auriculares, al menos las coordenadas cartesianas (xl, yL, zl) y el azimut 0l y la elevación 9l son deseables del conjunto 104 de parámetros. Las indicaciones de azimut y elevación con respecto al observador permiten al espacializador 90 de audio compensar la orientación de la cabeza del observador. Sin tal compensación, el campo de sonido girará con la cabeza del observador debido a la reproducción del sonido a través de los auriculares. Por ejemplo, suponga una fuente de sonido directamente frente al observador. Si el observador gira la cabeza 90 grados en el sentido contrario a las agujas del reloj, la dirección de la fuente de sonido sintetizado se ajustará continuamente durante esta rotación para finalmente aparecer desde el
lado derecho de la cabeza. De esta forma, independientemente de la rotación de la cabeza, la ubicación de la fuente de sonido siempre estará fija en el espacio para el observador. Solo si se mueve el dispositivo portátil, la fuente de sonido se moverá en el espacio.
Para la reproducción de sonido a través de altavoces, por otro lado, los ángulos de orientación pueden despreciarse, es decir, solo se puede usar el subconjunto (xl, yL, zl) del conjunto 104 de parámetros. En algunos casos de reproducción de sonido a través de altavoces, sigue siendo beneficioso utilizar la orientación de la cabeza al espacializar el sonido. Un ejemplo incluye la reproducción de sonido binaural con cancelador de diafonía, que es una técnica bien conocida.
En general, la orientación se especifica en tres dimensiones, azimut, elevación y balanceo. Sin embargo, en muchas situaciones prácticas, los ángulos de azimut y elevación por sí solos determinan en gran medida la dirección del sonido. Por simplicidad, los ángulos de balanceo no se consideran más en la siguiente discusión. Sin embargo, los ángulos de balanceo del observador y el dispositivo 20 se pueden aplicar para mejorar aún más el audio espacializado.
Las partes de determinación de posición 101 y 102 no asumen ningún sistema de coordenadas de referencia específico para expresar las posiciones del dispositivo 20 de comunicación portátil y un observador. En otras palabras, el sistema de coordenadas de referencia se puede elegir arbitrariamente. En particular, puede elegirse para que coincida con la posición de 6 dimensiones del dispositivo portátil en movimiento o con la posición de 6 dimensiones del observador en movimiento.
Si el dispositivo 20 de comunicación portátil proporciona una salida de video a través del proyector incorporado 78, el video observable se mostrará en una pared o pantalla de proyección, por ejemplo. El ejemplo de la figura 4 incluye una porción 105 de determinación de distancia que está configurada para medir la distancia desde el dispositivo 20 de comunicación portátil hasta la superficie sobre la que aparece el vídeo proyectado. La porción 105 de determinación de distancia puede basarse en una técnica de medición por láser o ultrasónica para proporcionar una indicación de una distancia Dp. Cuando la salida de video se proporciona en la pantalla 22 del dispositivo 20 de comunicación portátil, la porción 105 de determinación de distancia proporciona una salida correspondiente a Dp = 0. Para un dispositivo 20 portátil sin un proyector 78 integrado, la porción 105 de determinación de distancia no es necesaria.
El ejemplo de la Figura 4 incluye una porción 107 de determinación de la posición relativa que determina la posición y la orientación del video con respecto al observador basándose en la posición del dispositivo 20 de comunicación portátil y la posición del observador. Si la salida de vídeo la proporciona el proyector 78, se incluye la distancia a la pared o a la pantalla de proyección. La ubicación deseada de la fuente de sonido en relación con el observador está determinada por tres variables, el ángulo de azimut 0s, el ángulo de elevación y la distancia Ds. Asimismo, la orientación de la fuente de sonido o video con respecto al observador está determinada por el ángulo de azimut 0v y el ángulo de elevación ^ v. Estos cinco parámetros están determinados por la porción 107 de determinación de la posición relativa. En un ejemplo, la determinación se simplifica al no utilizar los ángulos de orientación del dispositivo. Un ejemplo no incluye la distancia Ds como parte de las determinaciones de posición relativa. Dada esta descripción, los expertos en la materia se darán cuenta de qué información es útil para proporcionar el resultado que se adapte a las necesidades de su situación particular.
Para derivar ecuaciones para estas cinco variables, exprese la posición del observador como un vector,
Pl = (xl, yL, zl)t,
donde el superíndice T denota una operación de transposición conocida. Asimismo, expresamos la posición de la pantalla de video como un vector
pv = (xv yv zv)T,
y la posición del dispositivo portátil como un vector
Pd = (xd yD zd)t.
En los ejemplos en los que el vídeo se muestra en el propio dispositivo portátil, pv = pd. Si, por otro lado, el video se muestra desde el proyector 78, la posición del video no se conoce directamente del sensor en el dispositivo 20 portátil. En cambio, se necesita una determinación con respecto a la posición del video basada en las coordenadas cartesianas del dispositivo portátil (pd), su orientación (0d ^ d), y su distancia a la pared o pantalla de proyección (Dp) de acuerdo con la siguiente ecuación:
pv = PD + p • Dp, (1)
donde p es el vector unitario en la dirección desde el dispositivo 20 portátil hasta el video proyectado, dado por
El valor de la Ecuación (1) puede controlarse en función de si el video se muestra en una pantalla 22 de video integrada (por ejemplo, Dp = 0) o el video se muestra mediante el proyector 78 (por ejemplo, Dp t 0).
La distancia de la fuente de sonido deseada se puede calcular utilizando la función de norma conocida
El ángulo azimutal 0s y el ángulo de elevación 9s de la fuente de sonido deseados vienen dados por las siguientes ecuaciones:
Las ecuaciones (1)-(4) se usan para espacializar el sonido para que coincida con la ubicación del video. En particular, la distancia a la fuente de sonido Ds en la Ecuación (2) puede usarse para sintetizar pistas de distancia potenciales. Las ecuaciones (3) y (4) se utilizan para colocar la fuente de sonido en los ángulos de elevación y azimut correctos. Estas ecuaciones utilizan la posición de la cabeza del observador (xl, yL, zl) y la orientación de la cabeza del observador (0l y 9l). Tener en cuenta la orientación de la cabeza es más relevante cuando se reproduce la salida de audio a través de auriculares porque permite acomodar cualquier rotación o inclinación de la cabeza del observador.
Las ecuaciones (3) y (4) se dan para la reproducción de sonido a través de auriculares. Para renderizar sobre altavoces, la orientación del observador (0l, 9l) puede en general despreciarse (por ejemplo, establecer 0l = 0 y 9l = 0). Aunque es posible que estos ángulos no se utilicen con el fin de posicionar la fuente de sonido, se pueden utilizar para calcular las funciones de transferencia relacionadas con la cabeza (HRTF) correctas en un sistema de altavoces transaurales.
La orientación del dispositivo se puede usar para simular el patrón polar de la fuente de sonido. Un patrón polar o patrón de directividad determina el nivel de sonido que emite una fuente de sonido, especificado para un rango de 360 grados. Un caso más general implica un patrón polar tridimensional que especifica el nivel de sonido emitido en un rango esférico. Como tal, se puede determinar un patrón polar tridimensional, por ejemplo, para un hablante humano o un instrumento musical. Los patrones polares suelen depender de la frecuencia, es decir, se especifican en diferentes frecuencias.
Para relacionar la orientación del dispositivo móvil con un patrón polar deseado, un ejemplo incluye determinar la orientación relativa del dispositivo con respecto a la posición del observador. Para ello, expresamos el vector del observador al dispositivo móvil,
PO = PV - PL,
en términos del sistema de coordenadas del dispositivo 20 de comunicación portátil usando una transformación de coordenadas bien conocida. El vector del observador al dispositivo 20 en el sistema de coordenadas del dispositivo se convierte en
po' = Rpo,
donde
El vector po' se relaciona directamente con el patrón polar. Los ángulos de elevación y el azimut del vector transformado
están determinados por
Dado un patrón polar deseado, un ejemplo incluye evaluar este patrón polar en el ángulo de azimut 0v y el ángulo de elevación ^ v. Esta evaluación se realiza a lo largo del eje de frecuencia para obtener una respuesta de frecuencia para cada par de ángulos de azimut y elevación.
Una vez que la posición relativa del video es determinada por la porción 107 de determinación de la posición relativa como lo ejemplifican las Ecuaciones (2)-(6), los parámetros resultantes se proporcionan al espacializador 90.
El espacializador 90 de audio recibe la información de audio del decodificador 84 de audio y produce audio espacial que coincide con la ubicación del video para que la salida del dispositivo 30 de audio (por ejemplo, auriculares o altavoces) se base en la información posicional del módulo 24 de determinación de la posición.
La figura 5 muestra una realización ejemplar del espacializador 90 de audio. Este ejemplo admite diferentes formatos de entrada e incluye una porción 201 de operación de matriz. El formato de entrada se convierte hacia abajo a mono o se puede conservar en el caso de un formato de entrada Ambisonic. Los ejemplos de formato de entrada son mono (1 canal), estéreo (2 canales), estéreo multicanal como 3/2 (3 canales frontales/2 canales envolventes) o formato Ambisonic B (cuatro canales). Mono puede espacializarse directamente, especialmente cuando se utilizan grabaciones de campo cercano en las que un micrófono está cerca de la fuente de sonido original, de modo que la grabación contiene principalmente sonido directo, con poca reverberación de sala. El estéreo también se puede convertir a mono, en particular si la grabación se origina en un micrófono estéreo coincidente. Del mismo modo, el estéreo multicanal 3/2 se puede convertir a mono.
Para el caso en el que la entrada de audio se mezcla en una señal monoaural, la parte de operación de matriz 201 se reduce a una operación de vector. Para el caso trivial de entrada monoaural, la operación matricial 201 está representada por
donde X1/0 = x denota la muestra de entrada escalar e y1/0 denota la muestra de salida. Para el caso trivial de entrada monoaural, la matriz se reduce a un escalar, es decir, M1/0 = 1.
Para la entrada estéreo de 2 canales, la operación 201 matricial está representada por
donde X2/0 = [xl xr]t denota el vector de entrada bidimensional para la muestra de los canales izquierdo y derecho, y1/0 denota la muestra de salida monoaural y M2/0 = [0.50.5].
Para la entrada estéreo de 5 canales, la operación 201 matricial está representada por
donde X3/2 = [xl xr xc xls xrs]t denota el vector de entrada de 5 dimensiones para el canal izquierdo, derecho, central, envolvente izquierdo y envolvente derecho y y1/0 denota la muestra de salida monoaural. Por ejemplo, M3/2 = [0.7071 0.7071 1.000 0.5000.500] de acuerdo con la recomendación ITU-R BS.775-2, o alternativamente M3/2 = [0.333 0.333 0.333 0 0 ] para reducir la cantidad de sonido reverberante.
Cuando la entrada de audio está en formato Ambisonic, el procesamiento posterior puede usar este formato directamente, ya que el formato Ambisonic permite la rotación del campo de sonido. Por ejemplo, un conjunto de señales de formato B de Ambsionc consta de cuatro canales, comúnmente denominados señales W,X,Y,Z. El procesamiento Ambisonic subsiguiente en la porción 201 de operación de matriz incluye simplemente pasar las señales a través de
siendo xa = [xw xx xy xz]T el vector de entrada, y Ma la matriz identidad de tamaño cuatro. Alternativamente, se puede elegir, por ejemplo, el canal omnidireccional W del formato Ambisonic para continuar con una señal monoaural.
Un simulador 202 de patrón polar simula el patrón polar o la directividad de la fuente de sonido creada. El patrón polar indica el nivel de sonido al que se emite sonido desde el dispositivo 30 de audio para diferentes ángulos horizontales y verticales. Por lo general, se especifica en varias frecuencias. Considere el patrón polar de un hablante humano. A
medida que la cara de un individuo gira 180 grados de adelante hacia atrás, el nivel de sonido se reduce para el observador. Esto es particularmente cierto a altas frecuencias. El simulador 202 de patrones polares en un ejemplo almacena patrones polares como tablas de consulta o calcula modelos para el patrón polar basándose en ángulos de azimut y elevación. Equivalente a un patrón polar dependiente de la frecuencia, se puede especificar una respuesta de frecuencia en diferentes combinaciones de azimut/ángulo de elevación. Es decir, se puede especificar una respuesta de filtro para el patrón polar en función de la frecuencia y los ángulos 0v, ^ v. Para dar un ejemplo simple, considere solo el ángulo de orientación horizontal 0v, que se define como el ángulo entre los dos vectores que están definidos por la orientación del dispositivo y el vector dispositivo al observador. Un ejemplo utiliza una característica de filtro de paso bajo simple que depende de la orientación del dispositivo y se define en el dominio z como
donde
Si el dispositivo está frente al observador (0v = 0), resulta una respuesta de frecuencia plana, ya que Hpp (z)|0v = o = 1. Cuanto más se aleja el dispositivo del observador, más se reducen las frecuencias más altas.
La salida del simulador 202 de patrones polares es procesada por una porción 203 de modificación del nivel de sonido. El nivel de sonido cambia en función de la distancia Ds. Por ejemplo, se puede utilizar la ley del cuadrado inverso que se aplica a una fuente puntual acústica, expresada con la siguiente ecuación de entrada-salida:
donde x denota la entrada, y la salida y Dref la distancia de referencia, por ejemplo, Dref = 1 metro. Para esta porción 203 particular de modificación del nivel de sonido, el nivel de potencia de sonido cae 6 dB si la distancia del observador al dispositivo 20 de comunicación portátil se duplica.
El ejemplo ilustrado incluye un sintetizador 204 binaural para salida de auriculares. El sintetizador 204 binaural puede considerarse el elemento central para la espacialización del sonido. Genera audio binaural (es decir, señales izquierda y derecha dedicadas a la reproducción en auriculares). El sintetizador 204 binaural utiliza funciones de transferencia relacionadas con la cabeza (HRTF) expresadas en el dominio de la frecuencia o respuestas de impulso relacionadas con la cabeza equivalentes (HRIR) expresadas en el dominio del tiempo. Una realización ejemplar del sintetizador 204 binaural utiliza filtros de respuesta de impulso finitos para generar señales izquierda y derecha yi_(i), yR(i) a partir de una señal de entrada x(i). Tal operación de filtro se puede expresar como
donde i denota el índice de tiempo, hi_,j(0 s,9 s,Ds) y hR,j(0 s,9 s,Ds) denota las respuestas de impulso relacionadas con la cabeza para los oídos izquierdo y derecho, respectivamente, y M denota el orden de la respuesta de impulso relacionada con la cabeza.
Las ecuaciones anteriores se usan cuando la entrada x(i) es una señal monoaural. Para el caso de un conjunto de señales Ambisonic, se crea un conjunto correspondiente de señales de altavoces virtuales y luego se combina con los HRIR para producir las señales de salida binaurales usando una técnica conocida en un ejemplo.
Una porción 205 de reverberación añade reverberación a las señales binaurales en este ejemplo. Los algoritmos de reverberación son conocidos en la técnica y en un ejemplo se usa un algoritmo conocido. El grado de reverberación puede depender de la distancia Ds. En un ejemplo, un valor mayor para Ds corresponde a más reverberación. Asimismo, la reverberación puede depender de la orientación del dispositivo 20 de comunicación portátil. Si, por ejemplo, el dispositivo 20 se aparta del observador, se puede agregar más reverberación, ya que el sonido llegará a la ubicación del observador principalmente a través de la reflexión en lugar de a través de camino directo.
El ejemplo de la Figura 5 también es capaz de proporcionar salida de sonido a través de altavoces. Un sintetizador 206 de sonido constituye el elemento central para la espacialización del sonido cuando el dispositivo de audio no son auriculares. Se conocen varias técnicas para proporcionar una salida de sonido espacialmente orientada desde los altavoces, como la panoramización de amplitud de base vectorial (VBAP), la ambisónica, la síntesis de campo de ondas (WFS) y la reproducción de sonido transaural. Una parte 207 de reverberación funciona de manera similar a la porción 205 de reverberación, de modo que el dispositivo 30 de audio proporciona una cantidad adecuada de reverberación para mejorar la calidad espacial de la salida de sonido.
Los módulos y partes ilustrados esquemáticamente pueden comprender hardware (por ejemplo, circuitos dedicados), software, firmware o una combinación de dos o más de estos. Aquellos expertos en la técnica que tengan el beneficio de esta descripción se darán cuenta de qué combinación de estos proporcionará los resultados requeridos para su situación particular. Además, los módulos y porciones individuales se dividen con fines de discusión y las funciones de cada uno pueden lograrse usando el hardware, software o firmware que realiza una función esquemáticamente dedicada a otra de las porciones o módulos ilustrados.
La figura 6 ilustra esquemáticamente una implementación que no forma parte de la presente invención en la que un individuo 230 utiliza auriculares como dispositivo 30 de audio. Los auriculares presentan un desafío único en el sentido de que la posición (por ejemplo, ubicación, orientación o ambas) de la cabeza del individuo puede cambiar en relación con la posición del dispositivo 20 de comunicación portátil. En la mayoría de las situaciones, la posición de la cabeza del individuo cambiará con más frecuencia que la posición del dispositivo 20 de comunicación portátil.
El ejemplo de la Figura 6 incluye un rastreador de observador o un sensor 88 de posición y orientación para determinar la posición y orientación de los auriculares 30 o la cabeza del individuo relevante para un punto de referencia tal como la posición determinada del dispositivo 20 de comunicación portátil. En un ejemplo, el sensor 88 de posición y orientación comprende un rastreador de cabeza de seis grados de libertad que proporciona una indicación de una ubicación y orientación actual de la cabeza del individuo. Uno de dichos sensores 88 de posición y orientación proporciona información de posición que permite determinar información de posición de la cabeza lateral (es decir, de derecha a izquierda), frontal (hacia adelante-atrás) y vertical (es decir, de arriba hacia abajo), así como ángulos de orientación (azimut, elevación, balanceo).
La información del sensor 88 de posición y orientación se proporciona al módulo 24 de determinación de posición donde se utiliza como se describe anteriormente.
La salida de sonido de los auriculares se ajusta para dar la apariencia de que se dirige desde la posición actual del dispositivo 20 de comunicación portátil. Existen técnicas conocidas para ajustar la frecuencia y la amplitud de la salida de cada uno de los altavoces individuales de los auriculares para lograr un efecto direccional. Un ejemplo incluye las técnicas de reproducción de sonido binaural mencionadas anteriormente para mejorar el efecto direccional de la salida de sonido.
Otra característica del ejemplo de la Figura 6 es que hay otro individuo 230' que usa un conjunto separado de auriculares como el dispositivo 30' de audio distinto. Un rastreador 88' de cabeza separado está asociado con los auriculares 30' para el individuo 230'. Esto permite determinar por separado la ubicación de los dos individuos y controlar por separado la salida de sonido de los dos juegos de auriculares para que cada individuo tenga una experiencia de audio que proporcione cohesión espacial con la posición actual del dispositivo 20 de comunicación portátil. Como se muestra esquemáticamente en la Figura 6, el individuo 230 está posicionado con respecto a una primera ubicación 236 del dispositivo 20 de comunicación portátil de una manera que da como resultado una dirección de sonido que se muestra esquemáticamente en 240. El individuo 230' está en una ubicación diferente que da como resultado una dirección 240' de sonido diferente mientras que el dispositivo 20 de comunicación portátil está en la ubicación 236.
A medida que el dispositivo 20 de comunicación portátil se mueve a la posición 244, la dirección del sonido se actualiza continuamente en un ejemplo. Los expertos en la técnica se darán cuenta de que "continuamente actualizado" como se usa en el contexto de esta descripción dependerá de las limitaciones de la programación o los procesadores en los dispositivos que se utilizan. Cuando está en la posición 244, la dirección 246 de sonido se utiliza para controlar la salida de sonido de los auriculares 30 que lleva el individuo 230 y la salida de sonido proporcionada por los auriculares 30' que lleva el individuo 230' se dirige como se muestra esquemáticamente en 246'. Este ejemplo demuestra cómo una pluralidad de personas, cada una con su propio dispositivo 30 de audio, puede recibir una salida de sonido que tiene cohesión espacial con la posición del dispositivo 20 de comunicación portátil.
La Figura 7 muestra esquemáticamente otro ejemplo de implementación en el que el dispositivo 20 portátil de comunicación incluye un proyector 78 que proyecta una imagen 272 sobre una superficie que está separada de la posición actual del dispositivo 20 portátil de comunicación. En este ejemplo, cuando el dispositivo 20 de comunicación portátil está en la posición 236, la ubicación de la imagen resultante se muestra esquemáticamente en 274. Cuando el dispositivo 20 de comunicación portátil se mueve a la posición 244, la ubicación de la imagen resultante se muestra esquemáticamente en 276. En este ejemplo, las direcciones de sonido 240, 246, 240' y 246' se controlan sobre la base
de las ubicaciones de imagen 274 y 276 y la posición y orientación de la cabeza del observador. El módulo 26 de control de sonido en este ejemplo está configurado para utilizar la determinación realizada por el módulo 24 de determinación de posición con respecto a la ubicación de la imagen proyectada en función de la ubicación determinada del dispositivo 20 de comunicación portátil y la distancia a la ubicación de la imagen. Por ejemplo, se puede asociar un sensor de distancia conocido con el proyector 78 para determinar una distancia aproximada desde el proyector hasta la superficie de una pared que mira hacia el dispositivo 20 de comunicación portátil en la dirección de proyección del proyector 78. La información de sonido orientada espacialmente (determinado como se describió anteriormente) se usa para controlar la salida de los dispositivos 30 y 30' de audio, que en este caso comprenden auriculares, de modo que se logre una dirección de sonido apropiada para la salida de sonido para cada observador individual.
La Figura 8 ilustra un ejemplo de uso del dispositivo 20 de comunicación portátil. En este ejemplo, el dispositivo 20 de comunicación portátil comprende un ordenador portátil. El dispositivo 30 de audio en este ejemplo comprende un sistema de altavoces dentro de la casa de un individuo, por ejemplo. En este ejemplo se utilizan múltiples altavoces 30a, 30b, 30c, 30d y 30e para proporcionar una salida de sonido de alta calidad. El módulo 26 de control de sonido se comunica con un controlador 32 de altavoz. El módulo 26 de control de sonido proporciona información al controlador 32 de control de altavoz para que se genere el sonido apropiado y para que la salida de sonido se dirija desde los altavoces en función de la posición del dispositivo 20 de comunicación portátil.
Supongamos, por ejemplo, que el dispositivo 20 de comunicación portátil está en una primera posición que se muestra en 236 en relación con los altavoces 30a - 30e. El módulo 24 de determinación de posición determina la ubicación y orientación del dispositivo 20 de comunicación portátil y el módulo 26 de control de sonido comunica esa información al controlador 32 de control de altavoz. El sonido resultante de los altavoces tiene una dirección de sonido que se muestra esquemáticamente en 240. La manera en el cual se controlan los parlantes provoca una salida de sonido que parece estar dirigida a lo largo de la dirección 240 del sonido de modo que el audio o la salida de sonido de los parlantes 30a-30e y el video de la salida 22 de video provienen aproximadamente de la misma ubicación percibida por un observador.
Existen técnicas conocidas para controlar altavoces para lograr una dirección de sonido deseada de la salida de sonido de los altavoces. Dichas técnicas conocidas se usan en una implementación de ejemplo.
Supongamos ahora que una persona mueve el dispositivo 20 de comunicación portátil desde la posición en 236 como se muestra esquemáticamente por la flecha 242. El dispositivo 20 de comunicación portátil eventualmente alcanza otra posición 244. Como se puede apreciar en la Figura 8, la ubicación y orientación del dispositivo 20 de comunicación portátil ha cambiado como resultado del movimiento mostrado esquemáticamente por la flecha 242. El módulo 26 de control de sonido proporciona nueva información al controlador 32 de control de altavoz para que la dirección del sonido de la salida de sonido de los altavoces 30a - 30e cambia en consecuencia. La nueva dirección de sonido que se muestra esquemáticamente en 246 corresponde a la posición 244 ilustrada del dispositivo 20 de comunicación portátil.
Como se puede apreciar en el ejemplo de la Figura 2, proporcionar información de posición al controlador 32 de control de altavoz permite que el dispositivo de audio distinto (por ejemplo, altavoces 30a - 30e) dirija la salida de sonido para que se base en la posición información relativa al dispositivo 20 de comunicación portátil. Un observador de la salida de vídeo y sonido tiene la experiencia de que ambos proceden de al menos aproximadamente el mismo lugar.
El control sobre la dirección del sonido se actualiza continuamente en un ejemplo para que la dirección del sonido se mueva a medida que se mueve el dispositivo 20 de comunicación portátil.
El ejemplo de la figura 8 incluye una cámara como sensor exterior 88 asociado con el dispositivo 20 de comunicación portátil. La cámara 88 se usa para observar la ubicación de un individuo que observa la salida de video y la salida de sonido. En un ejemplo, el módulo 26 de control de sonido recibe información que indica la posición actual de un individuo dentro del campo de visión de la cámara 88 y usa esa información para proporcionar una indicación de la posición del observador en relación con la posición del dispositivo 20 de comunicación portátil para control de altavoz correspondiente. La información relativa a la posición del observador individual y la información relativa a la posición del dispositivo 20 de comunicación portátil se utilizan en dicho ejemplo para dirigir el sonido desde los altavoces 30a - 30b. En el ejemplo de la Figura 8, las direcciones 240 y 246 de sonido se basan en un observador individual que permanece en una sola ubicación que corresponde al punto de intersección aproximado de las líneas 240 y 246 esquemáticas en el dibujo.
La Figura 9 muestra otro ejemplo de uso de un dispositivo 20 de comunicación portátil con un dispositivo 30 de audio distinto. En este ejemplo, un individuo usa un teléfono celular para realizar una teleconferencia, por ejemplo. Para lograr una mejor salida de audio que la disponible en el altavoz del teléfono 20 celular, se establece un enlace inalámbrico entre el teléfono 20 celular y un controlador 32 de control de altavoz asociado con una pluralidad de altavoces 30a - 30e, que proporcionan la salida de sonido. En este ejemplo, una persona (no ilustrada) y el dispositivo 20 de comunicación portátil están situados en la primera ubicación 236. Según la posición determinada del dispositivo 20 de comunicación portátil, la primera dirección 240 de sonido se utiliza para dirigir la salida de sonido desde los
altavoces 30a -30e. De esa forma, la salida de sonido parece provenir de la ubicación aproximada del dispositivo 20 de comunicación portátil.
En el ejemplo de la Figura 9, en algún momento durante la teleconferencia, la persona lleva el dispositivo 20 de comunicación portátil a otra área para que el dispositivo 20 de comunicación portátil esté en una segunda ubicación 244. Según la información de ubicación actualizada, en la dirección de la salida del sonido se muestra esquemáticamente en 246.
En este ejemplo, a medida que el dispositivo 20 de comunicación portátil se lleva desde la posición 36 a la posición 44, la información de posición se actualiza continuamente y se proporciona al controlador 32 de control de altavoz para que la dirección del sonido se actualice continuamente y parezca emanar de la ubicación aproximada del dispositivo 20 de comunicación portátil. El módulo 26 de control de sonido proporciona información actualizada al controlador de control de altavoces 32 en un ejemplo de manera continua. En un ejemplo, cada vez que el módulo 24 de determinación de posición detecta algún cambio en la posición (es decir, ubicación u orientación) del dispositivo 20 de comunicación portátil, el módulo 26 de control de sonido proporciona información actualizada al controlador 32 de control de altavoz para que cualquier ajuste necesario al se puede hacer la dirección de la salida del sonido.
La Figura 10 muestra esquemáticamente otra disposición en la que el sonido se proporciona desde un sistema de campo de onda circular basado en la posición determinada del dispositivo 20 de comunicación portátil. Los sistemas de campo de onda circular son conocidos y utilizan una técnica de síntesis de campo de onda circular o ambisónica para enfocar la fuente de sonido desde una ubicación particular. En este ejemplo, la información de posición determinada con respecto al dispositivo 20 de comunicación portátil proporciona la ubicación desde la cual se enfoca el sonido. En consecuencia, la dirección del sonido se enfoca en la posición determinada del dispositivo 20 de comunicación portátil como se muestra esquemáticamente por las líneas de dirección 240 del sonido cuando el dispositivo 20 de comunicación portátil está en la posición 236. A medida que el dispositivo se mueve a otra posición 244, la ubicación del enfoque de salida de sonido cambia en consecuencia.
La descripción anterior es de carácter ejemplar más que limitativo. Las variaciones y modificaciones de los ejemplos descritos pueden resultar evidentes para los expertos en la técnica. La invención está definida por las reivindicaciones adjuntas.
Claims (4)
1. Un método para facilitar la comunicación de una pluralidad de individuos (230, 230'), caracterizado porque el método comprende las etapas de:
determinar una posición de un dispositivo (20) de comunicación portátil que proporciona una salida (272) de video proyectada en una ubicación (274, 276) de imagen y que genera una señal de audio para su reproducción en una pluralidad de dispositivos (30, 30') de audio, la imagen ubicación y cada dispositivo de audio es distinto del dispositivo de comunicación portátil;
determinar la posición de la ubicación de la imagen basándose en la posición determinada del dispositivo de comunicación portátil;
determinar la posición respectiva de cada individuo de la pluralidad de individuos que miran el video proyectado y escuchan la señal de audio reproducida por un dispositivo de audio asociado de la pluralidad de dispositivos de audio; proporcionar control de salida de sonido para cada dispositivo de audio de la pluralidad de dispositivos de audio para dirigir la salida de sonido de cada dispositivo de audio en función de las posiciones determinadas del dispositivo de comunicación, del individuo asociado y de la ubicación de la imagen,
en el que el control de salida de sonido está configurado para hacer que la salida de sonido de cada uno de los dispositivos de audio parezca a cada individuo asociado que procede de la posición de la ubicación de la imagen.
2. El método de la reivindicación 1, en el que cada uno de los dispositivos (30, 30') de audio se puede mover durante la salida de sonido y el método comprende
determinar una posición (236, 244) de cada dispositivo (30, 30') de audio movido con respecto a la posición del dispositivo (20) de comunicación portátil; y
proporcionar el control de salida de sonido para cada dispositivo de audio movido en función de la ubicación determinada del dispositivo de audio correspondiente.
3. El método de la reivindicación 1, que comprende proporcionar una salida de sonido binaural a un oyente.
4. Un sistema para facilitar la comunicación de una pluralidad de individuos (230, 230'), caracterizado porque comprende un dispositivo (20) portátil de comunicación que comprende:
una salida (22, 272) de video que comprende un proyector para proporcionar una salida (272) de video proyectada en una ubicación (274, 276) de imagen, y una salida de audio para generar una señal de audio para reproducir en una pluralidad de dispositivos (30, 30') de audio, la ubicación de la imagen y cada dispositivo de audio son distintos del dispositivo (200) de comunicación portátil;
un módulo (24) de determinación de posición que es adecuado para proporcionar una indicación de una posición del dispositivo de comunicación portátil y de la ubicación de la imagen; y
una pluralidad de rastreadores de observadores, cada uno adecuado para determinar la posición de un individuo asociado de la pluralidad de individuos que miran la salida de video proyectada y escuchan la señal de audio reproducida por un dispositivo de audio asociado de la pluralidad de dispositivos de audio;
en el que el dispositivo de comunicación portátil comprende además un módulo (26) de control de sonido que está configurado para dirigir la salida de sonido de cada dispositivo (30) de audio en función de las posiciones determinadas del dispositivo de comunicación, del individuo asociado y de la ubicación de la imagen;
en el que el control de salida de sonido está configurado para hacer que la salida de sonido de cada uno de los dispositivos de audio parezca provenir de la posición de la ubicación de la imagen para cada individuo asociado.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/825,503 US8587631B2 (en) | 2010-06-29 | 2010-06-29 | Facilitating communications using a portable communication device and directed sound output |
| PCT/US2011/040411 WO2012005894A1 (en) | 2010-06-29 | 2011-06-15 | Facilitating communications using a portable communication device and directed sound output |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2943586T3 true ES2943586T3 (es) | 2023-06-14 |
Family
ID=44542909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES11728126T Active ES2943586T3 (es) | 2010-06-29 | 2011-06-15 | Facilitar las comunicaciones utilizando un dispositivo de comunicación portátil y salida de sonido dirigida |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US8587631B2 (es) |
| EP (1) | EP2589231B1 (es) |
| JP (1) | JP5611463B2 (es) |
| KR (1) | KR101405646B1 (es) |
| CN (1) | CN103004238B (es) |
| ES (1) | ES2943586T3 (es) |
| WO (1) | WO2012005894A1 (es) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8587631B2 (en) * | 2010-06-29 | 2013-11-19 | Alcatel Lucent | Facilitating communications using a portable communication device and directed sound output |
| JP5742163B2 (ja) * | 2010-10-15 | 2015-07-01 | ヤマハ株式会社 | 情報処理端末および設定制御システム |
| US9596555B2 (en) | 2012-09-27 | 2017-03-14 | Intel Corporation | Camera driven audio spatialization |
| US9232072B2 (en) * | 2013-03-13 | 2016-01-05 | Google Inc. | Participant controlled spatial AEC |
| WO2014151813A1 (en) * | 2013-03-15 | 2014-09-25 | Dolby Laboratories Licensing Corporation | Normalization of soundfield orientations based on auditory scene analysis |
| WO2016077317A1 (en) * | 2014-11-11 | 2016-05-19 | Google Inc. | Virtual sound systems and methods |
| US9712940B2 (en) * | 2014-12-15 | 2017-07-18 | Intel Corporation | Automatic audio adjustment balance |
| US9767618B2 (en) * | 2015-01-28 | 2017-09-19 | Samsung Electronics Co., Ltd. | Adaptive ambisonic binaural rendering |
| US9794692B2 (en) * | 2015-04-30 | 2017-10-17 | International Business Machines Corporation | Multi-channel speaker output orientation detection |
| CN105263075B (zh) * | 2015-10-12 | 2018-12-25 | 深圳东方酷音信息技术有限公司 | 一种带方位传感器耳机及其3d声场还原方法 |
| US9734686B2 (en) * | 2015-11-06 | 2017-08-15 | Blackberry Limited | System and method for enhancing a proximity warning sound |
| EP3716653B1 (en) | 2015-11-17 | 2023-06-07 | Dolby International AB | Headtracking for parametric binaural output system |
| EP3188504B1 (en) | 2016-01-04 | 2020-07-29 | Harman Becker Automotive Systems GmbH | Multi-media reproduction for a multiplicity of recipients |
| CN106101604A (zh) * | 2016-07-05 | 2016-11-09 | 孔尧 | 多媒体传输方法、装置及多媒体盒子 |
| US10028071B2 (en) * | 2016-09-23 | 2018-07-17 | Apple Inc. | Binaural sound reproduction system having dynamically adjusted audio output |
| KR102277438B1 (ko) | 2016-10-21 | 2021-07-14 | 삼성전자주식회사 | 단말 장치들 간의 멀티미디어 통신에 있어서, 오디오 신호를 송신하고 수신된 오디오 신호를 출력하는 방법 및 이를 수행하는 단말 장치 |
| US9998847B2 (en) * | 2016-11-17 | 2018-06-12 | Glen A. Norris | Localizing binaural sound to objects |
| US10362270B2 (en) | 2016-12-12 | 2019-07-23 | Dolby Laboratories Licensing Corporation | Multimodal spatial registration of devices for congruent multimedia communications |
| US10659906B2 (en) | 2017-01-13 | 2020-05-19 | Qualcomm Incorporated | Audio parallax for virtual reality, augmented reality, and mixed reality |
| US10390166B2 (en) * | 2017-05-31 | 2019-08-20 | Qualcomm Incorporated | System and method for mixing and adjusting multi-input ambisonics |
| US10595122B2 (en) * | 2017-06-15 | 2020-03-17 | Htc Corporation | Audio processing device, audio processing method, and computer program product |
| CN107249166A (zh) * | 2017-06-19 | 2017-10-13 | 依偎科技（南昌）有限公司 | 一种完全沉浸式的耳机立体声实现方法及*** |
| US10609485B2 (en) * | 2017-09-29 | 2020-03-31 | Apple Inc. | System and method for performing panning for an arbitrary loudspeaker setup |
| US10469968B2 (en) * | 2017-10-12 | 2019-11-05 | Qualcomm Incorporated | Rendering for computer-mediated reality systems |
| US10356362B1 (en) * | 2018-01-16 | 2019-07-16 | Google Llc | Controlling focus of audio signals on speaker during videoconference |
| KR102036010B1 (ko) * | 2018-05-15 | 2019-10-25 | 박승민 | 바이노럴 사운드를 이용한 감성 통화 방법 및 이를 위한 장치 |
| US11463795B2 (en) * | 2019-12-10 | 2022-10-04 | Meta Platforms Technologies, Llc | Wearable device with at-ear calibration |
| CN113852780B (zh) * | 2021-09-18 | 2023-03-21 | 联想(北京)有限公司 | 一种音频数据处理方法及电子设备 |
| CN114257920B (zh) * | 2022-02-25 | 2022-07-29 | 北京荣耀终端有限公司 | 一种音频播放方法、***和电子设备 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4745550A (en) * | 1985-08-16 | 1988-05-17 | Schlumberger Technology Corporation | Processing of oriented patterns |
| US5148493A (en) * | 1988-09-19 | 1992-09-15 | Bruney Paul F | Loudspeaker structure |
| JP2982627B2 (ja) * | 1993-07-30 | 1999-11-29 | 日本ビクター株式会社 | サラウンド信号処理装置及び映像音声再生装置 |
| US5521981A (en) * | 1994-01-06 | 1996-05-28 | Gehring; Louis S. | Sound positioner |
| JP3796776B2 (ja) * | 1995-09-28 | 2006-07-12 | ソニー株式会社 | 映像音声再生装置 |
| US6700985B1 (en) * | 1998-06-30 | 2004-03-02 | Gn Resound North America Corporation | Ear level noise rejection voice pickup method and apparatus |
| US6453168B1 (en) * | 1999-08-02 | 2002-09-17 | Itt Manufacturing Enterprises, Inc | Method and apparatus for determining the position of a mobile communication device using low accuracy clocks |
| AU2002244269A1 (en) * | 2001-03-07 | 2002-09-24 | Harman International Industries, Inc. | Sound direction system |
| US7095455B2 (en) | 2001-03-21 | 2006-08-22 | Harman International Industries, Inc. | Method for automatically adjusting the sound and visual parameters of a home theatre system |
| US20030069710A1 (en) * | 2001-09-24 | 2003-04-10 | Earl Geddes | Method for quantifying the polar response of transducers |
| US6642893B1 (en) * | 2002-05-09 | 2003-11-04 | Centurion Wireless Technologies, Inc. | Multi-band antenna system including a retractable antenna and a meander antenna |
| WO2005025250A1 (en) * | 2003-09-11 | 2005-03-17 | Sony Ericsson Mobile Communications Ab | Multiparty call of portable devices with party positioning identification |
| JP4629388B2 (ja) * | 2004-08-27 | 2011-02-09 | ソニー株式会社 | 音響生成方法、音響生成装置、音響再生方法及び音響再生装置 |
| JP2006165845A (ja) | 2004-12-06 | 2006-06-22 | Alpine Electronics Inc | 映像音響装置 |
| JP2006295313A (ja) * | 2005-04-06 | 2006-10-26 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
| US20090316529A1 (en) * | 2005-05-12 | 2009-12-24 | Nokia Corporation | Positioning of a Portable Electronic Device |
| WO2008091401A2 (en) * | 2006-09-15 | 2008-07-31 | Retica Systems, Inc | Multimodal ocular biometric system and methods |
| US8406601B2 (en) * | 2007-12-28 | 2013-03-26 | Nxp B.V. | Method and system for reproducing audio/video content and portable device |
| US7738238B2 (en) * | 2008-10-03 | 2010-06-15 | Keng-Yuan Liu | Portable audio/video playing device disposing structure |
| JP4849121B2 (ja) * | 2008-12-16 | 2012-01-11 | ソニー株式会社 | 情報処理システムおよび情報処理方法 |
| US8693977B2 (en) * | 2009-08-13 | 2014-04-08 | Novell, Inc. | Techniques for personal security via mobile devices |
| US8416062B2 (en) * | 2009-11-30 | 2013-04-09 | Symbol Technologies, Inc. | Method and apparatus for improving RFID tag reading |
| US8923995B2 (en) * | 2009-12-22 | 2014-12-30 | Apple Inc. | Directional audio interface for portable media device |
| US8587631B2 (en) * | 2010-06-29 | 2013-11-19 | Alcatel Lucent | Facilitating communications using a portable communication device and directed sound output |
-
2010
- 2010-06-29 US US12/825,503 patent/US8587631B2/en active Active
-
2011
- 2011-06-15 KR KR1020127034152A patent/KR101405646B1/ko active IP Right Grant
- 2011-06-15 JP JP2013518436A patent/JP5611463B2/ja active Active
- 2011-06-15 ES ES11728126T patent/ES2943586T3/es active Active
- 2011-06-15 CN CN201180032864.6A patent/CN103004238B/zh active Active
- 2011-06-15 WO PCT/US2011/040411 patent/WO2012005894A1/en active Application Filing
- 2011-06-15 EP EP11728126.1A patent/EP2589231B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP5611463B2 (ja) | 2014-10-22 |
| KR20130045281A (ko) | 2013-05-03 |
| WO2012005894A1 (en) | 2012-01-12 |
| CN103004238B (zh) | 2016-09-28 |
| KR101405646B1 (ko) | 2014-06-10 |
| JP2013535861A (ja) | 2013-09-12 |
| EP2589231B1 (en) | 2023-04-19 |
| EP2589231A1 (en) | 2013-05-08 |
| US20110316967A1 (en) | 2011-12-29 |
| CN103004238A (zh) | 2013-03-27 |
| US8587631B2 (en) | 2013-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2943586T3 (es) | Facilitar las comunicaciones utilizando un dispositivo de comunicación portátil y salida de sonido dirigida | |
| ES2606678T3 (es) | Presentación de sonido reflejado para audio con base de objeto | |
| ES2592217T3 (es) | Un aparato y método para convertir una primera señal de audio paramétrico espacial en una segunda señal de audio paramétrico espacial | |
| US9838825B2 (en) | Audio signal processing device and method for reproducing a binaural signal | |
| ES2922639T3 (es) | Método y dispositivo para la reproducción mejorada de campo sonoro de señales de entrada de audio codificadas espacialmente | |
| US11089425B2 (en) | Audio playback method and audio playback apparatus in six degrees of freedom environment | |
| JP2023158059A (ja) | 双方向オーディオ環境のための空間オーディオ | |
| US8437485B2 (en) | Method and device for improved sound field rendering accuracy within a preferred listening area | |
| US9014404B2 (en) | Directional electroacoustical transducing | |
| CN104604257B (zh) | 用于在各种收听环境中渲染并且回放基于对象的音频的*** | |
| US8855340B2 (en) | Apparatus for reproducting wave field using loudspeaker array and the method thereof | |
| US11778411B2 (en) | Near-field audio rendering | |
| JP2008506140A (ja) | 水平透視ディスプレイ | |
| JP2008512898A (ja) | 録音音響による擬似三次元音響空間生成方法及び装置 | |
| MXPA05004091A (es) | Captura y reproduccion de sonido dinamico biauricular. | |
| US20200260209A1 (en) | Devices and methods for binaural spatial processing and projection of audio signals | |
| CN115244952A (zh) | 用于使能再现空间音频信号的装置、方法及计算机程序 | |
| JP2008160265A (ja) | 音響再生システム | |
| CN113632505A (zh) | 装置、方法、声音*** | |
| JP2006005701A (ja) | マルチチャンネルオーディオシステム | |
| CN112740326A (zh) | 用于控制带限音频对象的装置、方法和计算机程序 | |
| US6983054B2 (en) | Means for compensating rear sound effect | |
| WO2022181678A1 (ja) | 音響システム | |
| KR20160073879A (ko) | 3차원 오디오 효과를 이용한 실시간 내비게이션 시스템 | |
| Sousa | The development of a'Virtual Studio'for monitoring Ambisonic based multichannel loudspeaker arrays through headphones |