RU2721571C1 - Method of receiving, displaying and reproducing data and information - Google Patents

Abstract

FIELD: data processing; acoustics.

SUBSTANCE: invention relates to a method which significantly improves perception of a volume picture of sound (music) for a user through headphones. Method of forming a subjective three-dimensional spatial audio picture for a user through headphones is that: scanning and/or taking a photo with the help of an electronic device from different aspects of the user's auricles; method includes creating, using an electronic device, 3D model of the user's auricles based on the obtained data and information with the possibility of storing the electronic device in memory and using it further at the user's request; conversion of amplitude-frequency characteristics and phase-frequency characteristics of data and information by an electronic device based on obtained 3D model of the user's ears for making necessary changes to the sound reproduced in the headphones.

EFFECT: technical result of claimed invention is improved spatial (volume) picture of sound and perception by user when listening to sound or music in headphones due to introduction of changes (conversions) into audio signal.

1 cl, 2 dwg

Description

Изобретение относится к способу, улучшающему восприятие объемной картины звука (музыки) для пользователя через наушники.The invention relates to a method that improves the perception of a three-dimensional picture of sound (music) for the user through headphones.

Известно, что человек хорошо умеет различать пространственную картину звуков, музыки и видео вокруг него. В этом существенную роль играет непростая форма внешнего уха, которая вносит определенные «искажения» в фазово-частотный портрет звуковых волн, которые отражаются от внешнего уха и поступают в среднее ухо, на барабанную перепонку и другие части слухового аппарата человека для регистрации и преобразования в нервные импульсы.It is known that a person is well able to distinguish the spatial picture of sounds, music and video around him. A significant role is played by the complicated form of the external ear, which introduces certain “distortions” into the phase-frequency portrait of sound waves that are reflected from the external ear and enter the middle ear, eardrum and other parts of the human hearing system for registration and conversion into nerve impulses.

Прослушивая музыку, звуки или просматривая видео человек лишается данной привычной для него «коррекции» всей информации и это практически уничтожает пространственную картину звучания, музыки или видео и создается эффект, что любая информация возникает «внутри головы».Listening to music, sounds or watching a video, a person loses the given “correction” of all the information that is familiar to him and this practically destroys the spatial picture of sound, music or video and the effect is created that any information arises “inside the head”.

Из уровня техники известны способы исследования пространственного слуха человека с использованием головных телефонов (наушников), основанный на явлении латерализации, при котором субъективный звуковой образ локализуется внутри головы слушателя [1-5]. За длительное время его экспериментального применения было получено значительное число данных, касающихся основных механизмов обработки слуховой системой человека бинауральных (поступающих на два уха) акустических сигналов.The prior art methods for studying spatial hearing of a person using head phones (headphones), based on the phenomenon of lateralization, in which the subjective sound image is localized inside the head of the listener [1-5]. Over the long period of its experimental application, a significant amount of data has been obtained regarding the basic mechanisms of processing of binaural (incoming to two ears) acoustic signals by the human auditory system.

Однако неестественное положение формируемого в этих условиях субъективного звукового образа - образ локализуется внутри головы слушателя -накладывает существенные ограничения на его применение как для исследования механизмов пространственной ориентации человека, так и для практического использования.However, the unnatural position of the subjective sound image formed under these conditions - the image is localized inside the listener's head - imposes significant restrictions on its use both for studying the mechanisms of the spatial orientation of a person and for practical use.

Из уровня техники известен способ формирования субъективного или так называемого "виртуального" акустического пространства, когда в условиях дихотической стимуляции (стимуляция через наушники) создаются экстернализованные звуковые образы, соответствующие сигналам, продуцируемым источниками звука с локализацией во внешнем (вне головы и вне наушников) пространстве [6, 7]. Методической основой этого способа формирования "виртуальных" звуковых образов является измерение с помощью акустических зондов в ушных проходах (правое и левое ухо) человека или специального манекена [6, 7, 9] передаточных функций наружного уха с учетом движений головы, торса и т.д. Полученные зависимости "накладываются" с помощью ЭВМ на измеренную передаточную функцию наушников для воспроизведения в процессе звуковой стимуляции той волновой картины, которая была зафиксирована в слуховом проходе при звучании реального источника звука. Такой подход к формированию "виртуального" акустического пространства получил экспериментальное подтверждение в ряде психофизических исследований и составил основу для создания специального акустического дисплея, предполагающего возможность практического применения пространственной звуковой стимуляции в условиях операторской деятельности человека (например, при пилотировании самолета) [10, 11].A method is known from the prior art for the formation of a subjective or so-called “virtual” acoustic space when externalized sound images are created under conditions of dichotic stimulation (stimulation via headphones) corresponding to signals produced by sound sources localized in the external (outside the head and outside the headphones) space [ 6, 7]. The methodological basis of this method of forming “virtual” sound images is the measurement using acoustic probes in the ear canals (right and left ear) of a person or a special dummy [6, 7, 9] of the transfer functions of the outer ear, taking into account movements of the head, torso, etc. . The obtained dependences are "superimposed" with the help of a computer on the measured transfer function of the headphones to reproduce in the process of sound stimulation of the wave pattern that was recorded in the ear canal when a real sound source was heard. Such an approach to the formation of a “virtual” acoustic space was experimentally confirmed in a number of psychophysical studies and formed the basis for creating a special acoustic display, suggesting the possibility of practical application of spatial sound stimulation in conditions of human operator activity (for example, when piloting an airplane) [10, 11].

Однако вышеописанный способ обладает существенным ограничением, связанным с необходимостью проведения акустических измерений при изменении положения источника звука в пространстве. Это ограничение затрудняет моделирование динамических параметров локализации (например, при движении источника звука) информирование пространства, включающего несколько различных источников звука. Кроме того, характер проводимых измерений предполагает необходимость использования специальной анехоидной (безэховой) камеры большого размера, сложной конструкции для размещения большого количества (порядка нескольких десятков и даже сотен) динамиков, а также высококлассной акустической аппаратуры, например акустических зондов, позволяющих проводить точные и надежные измерения внутри слухового прохода уха человека.However, the above method has a significant limitation associated with the need for acoustic measurements when changing the position of the sound source in space. This limitation makes it difficult to model dynamic localization parameters (for example, when moving a sound source) informing a space that includes several different sound sources. In addition, the nature of the measurements requires the use of a special anechoid (anechoic) camera of large size, complex design to accommodate a large number (of the order of several tens and even hundreds) of speakers, as well as high-quality acoustic equipment, such as acoustic probes, allowing accurate and reliable measurements inside the ear canal of a person’s ear.

Записи данных и информации пользователем на электронное устройство, например, музыкальные стереофонические записи или видео рассчитаны на прослушивание или просмотр. Записи звуковых дорожек рассчитаны на многоканальное воспроизведение. При этом использование внешней для человека акустики или видео позволяет сформировать ощущение пространственной локализации источников звука, распределенных по всей сцене. При воспроизведении тех же записей через наушники звуковая сцена выстраивается строго по линии, проходящей через голову слушателя. При это большая часть композиции звучит «внутри головы». К такому эффекту можно привыкнуть, но он заставляет даже самые хорошие наушники субъективно звучать не так «вкусно», как внешняя акустика даже гораздо более скромного класса.Recordings of data and information by the user to an electronic device, for example, stereo music recordings or videos, are designed to be listened to or viewed. Soundtrack recordings are designed for multi-channel playback. At the same time, the use of acoustics or video external to a person allows you to create a sense of spatial localization of sound sources distributed throughout the scene. When playing the same recordings through the headphones, the sound stage is built strictly along the line passing through the listener's head. In this case, most of the composition sounds "inside the head." You can get used to this effect, but it makes even the best headphones subjectively sound not so “tasty” as the external acoustics of even a much more modest class.

Техническим результатом заявленного изобретения является улучшение пространственной (объемной) картины звучания и восприятия пользователем при прослушивании звука или музыки в наушниках за счет внесения изменений (преобразований) в звуковой сигнал.The technical result of the claimed invention is to improve the spatial (volumetric) picture of sound and perception by the user when listening to sound or music in headphones by making changes (transformations) to the audio signal.

Технический результат достигается тем, что способ формирования субъективной трехмерной пространственной звуковой картины для пользователя через наушники заключается в том, что:The technical result is achieved by the fact that the method of forming a subjective three-dimensional spatial sound picture for the user through the headphones is that:

- производится сканирование и/или делается фото с помощью электронного устройства с разных ракурсов ушных раковин пользователя;- scanning is performed and / or a photo is taken using an electronic device from different angles of the user's ears;

- создается с помощью электронного устройства 3D модель ушных раковин пользователя на основе полученных данных и информации с возможностью сохранения в памяти электронного устройства и использования в дальнейшем по запросу пользователя;- a 3D model of the user's ears is created using an electronic device based on the received data and information with the possibility of being stored in the memory of the electronic device and used in future at the request of the user;

- производится преобразование амплитудно-частотных характеристик и фазово-частотных характеристик данных и информации электронным устройством на основе полученной 3D модели ушных раковин пользователя для внесения необходимых для пользователя изменений в воспроизводимый в наушниках звук.- the amplitude-frequency characteristics and phase-frequency characteristics of the data and information are converted by an electronic device based on the obtained 3D model of the user's ears to make the necessary changes for the user in the sound reproduced in the headphones.

Электронным устройством является, например, мобильный телефон, ноутбук или компьютер.An electronic device is, for example, a mobile phone, laptop or computer.

Признаки и сущность заявленного изобретения поясняются в последующем детальном описании, иллюстрируемом чертежами (см. фигуры 1-2), где показано следующее.The features and essence of the claimed invention are explained in the following detailed description, illustrated by drawings (see figures 1-2), which shows the following.

На фиг. 1 - пример схемы съемки ушных раковин пользователем с помощью мобильного телефона.In FIG. 1 is an example of a survey scheme for ear extraction by a user using a mobile phone.

На фиг. 2 - алгоритм реализации заявленного способа, состоящий из следующих этапов:In FIG. 2 is an algorithm for implementing the inventive method, consisting of the following steps:

1 - производится сканирование или делается фото с помощью электронного устройства с разных ракурсов ушных раковин пользователя;1 - scanning is performed or a photo is taken using an electronic device from different angles of the user's ears;

2 - создается с помощью электронного устройства 3D модель ушных раковин пользователя на основе полученных данных и информации с возможностью сохранения в памяти электронного устройства и использования в дальнейшем по запросу пользователя;2 - a 3D model of the user's ears is created using an electronic device on the basis of the obtained data and information with the possibility of being stored in the memory of the electronic device and used later on at the user's request;

3 - производится преобразование амплитудно-частотных характеристик (АЧХ) и фазово-частотных характеристик (ФЧХ) данных и информации электронным устройством на основе полученной ЗО-модели ушных раковин пользователя для внесения необходимых для пользователя изменений в воспроизводимый в наушниках звук.3 - the amplitude-frequency characteristics (AFC) and phase-frequency characteristics (PFC) of the data and information are converted by an electronic device based on the obtained ZO-model of the user's ears to make the changes necessary for the user in the sound reproduced in the headphones.

Пользователь сканирует 3D-камерой своего мобильного телефона или производит множественное фото с разных ракурсов свои ушные раковины (см. фиг. 1, этап 1 - фиг. 2). На основе полученных данных и информации строится 3D-модель ушных раковин пользователя для использования и их преобразования (см. фиг 2 - этап 2). На основе преобразованной информации и данных определяется необходимое преобразование амплитудно-частотных характеристик (АЧХ) и фазово-частотных характеристик (ФЧХ) данных и информации на основе 3D моделей ушных раковин пользователя для внесения изменений в воспроизводимый в наушниках звук или музыку (см. фиг. 2 - этап 3). Все данные и информация сохраняются в памяти электронного устройства пользователя, например, мобильного телефона, ноутбука или компьютера, для применения и использования в дальнейшем по любому требованию пользователя.The user scans the 3D camera of his mobile phone or produces multiple photos from different angles of his ears (see Fig. 1, step 1 - Fig. 2). Based on the obtained data and information, a 3D model of the user's ears is constructed for use and their conversion (see Fig. 2 - stage 2). Based on the converted information and data, the necessary conversion of the amplitude-frequency characteristics (AFC) and phase-frequency characteristics (PFC) of the data and information is determined based on 3D models of the user's ears to make changes to the sound or music reproduced in the headphones (see Fig. 2 - stage 3). All data and information is stored in the memory of the user's electronic device, for example, a mobile phone, laptop or computer, for later use and use at any request of the user.

При воспроизведении звука или музыки на мобильном телефоне, ноутбуке или компьютере пользователя используется алгоритм обработки и преобразования звука или музыки перед выдачей в наушники пользователю.When playing sound or music on a mobile phone, laptop or computer, the user uses an algorithm for processing and converting sound or music before issuing it to the headphones to the user.

Для реализации заявленного изобретения в настоящий момент имеются все необходимые технические возможности и средства, например:To implement the claimed invention at the moment there are all the necessary technical capabilities and tools, for example:

- наушники - для воспроизведения звука или музыки для пользователя;- headphones - to play sound or music for the user;

- цифровые преобразователи звука или музыки - программные и аппаратные средства и электронные устройства (например, мобильный телефон, ноутбук, компьютер) для соответствующего преобразования и выдачи качественного звука или музыки пользователю через наушники- digital sound or music converters - software and hardware and electronic devices (for example, a mobile phone, laptop, computer) for the corresponding conversion and delivery of high-quality sound or music to the user through headphones

- фотокамеры и видеокамеры электронных устройств с возможностью воспроизведения любой информации и данных, а также съемки, например, в 3D формате - для сканирования трехмерного строения ушной раковины пользователя.- cameras and video cameras of electronic devices with the ability to play any information and data, as well as shooting, for example, in 3D format - to scan the three-dimensional structure of the user's auricle.

Изобретение позволяет при прослушивании стереофонических или многоканальных записей получить ту же субъективную пространственную звуковую картину, что и при воспроизведении этих записей через внешнюю акустику. Это достигается за счет внесения в звуковой сигнал для наушников преобразований, повторяющих преобразования, свойственные человеческому уху.The invention makes it possible to obtain the same subjective spatial sound picture when listening to stereo or multichannel recordings as when playing these recordings through external speakers. This is achieved by introducing into the audio signal for headphones transformations that repeat the transformations characteristic of the human ear.

Так как у всех людей форма ушных раковин различна, то различны и осуществляемые ими преобразования. Мозг каждого обучается вычислять пространственную картину звука, исходя из индивидуальной формы внешнего уха. Из этого следует, что требуемое преобразование индивидуально для каждого человека.Since the shape of the auricles is different for all people, the transformations they carry out are different. Each brain is trained to calculate the spatial picture of sound based on the individual shape of the outer ear. It follows from this that the required transformation is individual for each person.

Наиболее точный метод вычисления требуемого преобразования основан на помещении в глубь уха микрофона и измерение поступающего на него звукового сигнала от внешней акустической колонки. Процедура повторяется отдельно для правого и левого уха (но можно обойтись измерениями только для одного уха и получить вторую группу значений, исходя из симметрии ушных раковин). Для каждого уха измерения производятся столько раз сколько динамиков предполагается эмулировать при воспроизведении. Внешние динамики при измерении размещаются на произвольном расстоянии. При этом направление размещения динамиков должно соответствовать направлению, в котором размещается «виртуальная» колонка.The most accurate method for calculating the required conversion is based on placing the microphone deep into the ear and measuring the sound signal coming into it from an external speaker. The procedure is repeated separately for the right and left ear (but you can get by with measurements for only one ear and get a second group of values based on the symmetry of the auricles). For each ear, measurements are made as many times as the speakers are supposed to be emulated during playback. External speakers during measurement are placed at an arbitrary distance. In this case, the direction of placement of the speakers should correspond to the direction in which the "virtual" column is placed.

Тестовый сигнал подбирается таким образом, чтобы он позволял замерить изменение фазо-частотных свойств звукового сигнала, вносимых ухом во всем частотном диапазоне. Каждое измерение получается жестко привязано к требуемому направлению положения источника.The test signal is selected so that it allows you to measure the change in phase-frequency properties of the sound signal introduced by the ear in the entire frequency range. Each measurement is obtained rigidly attached to the desired direction of the source position.

Имя, передаточные функции для разных направлений, при воспроизведении сигнала через наушники звук обрабатывается таким образом, чтобы соответствовать картине звучания через внешнюю акустику. Наилучший результат получается для наушников «вкладок», когда внешнее ухо совсем не участвует в обработке и сигнал подается непосредственно в слуховой проход. Но хороший результат возможен и при применении «накладных» наушников.The name, transfer functions for different directions, when playing a signal through headphones, the sound is processed in such a way as to match the picture of sound through external acoustics. The best result is obtained for headphones with “tabs”, when the external ear is not involved in the processing at all and the signal is sent directly to the ear canal. But a good result is possible with the use of "overhead" headphones.

При воспроизведении надо учитывать, что для усиления стереоэффекта часто при записи звука сигнал определенных источников, например инструментов, помещают только в один канал. При прослушивании через внешнюю акустику противоположное ухо все равно слышит такой сигнал из дальней для него колонки. Для получения естественного и привычного звучания требуется воспроизведение этого эффекта. В описываемой системе оно достигается естественным образом за счет того, что при формировании звука для каждого из ушей участвуют все «виртуальные» колонки.When playing, it must be borne in mind that to enhance the stereo effect, often when recording sound, the signal of certain sources, such as instruments, is placed in only one channel. When listening through external acoustics, the opposite ear still hears such a signal from a speaker far from it. To get a natural and familiar sound, you need to play this effect. In the described system, it is achieved naturally due to the fact that during the formation of sound for each of the ears all “virtual” speakers participate.

Проведенный анализ уровня техники позволил установить: аналоги с совокупностью существенных признаков, тождественных существенным признакам заявленного способа, отсутствуют, что указывает на соответствие заявленного технического решения условию патентоспособности «новизна».The analysis of the prior art allowed to establish: analogues with a set of essential features that are identical to the essential features of the claimed method are absent, which indicates the conformity of the claimed technical solution to the condition of patentability "novelty".

Результаты поиска известных решений с целью выявления существенных признаков, совпадающих с отличительными от аналогов существенными признаками заявленного способа, показали, что они не следуют явным образом из уровня техники, а также не установлена известность влияния отличительных существенных признаков на указанные авторами технический результат.The search results for known solutions in order to identify significant features that match the essential features of the claimed method that are distinctive from analogues have shown that they do not follow explicitly from the prior art, and the effect of the distinctive essential features on the technical result indicated by the authors has not been established.

Следовательно, заявленное изобретение соответствует условию патентоспособности «изобретательский уровень».Therefore, the claimed invention meets the condition of patentability "inventive step".

Несмотря на то, что заявленное изобретение показано и описано со ссылкой на его определенные предпочтительные варианты осуществления, специалистам в данной области техники будет понятно, что различные изменения по форме и содержанию могут быть сделаны в нем без отклонения от сущности и объема заявленного изобретения, которые определены прилагаемой формулой изобретения с учетом описания.Although the claimed invention is shown and described with reference to certain preferred embodiments thereof, it will be understood by those skilled in the art that various changes in form and content can be made therein without departing from the spirit and scope of the claimed invention as defined the attached claims in view of the description.

Источники информации, принятые во вниманиеSources of information taken into account

1. Toole F.E. In-head localization of acoustic images // J. Acoust. Soc. Amer., 1970. V. 48. P. 943-949.1. Toole F.E. In-head localization of acoustic images // J. Acoust. Soc. Amer., 1970. V. 48. P. 943-949.

2. Блауэрт Й. Пространственный слух. - M.: Энергия, 1979, 224 с.2. Blauert J. Spatial hearing. - M .: Energy, 1979, 224 p.

3. Yost W.A., Hafter E.R. Lateralization. In: Directional Hearing, N.-Y.: Springer-Verlag, 1987. P. 49-84.3. Yost W.A., Hafter E.R. Lateralization. In: Directional Hearing, N.-Y .: Springer-Verlag, 1987. P. 49-84.

4. Альтман Я.А. Слуховая система. - M.: Наука. 1990. С. 366-441.4. Altman Ya.A. Auditory system. - M .: Science. 1990.S. 366-441.

5. Grantman D.W. Spatial Hearing and Related Phenomena. In: Hearing, 1995. A.C.-Press, P. 297-345.5. Grantman D.W. Spatial Hearing and Related Phenomena. In: Hearing, 1995. A.C.-Press, P. 297-345.

6. Wightman F.L., Kistler D.J. Headphone simulation of free-field listening I: Stimulus synthesis //J. Acoust. Soc. Amer., 1989. V. 85. P. 858-867.6. Wightman F.L., Kistler D.J. Headphone simulation of free-field listening I: Stimulus synthesis // J. Acoust Soc. Amer., 1989. V. 85. P. 858-867.

7. Wightman F.L., Kistler D.J. Headphone simulation of free-field listening II: Psychophysical validation // J. Acoust. Soc. Amer., 1989. V. 85. P. 868-878.7. Wightman F.L., Kistler D.J. Headphone simulation of free-field listening II: Psychophysical validation // J. Acoust. Soc. Amer., 1989. V. 85. P. 868-878.

8. Wenzel E.M. et al. Localization using nonindividualized head-related transfer functions // J. Acoust. Soc. Amer., 1993. V. 94. N 1. P. 111-123.8. Wenzel E.M. et al. Localization using nonindividualized head-related transfer functions // J. Acoust. Soc. Amer., 1993. V. 94. N 1. P. 111-123.

9. Burkhard M.D., Sachs R.M. Anthropometric manikin for acoustic research // J. Acoust. Soc. Amer., 1975. V. 58. P. 214-222.9. Burkhard M.D., Sachs R.M. Anthropometric manikin for acoustic research // J. Acoust. Soc. Amer., 1975.V. 58. P. 214-222.

10. Wenzel E.M. Localization in virtual acoustic displays // Presence, 1992. V. 1. N 1. P. 80-107.10. Wenzel E.M. Localization in virtual acoustic displays // Presence, 1992. V. 1. N 1. P. 80-107.

11. McKinley R.L. et al. 3-Dimensional auditory displays: development, applications, and performance // Aviat. Space Environ. Med., 1994. 64 (5, Suppi). P. 31-38.11. McKinley R.L. et al. 3-Dimensional auditory displays: development, applications, and performance // Aviat. Space Environ. Med., 1994.64 (5, Suppi). P. 31-38.

Claims (5)

1. Способ формирования субъективной трехмерной пространственной звуковой картины для пользователя через наушники, заключающийся в том, что:1. The method of forming a subjective three-dimensional spatial sound picture for the user through the headphones, which consists in the fact that: - производится сканирование и/или делается фото с помощью электронного устройства с разных ракурсов ушных раковин пользователя;- scanning is performed and / or a photo is taken using an electronic device from different angles of the user's ears; - создается с помощью электронного устройства 3D модель ушных раковин пользователя на основе полученных данных и информации с возможностью сохранения в памяти электронного устройства и использования в дальнейшем по запросу пользователя;- a 3D model of the user's ears is created using an electronic device based on the received data and information with the possibility of being stored in the memory of the electronic device and used in future at the request of the user; - производится преобразование амплитудно-частотных характеристик и фазово-частотных характеристик данных и информации электронным устройством на основе полученной 3D модели ушных раковин пользователя для внесения необходимых для пользователя изменений в воспроизводимый в наушниках звук.- the amplitude-frequency characteristics and phase-frequency characteristics of the data and information are converted by an electronic device based on the obtained 3D model of the user's ears to make the necessary changes for the user in the sound reproduced in the headphones. 2. Способ по п. 1, в котором электронным устройством является, например, мобильный телефон, ноутбук или компьютер.2. The method of claim 1, wherein the electronic device is, for example, a mobile phone, laptop, or computer.

Images