RU2376722C2 - Способ многосенсорного улучшения речи на мобильном ручном устройстве и мобильное ручное устройство - Google Patents

Способ многосенсорного улучшения речи на мобильном ручном устройстве и мобильное ручное устройство Download PDF

Info

Publication number
RU2376722C2
RU2376722C2 RU2005104970/02A RU2005104970A RU2376722C2 RU 2376722 C2 RU2376722 C2 RU 2376722C2 RU 2005104970/02 A RU2005104970/02 A RU 2005104970/02A RU 2005104970 A RU2005104970 A RU 2005104970A RU 2376722 C2 RU2376722 C2 RU 2376722C2
Authority
RU
Russia
Prior art keywords
signal
speech
alternative sensor
sensor
microphone
Prior art date
Application number
RU2005104970/02A
Other languages
English (en)
Other versions
RU2005104970A (ru
Inventor
Майкл Дж. СИНКЛЕР (US)
Майкл Дж. СИНКЛЕР
Ксуедонг Дэвид ХУАНГ (US)
Ксуедонг Дэвид ХУАНГ
Женжиоу ЖАНГ (US)
Женжиоу ЖАНГ
Original Assignee
Майкрософт Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Майкрософт Корпорейшн filed Critical Майкрософт Корпорейшн
Publication of RU2005104970A publication Critical patent/RU2005104970A/ru
Application granted granted Critical
Publication of RU2376722C2 publication Critical patent/RU2376722C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23N—MACHINES OR APPARATUS FOR TREATING HARVESTED FRUIT, VEGETABLES OR FLOWER BULBS IN BULK, NOT OTHERWISE PROVIDED FOR; PEELING VEGETABLES OR FRUIT IN BULK; APPARATUS FOR PREPARING ANIMAL FEEDING- STUFFS
    • A23N12/00—Machines for cleaning, blanching, drying or roasting fruits or vegetables, e.g. coffee, cocoa, nuts
    • A23N12/02—Machines for cleaning, blanching, drying or roasting fruits or vegetables, e.g. coffee, cocoa, nuts for washing or blanching
    • A23N12/023—Machines for cleaning, blanching, drying or roasting fruits or vegetables, e.g. coffee, cocoa, nuts for washing or blanching for washing potatoes, apples or similarly shaped vegetables or fruit
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/0002—Washing processes, i.e. machine working principles characterised by phases or operational steps
    • A47L15/0015—Washing processes, i.e. machine working principles characterised by phases or operational steps other treatment phases, e.g. steam or sterilizing phase
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/02—Washing or rinsing machines for crockery or tableware with circulation and agitation of the cleaning liquid in the cleaning chamber containing a stationary basket
    • A47L15/13—Washing or rinsing machines for crockery or tableware with circulation and agitation of the cleaning liquid in the cleaning chamber containing a stationary basket using sonic or ultrasonic waves
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6008—Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/605—Portable telephones adapted for handsfree use involving control of the receiver volume to provide a dual operational mode at close or far distance from the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6016—Substation equipment, e.g. for use by subscribers including speech amplifiers in the receiver circuit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13—Hearing devices using bone conduction transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Otolaryngology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Food Science & Technology (AREA)
  • Polymers & Plastics (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

Изобретение относится к удалению шума из сигналов речи, принятых мобильными ручными устройствами. Мобильное ручное устройство с многосенсорным улучшением речи содержит микрофон с воздушной проводимостью, который преобразует акустические волны в электрический сигнал микрофона, указывающий фрейм речи, по меньшей мере один альтернативный датчик, использующий костную проводимость и выдающий электрический сигнал альтернативного датчика, указывающий упомянутый фрейм речи, и процессор, который использует сигнал микрофона и сигнал альтернативного датчика, чтобы оценить значение чистой речи для фрейма речи. Мобильное ручное устройство может также содержать датчик приближения, отдельный от микрофона с воздушной проводимостью, который указывает расстояние от мобильного устройства до объекта, и блок оценки чистого сигнала, который использует сигнал микрофона, сигнал упомянутого альтернативного датчика и сигнал приближения для удаления шума из сигнала микрофона и получения, таким образом, усиленного сигнала чистой речи. Удаляется шум из сигналов речи, принятых мобильными ручными устройствами и формируется звук с учетом величины шума для обеспечения чистой речи. 3 н. и 26 з.п. ф-лы, 16 ил.

Description

Область техники
Настоящее изобретение относится к снижению шума. В частности, настоящее изобретение относится к удалению шума из сигналов речи, принятых мобильными ручными устройствами.
Предшествующий уровень техники
Мобильные ручные устройства, такие как портативные телефоны и персональные цифровые помощники, которые обеспечивают телефонные функции или принимают входной речевой сигнал, часто используются в среде с неблагоприятными шумовыми условиями, например на многолюдных улицах, ресторанах, аэропортах и автомобилях. Сильный фоновый шум в такой окружающей среде может сделать неразборчивой речь пользователя и затруднить понимание того, что человек говорит.
Хотя были разработаны системы фильтрования шума, которые были попыткой удалить шум на основании модели шума, эти системы не способны удалить весь шум. В частности, многие из этих систем столкнулись с трудностями удаления шума, который возникает в качестве фона, когда говорят другие люди. Одной из причин этого является то, что для этих систем чрезвычайно трудно, если не невозможно, определить, что сигнал речи, принятый микрофоном, поступил от какого-то другого человека, отличного от человека, использующего мобильное устройство.
Для головных телефонов с наушниками, которые находятся на голове пользователя, охватывая голову или ухо пользователя, были разработаны системы, которые обеспечивает более надежное фильтрование шума, полагаясь на дополнительные типы датчиков в головном телефоне. В одном из примеров датчик, использующий костную проводимость, помещен с одной стороны головного телефона и прижат для обеспечения контакта с кожей, охватывая череп, ухо или нижнюю челюсть пользователя вследствие упругости головного телефона. Датчик, использующий костную проводимость, обнаруживает колебания в черепе, ухе или нижней челюсти, которые создаются, когда пользователь говорит. Используя сигнал от датчика, использующего костную проводимость, эта система способна лучше определить, когда говорит пользователь, и в результате лучше способна фильтровать шум в сигнале речи.
Хотя такие системы работают хорошо для головных телефонов, когда контакт между датчиком, использующий костную проводимость, и пользователем поддерживается в соответствии с механической конструкцией головных телефонов, эти системы не могут использоваться непосредственно в ручных мобильных устройствах, потому что для пользователей трудно удерживать датчик, использующий костную проводимость, в надлежащем положении, и эти системы не учитывают, что датчик, использующий костную проводимость, не может удерживаться в надлежащем положении.
Сущность изобретения
Предлагается мобильное устройство, которое включает в себя цифровой вход, которым можно управлять пальцами или большим пальцем пользователя, микрофон с воздушной проводимостью и альтернативный датчик, который обеспечивает сигнал альтернативного датчика, указывающий наличие речи. В некоторых вариантах осуществления мобильное устройство также включает в себя датчик приближения, который обеспечивает сигнал приближения, указывающий на расстояние от мобильного устройства до объекта. В некоторых вариантах осуществления используются сигнал от микрофона с воздушной проводимостью, сигнал альтернативного датчика и сигнал приближения для формирования оценки значения чистой речи. В других вариантах осуществления звук формируется через громкоговоритель в мобильном устройстве на основании величины шума в этом значении чистой речи. В других вариантах осуществления звук, сформированный через громкоговоритель, основан на сигнале датчика приближения.
Краткое описание чертежей
Фиг.1 иллюстрирует вид в перспективе одного варианта осуществления настоящего изобретения.
Фиг.2 иллюстрирует телефон на фиг.1 в положении с левой стороны головы пользователя.
Фиг.3 иллюстрирует телефон на фиг.1 в положении на правой стороне головы пользователя.
Фиг.4 иллюстрирует блок-схему микрофона, использующего костную проводимость.
Фиг.5 иллюстрирует вид в перспективе для альтернативного варианта осуществления настоящего изобретения.
Фиг.6 иллюстрирует поперечное сечение альтернативного микрофона, использующего костную проводимость, согласно варианту осуществления настоящего изобретения.
Фиг.7 иллюстрирует блок-схему мобильного устройства согласно варианту осуществления настоящего изобретения.
Фиг.8 является блок-схемой обычной системы обработки речи согласно настоящему изобретению.
Фиг.9 изображает блок-схему системы для обучения параметров снижения шума согласно варианту осуществления настоящего изобретения.
Фиг.10 изображает последовательность операций для обучения параметров снижения шума, используя систему согласно фиг.9.
Фиг.11 иллюстрирует блок-схему системы для идентификации оценки чистого сигнала речи из зашумленного тестового сигнала речи согласно варианту осуществления настоящего изобретения.
Фиг.12 иллюстрирует последовательность операций способа для идентификации оценки чистого сигнала речи с использованием системы согласно фиг.11.
Фиг.13 иллюстрирует блок-схему альтернативной системы для идентификации оценки чистого сигнала речи.
Фиг.14 иллюстрирует блок-схему второй альтернативной системы для идентификации оценки чистого сигнала речи.
Фиг.15 иллюстрирует последовательность операций способа для идентификации оценки чистого сигнала речи с использованием системы согласно фиг.14.
Фиг.16 иллюстрирует перспективный вид дополнительного варианта осуществления мобильного устройства согласно настоящему изобретению.
Подробное описание примерных вариантов осуществления
Варианты осуществления настоящего изобретения предлагают ручные мобильные устройства, которые содержат и микрофон с воздушной проводимостью и альтернативный датчик, которые могут использоваться в детектировании речи и фильтровании шума. Фиг.1 иллюстрирует примерный вариант осуществления, в котором ручное мобильное устройство является мобильным телефоном 100. Мобильный телефон 100 включает в себя клавиатуру 102, дисплей 104, средство 106 управления курсором, микрофон 108 с воздушной проводимостью, громкоговоритель 110, два микрофона 112 и 114, использующих костную проводимость и необязательно - датчик 116 приближения.
Сенсорная панель 102 позволяет пользователю вводить числа и буквы в мобильный телефон. В других вариантах осуществления сенсорная панель 102 объединена с дисплеем 104 в форме сенсорного экрана. Средство 106 управления курсором позволяет пользователю подсвечивать и выбирать информацию 104 на дисплее и просматривать изображения и страницы, которые являются по размеру большими, чем дисплей 104.
Как показано на фиг.2 и 3, когда мобильный телефон 100 помещен в стандартное положение для преобразования посредством телефона, громкоговоритель 110 размещается около левого уха пользователя 200 или правого уха 300, и микрофон 108 с воздушной проводимостью размещается около рта 202 пользователя. Когда телефон размещается около левого уха пользователя, как на фиг.2, микрофон 114, использующий костную проводимость, контактирует с черепом или ухом пользователя и формирует сигнал альтернативного датчика, который может использоваться для удаления шума из сигнала речи, принятого микрофоном 108 с воздушной проводимостью. Когда телефон размещен около правого уха пользователя, как на фиг.3, микрофон 112, использующий костную проводимость, контактирует с черепом или ухом пользователя и формирует сигнал альтернативного датчика, который может использоваться для удаления шума из сигнала речи.
Необязательный датчик 116 приближения указывает как близко к пользователю находится телефон. Как дополнительно описано ниже, эта информация используется для взвешивания вклада микрофонов, использующих костную проводимость, в формирование значения чистой речи. Обычно, если датчик приближения обнаруживает, что телефон находится рядом с пользователем, сигналам микрофона, использующего костную проводимость, придается больший вес, чем если телефон находится на некотором расстоянии от пользователя. Это регулирование отражает тот факт, что сигнал микрофона, использующего костную проводимость, является более показательным для разговора пользователя, когда он находится в контакте с пользователем. Когда он удален от пользователя, он более восприимчив к фоновому шуму. Датчик приближения используется в вариантах осуществления настоящего изобретения, так как пользователи не всегда держат телефон прижатым к голове.
Фиг.4 иллюстрирует один вариант осуществления датчика 400, использующего костную проводимость, согласно настоящему изобретению. В датчике 400 мягкий эластомерный мостик (дужка) 402 приклеен к диафрагме 404 обычного микрофона 406 с воздушной проводимостью. Этот мягкий мостик 402 проводит колебания от контакта 408 с кожей пользователя непосредственно к диафрагме 404 микрофона 406. Движение диафрагмы 404 преобразуется в электрический сигнал преобразователем 410 в микрофоне 406.
Фиг.5 иллюстрирует альтернативный вариант осуществления портативного телефона 500 ручного мобильного устройства согласно настоящему изобретению. Мобильный телефон 500 включает в себя клавиатуру 502, дисплей 504, средство 506 управления курсором, микрофон 508 с воздушной проводимостью, громкоговоритель 510 и комбинацию микрофона, использующего костную проводимость, и датчика 512 приближения.
Как показано в поперечном сечении на фиг.6, комбинация микрофона, использующего костную проводимость, и датчика 512 приближения состоит из мягкой, заполненной средой (жидкостью или эластомером) подкладки 600, которая имеет внешнюю поверхность 602, предназначенную для контакта с пользователем, когда пользователь размещает телефон напротив своего уха. Подкладка 600 образует кольцо вокруг отверстия, которое обеспечивает проход для звука от громкоговорителя 510, который расположен в отверстии или непосредственно ниже отверстия в телефоне 500. Подкладка 600 не ограничена этой формой, и может использоваться любая форма для подкладки. Обычно, однако, предпочтительно, если подкладка 600 включает в себя части слева и справа от громкоговорителя 510 так, чтобы по меньшей мере одна часть подкладки 600 находилась в контакте с пользователем, независимо от того напротив какого уха пользователь размещает телефон. Части подкладки могут быть внешне непрерывными или могут быть внешне отдельными, но в телефоне связаны друг с другом жидкой средой.
Электронный преобразователь 604 давления гидравлически связан с жидкостью или эластомером в подкладке 600 и преобразовывает давление жидкости в подкладке 600 в электрический сигнал в проводнике 606. Примеры электронного преобразователя 604 давления включают в себя преобразователи на основе MEMS (микроэлектромеханических преобразователей). Обычно преобразователь 604 давления должен иметь высокочастотный отклик.
Электрический сигнал в проводнике 606 включает в себя два компонента, постоянную составляющую (DC) и переменную составляющую (AC). Постоянная составляющая обеспечивает сигнал датчика приближения, так как статическое давление в пределах подкладки 600 будет выше, когда телефон прижат к уху пользователя, чем то, когда телефон находится на некотором расстоянии от уха пользователя. Переменная составляющая электрического сигнала обеспечивает сигнал микрофона, использующего костную проводимость, так как колебания в костях черепа, челюсти или уха пользователя создают флуктуации давления в подкладке 600, которые преобразуются в переменный электрический сигнал преобразователем 604 давления. Согласно варианту осуществления для электрического сигнала используется фильтр, чтобы обеспечить прохождение постоянной составляющей сигнала и переменной составляющей выше минимальной частоты.
Хотя выше описаны два примера датчиков, использующих костную проводимость, другие формы датчиков, использующих костную проводимость, также входят в объем настоящего изобретения.
Фиг.7 иллюстрирует блок-схему мобильного устройства 700 согласно варианту осуществления настоящего изобретения. Мобильное устройство 700 включает в себя микропроцессор 702, память 704, интерфейс 706 ввода/вывода и интерфейс 708 связи для обмена информацией с удаленными компьютерами, сетями связи или другими мобильными устройствами. В одном варианте осуществления вышеупомянутые компоненты соединяются для связи друг с другом по соответствующей шине 710.
Память 704 может быть осуществлена в виде энергонезависимой электронной памяти, например памяти с произвольным доступом (ОЗУ) с модулем дублирования батареи (не показан), так что информация, сохраненная в памяти 704 не теряется, когда обычное питание не подается на мобильное устройство 700. Альтернативно, вся или части памяти 704 могут быть энергозависимой или энергонезависимой сменной памятью. Часть памяти 704 предпочтительно выполнена как адресуемая память для выполнения программы, в то время как другая часть памяти 704 предпочтительно используется для хранения, например, эмуляции хранения на накопителе на магнитных дисках.
Память 704 содержит операционную систему 712, прикладные программы 714, а также хранилище 716 объектов. Во время работы операционная система 712 предпочтительно выполняется процессором 702 из памяти 704. Операционная система 712 в одном предпочтительном варианте осуществления является операционной системой WINDOWS® CE, коммерчески доступной от корпорации Microsoft. Операционная система 712 предпочтительно предназначена для мобильных устройств и реализует характеристики базы данных, которые могут использоваться приложениями 714 с помощью набора открытых (доступных) интерфейсов прикладных программ и методов. Объекты в хранилище 716 объектов поддерживаются приложениями 714 и операционной системой 712, по меньшей мере частично в ответ на запросы к доступным интерфейсам прикладных программ и методам.
Интерфейс 708 связи представляет многочисленные устройства и технологии, которые позволяют мобильному устройству 700 посылать и принимать информацию. В вариантах осуществления портативного телефона интерфейс 708 связи представляет собой интерфейс сети сотового телефона, который взаимодействует с сетью сотовых телефонов, чтобы позволить выполнять и принимать вызовы. Другие устройства, возможно представленные интерфейсом 708 связи, включают в себя проводные и беспроводные модемы, приемники спутниковой связи и тюнеры радиовещания разнообразного вида. Мобильное устройство 700 может также быть непосредственно связано с компьютером для обмена с ним информацией. В таких случаях интерфейс 708 связи может быть инфракрасным приемопередатчиком или соединением с последовательной или параллельной передачей данных, все из которых способны к потоковой передаче информации.
Выполняемые компьютером инструкции, которые выполняются процессором 702, чтобы осуществить настоящее изобретение, могут быть сохранены в памяти 704 или приняты через интерфейс 708 связи. Эти инструкции хранятся в компьютере на считываемом носителе, который, без ограничения может включать в себя среду хранения компьютера и среду передачи данных.
Среда хранения компьютера включают в себя и энергозависимые и энергонезависимые, сменные и несменные носители, осуществленные любым способом или технологией для хранения информации, такой как считываемые компьютером инструкции, структуры данных, программные модули или другие данные. Компьютерная среда хранения включает в себя, но не ограничивается ими, ОЗУ, ПЗУ, ЭСППЗУ, флэш-память или память по другой технологии, CD-ROM, цифровые универсальные диски (DVD) или другую оптическую память на дисках, магнитные кассеты, магнитную ленту, память на магнитном диске или другие магнитные устройства хранения, или любую другую среду, которая может использоваться для хранения требуемой информации и к которой можно обращаться.
Среда передачи данных обычно заключает в себе считываемые компьютером команды, структуры данных, программные модули или другие данные в модулируемом сигнале данных, таком как сигнал несущей или другой транспортный механизм, и включают в себя любые информационные средства доставки информации. Термин "модулированный сигнал данных" означает сигнал, который имеет одну или более из его характеристик установленной или измененной таким образом, чтобы кодировать информацию в сигнале. Посредством примера, а не ограничения, среда передачи данных включает в себя проводную среду, например проводную сеть, или непосредственное проводное соединение, и беспроводную среду, например среду передачи акустических, РЧ, инфракрасных лучей и других беспроводных средств передачи информации. Комбинации любых вышеупомянутых средств также должны быть включены в понятие считываемых компьютером носителей.
Интерфейс 706 ввода/вывода данных предоставляет интерфейсы к набору устройств ввода/вывода, включая громкоговоритель 730, цифровой вход 732 (такой как одна или набор кнопок, сенсорный экран, трекбол, мышь, ролик или комбинацию этих компонентов, которые могут управляться большим пальцем пользователя или другим пальцем), дисплей 734, микрофон 736 с воздушной проводимостью, альтернативный датчик 738, альтернативный датчик 740 и датчик 742 приближения. Согласно варианту осуществления альтернативными датчиками 738 и 740 являются микрофоны, использующие костную проводимость. Устройства, перечисленные выше, приведены посредством примера и не обязательно должны все присутствовать на мобильном устройстве 700. Далее, по меньшей мере в одном варианте осуществления альтернативный датчик и датчик приближения объединены в единый датчик, который обеспечивает сигнал датчика приближения и сигнал альтернативного датчика. Эти сигналы могут быть выданы на отдельные проводящие линии или могут быть компонентами сигнала на однопроводной линии. Кроме того, другие устройства ввода/вывода могут быть использованы или применены вместе с мобильным устройством 700 в настоящем изобретении.
Фиг.8 обеспечивает основную блок-схему системы обработки речевых сигналов согласно вариантам осуществления настоящего изобретения. На фиг.8 диктор 800 формирует сигнал 802 речи, который обнаруживается микрофоном 804 с воздушной проводимостью и одним или обоими из альтернативного датчика 806 и альтернативного датчика 807. Одним из примеров альтернативного датчика является датчик, использующий костную проводимость, который расположен непосредственно на или рядом с лицевой или черепной костью пользователя (например, челюстной кости) или на ухе пользователя, и который воспринимает колебания уха, черепа или челюсти, которые соответствуют речи, сформированной пользователем. Другим примером альтернативного датчика является инфракрасный датчик, который направлен на и обнаруживает движение рта пользователя. Следует заметить, что в некоторых вариантах осуществления будет присутствовать только один альтернативный датчик. Микрофон 804 с воздушной проводимостью является типом микрофона, который обычно используется, чтобы преобразовать звуковые радиоволны в электрические сигналы.
Микрофон 804 с воздушной проводимостью также принимает шум 808, сформированный одним или более шумовых источников 810. В зависимости от типа альтернативного датчика и уровня шума шум 808 может также быть обнаружен альтернативными датчиками 806 и 807. Однако согласно вариантам осуществления настоящего изобретения альтернативные датчики 806 и 807 обычно менее чувствительны к фоновому шуму, чем микрофон 804 с воздушной проводимостью. Таким образом, сигналы альтернативных датчиков 812 и 813, сформированные альтернативными датчиками 806 и 807, соответственно, обычно включают в себя меньшее количество шума, чем сигнал 814 микрофона с воздушной проводимостью, сформированный микрофоном 804 с воздушной проводимостью.
Если имеются два альтернативных датчика, например два датчика, использующих костную проводимость, сигналы датчиков 812 и 813 можно произвольно выдавать на блок 815 сравнения/выбора. Блок 815 сравнения/выбора сравнивает уровень двух сигналов и выбирает более сильный сигнал в качестве своего выходного сигнала 817. Более слабый сигнал не передается для дальнейшей обработки. Для вариантов осуществления портативного телефона, такого как портативный телефон на фиг.1-3, блок 815 сравнения/выбора будет обычно выбирать сигнал, сформированный датчиком, использующим костную проводимость, который находится в контакте с кожей пользователя. Таким образом, на фиг.2 может быть выбран сигнал от датчика 114, использующего костную проводимость, и на фиг.3 будет выбран сигнал от датчика 112, использующего костную проводимость.
Сигнал 817 альтернативного датчика и сигнал 814 микрофона с воздушной проводимостью выдается к блоку 816 оценки чистого сигнала, который оценивает чистый сигнал 818 речи посредством процесса, описанного ниже более подробно. Необязательно, блок 816 оценки чистого сигнала также принимает сигнал 830 приближения от датчика 832 приближения, который используется в оценке чистого сигнала 818. Как отмечено выше, датчик приближения может быть объединен с альтернативным сигналом датчика в некоторых вариантах осуществления. Чистый сигнал 818 оценки выдается к блоку 820 обработки речи. Чистый сигнал 818 речи может быть или фильтрованным сигналом во временной области или характеристическим вектором области. Если чистый сигнал 818 оценки является сигналом во временной области, блок 820 обработки речи может быть приемником, передатчиком сотового телефона, системой кодирования речи или системой распознавания речи. Если чистый сигнал 818 речи является характеристическим вектором области, блок 820 обработки речи будет обычно системой распознавания речи.
Блок 816 оценки чистого сигнала также формирует оценку 819 шума, которая показывает оцененный шум, который присутствует в чистом сигнале 818 речи. Оценка 819 шума выдается на генератор 821 побочного тона, который формирует тональный сигнал через громкоговорители мобильного устройства на основании оценки 819 шума. В частности, генератор 821 побочного тона увеличивает уровень громкости побочного тона, когда оценка 819 шума увеличивается.
Сигнал побочного тона обеспечивает обратную связь пользователю, которая указывает, держит ли пользователь мобильное устройство в наилучшем положении, чтобы воспользоваться преимуществом альтернативного датчика. Например, если пользователь не прижимает датчик, использующий костную проводимость, к своей голове, блок оценки чистого сигнала принимает слабый сигнал альтернативного датчика и формирует зашумленный чистый сигнал 818 из-за слабого сигнала альтернативного датчика. Это приводит к более громкому побочному тону. Когда пользователь приводит датчик, использующий костную проводимость, в контакт со своей головой, сигнал альтернативного датчика улучшается, таким образом уменьшая шум в чистом сигнале 818 и уменьшая громкость сигнала побочного тона. Таким образом, пользователь может быстро понять, как держать телефон, чтобы сильнее уменьшить шум в чистом сигнале, на основании обратной связи в сигнале побочного тона.
В альтернативных вариантах осуществления сигнал побочного тона формируется на основании сигнала 830 датчика приближения от датчика 832 приближения. Когда датчик приближения указывает, что телефон контактирует или находится слишком близко к голове пользователя, громкость побочного тона будет низка. Когда датчик приближения указывает, что телефон находится далеко от головы пользователя, сигнал побочного тона будет громче.
Настоящее изобретение использует несколько способов и систем для оценки чистой речи, используя сигнал 814 микрофона с воздушной проводимостью, сигнал 817 альтернативного датчика, и необязательно сигнал 830 датчика приближения. Одна система использует стереоданные обучения, чтобы обучить векторы коррекции для сигнала альтернативного датчика. Когда эти векторы коррекции позднее добавляют к тестовому вектору альтернативного датчика, они обеспечивают оценку вектора чистого сигнала. Один из дополнительных вариантов развития этой системы заключается сначала в отслеживании изменяющихся во времени искажений и затем включении этой информации в вычисление векторов коррекции и в оценку чистой речи.
Вторая система обеспечивает интерполяцию между оценкой чистого сигнала, сформированной векторами коррекции, и оценкой, сформированной вычитанием оценки текущего шума в тестовом сигнале воздушной проводимости из сигнала воздушной проводимости. Третья система использует сигнал альтернативного датчика, чтобы оценить основной тон сигнала речи, и затем использует оцененный основной тон, чтобы идентифицировать оценку для чистого сигнала речи. Каждая из этих систем описана отдельно ниже.
Обучение векторов стереокоррекции
Фиг.9 и 10 иллюстрируют блок-схему и последовательность операций для обучения векторов стереокоррекции для двух вариантов осуществления настоящего изобретения, которые полагаются на векторы коррекции для того, чтобы сформировать оценку чистой речи.
Способ идентификации векторов коррекции начинается на этапе 1000 на фиг.10, где "чистый" сигнал микрофона с воздушной проводимостью преобразуют в последовательность характеристических векторов. Для этого диктор 900 на фиг.9 говорит в микрофон 910 с воздушной проводимостью, который преобразует звуковые волны в электрические сигналы. Электрические сигналы затем дискретизируются аналого-цифровым преобразователем 914 для формирования последовательности цифровых значений, которые группируют во фреймы значений конструктором 916 фреймов. В одном варианте осуществления аналого-цифровой преобразователь 914 дискретизирует аналоговый сигнал с частотой 16 кГц и 16 битов на отсчет, таким образом создавая 32 килобайта данных речи в секунду, и конструктор 916 фреймов создает новый фрейм каждые 10 миллисекунд, который включает в себя 25-миллисекундную цену данных.
Каждый фрейм данных, выдаваемый конструктором 916 фреймов, преобразуется в характеристический вектор блоком 918 извлечения характеристик. Согласно варианту осуществления блок 918 извлечения характеристик формирует кепстральные характеристики. Примеры таких характеристик включают в себя полученные кодированием методом линейного предсказания (LPC) кепстры, и коэффициенты кепстра (коэффициенты косинусного преобразования Фурье) Mel-частоты (частоты чистого тона). Примеры других возможных модулей извлечения характеристик, которые могут использоваться в настоящем изобретении, включают в себя модули для выполнения кодирования методом линейного предсказания (LPC), перцептивное линейное предсказание (PLP) и извлечение характеристик на основе модели слышимости. Следует заметить, что изобретение не ограничено этими модулями извлечения характеристик, и в контексте настоящего изобретения могут использоваться другие модули.
На этапе 1002 на фиг.10 сигнал альтернативного датчика преобразуют в характеристические векторы. Хотя преобразование на этапе 1002 показано как выполняющееся после преобразования на этапе 1000, любая часть преобразования может быть выполнена прежде, в течение или после этапа 1000 согласно настоящему изобретению. Преобразование на этапе 1002 выполняют с помощью процесса, подобному описанному выше для этапа 1000.
В варианте осуществления на фиг.9 этот процесс начинается, когда альтернативные датчики 902 и 903 обнаруживают физическое событие, связанное с формированием речи диктором 900, например вибрацию кости или движение лица. Поскольку альтернативный датчик 902 и 903 отделены на мобильном устройстве, они не будут обнаруживать одни и те же значения в связи с формированием речи. Альтернативные датчики 902 и 903 преобразуют физическое событие в аналоговые электрические сигналы. Эти электрические сигналы подаются к блоку 904 сравнения/выбора, который выделяет более сильный из двух сигналов и выдает более сильный сигнал в качестве своего выходного сигнала. Следует заметить, что в некоторых вариантах осуществления используется только один альтернативный датчик. В таких случаях блок 904 сравнения/выбора отсутствует.
Выбранный аналоговый сигнал дискретизируется аналого-цифровым преобразователем 905. Характеристики дискретизации для аналого-цифрового преобразователя 905 являются теми же, что описаны выше для аналого-цифрового преобразователя 914. Отсчеты, выданные аналого-цифровым преобразователем 905, собираются в фреймы конструктором 906 фреймов, который действует способом, подобным конструктору 916 фреймов. Фреймы отсчетов затем преобразуют в характеристические векторы блоком 908 извлечения характеристик, который использует тот же способ извлечения характеристик, что и блок 918 извлечения характеристик.
Характеристические векторы для сигнала альтернативного датчика и сигнала воздушной проводимости подают к блоку 920 обучения снижения шума на фиг.9. На этапе 1004 на фиг.10 блок 920 обучения снижения шума группирует характеристические векторы для сигнала альтернативного датчика в смешанные компоненты. Эта группировка может быть сделана посредством группировки подобных характеристических векторов вместе, используя способы обучения по максимальной вероятности, или группируя характеристические векторы, которые вместе представляют временную секцию сигнала речи. Специалисту в области техники понятно, что могут использоваться другие способы для группировки характеристических векторов, и что два способа, перечисленных выше, представлены только в качестве примеров.
Блок 920 обучения снижения шума затем определяет вектор коррекции, rs, для каждого компонента смеси, s, на этапе 1008 на фиг.10. Согласно варианту осуществления вектор коррекции для каждого компонента смеси определяют, используя критерий максимальной вероятности. Согласно этому способу вектор коррекции рассчитывают следующим образом:
Figure 00000001
где xt является значением вектора воздушной проводимости для фрейма t, и bt является значением вектора альтернативного датчика для фрейма t. В уравнении 1:
Figure 00000002
где p(s) - просто один из ряда компонентов смеси, и p(bt|s) моделируется как распределение Гаусса:
Figure 00000003
со средним μb и дисперсией Гb, полученной с использованием алгоритма максимизации ожидания (EM), где каждая итерация состоит из следующих шагов:
Figure 00000004
Figure 00000005
Figure 00000006
Уравнение (4) является E-шагом в EM-алгоритме, который использует предварительно оцененные параметры. Уравнение (5) и уравнение (6) являются М-этапом, который обновляет параметры, используя результаты E-этапа.
E- и М-этапы алгоритма повторяют до тех пор пока не будут определены устойчивые значения для параметров модели. Эти параметры затем используются, чтобы оценить уравнение 1 для формирования векторов коррекции. Векторы коррекции и параметры модели затем сохраняют в памяти 922 параметров снижения шума.
После того как вектор коррекции определен для каждого компонента смеси, на этапе 1008 процесс обучения системы снижения шума согласно настоящему изобретению завершается. Как только вектор коррекции определен для каждой смеси, векторы могут использоваться в способе снижения шума согласно настоящему изобретению. Два отдельных способа снижения шума, которые используют векторы коррекции, описаны ниже.
Снижение шума, используя вектор коррекции и оценку шума
Система и способ, который уменьшает шум в зашумленном сигнале речи, на основании векторов коррекции и оценке шума, иллюстрируются на блок-схеме на фиг.11 и блок-схеме последовательности операций на фиг.12, соответственно.
На этапе 1200 звуковой тестовый сигнал, обнаруженный микрофоном 1104 с воздушной проводимостью, преобразуют в характеристические векторы. Звуковой тестовый сигнал, принятый микрофоном 1104, включает в себя речь от диктора 1100 и аддитивный шум от одного или более шумовых источников 1102. Звуковой тестовый сигнал, обнаруженный микрофоном 1104, преобразуют в электрический сигнал, который подается к аналогово-цифровому преобразователю 1106.
Аналого-цифровой преобразователь 1106 преобразует аналоговый сигнал от микрофона 1104 в последовательность цифровых значений. В нескольких вариантах осуществления аналого-цифровой преобразователь 1106 дискретизирует аналоговый сигнал с частотой 16 кГц и 16 битов на отсчет, таким образом формируя 32 килобайта данных речи в секунду. Эти цифровые значения подаются на конструктор 1108 фреймов, который в одном варианте осуществления группирует значения в 25 миллисекундные фреймы, которые начинаются через 10 миллисекунд друг от друга.
Фреймы данных, созданные конструктором 1108 фреймов, подаются на блок 1110 извлечения характеристик, который извлекает характеристику из каждого фрейма. Согласно варианту осуществления этот блок извлечения характеристик отличается от блоков 908 и 918 извлечения характеристик, которые использовались, чтобы обучить векторы коррекции. В частности, в данном варианте осуществления блок 1110 извлечения характеристик формирует значения энергетического спектра вместо кепстральных значений. Извлеченные характеристики подаются на блок 1122 оценки чистого сигнала, блок 1126 обнаружения речи и блок 1124 обучения модели шума.
На этапе 1202 физическое событие, например вибрация кости или движение лица, связанные с формированием речи диктором 1100, преобразуют в характеристический вектор. Хотя показан как отдельный этап на фиг.12, специалисту понятно, что части этого этапа могут быть выполнены в одно и то же время, что и этап 1200. В течение этапа 1202 физическое событие обнаруживается одним или обоими альтернативными датчиками 1112 и 1114. Альтернативные датчики 1112 и 1114 формируют аналоговые электрические сигналы на основании физического события. Аналоговые сигналы подаются на блок 1115 сравнения и выбора, который выбирает сигнал большей амплитуды в качестве своего выходного сигнала. Следует заметить, что в некоторых вариантах осуществления обеспечивается только один альтернативный датчик. В таких вариантах осуществления в блоке 1115 сравнения и выбора нет необходимости.
Выбранный аналоговый сигнал преобразуют в цифровой сигнал аналого-цифровым преобразователем 1116, и получившиеся цифровые отсчеты группируют в фреймы конструктором 1118 фреймов. Согласно варианту осуществления аналого-цифровой преобразователь 1116 и конструктор 1118 фреймов работает аналогично аналого-цифровому преобразователю 1106 и конструктору 1108 фреймов.
Фреймы цифровых значений подаются к блоку 1120 извлечения характеристик, который использует тот же самый способ извлечения характеристик, который использовался для обучения векторов коррекции. Как упомянуто выше, примеры таких модулей извлечения характеристики включают в себя модули для выполнения кодирования с линейным прогнозированием (LPC), кепстры, полученные на основе LPC, перцептивное линейное предсказание (PLP), извлечение характеристики на основе модели слышимости, и извлечение характеристик на основе кепстральных коэффициентов Mel-частоты (MFCC). Во многих вариантах осуществления, однако, используются способы извлечения характеристики, которые формируют кепстральные характеристики.
Модуль извлечения характеристики формирует поток характеристических векторов, каждый из которых связан с отдельным фреймом сигнала речи. Этот поток характеристических векторов подается на блок 1122 оценки чистого сигнала.
Фреймы значений из конструктора 1118 фреймов также подаются на блок 1121 извлечения характеристик, который в одном варианте осуществления извлекает энергию каждого фрейма. Значение энергии для каждого фрейма подается на блок 1126 обнаружения речи.
На этапе 1204 блок 1126 обнаружения речи использует характеристику энергии сигнала альтернативного датчика, чтобы определить, когда вероятно присутствует речь. Эту информацию пропускают к блоку 1124 обучения модели шума, который пытается моделировать шум в течение периодов, когда не имеется никакой речи на этапе 1206.
Согласно варианту осуществления блок 1126 обнаружения речи сначала отыскивает последовательность значений энергии фреймов, чтобы найти пик энергии. Затем он отыскивает точку минимума после пика. Энергия этой точки минимума называется разделителем энергии, d. Чтобы определить, содержит ли фрейм речь, это отношение, k, энергии фреймов, e, по разделителю энергии, d, затем определяют следующим образом: k=e/d. Доверительное значение речи, q, для фрейма затем определяется как:
Figure 00000007
где α определяет переход между двумя состояниями и в одном варианте осуществления установлена равным 2. Наконец, среднее доверительное значение из его 5 соседних фреймов (включая его самого) используется в качестве окончательного доверительного значения для этого фрейма.
Согласно варианту осуществления используется установленное пороговое значение, чтобы определить, присутствует ли речь, так что если доверительное значение превышает порог, фрейм рассматривается как содержащий речь, а если доверительное значение не превышает порог, фрейм рассматривается как не содержащий речь. Согласно варианту осуществления используется пороговое значение 0,1.
Для каждого не-речевого фрейма, обнаруженного блоком 1126 обнаружения речи, блок 1124 обучения модели шума обновляет модель 1125 шума на этапе 1206. Согласно варианту осуществления моделью 1125 шума является Гауссова модель, которая имеет среднее значение μn и дисперсию
Figure 00000008
Эта модель основана на перемещающемся окне в недавно принятых не-речевых фреймах. Способы определения среднего значения и дисперсии исходя из не-речевых фреймов в окне известны в области техники.
Векторы коррекции и параметры модели в памяти 922 параметров и модель 1125 шума подаются на блок 1122 оценки чистого сигнала с характеристическими векторами, b, для альтернативного датчика и характеристических векторов, Sy, для сигнала шума микрофона с воздушной проводимостью. На этапе 1208 блок 1122 оценки чистого сигнала оценивает начальное значение для чистого сигнала речи на основании характеристического вектора альтернативного датчика, векторов коррекции и параметров модели для альтернативного датчика. В частности, оценка альтернативного датчика чистого сигнала вычисляется следующим образом:
Figure 00000009
где
Figure 00000010
является оценкой чистого сигнала в кепстральной области, b является характеристическим вектором альтернативного датчика, p(s|b) определяется с использованием уравнения 2 выше, и rs является вектором коррекции для компонента s смеси. Таким образом, оценка чистого сигнала в уравнении 8 формируется добавлением характеристического вектора альтернативного датчика к сумме взвешенных векторов коррекции, где веса основаны на вероятности компонента смеси при заданном характеристическом векторе альтернативного датчика.
На этапе 1210 начальная оценка чистой речи альтернативного датчика очищается посредством объединения ее с оценкой чистой речи, которая сформирована из вектора шума микрофона с воздушной проводимостью и модели шума. Это приводит к очищенной оценке 1128 чистой речи. Чтобы объединить кепстральное значение начальной оценки чистого сигнала с характеристическим вектором энергетического спектра шума микрофона с воздушной проводимостью, кепстральное значение преобразуют к области энергетического спектра, используя:
Figure 00000011
где C-1 является обратным дискретным косинусным преобразованием, и
Figure 00000012
является оценкой энергетического спектра чистого сигнала, основанного на альтернативном датчике.
Как только начальная оценка чистого сигнала от альтернативного датчика переведена в область энергетического спектра, она может быть объединена с вектором шума микрофона с воздушной проводимостью и моделью шума следующим образом:
Figure 00000013
где
Figure 00000014
- очищенная оценка чистого сигнала в области энергетического спектра, Sy - характеристический вектор шума микрофона с воздушной проводимостью, (μn,
Figure 00000015
) является средним значением и ковариацией предшествующей модели шума (см. 1124),
Figure 00000016
- начальная оценка чистого сигнала, основанная на альтернативном датчике, и
Figure 00000017
- матрица ковариаций распределения условной вероятности для чистой речи при заданном измерении альтернативного датчика.
Figure 00000018
может быть вычислена следующим образом. Пусть J обозначает Якобиан функции на правой стороне в уравнении 9. Пусть
Figure 00000019
является матрицей ковариаций для
Figure 00000020
. Тогда ковариация
Figure 00000021
равна
Figure 00000022
В упрощенном варианте осуществления уравнение 10 может быть переписано в следующем виде:
Figure 00000023
где α(f) - функция и времени и диапазона частот. Например, если альтернативный датчик имеет ширину полосы до 3 кГц, α(f) выбирается равной 0 для диапазона частот ниже 3 кГц. В основном, начальная оценка чистого сигнала от альтернативного датчика является доверительной для низкочастотных диапазонов.
Для диапазонов высоких частот начальная оценка чистого сигнала от альтернативного датчика не рассматривается как надежная. Интуитивно, когда шум мал для диапазона частот в текущем фрейме, большое значение α(f) выбирают так, чтобы больше информации было принято от микрофона с воздушной проводимостью для этого диапазона частот. Иначе, больше информации от альтернативного датчика используется при выборе малого α(f). В одном варианте осуществления используется энергия начальной оценки чистого сигнала от альтернативного датчика, чтобы определить уровень шума для каждого диапазона частот. Пусть E(f) обозначают энергию для диапазона f частот. Пусть М=maxf Е(f). α(f) как функция от f определяется следующим образом:
Figure 00000024
где линейная интерполяция используется для перехода от 3К к 4К для обеспечения гладкости α(f).
Согласно варианту осуществления близость мобильного устройства к голове пользователя включается в определение α(f). Конкретно, если датчик 832 приближения формирует значение D максимального расстояния и значение d текущего расстояния, уравнение 13 может быть изменено следующим образом:
Figure 00000025
где β имеет значение между нулем и единицей и выбирается на основании того, какой фактор - энергия или близость, как полагают, обеспечивает лучшую индикацию того, обеспечит ли модель шума для микрофона с воздушной проводимостью или вектор коррекции для альтернативного датчика лучшую оценку чистого сигнала.
Если β установлена равной нулю, α(f) более не является частотно-зависимой и просто становится равной:
Figure 00000026
Очищенная оценка чистого сигнала в области энергетического спектра может использоваться для построения фильтра Винера (Wiener), чтобы отфильтровать зашумленный сигнал микрофона с воздушной проводимостью. В частности, фильтр Винера, H, устанавливают так что:
Figure 00000027
Этот фильтр может затем применяться к зашумленному сигналу микрофона с воздушной проводимостью во временной области, чтобы сформировать с уменьшенным шумом или чистый сигнал во временной области. С уменьшенным шумом сигнал можно выдавать приемнику (слушателю) или подавать на устройство распознавания речи.
Следует заметить, что уравнение 12 обеспечивает очищенную оценку чистого сигнала, которая является взвешенной суммой двух факторов, один из которых - оценка чистого сигнала от альтернативного датчика. Эта взвешенная сумма может быть расширена, чтобы включить в себя дополнительные коэффициенты для дополнительных альтернативных датчиков. Таким образом, могут использоваться более одного альтернативного датчика, чтобы сформировать независимые оценки чистого сигнала. Эти множественные оценки могут затем быть объединены, используя уравнение 12.
В одном варианте осуществления также оценивают шум очищенной оценки чистого сигнала. Согласно варианту осуществления этот шум обрабатывают как нулевое Гауссово среднее значение с ковариацией, которая определяется следующим образом:
Figure 00000028
где
Figure 00000029
является дисперсией шума в микрофоне с воздушной проводимостью и
Figure 00000030
- дисперсией шума в оценке от альтернативного датчика. В частности
Figure 00000031
больше, если альтернативный датчик не имеет хорошего контакта с поверхностью кожи. Насколько контакт является хорошим, может быть измерено или посредством использования дополнительного датчика приближения или анализом альтернативного датчика. Для последнего, учитывая, что альтернативный датчик формирует малый высокочастотный отклик (больший чем 4 кГц), если он находится в хорошем контакте, измеряют качество контакта с помощью отношения низкочастотной энергии (меньше чем 3 кГц) к высокочастотной энергии. Чем выше отношение, тем лучше имеется контакт.
В некоторых вариантах осуществления используется шум в оценке чистого сигнала, чтобы сформировать сигнал побочного тона, как описано выше со ссылкой на фиг.6. Когда увеличивается шум в очищенной оценке чистого сигнала, громкость побочного тона увеличивается, чтобы поощрить пользователя разместить альтернативный датчик в лучшее положение так, чтобы процесс усиления улучшился. Например, сигнал побочного тона поощряет пользователей прижимать датчик, использующий костную проводимость, к своей голове так, чтобы процесс усиления был улучшен.
Снижение шума, используя вектор коррекции без оценки шума
Фиг.13 иллюстрирует блок-схему альтернативной системы для оценки значения чистой речи согласно настоящему изобретению. Система по фиг.13 подобна системе фиг.11 за исключением того, что оценка значения чистой речи сформирована без использования микрофона с воздушной проводимостью или модели шума.
На фиг.13, физическое событие, связанное с диктором 1300, формирующим речь, преобразуют в характеристический вектор альтернативным датчиком 1302, аналого-цифровым преобразователем 1304, конструктором 1306 фреймов и блоком 1308 извлечения характеристик способом, подобным описанному выше для альтернативного датчика 1114, аналого-цифрового преобразователя 1116, конструктора 1117 фреймов и блока 1118 извлечения характеристик на фиг.11. Следует заметить, что хотя только один альтернативный датчик показан на фиг.13, дополнительные альтернативные датчики могут использоваться как на фиг.11 с дополнительным блоком сравнения и выбора, как описано выше для фиг.11.
Характеристические векторы из блока 1308 извлечения характеристики и параметров 922 снижения шума подаются на блок 1310 оценки чистого сигнала, который определяет оценку значения 1312 чистого сигнала,
Figure 00000021
, используя уравнения 8 и 9 выше.
Оценка чистого сигнала,
Figure 00000021
в области энергетического спектра может использоваться для построения фильтра Винера для фильтрации зашумленного сигнала микрофона с воздушной проводимостью. В частности, фильтр Винера, H, установлен так что:
Figure 00000032
Этот фильтр может затем применяться к зашумленному сигналу микрофона с воздушной проводимостью во временной области, чтобы сформировать с уменьшенным шумом или чистый сигнал. С уменьшенным шумом сигнал можно выдавать слушателю (приемнику) или подавать на устройство распознавания речи.
Альтернативно, оценка чистого сигнала в кепстральной области,
Figure 00000033
, которая рассчитана по уравнению 8, может подаваться непосредственно в систему распознавания речи.
Снижение шума, используя отслеживание основного тона
Альтернативный способ для формирования оценок чистого сигнала речи показывается на блок-схеме на фиг.14 и блок-схеме последовательности операций на фиг.15. В частности, вариант осуществления на фиг.14 и 15 определяет оценку чистой речи, идентифицируя основной тон сигнала речи, используя альтернативный датчик и затем используя основной тон для декомпозиции зашумленного сигнала микрофона с воздушной проводимостью на гармоническую составляющую и случайную составляющую. Таким образом, сигнал шума представляют следующим образом:
Figure 00000034
где y - сигнал шума, yh - гармоническая составляющая и yr - случайная составляющая. Взвешенную сумму гармонической составляющей и случайной составляющей используют, чтобы сформировать характеристический вектор с уменьшенным шумом, представляющий сигнал речи с уменьшенным шумом.
Согласно варианту осуществления гармоническая составляющая моделируется как сумма синусоид связанных гармоник так что:
Figure 00000035
где yh является фундаментальной или основной частотой, и K - общее количество гармоник в сигнале.
Таким образом, чтобы идентифицировать гармоническую составляющую, должна быть определена оценка частоты основного тона и параметры амплитуды
{a1a2…akb1b2…bk}.
На этапе 1500 зашумленный сигнал речи собирают и преобразуют в цифровые отсчеты. Для этого микрофон 1404 с воздушной проводимостью преобразует звуковые волны от диктора 1400 и одного или более источников аддитивного шума 1402 в электрические сигналы. Электрические сигналы затем дискретизируют аналого-цифровым преобразователем 1406, чтобы сформировать последовательность цифровых значений. В одном варианте осуществления аналого-цифровой преобразователь 1406 дискретизирует аналоговый сигнал с частотой 16 кГц и 16 битов на отсчет, таким образом создавая 32 килобайта данных речи в секунду. На этапе 1502 цифровые отсчеты группируют в фреймы конструктором 1408 фреймов. Согласно варианту осуществления конструктор 1408 фреймов создает новый фрейм каждые 10 миллисекунд, который включает в себя 25 миллисекунд значимых данных.
На этапе 1504 физическое событие, связанное с формированием речи, обнаруживается альтернативным датчиком 1444. В этом варианте осуществления альтернативный датчик, который способен обнаружить гармонические составляющие, например датчик, использующий костную проводимость, является лучшим для использования в качестве альтернативного датчика 1444. Следует заметить, что хотя этап 1504 показан как отдельный от этапа 1500, специалисту ясно, что эти этапы могут быть выполнены в одно и то же время. Кроме того, хотя только один альтернативный датчик показан на фиг.14, могут использоваться дополнительные альтернативные датчики, как на фиг.11, с добавлением блока сравнения и выбора, как описано выше для фиг.11.
Аналоговый сигнал, сформированный альтернативным датчиком 1444, преобразуют в цифровые отсчеты аналого-цифровым преобразователем 1446. Цифровые отсчеты затем группируют в фреймы конструктором 1448 фреймов на этапе 1506.
На этапе 1508 фреймы сигнала альтернативного датчика используются блоком 1450 отслеживания основного тона, чтобы идентифицировать основной тон или основную частоту речи.
Оценка для частоты основного тона может быть определена, используя любое количество доступных систем отслеживания основного тона. Во многих из этих систем используются основные тона-кандидаты, чтобы идентифицировать возможное разнесение между центрами сегментов сигнала альтернативного датчика. Для каждого основного тона-кандидата определяют корреляцию между последовательными сегментами речи. Вообще, основной тон-кандидат, который обеспечивает наилучшую корреляцию, будет основной частотой фрейма. В некоторых системах используется дополнительная информация, чтобы очистить выбор основного тона, например энергия сигнала и/или ожидаемый канал основного тона.
Имея оценку основного тона от блока 1450 отслеживания основного тона, вектор сигнала воздушной проводимости может быть разложен на гармоническую составляющую и случайную составляющую на этапе 1510. Для этого уравнение 19 переписывают следующим образом:
Figure 00000036
где y - вектор из N отсчетов зашумленного сигнала речи, А - матрица размером N×2K, заданная следующим образом:
Figure 00000037
с элементами
Figure 00000038
и b есть вектор размером 2K×1, заданный следующим образом:
Figure 00000039
Затем, решением по методу наименьших квадратов к коэффициентам амплитуды является:
Figure 00000040
Используя
Figure 00000041
, оценка для гармонической составляющей зашумленного сигнала речи может быть определена как:
Figure 00000042
Оценка случайной составляющей затем вычисляется следующим образом:
Figure 00000043
Таким образом, используя уравнения 20-26, приведенные выше, блок 1410 разложения на гармоники способен сформировать вектор отсчетов 1412 гармонической составляющей, yh, и вектор отсчетов 1414 случайной составляющей, yr.
После того как отсчеты фрейма были разложены на гармонические и случайные отсчеты, параметр масштабирования, или вес, определяют для гармонической составляющей на этапе 1512. Этот параметр масштабирования используется как часть вычисления сигнала речи с уменьшенным шумом, как описано далее ниже. Согласно варианту осуществления параметр масштабирования рассчитывают следующим образом:
Figure 00000044
где αh является параметром масштабирования, yh(i) - i-ый отсчет в векторе отсчетов yh гармонической составляющей, и y(i) является i-ым отсчетом зашумленного сигнала речи для этого фрейма. В уравнении 27 числителем является сумма энергии каждого отсчета гармонической составляющей, а знаменателем - сумма энергии каждого отсчета зашумленного сигнала речи. Таким образом, параметр масштабирования есть отношение энергии гармоник фрейма к полной энергии фрейма.
В альтернативных вариантах осуществления параметр масштабирования устанавливают, используя блок вероятностного обнаружения голос - не голос. Такие блоки выдают вероятность, что конкретный фрейм речи является голосовым, вместо не голосового, означая, что голосовые связки резонируют в течение фрейма. Вероятность, что фрейм взят из голосовой области речи, может использоваться непосредственно как параметр масштабирования.
После того, как параметр масштабирования определен или пока он определяется, Mel-спектр (спектр чистого тона) для вектора отсчетов гармонической составляющей и вектора случайных составляющих отсчетов определяют на этапе 1514. Это включает в себя прохождение каждого вектора отсчетов через дискретное преобразование Фурье (DFT) 1418, чтобы сформировать вектор значений 1422 частот гармонической составляющей, и вектор значений 1420 частот случайной составляющей. Спектр энергии, представленный векторами значений частот затем сглаживают блоком 1424 взвешивания Mel (чистого тона), используя ряд функций взвешивания треугольником, применяемых вдоль шкалы Mel. Это приводит Mel-спектральному вектору 1428 гармонической составляющей, Yh, и Mel-спектральному вектору 1426 случайной составляющей, Yr.
На этапе 1516 Mel-спектры для гармонической составляющей и случайной составляющей объединяют как взвешенную сумму, чтобы сформировать оценку Mel-спектра с уменьшенным шумом. Этот этап выполняют блоком 1430 вычисления взвешенной суммы, используя коэффициент масштабирования, определенный выше, в следующем уравнении:
Figure 00000045
где
Figure 00000046
- оценка Mel-спектра с уменьшенным шумом, Yh(t) - гармоническая составляющая Mel-спектра, Yr(t) - случайная составляющая Mel-спектра, αh(t) - масштабный коэффициент, определенный выше, ar - установленный масштабный коэффициент для случайной составляющей, который в одном варианте осуществления установлен равным 0.1, и временной индекс t используется, чтобы подчеркнуть, что коэффициент масштабирования для гармонической составляющей определен для каждого фрейма, в то время как коэффициент масштабирования для случайной составляющей остается фиксированным. Следует заметить, что в других вариантах осуществления коэффициент масштабирования для случайной составляющей может быть определен для каждого фрейма.
После вычисления Mel-спектра с уменьшенным шумом на этапе 1516 определяют логарифм 1432 для Mel-спектра и затем подают на дискретное косинусное преобразование 1434 на этапе 1518. Это дает характеристический вектор 1436 кепстральных коэффициентов Mel-частоты (MFCC), который представляет сигнал речи с уменьшенным шумом.
Отдельный характеристический вектор MFCC с уменьшенным шумом формируется для каждого фрейма зашумленного сигнала. Эти характеристические векторы могут использоваться для любой требуемой цели, включая усиление речи и распознание речи. Для усиления речи характеристические векторы MFCC могут быть преобразованы в область энергетического спектра и могут использоваться с зашумленным сигналом воздушной проводимости, чтобы сформировать фильтр Винера.
Хотя настоящее изобретение было описано выше со ссылками на использование конкретных датчиков, использующих костную проводимость, в качестве альтернативных датчиков могут использоваться другие альтернативные датчики. Например, на фиг.16 мобильное устройство согласно настоящему изобретению использует инфракрасный датчик 1600, который обычно направлен на лицо пользователя, особенно на область рта, и формирует сигнал, указывающий на изменения в движении лица пользователя, что соответствует речи. Сигнал, сформированный инфракрасным датчиком 1600, может использоваться как сигнал альтернативного датчика в способах, описанных выше.
Хотя настоящее изобретение было описано в отношении конкретных вариантов осуществления, специалистам очевидно, что могут быть сделаны изменения в форме и деталях без отрыва от объема и контекста изобретения.

Claims (29)

1. Мобильное ручное устройство с многосенсорным улучшением речи, содержащее:
микрофон с воздушной проводимостью, который преобразует акустические волны в электрический сигнал микрофона, указывающий фрейм речи;
по меньшей мере, один альтернативный датчик, использующий костную проводимость и выдающий электрический сигнал альтернативного датчика, указывающий упомянутый фрейм речи; и
процессор, который использует сигнал микрофона и сигнал альтернативного датчика, чтобы оценить значение чистой речи для фрейма речи.
2. Мобильное ручное устройство по п.1, в котором второй альтернативный датчик, использующий костную проводимость, выдает электрический сигнал второго альтернативного датчика, указывающий упомянутый фрейм речи.
3. Мобильное ручное устройство по п.2, в котором оно имеет левую сторону и правую сторону, противоположную левой стороне и в котором альтернативный датчик расположен около левой стороны, и второй альтернативный датчик расположен около правой стороны.
4. Мобильное ручное устройство по п.2, дополнительно содержащее блок выбора, который выбирает один сигнал из электрического сигнала альтернативного датчика и электрического сигнала второго альтернативного датчика.
5. Мобильное ручное устройство по п.4, в котором блок выбора выбирает один сигнал из электрического сигнала альтернативного датчика, и электрического сигнала второго альтернативного датчика, на основании амплитуды сигнала альтернативного датчика и сигнала второго альтернативного датчика.
6. Мобильное ручное устройство по п.1, дополнительно содержащее громкоговоритель, который формирует звук на основании величины шума в значении чистой речи.
7. Мобильное ручное устройство по п.1, дополнительно содержащее датчик приближения, который формирует сигнал приближения, указывающий на расстояние между мобильным ручным устройством и объектом.
8. Мобильное ручное устройство по п.7, в котором процессор определяет значение чистой речи на основании сигнала микрофона, сигнала альтернативного датчика, и сигнала приближения.
9. Мобильное ручное устройство по п.8, в котором процессор определяет значение чистой речи путем определения вклада микрофона в значение чистой речи на основании сигнала микрофона; определения вклада альтернативного датчика в значение чистой речи на основании сигнала альтернативного датчика; и определение вклада микрофона и вклада альтернативного датчика на основании сигнала приближения.
10. Мобильное ручное устройство по п.7, в котором громкоговоритель формирует звук на основании сигнала приближения.
11. Мобильное ручное устройство по п.1, в котором упомянутый по меньшей мере один альтернативный датчик содержит преобразователь давления, который гидравлически подсоединен к подкладке, заполненной средой.
12. Мобильное ручное устройство по п.11, в котором оно имеет левую сторону и правую сторону, противоположную левой стороне и в котором подкладка имеет первую часть с левой стороны и вторую часть с правой стороны.
13. Мобильное ручное устройство по п.11, в котором по меньшей мере один альтернативный датчик дополнительно выдает сигнал приближения.
14. Мобильное ручное устройство по п.13, в котором сигнал приближения по меньшей мере одного альтернативного датчика содержит постоянную составляющую электрического сигнала, сформированного преобразователем давления.
15. Мобильное ручное устройство по п.13, в котором сигнал приближения по меньшей мере одного альтернативного датчика содержит переменную составляющую электрического сигнала, сформированного преобразователем давления.
16. Мобильное ручное устройство с многосенсорным улучшением речи, содержащее:
микрофон с воздушной проводимостью, который преобразует акустические волны в электрический сигнал микрофона;
альтернативный датчик, использующий костную проводимость, который выдает электрический сигнал альтернативного датчика, указывающего речь;
датчик приближения, отдельный от микрофона с воздушной проводимостью, который выдает электрический сигнал приближения, отдельный от сигнала микрофона с воздушной проводимостью, который указывает расстояние от мобильного устройства до объекта, и
блок оценки чистого сигнала, который использует сигнал микрофона, сигнал альтернативного датчика, использующего костную проводимость, и сигнал приближения для удаления шума из сигнала микрофона и получения, таким образом, усиленного сигнала чистой речи.
17. Мобильное устройство по п.16, дополнительно содержащее громкоговоритель, который формирует звук на основании оценки уровня шума в усиленном чистом сигнале речи.
18. Мобильное устройство по п.16, в котором сформирован усиленный чистый сигнал речи с использованием сигнала приближения, определяющего вклад альтернативного датчика, использующего костную проводимость, в усиленный чистый сигнал речи, который сформирован из сигнала упомянутого альтернативного датчика.
19. Мобильное устройство по п.18, в котором вклад альтернативного датчика, использующего костную проводимость, в усиленный чистый сигнал речи меньше, когда сигнал приближения указывает, что мобильное устройство находится далеко от объекта.
20. Мобильное устройство по п.16, дополнительно содержащее громкоговоритель, который формирует звук на основании сигнала приближения.
21. Мобильное устройство по п.20, в котором громкость звука усиливается, когда сигнал приближения указывает, что расстояние между мобильным устройством и объектом увеличивается.
22. Мобильное устройство по п.16, в котором альтернативный датчик и датчик приближения объединены в единый датчик, в котором альтернативный датчик, использующий костную проводимость, обеспечивает сигнал альтернативного датчика, а датчик приближения обеспечивает сигнал датчика приближения.
23. Мобильное устройство по п.22, в котором упомянутый единый датчик содержит преобразователь давления, который выдает электрический сигнал, причем этот электрический сигнал имеет постоянную составляющую, которая представляет сигнал приближения, и переменную составляющую, которая представляет сигнал альтернативного датчика.
24. Способ многосенсорного улучшения речи на мобильном ручном устройстве, содержащий прием сигнала микрофона с воздушной проводимостью; прием сигнала альтернативного датчика, использующего костную проводимость, который указывает на наличие речи; оценку усиленного значения чистой речи на основании сигнала микрофона с воздушной проводимостью и сигнала альтернативного датчика, использующего костную проводимость, оценку шума в усиленном значении чистой речи; и
использование оценки шума для формирования звука через громкоговоритель в мобильном устройстве.
25. Способ по п.24, в котором при увеличении оценки шума громкость звука усиливается.
26. Способ по п.24, дополнительно содержащий прием сигнала датчика приближения, который указывает расстояние между мобильным устройством и объектом, и использование сигнала датчика приближения при оценке усиленного значения чистой речи.
27. Способ по п.26, в котором использование сигнала датчика приближения определяет вклад в усиленном значении чистой речи, которое получают из сигнала альтернативного датчика, использующего костную проводимость, на основании сигнала датчика приближения.
28. Способ по п.27, в котором вклад альтернативного датчика, использующего костную проводимость, в усиленном значении чистой речи больше, когда сигнал датчика приближения указывает, что мобильное устройство находится близко к объекту.
29. Способ по п.28, в котором объектом является голова пользователя.
RU2005104970/02A 2004-02-24 2005-02-22 Способ многосенсорного улучшения речи на мобильном ручном устройстве и мобильное ручное устройство RU2376722C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/785,768 2004-02-24
US10/785,768 US7499686B2 (en) 2004-02-24 2004-02-24 Method and apparatus for multi-sensory speech enhancement on a mobile device

Publications (2)

Publication Number Publication Date
RU2005104970A RU2005104970A (ru) 2006-08-10
RU2376722C2 true RU2376722C2 (ru) 2009-12-20

Family

ID=34750476

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2005104970/02A RU2376722C2 (ru) 2004-02-24 2005-02-22 Способ многосенсорного улучшения речи на мобильном ручном устройстве и мобильное ручное устройство

Country Status (18)

Country Link
US (1) US7499686B2 (ru)
EP (1) EP1569422B1 (ru)
JP (1) JP4796309B2 (ru)
KR (1) KR101137181B1 (ru)
CN (2) CN101510905B (ru)
AU (1) AU2005200249A1 (ru)
BR (1) BRPI0500587A (ru)
CA (1) CA2494637C (ru)
EG (1) EG23701A (ru)
ES (1) ES2775799T3 (ru)
IL (1) IL166473A (ru)
MX (1) MXPA05002133A (ru)
NO (1) NO332636B1 (ru)
NZ (1) NZ537900A (ru)
RU (1) RU2376722C2 (ru)
SG (1) SG114686A1 (ru)
TW (1) TW200601798A (ru)
ZA (1) ZA200500691B (ru)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2574821C2 (ru) * 2010-02-02 2016-02-10 Конинклейке Филипс Электроникс Н.В. Контроллер для компоновки головного телефона
RU2595636C2 (ru) * 2010-11-24 2016-08-27 Конинклейке Филипс Электроникс Н.В. Система и способ для генерации аудиосигнала
RU2605522C2 (ru) * 2010-11-24 2016-12-20 Конинклейке Филипс Электроникс Н.В. Устройство, содержащее множество аудиодатчиков, и способ его эксплуатации

Families Citing this family (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6675027B1 (en) * 1999-11-22 2004-01-06 Microsoft Corp Personal mobile computing device having antenna microphone for improved speech recognition
US7383181B2 (en) 2003-07-29 2008-06-03 Microsoft Corporation Multi-sensory speech detection system
US7447630B2 (en) 2003-11-26 2008-11-04 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement
US7499686B2 (en) 2004-02-24 2009-03-03 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device
US8095073B2 (en) * 2004-06-22 2012-01-10 Sony Ericsson Mobile Communications Ab Method and apparatus for improved mobile station and hearing aid compatibility
US20060020454A1 (en) * 2004-07-21 2006-01-26 Phonak Ag Method and system for noise suppression in inductive receivers
US7574008B2 (en) 2004-09-17 2009-08-11 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement
WO2006033104A1 (en) * 2004-09-22 2006-03-30 Shalon Ventures Research, Llc Systems and methods for monitoring and modifying behavior
US7283850B2 (en) * 2004-10-12 2007-10-16 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device
US20060133621A1 (en) * 2004-12-22 2006-06-22 Broadcom Corporation Wireless telephone having multiple microphones
US7983720B2 (en) * 2004-12-22 2011-07-19 Broadcom Corporation Wireless telephone with adaptive microphone array
US20060135085A1 (en) * 2004-12-22 2006-06-22 Broadcom Corporation Wireless telephone with uni-directional and omni-directional microphones
US20070116300A1 (en) * 2004-12-22 2007-05-24 Broadcom Corporation Channel decoding for wireless telephones with multiple microphones and multiple description transmission
US8509703B2 (en) * 2004-12-22 2013-08-13 Broadcom Corporation Wireless telephone with multiple microphones and multiple description transmission
US7483727B2 (en) * 2005-04-04 2009-01-27 Research In Motion Limited Mobile wireless communications device having improved antenna impedance match and antenna gain from RF energy
US7346504B2 (en) 2005-06-20 2008-03-18 Microsoft Corporation Multi-sensory speech enhancement using a clean speech prior
US7680656B2 (en) * 2005-06-28 2010-03-16 Microsoft Corporation Multi-sensory speech enhancement using a speech-state model
US7406303B2 (en) 2005-07-05 2008-07-29 Microsoft Corporation Multi-sensory speech enhancement using synthesized sensor signal
PL211141B1 (pl) * 2005-08-03 2012-04-30 Piotr Kleczkowski Sposób miksowania sygnałów dźwiękowych
US8139787B2 (en) * 2005-09-09 2012-03-20 Simon Haykin Method and device for binaural signal enhancement
US7930178B2 (en) * 2005-12-23 2011-04-19 Microsoft Corporation Speech modeling and enhancement based on magnitude-normalized spectra
US8345890B2 (en) 2006-01-05 2013-01-01 Audience, Inc. System and method for utilizing inter-microphone level differences for speech enhancement
US8194880B2 (en) * 2006-01-30 2012-06-05 Audience, Inc. System and method for utilizing omni-directional microphones for speech enhancement
US8744844B2 (en) 2007-07-06 2014-06-03 Audience, Inc. System and method for adaptive intelligent noise suppression
US9185487B2 (en) 2006-01-30 2015-11-10 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction
US8204252B1 (en) 2006-10-10 2012-06-19 Audience, Inc. System and method for providing close microphone adaptive array processing
FR2899372B1 (fr) * 2006-04-03 2008-07-18 Adeunis Rf Sa Systeme de communication audio sans fil
US8934641B2 (en) 2006-05-25 2015-01-13 Audience, Inc. Systems and methods for reconstructing decomposed audio signals
US8204253B1 (en) 2008-06-30 2012-06-19 Audience, Inc. Self calibration of audio device
US8150065B2 (en) 2006-05-25 2012-04-03 Audience, Inc. System and method for processing an audio signal
US8949120B1 (en) 2006-05-25 2015-02-03 Audience, Inc. Adaptive noise cancelation
US8849231B1 (en) 2007-08-08 2014-09-30 Audience, Inc. System and method for adaptive power control
CN101449320B (zh) * 2006-05-31 2012-02-22 艾格瑞***有限公司 移动通信设备和在至少两种模式中工作的无线收发信机
US8364492B2 (en) * 2006-07-13 2013-01-29 Nec Corporation Apparatus, method and program for giving warning in connection with inputting of unvoiced speech
US20080175408A1 (en) * 2007-01-20 2008-07-24 Shridhar Mukund Proximity filter
US7734247B2 (en) * 2007-01-25 2010-06-08 Sony Ericsson Mobile Communications Ab Configurable serial memory interface
US8259926B1 (en) 2007-02-23 2012-09-04 Audience, Inc. System and method for 2-channel and 3-channel acoustic echo cancellation
US8068620B2 (en) * 2007-03-01 2011-11-29 Canon Kabushiki Kaisha Audio processing apparatus
US7925502B2 (en) * 2007-03-01 2011-04-12 Microsoft Corporation Pitch model for noise estimation
US8189766B1 (en) 2007-07-26 2012-05-29 Audience, Inc. System and method for blind subband acoustic echo cancellation postfiltering
US8631358B2 (en) 2007-10-10 2014-01-14 Apple Inc. Variable device graphical user interface
US8428661B2 (en) * 2007-10-30 2013-04-23 Broadcom Corporation Speech intelligibility in telephones with multiple microphones
US8180064B1 (en) 2007-12-21 2012-05-15 Audience, Inc. System and method for providing voice equalization
US8143620B1 (en) 2007-12-21 2012-03-27 Audience, Inc. System and method for adaptive classification of audio sources
US8676224B2 (en) * 2008-02-19 2014-03-18 Apple Inc. Speakerphone control for mobile device
US8194882B2 (en) 2008-02-29 2012-06-05 Audience, Inc. System and method for providing single microphone noise suppression fallback
US8355511B2 (en) 2008-03-18 2013-01-15 Audience, Inc. System and method for envelope-based acoustic echo cancellation
US8280732B2 (en) * 2008-03-27 2012-10-02 Wolfgang Richter System and method for multidimensional gesture analysis
WO2009135532A1 (en) * 2008-05-09 2009-11-12 Nokia Corporation An apparatus
US8774423B1 (en) 2008-06-30 2014-07-08 Audience, Inc. System and method for controlling adaptivity of signal modification using a phantom coefficient
US8521530B1 (en) 2008-06-30 2013-08-27 Audience, Inc. System and method for enhancing a monaural audio signal
US8218397B2 (en) 2008-10-24 2012-07-10 Qualcomm Incorporated Audio source proximity estimation using sensor array for noise reduction
JP5299030B2 (ja) * 2009-03-31 2013-09-25 ソニー株式会社 ヘッドホン装置
US9009039B2 (en) * 2009-06-12 2015-04-14 Microsoft Technology Licensing, Llc Noise adaptive training for speech recognition
US9873852B2 (en) 2009-10-16 2018-01-23 University Of Virginia Patent Foundation Gas-expanded lubricants for increased energy efficiency and related method and system
US8213664B2 (en) 2009-10-30 2012-07-03 Research In Motion Limited Shape-adaptable surface for an audio port
ATE531205T1 (de) * 2009-10-30 2011-11-15 Research In Motion Ltd In der form anpassungsfähige oberfläche für einen audioanschluss
EP3550853A1 (en) * 2009-11-24 2019-10-09 Nokia Technologies Oy An apparatus
US9008329B1 (en) 2010-01-26 2015-04-14 Audience, Inc. Noise reduction using multi-feature cluster tracker
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US9123323B2 (en) * 2010-06-04 2015-09-01 John P. Keady Method and structure for inducing acoustic signals and attenuating acoustic signals
WO2011159349A1 (en) 2010-06-14 2011-12-22 Audiotoniq, Inc. Hearing aid system
US8761421B2 (en) 2011-01-14 2014-06-24 Audiotoniq, Inc. Portable electronic device and computer-readable medium for remote hearing aid profile storage
US9167339B2 (en) 2010-07-07 2015-10-20 Iii Holdings 4, Llc Hearing damage limiting headphones
US8731923B2 (en) * 2010-08-20 2014-05-20 Adacel Systems, Inc. System and method for merging audio data streams for use in speech recognition applications
TWI486068B (zh) * 2010-09-13 2015-05-21 Htc Corp 行動電子裝置與其聲音播放方法
US8515110B2 (en) 2010-09-30 2013-08-20 Audiotoniq, Inc. Hearing aid with automatic mode change capabilities
US10687150B2 (en) 2010-11-23 2020-06-16 Audiotoniq, Inc. Battery life monitor system and method
KR101500823B1 (ko) * 2010-11-25 2015-03-09 고어텍 인크 음성 향상 방법, 장치 및 노이즈 감소 통신 헤드셋
JP5911248B2 (ja) * 2011-09-22 2016-04-27 株式会社ファインウェル 携帯電話
US8918149B2 (en) 2010-12-27 2014-12-23 Rohm Co., Ltd. Mobile telephone
JP5902416B2 (ja) * 2011-08-19 2016-04-13 株式会社ファインウェル 携帯電話
US9313306B2 (en) 2010-12-27 2016-04-12 Rohm Co., Ltd. Mobile telephone cartilage conduction unit for making contact with the ear cartilage
CN103053147B (zh) 2010-12-27 2017-03-22 罗姆股份有限公司 呼入/呼出通话单元以及呼入通话单元
JP5783352B2 (ja) 2011-02-25 2015-09-24 株式会社ファインウェル 会話システム、会話システム用指輪、携帯電話用指輪、指輪型携帯電話、及び、音声聴取方法
EP2509337B1 (en) * 2011-04-06 2014-09-24 Sony Ericsson Mobile Communications AB Accelerometer vector controlled noise cancelling method
US8909524B2 (en) * 2011-06-07 2014-12-09 Analog Devices, Inc. Adaptive active noise canceling for handset
JP5731362B2 (ja) * 2011-11-28 2015-06-10 京セラ株式会社 電子機器
EP2806654B1 (en) 2012-01-20 2019-09-04 FINEWELL Co., Ltd. Portable telephone having cartilage conduction section
JP2015513854A (ja) * 2012-03-01 2015-05-14 ボーン トーン コミュニケイションズ（イスラエル）リミテッドＢｏｎｅ Ｔｏｎｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（Ｉｓｒａｅｌ）Ｌｔｄ． モバイル通信機器での音声通信エクスペリエンスを向上させるための方法およびシステム
US9998836B2 (en) * 2012-05-01 2018-06-12 Kyocera Corporation Electronic device, control method, and control program
EP2869591B1 (en) 2012-06-29 2020-12-09 FINEWELL Co., Ltd. Stereo earphone
US9094749B2 (en) 2012-07-25 2015-07-28 Nokia Technologies Oy Head-mounted sound capture device
US9438985B2 (en) 2012-09-28 2016-09-06 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
US9313572B2 (en) 2012-09-28 2016-04-12 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
US9363596B2 (en) 2013-03-15 2016-06-07 Apple Inc. System and method of mixing accelerometer and microphone signals to improve voice quality in a mobile device
KR102282366B1 (ko) 2013-06-03 2021-07-27 삼성전자주식회사 음성 향상 방법 및 그 장치
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
WO2015025829A1 (ja) 2013-08-23 2015-02-26 ローム株式会社 携帯電話
EP3062491B1 (en) 2013-10-24 2019-02-20 FINEWELL Co., Ltd. Bracelet-type transmission/reception device and bracelet-type notification device
CN103778909B (zh) * 2014-01-10 2017-03-01 瑞声科技（南京）有限公司 屏幕发声***及其控制方法
US9547175B2 (en) 2014-03-18 2017-01-17 Google Inc. Adaptive piezoelectric array for bone conduction receiver in wearable computers
JP6551919B2 (ja) 2014-08-20 2019-07-31 株式会社ファインウェル 見守りシステム、見守り検知装置および見守り通報装置
JP6446913B2 (ja) * 2014-08-27 2019-01-09 富士通株式会社 音声処理装置、音声処理方法及び音声処理用コンピュータプログラム
DE112015003945T5 (de) 2014-08-28 2017-05-11 Knowles Electronics, Llc Mehrquellen-Rauschunterdrückung
TWI559784B (zh) * 2014-09-19 2016-11-21 和碩聯合科技股份有限公司 音訊裝置及音訊調校方法
JP5951738B2 (ja) * 2014-12-01 2016-07-13 株式会社ファインウェル 振動素子およびこれを用いた携帯電話
EP3236669A4 (en) 2014-12-18 2018-10-03 Rohm Co., Ltd. Cartilage conduction hearing device using electromagnetic-type vibration unit, and electromagnetic-type vibration unit
TWI566742B (zh) 2015-02-26 2017-01-21 華邦電子股份有限公司 分析處理裝置
TWI552004B (zh) 2015-03-12 2016-10-01 國立交通大學 信號分解方法及其電子裝置
GB2538853B (en) 2015-04-09 2018-09-19 Dolby Laboratories Licensing Corp Switching to a second audio interface between a computer apparatus and an audio apparatus
KR102372188B1 (ko) * 2015-05-28 2022-03-08 삼성전자주식회사 오디오 신호의 잡음을 제거하기 위한 방법 및 그 전자 장치
US9847093B2 (en) * 2015-06-19 2017-12-19 Samsung Electronics Co., Ltd. Method and apparatus for processing speech signal
CN107848125B (zh) 2015-07-15 2021-04-27 株式会社精好 机器人和机器人***
JP6551929B2 (ja) 2015-09-16 2019-07-31 株式会社ファインウェル 受話機能を有する腕時計
US10165362B2 (en) * 2015-12-24 2018-12-25 Intel Corporation Automated equalization
KR102108668B1 (ko) 2016-01-19 2020-05-07 파인웰 씨오., 엘티디 펜형 송수화 장치
JP6178884B2 (ja) * 2016-01-27 2017-08-09 株式会社ファインウェル 携帯電話
US10319377B2 (en) * 2016-03-15 2019-06-11 Tata Consultancy Services Limited Method and system of estimating clean speech parameters from noisy speech parameters
JP6096962B2 (ja) * 2016-03-29 2017-03-15 株式会社ファインウェル 携帯電話
CN107071652B (zh) * 2016-12-27 2023-08-04 深圳市优必选科技有限公司 一种服务机器人
CN106792354A (zh) * 2016-12-27 2017-05-31 广东小天才科技有限公司 一种可穿戴设备的播放模式控制方法及可穿戴设备
CN106686494A (zh) * 2016-12-27 2017-05-17 广东小天才科技有限公司 一种可穿戴设备的语音输入控制方法及可穿戴设备
CN106850963A (zh) * 2016-12-27 2017-06-13 广东小天才科技有限公司 一种可穿戴设备的通话控制方法及可穿戴设备
US10614788B2 (en) 2017-03-15 2020-04-07 Synaptics Incorporated Two channel headset-based own voice enhancement
US10135822B2 (en) 2017-03-21 2018-11-20 YouaretheID, LLC Biometric authentication of individuals utilizing characteristics of bone and blood vessel structures
CN107910011B (zh) * 2017-12-28 2021-05-04 科大讯飞股份有限公司 一种语音降噪方法、装置、服务器及存储介质
US11600273B2 (en) 2018-02-14 2023-03-07 Nec Corporation Speech processing apparatus, method, and program
JP2020053948A (ja) 2018-09-28 2020-04-02 株式会社ファインウェル 聴取装置
CN110058689A (zh) * 2019-04-08 2019-07-26 深圳大学 一种基于脸部振动的智能设备输入方法
WO2021046796A1 (en) 2019-09-12 2021-03-18 Shenzhen Voxtech Co., Ltd. Systems and methods for audio signal generation
CN110931031A (zh) * 2019-10-09 2020-03-27 大象声科（深圳）科技有限公司 一种融合骨振动传感器和麦克风信号的深度学习语音提取和降噪方法
CN111327985A (zh) * 2020-03-06 2020-06-23 华勤通讯技术有限公司 一种耳机降噪方法和装置
CN113205824B (zh) * 2021-04-30 2022-11-11 紫光展锐(重庆)科技有限公司 声音信号处理方法、装置、存储介质、芯片及相关设备

Family Cites Families (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2761800A (en) * 1955-05-02 1956-09-04 Rca Corp Method of forming p-n junctions in n-type germanium
US3383466A (en) * 1964-05-28 1968-05-14 Navy Usa Nonacoustic measures in automatic speech recognition
US3746789A (en) * 1971-10-20 1973-07-17 E Alcivar Tissue conduction microphone utilized to activate a voice operated switch
US3787641A (en) * 1972-06-05 1974-01-22 Setcom Corp Bone conduction microphone assembly
JPS5756624Y2 (ru) * 1979-04-20 1982-12-06
US4382164A (en) * 1980-01-25 1983-05-03 Bell Telephone Laboratories, Incorporated Signal stretcher for envelope generator
JPS62239231A (ja) * 1986-04-10 1987-10-20 Kiyarii Rabo:Kk ***画像入力による音声認識方法
JPH0755167B2 (ja) * 1988-09-21 1995-06-14 松下電器産業株式会社 移動体
JPH03108997A (ja) 1989-09-22 1991-05-09 Temuko Japan:Kk 骨伝導マイク
JPH03160851A (ja) * 1989-11-20 1991-07-10 Fujitsu Ltd 携帯電話機
US5054079A (en) * 1990-01-25 1991-10-01 Stanton Magnetics, Inc. Bone conduction microphone with mounting means
US5404577A (en) * 1990-07-13 1995-04-04 Cairns & Brother Inc. Combination head-protective helmet & communications system
US5295193A (en) * 1992-01-22 1994-03-15 Hiroshi Ono Device for picking up bone-conducted sound in external auditory meatus and communication device using the same
US5590241A (en) * 1993-04-30 1996-12-31 Motorola Inc. Speech processing system and method for enhancing a speech signal in a noisy environment
US5446789A (en) * 1993-11-10 1995-08-29 International Business Machines Corporation Electronic device having antenna for receiving soundwaves
JPH0739150U (ja) * 1993-12-14 1995-07-14 アツデン株式会社 携帯用電話機
AU684872B2 (en) * 1994-03-10 1998-01-08 Cable And Wireless Plc Communication system
US5828768A (en) * 1994-05-11 1998-10-27 Noise Cancellation Technologies, Inc. Multimedia personal computer with active noise reduction and piezo speakers
DE69527731T2 (de) * 1994-05-18 2003-04-03 Nippon Telegraph & Telephone Sender-Empfänger mit einem akustischen Wandler vom Ohrpassstück-Typ
JPH08186654A (ja) 1994-12-22 1996-07-16 Internatl Business Mach Corp <Ibm> 携帯端末装置
JP3453898B2 (ja) * 1995-02-17 2003-10-06 ソニー株式会社 音声信号の雑音低減方法及び装置
US5701390A (en) * 1995-02-22 1997-12-23 Digital Voice Systems, Inc. Synthesis of MBE-based coded speech using regenerated phase information
US5692059A (en) * 1995-02-24 1997-11-25 Kruger; Frederick M. Two active element in-the-ear microphone system
US5555449A (en) * 1995-03-07 1996-09-10 Ericsson Inc. Extendible antenna and microphone for portable communication unit
JP3264822B2 (ja) * 1995-04-05 2002-03-11 三菱電機株式会社 移動体通信機器
US5651074A (en) 1995-05-11 1997-07-22 Lucent Technologies Inc. Noise canceling gradient microphone assembly
KR960042590A (ko) * 1995-05-23 1996-12-21 김광호 테이프 재생용 음량기기에서의 발음비교방법
US5647834A (en) * 1995-06-30 1997-07-15 Ron; Samuel Speech-based biofeedback method and system
JP3591068B2 (ja) * 1995-06-30 2004-11-17 ソニー株式会社 音声信号の雑音低減方法
JP3674990B2 (ja) * 1995-08-21 2005-07-27 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
JPH09172479A (ja) * 1995-12-20 1997-06-30 Yokoi Kikaku:Kk 送受話器およびそれを用いた通話装置
US6377919B1 (en) * 1996-02-06 2002-04-23 The Regents Of The University Of California System and method for characterizing voiced excitations of speech and acoustic signals, removing acoustic noise from speech, and synthesizing speech
US6006175A (en) * 1996-02-06 1999-12-21 The Regents Of The University Of California Methods and apparatus for non-acoustic speech characterization and recognition
US6243596B1 (en) * 1996-04-10 2001-06-05 Lextron Systems, Inc. Method and apparatus for modifying and integrating a cellular phone with the capability to access and browse the internet
JPH09284877A (ja) * 1996-04-19 1997-10-31 Toyo Commun Equip Co Ltd マイクシステム
US5943627A (en) * 1996-09-12 1999-08-24 Kim; Seong-Soo Mobile cellular phone
JPH10261910A (ja) * 1997-01-16 1998-09-29 Sony Corp 携帯無線装置およびアンテナ装置
JP2874679B2 (ja) * 1997-01-29 1999-03-24 日本電気株式会社 雑音消去方法及びその装置
JPH10224253A (ja) * 1997-02-10 1998-08-21 Sony Corp 携帯通信機
US6308062B1 (en) * 1997-03-06 2001-10-23 Ericsson Business Networks Ab Wireless telephony system enabling access to PC based functionalities
FR2761800A1 (fr) 1997-04-02 1998-10-09 Scanera Sc Dispositif de transmission de voix et telephone le mettant en oeuvre
US5983073A (en) * 1997-04-04 1999-11-09 Ditzik; Richard J. Modular notebook and PDA computer systems for personal computing and wireless communications
US6175633B1 (en) * 1997-04-09 2001-01-16 Cavcom, Inc. Radio communications apparatus with attenuating ear pieces for high noise environments
US6151397A (en) * 1997-05-16 2000-11-21 Motorola, Inc. Method and system for reducing undesired signals in a communication environment
JP3548380B2 (ja) * 1997-05-30 2004-07-28 アイホン株式会社 ドアホン子機
US5924065A (en) * 1997-06-16 1999-07-13 Digital Equipment Corporation Environmently compensated speech processing
US6434239B1 (en) * 1997-10-03 2002-08-13 Deluca Michael Joseph Anti-sound beam method and apparatus
JPH11249692A (ja) 1998-02-27 1999-09-17 Nec Saitama Ltd 音声認識装置
EP0951883B1 (en) 1998-03-18 2005-07-27 Nippon Telegraph and Telephone Corporation Wearable communication device with bone conduction transducer
EP1080361A4 (en) * 1998-05-19 2005-08-10 Spectrx Inc APPARATUS AND METHOD FOR DETERMINING THE CHARACTERISTICS OF FABRICS
US6717991B1 (en) * 1998-05-27 2004-04-06 Telefonaktiebolaget Lm Ericsson (Publ) System and method for dual microphone signal noise reduction using spectral subtraction
US6052464A (en) * 1998-05-29 2000-04-18 Motorola, Inc. Telephone set having a microphone for receiving or an earpiece for generating an acoustic signal via a keypad
US6137883A (en) * 1998-05-30 2000-10-24 Motorola, Inc. Telephone set having a microphone for receiving an acoustic signal via keypad
JP3160714B2 (ja) * 1998-07-08 2001-04-25 株式会社シコー技研 携帯無線通信機
US6292674B1 (en) * 1998-08-05 2001-09-18 Ericsson, Inc. One-handed control for wireless telephone
JP3893763B2 (ja) * 1998-08-17 2007-03-14 富士ゼロックス株式会社 音声検出装置
US6760600B2 (en) * 1999-01-27 2004-07-06 Gateway, Inc. Portable communication apparatus
JP2000250577A (ja) * 1999-02-24 2000-09-14 Nippon Telegr & Teleph Corp <Ntt> 音声認識装置及び同装置に使用される学習方法ならびに学習装置及び同方法がプログラムされ記録された記録媒体
DE19917169A1 (de) 1999-04-16 2000-11-02 Kamecke Keller Orla Verfahren zur Speicherung und Wiedergabe von Audio-, Video- und Anwendungsprogrammdaten in Mobilfunkendgeräten
US6542721B2 (en) * 1999-10-11 2003-04-01 Peter V. Boesen Cellular telephone, personal digital assistant and pager unit
US6952483B2 (en) * 1999-05-10 2005-10-04 Genisus Systems, Inc. Voice transmission apparatus with UWB
US20020057810A1 (en) * 1999-05-10 2002-05-16 Boesen Peter V. Computer and voice communication unit with handsfree device
US6094492A (en) * 1999-05-10 2000-07-25 Boesen; Peter V. Bone conduction voice transmission apparatus and system
US6560468B1 (en) * 1999-05-10 2003-05-06 Peter V. Boesen Cellular telephone, personal digital assistant, and pager unit with capability of short range radio frequency transmissions
US6738485B1 (en) * 1999-05-10 2004-05-18 Peter V. Boesen Apparatus, method and system for ultra short range communication
JP2001016057A (ja) * 1999-07-01 2001-01-19 Matsushita Electric Ind Co Ltd 音響装置
US6594629B1 (en) * 1999-08-06 2003-07-15 International Business Machines Corporation Methods and apparatus for audio-visual speech detection and recognition
US6603823B1 (en) * 1999-11-12 2003-08-05 Intel Corporation Channel estimator
US6339706B1 (en) * 1999-11-12 2002-01-15 Telefonaktiebolaget L M Ericsson (Publ) Wireless voice-activated remote control device
FI116643B (fi) * 1999-11-15 2006-01-13 Nokia Corp Kohinan vaimennus
US6411933B1 (en) * 1999-11-22 2002-06-25 International Business Machines Corporation Methods and apparatus for correlating biometric attributes and biometric attribute production features
US6675027B1 (en) * 1999-11-22 2004-01-06 Microsoft Corp Personal mobile computing device having antenna microphone for improved speech recognition
GB2357400A (en) * 1999-12-17 2001-06-20 Nokia Mobile Phones Ltd Controlling a terminal of a communication system
JP4472823B2 (ja) * 2000-02-04 2010-06-02 パナソニック株式会社 クロマトグラフィー試験片、及びその製造方法
US20030179888A1 (en) * 2002-03-05 2003-09-25 Burnett Gregory C. Voice activity detection (VAD) devices and methods for use with noise suppression systems
JP3339579B2 (ja) * 2000-10-04 2002-10-28 株式会社鷹山 電話装置
KR100394840B1 (ko) * 2000-11-30 2003-08-19 한국과학기술원 독립 성분 분석을 이용한 능동 잡음 제거방법
US6853850B2 (en) * 2000-12-04 2005-02-08 Mobigence, Inc. Automatic speaker volume and microphone gain control in a portable handheld radiotelephone with proximity sensors
US20020075306A1 (en) * 2000-12-18 2002-06-20 Christopher Thompson Method and system for initiating communications with dispersed team members from within a virtual team environment using personal identifiers
US6985858B2 (en) * 2001-03-20 2006-01-10 Microsoft Corporation Method and apparatus for removing noise from feature vectors
GB2375276B (en) 2001-05-03 2003-05-28 Motorola Inc Method and system of sound processing
US6987986B2 (en) * 2001-06-21 2006-01-17 Boesen Peter V Cellular telephone, personal digital assistant with dual lines for simultaneous uses
JP3699018B2 (ja) * 2001-07-25 2005-09-28 埼玉日本電気株式会社 電話機の自動音量調整装置
US7054423B2 (en) * 2001-09-24 2006-05-30 Nebiker Robert M Multi-media communication downloading
US6959276B2 (en) * 2001-09-27 2005-10-25 Microsoft Corporation Including the category of environmental noise when processing speech signals
US6952482B2 (en) * 2001-10-02 2005-10-04 Siemens Corporation Research, Inc. Method and apparatus for noise filtering
JP3532544B2 (ja) * 2001-10-30 2004-05-31 株式会社テムコジャパン 面体又は帽体のストラップ装着用送受話装置
JP3678694B2 (ja) * 2001-11-02 2005-08-03 Ｎｅｃビューテクノロジー株式会社 対話型端末装置、その通話制御方法、およびそのプログラム
US7162415B2 (en) * 2001-11-06 2007-01-09 The Regents Of The University Of California Ultra-narrow bandwidth voice coding
US6707921B2 (en) * 2001-11-26 2004-03-16 Hewlett-Packard Development Company, Lp. Use of mouth position and mouth movement to filter noise from speech in a hearing aid
DE10158583A1 (de) * 2001-11-29 2003-06-12 Philips Intellectual Property Verfahren zum Betrieb eines Barge-In-Dialogsystems
US6664713B2 (en) * 2001-12-04 2003-12-16 Peter V. Boesen Single chip device for voice communications
US7219062B2 (en) * 2002-01-30 2007-05-15 Koninklijke Philips Electronics N.V. Speech activity detection using acoustic and facial characteristics in an automatic speech recognition system
US9374451B2 (en) 2002-02-04 2016-06-21 Nokia Technologies Oy System and method for multimodal short-cuts to digital services
US7117148B2 (en) * 2002-04-05 2006-10-03 Microsoft Corporation Method of noise reduction using correction vectors based on dynamic aspects of speech and noise normalization
US7190797B1 (en) * 2002-06-18 2007-03-13 Plantronics, Inc. Headset with foldable noise canceling and omnidirectional dual-mode boom
GB2390264B (en) 2002-06-24 2006-07-12 Samsung Electronics Co Ltd Usage position detection
MXPA05001079A (es) * 2002-07-26 2005-06-03 Oakley Inc Audifonos interactivos inalambricos.
US7092529B2 (en) * 2002-11-01 2006-08-15 Nanyang Technological University Adaptive control system for noise cancellation
TW200425763A (en) * 2003-01-30 2004-11-16 Aliphcom Inc Acoustic vibration sensor
US7593851B2 (en) * 2003-03-21 2009-09-22 Intel Corporation Precision piecewise polynomial approximation for Ephraim-Malah filter
US20060008256A1 (en) * 2003-10-01 2006-01-12 Khedouri Robert K Audio visual player apparatus and system and method of content distribution using the same
US7447630B2 (en) * 2003-11-26 2008-11-04 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement
US7133825B2 (en) * 2003-11-28 2006-11-07 Skyworks Solutions, Inc. Computationally efficient background noise suppressor for speech coding and speech recognition
US7499686B2 (en) 2004-02-24 2009-03-03 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device
US8095073B2 (en) * 2004-06-22 2012-01-10 Sony Ericsson Mobile Communications Ab Method and apparatus for improved mobile station and hearing aid compatibility
US7574008B2 (en) * 2004-09-17 2009-08-11 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement
US7283850B2 (en) * 2004-10-12 2007-10-16 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2574821C2 (ru) * 2010-02-02 2016-02-10 Конинклейке Филипс Электроникс Н.В. Контроллер для компоновки головного телефона
RU2595636C2 (ru) * 2010-11-24 2016-08-27 Конинклейке Филипс Электроникс Н.В. Система и способ для генерации аудиосигнала
RU2605522C2 (ru) * 2010-11-24 2016-12-20 Конинклейке Филипс Электроникс Н.В. Устройство, содержащее множество аудиодатчиков, и способ его эксплуатации
RU2804933C2 (ru) * 2019-09-12 2023-10-09 Шэньчжэнь Шокз Ко., Лтд. Системы и способы выработки аудиосигнала

Also Published As

Publication number Publication date
US20050185813A1 (en) 2005-08-25
JP4796309B2 (ja) 2011-10-19
NO20050986L (no) 2005-08-25
IL166473A (en) 2010-12-30
CN101510905A (zh) 2009-08-19
ES2775799T3 (es) 2020-07-28
TW200601798A (en) 2006-01-01
BRPI0500587A (pt) 2005-10-18
RU2005104970A (ru) 2006-08-10
IL166473A0 (en) 2006-01-15
NZ537900A (en) 2006-08-31
AU2005200249A1 (en) 2005-09-08
KR101137181B1 (ko) 2012-04-19
CN100583909C (zh) 2010-01-20
EP1569422A2 (en) 2005-08-31
CA2494637A1 (en) 2005-08-24
NO20050986D0 (no) 2005-02-23
NO332636B1 (no) 2012-11-26
SG114686A1 (en) 2005-09-28
CN1662018A (zh) 2005-08-31
EP1569422B1 (en) 2019-11-13
EG23701A (en) 2007-05-22
JP2005244968A (ja) 2005-09-08
KR20050086378A (ko) 2005-08-30
CA2494637C (en) 2013-09-03
US7499686B2 (en) 2009-03-03
CN101510905B (zh) 2011-03-09
MXPA05002133A (es) 2005-12-05
EP1569422A3 (en) 2007-08-29
ZA200500691B (en) 2007-03-28

Similar Documents

Publication Publication Date Title
RU2376722C2 (ru) Способ многосенсорного улучшения речи на мобильном ручном устройстве и мобильное ручное устройство
KR101099339B1 (ko) 복수-감지기형 음성 향상 방법 및 컴퓨터-판독가능 매체
EP2643834B1 (en) Device and method for producing an audio signal
EP2643981B1 (en) A device comprising a plurality of audio sensors and a method of operating the same
KR101422844B1 (ko) 깨끗한 음성 사전 확률을 이용한 멀티센서 음성 향상
JP6268916B2 (ja) 異常会話検出装置、異常会話検出方法及び異常会話検出用コンピュータプログラム
CN117294985B (zh) 一种tws蓝牙耳机控制方法
CN117294985A (zh) 一种tws蓝牙耳机控制方法

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20130223