RU2373584C2 - Способ и устройство для повышения разборчивости речи с использованием нескольких датчиков - Google Patents
Способ и устройство для повышения разборчивости речи с использованием нескольких датчиков Download PDFInfo
- Publication number
- RU2373584C2 RU2373584C2 RU2004131115/09A RU2004131115A RU2373584C2 RU 2373584 C2 RU2373584 C2 RU 2373584C2 RU 2004131115/09 A RU2004131115/09 A RU 2004131115/09A RU 2004131115 A RU2004131115 A RU 2004131115A RU 2373584 C2 RU2373584 C2 RU 2373584C2
- Authority
- RU
- Russia
- Prior art keywords
- signal
- alternative sensor
- speech
- vector
- noise
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 116
- 238000012937 correction Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000003860 storage Methods 0.000 claims description 30
- 238000001228 spectrum Methods 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 18
- 210000000988 bone and bone Anatomy 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 5
- 239000000126 substance Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 13
- 230000009467 reduction Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- CDFKCKUONRRKJD-UHFFFAOYSA-N 1-(3-chlorophenoxy)-3-[2-[[3-(3-chlorophenoxy)-2-hydroxypropyl]amino]ethylamino]propan-2-ol;methanesulfonic acid Chemical compound CS(O)(=O)=O.CS(O)(=O)=O.C=1C=CC(Cl)=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC(Cl)=C1 CDFKCKUONRRKJD-UHFFFAOYSA-N 0.000 description 1
- 240000002791 Brassica napus Species 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
Изобретение относится к устранению шума из речевых сигналов. Способ и система используют для оценки достоверного значения речи сигнал альтернативного датчика, принимаемый из датчика, отличного от микрофона с воздушной звукопроводимостью. При оценке используется сигнал альтернативного датчика исключительно или совместно с сигналом микрофона с воздушной звукопроводимостью. Достоверное значение речи оценивается без использования модели, обученной на обучающих данных с шумами, собранных из микрофона с воздушной звукопроводимостью. Согласно одному варианту осуществления к вектору, сформированному из сигнала альтернативного датчика, добавляются векторы поправки для формирования фильтра, применяемого к сигналу микрофона с воздушной звукопроводимостью для создания достоверной оценки речи. В других вариантах осуществления из сигнала альтернативного датчика определяется основной тон речевого сигнала, который используется для разложения сигнала микрофона с воздушной звукопроводимостью. Затем разложенный сигнал используется для определения достоверной оценки сигнала. Технический результат - обеспечение оптимальной оценки достоверного значения речи в условиях, когда сигнал альтернативного датчика отличается от сигнала микрофона с воздушной проводимостью. 3 н. и 12 з.п. ф-лы, 11 ил.
Description
Область техники, к которой относится изобретение
Настоящее изобретение относится к подавлению шума. В частности, настоящее изобретение относится к устранению шумов из речевых сигналов.
Уровень техники
Общей проблемой распознавания и передачи речи является искажение речевого сигнала аддитивным шумом. В частности, является трудно обнаруживаемым и/или корректируемым искажение из-за речи, производимой другим диктором.
Согласно одному способу устранения шума делается попытка смоделировать шум с использованием набора обучающих сигналов с шумами, собираемых при различных условиях. Указанные обучающие сигналы принимаются до испытательного сигнала, который должен быть декодирован или передан, и используются, исключительно, для обучающих целей. Хотя такие системы делают попытку формирования моделей, учитывающих шум, они являются эффективными только, если шумовые условия для обучающих сигналов соответствуют шумовым условиям для испытательных сигналов. Из-за большого количества возможных шумов и, по-видимому, неограниченных комбинаций шумов, очень трудно построить модели шумов на обучающих сигналах, которые могут обрабатывать каждое проверяемое условие.
Другим способом устранения шума является оценка шума в испытательном сигнале и, затем, вычитание ее из речевого сигнала с шумами. Обычно такие системы оценивают шум из предыдущих кадров испытательного сигнала. По существу, при изменении шума во времени, оценка шума для текущего кадра будет неточной.
Одна известная система для оценки шума в речевом сигнале использует гармоники человеческой речи. Гармоники человеческой речи формируют пики в частотном спектре. Указанные системы определяют спектр шума, определяя провалы между этими пиками. Затем, для обеспечения достоверного (без шумов) речевого сигнала, этот спектр вычитается из спектра речевого сигнала с шумами.
При кодировании речи для передачи по цифровому каналу связи, гармоники речи использовались также в кодировании речи для уменьшения количества данных, которые должны быть переданы. Такие системы осуществляют попытку разделения речевого сигнала на гармоническую составляющую и случайную составляющую. Затем каждая составляющая кодируется для передачи отдельно. В частности, одна система использовала модель гармоника + шум, в которой для выполнения разложения речевого сигнала подходит модель суммы синусоид.
В кодировании речи разложение выполняется для обнаружения параметризации речевого сигнала, точно представляющей входной речевой сигнал с шумами. Разложение не обладает способностью подавления шума.
В последнее время была разработана система, которая осуществляет попытку устранения шума с использованием комбинации с альтернативным датчиком, например микрофона с костной звукопроводимостью и микрофона с воздушной звукопроводимостью. Эта система обучается с использованием трех обучающих каналов: обучающего сигнала с шумами альтернативного датчика, обучающего сигнала с шумами микрофона с воздушной звукопроводимостью и достоверного обучающего сигнала микрофона с воздушной звукопроводимостью. Каждый из сигналов преобразуется в представление в виде значений характеристик. Характеристики сигнала с шумами альтернативного датчика и сигнала с шумами микрофона с воздушной звукопроводимостью комбинируются в одиночный вектор, представляющий сигнал с шумами. Характеристики достоверного сигнала микрофона с воздушной звукопроводимостью формируют одиночный достоверный вектор. Затем эти векторы используются для подготовки (обучения) соответствия между векторами с шумами и достоверными векторами. Однажды подготовленные, соответствия применяются к вектору с шумами, сформированному из комбинации испытательного сигнала с шумами альтернативного датчика и испытательного сигнала с шумами микрофона с воздушной звукопроводимостью. Указанное соответствие формирует достоверный вектор сигнала.
Указанная система является недостаточно оптимальной, когда шумовые условия испытательных сигналов не соответствуют шумовым условиям обучающих сигналов, так как соответствия разработаны для шумовых условий обучающих сигналов.
Сущность изобретения
Заявленные способ и система используют для оценки достоверного значения речи сигнал альтернативного датчика, принятый из датчика, отличного от микрофона с воздушной звукопроводимостью. Достоверное значение речи оценивается без использования модели, обученной на обучающих данных с шумами, собранных из микрофона с воздушной звукопроводимостью. Согласно одному варианту осуществления для создания оценки достоверной речи к вектору, сформированному из сигнала альтернативного датчика, добавляются векторы поправки для формирования фильтра, применяемого к сигналу микрофона с воздушной звукопроводимостью. В других вариантах осуществления из сигнала альтернативного датчика определяется основной тон речевого сигнала, который используется для разложения сигнала микрофона с воздушной звукопроводимостью. Затем разложенный сигнал используется для определения оценки достоверного сигнала.
Краткое описание чертежей
Фиг.1 - блок-схема одной вычислительной среды, в которой может быть осуществлено практически настоящее изобретение.
Фиг.2 - блок-схема альтернативной вычислительной среды, в которой может быть осуществлено практически настоящее изобретение.
Фиг.3 - блок-схема общей системы обработки речевых сигналов, согласно настоящему изобретению.
Фиг.4 - блок-схема системы для обучения параметров подавления шума согласно одному варианту осуществления настоящего изобретения.
Фиг.5 - блок-схема обучения параметров подавления шума с использованием системы фиг.4.
Фиг.6 - блок-схема системы для определения оценки достоверного речевого сигнала из испытательного речевого сигнала с шумами согласно одному варианту осуществления настоящего изобретения.
Фиг.7 - блок-схема способа определения оценки достоверного речевого сигнала с использованием системы фиг.6.
Фиг.8 - блок-схема альтернативной системы для определения оценки достоверного речевого сигнала.
Фиг.9 - блок-схема второй альтернативной системы для определения оценки достоверного речевого сигнала.
Фиг.10 - блок-схема способа определения оценки достоверного речевого сигнала с использованием системы фиг.9.
Фиг.11 - блок-схема микрофона с костной звукопроводимостью.
Подробное описание пояснительных вариантов осуществления
Фиг.1 иллюстрирует возможный вариант соответствующей среды 100 вычислительной системы, в которой может быть реализовано изобретение. Среда 100 вычислительной системы является только одним возможным вариантом соответствующей вычислительной среды и не предназначена для наложения какого-либо ограничения на область использования или на функциональные возможности изобретения. Также вычислительная среда 100 не должна интерпретироваться как зависимая от любого компонента или комбинации компонентов, иллюстрируемых возможной операционной средой 100, или как имеющая в них необходимость.
Изобретение может быть реализовано в отношении некоторых других конфигураций и сред универсальных и специальных вычислительных систем. Возможные варианты известных вычислительных систем, сред и/или конфигураций, которые могут быть использованы, включают в себя, например, персональные компьютеры, компьютеры-сервера, портативные или “дорожные” устройства, многопроцессорные системы, системы, основанные на микропроцессорах, компьютерные приставки к телевизору, программируемую бытовую электронику, сетевые персональные компьютеры (PC), миникомпьютеры, универсальные компьютеры, системы телефонной связи, распределенные вычислительные среды, содержащие любые из указанных систем или устройств и т.д.
Изобретение может быть описано в основном контексте команд, выполнимых компьютером, таких как программные модули, выполняемые компьютером. По существу, программные модули включают в себя процедуры, программы, объекты, компоненты, структуры данных и т.д., выполняющие конкретные задачи или реализующие определенные абстрактные типы данных. Изобретение предназначено для практического осуществления в распределенных вычислительных средах, в которых задачи выполняются удаленными устройствами обработки данных, соединенными через сеть связи. В распределенной вычислительной среде программные модули размещены на носителях информации локальных и удаленных компьютеров, включая запоминающие устройства.
Согласно фиг.1 возможная система для реализации изобретения содержит универсальное вычислительное устройство в виде компьютера 110. Компоненты компьютера 110 могут содержать, в частности, процессор 120, системную память 130 и системную шину 121, соединяющую различные компоненты системы, включая системную память, с процессором 120. Системной шиной 121 может быть любой из нескольких типов структур шины, включая шину памяти или контроллер памяти, периферийную шину и локальную шину, использующие любую из различных архитектур шины. В виде возможного варианта, такие архитектуры включают в себя шину архитектуры, соответствующую промышленному стандарту, ISA (АПС), шину микроканальной архитектуры, MCA (МКА), шину расширенной стандартной архитектуры для промышленного применения, EISA (РАПС), локальную шину Ассоциации по стандартам в области видеоэлектроники, VESA (АСВЭ), и 32-битовую системную шину PCI с возможностью расширения до 64 битов со скоростью передачи данных до 33 Мбайт/с, взаимодействие через которую происходит без участия центрального процессора (также известную, как шина Mezzanine) и т.д.
Компьютер 110, обычно, содержит несколько носителей информации, считываемых компьютером. Такой носитель информации, считываемый компьютером, может быть любым доступным носителем информации, к которому может осуществить доступ компьютер 110, и который включает в себя энергозависимый и энергонезависимый носитель информации, съемный и несъемный носитель информации. В виде возможного варианта носитель информации, считываемый компьютером, может включать в себя носитель информации компьютера и средство связи и т.д. Носитель информации компьютера включает в себя энергозависимый и энергонезависимый, съемный и несъемный носитель информации, реализованный любым способом или технологией для хранения информации, такой как команды, считываемые компьютером, структуры данных, программные модули или другие данные. Носитель информации компьютера включает в себя, например, оперативное запоминающее устройство RAM (ОЗУ), постоянное запоминающее устройство ROM (ПЗУ), электронно-перепрограммируемую постоянную память (EEPROM), флэш-память или другую технологию памяти, компакт диски CD-ROM, универсальные цифровые диски (DVD) или другой накопитель на оптических дисках, магнитные кассеты, магнитную ленту, накопитель на магнитных дисках или другие магнитные запоминающие устройства, или любой другой носитель информации, который может быть использован для хранения требуемой информации, и к которому может осуществить доступ компьютер 110. Средство связи обычно осуществляет команды, считываемые компьютером, структуры данных, программные модули или другие данные в модулированном сигнале данных, например, несущей или в другом механизме переноса информации и включает в себя любое средство доставки информации. Термин «модулированный сигнал данных» означает сигнал, который имеет одну или большее количество из набора его характеристик, или измененный таким образом, чтобы кодировать информацию в сигнале. В виде возможного варианта, средство связи включает в себя проводное средство, такое как проводная сеть или прямое кабельное соединение, и беспроводное средство, такое как акустическое, радио, инфракрасное и другое беспроводное средство и т.д. Комбинации любых упомянутых выше средств также должны быть включены в контекст носителей информации, считываемых компьютером.
Системная память 130 включает в себя носитель информации компьютера в виде энергонезависимой и/или энергозависимой памяти, такой как постоянное запоминающее устройство 131 (ПЗУ) и оперативное запоминающее устройство 132 (ОЗУ). Базовая система 133 ввода/вывода BIOS (БИОС), содержащая базовые процедуры, способствующие передаче информации между элементами внутри компьютера 110, например, используемые при запуске, в основном, хранится в ПЗУ 131. ОЗУ 132, в основном, содержит данные и/или программные модули, к которым можно осуществить доступ немедленно, и/или с которыми в текущее время оперирует процессор 120. В виде возможного варианта фиг.1, например, изображает операционную систему 134, прикладные программы 135, другие программные модули 135 и данные 137 программы.
Компьютер 110 также может содержать другие съемные/несъемные, энергозависимые/энергонезависимые носители информации компьютера. Исключительно в виде возможного варианта фиг. 1 изображает накопитель 141 на жестких дисках, который осуществляет считывание с несъемного энергонезависимого магнитного носителя информации или запись на него, накопитель 151 на магнитных дисках, который осуществляет считывание со съемного энергонезависимого магнитного диска 152 или запись на него, и накопитель 155 на оптических дисках, который осуществляет считывание со съемного энергонезависимого оптического диска 156, например, компакт-диска CD-ROM или другого оптического носителя информации, или запись на него. Другие съемные/несъемные, энергозависимые/энергонезависимые носители информации компьютера, которые могут использоваться в возможной операционной среде, включают в себя, в частности, кассеты с магнитной лентой, карты флэш-памяти, универсальные цифровые диски, цифровые видеоленты, твердотельное ОЗУ, твердотельное ПЗУ и т.д. Накопитель 141 на жестких дисках, обычно, подсоединен к системной шине 121 посредством интерфейса несъемной памяти, например интерфейса 140, а накопитель 151 на магнитных дисках и накопитель 155 на оптических дисках обычно подсоединены к системной шине 121 посредством интерфейса съемной памяти, например интерфейса 150.
Описанные выше и изображенные на фиг.1 накопители на дисках и соответствующие им носители информации компьютера обеспечивают хранение считываемых компьютером команд, структур данных, программных модулей и других данных для компьютера 110. На фиг.1, например, изображен накопитель 141 на жестких дисках, на котором хранятся операционная система 144, прикладные программы 145, другие программные модули 146 и данные 147 программы. Следует отметить, что указанные компоненты могут быть идентичны операционной системе 134, прикладным программам 135, другим программным модулям 136 и данным 137 программы, или отличны от них. Операционная система 144, прикладные программы 145, другие программные модули 146 и данные 147 программы здесь снабжены другими ссылочными позициями для пояснения того, что как минимум, они являются другими копиями.
Пользователь может осуществлять ввод команд и информации в компьютер 110 посредством устройств ввода данных, таких как клавиатура 162, микрофон 163 и указательное устройство 161, например мышь, шаровой указатель или сенсорная панель. В число других устройств ввода данных (не изображены) могут входить джойстик, игровая панель, спутниковая антенна, сканер или подобные устройства. Указанные и другие устройства ввода данных, часто, подсоединяются к процессору 120 посредством пользовательского интерфейса 160 для ввода/вывода данных, подсоединенного к системной шине, но они могут подсоединяться к процессору посредством другого интерфейса и других структур шины, таких как параллельный порт, игровой порт или универсальная последовательная шина (USB). Также к системной шине 121 посредством интерфейса, например видеоинтерфейса 190, может быть подсоединен монитор 191 или другой вид устройства отображения. В дополнение к монитору, компьютеры могут содержать также другие периферийные устройства вывода данных, такие как динамики 197 и принтер 196, которые могут быть подсоединены через интерфейс 195 периферийных устройств вывода данных.
Компьютер 110 эксплуатируется в среде с сетевой структурой с использованием логических соединений с одним или большим количеством удаленных компьютеров, например, удаленным компьютером 180. Удаленный компьютер 180 может быть персональным компьютером, переносным устройством, сервером, маршрутизатором, сетевым PC, одноранговым устройством или другим узлом общей сети и, обычно, содержит многие или все элементы, описанные выше в отношении компьютера 110. Логические соединения, изображенные на фиг.1, включают в себя локальную сеть связи LAN (ЛС) 171 и глобальную сеть связи WAN (ГС) 173. Такие сетевые среды часто используются в офисах, корпоративных вычислительных сетях, сетях интранет и в Интернете.
При использовании в сетевой среде ЛС компьютер 110 подсоединяется к ЛС 171 посредством сетевого интерфейса или адаптера 170. При использовании в сетевой среде ГС компьютер 110 обычно содержит модем 172 или другое средство для установления связи через ГС 173, такое как Интернет. Модем 172, который может быть внутренним или внешним, может подсоединяться к системной шине 121 посредством пользовательского интерфейса 160 для ввода данных или другого соответствующего механизма. В среде с сетевой структурой, программные модули, изображенные в отношении компьютера 110, или их части могут храниться в удаленных запоминающих устройствах. Например, в виде возможного варианта на фиг.1 удаленные прикладные программы 185 изображены резидентно хранящимися в удаленном компьютере 180. Ясно, что изображенные сетевые соединения являются возможными вариантами, и могут использоваться другие средства установления линии связи между компьютерами.
Фиг.2 - блок-схема мобильного устройства 200, которое является возможной вычислительной средой. Мобильное устройство 200 содержит микропроцессор 202, память 204, компоненты 206 ввода/вывода (I/O) данных, и интерфейс 208 связи для связи с удаленными компьютерами или другими мобильными устройствами. В одном варианте осуществления вышеупомянутые компоненты соединены для связи друг с другом через соответствующую шину 210.
Память 204 реализована в виде энергонезависимой электронной памяти, такой как оперативное запоминающее устройство (ОЗУ), с блоком батарейного питания (не изображен), чтобы при отключении общего питания мобильного устройства 200 не была потеряна информация, которая хранится в памяти 204. Часть памяти 204, предпочтительно, выделена в адресуемую память для выполнения программ, в то время как другая часть памяти 204, предпочтительно, используется для хранения, например для имитации хранения на накопителе на дисках.
Память 204 содержит операционную систему 212, прикладные программы 214, а также объектно-ориентированную память 216. При работе, предпочтительно, процессором 202 выполняется операционная система 212 из памяти 204. В одном предпочтительном варианте осуществления операционной системой 212 является операционная система марки WINDOWS® CE, серийно выпускаемая корпорацией Microsoft. Операционная система 212, предпочтительно, разработана для мобильных устройств и реализует возможности базы данных, которые могут использоваться приложениями 214 посредством набора представленных способов и интерфейсов прикладного программирования. Объекты в объектно-ориентированной памяти 216 поддерживаются приложениями 214 и операционной системой 212, по меньшей мере, в частности, в ответ на вызовы представленных способов и интерфейсов прикладного программирования.
Интерфейс 208 связи представляет многочисленные устройства и технологии, которые обеспечивают возможность передачи и приема информации мобильным устройством 200. Устройства включают в себя, в частности, проводные и беспроводные модемы, спутниковые приемники и бытовые тюнеры. Мобильное устройство 200 также может быть соединено с компьютером напрямую для обмена с ним данными. В таких случаях интерфейсом 208 связи может быть инфракрасный приемопередатчик или последовательное или параллельное соединение связи, которые все обладают способностью передачи потоковой информации.
Компоненты 206 ввода/вывода данных включают в себя разнообразные устройства ввода данных, например сенсорный экран, кнопки, ролики и микрофон, а также разнообразные устройства вывода данных, включая генератор звука, вибрационное устройство и дисплей. Перечисленные выше устройства приведены в качестве возможного варианта, и нет необходимости в наличии всех указанных устройств в мобильном устройстве 200. Дополнительно в объеме настоящего изобретения к мобильному устройству 200 могут быть присоединены или обеспечены с ним другие устройства ввода/вывода данных.
Фиг.3 обеспечивает базовую блок-схему вариантов осуществления настоящего изобретения. Согласно фиг.3 диктор (громкоговоритель) 300 формирует речевой сигнал 302, который обнаруживается микрофоном 304 с воздушной звукопроводимостью и альтернативным датчиком 306. Возможные варианты альтернативных датчиков включают в себя ларингофон, измеряющий вибрации горла пользователя, датчик с костной звукопроводимостью, размещенный на кости лица или на черепе пользователя (например, на челюстной кости) или рядом с ними, или в ухе пользователя, воспринимающий вибрации черепа и челюсти, соответствующие речи, производимой пользователем. Микрофон 304 с воздушной звукопроводимостью является видом микрофона, обычно используемым для преобразования звуковых волн в электрические сигналы.
Микрофон 304 с воздушной звукопроводимостью также принимает шум 308, производимый одним или большим количеством источников 310 шума. В зависимости от вида альтернативного датчика и уровня шума шум 308 может обнаруживаться также альтернативным датчиком 306. Однако, согласно вариантам осуществления настоящего изобретения, альтернативный датчик 306 обычно менее чувствителен к шуму окружающей среды, чем микрофон 304 с воздушной звукопроводимостью. Соответственно, сигнал 312 альтернативного датчика, сформированный альтернативным датчиком 306, в основном, содержит меньшее количество шума, чем сигнал 314 микрофона с воздушной звукопроводимостью, сформированный микрофоном 304 с воздушной звукопроводимостью.
Сигнал 312 альтернативного датчика и сигнал 314 микрофона с воздушной звукопроводимостью подаются на модуль 316 оценки достоверного сигнала, который оценивает достоверный сигнал 318. Оценка 318 достоверного сигнала подается на обработку 320 речи. Оценкой 318 достоверного сигнала может быть фильтрованный сигнал временной области (представленный временными значениями) или вектор, представленный значениями характеристик. Если оценка 318 достоверного сигнала является сигналом, представленным временными значениями, то обработка 320 речи может представлять собой слушающего абонента, систему кодирования речи или систему распознавания речи. Если оценка 318 достоверного сигнала является вектором, представленным значениями характеристик, то обработкой 320 речи, обычно, будет система распознавания речи.
Настоящее изобретение обеспечивает отдельные способы и системы для оценки достоверной речи с использованием сигнала 314 микрофона с воздушной звукопроводимостью и сигнала 312 альтернативного датчика. Одна система использует обучающие стереоданные для обучения векторов поправки для сигнала альтернативного датчика. Когда впоследствии указанные векторы поправки добавляются к испытательному вектору альтернативного датчика, они обеспечивают оценку вектора достоверного сигнала. Одно дополнительное расширение этой системы заключается сначала в отслеживании изменяющегося во времени искажения, а затем во включении этой информации в вычисление векторов поправки и в оценку достоверной речи.
Вторая система обеспечивает интерполяцию между оценкой достоверного сигнала, сформированной векторами поправки и оценкой, сформированной посредством вычитания оценки шума, имеющегося в испытательном сигнале воздушной звукопроводимости, из сигнала воздушной звукопроводимости. Третья система использует сигнал альтернативного датчика для оценки основного тона речевого сигнала и затем использует оцененный основной тон для определения оценки для достоверного сигнала. Ниже отдельно описана каждая из указанных систем.
Обучение стереовекторов поправки
На фиг.4 и 5 изображены блок-схемы обучения стереовекторов поправки для двух вариантов осуществления настоящего изобретения, которые основаны на векторах поправки для формирования оценки достоверной речи.
Способ определения векторов поправки начинается с этапа 500 фиг.5, на котором "достоверный" сигнал микрофона с воздушной звукопроводимостью преобразуется в последовательность векторов характеристик. Для этого диктор 400 на фиг.4 говорит в микрофон 410 с воздушной звукопроводимостью, который преобразует звуковые волны в электрические сигналы. Затем электрические сигналы стробируются аналого-цифровым преобразователем 414 для формирования последовательности цифровых значений, которые группируются конструктором 416 кадров в кадры значений. В одном варианте осуществления аналого-цифровой преобразователь 414 стробирует аналоговый сигнал в 16 кГц и 16 бит на выборку, вследствие этого создавая 32 килобайта речевых данных в секунду и конструктор 416 кадров каждые 10 миллисекунд создает новый кадр, который содержит 25 миллисекунд данных.
Каждый кадр данных, обеспеченный конструктором 416 кадров, преобразуется выделителем 418 характеристик в вектор характеристик. Согласно одному варианту осуществления выделитель 418 характеристик формирует кепстральные характеристики. В возможные варианты таких характеристик входят LPC (кодирование методом линейного предсказания) - производный кепстр, и коэффициенты кепстра Mel-частоты. В другие возможные варианты возможных модулей выделения характеристик, которые могут использоваться в настоящем изобретении, входят модули для выполнения кодирования методом линейного предсказания (КЛП), LPC, перцептивного линейного предсказания (ПЛП), PLP, и выделения характеристик слуховой модели. Следует отметить, что изобретение не ограничивается указанными модулями выделения характеристик, и что в контексте настоящего изобретения могут использоваться другие модули.
На этапе 502, фиг.5, сигнал альтернативного датчика преобразуется в векторы характеристик. Хотя преобразование на этапе 502 изображено после преобразования на этапе 500, согласно настоящему изобретению указанные части преобразования могут выполняться в любом порядке, на этапе 500 или после него. Преобразование на этапе 502 выполняется посредством процесса, подобного описанному выше для этапа 500.
В варианте осуществления, изображенном на фиг.4, этот процесс начинается, когда альтернативный датчик 402 обнаруживает физическое событие, связанное с производством диктором 400 речи, таким как вибрация кости или движение лица. Как изображено на фиг.11, в одном варианте осуществления микрофона 1100 с костной звукопроводимостью, к диафрагме 1104 нормального микрофона 1106 с воздушной звукопроводимостью приклеивается гибкая высокорастяжимая перемычка 1102. Такая гибкая перемычка 1102 проводит колебания от электрода (контакта) 1108 на коже пользователя непосредственно на диафрагму 1104 микрофона 1106. Движение диафрагмы 1104 преобразуется преобразователем 1110 в микрофоне 1106 в электрический сигнал. Альтернативный датчик 402 преобразует физическое событие в аналоговый электрический сигнал, который стробируется аналого-цифровым преобразователем 404. Характеристики стробирования для аналого-цифрового преобразователя 404 идентичны характеристикам, описанным выше для аналого-цифрового преобразователя 414. Выборки, обеспеченные аналого-цифровым преобразователем 404, собираются в кадры конструктором 406 кадров, который действует подобно конструктору 416 кадров. Затем эти кадры выборок преобразуются в векторы характеристик выделителем 408 характеристик, который использует способ выделения характеристик, идентичный используемому выделителем 418 характеристик.
Затем векторы характеристик для сигнала альтернативного датчика и сигнала с воздушной звукопроводимостью подаются на модуль 420 обучения подавлению шума, изображенный на фиг.4. На этапе 504, фиг.5, модуль обучения 420 подавлению шума группирует векторы характеристик для сигнала альтернативного датчика в смешанные составляющие. Такая группировка может быть выполнена посредством совместной группировки подобных векторов характеристик с использованием способа обучения максимального правдоподобия или посредством группировки векторов характеристик, совместно представляющих временной сегмент речевого сигнала. Для специалистов в данной области техники очевидно, что для группировки векторов характеристик могут использоваться другие способы, и что два способа, приведенных выше, предложены только в качестве возможных вариантов.
Затем на этапе 508, фиг.5, модуль обучения 420 подавлению шума определяет вектор поправки, rs, для каждой смешанной составляющей, s. Согласно одному варианту осуществления вектор поправки для каждой смешанной составляющей определяется с использованием критерия максимального правдоподобия. Согласно этому способу вектор поправки вычисляется, как:
 |
Ур.1 |
где xt является значением вектора воздушной звукопроводимости для кадра t, а bt является значением вектора альтернативного датчика для кадра t. В Уравнении 1:
 |
Ур. 2 |
где p(s) является просто одной из некоторого количества смешанных составляющих, а p(bt|s) моделируется, как Гауссовское распределение:
 |
Ур. 3 |
со средним μb и дисперсией Гb, подготовленных (обученных) с использованием алгоритма максимизации (математического) ожидания (EM), где каждая
итерация состоит из следующих этапов:
 |
Ур. 4 |
 |
Ур. 5 |
 |
Ур. 6 |
Уравнение 4 представляет E-этап в алгоритме EM, который использует предварительно оцененные параметры. Уравнение 5 и Уравнение 6 представляют M-этап, который обновляет параметры с использованием результатов E-этапа.
E-этап и M-этап алгоритма повторяются до определения устойчивого значения для параметров модели. Затем эти параметры используются для оценки уравнения 1, чтобы сформировать векторы поправки. Затем векторы поправки и параметры модели записываются в записывающее устройство 422 для параметров подавления шума.
После определения вектора поправки для каждой смешанной составляющей на этапе 508 процесс обучения системы подавления шума, предусмотренной настоящим изобретением, завершается. Когда вектор поправки определен для каждой смешанной составляющей, векторы могут использоваться в способе подавления шума, предусмотренном настоящим изобретением. Ниже описаны два отдельных способа подавления шума, которые используют векторы поправки.
Подавление шума с использованием вектора поправки и оценки шума
Систему и способ, которые подавляют шум в речевом сигнале с шумами на основе векторов поправки и оценки шума, иллюстрируют блок-схема фиг.6 и блок-схема фиг.7, соответственно.
На этапе 700 испытательный звуковой сигнал, обнаруженный микрофоном 604 с воздушной звукопроводимостью, преобразуется в векторы характеристик. Испытательный звуковой сигнал, принятый микрофоном 604, содержит речь от диктора 600 и аддитивный шум из одного или большего количества источников 602 шума. Испытательный звуковой сигнал, обнаруженный микрофоном 604, преобразуется в электрический сигнал, который подается на аналого-цифровой преобразователь 606.
Аналого-цифровой преобразователь 606 преобразует аналоговый сигнал из микрофона 604 в последовательности цифровых значений. В отдельных вариантах осуществления аналого-цифровой преобразователь 606 стробирует аналоговый сигнал в 16 кГц и 16 бит на выборку, вследствие этого создавая 32 килобайта речевых данных в секунду. Эти цифровые значения подаются на конструктор 607 кадров, который в одном варианте осуществления группирует значения в 25-миллисекундные кадры, которые запускаются с интервалом в 10 миллисекунд.
Кадры данных, созданные конструктором 607 кадров, подаются на выделитель 610 характеристик, который выделяет характеристики из каждого кадра. Согласно одному варианту осуществления указанный выделитель характеристик отличен от выделителей 408 и 418 характеристик, которые использовались для обучения векторов поправки. В частности, согласно этому варианту осуществления выделитель 610 характеристик формирует вместо кепстральных значений значения энергетического спектра. Выделенные характеристики подаются на модуль 622 оценки достоверного сигнала, модуль 626 обнаружения речи и модуль 624 обучения модели шумов.
На этапе 702 физическое событие, например вибрация кости или движение лица, связанное с производством диктором 600 речи, преобразуются в вектор характеристик. Хотя этот этап изображен на фиг.7 как отдельный этап, для специалистов в данной области техники очевидно, что, в то же время, части этого этапа могут быть выполнены на этапе 700. На этапе 702 альтернативным датчиком 614 обнаруживается физическое событие. Альтернативный датчик 614 на основе физического события формирует аналоговый электрический сигнал. Этот аналоговый сигнал преобразуется аналого-цифровым преобразователем 616 в цифровой сигнал, и результирующие цифровые выборки группируются конструктором 617 кадров в кадры. Согласно одному варианту осуществления функционирование аналого-цифрового преобразователя 616 и конструктора 617 кадров подобно функционированию аналого-цифрового преобразователя 606 и конструктора 607 кадров.
Кадры цифровых значений подаются на выделитель 620 характеристик, который использует способ выделения характеристик, идентичный используемому для обучения векторов поправки. Как упомянуто выше, в возможные варианты таких модулей выделения характеристик входят модули для выполнения кодирования методом линейного предсказания (LPC), LPC - производного кепстра, перцептивного линейного предсказания (PLP), выделения характеристик слуховой модели и выделения характеристик кепстральных коэффициентов Mel-частоты (ХККМ), MFCC. Однако во многих вариантах осуществления используются способы выделения характеристик, которые формируют кепстральные характеристики.
Модуль выделения характеристик формирует поток векторов характеристик, каждый из которых соответствует отдельному кадру речевого сигнала. Указанный поток векторов характеристик подается на модуль 622 оценки достоверного сигнала.
Кадры значений из конструктора 617 кадров также подаются на выделитель 621 характеристик, который в одном варианте осуществления выделяет энергию каждого кадра. Значение энергии для каждого кадра подается на модуль 626 обнаружения речи.
На этапе 704 модуль 626 обнаружения речи использует характеристику энергии сигнала альтернативного датчика для определения, когда вероятно наличие речи. Эта информация передается на модуль 624 обучения модели шумов, который осуществляет попытку смоделировать шум в продолжение периодов, когда на этапе 706 речь отсутствует.
Согласно одному варианту осуществления модуль 626 обнаружения речи сначала исследует последовательность значений энергии кадра для обнаружения точек максимума энергии. Затем он осуществляет поиск точки минимума после точки максимума. Энергия этой точки минимума называется разделителем d энергии. Для определения того, содержит ли кадр речь, коэффициент k энергии e кадра определяется через разделитель d энергии, как: k=e/d. Доверительность q речи для кадра определяется, как:
 |
Ур. 7 |
где α определяет переход между двумя состояниями, и в одной реализации установлено равным 2. В заключение, в качестве конечного значения доверительности для кадра используется среднее значение доверительности из 5 его соседних кадров (включая его самого).
Согласно одному варианту осуществления для определения наличия речи используется фиксированное пороговое значение так, что при превышении значением доверительности порогового значения кадр рассматривается как содержащий речь, а если значение доверительности не превышает пороговое значение, то кадр рассматривается как не содержащий речь. Согласно одному варианту осуществления используется пороговое значение, равное 0,1.
На этапе 706 для каждого кадра без речи, обнаруженного модулем 626 обнаружения речи, модуль 624 обучения модели шумов обновляет модель 625 шумов. Согласно одному варианту осуществления модель 625 шумов является Гауссовской моделью, которая имеет среднее μn и дисперсию Σn. Эта модель основана на скользящем окне самых последних кадров без речи. Способы определения среднего и дисперсии из кадров без речи в окне известны.
Векторы поправки и параметры модели в запоминающем устройстве 422 для параметров и модель 625 шумов подаются на модуль 622 оценки достоверного сигнала с векторами характеристик, b, для альтернативного датчика и векторами характеристик, Sy, для сигнала микрофона с воздушной звукопроводимостью с шумами. На этапе 708 модуль 622 оценки достоверного сигнала оценивает начальное значение для достоверного речевого сигнала на основе вектора характеристик альтернативного датчика, векторов поправки и параметров модели для альтернативного датчика. В частности, оценка альтернативного датчика для достоверного сигнала вычисляется как:
 |
Ур. 8 |
где 
является оценкой достоверного сигнала, представленной в кепстральных значениях, b является вектором характеристик альтернативного датчика, p(s|b) определяется с использованием уравнения 2, приведенного выше, а rs является вектором поправки для смешанной составляющей s. Соответственно, оценка достоверного сигнала в Уравнении 8 формируется посредством добавления вектора характеристик альтернативного датчика к взвешенной сумме векторов поправки, где веса основаны на вероятности смешанной составляющей, заданной вектором характеристик альтернативного датчика.
На этапе 710 начальная оценка достоверной речи альтернативного датчика улучшается посредством ее комбинирования с оценкой достоверной речи, сформированной из вектора микрофона с воздушной звукопроводимостью с шумами и модели шумов. Это приводит к улучшенной оценке 628 достоверной речи. Для комбинирования кепстрального значения начальной оценки достоверного сигнала с вектором характеристик энергетического спектра для микрофона с воздушной звукопроводимостью с шумами кепстральное значение преобразуется в область энергетического спектра с использованием:
 |
Ур. 9 |
где C-1 является обратным дискретным косинусным преобразованием, а Ŝx|b является оценкой энергетического спектра достоверного сигнала на основе альтернативного датчика.
Когда начальная оценка достоверного сигнала из альтернативного датчика представлена в значениях энергетического спектра, она может быть скомбинирована с вектором микрофона с воздушной звукопроводимостью с шумами и моделью шумов следующим образом:
 |
Ур. 10 |
где Ŝx является улучшенной оценкой достоверного сигнала, представленной значениями энергетического спектра, Sy является вектором характеристик микрофона с воздушной звукопроводимостью с шумами, (μn, Σn) являются средним и ковариацией предыдущей модели шума (см. 624), Ŝx|b является начальной оценкой достоверного сигнала на основе альтернативного датчика, а Σx|b является матрицей ковариации распределения условной вероятности для достоверной речи, заданной измерением альтернативного датчика. Σx|b может быть вычислено следующим образом. Предполагается, что J обозначает Якобиан функции в правой части уравнения 9. Предполагается, что Σ является матрицей ковариации . Тогда ковариация Ŝx|b определяется
 |
Ур. 11 |
В упрощенном варианте осуществления уравнение 10 переписывается в виде следующего уравнения:
 |
Ур. 12 |
где α(f) является функцией времени и полосы частот. Так как альтернативный датчик, используемый в текущий момент, имеет ширину полосы частот до 3 кГц, то для полосы частот ниже 3 кГц выбирается α(f), равное 0. В основном, для полос низкой частоты считается правдоподобной начальная оценка достоверного сигнала из альтернативного датчика. Для полос высокой частоты начальная оценка достоверного сигнала из альтернативного датчика не столь правдоподобна. Интуитивно, когда шум является малым для полосы частот в текущем кадре, предпочтительно выбрать большую α(f), чтобы для этой полосы частот использовалось большее количество информации из микрофона с воздушной звукопроводимостью. Иначе, предпочтительно использовать большее количество информации из альтернативного датчика посредством выбора малой α(f). В одном варианте осуществления для определения уровня шума для каждой полосы частот используется энергия начальной оценки достоверного сигнала из альтернативного датчика. Предполагается, что E(f) обозначает энергию для полосы частот f. Предполагается, что M=MaxfE(f). α(f), как функция от f, определяется следующим образом:
 |
Ур. 13 |
где для перехода от 3К к 4К, чтобы гарантировать гладкость α(f), используется линейная интерполяция.
Улучшенная оценка достоверного сигнала в области энергетического спектра может быть использована для формирования фильтра Винера для фильтрования сигнала микрофона с воздушной звукопроводимостью с шумами. В частности, фильтр Винера, H, устанавливается так, что:
 |
Ур. 14 |
Затем этот фильтр может быть применен в отношении сигнала микрофона с воздушной звукопроводимостью с шумами, представленного временными значениями, для формирования сигнала с подавленным шумом или достоверного сигнала, представленного временными значениями. Сигнал с подавленным шумом может быть подан слушающему абоненту или на распознаватель речи.
Следует отметить, что Уравнение 12 обеспечивает улучшенную оценку достоверного сигнала, которая является взвешенной суммой двух показателей, одним из которых является оценка достоверного сигнала из альтернативного датчика. Эта взвешенная сумма может быть расширена для включения дополнительных показателей для дополнительных альтернативных датчиков. Соответственно, для формирования независимых оценок достоверного сигнала может использоваться более одного альтернативного датчика. Затем эти разные оценки могут быть скомбинированы с использованием уравнения 12.
Подавление шума с использованием вектора поправки без оценки шума.
Фиг.8 обеспечивает блок-схему альтернативной системы для оценки достоверного значения речи, согласно настоящему изобретению. Система, изображенная на фиг.8, подобна системе, изображенной на фиг.6, за исключением того, что оценка достоверного значения речи формируется без необходимости в микрофоне с воздушной звукопроводимостью или модели шумов.
На фиг.8 физическое событие, связанное с диктором 800, производящим речь, преобразуется альтернативным датчиком 802, аналого-цифровым преобразователем 804, конструктором 806 кадров и выделителем 808 характеристик в вектор характеристик способом, подобным описанному выше для альтернативного датчика 614, аналого-цифрового преобразователя 616, конструктора 617 кадров и выделителя 618 характеристик, изображенных на фиг.6. Векторы характеристик из выделителя 808 характеристик и параметры 422 подавления шума подаются на модуль 810 оценки достоверного сигнала, который определяет оценку 812 значения достоверного сигнала, Ŝx|b, с использованием уравнений 8 и 9, приведенных выше.
Оценка достоверного сигнала, Ŝx|b, представленная значениями энергетического спектра, может быть использована для создания фильтра Винера для фильтрации сигнала микрофона с воздушной звукопроводимостью с шумами. В частности, фильтр Винера, H, настроен так, что:
 |
Ур. 15 |
Затем для формирования сигнала с подавленным шумом или достоверного сигнала этот фильтр может быть применен к сигналу микрофона с воздушной звукопроводимостью с шумами, представленному временными значениями. Сигнал с подавленным шумом может быть подан слушающему абоненту или на распознаватель речи.
В виде другого варианта на систему распознавания речи может подаваться непосредственно оценка достоверного сигнала, представленная кепстральными значениями, , которая вычисляется в уравнении 8.
Подавление шума с использованием отслеживания основного тона
Альтернативный способ формирования оценок достоверного речевого сигнала иллюстрирует блок-схема фиг.9 и блок-схема фиг.10. В частности вариант осуществления, иллюстрируемый фиг.9 и фиг.10, определяет оценку достоверной речи посредством определения основного тона речевого сигнала с использованием альтернативного датчика и, затем для разложения, с использованием основного тона, сигнала с шумами микрофона с воздушной звукопроводимостью на гармоническую составляющую и случайную составляющую. Соответственно, сигнал с шумами представляется в виде:
| y = yh + yr, | Ур. 16 |
где y является сигналом с шумами, yh является гармонической составляющей, а yr является случайной составляющей. Взвешенная сумма гармонической составляющей и случайной составляющей используется для формирования вектора характеристик с подавленным шумом, представляющего речевой сигнал с подавленным шумом.
Согласно одному варианту осуществления гармоническая составляющая моделируется как сумма синусоид, относящихся к гармонике, следующим образом:
 |
Ур. 17 |
где ω0 является частотой основной гармоники или частотой основного тона, а K является полным количеством гармоник в сигнале.
Соответственно, для определения гармонической составляющей, должны быть определены оценка частоты основного тона и параметры {a1a2 … akb1b2 … bk}.
На этапе 1000 речевой сигнал с шумами собирается и преобразуется в цифровые выборки. Для этого микрофон 904 с воздушной звукопроводимостью преобразует звуковые волны от диктора 900 и из одного или большего количества источников 902 аддитивного шума в электрические сигналы. Затем электрические сигналы стробируются аналого-цифровым преобразователем 906 для формирования последовательности цифровых значений. В одном варианте осуществления аналого-цифровой преобразователь 906 стробирует аналоговый сигнал, например, в 16 кГц и 16 бит на выборку, вследствие этого создавая 32 килобайта речевых данных в секунду. На этапе 1002 цифровые выборки группируются конструктором 908 кадров в кадры. Согласно одному варианту осуществления конструктор 908 кадров каждые 10 миллисекунд создает новый кадр, который включает 25 миллисекунд данных.
На этапе 1004 альтернативным датчиком 944 обнаруживается физическое событие, связанное с формированием речи. В этом варианте осуществления для использования в качестве альтернативного датчика 944 наиболее подходит альтернативный датчик, который может обнаруживать гармонические составляющие, такой как датчик с костной звукопроводимостью. Следует отметить, что, хотя этап 1004 изображен отдельно от этапа 1000, для специалистов в данной области техники очевидно, что эти этапы могут выполняться одновременно. Аналоговый сигнал, сформированный альтернативным датчиком 944, преобразуется аналого-цифровым преобразователем 946 в цифровые выборки. Затем на этапе 1006 цифровые выборки группируются конструктором 948 кадров в кадры.
На этапе 1008 кадры сигнала альтернативного датчика используются системой 950 отслеживания основного тона для определения частоты основного тона или частоты основной гармоники речи.
Оценка частоты основного тона может быть определена с использованием любого количества доступных систем отслеживания основного тона. Многими из этих систем используются кандидаты основного тона для определения возможного интервала между центрами сегментов сигнала альтернативного датчика. Для каждого кандидата основного тона определяется корреляция между последовательными сегментами речи. В общем, частотой основного тона кадра будет кандидат основного тона, обеспечивающий наилучшую корреляцию. В некоторых системах для усовершенствования выбора основного тона используется дополнительная информация, такая как энергия сигнала и/или ожидаемые данные отслеживания основного тона.
После определения оценки основного тона из системы 950 отслеживания основного тона на этапе 1010 вектор сигнала воздушной звукопроводимости может быть разложен на гармоническую составляющую и случайную составляющую. Для этого уравнение 17 переписывается в виде:
| y = Ab | Ур. 18 |
где y является вектором из N выборок речевого сигнала с шумами, A является матрицей (порядка) Nx2K, заданной следующим образом:
| A=[AcosAsin] | Ур. 19 |
с элементами
| Acos(k,t)=cos(kω0t) | Asin(k,t)=sin(kω0t) | Ур. 20 |
а b является вектором (порядка) 2Kx1, заданным следующим образом:
| bT=[a1a2 … akb1b2 … bk] | Ур. 21 |
Соответственно, решением методом наименьших квадратов для амплитудных коэффициентов является:
 |
Ур. 22 |
С использованием , оценка для гармонической составляющей речевого сигнала с шумами может быть определена, как:
 |
Ур. 23 |
Тогда оценка случайной составляющей вычисляется как:
| yr = y - yh | Ур. 24 |
Соответственно, с использованием приведенных выше уравнений 18-24, модуль 910 гармонического разложения может сформировать вектор выборок 912 гармонической составляющей, yh, и вектор выборок 914 случайной составляющей yr.
После разложения выборок кадра на гармоническую и случайную выборки на этапе 1012 определяется коэффициент масштабирования или вес для гармонической составляющей. Как описано ниже, указанный коэффициент масштабирования используется как часть расчета речевого сигнала с подавленным шумом. Согласно одному варианту осуществления коэффициент масштабирования вычисляется следующим образом:
 |
Ур. 25 |
где αh является коэффициентом масштабирования, yh(i) является i-ой выборкой в векторе выборок yh гармонической составляющей, а y(i) является i-ой выборкой речевого сигнала с шумами для этого кадра. В уравнении 25 числителем является сумма энергии каждой выборки гармонической составляющей, а знаменателем является сумма энергии каждой выборки речевого сигнала с шумами. Соответственно коэффициентом масштабирования является отношение гармонической энергии кадра к полной энергии кадра.
В альтернативных вариантах осуществления коэффициент масштабирования устанавливается с использованием модуля вероятностного разделения вокализованных и невокализованных звуков. Такие модули обеспечивают вероятность того, что определенный кадр речи скорее является вокализованным, что означает, что в продолжение кадра резонируют голосовые связки, чем невокализованным. В качестве коэффициента масштабирования может использоваться непосредственно вероятность того, что кадр является кадром из вокализованной области речи.
После определения или при определении коэффициента масштабирования на этапе 1014 определяются Mel-спектры для вектора выборок гармонической составляющей и вектора выборок случайной составляющей. Это включает пропускание каждого вектора выборок через дискретное преобразование Фурье (DFT), (ДПФ), 918 для формирования вектора значений 922 частоты гармонической составляющей и вектора значений 920 частоты случайной составляющей. Затем энергетический спектр, представленный векторами значений частоты, сглаживается модулем 924 Mel-взвешивания с использованием последовательностей треугольных весовых функций, применяемых по Mel-масштабу. Это приводит к Mel-спектральному вектору 928, Yh, гармонической составляющей и Mel-спектральному вектору 926, Yr, случайной составляющей.
На этапе 1016 Mel-спектры для гармонической составляющей и случайной составляющей комбинируются в виде взвешенной суммы для формирования оценки Mel-спектра с подавленным шумом. Этот этап выполняется вычислителем 930 взвешенной суммы с использованием определенного выше коэффициента масштабирования посредством следующего уравнения:
 |
Ур. 26 |
где (t) является оценкой Mel-спектра с подавленным шумом, Yh(t) является Mel-спектром гармонической составляющей, Yr(t) является Mel-спектром случайной составляющей, αh(t) является определенным выше коэффициентом масштабирования,
αr является фиксированным коэффициентом масштабирования для случайной составляющей, который в одном варианте осуществления установлен равным 0,1, и указатель времени t используется для акцентирования того, что коэффициент масштабирования для гармонической составляющей определяется для каждого кадра, в то время как коэффициент масштабирования для случайной составляющей остается фиксированным. Следует отметить, что в других вариантах осуществления коэффициент масштабирования для случайной составляющей может определяться для каждого кадра.
После вычисления Mel-спектра с подавленным шумом на этапе 1016, на этапе 1018 определяется логарифм 932 Mel-спектра и затем на этапе 1018 применяется дискретное косинусное преобразование (ДКП) 934. Посредством этого формируется вектор 936 характеристик кепстральных коэффициентов Mel-частоты (MFCC), который представляет речевой сигнал с подавленным шумом.
Для каждого кадра сигнала с шумами формируется отдельный вектор характеристик MFCC с подавленным шумом. Указанные векторы характеристик могут использоваться для любой требуемой задачи, включая повышение разборчивости речи и распознавание речи. Для повышения разборчивости речи векторы характеристик MFCC могут быть преобразованы в область энергетического спектра и могут использоваться с сигналом воздушной звукопроводимости с шумами для формирования фильтра Винера.
Хотя настоящее изобретение было описано в отношении конкретных вариантов осуществления, для специалистов в данной области техники очевидно, что, не удаляясь от сущности и объема изобретения, могут быть сделаны изменения по форме и в деталях.
Claims (15)
1. Способ определения оценки для достоверного значения речевого сигнала, представляющего часть достоверного речевого сигнала, заключающийся в том, что
формируют обучающий сигнал альтернативного датчика,
преобразуют обучающий сигнал альтернативного датчика в обучающий вектор альтернативного датчика,
формируют достоверный обучающий сигнал микрофона с воздушной звукопроводимостью,
преобразуют достоверный обучающий сигнал микрофона с воздушной звукопроводимостью в обучающий вектор воздушной звукопроводимости,
используют разность между обучающим вектором альтернативного датчика и обучающим вектором воздушной звукопроводимости для формирования вектора поправки,
формируют сигнал альтернативного датчика с использованием альтернативного датчика, отличного от микрофона с воздушной звукопроводимостью,
преобразуют сигнал альтернативного датчика, по меньшей мере, в один вектор альтернативного датчика,
добавляют взвешенную сумму нескольких векторов поправки к вектору альтернативного датчика для формирования оценки для достоверного значения речевого сигнала, причем каждый вес, приложенный к вектору поправки, основан на вероятности смешанной составляющей вектора поправки, заданной вектором альтернативного датчика,
формируют сигнал микрофона с воздушной звукопроводимостью,
преобразуют сигнал микрофона с воздушной звукопроводимостью в вектор воздушной звукопроводимости,
оценивают значение шума,
вычитают значение шума из вектора воздушной звукопроводимости для формирования оценки воздушной звукопроводимости, и
комбинируют оценку воздушной звукопроводимости и оценку для достоверного значения речевого сигнала для формирования уточненной оценки для достоверного значения речевого сигнала.
формируют обучающий сигнал альтернативного датчика,
преобразуют обучающий сигнал альтернативного датчика в обучающий вектор альтернативного датчика,
формируют достоверный обучающий сигнал микрофона с воздушной звукопроводимостью,
преобразуют достоверный обучающий сигнал микрофона с воздушной звукопроводимостью в обучающий вектор воздушной звукопроводимости,
используют разность между обучающим вектором альтернативного датчика и обучающим вектором воздушной звукопроводимости для формирования вектора поправки,
формируют сигнал альтернативного датчика с использованием альтернативного датчика, отличного от микрофона с воздушной звукопроводимостью,
преобразуют сигнал альтернативного датчика, по меньшей мере, в один вектор альтернативного датчика,
добавляют взвешенную сумму нескольких векторов поправки к вектору альтернативного датчика для формирования оценки для достоверного значения речевого сигнала, причем каждый вес, приложенный к вектору поправки, основан на вероятности смешанной составляющей вектора поправки, заданной вектором альтернативного датчика,
формируют сигнал микрофона с воздушной звукопроводимостью,
преобразуют сигнал микрофона с воздушной звукопроводимостью в вектор воздушной звукопроводимости,
оценивают значение шума,
вычитают значение шума из вектора воздушной звукопроводимости для формирования оценки воздушной звукопроводимости, и
комбинируют оценку воздушной звукопроводимости и оценку для достоверного значения речевого сигнала для формирования уточненной оценки для достоверного значения речевого сигнала.
2. Способ по п.1, в котором при формировании сигнала альтернативного датчика используют микрофон с костной звукопроводимостью для формирования сигнала альтернативного датчика.
3. Способ по п.1, в котором при обучении вектора поправки дополнительно обучают отдельный вектор поправки для каждой из нескольких смешанных составляющих.
4. Способ по п.1, в котором при комбинировании оценки воздушной звукопроводимости и оценки для достоверного значения речевого сигнала комбинируют оценку воздушной звукопроводимости и оценку для достоверного значения речевого сигнала в области энергетического спектра.
5. Способ по п.4, в котором дополнительно используют уточненную оценку для достоверного значения речевого сигнала для формирования фильтра.
6. Способ по п.1, в котором дополнительно
формируют сигнал второго альтернативного датчика с использованием второго альтернативного датчика, отличного от микрофона с воздушной звукопроводимостью,
преобразуют сигнал второго альтернативного датчика, по меньшей мере, в один вектор второго альтернативного датчика,
добавляют вектор поправки к вектору второго альтернативного датчика для формирования второй оценки для достоверного значения речевого сигнала и
комбинируют оценку для достоверного значения речевого сигнала со второй оценкой для достоверного значения речевого сигнала для формирования уточненной оценки для достоверного значения речевого сигнала.
формируют сигнал второго альтернативного датчика с использованием второго альтернативного датчика, отличного от микрофона с воздушной звукопроводимостью,
преобразуют сигнал второго альтернативного датчика, по меньшей мере, в один вектор второго альтернативного датчика,
добавляют вектор поправки к вектору второго альтернативного датчика для формирования второй оценки для достоверного значения речевого сигнала и
комбинируют оценку для достоверного значения речевого сигнала со второй оценкой для достоверного значения речевого сигнала для формирования уточненной оценки для достоверного значения речевого сигнала.
7. Способ определения оценки достоверного значения речи, заключающийся в том, что
принимают сигнал альтернативного датчика из датчика, отличного от микрофона с воздушной звукопроводимостью,
принимают сигнал микрофона с воздушной звукопроводимостью из микрофона с воздушной звукопроводимостью,
определяют основной тон для речевого сигнала на основе сигнала альтернативного датчика,
используют основной тон для разложения сигнала микрофона с воздушной звукопроводимостью на гармоническую составляющую и случайную составляющую и
используют взвешенную сумму гармонической составляющей и случайной составляющей для формирования вектора характеристик с подавленным шумом, представляющего речевой сигнал с подавленным шумом и предназначенного для оценки достоверного значения речи.
принимают сигнал альтернативного датчика из датчика, отличного от микрофона с воздушной звукопроводимостью,
принимают сигнал микрофона с воздушной звукопроводимостью из микрофона с воздушной звукопроводимостью,
определяют основной тон для речевого сигнала на основе сигнала альтернативного датчика,
используют основной тон для разложения сигнала микрофона с воздушной звукопроводимостью на гармоническую составляющую и случайную составляющую и
используют взвешенную сумму гармонической составляющей и случайной составляющей для формирования вектора характеристик с подавленным шумом, представляющего речевой сигнал с подавленным шумом и предназначенного для оценки достоверного значения речи.
8. Способ по п.7, в котором при приеме сигнала альтернативного датчика принимают сигнал альтернативного датчика из микрофона с костной звукопроводимостью.
9. Носитель информации, считываемый компьютером, снабженный командами, выполнимыми компьютером, для осуществления этапов, на которых:
принимают сигнал альтернативного датчика из альтернативного датчика, который не является микрофоном с воздушной звукопроводимостью, и
используют сигнал альтернативного датчика для оценки достоверного значения речи без использования модели, обученной на обучающих данных с шумами, собранных из микрофона с воздушной звукопроводимостью, посредством этапов, на которых:
принимают испытательный сигнал с шумами от микрофона с воздушной звукопроводимостью,
формируют модель шумов из испытательного сигнала с шумами, причем модель шумов включает в себя среднее и ковариацию,
преобразуют испытательный сигнал с шумами, по меньшей мере, в один испытательный вектор с шумами,
вычитают среднее модели шумов из испытательного вектора с шумами для формирования разности,
формируют вектор альтернативного датчика из сигнала альтернативного датчика,
добавляют вектор поправки к вектору альтернативного датчика для формирования оценки альтернативного датчика для достоверного значения речи и
определяют взвешенную сумму разности и оценки альтернативного датчика для формирования оценки достоверного значения речи, причем взвешенную сумму вычисляют, используя ковариацию модели шумов для вычисления весов для взвешенной суммы.
принимают сигнал альтернативного датчика из альтернативного датчика, который не является микрофоном с воздушной звукопроводимостью, и
используют сигнал альтернативного датчика для оценки достоверного значения речи без использования модели, обученной на обучающих данных с шумами, собранных из микрофона с воздушной звукопроводимостью, посредством этапов, на которых:
принимают испытательный сигнал с шумами от микрофона с воздушной звукопроводимостью,
формируют модель шумов из испытательного сигнала с шумами, причем модель шумов включает в себя среднее и ковариацию,
преобразуют испытательный сигнал с шумами, по меньшей мере, в один испытательный вектор с шумами,
вычитают среднее модели шумов из испытательного вектора с шумами для формирования разности,
формируют вектор альтернативного датчика из сигнала альтернативного датчика,
добавляют вектор поправки к вектору альтернативного датчика для формирования оценки альтернативного датчика для достоверного значения речи и
определяют взвешенную сумму разности и оценки альтернативного датчика для формирования оценки достоверного значения речи, причем взвешенную сумму вычисляют, используя ковариацию модели шумов для вычисления весов для взвешенной суммы.
10. Носитель информации по п.9, в котором при приеме сигнала альтернативного датчика принимают сигнал датчика из микрофона с костной звукопроводимостью.
11. Носитель информации по п.9, в котором при добавлении вектора поправки добавляют взвешенную сумму нескольких векторов поправки, причем каждый вектор поправки соответствует отдельной смешанной составляющей.
12. Носитель информации по п.11, в котором при добавлении взвешенной суммы нескольких векторов поправки используют вес, который основан на вероятности смешанной составляющей вектора поправки, заданной вектором альтернативного датчика.
13. Носитель информации по п.9, в котором оценку достоверного значения речи осуществляют в области энергетического спектра.
14. Носитель информации по п.13, в котором дополнительно используют оценку достоверного значения речи для формирования фильтра.
15. Носитель информации по п.9, в котором дополнительно принимают сигнал второго альтернативного датчика из второго
альтернативного датчика, который не является микрофоном с воздушной звукопроводимостью, и
используют сигнал второго альтернативного датчика с сигналом альтернативного датчика для оценки достоверного значения речи.
альтернативного датчика, который не является микрофоном с воздушной звукопроводимостью, и
используют сигнал второго альтернативного датчика с сигналом альтернативного датчика для оценки достоверного значения речи.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/724,008 | 2003-11-26 | ||
| US10/724,008 US7447630B2 (en) | 2003-11-26 | 2003-11-26 | Method and apparatus for multi-sensory speech enhancement |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2004131115A RU2004131115A (ru) | 2006-04-10 |
| RU2373584C2 true RU2373584C2 (ru) | 2009-11-20 |
Family
ID=34465721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2004131115/09A RU2373584C2 (ru) | 2003-11-26 | 2004-10-25 | Способ и устройство для повышения разборчивости речи с использованием нескольких датчиков |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US7447630B2 (ru) |
| EP (2) | EP1536414B1 (ru) |
| JP (3) | JP4986393B2 (ru) |
| KR (1) | KR101099339B1 (ru) |
| CN (2) | CN101887728B (ru) |
| AU (1) | AU2004229048A1 (ru) |
| BR (1) | BRPI0404602A (ru) |
| CA (2) | CA2485800C (ru) |
| MX (1) | MXPA04011033A (ru) |
| RU (1) | RU2373584C2 (ru) |
Families Citing this family (210)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6675027B1 (en) * | 1999-11-22 | 2004-01-06 | Microsoft Corp | Personal mobile computing device having antenna microphone for improved speech recognition |
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| ITFI20010199A1 (it) | 2001-10-22 | 2003-04-22 | Riccardo Vieri | Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico |
| JP3815388B2 (ja) * | 2002-06-25 | 2006-08-30 | 株式会社デンソー | 音声認識システムおよび端末 |
| US20050033571A1 (en) * | 2003-08-07 | 2005-02-10 | Microsoft Corporation | Head mounted multi-sensory audio input system |
| US7383181B2 (en) * | 2003-07-29 | 2008-06-03 | Microsoft Corporation | Multi-sensory speech detection system |
| US7516067B2 (en) * | 2003-08-25 | 2009-04-07 | Microsoft Corporation | Method and apparatus using harmonic-model-based front end for robust speech recognition |
| US7499686B2 (en) * | 2004-02-24 | 2009-03-03 | Microsoft Corporation | Method and apparatus for multi-sensory speech enhancement on a mobile device |
| US20060020454A1 (en) * | 2004-07-21 | 2006-01-26 | Phonak Ag | Method and system for noise suppression in inductive receivers |
| US7574008B2 (en) * | 2004-09-17 | 2009-08-11 | Microsoft Corporation | Method and apparatus for multi-sensory speech enhancement |
| US7283850B2 (en) * | 2004-10-12 | 2007-10-16 | Microsoft Corporation | Method and apparatus for multi-sensory speech enhancement on a mobile device |
| US7346504B2 (en) * | 2005-06-20 | 2008-03-18 | Microsoft Corporation | Multi-sensory speech enhancement using a clean speech prior |
| US7680656B2 (en) * | 2005-06-28 | 2010-03-16 | Microsoft Corporation | Multi-sensory speech enhancement using a speech-state model |
| US7406303B2 (en) | 2005-07-05 | 2008-07-29 | Microsoft Corporation | Multi-sensory speech enhancement using synthesized sensor signal |
| KR100778143B1 (ko) | 2005-08-13 | 2007-11-23 | 백다리아 | 후두 임피던스 신호를 이용하는 넥마이크를 구비한 골도헤드셋 |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| KR100738332B1 (ko) * | 2005-10-28 | 2007-07-12 | 한국전자통신연구원 | 성대신호 인식 장치 및 그 방법 |
| US7930178B2 (en) * | 2005-12-23 | 2011-04-19 | Microsoft Corporation | Speech modeling and enhancement based on magnitude-normalized spectra |
| JP4245617B2 (ja) * | 2006-04-06 | 2009-03-25 | 株式会社東芝 | 特徴量補正装置、特徴量補正方法および特徴量補正プログラム |
| JP4316583B2 (ja) | 2006-04-07 | 2009-08-19 | 株式会社東芝 | 特徴量補正装置、特徴量補正方法および特徴量補正プログラム |
| CN1835074B (zh) * | 2006-04-07 | 2010-05-12 | 安徽中科大讯飞信息科技有限公司 | 一种结合高层描述信息和模型自适应的说话人转换方法 |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8019089B2 (en) * | 2006-11-20 | 2011-09-13 | Microsoft Corporation | Removal of noise, corresponding to user input devices from an audio signal |
| US7925502B2 (en) * | 2007-03-01 | 2011-04-12 | Microsoft Corporation | Pitch model for noise estimation |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| EP2007167A3 (en) * | 2007-06-21 | 2013-01-23 | Funai Electric Advanced Applied Technology Research Institute Inc. | Voice input-output device and communication device |
| US9053089B2 (en) | 2007-10-02 | 2015-06-09 | Apple Inc. | Part-of-speech tagging using latent analogy |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8065143B2 (en) | 2008-02-22 | 2011-11-22 | Apple Inc. | Providing text input using speech data and non-speech data |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US9142221B2 (en) * | 2008-04-07 | 2015-09-22 | Cambridge Silicon Radio Limited | Noise reduction |
| WO2009135532A1 (en) * | 2008-05-09 | 2009-11-12 | Nokia Corporation | An apparatus |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US9767817B2 (en) * | 2008-05-14 | 2017-09-19 | Sony Corporation | Adaptively filtering a microphone signal responsive to vibration sensed in a user's face while speaking |
| US8464150B2 (en) | 2008-06-07 | 2013-06-11 | Apple Inc. | Automatic language identification for dynamic text processing |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US8768702B2 (en) | 2008-09-05 | 2014-07-01 | Apple Inc. | Multi-tiered voice feedback in an electronic device |
| US8898568B2 (en) | 2008-09-09 | 2014-11-25 | Apple Inc. | Audio user interface |
| US8712776B2 (en) | 2008-09-29 | 2014-04-29 | Apple Inc. | Systems and methods for selective text to speech synthesis |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
| US8862252B2 (en) * | 2009-01-30 | 2014-10-14 | Apple Inc. | Audio user interface for displayless electronic device |
| US8380507B2 (en) | 2009-03-09 | 2013-02-19 | Apple Inc. | Systems and methods for determining the language to use for speech generated by a text to speech engine |
| DE102010064593A1 (de) * | 2009-05-21 | 2015-07-30 | Koh Young Technology Inc. | Formmessgerät und -verfahren |
| US20120309363A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Triggering notifications associated with tasks items that represent tasks to perform |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US10540976B2 (en) | 2009-06-05 | 2020-01-21 | Apple Inc. | Contextual voice commands |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US8682649B2 (en) | 2009-11-12 | 2014-03-25 | Apple Inc. | Sentiment prediction from textual data |
| CN101916567B (zh) * | 2009-11-23 | 2012-02-01 | 瑞声声学科技(深圳)有限公司 | 应用于双麦克风***的语音增强方法 |
| US8311838B2 (en) | 2010-01-13 | 2012-11-13 | Apple Inc. | Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts |
| US8381107B2 (en) | 2010-01-13 | 2013-02-19 | Apple Inc. | Adaptive audio feedback system and method |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US8977584B2 (en) | 2010-01-25 | 2015-03-10 | Newvaluexchange Global Ai Llp | Apparatuses, methods and systems for a digital conversation management platform |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| EP2363852B1 (en) * | 2010-03-04 | 2012-05-16 | Deutsche Telekom AG | Computer-based method and system of assessing intelligibility of speech represented by a speech signal |
| US8713021B2 (en) | 2010-07-07 | 2014-04-29 | Apple Inc. | Unsupervised document clustering using latent semantic density analysis |
| US8731923B2 (en) * | 2010-08-20 | 2014-05-20 | Adacel Systems, Inc. | System and method for merging audio data streams for use in speech recognition applications |
| US8719006B2 (en) | 2010-08-27 | 2014-05-06 | Apple Inc. | Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis |
| US8645132B2 (en) * | 2011-08-24 | 2014-02-04 | Sensory, Inc. | Truly handsfree speech recognition in high noise environments |
| US8719014B2 (en) | 2010-09-27 | 2014-05-06 | Apple Inc. | Electronic device with text error correction based on voice recognition data |
| CN103229517B (zh) | 2010-11-24 | 2017-04-19 | 皇家飞利浦电子股份有限公司 | 包括多个音频传感器的设备及其操作方法 |
| EP2458586A1 (en) * | 2010-11-24 | 2012-05-30 | Koninklijke Philips Electronics N.V. | System and method for producing an audio signal |
| CN102411936B (zh) * | 2010-11-25 | 2012-11-14 | 歌尔声学股份有限公司 | 语音增强方法、装置及头戴式降噪通信耳机 |
| WO2012070668A1 (ja) * | 2010-11-25 | 2012-05-31 | 日本電気株式会社 | 信号処理装置、信号処理方法、及び信号処理プログラム |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US10515147B2 (en) | 2010-12-22 | 2019-12-24 | Apple Inc. | Using statistical language models for contextual lookup |
| US8781836B2 (en) | 2011-02-22 | 2014-07-15 | Apple Inc. | Hearing assistance system for providing consistent human speech |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US10672399B2 (en) | 2011-06-03 | 2020-06-02 | Apple Inc. | Switching between text data and audio data based on a mapping |
| US8812294B2 (en) | 2011-06-21 | 2014-08-19 | Apple Inc. | Translating phrases from one language into another using an order-based set of declarative rules |
| US8706472B2 (en) | 2011-08-11 | 2014-04-22 | Apple Inc. | Method for disambiguating multiple readings in language conversion |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US8762156B2 (en) | 2011-09-28 | 2014-06-24 | Apple Inc. | Speech recognition repair using contextual information |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9076446B2 (en) * | 2012-03-22 | 2015-07-07 | Qiguang Lin | Method and apparatus for robust speaker and speech recognition |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US8775442B2 (en) | 2012-05-15 | 2014-07-08 | Apple Inc. | Semantic search using a single-source semantic model |
| US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US10019994B2 (en) | 2012-06-08 | 2018-07-10 | Apple Inc. | Systems and methods for recognizing textual identifiers within a plurality of words |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9094749B2 (en) | 2012-07-25 | 2015-07-28 | Nokia Technologies Oy | Head-mounted sound capture device |
| US9135915B1 (en) * | 2012-07-26 | 2015-09-15 | Google Inc. | Augmenting speech segmentation and recognition using head-mounted vibration and/or motion sensors |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9589570B2 (en) | 2012-09-18 | 2017-03-07 | Huawei Technologies Co., Ltd. | Audio classification based on perceptual quality for low or medium bit rates |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| US8935167B2 (en) | 2012-09-25 | 2015-01-13 | Apple Inc. | Exemplar-based latent perceptual modeling for automatic speech recognition |
| JP6005476B2 (ja) * | 2012-10-30 | 2016-10-12 | シャープ株式会社 | 受話装置、制御プログラム、記録媒体 |
| CN103871419B (zh) * | 2012-12-11 | 2017-05-24 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN104969289B (zh) | 2013-02-07 | 2021-05-28 | 苹果公司 | 数字助理的语音触发器 |
| US10572476B2 (en) | 2013-03-14 | 2020-02-25 | Apple Inc. | Refining a search based on schedule items |
| US9733821B2 (en) | 2013-03-14 | 2017-08-15 | Apple Inc. | Voice control to diagnose inadvertent activation of accessibility features |
| US10642574B2 (en) | 2013-03-14 | 2020-05-05 | Apple Inc. | Device, method, and graphical user interface for outputting captions |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
| US9977779B2 (en) | 2013-03-14 | 2018-05-22 | Apple Inc. | Automatic supplementation of word correction dictionaries |
| WO2014168730A2 (en) | 2013-03-15 | 2014-10-16 | Apple Inc. | Context-sensitive handling of interruptions |
| EP2973002B1 (en) | 2013-03-15 | 2019-06-26 | Apple Inc. | User training by intelligent digital assistant |
| WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| US9922642B2 (en) | 2013-03-15 | 2018-03-20 | Apple Inc. | Training an at least partial voice command system |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| EP3937002A1 (en) | 2013-06-09 | 2022-01-12 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| CN105265005B (zh) | 2013-06-13 | 2019-09-17 | 苹果公司 | 用于由语音命令发起的紧急呼叫的***和方法 |
| WO2015020942A1 (en) | 2013-08-06 | 2015-02-12 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
| KR20150032390A (ko) * | 2013-09-16 | 2015-03-26 | 삼성전자주식회사 | 음성 명료도 향상을 위한 음성 신호 처리 장치 및 방법 |
| US20150118960A1 (en) * | 2013-10-28 | 2015-04-30 | Aliphcom | Wearable communication device |
| US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
| GB2523984B (en) | 2013-12-18 | 2017-07-26 | Cirrus Logic Int Semiconductor Ltd | Processing received speech data |
| US9620116B2 (en) * | 2013-12-24 | 2017-04-11 | Intel Corporation | Performing automated voice operations based on sensor data reflecting sound vibration conditions and motion conditions |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| WO2015184186A1 (en) | 2014-05-30 | 2015-12-03 | Apple Inc. | Multi-command single utterance input method |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| CN105578115B (zh) * | 2015-12-22 | 2016-10-26 | 深圳市鹰硕音频科技有限公司 | 一种具有语音评估功能的网络教学方法及*** |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| GB2546981B (en) * | 2016-02-02 | 2019-06-19 | Toshiba Res Europe Limited | Noise compensation in speaker-adaptive systems |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US10319377B2 (en) * | 2016-03-15 | 2019-06-11 | Tata Consultancy Services Limited | Method and system of estimating clean speech parameters from noisy speech parameters |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| US10535364B1 (en) * | 2016-09-08 | 2020-01-14 | Amazon Technologies, Inc. | Voice activity detection using air conduction and bone conduction microphones |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US10062373B2 (en) | 2016-11-03 | 2018-08-28 | Bragi GmbH | Selective audio isolation from body generated sound system and method |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
| DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| GB201713946D0 (en) * | 2017-06-16 | 2017-10-18 | Cirrus Logic Int Semiconductor Ltd | Earbud speech estimation |
| CN111344778B (zh) * | 2017-11-23 | 2024-05-28 | 哈曼国际工业有限公司 | 用于语音增强的方法和*** |
| CN107910011B (zh) * | 2017-12-28 | 2021-05-04 | 科大讯飞股份有限公司 | 一种语音降噪方法、装置、服务器及存储介质 |
| US11500610B2 (en) | 2018-07-12 | 2022-11-15 | Dolby Laboratories Licensing Corporation | Transmission control for audio device using auxiliary signals |
| JP7172209B2 (ja) * | 2018-07-13 | 2022-11-16 | 日本電気硝子株式会社 | 封着材料 |
| CN109308903B (zh) * | 2018-08-02 | 2023-04-25 | 平安科技（深圳）有限公司 | 语音模仿方法、终端设备及计算机可读存储介质 |
| CN110931027A (zh) * | 2018-09-18 | 2020-03-27 | 北京三星通信技术研究有限公司 | 音频处理方法、装置、电子设备及计算机可读存储介质 |
| CN109978034B (zh) * | 2019-03-18 | 2020-12-22 | 华南理工大学 | 一种基于数据增强的声场景辨识方法 |
| JP7234100B2 (ja) * | 2019-11-18 | 2023-03-07 | 株式会社東海理化電機製作所 | 学習データ拡張方法、および学習データ生成装置 |
| CN112055278B (zh) * | 2020-08-17 | 2022-03-08 | 大象声科（深圳）科技有限公司 | 融合入耳麦克风和耳外麦克风的深度学习降噪设备 |
| CN112767963B (zh) * | 2021-01-28 | 2022-11-25 | 歌尔科技有限公司 | 一种语音增强方法、装置、***及计算机可读存储介质 |
| EP4198975A1 (en) * | 2021-12-16 | 2023-06-21 | GN Hearing A/S | Electronic device and method for obtaining a user's speech in a first sound signal |
Family Cites Families (117)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3383466A (en) * | 1964-05-28 | 1968-05-14 | Navy Usa | Nonacoustic measures in automatic speech recognition |
| US3746789A (en) * | 1971-10-20 | 1973-07-17 | E Alcivar | Tissue conduction microphone utilized to activate a voice operated switch |
| US3787641A (en) * | 1972-06-05 | 1974-01-22 | Setcom Corp | Bone conduction microphone assembly |
| US4382164A (en) * | 1980-01-25 | 1983-05-03 | Bell Telephone Laboratories, Incorporated | Signal stretcher for envelope generator |
| JPS62239231A (ja) * | 1986-04-10 | 1987-10-20 | Kiyarii Rabo:Kk | ***画像入力による音声認識方法 |
| JPH0755167B2 (ja) * | 1988-09-21 | 1995-06-14 | 松下電器産業株式会社 | 移動体 |
| JPH03108997A (ja) | 1989-09-22 | 1991-05-09 | Temuko Japan:Kk | 骨伝導マイク |
| JPH03160851A (ja) * | 1989-11-20 | 1991-07-10 | Fujitsu Ltd | 携帯電話機 |
| US5054079A (en) * | 1990-01-25 | 1991-10-01 | Stanton Magnetics, Inc. | Bone conduction microphone with mounting means |
| US5404577A (en) * | 1990-07-13 | 1995-04-04 | Cairns & Brother Inc. | Combination head-protective helmet & communications system |
| JPH07101853B2 (ja) | 1991-01-30 | 1995-11-01 | 長野日本無線株式会社 | 雑音低減方法 |
| US5241692A (en) * | 1991-02-19 | 1993-08-31 | Motorola, Inc. | Interference reduction system for a speech recognition device |
| US5295193A (en) * | 1992-01-22 | 1994-03-15 | Hiroshi Ono | Device for picking up bone-conducted sound in external auditory meatus and communication device using the same |
| JPH05276587A (ja) | 1992-03-30 | 1993-10-22 | Retsutsu Corp:Kk | イヤーマイクロフォン |
| US5590241A (en) * | 1993-04-30 | 1996-12-31 | Motorola Inc. | Speech processing system and method for enhancing a speech signal in a noisy environment |
| US5446789A (en) * | 1993-11-10 | 1995-08-29 | International Business Machines Corporation | Electronic device having antenna for receiving soundwaves |
| AU684872B2 (en) * | 1994-03-10 | 1998-01-08 | Cable And Wireless Plc | Communication system |
| US5828768A (en) * | 1994-05-11 | 1998-10-27 | Noise Cancellation Technologies, Inc. | Multimedia personal computer with active noise reduction and piezo speakers |
| EP0984661B1 (en) * | 1994-05-18 | 2002-08-07 | Nippon Telegraph and Telephone Corporation | Transmitter-receiver having ear-piece type acoustic transducer part |
| JP3082825B2 (ja) | 1994-08-29 | 2000-08-28 | 日本電信電話株式会社 | 通信装置 |
| JP3488749B2 (ja) | 1994-08-23 | 2004-01-19 | 株式会社ダッド・ジャパン | 骨伝導型マイクロホン |
| JP3306784B2 (ja) | 1994-09-05 | 2002-07-24 | 日本電信電話株式会社 | 骨導マイクロホン出力信号再生装置 |
| JPH08186654A (ja) | 1994-12-22 | 1996-07-16 | Internatl Business Mach Corp <Ibm> | 携帯端末装置 |
| JP2835009B2 (ja) | 1995-02-03 | 1998-12-14 | 岩崎通信機株式会社 | 骨導気導複合型イヤーマイクロホン装置 |
| JPH08223677A (ja) * | 1995-02-15 | 1996-08-30 | Nippon Telegr & Teleph Corp <Ntt> | 送話器 |
| US5701390A (en) * | 1995-02-22 | 1997-12-23 | Digital Voice Systems, Inc. | Synthesis of MBE-based coded speech using regenerated phase information |
| US5692059A (en) * | 1995-02-24 | 1997-11-25 | Kruger; Frederick M. | Two active element in-the-ear microphone system |
| US5555449A (en) * | 1995-03-07 | 1996-09-10 | Ericsson Inc. | Extendible antenna and microphone for portable communication unit |
| JP3264822B2 (ja) * | 1995-04-05 | 2002-03-11 | 三菱電機株式会社 | 移動体通信機器 |
| US5651074A (en) | 1995-05-11 | 1997-07-22 | Lucent Technologies Inc. | Noise canceling gradient microphone assembly |
| GB9512284D0 (en) * | 1995-06-16 | 1995-08-16 | Nokia Mobile Phones Ltd | Speech Synthesiser |
| US5647834A (en) * | 1995-06-30 | 1997-07-15 | Ron; Samuel | Speech-based biofeedback method and system |
| JP3591068B2 (ja) * | 1995-06-30 | 2004-11-17 | ソニー株式会社 | 音声信号の雑音低減方法 |
| JP3674990B2 (ja) * | 1995-08-21 | 2005-07-27 | セイコーエプソン株式会社 | 音声認識対話装置および音声認識対話処理方法 |
| JPH09172479A (ja) * | 1995-12-20 | 1997-06-30 | Yokoi Kikaku:Kk | 送受話器およびそれを用いた通話装置 |
| US6006175A (en) * | 1996-02-06 | 1999-12-21 | The Regents Of The University Of California | Methods and apparatus for non-acoustic speech characterization and recognition |
| US6377919B1 (en) * | 1996-02-06 | 2002-04-23 | The Regents Of The University Of California | System and method for characterizing voiced excitations of speech and acoustic signals, removing acoustic noise from speech, and synthesizing speech |
| US6243596B1 (en) * | 1996-04-10 | 2001-06-05 | Lextron Systems, Inc. | Method and apparatus for modifying and integrating a cellular phone with the capability to access and browse the internet |
| JPH09284877A (ja) | 1996-04-19 | 1997-10-31 | Toyo Commun Equip Co Ltd | マイクシステム |
| JP3095214B2 (ja) | 1996-06-28 | 2000-10-03 | 日本電信電話株式会社 | 通話装置 |
| JP3097901B2 (ja) | 1996-06-28 | 2000-10-10 | 日本電信電話株式会社 | 通話装置 |
| US5943627A (en) * | 1996-09-12 | 1999-08-24 | Kim; Seong-Soo | Mobile cellular phone |
| JPH10261910A (ja) | 1997-01-16 | 1998-09-29 | Sony Corp | 携帯無線装置およびアンテナ装置 |
| JP2874679B2 (ja) * | 1997-01-29 | 1999-03-24 | 日本電気株式会社 | 雑音消去方法及びその装置 |
| US6308062B1 (en) * | 1997-03-06 | 2001-10-23 | Ericsson Business Networks Ab | Wireless telephony system enabling access to PC based functionalities |
| CN2318770Y (zh) * | 1997-03-28 | 1999-05-12 | 徐忠义 | 抗强音频干扰的送话器 |
| FR2761800A1 (fr) | 1997-04-02 | 1998-10-09 | Scanera Sc | Dispositif de transmission de voix et telephone le mettant en oeuvre |
| US5983073A (en) * | 1997-04-04 | 1999-11-09 | Ditzik; Richard J. | Modular notebook and PDA computer systems for personal computing and wireless communications |
| US6175633B1 (en) * | 1997-04-09 | 2001-01-16 | Cavcom, Inc. | Radio communications apparatus with attenuating ear pieces for high noise environments |
| US6151397A (en) * | 1997-05-16 | 2000-11-21 | Motorola, Inc. | Method and system for reducing undesired signals in a communication environment |
| US5913187A (en) | 1997-08-29 | 1999-06-15 | Nortel Networks Corporation | Nonlinear filter for noise suppression in linear prediction speech processing devices |
| US6434239B1 (en) * | 1997-10-03 | 2002-08-13 | Deluca Michael Joseph | Anti-sound beam method and apparatus |
| WO1999060377A1 (en) * | 1998-05-19 | 1999-11-25 | Spectrx, Inc. | Apparatus and method for determining tissue characteristics |
| JPH11249692A (ja) | 1998-02-27 | 1999-09-17 | Nec Saitama Ltd | 音声認識装置 |
| JPH11265199A (ja) | 1998-03-18 | 1999-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 送話器 |
| US6912287B1 (en) | 1998-03-18 | 2005-06-28 | Nippon Telegraph And Telephone Corporation | Wearable communication device |
| US6717991B1 (en) * | 1998-05-27 | 2004-04-06 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for dual microphone signal noise reduction using spectral subtraction |
| US6052464A (en) * | 1998-05-29 | 2000-04-18 | Motorola, Inc. | Telephone set having a microphone for receiving or an earpiece for generating an acoustic signal via a keypad |
| US6137883A (en) * | 1998-05-30 | 2000-10-24 | Motorola, Inc. | Telephone set having a microphone for receiving an acoustic signal via keypad |
| JP3160714B2 (ja) * | 1998-07-08 | 2001-04-25 | 株式会社シコー技研 | 携帯無線通信機 |
| US6292674B1 (en) * | 1998-08-05 | 2001-09-18 | Ericsson, Inc. | One-handed control for wireless telephone |
| JP3893763B2 (ja) | 1998-08-17 | 2007-03-14 | 富士ゼロックス株式会社 | 音声検出装置 |
| US6289309B1 (en) * | 1998-12-16 | 2001-09-11 | Sarnoff Corporation | Noise spectrum tracking for speech enhancement |
| US6760600B2 (en) * | 1999-01-27 | 2004-07-06 | Gateway, Inc. | Portable communication apparatus |
| US6253171B1 (en) * | 1999-02-23 | 2001-06-26 | Comsat Corporation | Method of determining the voicing probability of speech signals |
| JP2000250577A (ja) * | 1999-02-24 | 2000-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 音声認識装置及び同装置に使用される学習方法ならびに学習装置及び同方法がプログラムされ記録された記録媒体 |
| JP4245720B2 (ja) * | 1999-03-04 | 2009-04-02 | 日新製鋼株式会社 | 高温酸化特性を改善した高Ｍｎオーステナイト系ステンレス鋼材 |
| JP2000261530A (ja) * | 1999-03-10 | 2000-09-22 | Nippon Telegr & Teleph Corp <Ntt> | 通話装置 |
| JP2000261529A (ja) * | 1999-03-10 | 2000-09-22 | Nippon Telegr & Teleph Corp <Ntt> | 通話装置 |
| DE19917169A1 (de) | 1999-04-16 | 2000-11-02 | Kamecke Keller Orla | Verfahren zur Speicherung und Wiedergabe von Audio-, Video- und Anwendungsprogrammdaten in Mobilfunkendgeräten |
| US6094492A (en) * | 1999-05-10 | 2000-07-25 | Boesen; Peter V. | Bone conduction voice transmission apparatus and system |
| US6952483B2 (en) * | 1999-05-10 | 2005-10-04 | Genisus Systems, Inc. | Voice transmission apparatus with UWB |
| US6738485B1 (en) * | 1999-05-10 | 2004-05-18 | Peter V. Boesen | Apparatus, method and system for ultra short range communication |
| US6542721B2 (en) * | 1999-10-11 | 2003-04-01 | Peter V. Boesen | Cellular telephone, personal digital assistant and pager unit |
| US20020057810A1 (en) * | 1999-05-10 | 2002-05-16 | Boesen Peter V. | Computer and voice communication unit with handsfree device |
| US6560468B1 (en) * | 1999-05-10 | 2003-05-06 | Peter V. Boesen | Cellular telephone, personal digital assistant, and pager unit with capability of short range radio frequency transmissions |
| JP2000354284A (ja) * | 1999-06-10 | 2000-12-19 | Iwatsu Electric Co Ltd | 送受一体形電気音響変換器を用いる送受話装置 |
| US6594629B1 (en) * | 1999-08-06 | 2003-07-15 | International Business Machines Corporation | Methods and apparatus for audio-visual speech detection and recognition |
| US6603823B1 (en) * | 1999-11-12 | 2003-08-05 | Intel Corporation | Channel estimator |
| US6339706B1 (en) * | 1999-11-12 | 2002-01-15 | Telefonaktiebolaget L M Ericsson (Publ) | Wireless voice-activated remote control device |
| US6675027B1 (en) * | 1999-11-22 | 2004-01-06 | Microsoft Corp | Personal mobile computing device having antenna microphone for improved speech recognition |
| US6529868B1 (en) * | 2000-03-28 | 2003-03-04 | Tellabs Operations, Inc. | Communication system noise cancellation power signal calculation techniques |
| US6879952B2 (en) * | 2000-04-26 | 2005-04-12 | Microsoft Corporation | Sound source separation using convolutional mixing and a priori sound source knowledge |
| US20020039425A1 (en) * | 2000-07-19 | 2002-04-04 | Burnett Gregory C. | Method and apparatus for removing noise from electronic signals |
| US20030179888A1 (en) * | 2002-03-05 | 2003-09-25 | Burnett Gregory C. | Voice activity detection (VAD) devices and methods for use with noise suppression systems |
| US7020605B2 (en) * | 2000-09-15 | 2006-03-28 | Mindspeed Technologies, Inc. | Speech coding system with time-domain noise attenuation |
| JP3339579B2 (ja) * | 2000-10-04 | 2002-10-28 | 株式会社鷹山 | 電話装置 |
| KR100394840B1 (ko) * | 2000-11-30 | 2003-08-19 | 한국과학기술원 | 독립 성분 분석을 이용한 능동 잡음 제거방법 |
| US6853850B2 (en) * | 2000-12-04 | 2005-02-08 | Mobigence, Inc. | Automatic speaker volume and microphone gain control in a portable handheld radiotelephone with proximity sensors |
| US20020075306A1 (en) * | 2000-12-18 | 2002-06-20 | Christopher Thompson | Method and system for initiating communications with dispersed team members from within a virtual team environment using personal identifiers |
| US6754623B2 (en) * | 2001-01-31 | 2004-06-22 | International Business Machines Corporation | Methods and apparatus for ambient noise removal in speech recognition |
| US6985858B2 (en) * | 2001-03-20 | 2006-01-10 | Microsoft Corporation | Method and apparatus for removing noise from feature vectors |
| GB2375276B (en) | 2001-05-03 | 2003-05-28 | Motorola Inc | Method and system of sound processing |
| US7433484B2 (en) * | 2003-01-30 | 2008-10-07 | Aliphcom, Inc. | Acoustic vibration sensor |
| US6987986B2 (en) * | 2001-06-21 | 2006-01-17 | Boesen Peter V | Cellular telephone, personal digital assistant with dual lines for simultaneous uses |
| US7054423B2 (en) * | 2001-09-24 | 2006-05-30 | Nebiker Robert M | Multi-media communication downloading |
| US6959276B2 (en) * | 2001-09-27 | 2005-10-25 | Microsoft Corporation | Including the category of environmental noise when processing speech signals |
| US6952482B2 (en) * | 2001-10-02 | 2005-10-04 | Siemens Corporation Research, Inc. | Method and apparatus for noise filtering |
| JP3532544B2 (ja) * | 2001-10-30 | 2004-05-31 | 株式会社テムコジャパン | 面体又は帽体のストラップ装着用送受話装置 |
| JP3678694B2 (ja) * | 2001-11-02 | 2005-08-03 | Ｎｅｃビューテクノロジー株式会社 | 対話型端末装置、その通話制御方法、およびそのプログラム |
| US7162415B2 (en) * | 2001-11-06 | 2007-01-09 | The Regents Of The University Of California | Ultra-narrow bandwidth voice coding |
| US6707921B2 (en) * | 2001-11-26 | 2004-03-16 | Hewlett-Packard Development Company, Lp. | Use of mouth position and mouth movement to filter noise from speech in a hearing aid |
| DE10158583A1 (de) * | 2001-11-29 | 2003-06-12 | Philips Intellectual Property | Verfahren zum Betrieb eines Barge-In-Dialogsystems |
| US6664713B2 (en) * | 2001-12-04 | 2003-12-16 | Peter V. Boesen | Single chip device for voice communications |
| US7219062B2 (en) * | 2002-01-30 | 2007-05-15 | Koninklijke Philips Electronics N.V. | Speech activity detection using acoustic and facial characteristics in an automatic speech recognition system |
| US9374451B2 (en) | 2002-02-04 | 2016-06-21 | Nokia Technologies Oy | System and method for multimodal short-cuts to digital services |
| US7117148B2 (en) * | 2002-04-05 | 2006-10-03 | Microsoft Corporation | Method of noise reduction using correction vectors based on dynamic aspects of speech and noise normalization |
| US7190797B1 (en) * | 2002-06-18 | 2007-03-13 | Plantronics, Inc. | Headset with foldable noise canceling and omnidirectional dual-mode boom |
| GB2421668B (en) | 2002-06-24 | 2007-01-03 | Samsung Electronics Co Ltd | Usage position detection |
| US7092529B2 (en) * | 2002-11-01 | 2006-08-15 | Nanyang Technological University | Adaptive control system for noise cancellation |
| US7593851B2 (en) * | 2003-03-21 | 2009-09-22 | Intel Corporation | Precision piecewise polynomial approximation for Ephraim-Malah filter |
| US7516067B2 (en) * | 2003-08-25 | 2009-04-07 | Microsoft Corporation | Method and apparatus using harmonic-model-based front end for robust speech recognition |
| US20060008256A1 (en) * | 2003-10-01 | 2006-01-12 | Khedouri Robert K | Audio visual player apparatus and system and method of content distribution using the same |
| US7499686B2 (en) | 2004-02-24 | 2009-03-03 | Microsoft Corporation | Method and apparatus for multi-sensory speech enhancement on a mobile device |
| US8095073B2 (en) * | 2004-06-22 | 2012-01-10 | Sony Ericsson Mobile Communications Ab | Method and apparatus for improved mobile station and hearing aid compatibility |
| US7574008B2 (en) * | 2004-09-17 | 2009-08-11 | Microsoft Corporation | Method and apparatus for multi-sensory speech enhancement |
| US7283850B2 (en) * | 2004-10-12 | 2007-10-16 | Microsoft Corporation | Method and apparatus for multi-sensory speech enhancement on a mobile device |
-
2003
- 2003-11-26 US US10/724,008 patent/US7447630B2/en not_active Expired - Fee Related
-
2004
- 2004-10-25 RU RU2004131115/09A patent/RU2373584C2/ru not_active IP Right Cessation
- 2004-10-25 CA CA2485800A patent/CA2485800C/en not_active Expired - Fee Related
- 2004-10-25 CA CA2786803A patent/CA2786803C/en not_active Expired - Fee Related
- 2004-10-26 BR BR0404602-1A patent/BRPI0404602A/pt not_active IP Right Cessation
- 2004-10-26 EP EP04025457A patent/EP1536414B1/en not_active Not-in-force
- 2004-10-26 EP EP11008608.9A patent/EP2431972B1/en not_active Not-in-force
- 2004-11-05 MX MXPA04011033A patent/MXPA04011033A/es active IP Right Grant
- 2004-11-08 KR KR1020040090358A patent/KR101099339B1/ko active IP Right Grant
- 2004-11-11 AU AU2004229048A patent/AU2004229048A1/en not_active Abandoned
- 2004-11-16 JP JP2004332159A patent/JP4986393B2/ja not_active Expired - Fee Related
- 2004-11-26 CN CN2010101674319A patent/CN101887728B/zh not_active Expired - Fee Related
- 2004-11-26 CN CN2004100956492A patent/CN1622200B/zh not_active Expired - Fee Related
-
2011
- 2011-07-11 JP JP2011153227A patent/JP5147974B2/ja not_active Expired - Fee Related
- 2011-07-11 JP JP2011153225A patent/JP5247855B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| MXPA04011033A (es) | 2005-05-30 |
| CN1622200B (zh) | 2010-11-03 |
| JP2011203759A (ja) | 2011-10-13 |
| KR101099339B1 (ko) | 2011-12-26 |
| US7447630B2 (en) | 2008-11-04 |
| CA2485800C (en) | 2013-08-20 |
| AU2004229048A1 (en) | 2005-06-09 |
| JP5147974B2 (ja) | 2013-02-20 |
| CA2786803A1 (en) | 2005-05-26 |
| JP5247855B2 (ja) | 2013-07-24 |
| BRPI0404602A (pt) | 2005-07-19 |
| CN1622200A (zh) | 2005-06-01 |
| CA2485800A1 (en) | 2005-05-26 |
| JP4986393B2 (ja) | 2012-07-25 |
| CA2786803C (en) | 2015-05-19 |
| KR20050050534A (ko) | 2005-05-31 |
| EP2431972A1 (en) | 2012-03-21 |
| EP1536414A3 (en) | 2007-07-04 |
| EP1536414A2 (en) | 2005-06-01 |
| US20050114124A1 (en) | 2005-05-26 |
| JP2005157354A (ja) | 2005-06-16 |
| CN101887728A (zh) | 2010-11-17 |
| CN101887728B (zh) | 2011-11-23 |
| JP2011209758A (ja) | 2011-10-20 |
| EP1536414B1 (en) | 2012-05-23 |
| EP2431972B1 (en) | 2013-07-24 |
| RU2004131115A (ru) | 2006-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2373584C2 (ru) | Способ и устройство для повышения разборчивости речи с использованием нескольких датчиков | |
| RU2376722C2 (ru) | Способ многосенсорного улучшения речи на мобильном ручном устройстве и мобильное ручное устройство | |
| KR101153093B1 (ko) | 다감각 음성 향상을 위한 방법 및 장치 | |
| US7346504B2 (en) | Multi-sensory speech enhancement using a clean speech prior | |
| US20060293887A1 (en) | Multi-sensory speech enhancement using a speech-state model | |
| JP4731855B2 (ja) | 調波モデルに基づくフロントエンドを使用する頑強な音声認識のための方法およびコンピュータ可読記録媒体 | |
| JP3939955B2 (ja) | ノイズ含有スピーチのドメインにおいて音響空間の区分、補正およびスケーリング・ベクトルを用いたノイズ低減方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20121026 |