JP2021047436A - 音声入出力装置、補聴器、音声入出力方法および音声入出力プログラム - Google Patents

Abstract

【課題】ノイズキャンセルを行って高品質な主音声信号を生成する音声入出力装置、補聴器、音声入出力方法および音声入出力プログラムを提供する。【解決手段】音声入出力装置１００は、ユーザ１２０の外部から到来する外部雑音１２１を取得するための雑音取得部１０２と、音声信号１３２の入力を受け付け、ユーザ１２０の外耳道１１０に対して出力音声１３１を出力する音声出力部１０３と、外部雑音１２１と出力音声１３１とユーザ１２０の内部から到来する主音声１１１とが混合された混合音声を取得して、混合音声信号１１２を出力する主音声取得部１０１と、外部雑音１２１に基づく雑音信号を用いて、混合音声信号を処理するノイズキャンセル部１０４と、を備える。【選択図】図１

Description

本発明は、音声入出力装置、補聴器、音声入出力方法および音声入出力プログラムに関する。

上記技術分野において、特許文献１には、マイク部の不使用時に第１スピーカおよび第２スピーカから音声を出力し、マイク部の使用時に第１スピーカの音声出力を停止して第２スピーカから音声を出力する音声入出力装置が開示されている。特許文献２には、環境騒音に対して装着部の筐体の遮音性能により発話収音信号のＳ／Ｎを確保した上で、ＮＣ処理により内部空間におけるノイズを抑制することで、発話収音信号のＳ／Ｎ向上を図る技術が開示されている。

特開２０１５−６１１１５号公報 特開２０１７−１１７５４号公報

しかしながら、上記特許文献１に記載の技術では、エコーが生じないためエコーキャンセルを行う必要がなかった。また、上記特許文献２に記載の技術では、内部マイクロホンに環境騒音が入らないため内部マイクロホンに入力された音声信号から外部ノイズをキャンセルする必要がなかったため、高品質な主音声信号を生成できなかった。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係る音声入出力装置は、
ユーザの外部から到来する外部雑音を取得するための雑音取得部と、
音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力部と、
前記外部雑音と前記出力音声と前記ユーザの内部から到来する主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得部と、
前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセル部と、
を備える。

上記目的を達成するため、本発明に係る補聴器は、
ユーザの外部から到来する外部雑音を取得するための雑音取得部と、
音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力部と、
前記外部雑音と前記出力音声と前記ユーザの内部から到来する主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得部と、
前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセル部と、
を備えた。

上記目的を達成するため、本発明に係る音声入出力方法は、
ユーザの外部から到来する外部雑音を取得するための雑音取得ステップと、
音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力ステップと、
前記外部雑音と前記出力音声と前記ユーザの内部から到来する主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得ステップと、
前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセルステップと、
を含む。

上記目的を達成するため、本発明に係る音声入出力プログラムは、
ユーザの外部から到来する外部雑音を取得するための雑音取得ステップと、
音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力ステップと、
前記外部雑音と前記出力音声と前記ユーザの内部から到来する主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得ステップと、
前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセルステップと、
をコンピュータに実行させる。

本発明によれば、ノイズキャンセルを行って高品質な主音声信号を生成することができる。

本発明の第１実施形態に係る音声入出力装置の構成を示すブロック図である。 本発明の第２実施形態に係る音声入出力装置の構成を示す図である。 本発明の第２実施形態に係る音声入出力装置の音声処理部の詳しい構成を示す図である。 本発明の第２実施形態に係る音声入出力装置の制御部の係数処理を説明する図である。 本発明の第３実施形態に係る音声入出力装置の構成を示す図である。 本発明の第４実施形態に係る音声入出力装置の構成を示す図である。 本発明の第５実施形態に係る補聴器の構成を示す図である。 本発明の第５実施形態に係る補聴器の構成を示す図である。 本発明の第５実施形態に係る補聴器の構成を示す図である。 本発明の第６実施形態に係る音声入出力装置の構成を示す図である。 本発明の第７実施形態に係る音声入出力装置の構成を示す図である。 第２実施形態を信号処理プログラムにより構成する場合に、その信号処理プログラムを実行するコンピュータの構成図である。 ＣＰＵ８２０が実行する処理の流れを示すフローチャートである。 ＣＰＵ８２０が実行する処理の流れを示すフローチャートである。 ＣＰＵ８２０が実行する処理の流れを示すフローチャートである。

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。また、下記図面において、一方向性の矢印は、ある信号の流れの方向を端的に示したものであり、双方向性を排除するものではない。なお、以下の説明中における「音声信号」とは、音声その他の音響に従って生ずる直接的の電気的変化であって、音声その他の音響を伝送するためのものをいい、音声に限定されない。

［第１実施形態］
本発明の第１実施形態としての音声入出力装置１００について、図１を用いて説明する。

図１に示すように、音声入出力装置１００は、主音声取得部１０１、雑音取得部１０２、音声出力部１０３、ノイズキャンセル部１０４およびエコーキャンセル部１０５を含む。雑音取得部１０２は、ユーザ１２０の体の外側に向けて配置され、ユーザ１２０の外部から到来する外部雑音１２１を取得（捕捉）する。音声出力部１０３は、音声信号１３２の入力を受け付け、ユーザ１２０の外耳道１１０に対して出力音声１３１を出力する。主音声取得部１０１は、外部雑音１２１と出力音声１３１とユーザ１２０の声帯から外耳道内を伝わってきたユーザ１２０の主音声１１１とが混合された混合音声を取得（捕捉）して、混合音声信号１１２を出力する。ノイズキャンセル部１０４は、外部雑音１２１に基づく雑音信号を用いて、混合音声信号１１２を処理する。エコーキャンセル部１０５は、音声信号１３２を用いて、混合音声信号１１２を処理する。

本実施形態によれば、ノイズキャンセルとエコーキャンセルとの両方を行って高品質な主音声信号を生成することができる。

［第２実施形態］
次に本発明の第２実施形態に係る音声入出力装置について、図２Ａ乃至図３を用いて説明する。図２Ａは、本実施形態に係る音声入出力装置の構成を示す図である。音声入出力装置２００は、主音声取得部としての内部マイク２０１、雑音取得部としての外部マイク２０２、音声出力部としてのスピーカ２０３、音声処理部２９０を有する。音声処理部２９０は、ノイズキャンセル部２０４およびエコーキャンセル部２０５を有する。音声入出力装置２００は、インナーイヤー型のヘッドホン、カナル型のヘッドホン、両耳型のヘッドホン、片耳型のヘッドホン、モノラル型のヘッドホンであってもよいが、これらには限定されない。また、音声入出力装置２００は、ヘッドホンには限られず、イヤホン、ヘッドセットであってもよい。

内部マイク２０１は、ユーザ２７０の外耳道２１０に向けられた内部マイクである。内部マイク２０１で捕捉されたユーザ２７０の主音声２１１は、送信信号２５０として所定の送信先に送信される。

内部マイク２０１は、外部雑音２２１と出力音声２３１と主音声２１１とが混合された混合音声を捕捉して、混合音声信号２１２を出力する。内部マイク２０１は、密閉空間である外耳道２１０に配置されていても、外部雑音２２１の音量が大きい場合には、ユーザ２７０の頭部を通過して外耳道内に伝播された外部雑音２２１の一部を捕捉してしまう。さらに、スピーカ２０３から音声が出力されている場合には、内部マイク２０１は、その音声も捕捉してしまう。

外部マイク２０２は、ユーザ２７０の体の外側に向けて配置され、外部マイク２０２は、ユーザ２７０の外部から到来する外部雑音２２１を捕捉する。例えば、外部マイク２０２は、ユーザ２７０の周辺からの外部雑音２２１を捕捉する外部マイクである。外部マイク２０２は、外部雑音２２１を捕捉して、雑音信号２２２を生成する。

通信部２６０が、受信した受信信号２４０は、出力音声信号２３２に変換され、スピーカ２０３に入力される。スピーカ２０３は、出力音声信号２３２の入力を受け付け、ユーザ２７０の外耳道２１０に対して出力音声２３１を出力する。

ノイズキャンセル部２０４は、外部マイク２０２が捕捉した外部雑音２２１に基づく雑音信号を用いて、内部マイク２０１が捕捉した混合音声から出力された混合音声信号２１２を処理する。ユーザ２７０の主音声２１１に外部雑音２２１が混ざった混合音声を内部マイク２０１が捕捉する。

エコーキャンセル部２０５は、スピーカ２０３に入力される出力音声信号２３２を用いて、内部マイク２０１が出力した混合音声信号２１２にエコーキャンセル処理を加える。

通信部２６０は、受信信号２４０を受信し、出力音声信号２３２をスピーカ２０３に送る。また、通信部２６０は、音声処理部２９０で生成された音声信号を受け取り、外部に送信信号２５０として送信する。

図２Ｂは、本実施形態に係る音声入出力装置の音声処理部の詳しい構成を示す図である。ノイズキャンセル部２０４は、適応フィルタ２４１と加算器２２０とを有する。ノイズキャンセル部２０４には、外部マイク２０２で生成した外部雑音信号２２２が入力される。ノイズキャンセル部２０４は、入力された外部雑音２２１に基づく外部雑音信号２２２を用いて、混合音声信号２１２を処理する。ノイズキャンセル部２０４は、適応フィルタ２４１を駆動して、混合音声信号に含まれる雑音信号の擬似信号（擬似雑音信号２４２）を生成する。加算器２２０は、擬似雑音信号２４２を内部マイク２０１の混合音声信号２１２から減算することで、雑音の抑圧を行う。加算器２２０から出力された擬似主音声信号２９１は、残留雑音を含み、適応フィルタ２４１の係数更新に利用される。

外部マイク２０２が捕捉した外部雑音信号２２２は、制御部２８０にも入力される。制御部２８０は、入力された外部雑音信号２２２に基づいて、ノイズキャンセル部２０４による処理を制御する。制御部２８０には、外部雑音信号２２２、擬似雑音信号２４２、擬似主音声信号２９１が入力され、制御部２８０は、これらに基づいて適応フィルタ２４１の係数を生成して、係数の更新のタイミングを制御する。

擬似主音声信号２９１は、エコーキャンセル部２０５に入力される。エコーキャンセル部２０５は、スピーカ２０３に入力される出力音声信号２３２を用いて、内部マイク２０１が出力した混合音声信号２１２に対してエコーキャンセル処理を加える。エコーキャンセル部２０５は、適応フィルタ２５１と加算器２３０とを有する。適応フィルタ２５１は、出力音声信号２３２を用いて、擬似エコー信号２５２を生成する。加算器２３０は、擬似主音声信号２９１から擬似エコー信号２５２を減算して、擬似主音声信号２９２を生成する。制御部２８０には、出力音声信号２３２、擬似主音声信号２９１，２９２が入力され、制御部２８０は、これらに基づいて適応フィルタ２５１の係数を生成して、係数の更新のタイミングを制御する。

内部マイク２０１が捕捉した混合音声信号２１２に混ざり込んだ出力音声信号２３２の一部を取り除くために、エコーキャンセル部２０５は、入力された音声信号を用いて、混合音声信号２１２にエコーキャンセル処理を施す。

このように、エコーキャンセル部２０５は、ノイズキャンセル処理後の音声信号に対して、エコーキャンセル処理を施す。エコーキャンセル部２０５は、例えば、スピーカ２０３から音楽が流れている状態で、ユーザが発声した場合にも、内部マイク２０１で捕捉した混合音声信号からユーザの声をクリアに抽出できる。

通信部２６０は、ノイズキャンセル部およびエコーキャンセル部で処理された擬似主音声信号２９２を受け取り、外部へ送信信号２５０として送信する。

図２Ｃは、本実施形態に係る音声入出力装置２００の制御部２８０の係数処理を説明する図である。上述したように、ノイズキャンセル部２０４およびエコーキャンセル部２０５はそれぞれ、適応フィルタ２４１，２５１を用いてノイズキャンセル処理およびエコーキャンセル処理を行う。図２Ｃにおいて、縦軸は更新量（学習量）を表し、横軸はＳ／Ｎ（信号対雑音比）を表している。グラフ２０８は、ノイズキャンセル部２０４の適応フィルタ２４１の係数の更新量を示している。グラフ２０９は、エコーキャンセル部２０５の適応フィルタ２５１の係数の更新量を示している。グラフ２０８およびグラフ２０９に示したように、制御部２８０は、適応フィルタ２４１の更新処理を行い、適応フィルタ２４１の更新処理が収束するまでの間は、適応フィルタ２５１の更新は行わない。つまり、制御部２８０は、適応フィルタ２４１の更新処理が収束してから、適応フィルタ２５１の更新処理を行う。すなわち、制御部２８０は、どちらか一方の適応フィルタの更新を行っている場合には、他方の適応フィルタの更新は行わず、両方の適応フィルタ２４１，２５１が同時に更新されることはない。ノイズキャンセル部２０４およびエコーキャンセル部２０５がＯＮ／ＯＦＦされるのではなく、適応フィルタ２４１，２５１の更新（学習）がＯＮ／ＯＦＦされ、シーソーのように適応フィルタ２４１，２５１の更新が行われる。適応フィルタ２４１，２５１は、ある程度更新が進むと、ほとんどフィルタ係数が変わらない状態となる。このような状態となると、適応フィルタ２４１，２５１のフィルタ係数が決まるので、原則として、制御部２８０は、適応フィルタ２４１，２５１の再更新は行わない。

また、制御部２８０が、適応フィルタ２４１の更新を行うタイミングは、内部マイク２０１が主音声２１１を捕捉せず、スピーカ２０３から出力音声２３１を出力していないタイミングである。また、制御部２８０が、適応フィルタ２５１の更新を行うタイミングは、スピーカ２０３が出力音声２３１を出力しているタイミングである。

また、制御部２８０は、内部マイク２０１が主音声２１１を捕捉し、スピーカ２０３から出力音声２３１を出力しているタイミングでは、適応フィルタ２４１，２５１の更新を行わない。

本実施形態によれば、ノイズキャンセルとエコーキャンセルとの両方を行って高品質の主音声信号を送信できる。つまり、ユーザの声をクリアに相手に届けることができる。また、適応フィルタの更新を行うので、外部雑音の変化、スピーカから出ている音声の変化に対応できる。また、例えば、ユーザの音声をスマートフォンに送信してＡＩ（Artificial Intelligence）アシスタントに音声認識をさせる場合にも、認識精度が高くなるため、外部雑音が大きい屋外においてもＡＩアシスタントの誤認識を減らすことができる。さらに、ユーザがヘッドホンを使って音楽を聴きながらでも音声通話やＡＩアシスタントの使用を実現できる。

［第３実施形態］
次に本発明の第３実施形態に係る音声入出力装置について、図３を用いて説明する。図３は、本実施形態に係る音声入出力装置の構成を示す図である。本実施形態に係る音声入出力装置は、上記第２実施形態と比べると、音声処理部３２０の構成が異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

音声処理部３２０は、第２実施形態の音声処理部２９０の構成に加えてノイズキャンセル部３０１、エコーキャンセル部３０３および制御部３１０を有する。エコーキャンセル部３０３は、加算器３３０と適応フィルタ３３１とを有する。エコーキャンセル部３０３は、スピーカ２０３の出力音声信号２３２を適応フィルタ３３１で生成した擬似出力音声３３２を加算器３３０で外部マイク２０２で捕捉した外部雑音信号２２２から減算する。これにより、スピーカ２０３からの音漏れをキャンセルして、高品質な擬似外部雑音信号３２２を得ることができる。

制御部３１０は、外部雑音信号２２２と、エコーキャンセル処理を施された外部雑音信号２２２と、出力音声信号２３２とを入力して、適応フィルタ３３１の係数を生成して、更新を制御する。

ノイズキャンセル部３０１は、加算器３１２と適応フィルタ３１１とを有する。ノイズキャンセル部３０１は、擬似外部雑音信号３２２から生成した擬似雑音信号３２３を受信信号２４０に基づいて生成された音声信号３２４から加算器３１２で減算する。

本実施形態によれば、ノイズキャンセルとエコーキャンセルとの両方を行って高品質の主音声信号を送信できる。また、スピーカから出力される音漏れが外部マイクに混入する影響を排除できる。

［第４実施形態］
次に本発明の第４実施形態に係る音声入出力装置について、図４を用いて説明する。図４は、本実施形態に係る音声入出力装置４００の構成を説明するための図である。本実施形態に係る音声入出力装置４００は、上記第３実施形態と比べると、制御部３１０を存在しない点で異なる。他の構成および動作は、第２実施形態および第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

適応フィルタ４２１は、エコーキャンセルを施された似外部雑音信号３２２から擬似雑音信号４２２を生成し、加算器３１２は、受信信号２４０から生成された音声信号３２４から擬似雑音信号４２２を減算する。

エコーキャンセル部４０３は、適応フィルタ４３１と加算器３３０とを有する。適応フィルタ４３１は、擬似出力音声信号４３２を生成する。加算器３３０は、外部雑音信号２２２から擬似出力音声信号４３２を減算する。

本実施形態によれば、よりシンプルな構成で第３実施形態と同様の効果を得られる。

［第５実施形態］
次に本発明の第５実施形態に係る補聴器について、図５Ａ乃至図５Ｃを用いて説明する。図５Ａ乃至図５Ｃは、本実施形態に係る補聴器の構成を示す図である。本実施形態に係る補聴器は、上記第４実施形態と比べると、補聴器機能とスイッチとを追加した点で異なる。その他の構成および動作は、第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

図５Ａは、相手の声を聴きつつ外部雑音の漏れこみを許容する場合を表す。図５Ａに示したように、補聴器５００は、内部マイク２０１、外部マイク２０２、スピーカ２０３、通信部２６０および音声処理部５６０を有する。音声処理部５６０は、増幅部５０１、スイッチ５２１，５０３および加算器５２０をさらに有する。通信部２６０を介して入力した受信信号２４０に対応する音声信号３２４は、増幅部５０１で増幅され、スピーカ２０３に入力され、出力音声として出力される。補聴器５００においては、スピーカ２０３から出力される出力音声が大きいので、混合音声における出力音声の混合比率が大きくなる。そのため、内部マイク２０１が捕捉する出力音声のキャンセリングを行うことの効果が大きい。また、増幅された出力音声が補聴器５００からユーザの外部に漏れやすくなるので、エコーキャンセル部４０３の重要性が高い。ユーザは、通話相手の声を大きな音量で聞くことができる。補聴器５００であっても高品質な主音声を捕捉できる。一方、増幅された出力された音声を内部マイク２０１が捕捉し易くなるが、エコーキャンセル部２０５の働きによって、高品質な擬似主音声信号を生成できる。

図５Ｂは、外部雑音をキャンセルしつつ、自分の声と相手の声とを大きく聞く場合を表す。この場合、スイッチ５２１を適応フィルタ４２１側の接点へ接続する。また、スイッチ５２１の動きと連携して、スイッチ５０３が閉じる。適応フィルタ４２１と加算器３１２は、図４を用いて説明した動作を行う。これにより、ユーザは、外部音声をキャンセルした音を聞くことができる。また、スイッチ５０３が閉じることにより、加算器５２０は、擬似主音声信号と受信信号２４０から生成した音声信号３２４とを加算する。これにより、ユーザ２７０は、側音と呼ばれる自発生音声を聞くことができる。

図５Ｃは、外部雑音と相手の声との両方を大きく聞く場合を表す。この場合、スイッチ５０２をノイズキャンセル部３０２とは反対側の接点へ接続する。また、スイッチ５０３は、スイッチ５０２の動きと連動して開く。エコーキャンセル部４０３が、音漏れの影響をキャンセルする。加算器３１２は、綺麗な外部雑音と受信した相手の声とを加算する。増幅部５０１は、加算器３１２で加算された音声信号を増幅して、出力音声信号２３２を生成する。これにより、ユーザは、外部の音と通話相手の声とを大きな音量で聞くことができる。

［第６実施形態］
次に本発明の第６実施形態に係る音声入出力装置について、図６を用いて説明する。図６は、本実施形態に係る音声入出力装置の構成を示す図である。本実施形態に係る音声入出力装置は、上記第２実施形態と比べると、着脱検知部６０１を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

着脱検知部６０１は、例えば、内部マイク２０１が捕捉した血液の流れる音や心拍音を用いて音声入出力装置６００の耳への着脱を検知する。また、着脱検知部６０１は、例えば、人間が聞こえない超音波を発振して、当該超音波の反射波の有無により着脱を検知してもよい。また、赤外線センサや加速度センサなどを用いて着脱を検知してもよい。なお、着脱検知方法は、これらには限定されない。

そして、着脱検知部６０１で音声入出力装置６００の装着を検知した場合に、ノイズキャンセル部２０４は、適応フィルタ２４１を用いてノイズキャンセル処理を行い、エコーキャンセル部２０５は適応フィルタ２５１を用いてエコーキャンセル処理を行う。エコーの状態は、音声入出力装置６００を装着するユーザごとに異なるため、制御部２８０は、音声入出力装置６００の装着を検知する度に適応フィルタ２５１の更新を行う。一方、ノイズの状態も、装着した状況（場所や時間）ごとに異なるため、制御部２８０は、装着ごとに適応フィルタ２４１の更新を行う。本実施形態によれば、着脱検知部を設けたので、音声入出力装置を使用するユーザが変わったり、ユーザが音声入出力装置を付け替えたりしても送信信号の品質を高めることができる。なお、音声入出力装置６００は、着脱検知部６０１で音声入出力装置６００が外されたことを検知した場合に、音声入出力装置６００の全機能を停止させてもよい。

［第７実施形態］
次に本発明の第７実施形態に係る音声入出力装置について、図７を用いて説明する。図７は、本実施形態に係る音声入出力装置の構成を示す図である。本実施形態に係る音声入出力装置は、上記第２実施形態と比べると、遮音部を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

遮音部７０１は、内部マイク２０１に対する外部雑音２２１の侵入経路を制限する。遮音部は、例えば、内部マイク２０１の周囲を取り囲むような円筒形状の部材である。ユーザ２７０の外耳道２１０を伝わって到来する主音声２１１を遮音しないように、ユーザ２７０の外耳道２１０に向いている側は、開放されている。なお、遮音部７０１の形状は、ここに示した形状には限定されず、ユーザ２７０の体や音声入出力装置７００を伝わってくる外部雑音２２１を遮音できる形状であれば、どのような形状であってもよい。また、遮音部７０１の材質は、外部雑音２２１を遮音できる部材であれば、どのような部材であってもよいが、例えば、ゴムや樹脂、ガラスなどを採用することができる。本実施形態によれば、ノイズキャンセル部２０４とエコーキャンセル部２０５と遮音部７０１とを設けたので、高品質な擬似主音声信号を生成することができる。

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

図８Ａは、第２実施形態を信号処理プログラムにより構成する場合に、その信号処理プログラムを実行するコンピュータ８００の構成図である。コンピュータ８００は、入力部８１０と、ＣＰＵ（Central Processing Unit）８２０と、出力部８３０と、メモリ８４０とを含む。

ＣＰＵ８２０は、メモリ８４０に記憶された信号処理プログラムを読み込むことにより、コンピュータ８００の動作を制御する。すなわち、信号処理プログラムを実行したＣＰＵ８２０は、ステップＳ８０１において、入力部８１０からユーザの外部雑音２２１を捕捉する。ステップＳ８０３において、ＣＰＵ８２０は、出力部８３０から音声信号を出力する。ステップＳ８０５において、ＣＰＵ８２０は、入力部８１０から、外部雑音２２１と主音声２１１と音声出力部からの出力音声２３１とが混合された混合音声信号２１２を捕捉する。ステップＳ８０７において、ＣＰＵ８２０は、捕捉した混合音声信号２１２に対してノイズキャンセル処理を行う。ステップＳ８０９において、ＣＰＵ８２０は、スピーカ２０３に入力される音声信号を用いて、捕捉した混合音声信号２１２に対してエコーキャンセル処理を行う。ステップＳ８１１において、ＣＰＵ８２０は、音声信号を送信する。

図８Ｂは、ＣＰＵ８２０が実行する処理の流れを示すフローチャートである。ステップＳ８２１において、ＣＰＵ８２０は、内部マイク２０１で混合音声信号２１２を捕捉しているか否かを判断する。混合音声信号２１２を捕捉していると判断した場合（ステップＳ８２１のＹＥＳ）、ＣＰＵ８２０は、処理を終了する。混合音声信号２１２を捕捉していないと判断した場合（ステップＳ９２１のＮＯ）、ＣＰＵ８２０は、ステップＳ８２３へ進む。ステップＳ８２３において、ＣＰＵ８２０は、スピーカ２０３からの出力音声２３１を出力しているか否かを判断する。出力音声２３１を出力していると判断した場合（ステップＳ８２３のＹＥＳ）、ＣＰＵ８２０は、処理を終了する。出力音声２３１を出力していないと判断した場合（ステップＳ８２３のＮＯ）、ＣＰＵ８２０は、ステップＳ８２５へ進む。ステップＳ８２５において、ＣＰＵ８２０は、ノイズキャンセル部２０４の適応フィルタ２４１の更新を行う。

図８Ｃは、ＣＰＵ８２０が実行する処理の流れを示すフローチャートである。ステップＳ８３１において、ＣＰＵ８２０は、スピーカ２０３からの出力音声２３１を出力しているか否かを判断する。出力音声２３１を出力していないと判断した場合（ステップＳ８３１のＮＯ）、ＣＰＵ８２０は、処理を終了する。出力音声２３１を出力していると判断した場合（ステップＳ８３１のＹＥＳ）、ＣＰＵ８２０は、ステップＳ８３２へ進む。ステップ８３２において、ＣＰＵ８２０は、主音声を捕捉したか否かを判断する。主音声を捕捉していると判断した場合（ステップＳ８３２のＹＥＳ）、ＣＰＵ８２０は、処理を終了する。主音声を捕捉していないと判断した場合（ステップＳ８３２のＮＯ）、ＣＰＵ８２０は、ステップＳ８３３へ進む。ステップＳ８３３において、ＣＰＵ８２０は、エコーキャンセル部２０５の適応フィルタ（２５１）の更新を行う。

図８Ｄは、ＣＰＵ８２０が実行する処理の流れを示すフローチャートである。ステップＳ８４１において、ＣＰＵ８２０は、音声入出力装置６００の装着があったか否かを判断する。装着がないと判断した場合（ステップＳ８４１のＮＯ）、ＣＰＵ８２０は、処理を終了する。装着があると判断した場合（ステップＳ８４１のＹＥＳ）、ＣＰＵ８２０は、ステップＳ８４３へ進む。ステップＳ８４３において、ＣＰＵ８２０は、エコーキャンセル部２０５の適応フィルタ２５１の更新を行う。

［実施形態の他の表現］
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得部と、
音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力部と、
前記外部雑音と前記出力音声と前記ユーザの声帯から前記外耳道内を伝わってきた前記ユーザの主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得部と、
前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセル部と、
前記音声信号を用いて、前記混合音声信号を処理するエコーキャンセル部と、を備える音声入出力装置。
（付記２）
前記エコーキャンセル部は、前記ノイズキャンセル部においてノイズキャンセル処理が施された後の音声信号に対して、エコーキャンセル処理を施す付記１に記載の音声入出力装置。
（付記３）
前記ノイズキャンセル部は、第１適応フィルタを用いて、ノイズキャンセル処理を行い、前記エコーキャンセル部は、第２適応フィルタを用いて、エコーキャンセル処理を行い、前記第１適応フィルタの更新を行う場合には前記第２適応フィルタの更新を行わず、前記第２適応フィルタの更新を行う場合には前記第１適応フィルタの更新を行わない付記１または２に記載の音声入出力装置。
（付記４）
前記ノイズキャンセル部は、
前記主音声取得部が前記主音声を取得しておらず、前記音声出力部が出力音声を出力していないタイミングで、前記第１適応フィルタの更新を行う付記３に記載の音声入出力装置。
（付記５）
前記エコーキャンセル部は、
前記音声出力部が出力音声を出力しているタイミングで、前記第２適応フィルタの更新を行う付記３または４に記載の音声入出力装置。
（付記６）
前記ノイズキャンセル部および前記エコーキャンセル部は、前記主音声取得部が前記主音声を取得し、前記音声出力部が出力音声を出力しているタイミングでは、前記第１、第２適応フィルタの更新を行わない付記４または５に記載の音声入出力装置。
（付記７）
前記ノイズキャンセル部は、前記エコーキャンセル部においてエコーキャンセル処理が施された後の音声信号に対して、前記雑音取得部で取得した前記外部雑音を用いてノイズキャンセル処理を施す付記１に記載の音声入出力装置。
（付記８）
前記主音声取得部に対する前記外部雑音の進入経路を制限する遮音部をさらに備えた付記１乃至７のいずれか１項に記載の音声入出力装置。
（付記９）
前記音声入出力装置の着脱を検知する着脱検知部をさらに有し、
前記ノイズキャンセル部は、第１適応フィルタを用いてノイズキャンセル処理を行い、前記エコーキャンセル部は、第２適応フィルタを用いてエコーキャンセル処理を行い、
前記着脱検知部で前記音声入出力装置の装着を検知した場合に、前記第１適応フィルタおよび前記第２適応フィルタのうち少なくとも一方の更新を行う付記１乃至８のいずれか１項に記載の音声入出力装置。
（付記１０）
前記ノイズキャンセル部および前記エコーキャンセル部の両方によって処理した音声信号を送信する通信部をさらに備えた付記１乃至８のいずれか１項に記載の音声入出力装置。
（付記１１）
ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得部と、
音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力部と、
前記外部雑音と前記出力音声と前記ユーザの声帯から前記外耳道内を伝わってきた前記ユーザの主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得部と、
前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセル部と、
前記音声信号を用いて、前記混合音声信号を処理するエコーキャンセル部と、
前記音声出力部に入力される音声信号を増幅する増幅部と、
を備えた補聴器。
（付記１２）
ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得ステップと、
音声の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力ステップと、
前記外部雑音と前記出力音声と前記ユーザの声帯から前記外耳道内を伝わってきた前記ユーザの主音声とが混合された混合音声を取得する主音声取得ステップと、
前記外部雑音に基づく雑音信号を用いて、前記混合音声を処理するノイズキャンセルステップと、
前記音声信号を用いて、前記混合音声を処理するエコーキャンセルステップと、
を含む音声入出力方法。
（付記１３）
ユーザの体の外側に向けて配置され、前記ユーザの外部から到来する外部雑音を取得するための雑音取得ステップと、
音声の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力ステップと、
前記外部雑音と前記出力音声と前記ユーザの声帯から前記外耳道内を伝わってきた前記ユーザの主音声とが混合された混合音声を取得する主音声取得ステップと、
前記外部雑音に基づく雑音信号を用いて、前記混合音声を処理するノイズキャンセルステップと、
前記音声信号を用いて、前記混合音声を処理するエコーキャンセルステップと、
をコンピュータに実行させる音声入出力プログラム。

Claims (11)

1. ユーザの外部から到来する外部雑音を取得するための雑音取得部と、
   音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力部と、
   前記外部雑音と前記出力音声と前記ユーザの内部から到来する主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得部と、
   前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセル部と、
   を備える音声入出力装置。
2. 前記音声信号を用いて、前記混合音声信号を処理するエコーキャンセル部をさらに備えた請求項１に記載の音声入出力装置。
3. 前記ノイズキャンセル部は、第１適応フィルタを用いて、ノイズキャンセル処理を行い、前記エコーキャンセル部は、第２適応フィルタを用いて、エコーキャンセル処理を行い、
   前記第１適応フィルタの係数の更新量及び前記第２適応フィルタの係数の更新量を、信号対雑音比に応じて制御する制御部を更に備えた請求項２に記載の音声入出力装置。
4. 前記第１適応フィルタの更新を行う場合には前記第２適応フィルタの更新を行わず、前記第２適応フィルタの更新を行う場合には前記第１適応フィルタの更新を行わない請求項３に記載の音声入出力装置。
5. 前記ノイズキャンセル部および前記エコーキャンセル部は、前記主音声取得部が前記主音声を取得し、前記音声出力部が出力音声を出力しているタイミングでは、前記第１、第２適応フィルタの更新を行わない請求項４に記載の音声入出力装置。
6. 前記ノイズキャンセル部は、第１適応フィルタを用いて、ノイズキャンセル処理を行い、前記エコーキャンセル部は、第２適応フィルタを用いて、エコーキャンセル処理を行い、
   前記音声入出力装置の着脱を検知する着脱検知部と、
   前記着脱検知部で前記音声入出力装置の装着を検知した場合に、前記第１適応フィルタおよび前記第２適応フィルタのうち少なくとも一方の更新を行う制御部と、
   を更に備えた請求項２に記載の音声入出力装置。
7. 前記主音声取得部に対する前記外部雑音の進入経路を制限する遮音部をさらに備えた請求項１乃至６のいずれか１項に記載の音声入出力装置。
8. 前記音声信号を用いて、前記外部雑音に混ざり込んだ音漏れをキャンセル処理する音漏れキャンセル部を更に備えた請求項１乃至７のいずれか１項に記載の音声入出力装置。
9. ユーザの外部から到来する外部雑音を取得するための雑音取得部と、
   音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力部と、
   前記外部雑音と前記出力音声と前記ユーザの内部から到来する主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得部と、
   前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセル部と、
   を備えた補聴器。
10. ユーザの外部から到来する外部雑音を取得するための雑音取得ステップと、
    音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力ステップと、
    前記外部雑音と前記出力音声と前記ユーザの内部から到来する主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得ステップと、
    前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセルステップと、
    を含む音声入出力方法。
11. ユーザの外部から到来する外部雑音を取得するための雑音取得ステップと、
    音声信号の入力を受け付け、前記ユーザの外耳道に対して出力音声を出力する音声出力ステップと、
    前記外部雑音と前記出力音声と前記ユーザの内部から到来する主音声とが混合された混合音声を取得して、混合音声信号を出力する主音声取得ステップと、
    前記外部雑音に基づく雑音信号を用いて、前記混合音声信号を処理するノイズキャンセルステップと、
    をコンピュータに実行させる音声入出力プログラム。

Images