JP2017175405A - 再生装置、及び再生方法 - Google Patents

Abstract

【課題】ユーザが適切に周囲の音を聴くことができる再生装置、及び再生方法を提供する。【解決手段】本実施の形態にかかる再生装置は、音楽を再生するための再生信号を出力する音楽プレーヤ１０３と、ユーザＵの左右の耳に向けて音をそれぞれ出力する左右の出力ユニットを有するイヤホン１０５と、周囲音を収音して、収音信号を取得する１つ以上の指向性マイク１０１と、収音信号及び再生信号の少なくとも一方に対して頭外定位処理を行うことで、イヤホン１０５から出力される際の収音信号の定位位置と再生信号の定位位置とを異ならせる頭外定位処理部１０２と、収音信号と再生信号とを合成して、前記出力部に出力する合成部１０４と、を備えたものである。【選択図】図１

Description

本発明は、再生装置、及び再生方法に関する。

デジタルオーディオプレーヤなどの携帯型音楽再生装置によって、屋外でのジョギング中等に音楽を受聴することが可能となっている。屋外でユーザがイヤホンやヘッドホンを装着している場合において、アナウンス音等の周囲の音を聴くことができないと、不都合が生じる場合がある。

特許文献１には、ヘッドホンで音楽を聴いている状況下において、ヘッドホンを利用して周囲の音をユーザの耳に届ける携帯機器が開示されている。特許文献１の携帯機器では、マイクによって周囲の音を収音している。そして、携帯機器は、マイクから入力された音をデータベースに格納されたデータと比較して、出力されるべき音であるか否かを判定している。入力音が出力されるべき音と判定した場合、注意喚起モードに移行して、出力音声にミキシングしている。

特許文献２には、イヤホンとマイクとを有する音再生装置が開示されている。イヤホンは、音信号を耳の中に放音している。マイクは、耳の外の音を収音している。音再生装置は、自動車やバイクなどの移動体の放出音の帯域を通過するフィルタを用いて、移動体の放出音を抽出している。音再生装置は、収音信号の時間勾配を算出して、移動体が近づいているか否かを判定している。移動体が近づいている場合、音再生装置は、イヤホンに供給する音信号のレベルを低下している。このようにすることで、ユーザが、移動体が近づいていることを知ることができる。

特許文献３には、音楽用プレーヤから出力される音楽を受聴者の頭外に定位させ、携帯電話機から呼び出される呼び出し音を頭内に定位させるヘッドホン装置が開示されている。

特開２００７−２４３４９３号公報 特開２０１２−２４８９６４号公報 特開２００４−２０１１９５号公報

特許文献１の装置では、注意喚起モードになった場合に、周囲の音を出力音声にミキシングしている。しかしながら、周囲の音と音楽は、いずれも耳元で鳴っているように聴こえる。このため、マスキング効果によって周囲音が聞き取りづらい場合がある。

特許文献２の装置では、移動体が近づいている場合に、音信号のレベルを低下させている。しかしながら、特許文献１と同様に、周囲の音と音楽が耳元で鳴っているように聴こえる。このため、マスキング効果によって周囲音が聞き取りづらい場合がある。遮音性の高いイヤホンやヘッドホンを用いた場合、移動体の放出音が遮音されてしまう。また、周囲音を聴けるように遮音性を低くしても、再生している音楽の音量が大きいと周囲音は聴こえづらくなってしまう。したがって、特許文献２の装置では、ユーザが周囲の音を聴くことが困難な場合がある。特許文献３の装置でも、同様に、ユーザが周囲の音を聴くことが困難な場合がある。さらに、遮音性が低いイヤホンを用いた場合、再生音量を大きくすると音漏れしてしまう場合がある。

本発明は上記の点に鑑みなされたもので、ユーザが適切に周囲の音を聴くことができる再生装置、及び再生方法を提供することを目的とする。

本発明の一態様にかかる再生装置は、再生音を再生するための再生信号を出力する再生部と、ユーザの左右の耳に向けて音をそれぞれ出力する左右の出力ユニットを有する出力部と、周囲音を収音して、収音信号を取得する１つ以上のマイクと、前記収音信号及び前記再生信号の少なくとも一方に対して頭外定位処理を行うことで、前記出力部から出力される際の前記収音信号の定位位置と前記再生信号の定位位置とを異ならせる定位処理部と、前記収音信号と前記再生信号とを合成して、前記出力部に出力する合成部と、を備えたものである。

本発明の一態様にかかる再生方法は、再生音を再生するための再生信号を出力するステップと、１つ以上のマイクを用いて周囲音を収音して、収音信号を取得するステップと、前記収音信号及び前記再生信号の少なくとも一方に対して頭外定位処理を行うステップと、前記頭外定位処理の後、前記収音信号と前記再生信号とを合成して、合成信号を生成するステップと、左右の出力ユニットを有する出力部から、ユーザの左右の耳に向けて、前記合成信号をそれぞれ出力するステップと、を備えたものである。

本発明によれば、ユーザが適切に周囲の音を聴くことができる再生装置、及び再生方法を提供することができる。

本実施の形態１に係る再生装置の構成を示すブロック図である。 再生装置に用いられるイヤホンの構成を模式的に示す図である。 マイクからの収音信号をユーザ後方に定位させるフィルタを生成する構成を示す概念図である。 再生信号の定位位置Ａと、収音信号の定位位置Ｂを示す図である。 本実施の形態２に係る再生装置に用いられるイヤホンの構成を模式的に示す図である。 本実施の形態３に係る再生装置の構成を示すブロック図である。 本実施の形態にかかる再生方法において、非定常音を検出するための処理を示すフローチャートである。 非定常音の音源方向を説明するための図である。 平常時と非定常音検出時の収音信号の変化を模式的に示す図である。 平常時と非定常音検出時の信号を模式的に示す図である。 非定常音の音源方向を特定する処理を示すフローチャートである。 音源方向に応じてフィルタを切り替える処理を示すフローチャートである。 音源方向に応じたフィルタを生成する構成を示す概念図である。 定位位置の実施例１を示す図である。 定位位置の実施例２を示す図である。 定位位置の実施例３を示す図である。

本実施の形態にかかる再生装置は、再生音を再生する再生部と、イヤホン又はヘッドホン等の出力部とを備えている。再生部は、典型的には、デジタルオーディオプレーヤ、スマートフォン、タブレット端末等の携帯型音楽プレーヤや携帯型動画プレーヤであり、内部メモリ又はクラウドに予め再生音を録音している。再生音は、音楽や動画再生時の音声である。ユーザがイヤホン又はヘッドホンを装着した状態で、音楽プレーヤが出力部に再生信号を出力する。携帯型の再生装置を用いることで、ユーザが屋外等で音楽を受聴することができる。

実施の形態１．
本実施の形態にかかる再生装置について、図１、図２を用いて説明する。図１は、実施の形態１にかかる再生装置１００の制御構成を示すブロック図である。図２は、再生装置１００に用いられるイヤホン１０５及び指向性マイク１０１の構成を模式的に示す図である。再生装置１００は、指向性マイク１０１と、頭外定位処理部１０２と、音楽プレーヤ１０３と、合成部１０４と、イヤホン１０５と、を備えている、

音楽プレーヤ１０３は、例えば、デジタルオーディオプレーヤやスマートフォンのアプリであり、予め録音されている音楽を再生する。音楽プレーヤ１０３は再生した音楽に基づく再生信号を、合成部１０４に出力する。再生信号は、ステレオ入力信号である。すなわち、再生信号は、イヤホン１０５の左出力ユニット１０５Ｌに入力されるＬｃｈのステレオ入力信号と、右出力ユニット１０５Ｒに入力されるＲｃｈのステレオ入力信号を含んでいる。Ｌｃｈのステレオ入力信号は、左出力ユニット１０５Ｌからユーザの左耳に出力され、Ｒｃｈのステレオ入力信号は、右出力ユニット１０５Ｒからユーザの右耳に向けて出力される。ここでは、再生音が音楽であるため、音楽プレーヤ１０３を用いているが、再生音が動画の音声である場合、音楽プレーヤ１０３の代わりに、動画再生可能なアプリ等を用いることができる。

指向性マイク１０１は、ユーザの周囲の音を収音するマイクである。指向性マイク１０１は、周囲音に基づく収音信号を頭外定位処理部１０２に出力する。例えば、指向性マイク１０１は、ユーザの後方で発生する音を収音する。すなわち、指向性マイク１０１は、ユーザの後方に指向性を持つマイクである。

頭外定位処理部１０２は、指向性マイク１０１からの収音信号に対して、頭外定位処理を行う。具体的には、頭外定位処理部１０２には収音信号に対してフィルタを畳み込む。こうすることで、頭外定位処理部１０２は、定位処理された収音信号を生成する。頭外定位処理部１０２は、定位処理された収音信号を合成部１０４に出力する。頭外定位処理部１０２は、頭部伝達関数ＨＲＴＦ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）等の伝達特性を畳み込むことにより、頭外定位処理を行う。

具体的には、頭外定位処理部１０２には、左耳に対する伝達特性に応じたＬｃｈのフィルタと、右耳に対する伝達特性に応じたＲｃｈのフィルタが設定されている。頭外定位処理部１０２は、指向性マイク１０１からの収音信号に対してＬｃｈのフィルタを畳み込むことで、定位処理されたＬｃｈの収音信号を生成する。同様に頭外定位処理部１０２は、指向性マイク１０１からの収音信号に対してＲｃｈのフィルタを畳み込むことで、定位処理されたＲｃｈの収音信号を生成する。頭外定位処理部１０２に用いられるフィルタについては後述する。

合成部１０４は、定位処理された収音信号と、再生信号とを合成するミキサーである。具体的には、合成部１０４は、収音信号と再生信号の音量バランスを調整して、合成することで、合成信号を生成する。合成部１０４は合成信号をイヤホン１０５に出力する。

例えば、合成部１０４は、収音信号と再生信号とに対して、音量バランスに応じた係数を乗じる。そして、合成部１０４は、係数が乗じられた収音信号と再生信号とを加算することで、合成信号を生成する。また、合成部１０４は、Ｌｃｈの信号とＲｃｈの信号とのそれぞれに対して合成処理を行う。すなわち、合成部１０４は、Ｌｃｈの収音信号とＬｃｈの再生信号を加算することで、Ｌｃｈの合成信号を生成する。同様に、合成部１０４は、Ｒｃｈの再生信号とＲｃｈの収音信号とを加算することで、Ｒｃｈの合成信号を生成する。合成部１０４はＬｃｈの合成信号とＲｃｈの合成信号をイヤホン１０５に出力する。

イヤホン１０５は、図２に示すように、左出力ユニット１０５Ｌと右出力ユニット１０５Ｒとを備えている。そして、左出力ユニット１０５Ｌと右出力ユニット１０５Ｒは、ネックバンド１１０で連結されている。ネックバンド１１０には、指向性マイク１０１が取り付けられている。指向性マイク１０１は、ネックバンド１１０の左右中央に設けられている。ユーザが１０５を装着した時に、指向性マイク１０１が後方を向くように、ネックバンド１１０に取り付けられている。指向性マイク１０１は、ユーザの後方の音を収音する。

ユーザがネックバンド１１０を首に掛けて、イヤホン１０５を装着する。左出力ユニット１０５Ｌは、Ｌｃｈの合成信号をユーザの左耳に向けて出力する。右出力ユニット１０５Ｒは、Ｒｃｈの合成信号をユーザの右耳に向けて出力する。すなわち、イヤホン１０５は、合成信号に基づいて、周囲音と音楽がミキシングされた音を再生する。

このようにすることで、ユーザの周囲で発生した周囲音を頭外に定位させることができる。一方、音楽プレーヤ１０３で再生された音楽は、頭外定位されていないため、ユーザの耳元で鳴り、頭内に定位して聴こえる。収音信号の定位位置と、再生信号の定位位置とが異なっている。周囲音と音楽の定位を分離している。頭外定位処理部１０２は、収音信号及び再生信号の少なくとも一方に対して頭外定位処理を行うことで、イヤホン１０５から出力される際の収音信号の定位位置と再生信号の定位位置とを異ならせている。

図３を用いて、収音信号の定位位置と再生信号の定位位置とについて説明する。図３は、再生信号（音楽）の定位位置Ａと収音信号（周囲音）の定位位置Ｂとを模式的に示す図である。

上記したように、頭外定位処理部１０２は、収音信号に対して頭外定位用のフィルタを畳み込んでいる。したがって、収音信号がユーザＵの頭外に定位している。具体的には、収音信号の定位位置ＢがユーザＵの後方であるため、後方に定位する頭外定位フィルタを用いて畳み込み処理を行う。

一方、再生信号に対しては、畳み込み処理が施されていない。すなわち、音楽プレーヤ１０３から再生される音楽には、フィルタ処理が施されていない。よって、音楽は通常通りに耳元で鳴るため、頭内に定位して聴こえる。すなわち、再生信号の定位位置ＡはユーザＵの耳９Ｌ、９Ｒの近傍になっている。

このように、再生信号の定位位置Ａと収音信号の定位位置Ｂとが異なっている。周囲音のみにフィルタを畳み込むことにより、音楽プレーヤ１０３で再生される音楽は耳元で鳴るため、頭内に定位するが、周囲音はユーザＵの頭部の後方に定位する。再生信号の音楽は耳元から聴こえるのに対して、収音信号の周囲音が後方から聴こえる。ユーザＵにとって、音楽と周囲音が異なる位置で発生しているように聴こえる。したがって、収音信号の音量レベルが再生信号の音量レベルに対して低い場合であっても、ユーザＵが周囲音を聴きやすくなる。また、合成部１０４は、音楽再生レベルに連動して周囲音のレベルを変化させ、周囲音が音楽に埋もれないようにしてもよい。

周囲音のみを後方に定位させることにより、耳元で鳴っている音楽と周囲音との定位が分離される。このため、音楽再生中でも周囲音が聴き取りやすくなり、周囲音をより正確に察知することができる。一方、音楽と周囲音が同じ定位だと、マスキング効果により周囲音が聞き取りづらくなってしまう。定位位置が異なるため、大音量で音楽を再生している場合でも周囲音を聴き取ることが出来るようになる。換言すると、再生信号の音量レベルに対する収音信号の相対的な音量レベルが小さい場合であっても、ユーザＵが周囲音を聴き取りやすい。よって、イヤホン１０５が収音信号を常時出力していたとしても、ユーザＵが効果的に音楽を聴くことができる。さらに、周囲音が大きくなると、イヤホン１０５から出力される周囲音も大きくなる。よって、ユーザが適切に周囲音と音楽とを聴き分けることができる。

また、指向性マイク１０１が後方からの周囲音を収音する。よって、ユーザＵに対して、後方への注意喚起を行うことができる。例えば、後方から自動車、自転車、バイクなどの車両が接近している場合、車両の接近音が周囲音としてイヤホン１０５の左右の出力ユニット１０５Ｌ、１０５Ｒから出力されている。そして、周囲音が後方に定位している。よって、後方からの車両の接近を正確に察知することができ、後方への注意を促すことができる。

遮音性の高いイヤホン１０５を用いた場合でも、ユーザＵが適切に周囲音を聴くことができる。遮音性の高いイヤホン１０５を用いることができるため、音漏れを防止することができる。さらに、指向性マイク１０１をオフするなどしておけば、使用状況に応じて周囲音を聴こえなくすることも可能である。すなわち、周囲音を聞く必要がない場合は、マイク１０１をオフしておけばよい。あるいは、合成部１０４が周囲音の音量バランスを０にすればよい。室内で音楽を聴く場合などは、イヤホン１０５が周囲音を出力せずに、音楽のみ再生すればよい。

頭外定位処理部１０２における定位処理について、図４を用いて説明する。図４は、定位処理に用いられるフィルタを生成する構成を示す概念図である。

また、受聴者１の後方には、ステレオスピーカ５が配置されている。ステレオスピーカ５は、左スピーカ５Ｌと右スピーカ５Ｒを有している。左スピーカ５Ｌは受聴者１の斜め左後方に設置され、右スピーカ５Ｒは、受聴者１の斜め右後方に設置されている。左スピーカ５Ｌと右スピーカ５Ｒは受聴者１に対して左右対称に配置されている。左スピーカ５Ｌと右スピーカ５Ｒは、インパルス応答測定を行うためのインパルス音等を出力する。

受聴者１の左耳９Ｌにはマイク２Ｌが設置され、右耳９Ｒにはマイク２Ｒが設置されている。具体的には、左耳９Ｌ、右耳９Ｒの外耳道入口又は鼓膜位置にマイク２Ｌ、２Ｒを設置することが好ましい。マイク２Ｌ、２Ｒは、ステレオスピーカ５から出力された測定信号を収音して、収音信号を取得する。なお、受聴者１は、再生装置１００を用いるユーザＵであることが好ましいが、ユーザＵ以外の人での測定で得られた伝達特性を用いてもよい。さらに、受聴者１は、人でもよく、ダミーヘッドでもよい。すなわち、本実施形態において、受聴者１は人だけでなく、ダミーヘッドを含む概念である。

上記のように、左右のスピーカ５Ｌ、５Ｒで出力されたインパルス音をマイク２Ｌ、２Ｒで測定することでインパルス応答が測定される。インパルス応答測定に基づいて取得した収音信号はメモリなどに記憶される。これにより、左スピーカ５Ｌと左マイク２Ｌとの間の伝達特性Ｈｌｓ、左スピーカ５Ｌと右マイク２Ｒとの間の伝達特性Ｈｌｏ、右スピーカ５Ｒと左マイク２Ｌとの間の伝達特性Ｈｒｏ、右スピーカ５Ｒと右マイク２Ｒとの間の伝達特性Ｈｒｓが測定される。すなわち、左スピーカ５Ｌから出力された測定信号を左マイク２Ｌが収音することで、伝達特性Ｈｌｓが取得される。左スピーカ５Ｌから出力された測定信号を右マイク２Ｒが収音することで、伝達特性Ｈｌｏが取得される。右スピーカ５Ｒから出力された測定信号を左マイク２Ｌが収音することで、伝達特性Ｈｒｏが取得される。右スピーカ５Ｒから出力された測定信号を右マイク２Ｒが収音することで、伝達特性Ｈｒｓが取得される。

このように測定された伝達特性Ｈｌｓ〜Ｈｒｓに応じたフィルタが生成される。具体的には、伝達特性Ｈｌｓ〜Ｈｒｓが所定のフィルタ長で切り出されて、頭外定位処理部１０２の畳み込み演算に用いられるフィルタとして生成される。また、頭部伝達関数（ＨＲＴＦ）を用いて、フィルタを生成してもよい。

本実施の形態では、指向性マイク１０１がモノラルマイクであるので、頭外定位処理部１０２は、モノラル信号である収音信号に、４つの伝達特性Ｈｌｓ〜Ｈｒｓに応じたフィルタをそれぞれ畳み込む。頭外定位処理部１０２は、伝達特性Ｈｌｓが畳み込まれた収音信号と伝達特性Ｈｒｏが畳み込まれた収音信号とを加算して、Ｌｃｈの収音信号とする。伝達特性Ｈｌｏが畳み込まれた収音信号と伝達特性Ｈｒｓが畳み込まれた収音信号とを加算して、Ｒｃｈの収音信号とする。このように受聴者１の後方にステレオスピーカ５を設置した状態でのインパルス応答測定によって、ユーザＵの後方に周囲音を定位させることができる。

実施の形態２．
本実施の形態にかかる再生装置について、図５は再生装置１００に用いられるイヤホン１０５の構成を模式的に示す図である。なお、本実施の形態では、イヤホン１０５に装着された指向性マイク１０１が実施の形態１と異なっている。なお、指向性マイク１０１以外の構成については、実施の形態１と同様であるため、適宜説明を省略する。

本実施の形態２では、図５に示すように、ネックバンド１１０に２つの指向性マイク１０１Ｌ、１０１Ｒに取り付けられている。指向性マイク１０１Ｌは、ネックバンド１１０の中央よりも左側に設けられ、指向性マイク１０１Ｒは右側に設けられている。指向性マイク１０１Ｌ、１０１Ｒは左右対称に取り付けられることが好ましい。なお、指向性マイク１０１Ｌ、１０１Ｒで収音された収音信号はステレオ信号となる。指向性マイク１０１Ｌ、１０１Ｒは、頭外定位処理部１０２に収音信号を出力する

頭外定位処理部１０２は、指向性マイク１０１Ｌからの収音信号には、伝達特性Ｈｌｓ、Ｈｌｏをそれぞれ畳み込む。頭外定位処理部１０２は、指向性マイク１０１Ｒからの収音信号に対して、伝達特性Ｈｒｏ、Ｈｒｓをそれぞれ畳み込む。頭外定位処理部１０２は、伝達特性Ｈｌｓが畳み込まれた収音信号と伝達特性Ｈｒｏが畳み込まれた収音信号とを加算して、Ｌｃｈの収音信号とする。伝達特性Ｈｌｏが畳み込まれた収音信号と伝達特性Ｈｒｓが畳み込まれた収音信号とを加算して、Ｒｃｈの収音信号とする。本実施の形態においても実施の形態１と同様の効果を得ることができる。また、本実施の形態では、指向性マイク１０１Ｌ、１０１Ｒがステレオマイクであるため、周囲音を後方にステレオ音場で定位させることができる。

実施の形態３．
本実施の形態にかかる再生装置について、図６を用いて説明する。図６は、実施の形態３にかかる再生装置の構成を示す制御ブロック図である。本実施の形態では、非定常音検出部１０６が追加されている。なお、非定常音検出部１０６以外の構成については、実施の形態１、２と同様であるため説明を省略する。

非定常音検出部１０６はユーザＵの周囲で非定常音が発生しているか否かを検出する。非定常音としては、自動車、バイク、自転車等の乗り物の走行音が挙げられる。非定常音が発生した場合、非定常音検出部１０６は制御信号を合成部１０４に出力する。合成部１０４は、制御信号に応じて、周囲音と音楽の音量レベルを制御する。具体的には、合成部１０４は、非定常音の検出時に、周囲音の音量レベルを高くする。

このようにすることで、非定常音の検出時のみ、高い音量レベルで周囲音を出力することができる。すなわち、非定常音が検出されていないときは、低い音量レベルで周囲音を出力することができる。イヤホン１０５は、通常、周囲音を低めに出力しているが、後方の非定常音を検出した場合に、周囲音の音量を上げて出力する。こうすることで、再生装置１００が、非定常音を強調することができる。よって、後方への注意喚起を適切に行うことができる。

本実施の形態にかかる再生方法について、図７を用いて説明する。図７は非定常音検出部１０６における処理を示すフローチャートである。

まず、指向性マイク１０１が後方音を検出する（Ｓ１１）。なお、指向性マイク１０１は実施の形態１のようにモノラルマイクであってもよいし、実施の形態２のようにステレオマイクであってもよい。次に、指向性マイク１０１からの収音信号を周波数領域に変換する（Ｓ１２）。たとえば、収音信号を離散フーリエ変換することで、周波数領域に変換することができる。なお、収音信号は、頭外定位処理部１０２によって頭外定位処理する前の収音信号を用いることができる。

非定常音検出部１０６は、周波数スペクトルの時間変化を監視する（Ｓ１３）。そして、スペクトルが急激に変化したか否かを判定する（Ｓ１４）。非定常音検出部１０６は、周波数スペクトルを連続して取得して、その変化を算出する。

スペクトルが急激に変化した場合（Ｓ１４のＹＥＳ）、非定常音検出部１０６は、後方に非定常音が発生していると判断する（Ｓ１５）。例えば、非定常音検出部１０６は、後方から車や自転車等の車両が接近していると判断する。すると、非定常音検出部１０６が制御信号を合成部１０４に出力して、合成部１０４が周囲の音量を上げる（Ｓ１６）。

例えば、ユーザＵに車両が接近している場合、スペクトルが大きく変化する。非定常音検出部１０６は、連続して取得された周波数スペクトルのピーク値を求める。そして、ピーク値に大きな変動があった場合、非定常音検出部１０６は、スペクトルが急激に変化したと判定する。連続する２つのスペクトルのピーク値の差分をしきい値と比較することで、急激に変動したか否かを判定する。

スペクトルが急激に変化していない場合（Ｓ１４のＮＯ）、非定常音が発生していなので、ステップＳ１２に戻る。非定常音検出部１０６は、周波数スペクトルを継続的に監視して、スペクトルに大きな変動があったか否かを判定する。このようにすることで、非定常音検出部１０６は非定常音の有無を検出することができる。そして、後方に非定常音が発生している場合に、周囲音の音量レベルを高くすることができる。よって、後方への注意喚起を適切に行うことができる。

実施の形態４．
本実施の形態では、ステレオマイクを用いて非定常音の音源方向を特定している。そのため、図５に示すような、指向性マイク１０１Ｌ、１０１Ｒをネックバンド１１０に設けている。左右の指向性マイク１０１Ｌ、１０１Ｒからの収音信号に基づいて、非定常音検出部１０６が非定常音の方向を検出している。例えば、非定常音検出部１０６が、２つの収音信号の音量差や到達時間差を用いて、非定常音の音源方向を特定する。なお、再生装置１００の基本的な構成、及び処理については、上記した実施の形態と同様であるため、説明を省略する。

図８に、ユーザＵを基準とする方向を示す。図８では、ユーザＵを原点として、ユーザＵの前方を０°、右方向を９０°、後方を１８０°、左方向を２７０°としている。９０°〜１２０°をＲ３方向、１２０°〜１５０°をＲ２方向、１５０°〜１８０°をＲ１方向、１８０°〜２１０°をＬ１方向、２１０°〜２４０°をＬ２方向、２４０°〜２７０°をＬ３方向とする。

非定常音検出部１０６は、方向別に音圧の変化を監視する。図９では、Ｒ２方向において、非定常音が大きく変化している。この場合、非定常音検出部１０６は、非定常音の音源方向をＲ２方向と特定する。そして、図１０に示すように、収音信号の音源方向Ｒ２の音圧を上げて、強調する。このようにすることで、より周囲音を適切に聴くことができる。例えば、車両が接近している方向から車両の走行音が聴こえる。よって、より効果的にユーザが車両の接近を察知することができる。

具体的には、非定常音検出部１０６が、音源方向に応じて、フィルタを切り替える。すなわち、頭外定位処理部１０２は、Ｒ３〜Ｌ３の方向毎にフィルタを格納している。そして、頭外定位処理部１０２が強調する音源方向のフィルタを収音信号に畳み込めばよい。このようにすることで、音源方向に周囲音を定位させることができるため、音源方向を強調することができる。

具体的には、音源がＬ３方向である場合、Ｌ３方向を強調するフィルタＨｌｓ＿Ｌ３、Ｈｌｏ＿Ｌ３、Ｈｒｏ＿Ｌ３、Ｈｒｓ＿Ｌ３を収音信号に畳み込む。同様に、音源がＬ２方向である場合、Ｌ２方向を強調するフィルタＨｌｓ＿Ｌ２、Ｈｌｏ＿Ｌ２、Ｈｒｏ＿Ｌ２、Ｈｒｓ＿Ｌ２を収音信号に畳み込む。音源がＬ１方向である場合、Ｌ１方向を強調するフィルタＨｌｓ＿Ｌ１、Ｈｌｏ＿Ｌ１、Ｈｒｏ＿Ｌ１、Ｈｒｓ＿Ｌ１を収音信号に畳み込む。音源がＲ１方向である場合、Ｒ１方向を強調するフィルタＨｌｓ＿Ｒ１、Ｈｌｏ＿Ｒ１、Ｈｒｏ＿Ｒ１、Ｈｒｓ＿Ｒ１を収音信号に畳み込む。音源がＲ２方向である場合、Ｒ２方向を強調するフィルタＨｌｓ＿Ｒ２、Ｈｌｏ＿Ｒ２、Ｈｒｏ＿Ｒ２、Ｈｒｓ＿Ｒ２を収音信号に畳み込む。音源がＲ３方向である場合、Ｒ３方向を強調するフィルタＨｌｓ＿Ｒ３、Ｈｌｏ＿Ｒ３、Ｈｒｏ＿Ｒ３、Ｈｒｓ＿Ｒ３とする。

次に、図１１を用いて、音源方向を特定するための処理について説明する。図１１は、音源方向を特定するための処理を示すフローチャートである。非定常音検出部１０６が、一定時間毎に、指向性マイク１０１が収音信号を周波数領域に変換する（Ｓ２１）。なお、非定常音検出部１０６は、複数の指向性マイク１０１が取得した収音信号をそれぞれ周波数領域に変換している。ここでは、頭外定位処理部１０２でフィルタが畳み込まれる前の収音信号が周波数領域に変換されている。

次に、非定常音検出部１０６は、スペクトルの一部が大きく変化したか否かを判定する（Ｓ２２）。スペクトルの一部が大きく変化していない場合（Ｓ２２のＮＯ）、ステップＳ２１に戻る。スペクトルの一部が大きく変化した場合（Ｓ２２のＹＥＳ）、非定常音と判定する（Ｓ２３）。

次に、非定常音検出部１０６は、左の指向性マイク１０１Ｌの音量と右の指向性マイク１０１Ｒの音量の差分Ｍを求める（Ｓ２４）。非定常音検出部１０６は、指向性マイク１０１Ｌの収音信号のスペクトルと、指向性マイク１０１Ｒの収音信号のスペクトルの差分Ｍを求める。ここで、差分を求める周波数帯は特に限定されるものではない。例えば、スペクトルが大きく変化したピーク周波数のみの差分を算出してもよく、スペクトル全体の差分を算出してもよい。あるいは、非定常音検出部１０６は時間領域における左右の収音信号の差分を求めてもよい。

そして、非定常音検出部１０６は、差分Ｍの値に応じて音源方向を特定する。例えば、差分Ｍが＋６ｄＢ以上である場合、非定常音検出部１０６はＬ３方向に音源があると判定する（Ｓ２５）。すなわち、指向性マイク１０１Ｌの音量が指向性マイク１０１Ｒの音量に比べてかなり大きい場合、非定常音検出部１０６は、非定常音の音源がＬ３方向にあると判定する。

差分Ｍが＋３ｄＢ以上、＋６ｄＢ未満である場合、非定常音検出部１０６はＬ２方向に音源があると判定する（Ｓ２６）。差分Ｍが０ｄＢ以上、＋３ｄＢ未満である場合、非定常音検出部１０６はＬ１方向に音源があると判定する（Ｓ２７）。差分Ｍが−３ｄＢ以上、０ｄＢ未満である場合、非定常音検出部１０６はＲ１方向に音源があると判定する（Ｓ２８）。差分Ｍが−６ｄＢ以上、−３ｄＢ未満である場合、非定常音検出部１０６はＲ２方向に音源があると判定する（Ｓ２９）。差分Ｍが−６ｄＢ未満である場合、非定常音検出部１０６はＲ３方向に音源があると判定する（Ｓ３０）。

このように、非定常音検出部１０６はマイク音量の差分Ｍに応じて音源方向を特定している。具体的には、差分Ｍが大きいほど、非定常音検出部１０６は、左方向（２７０°）に音源があると判定する。なお、音量差に限らず、左右のマイクで収音した信号の位相差を用いて音源方向を特定してもよい。音量差（または音量比）と位相差とを組み合わせて音源方向を特定してもよい。

次に、音源方向に応じてフィルタを切り替える処理について、図１２を用いて説明する。図１２は、フィルタを切り替える処理を示すフローチャートである。

非定常音を検出していない平常時は、頭外定位処理部１０２が後方正面のフィルタ（Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓ）を収音信号に畳み込む（Ｓ４１）。なお、後方正面のフィルタ（Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓ）は、図４に示す測定により取得することができる。そして、上記したように、非定常音検出部１０６が非定常音を検出したか否かを判定する（Ｓ４２）。非定常音を検出していない場合（Ｓ４２のＮＯ）、ステップＳ４１に戻る。すなわち、頭外定位処理部１０２が引き続き、後方正面のフィルタ（Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓ）を収音信号に畳み込む。

非定常音を検出した場合（Ｓ４２のＹＥＳ）、非定常音検出部１０６は、音源方向を判定する（Ｓ４３）。すなわち、図１１に示した処理により音源方向がＬ３〜Ｒ３のいずれにあるかを非定常音検出部１０６が判定する。ステップＳ４３は、図１１に示す処理に対応している。

音源方向がＬ３方向である場合（Ｓ４３のＬ３方向）、頭外定位処理部１０２は、Ｌ３方向のフィルタＨｌｓ＿Ｌ３、Ｈｌｏ＿Ｌ３、Ｈｒｏ＿Ｌ３、Ｈｒｓ＿Ｌ３を畳み込む（Ｓ４４）。音源方向がＬ２方向である場合（Ｓ４３のＬ２方向）、頭外定位処理部１０２は、Ｌ２方向のフィルタＨｌｓ＿Ｌ２、Ｈｌｏ＿Ｌ２、Ｈｒｏ＿Ｌ２、Ｈｒｓ＿Ｌ２を畳み込む（Ｓ４５）。音源方向がＬ１方向である場合（Ｓ４３のＬ１方向）、頭外定位処理部１０２は、Ｌ１方向のフィルタＨｌｓ＿Ｌ１、Ｈｌｏ＿Ｌ１、Ｈｒｏ＿Ｌ１、Ｈｒｓ＿Ｌ１を畳み込む（Ｓ４６）。

音源方向がＲ１方向である場合（Ｓ４３のＲ１方向）、頭外定位処理部１０２は、Ｒ１方向のフィルタＨｌｓ＿Ｒ１、Ｈｌｏ＿Ｒ１、Ｈｒｏ＿Ｒ１、Ｈｒｓ＿Ｒ１を畳み込む（Ｓ４７）。音源方向がＲ２方向である場合（Ｓ４３のＲ２方向）、頭外定位処理部１０２は、Ｒ２方向のフィルタＨｌｓ＿Ｒ２、Ｈｌｏ＿Ｒ２、Ｈｒｏ＿Ｒ２、Ｈｒｓ＿Ｒ２を畳み込む（Ｓ４８）。音源方向がＲ３方向である場合（Ｓ４３のＲ３方向）、頭外定位処理部１０２は、Ｒ３方向のフィルタＨｌｓ＿Ｒ３、Ｈｌｏ＿Ｒ３、Ｈｒｏ＿Ｒ３、Ｈｒｓ＿Ｒ３を畳み込む（Ｓ４９）。

このように、非定常音検出部１０６が非定常音の音源方向を特定する。そして、頭外定位処理部１０２は、方向毎に設定されたフィルタを畳み込む。このようにすることで、収音信号が音源方向に定位されるため、音源方向の非定常音を強調することができる。

なお、方向毎にフィルタを生成する方法について、図１３を用いて説明する。図１３は、フィルタを生成するための測定構成を模式的に示す図である。図１３では、後方正面のフィルタＨｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓと、Ｒ２方向のフィルタＨｌｓ＿Ｒ２、Ｈｌｏ＿Ｒ２、Ｈｒｏ＿Ｒ２、Ｈｒｓ＿Ｒ２と、を生成するための測定構成が示されている。

図１３に示すように、生成するフィルタに応じて、ステレオスピーカ５の設置位置を変えている。例えば、非定常音を検出していない平常時のフィルタＨｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓを生成する場合、左スピーカ５Ｌと右スピーカ５Ｒとの中間点が１８０°の方向になっている。Ｒ２方向のフィルタＨｌｓ＿Ｒ２、Ｈｌｏ＿Ｒ２、Ｈｒｏ＿Ｒ２、Ｈｒｓ＿Ｒ２を生成する場合、左スピーカ５Ｌと右スピーカ５Ｒとの中間点が１３５°の方向になっている。なお、ここでの角度は、図８で示した角度に対応している。

ステレオスピーカ５の位置を変えて測定を行うことで、方向別のフィルタを生成することができる。すなわち、受聴者１を回転中心として、左スピーカ５Ｌと右スピーカ５ＲをＬ３〜Ｒ３方向に対応する角度だけ回転させる。これにより、方向別のフィルタを簡便に生成することができる。

なお、上記の説明では、特定する音源方向をＬ３方向〜Ｒ３方向の６つに分割したが、分割数は６個に限定されるものではない。音源方向の特定精度に応じて、音源方向を２以上に分割していればよい。例えば、音源方向の特定精度が低い場合、左斜め後方と右斜め後方の２方向にのみ音源方向を特定できればよい。もちろん、音源の特定方向は６以上であってもよく、６未満であってもよい。

定位位置の実施例
なお、上記の説明では収音信号（周囲音）を後方に定位し、再生信号（音楽）を耳元で鳴らす（頭内に定位させる）例について説明したが、定位位置は特に限定されるものではない。以下、定位位置Ａ、Ｂの実施例について、図１４〜図１６を用いて説明する。図１４〜図１６はそれぞれ実施例１〜３にかかる定位位置を示す図である。

図１４に示す実施例１では、再生信号の定位位置ＡがユーザＵの前方となっており、収音信号の定位位置ＢがユーザＵの耳元になっている（頭内に定位している）。この場合、頭外定位処理部１０２が再生信号に対してのみ頭外定位処理を行う。すなわち、頭外定位処理部１０２が再生信号にのみフィルタを畳み込み、収音信号にはフィルタを畳み込まない。このようにすることで、図１４に示すような定位位置Ａ、Ｂを実現することができる。

図１５に示す実施例２では、再生信号の定位位置ＡがユーザＵの前方となっており、収音信号の定位位置ＢがユーザＵの後方になっている。この場合、頭外定位処理部１０２が再生信号、及び収音信号の両方に対して頭外定位処理を行う。すなわち、頭外定位処理部１０２が再生信号に前方定位用のフィルタを畳み込み、収音信号には後方定位用のフィルタを畳み込む。このようにすることで、図１５に示すような定位位置Ａ、Ｂを実現することができる。なお、前方定位用のフィルタは、ステレオスピーカ５を受聴者１の前方に設置した測定に基づいて生成される。

図１６に示す実施例３では、再生信号の定位位置ＡがユーザＵの前方となっている。そして、非定常音の有無に応じて、収音信号の定位位置Ｂが変化している。非定常音が検出されていない場合、収音信号の定位位置Ｂが耳元になっている（頭内に定位している）。非定常音が検出された場合、収音信号の定位位置Ｂ’が後方になっている。すなわち、非定常音に応じて、フィルタを切り替えることで、収音信号の定位位置Ｂを変えている。このようにすることで、図１６に示すような定位位置Ａ、Ｂを実現することができる。

もちろん、再生信号の定位位置Ａと収音信号の定位位置Ｂは上記したものに限定されるものではない。適切なフィルタを用いることで、任意の位置に定位させることができる。再生信号のみフィルタ処理を行ってもよく、収音信号のみフィルタ処理を行ってもよい。あるいは、再生信号と収音信号の両方にフィルタ処理を行ってもよい。また、非定常音の有無に応じて、頭外定位処理部１０２が再生信号の定位位置Ａを切り替えてもよい。さらに、非定常音の有無に応じて、頭外定位処理部１０２が再生信号の定位位置Ａ、及び収音信号の定位位置Ｂの両方を切り替えてもよい。

なお、上記の説明では、合成信号を出力する出力部をイヤホン１０５として説明したが、出力部はヘッドホンであってもよい。また、再生信号により再生される音は音楽プレーヤ１０３から出力される音楽として説明したが、動画と共に再生される再生音であってもよい。例えば、合成部１０４で収音信号に合成される再生信号は、映画の音声などに基づく再生信号であってもよい。さらに、マイクの数は３以上であってもよい。周囲音を収音するマイクは、指向性マイクに限られるものではない。例えば、音楽プレーヤ１０３としてスマートフォンのアプリを用いた場合、スマートフォンのマイクを用いて、周囲音を収音してもよい。

さらに、上記の処理は、スマートフォンなどの携帯端末で実行されてもよく、イヤホンやヘッドホンに内蔵されたＤＳＰ(Digital Signal Processor)等で実行されてもよい。もちろん、上記の処理に一部が携帯端末で実行され、残りがイヤホンやヘッドホンに内蔵されたＤＳＰで実行させてもよい。スマートフォンなどの携帯端末が頭外定位処理を行う場合、指向性マイク１０１が携帯端末の音声入力端子に接続される。

上記信号処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ)、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ)、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

Ｕ ユーザ
１ 受聴者
２Ｌ 左マイク
２Ｒ 右マイク
５Ｌ 左スピーカ
５Ｒ 右スピーカ
９Ｌ 左耳
９Ｒ 右耳
１０１ 指向性マイク
１０１Ｌ 左の指向性マイク
１０１Ｒ 右の指向性マイク
１０２ 頭外定位処理部
１０３ 音楽プレーヤ
１０４ 合成部
１０５ イヤホン
１０５Ｌ 左出力ユニット
１０５Ｒ 右出力ユニット
１０６ 非定常音検出部
１１０ ネックバンド

Claims (6)

1. 再生音を再生するための再生信号を出力する再生部と、
   ユーザの左右の耳に向けて音をそれぞれ出力する左右の出力ユニットを有する出力部と、
   周囲音を収音して、収音信号を取得する１つ以上のマイクと、
   前記収音信号及び前記再生信号の少なくとも一方に対して頭外定位処理を行うことで、前記出力部から出力される際の前記収音信号の定位位置と前記再生信号の定位位置とを異ならせる定位処理部と、
   前記収音信号と前記再生信号とを合成して、前記出力部に出力する合成部と、を備えた再生装置。
2. 前記定位処理部は、前記収音信号をユーザの後方に定位させる請求項１に記載の再生装置。
3. 前記マイクが前記ユーザの後方の音を収音する指向性マイクである請求項１、又は２に記載の再生装置。
4. 前記収音信号に、非定常音が含まれるか否かを検出する非定常音検出部をさらに備え、
   前記非定常音検出部が、前記非定常音を検出した場合に、前記再生信号に対する前記収音信号の相対的な音量レベルを変化させる請求項１〜３のいずれか１項に記載の再生装置。
5. 前記マイクが２つ以上設けられ、
   前記２つ以上のマイクが収音した収音信号に基づいて、前記収音信号に含まれる非定常音の音源方向を特定し、
   前記非定常音の音源方向に基づいて、前記収音信号の定位位置を変化させる請求項１〜４のいずれか１項に記載の再生装置。
6. 再生音を再生するための再生信号を出力するステップと、
   １つ以上のマイクを用いて周囲音を収音して、収音信号を取得するステップと、
   前記収音信号及び前記再生信号の少なくとも一方に対して定位処理を行うステップと、
   前記定位処理を行った後、前記収音信号と前記再生信号とを合成して、合成信号を生成するステップと、
   左右の出力ユニットを有する出力部から、ユーザの左右の耳に向けて、前記合成信号をそれぞれ出力するステップと、を備えた再生方法。

Images