JP2020178272A - 信号処理システム及び信号処理方法 - Google Patents
信号処理システム及び信号処理方法 Download PDFInfo
- Publication number
- JP2020178272A JP2020178272A JP2019080184A JP2019080184A JP2020178272A JP 2020178272 A JP2020178272 A JP 2020178272A JP 2019080184 A JP2019080184 A JP 2019080184A JP 2019080184 A JP2019080184 A JP 2019080184A JP 2020178272 A JP2020178272 A JP 2020178272A
- Authority
- JP
- Japan
- Prior art keywords
- ear
- worn
- sounding
- terminal
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Telephone Function (AREA)
Abstract
【課題】1組の耳装着型発音装置をそれぞれ別の使用者が使用する場合であっても、双方の再生音を聴取可能な耳装着型発音装置を提供する。【解決手段】本発明の信号処理システムは、第1の耳装着型発音装置の動きを検出する第1のセンサの第1の検出信号と、第2の耳装着型発音装置の動きを検出する第2のセンサの第2の検出信号とを取得する検出信号取得部と、第1の検出信号と第2の検出信号との相関に基づいて、第1の耳装着型発音装置から出力される第1の出力信号及び第2の耳装着型発音装置から出力される第2の出力信号のうち少なくとも1つを変化させる制御部と、を備える。【選択図】図1
Description
本発明は、信号処理システム及び信号処理方法に関する。
例えば、下記特許文献1には、光近接センサと、加速度計と、制御回路と、を有する無線イヤーパッドが開示されている。そして、当該制御回路は、加速度計の出力を分析することにより、イヤーパッドの現在の動作状態、例えば、タップ操作を検出する。
しかしながら、特許文献1においては、1組のイヤーパッドをそれぞれ別のユーザ(以下、これを使用者と呼んでもよい)が使用する場合については想定されておらず、例えば、1組のイヤーパッドからの再生音がそれぞれ異なる信号である場合、それぞれの使用者は、いずれかの信号のみしか聴取することができない。
本発明の一つの態様は、例えば、1組の耳装着型発音装置をそれぞれ別の使用者が使用する場合であっても、双方の再生音を聴取可能な耳装着型発音装置などを実現することを目的とする。
上記の課題を解決するために、本発明の一態様に係る信号処理システムは、第1の耳装着型発音装置の動きを検出する第1のセンサの第1の検出信号と、第2の耳装着型発音装置の動きを検出する第2のセンサの第2の検出信号とを取得する検出信号取得部と、第1の検出信号と第2の検出信号との相関に基づいて、第1の耳装着型発音装置から出力される第1の出力信号及び第2の耳装着型発音装置から出力される第2の出力信号のうち少なくとも1つを変化させる制御部と、を備える。
本発明の一態様によれば、例えば、1組の耳装着型発音装置をそれぞれ別の使用者が使用する場合であっても、双方の再生音を聴取可能な耳装着型発音装置などを実現することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
[第1の実施の形態]
図1に本実施の形態における信号処理システム100の構成を示すブロック図を示す。図1に示すように信号を処理する信号処理システム100は、耳装着型発音装置130,140と端末110とを備える。また図2に耳装着型発音装置130,140が使用者201に装着された際の概略図を示す。図1、図2に示すように耳装着型発音装置130,140は、端末110と相互に通信を行う。
図1に本実施の形態における信号処理システム100の構成を示すブロック図を示す。図1に示すように信号を処理する信号処理システム100は、耳装着型発音装置130,140と端末110とを備える。また図2に耳装着型発音装置130,140が使用者201に装着された際の概略図を示す。図1、図2に示すように耳装着型発音装置130,140は、端末110と相互に通信を行う。
耳装着型発音装置130,140は、例えばイヤホンのような装置であって、通信部131,141、センサ132,142、装置制御部133,143、増幅部134,144及び発音体135,145を備える。
耳装着型発音装置130,140は、例えば使用者201の耳道に挿入されるような形状でもよいし、耳介に保持されるような形状でもよく、それぞれが独立していて1つの耳に1つの耳装着型発音装置130,140が装着されるような形状であればよい。また耳装着型発音装置130,140は、必ずしも耳に装着する必要はなく、指向性スピーカなどが用いられ例えば左右の肩にそれぞれ装着するような装置でもよいものとする。
通信部131,141、装置制御部133,143及び増幅部134,144は、例えば独立した電子回路とする。また通信部131,141、装置制御部133,143及び増幅部134,144は、耳装着型発音装置130,140の有するメモリに保存されたプログラムによる一機能であってもよい。
装置制御部133,143は、耳装着型発音装置130,140における各部、例えば通信部131、センサ132、増幅部134及び発音体135を制御する。
通信部131,141は、後述の端末110に備えられた端末通信部124と通信する。通信部131,141と端末通信部124とは、例えば、無線で通信し、通信媒体は例えば電波や磁気などとするが通信媒体は電波や磁気に限らない。なお通信部131及び通信部141のそれぞれが、端末通信部124と通信してもよいし、通信部141と端末通信部124の通信に際しては、通信部131を中継して通信してもよいし、通信部131と端末通信部124の通信に際しては、通信部141を中継して通信してもよい。
センサ132,142は、耳装着型発音装置130,140の動きを検出する。このセンサ132,142は、耳装着型発音装置130,140の動きを検出するものであればよく、例えば加速度センサや角加速度センサなどが挙げられる。
以下、本実施の形態においてはセンサ132,142が角加速度センサである場合について説明する。このセンサ132,142は、例えば耳装着型発音装置130,140の筐体に、筐体の向きとは関係なく常に図2に示したようなx軸,y軸,z軸を持つように固定され内蔵される。
センサ132,142は、耳装着型発音装置130,140のx軸回り(右回り)の角加速度αx(耳装着型発音装置130,140の動き)を検出する。この検出された角加速度αxは、通信部131,141を介して、端末110に送信される。
増幅部134,144は、端末110から通信部131,141を介して、それぞれ耳装着型発音装置130、140に対応する音声信号を受信する。そして、増幅部134,144は、例えば受信した音声信号の増幅率を変更する処理を行う。
発音体135,145は、例えばスピーカであって、それぞれ耳装着型発音装置130、140に対応する、増幅部134,144から受信した音声信号に従って発音する。
発音体135,145は、駆動方式が圧電式でも電磁式でもよいが、耳装着型発音装置130,140に磁気センサが使用される場合を考慮すると圧電式のものが望ましい。なお発音体135,145は実際に発音しなくてもよく例えば骨伝導を利用して直接骨に振動を伝達するようなものであってもよい。
次に端末110について説明する。端末110は例えば携帯型再生機や携帯型情報端末であって、耳装着型発音装置130,140と相互に通信を行うモジュールである信号送出部120を備える。信号送出部120は、独立した電子回路であってもよいし、端末110の有するメモリに保存されたプログラムによる一機能であって、端末110の有するCPU(Central Processing Unit)によって処理されてもよい。
信号送出部120は、例えば入力部121、端末信号処理部122、端末制御部123及び端末通信部124を備える。信号送出部120が電子回路の場合、入力部121、端末信号処理部122、端末制御部123及び端末通信部124は、独立した電子回路であってもよい。
また信号送出部120が電子回路の場合、入力部121、端末信号処理部122、端末制御部123及び端末通信部124は、信号送出部120の有するメモリに保存されたプログラムによる一機能であって、端末110の有するCPU(Central Processing Unit)
によって処理されてもよい。
によって処理されてもよい。
信号送出部120が端末110の有するメモリに保存されたプログラムによる一機能である場合、入力部121、端末信号処理部122、端末制御部123及び端末通信部124は、信号送出部120の機能を細分化した機能を有するプログラムとする。信号送出部120は、例えば端末110が携帯型音楽再生機の場合、端末110が電源オンになると動作を開始する。
端末通信部124は、耳装着型発音装置130,140の備える通信部131,141
と通信する。なお、端末通信部124は、通信部131,141と同様の構成である。
と通信する。なお、端末通信部124は、通信部131,141と同様の構成である。
入力部121は、信号送出部120の外部から、耳装着型発音装置130,140の発音体135,145において出力(再生)される、例えば音楽の音声信号や通話時の音声信号を受信する。これらの音声信号は、例えば端末110の有するメモリに蓄えられる。
端末制御部123は、端末110の各部、例えば入力部121、端末信号処理部122、端末通信部124などを制御する。さらに、端末制御部123は、耳装着型発音装置130,140から取得した角加速度αx(耳装着型発音装置130,140の動き)の相関に基づいて、耳装着型発音装置130,140の状態を判定する。このように端末制御部123は、検出結果である角加速度αxを検出信号として取得する検出信号取得部の役割と検出信号に基づいて判定を行い入力部121、端末信号処理部122、端末通信部124などを制御する信号処理システム100の制御部の役割とを備える。
本実施の形態における耳装着型発音装置130、140の状態とは、例えば耳装着型発音装置130および耳装着型発音装置140が、図2に示すように同一の使用者201に装着されている状態と、耳装着型発音装置130および耳装着型発音装置140の一方が使用者201に装着されている状態とのいずれかの状態である。
例えば端末制御部123は、耳装着型発音装置130から取得した角加速度αx(以下、これを動きと呼んでもよい)と耳装着型発音装置140から取得した角加速度αxとの相関が高い場合、耳装着型発音装置130,140が同一の使用者201に装着されている状態と判定する。
一方、端末制御部123は、相関が低い場合、耳装着型発音装置130,140の内の一方が使用者201に装着されている状態と判定する。この耳装着型発音装置130,140の一方が使用者201に装着されている状態とは、例えば使用者201が耳装着型発音装置130のみを使用する場合、または使用者201が耳装着型発音装置130を装着し、他の使用者201が耳装着型発音装置140を装着し、2人で使用する場合などが想定される。
なお、例えば相関の高低の判定は、検出した耳装着型発音装置130,140における角加速度αxから所定の演算により判定すればよく、特に限定されるものではない。例えば相関の高低の判定は、同一の期間における耳装着型発音装置130の角加速度αxと耳装着型発音装置140の角加速度αxとの差分を取り、差分が閾値以上の場合に相関が低いと判定するなどとする。
端末信号処理部122は、端末制御部123で判定された耳装着型発音装置130,140の状態に基づいて、入力部121が受信した音声信号を処理する。より具体的には、端末信号処理部122は、耳装着型発音装置130,140が同一の使用者201に装着されている状態と判定された場合、入力部121が受信した音声信号を、耳装着型発音装置130に送信する音声信号と耳装着型発音装置140に送信する音声信号とが異なる例えばステレオ形式の音声信号とする処理をする。
一方、端末信号処理部122は、耳装着型発音装置130,140の一方のみが使用者201に装着されている状態と判定された場合は、入力部121が受信した音声信号を、耳装着型発音装置130に送信する音声信号と、耳装着型発音装置140に送信する音声信号とが同一である、例えばモノラル形式の音声信号とする処理をする。なおこの端末信号処理部122は、入力部121が受信した音声信号の形式と、耳装着型発音装置130,140の状態に応じて処理すればよく、特に限定されるものではない。
なおここでいうモノラル形式とは、2チャンネル分の信号が均等な比率で加算された信号形式でなくてもよく、2つの耳装着型発音装置130,140におけるそれぞれの加算結果が同一でなくてもよいものとする。
つまり2つの耳装着型発音装置130,140に送信される信号の相違が、ステレオ形式よりも小さいものをモノラル形式と呼んでもよいものとする。なお空間的な定位処理が困難な場合、端末制御部123は、端末通信部124を介して耳装着型発音装置130,140からの音声信号の出力を停止するように耳装着型発音装置130,140に指示するように構成してもよい。
特に使用者201の向きや姿勢に応じて定位位置が変わるような場合は、耳装着型発音装置130,140において音声信号は出力が停止されることが好ましい。信号の空間的な定位処理が困難で、2つの耳装着型発音装置130,140のうちの1つのみから信号を受信した信号を使用者201が正しく受聴することが困難な場合は耳装着型発音装置130,140において音声信号は出力が停止されることが好ましい。
一方例えば、端末信号処理部122は、入力部121が受信した音声信号が1チャンネル、例えばモノラル形式であって、耳装着型発音装置130,140の両方が使用者201に装着されていると判定された場合には、この1チャンネルの信号を、耳装着型発音装置130,140に対応して疑似的に複数チャンネルの音声信号、例えばステレオ形式の音声信号へ変換する処理を行うように構成してもよい。
また例えば端末信号処理部122は、入力部121が受信した音声信号が複数チャンネル、例えばステレオ形式であって、耳装着型発音装置130,140の一方のみが使用者201に装着されていると判定された場合には、この複数チャンネルの信号を、耳装着型発音装置130,140の一方に対応して1チャンネルの音声信号、例えばモノラル形式の音声信号へ変換する処理を行う。なお、端末信号処理部122は、入力部121が受信した音声信号が、そのまま使用できる場合には、特に処理を行わないように構成してもよい。
端末信号処理部122で処理された耳装着型発音装置130,140のそれぞれに対応する音声信号は、端末通信部124を介して、耳装着型発音装置130,140のそれぞれに送信され、上述のとおり、耳装着型発音装置130,140において発音される。
次に本実施の形態における信号処理システム100における信号処理の概要について説明する。図3は本実施の形態における信号処理システム100の信号処理S300の処理手順を示すフローチャートである。図3に示すように、耳装着型発音装置130,140において、センサ132,142は2つの耳装着型発音装置130,140の角加速度αxをそれぞれ検出し(S301)、装置制御部133,143は、センサ132,142が検出した角加速度αxを通信部131,141や端末通信部124などを介して端末制御部123に送信する。
端末制御部123は、装置制御部133,143から受信した2つの角加速度αxに基づいて、耳装着型発音装置130,140の状態を判定するモード判定処理S400を行う。詳細は後述するが、端末制御部123は、取得した耳装着型発音装置130の角加速度αxと耳装着型発音装置140の角加速度αxとの相関に基づいて、ステレオモードかモノラルモードかのモード判定を行う。
端末制御部123は、取得した耳装着型発音装置130の角加速度αxと耳装着型発音
装置140の角加速度αxとの相関が高い場合は耳装着型発音装置130,140が同一の使用者201に装着されている状態であると判定する。
装置140の角加速度αxとの相関が高い場合は耳装着型発音装置130,140が同一の使用者201に装着されている状態であると判定する。
また耳装着型発音装置130の角加速度αxと耳装着型発音装置140の角加速度αxとの相関が低い場合は耳装着型発音装置130,140の一方のみが使用者201に装着されている状態であると判定する。端末制御部123は、モード判定処理S400において判定した結果を端末信号処理部122に送信する。
端末信号処理部122は、受信した判定した結果(以下、これを耳装着型発音装置130,140の状態と呼んでもよい)に基づいて、入力部121が受信した音声信号を処理する(S302)。
例えば端末信号処理部122は、耳装着型発音装置130,140が同一の使用者201に装着されている状態と判定された場合、入力部121が受信した音声信号を、耳装着型発音装置130に送信する音声信号と耳装着型発音装置140に送信する音声信号と、が異なる、例えば、ステレオ形式の音声信号とする処理をする。
一方端末信号処理部122は、耳装着型発音装置130,140の一方が使用者201に装着されている状態とされた場合、入力部121が受信した音声信号を、耳装着型発音装置130に送信する音声信号と耳装着型発音装置140に送信する音声信号とが同一である、例えばモノラル形式の音声信号とする処理をする。
この処理された音声信号は耳装着型発音装置130,140に送信され、耳装着型発音装置130,140の備える発音体135,145はこの音声信号に基づいて発音する(S303)。
本実施の形態の信号処理システム100によれば、2つの耳装着型発音装置130,140のそれぞれの動きに基づいて、音声信号を処理し、これら耳装着型発音装置130,140で発音される。
なお上記において、耳装着型発音装置130,140のいずれか一方の装置制御部133,143が端末制御部123の役割を果たしてもよい。この場合、増幅部134,144が端末信号処理部122と同様の役割を果たす。
ここで例えば処理される音声信号が、耳装着型発音装置130,140で異なる、例えばステレオ形式である場合であって、耳装着型発音装置130,140の一方のみが使用者201に装着されている場合には、使用者201が聴取できない音声があり得る。
本実施の形態によれば、例えばステレオ形式の音声信号をモノラル形式の音声信号に変換処理することにより、聴取できない音声をカバーし、不具合を解消し得る。例えば、耳装着型発音装置130,140が異なる使用者201に装着されている場合において、音源がステレオ形式であっても、モノラル形式に変換処理されるので、異なる使用者201で同じ音声を聴取することができる。
次に図4を用いてモード判定処理S400の詳細について説明する。図4に示すようにモード判定処理S400が開始されると端末制御部123は、1度目の第1の相関判定処理S500を行う。1度目の第1の相関判定処理S500は、1人の使用者201が2つの耳装着型発音装置130,140を装着しておりステレオ形式で音楽などの音声信号を視聴している状況から例えば耳装着型発音装置130を別の使用者201に渡した際に音声信号をモノラル形式に変更するために行われる。
ここでは1度目の第1の相関判定処理S500の開始時においては、1人の使用者201が2つの耳装着型発音装置130,140を装着し、音声信号はステレオ形式で出力されていることが前提となっている。なお1度目の第1の相関判定処理S500は、使用者201が2つの耳装着型発音装置130,140のうちの1つを外す際を想定して処理を行っている。
図5に示すように1度目の第1の相関判定処理S500として、まず端末制御部123は、端末通信部124を介して例えば通信部131から角加速度検出通知を受信すると、所定の時間の間、2つの耳装着型発音装置130,140の(センサ132,142が測定した)角加速度αxをそれぞれ受信する(ステップS501)。
次に端末制御部123は、2つの耳装着型発音装置130,140の角加速度αxの相関を演算する(ステップS502)。次に端末制御部123は、ステップS502の演算結果に基づいて、2つの耳装着型発音装置130,140の角加速度αxの相関が低いか否かを判断する(ステップS503)。
ステップS503の判断結果が否定となり、端末制御部123は、2つの耳装着型発音装置130,140の角加速度αxの相関が高いと判断した場合、ステップS501に戻る。端末制御部123がステップS501に戻る場合としては、1人の使用者201が2つの耳装着型発音装置130,140を装着している場合などが挙げられる。1人の使用者201が2つの耳装着型発音装置130,140を装着している場合は相関が高いので、音声信号のステレオ形式が維持される。
一方ステップS503の判断結果が肯定となり、端末制御部123は、2つの耳装着型発音装置130,140の角加速度αxの相関が低いと判断した場合、1つ目の第1の相関判定処理S500を終了する。例えば耳装着型発音装置130を外した場合には、耳装着型発音装置130,140及び端末110の角加速度αxの相関は低くなる。
次に端末制御部123は、1度目の第1の相関判定処理S500を終了すると、モノラルモード指示として、端末信号処理部122に対してモノラル形式の信号生成指示を行う(ステップS401)。
例えば耳装着型発音装置130を外した場合は、2つの耳装着型発音装置630,640の角加速度αxの相関は低くなる。そこでこのような場合には耳装着型発音装置130,140で再生される音声信号をモノラル形式に切り替えることにより、各使用者201は2チャンネル分(左右両方分)の音声信号を聞くことができる。
次に端末制御部123は、2度目の第1の相関判定処理S500及び第2の相関判定処理S600を行う。2度目の第1の相関判定処理S500及び第2の相関判定処理S600は、音声信号がモノラル形式に切り替わった後、さらに、その耳装着型発音装置130を元の使用者201に渡して、元の使用者201が頷く動作(形式変更のトリガー)をした際に音声信号をステレオ形式に変更するために行われる。
図5に示すように2度目の第1の相関判定処理S500として、まず端末制御部123は、端末通信部124を介して例えば通信部131から角加速度検出通知を受信すると、所定の時間の間、2つの耳装着型発音装置130,140の(センサ132,142が測定した)角加速度αxをそれぞれ受信する(ステップS501)。
なお2度目の第1の相関判定処理S500は、2つの耳装着型発音装置130,140
ではそれぞれモノラル形式の音声信号が再生されていることを前提としている。また2度目の第1の相関判定処理S500は、使用者201が2つの耳装着型発音装置130,140のうちの1つの外された例えば耳装着型発音装置130を再度装着する際を想定して処理を行っている。
ではそれぞれモノラル形式の音声信号が再生されていることを前提としている。また2度目の第1の相関判定処理S500は、使用者201が2つの耳装着型発音装置130,140のうちの1つの外された例えば耳装着型発音装置130を再度装着する際を想定して処理を行っている。
次に端末制御部123は、2つの耳装着型発音装置130,140の角加速度αxの相関を演算する(ステップS502)。次に端末制御部123は、ステップS502の演算結果に基づいて、2つの耳装着型発音装置130,140の角加速度αxの相関が低いか否かを判断する(ステップS503)。
ステップS503の判断結果が否定となり、端末制御部123は、2つの耳装着型発音装置130,140の角加速度αxの相関が高いと判断した場合、ステップS501に戻る。端末制御部123がステップS501に戻る場合としては、使用者201が耳装着型発音装置130をポケットにしまい、耳装着型発音装置140を耳に装着して歩いている場合などが挙げられる。この場合2つの耳装着型発音装置130,140の角加速度αxの相関は高いので、音声信号のモノラル形式が維持される。
一方ステップS503の判断結果が肯定となり、端末制御部123は、2つの耳装着型発音装置130,140の角加速度αxの相関が低いと判断した場合、2つ目の第1の相関判定処理S500を終了する。例えば使用者201が外していた耳装着型発音装置130を再度装着した際には、耳装着型発音装置130,140の角加速度αxの相関は低くなる。
2度目の第1の相関判定処理S500を終了すると、端末制御部123は、第2の相関判定処理S600を行う。第2の相関判定処理S600は、2つの耳装着型発音装置130,140を装着した使用者201が頷いたかどうかを判定するために行われる。
図6に示すように第2の相関判定処理S600として、まず端末制御部123は、端末通信部124を介して例えば通信部131から角加速度検出通知を受信すると、所定の時間の間、2つの耳装着型発音装置130,140の(センサ132,142が測定した)角加速度αxをそれぞれ受信する(ステップS601)。
次に端末制御部123は、2つの耳装着型発音装置130,140の角加速度αxの相関を演算する(ステップS602)。次に端末制御部123は、ステップS602の演算結果に基づいて、2つの耳装着型発音装置130,140の角加速度αxの相関が高いか否かを判断する(ステップS603)。
ステップS603の判断結果が否定となり、端末制御部123は、2つの耳装着型発音装置130,140の角加速度αxの相関が低いと判断した場合、ステップS601に戻る。
なおステップS603の判断結果が否定となった場合、端末制御部123は、2度目の第1の相関判定処理S500に戻ってもよい。この場合は、2度目の第1の相関判定処理S500における判断結果が否定となった場合の誤判定を防止することができる。
一方ステップS603の判断結果が肯定となり、端末制御部123は、2つの耳装着型発音装置130,140の角加速度αxの相関が高いと判断した場合、第2の相関判定処理S600を終了する。
例えば使用者201が耳装着型発音装置130を再度装着し、さらに使用者201が頷
く動作をした際には、2つの耳装着型発音装置130,140の角加速度αxの相関は高くなる。
く動作をした際には、2つの耳装着型発音装置130,140の角加速度αxの相関は高くなる。
第2の相関判定処理S600を終了すると、端末制御部123は、ステレオモード指示として、端末信号処理部122に対してステレオ形式の信号生成指示を行う(ステップS402)。
上述のように使用者201は、所定の動作に基づいて耳装着型発音装置130,140の両方を用いて、ステレオ形式の音声を聴取することができる。なお耳装着型発音装置130,140を装着した使用者201が頷いた場合、耳装着型発音装置130,140に発生する角加速度αxは図2に示すように正負が逆とはなるが絶対値はほぼ同じ値となる。
なお耳装着型発音装置130,140におけるセンサ132,142の少なくとも何れかが、所定値以上の角加速度αxを検出した際、例えば使用者201が耳装着型発音装置130,140の何れかを装着して、頷く動作をした際、端末信号処理部122は、入力部121が受信した音声信号がステレオ形式の場合にはモノラル形式に変換、音声信号がモノラル形式の場合にはステレオ形式に変換するように構成してもよい。
また使用者201は、自らの動作によりステレオ形式かモノラル形式かを変更することができる。また所定値が用いられることで、本来検出されるべき使用者201の頭部または耳道の動きとは関係のない動きの検出を排除することが可能となる。
本来検出されるべき動きとは関係のない動きとは、例えば使用者201の頭部から耳装着型発音装置130,140がずれる動きなどが挙げられる。また所定値が用いられることで、センサ132,142のノイズやドリフトなどの入力の検出も排除することができる。
なお耳装着型発音装置130,140が使用者201の耳にかけて使用するような筐体を有する場合、発音体135,145は大型となり発音の際にセンサ132,142で発音体135,145の動きが検出される。
そこで発音体135,145に入力される信号に基づいた信号をセンサ132,142から出力される信号から減算するなどの補償処理を行い、発音体135,145の動きに関する誤差を取り除くように構成してもよい。
なお相関が高いか否かに関しては、加速度axを複数回取得して相関を求める場合、例えば相関係数rに基づいて判断するように構成してもよい。
ここで、相関係数は下記式(1)を用いて表される。なお、xを耳装着型発音装置130の角加速度αx、yを耳装着型発音装置140の角加速度αxとする。また共分散Sxyはxとyとの共分散、標準偏差Sxはxの標準偏差、標準偏差Syはyの標準偏差、nは2変数データ(x,y)の総数、xiはxの個々の数値、yiはyの個々の数値、
はxの平均値、
はyの平均値、とする。
はxの平均値、
はyの平均値、とする。
そして例えば、相関係数rが−1以上−0.7以下の場合にxとyとは強い負の相関であり、相関が高いとする。また例えば、相関係数rが−0.7より大きく−0.4以下の場合にxとyとは負の相関であり相関が高いとし、相関係数rが−0.4より大きく−0.2以下の場合にxとyとは弱い負の相関であり、相関が低いとする。
また例えば相関係数rが−0.2より大きく0.2以下の場合にxとyとはほとんど相関がなく、相関が低いとする。また例えば相関係数rが0.2より大きく0.4以下の場合にxとyとは弱い正の相関であり、相関が低いとする。また例えば相関係数rが0.4より大きく0.7以下の場合にxとyとは正の相関であり、相関が高いとする。また例えば相関係数rが0.7より大きく1以下の場合にxとyとは強い正の相関であり、相関が高いとする。
次に図7の耳装着型発音装置130,140の起動時及び角加速度検出時のシーケンス図を用いて、耳装着型発音装置130,140の起動時及び角加速度検出時の詳細な動作の一例について説明する。まず、信号送出部120が動作を開始した後、端末制御部123は端末110と通信可能な登録機器がリストアップされた、端末制御部123が保持する登録機器テーブルを用いて、現在通信が可能な登録機器があるか否かを確認する機器接続処理S700を行う。
機器接続処理S700では、具体的には例えば信号送出部120は、耳装着型発音装置130に対して接続メッセージを送信する(ステップS701)。耳装着型発音装置130は、電源オン状態であって接続メッセージに対して応答が可能であれば応答メッセージを信号送出部120に対して返送する(ステップS702)。
機器接続処理S700では、信号送出部120は、耳装着型発音装置140に対して接続メッセージを送信する(ステップS703)。耳装着型発音装置140は、電源オン状態であって接続メッセージに対して応答が可能であれば応答メッセージを信号送出部120に対して返送する(ステップS704)。
信号送出部120は耳装着型発音装置130から応答メッセージを受信すると、耳装着型発音装置130との通信を開始する。信号送出部120は耳装着型発音装置140から応答メッセージを受信すると、耳装着型発音装置140との通信を開始する。
信号送出部120と耳装着型発音装置130とが通信を開始すると、信号送出部120は耳装着型発音装置130から角加速度情報を受信可能となり、耳装着型発音装置130は信号送出部120から耳装着型発音装置130に対応する信号を受信可能となる。
信号送出部120と耳装着型発音装置140とが通信を開始すると、信号送出部120は耳装着型発音装置140から角加速度情報を受信可能となり、耳装着型発音装置140は信号送出部120から耳装着型発音装置140に対応する信号を受信可能となる。
耳装着型発音装置130,140が耳装着型発音装置130,140にそれぞれ対応する信号を信号送出部120から受信することで使用者201はステレオ形式の音声情報を、耳装着型発音装置130,140を介して受聴することができる。
ステレオ形式においては、受聴の際に例えば音像が頭内に定位しないような頭部伝達関数や頭部伝達関数を模擬した関数などによる空間的な定位処理を行った信号を用いられることが好ましい。空間的な定位処理の一例としては、ヘッドホンを用いてヘッドホンの前後上下左右の定位を実現する定位処理が挙げられる。
信号送出部120と耳装着型発音装置130との通信が開始され、耳装着型発音装置130において所定値以上の角加速度αxが検出されると角加速度検出処理S710が開始される。角加速度検出処理S710ではまず、耳装着型発音装置130は信号送出部120に角加速度検出通知を送信する(ステップS711)。
なお耳装着型発音装置130において所定値以上の角加速度αxが検出されると、例えば角加速度情報を3回分送信するような所定時間の間、耳装着型発音装置130は角加速度情報を信号送出部120に送信する。
信号送出部120は、耳装着型発音装置130から角加速度検出通知を受信すると、耳装着型発音装置140に角加速度要求通知を送信する(ステップS712)。耳装着型発音装置140は、信号送出部120から角加速度要求通知を受信すると、例えば角加速度情報を3回分送信するような所定時間の間、角加速度情報を信号送出部120に送信する(ステップ713)。
信号送出部120と耳装着型発音装置140との通信が開始され、耳装着型発音装置140において所定値以上の角加速度αxが検出されると角加速度検出処理S720が開始される。角加速度検出処理S720ではまず、耳装着型発音装置140は信号送出部120に角加速度検出通知を送信する(ステップS721)。
なお耳装着型発音装置140において所定値以上の角加速度αxが検出されると、例えば角加速度情報を3回分送信するような所定時間の間、耳装着型発音装置140は角加速度情報を信号送出部120に送信する。
信号送出部120は、耳装着型発音装置140から角加速度検出通知を受信すると、耳装着型発音装置130に角加速度要求通知を送信する(ステップS722)。耳装着型発音装置130は、信号送出部120から角加速度要求通知を受信すると、例えば角加速度情報を3回分送信するような所定時間の間、角加速度情報を信号送出部120に送信する(ステップS723)。
また図8に示す本実施の形態によるモード判定処理S800の処理手順を示す別のフローチャートを用いて、第1の相関判定処理S500及び第2の相関判定処理S600を共通化した場合について説明する。端末制御部123は、端末通信部124を介して例えば通信部131から角加速度検出通知を受信すると、所定の時間の間、2つの耳装着型発音装置130,140の(センサ132,142が測定した)角加速度αxをそれぞれ受信する(ステップS501)。
次に端末制御部123は、2つの耳装着型発音装置130,140の角加速度αxの相関を演算する(ステップS502)。次に端末制御部123は、ステップS502の演算結果に基づいて、2つの耳装着型発音装置130,140の角加速度αxの相関が低いか否かを判断する(ステップS503)。
端末制御部123が2つの耳装着型発音装置130,140の角加速度αxの相関が低いと判断した場合にステップS503の判断結果は肯定となる。ステップS503の判断結果が肯定の場合、端末制御部123は、モノラルモード指示として、端末信号処理部1
22に対してモノラル形式の信号生成指示を行い(ステップS401)、モード判定処理S800を終了する。
22に対してモノラル形式の信号生成指示を行い(ステップS401)、モード判定処理S800を終了する。
端末制御部123が2つの耳装着型発音装置130,140の角加速度αxの相関が高いと判断した場合にステップS503の判断結果は否定となる。ステップS503の判断結果が否定の場合、端末制御部123は、ステレオモード指示として、端末信号処理部122に対してステレオ形式の信号生成指示を行い(ステップS402)、モード判定処理S800を終了する。
ここで上記において、使用者201が耳装着型発音装置130,140を装着し、頷く動作をした際のフローの一例について説明する。この場合は、2度モード判定処理S800が行われる。
まず耳装着型発音装置130,140が装着された際に1度モード判定処理S800が行われ、この場合一時的に信号処理システム100は、モノラル形式の信号を出力するようになる。次に耳装着型発音装置130,140が装着をした状態の使用者201が頷く動作をした際に、信号処理システム100は、ステレオ形式の信号を出力するようになる。
この場合例えば、耳装着型発音装置130,140に備えられたセンサ132,142が1軸の角加速度センサの場合を例にすると、所定値は耳装着型発音装置130,140を装着した使用者201が頷く際に耳装着型発音装置130,140に発生する角加速度αxよりも小さい値とする。
また耳装着型発音装置130,140を装着した使用者201が頷く際に耳装着型発音装置130,140に発生する角加速度αxは、使用者201が装着した耳装着型発音装置130,140を取り外す際に発生する角加速度αxよりも小さいものとする。
さらに使用者201が装着した耳装着型発音装置130,140を取り外す際にセンサ132,142に発生する角加速度αxと使用者201が耳装着型発音装置130,140を装着する際にセンサ132,142に発生する角加速度αxとは同程度と想定する。
なお所定値を基本値と基本値よりも小さい暫定値との2つとしてもよい。基本値を用いてモード判定処理S800が行われた後の所定の期間は、暫定値を用いてモード判定処理S800が行われるものとしてもよい。
例えば基本値を使用者201が装着した耳装着型発音装置130,140を取り外す際に発生する角加速度αxより小さい値とし、暫定値を、耳装着型発音装置130,140を装着した使用者201が頷く際に耳装着型発音装置130,140に発生する角加速度αxよりも小さい値とする。
[第2の実施の形態]
次に本発明の第2の実施の形態について説明する。第1の実施の形態では2つの耳装着型発音装置130,140の角加速度αxの相関についてのみ着目している。これに対して本実施の形態では、さらに2つの耳装着型発音装置130,140の角加速度αxと端末110の角加速度αxとの相関についてもさらに着目する点が主に第1の実施の形態と異なる。
次に本発明の第2の実施の形態について説明する。第1の実施の形態では2つの耳装着型発音装置130,140の角加速度αxの相関についてのみ着目している。これに対して本実施の形態では、さらに2つの耳装着型発音装置130,140の角加速度αxと端末110の角加速度αxとの相関についてもさらに着目する点が主に第1の実施の形態と異なる。
また耳装着型発音装置130,140は周囲の音を集音するマイクなどの装置を備えていなかったが、本実施の形態においてはマイクなどの装置を備える。なお下記においては
第1の実施の形態と同様の点については説明を省略する。
第1の実施の形態と同様の点については説明を省略する。
図9に本実施の形態における信号処理システム900の構成を示すブロック図を示す。信号を処理する信号処理システム900は、耳装着型発音装置930,940と端末110とを備える。信号送出部920は信号送出部120の構成要素に加え出力部921及び端末センサ922をさらに備える。
耳装着型発音装置930,940は、耳装着型発音装置130,140の構成要素に加えて集音体932,942をさらに備え、増幅部134,144の代わりに信号処理部931,941を備える。
信号送出部920が電子回路の場合、出力部921は、独立した電子回路であってもよいし、信号送出部920の有するメモリに保存されたプログラムによる一機能であって端末110の有するCPU(Central Processing Unit)によって処理されてもよい。
信号送出部920が端末110の有するメモリに保存されたプログラムによる一機能である場合、出力部921は、信号送出部920の機能を細分化した機能を有するプログラムとする。
出力部921は、集音体932,942から入力された情報が基となる信号を信号送出部920の外部の例えば端末110の有するメモリへ送信する。集音体932,942から入力された情報は端末通信部124によって受信される。
端末通信部124は端末信号処理部122に集音体932,942から入力された情報を送信し、端末信号処理部122は端末制御部123からの制御信号によって集音体932,942から入力された情報を処理する。なお、集音体932,942は、例えば、マイク等である。
端末信号処理部122は、信号対雑音比が高くなるように2つの集音体932,942から入力された情報から信号を生成する。例えば端末信号処理部122は、2つの集音体932,942から入力された情報のうちノイズの少ない一方の情報のみから信号を生成してもよいし、2つの集音体932,942から入力された情報の平均値を信号として生成してもよい。
なお耳装着型発音装置930,940において出力される音声信号が、耳装着型発音装置930,940の角加速度αxの相関が低くモノラル形式となる場合、集音体932,942から集音された音は、端末信号処理部122によってそれぞれ違ったように処理されてもよい。
例えば耳装着型発音装置930,940の角加速度αxの相関が低く、かつ、耳装着型発音装置930と端末110との角加速度αxの相関が高く、耳装着型発音装置930と端末110との角加速度αxの相関が低い場合を例に挙げる。
この場合、端末信号処理部122は、耳装着型発音装置930の集音体932から集音した音に基づく音声信号を大きくし、耳装着型発音装置930の集音体932から集音した音に基づく音声信号を小さくする処理をしてもよい。
このように本実施の形態の端末110では、集音体932,942から入力された情報が基となる信号が端末110の有するメモリに送信されることで、集音体932,942から入力された情報が基となる信号を記録することができる。
端末センサ922は、端末110の動きを検出する例えば角加速度センサのようなセンサである。そして、端末センサ922は、例えば、端末110の筐体に、筐体の向きとは関係なく常に図2に示したような耳装着型発音装置130と同じx軸,y軸,z軸を持つように内蔵される。端末センサ922は、端末110の角加速度情報を測定し、測定した角加速度情報を端末制御部123に、例えば、一定の周期で送信する。
集音体932,942は、耳装着型発音装置930,940の周囲の音を集音して信号として例えば一定の周期で信号処理部931,941に送信する。集音体932,942は、例えば、主に使用者201の声を集音することを目的とする。
信号処理部931,941は、増幅部134,144と同様に独立した電子回路でもよいし、耳装着型発音装置930,940の有するメモリに保存されたプログラムによる一機能であってもよい。信号処理部931,941は、増幅部134,144と同等の動作に加え、装置制御部133,143からの制御信号に従って集音体932,942から受信する信号を通信部131,141に送信する。通信部131,141は集音体932,942から受信した信号を端末通信部124に送信する。
なお、集音体932,942で集音される音には、発音体135,145から発音される音が含まれるため、信号処理部931,941においてエコーキャンセル処理をすることが望ましい。具体的には信号処理部931,941は、集音体932,942で集音された音を信号する際に、発音体135,145から出力される信号を減算する。
通信部131,141が集音体932,942から受信した信号を端末通信部124に送信するタイミングとしては、機器接続処理S700によって、信号送出部920及び耳装着型発音装置930,940の接続が確立された後となる。また、集音体932,942が信号を受信していない間は通信部131,141から端末通信部124への信号の送信はないものとする。
なお耳装着型発音装置930,940は、装着されているか否かを検出する装着センサをさらに備えていてもよい。装着センサが、耳装着型発音装置930,940が装着されていないことを検出した場合、発音体135,145及び集音体932,942は使用されないことが予測されるため発音体135,145及び集音体932,942の動作を停止させてもよい。
次に本実施の形態における信号処理システム900における信号処理の概要について説明する。図10は本実施の形態における信号処理システム900の信号処理S1000の処理手順を示すフローチャートである。
図10に示すように、耳装着型発音装置930,940において、センサ132,142及び端末センサ922は、耳装着型発音装置930,940及び端末110の角加速度αxをそれぞれ検出し(S1001)、装置制御部133,143は、センサ132,142及び端末センサ922が検出した角加速度αxを通信部131,141や端末通信部124などを介して端末制御部123に送信する。
端末制御部123は、装置制御部133,143及び端末センサ922から受信した2つの角加速度αxに基づいて、耳装着型発音装置130,140及び端末110の状態を判定するモード判定処理S1100を行う。詳細は後述するが、端末制御部123は、取得した耳装着型発音装置930の角加速度αxと耳装着型発音装置940の角加速度αxと端末110の角加速度αxとの相関に基づいて、ステレオモードかモノラルモードかの
モード判定を行う。
モード判定を行う。
端末制御部123は、耳装着型発音装置930の角加速度αxと耳装着型発音装置940の角加速度αxとの相関が高く、かつ、耳装着型発音装置930,940の角加速度αxと端末110の角加速度αxとの相関が低い場合は耳装着型発音装置930,940が同一の使用者201に装着されている状態であると判定する。
また端末制御部123は、耳装着型発音装置930の角加速度αxと耳装着型発音装置940の角加速度αxとの相関が低い場合は耳装着型発音装置130,140の一方のみが使用者201に装着されている状態であると判定する。端末制御部123は、モード判定処理S1100において判定した結果を端末信号処理部122に送信する。
端末信号処理部122は、受信した判定した結果(以下、これを耳装着型発音装置930,940及び端末110の状態と呼んでもよい)に基づいて、入力部121が受信した音声信号を処理する(S1002)。
例えば端末信号処理部122は、耳装着型発音装置930,940が同一の使用者201に装着されている状態と判定された場合、入力部121が受信した音声信号を、耳装着型発音装置930に送信する音声信号と耳装着型発音装置940に送信する音声信号と、が異なる、例えばステレオ形式の音声信号とする処理をする。
一方端末信号処理部122は、耳装着型発音装置930,940の一方が使用者201に装着されている状態とされた場合、入力部121が受信した音声信号を、耳装着型発音装置130に送信する音声信号と耳装着型発音装置140に送信する音声信号とが同一である、例えばモノラル形式の音声信号とする処理をする。
なお端末信号処理部122は、耳装着型発音装置930の角加速度αxと耳装着型発音装置940の角加速度αxとの相関が低く、耳装着型発音装置930,940の一方が使用者201に装着されている状態とされた場合、集音体932,942からの音声信号の一方を大きくし、もう一方を小さくするような処理をしてもよい。
端末信号処理部122によって処理された音声信号は耳装着型発音装置930,940に送信され、耳装着型発音装置930,940の備える発音体135,145はこの音声信号に基づいて発音する(S1003)。
本実施の形態の信号処理システム900は、耳装着型発音装置930,940及び端末110のそれぞれの動きに基づいて音声信号を処理し、耳装着型発音装置930,940では音声信号に基づく発音がなされる。
なお上記において、耳装着型発音装置930,940のいずれか一方の装置制御部133、143が端末制御部123の役割を果たしてもよい。この場合、信号処理部931,941が端末信号処理部122と同様の役割を果たす。
次に図11に示す本実施の形態におけるモード判定処理S1100の処理手順を示すフローチャートを用いて、本実施の形態の一例について説明する。なお下記においては、理解の容易化のため、1人の使用者201が2つの耳装着型発音装置930,940を装着しており、ステレオ形式で音楽などの音声信号を視聴している状況から、例えば耳装着型発音装置930を別の使用者201に渡して、音声信号がモノラル形式に切り替わった後、さらに、その耳装着型発音装置930を元の使用者201に渡して、元の使用者201が頷く動作(形式変更のトリガー)をして音声信号がステレオ形式に切り替わるまでのフローについて説明する。
図11に示すようにモード判定処理S1100が開始されると端末制御部123は、1度目の第1の相関判定処理S1200を行う。1度目の第1の相関判定処理S1200は、1人の使用者201が2つの耳装着型発音装置930,940を装着しておりステレオ形式で音楽などの音声信号を視聴している状況から例えば耳装着型発音装置930を別の使用者201に渡した際に音声信号をモノラル形式に変更するために行われる。
ここでは1度目の第1の相関判定処理S1200の開始時においては、1人の使用者201が2つの耳装着型発音装置930,940を装着し、音声信号はステレオ形式で出力されていることが前提となっている。なお1度目の第1の相関判定処理S1200は、使用者201が2つの耳装着型発音装置930,940のうちの1つを外す際を想定して処理を行っている。
図12に示すように1度目の第1の相関判定処理S1200として、まず端末制御部123は、端末通信部124を介して例えば通信部131から角加速度検出通知を受信すると、所定の時間の間、2つの耳装着型発音装置930,940及び端末110の(センサ132,142及び端末センサ922が測定した)角加速度αxをそれぞれ受信する(ステップS1201)。
次に端末制御部123は、2つの耳装着型発音装置930,940の角加速度αxの相関を演算する(ステップS1202)。次に端末制御部123は、ステップS1202の演算結果に基づいて、2つの耳装着型発音装置930,940の角加速度αxの相関が低いか否かを判断する(ステップS1203)。
ステップS1203の判断結果が否定となり、端末制御部123は、2つの耳装着型発音装置930,940の角加速度αxの相関が高いと判断した場合、ステップS1201に戻る。端末制御部123がステップS1201に戻る場合としては、1人の使用者201が2つの耳装着型発音装置930,940を装着している場合などが挙げられる。1人の使用者201が2つの耳装着型発音装置930,940を装着している場合は相関が高いので、音声信号のステレオ形式が維持される。
一方、ステップS1203の判断結果が肯定となり、端末制御部123は、2つの耳装着型発音装置930,940の角加速度αxの相関が低いと判断した場合、耳装着型発音装置930,940及び端末110の角加速度αxの相関を演算する(ステップS1204)。例えば耳装着型発音装置930の角加速度αxと耳装着型発音装置940の角加速度αxとを平均した角加速度αxを端末110の角加速度αxとの相関を求めるのに使用する。
なお耳装着型発音装置930,940及び端末110の角加速度αxの相関を演算する際には、耳装着型発音装置930,940から端末110に信号が伝送される時間である伝送時間に相当する遅延を考慮して端末110の角加速度αxを取得することが望ましい。
次に端末制御部123は、ステップS1204の演算結果に基づいて、耳装着型発音装置930,940及び端末110の角加速度αxの相関が低いか否かを判断する(ステップS1205)。
ステップS1205の判断結果が否定となり、端末制御部123は、耳装着型発音装置930,940及び端末110の角加速度αxの相関が高いと判断した場合、ステップS
1201に戻る。例えば使用者201が乗り物に乗っているような場合には、乗り物が揺れた際に、耳装着型発音装置930,940及び端末110も揺れるので、耳装着型発音装置930,940及び端末110の角加速度αxの相関は高くなる。
1201に戻る。例えば使用者201が乗り物に乗っているような場合には、乗り物が揺れた際に、耳装着型発音装置930,940及び端末110も揺れるので、耳装着型発音装置930,940及び端末110の角加速度αxの相関は高くなる。
一方、ステップS1205の判断結果が肯定となり、端末制御部123は、耳装着型発音装置930,940及び端末110の角加速度αxの相関が低いと判断した場合、1つ目の第1の相関判定処理S1200を終了する。例えば耳装着型発音装置930を別の使用者201に渡した場合には、耳装着型発音装置930,940及び端末110の角加速度αxの相関は低くなる。
次に端末制御部123は、1度目の第1の相関判定処理S1200を終了すると、モノラルモード指示として、端末信号処理部122に対してモノラル形式の信号生成指示を行う(ステップS1101)。
例えば耳装着型発音装置930を別の使用者201に渡した場合は、2つの耳装着型発音装置930,940の角加速度αxの相関と、耳装着型発音装置930,940及び端末110の角加速度αxの相関と、は共に低くなる。そこで、このような場合には耳装着型発音装置930,940で再生される音声信号をモノラル形式に切り替えることにより、各使用者201は2チャンネル分(左右両方分)の音声信号を聞くことができる。
次に端末制御部123は、2度目の第1の相関判定処理S1200及び第2の相関判定処理S1300を行う。2度目の第1の相関判定処理S1200及び第2の相関判定処理S1300は、音声信号がモノラル形式に切り替わった後、さらに、その耳装着型発音装置930を元の使用者201に渡して、元の使用者201が頷く動作(形式変更のトリガー)をした際に音声信号をステレオ形式に変更するために行われる。
図12に示すように2度目の第1の相関判定処理S1200として、まず端末制御部123は、端末通信部124を介して例えば通信部131から角加速度検出通知を受信すると、所定の時間の間、2つの耳装着型発音装置930,940及び端末110の(センサ132,142及び端末センサ922が測定した)角加速度αxをそれぞれ受信する(ステップS1201)。
なお2度目の第1の相関判定処理S1200は、2つの耳装着型発音装置930,940ではそれぞれモノラル形式の音声信号が再生されていることを前提としている。また2度目の第1の相関判定処理S1200は、使用者201が2つの耳装着型発音装置930,940のうちの1つの外された例えば耳装着型発音装置930を再度装着する際を想定して処理を行っている。
次に端末制御部123は、2つの耳装着型発音装置930,940の角加速度αxの相関を演算する(ステップS1202)。次に端末制御部123は、ステップS1202の演算結果に基づいて、2つの耳装着型発音装置930,940の角加速度αxの相関が低いか否かを判断する(ステップS1203)。
ステップS1203の判断結果が否定となり、端末制御部123は、2つの耳装着型発音装置930,940の角加速度αxの相関が高いと判断した場合、ステップS1201に戻る。端末制御部123がステップS1201に戻る場合としては、2つの耳装着型発音装置930,940をそれぞれ装着した2人の使用者201が乗り物に乗っている際に乗り物が揺れた場合などが挙げられる。この場合2つの耳装着型発音装置930,940の角加速度αxの相関は高いので、音声信号のモノラル形式が維持される。
一方、ステップS1203の判断結果が肯定となり、端末制御部123は、2つの耳装着型発音装置930,940の角加速度αxの相関が低いと判断した場合、耳装着型発音装置930,940及び端末110の角加速度αxの相関を演算する(ステップS1204)。例えば端末110の角加速度αxとの相関を求めるのに使用するのは、耳装着型発音装置930の角加速度αxと耳装着型発音装置940の角加速度αxとを平均した角加速度αxとする。
なお耳装着型発音装置930,940及び端末110の角加速度αxの相関を演算する際には、耳装着型発音装置930,940から端末110に信号が伝送される時間である伝送時間に相当する遅延を考慮して端末110の角加速度αxを取得することが望ましい。
次に端末制御部123は、ステップS1204の演算結果に基づいて、耳装着型発音装置930,940及び端末110の角加速度αxの相関が低いか否かを判断する(ステップS1205)。
ステップS1205の判断結果が否定となり、端末制御部123は、耳装着型発音装置930,940及び端末110の角加速度αxの相関が高いと判断した場合、ステップS1201に戻る。例えば使用者201が乗り物に乗っているような場合には、乗り物が揺れた際に、耳装着型発音装置930,940及び端末110も揺れるので、耳装着型発音装置930,940及び端末110の角加速度αxの相関は高くなる。耳装着型発音装置930,940及び端末110の角加速度αxの相関が高い場合、音声信号のモノラル形式は維持される。
一方ステップS1205の判断結果が肯定となり、端末制御部123は、耳装着型発音装置930,940及び端末110の角加速度αxの相関が低いと判断した場合、2つ目の第1の相関判定処理S1200を終了する。例えば使用者201が耳装着型発音装置930を別の使用者201から返却された際には、耳装着型発音装置930,940及び端末110の角加速度αxの相関は低くなる。
2度目の第1の相関判定処理S1200を終了すると、端末制御部123は、第2の相関判定処理S1300を行う。第2の相関判定処理S1300は、2つの耳装着型発音装置930,940を装着した使用者201が頷いたかどうかを判定するために行われる。
図13に示すように第2の相関判定処理S1300として、まず端末制御部123は、端末通信部124を介して例えば通信部131から角加速度検出通知を受信すると、所定の時間の間、2つの耳装着型発音装置930,940及び端末110の(センサ132,142及び端末センサ922が測定した)角加速度αxをそれぞれ受信する(ステップS1301)。
次に端末制御部123は、2つの耳装着型発音装置930,940の角加速度αxの相関を演算する(ステップS1302)。次に端末制御部123は、ステップS1302の演算結果に基づいて、2つの耳装着型発音装置930,940の角加速度αxの相関が高いか否かを判断する(ステップS1303)。
ステップS1303の判断結果が否定となり、端末制御部123は、2つの耳装着型発音装置930,940の角加速度αxの相関が低いと判断した場合、ステップS1301に戻る。
なおステップS1303の判断結果が否定となった場合、端末制御部123は、2度目
の第1の相関判定処理S1200に戻ってもよい。この場合は、2度目の第1の相関判定処理S1200における判断結果が否定となった場合の誤判定を防止することができる。
の第1の相関判定処理S1200に戻ってもよい。この場合は、2度目の第1の相関判定処理S1200における判断結果が否定となった場合の誤判定を防止することができる。
一方、ステップS1303の判断結果が肯定となり、端末制御部123は、2つの耳装着型発音装置930,940の角加速度αxの相関が高いと判断した場合、耳装着型発音装置930,940及び端末110の角加速度αxの相関を演算する(ステップS1304)。例えば耳装着型発音装置630の角加速度αxと耳装着型発音装置640の角加速度αxとを平均した角加速度αxを端末110の角加速度αxとの相関を求めるのに使用する。
なお耳装着型発音装置930,940及び端末110の角加速度αxの相関を演算する際には、耳装着型発音装置930,940から端末110に信号が伝送される時間である伝送時間に相当する遅延を考慮して端末110の角加速度αxを取得することが望ましい。
次に端末制御部123は、ステップS1304の演算結果に基づいて、耳装着型発音装置930,940及び端末110の角加速度αxの相関が低いか否かを判断する(ステップS1305)。
ステップS1305の判断結果が否定となり、端末制御部123は、耳装着型発音装置930,940及び端末110の角加速度αxの相関が高いと判断した場合、ステップS1301に戻る。
例えば使用者201が耳装着型発音装置930を別の使用者201から返却され装着した後に、乗り物が揺れた場合、2つの2つの耳装着型発音装置930,940の角加速度αxの相関は高くなり、ステップS1303の判断結果は肯定となる。
しかしながらステップS1305の判断があり、端末制御部123は、端末110も揺れていることも判断できるため、頷く動作以外で後述のステップS1102に進まずにすむ。端末制御部123がステップS1102に進まないため音声信号がステレオ形式とならない。
一方、ステップS1305の判断結果が肯定となり、端末制御部123は、耳装着型発音装置930,940及び端末110の角加速度αxの相関が低いと判断した場合、第2の相関判定処理S1300を終了する。
例えば使用者201が耳装着型発音装置930を別の使用者201から返却され装着し、さらに使用者201が頷く動作をした際には、2つの耳装着型発音装置930,940の角加速度αxの相関は高く、かつ、耳装着型発音装置930,940及び端末110の角加速度αxの相関は低くなる。
第2の相関判定処理S1300を終了すると、端末制御部123は、ステレオモード指示として、端末信号処理部122に対してステレオ形式の信号生成指示を行う(ステップS1102)。
なおモード判定処理S1100を詳細に説明するために、第1の相関判定処理S1200と第2の相関判定処理S1300とを分けたが、モード判定処理S1100を図14に示すモード判定処理S1400のように一般化してもよい。モード判定処理S1100とモード判定処理S1400とはほぼ同じ動作となる。
モード判定処理S1400は、大別すると使用者201が2つの耳装着型発音装置930,940のうちの1つを外す際、使用者201が2つの耳装着型発音装置930,940のうちの1つの外された例えば耳装着型発音装置930を再度装着する際、2つの耳装着型発音装置930,940を装着した使用者201が頷く際の3つの場面で実行される。
端末110の角加速度αxを参照するため本実施の形態においては、例えば使用者201が別の使用者201と別々に耳装着型発音装置930,940を装着した状態で自動車や電車などの乗り物に乗った場合に、乗り物の揺れを原因として2チャンネル分の音声信号が再生されないといった不具合が生じない。
乗り物は移動に伴って加速度や角加速度を生じるため、使用者201及び別の使用者201が乗り物に対して相対的に固定されるような場合には、2つの耳装着型発音装置630,640における角加速度αxは相関する値となる。
第1の実施の形態においては、使用者201及び別の使用者201が別々に耳装着型発音装置130,140からモノラル形式の音声信号を再生して使用している際、乗り物の揺れによってモード判定処理S400が開始される。モード判定処理S400が開始される理由は、使用者201及び別の使用者201が乗り物に対して相対的に固定されているため、2つの耳装着型発音装置130,140の角加速度αxは相関ありと判断されるためである。
使用者201及び別の使用者201が乗り物に対して相対的に固定されているため、モード判定処理S400においても2つの耳装着型発音装置130,140の角加速度αxは相関が高いと判断され、ステレオモード指示が行われる。
別々に使用されている2つの耳装着型発音装置130,140にステレオ形式の信号が送信されてしまうと、使用者201及び別の使用者201はそれぞれ1チャンネル分の信号情報しか取得できない。
これに対して本実施の形態では、端末110の角加速度αxも参照されるため、上述の場合において2つの耳装着型発音装置930,940はモノラル形式の信号を受信する。このため、使用者201及び別の使用者201はそれぞれ2チャンネル分の信号情報を取得することができる。このように本実施の形態による耳装着型発音装置930,940は、第1の実施の形態では対応できないような場合にも使用者201の意図通りの動作が可能となる。
[第3の実施の形態]
次に本発明の第3の実施の形態について説明する。第1及び第2の実施の形態では、所定値以上の角加速度αxが検出された際に、耳装着型発音装置130,140,930,940が受信する信号においてステレオ形式とモノラル形式との切り替えを行う。
次に本発明の第3の実施の形態について説明する。第1及び第2の実施の形態では、所定値以上の角加速度αxが検出された際に、耳装着型発音装置130,140,930,940が受信する信号においてステレオ形式とモノラル形式との切り替えを行う。
これに対して本実施の形態では、さらに使用者201の動作のみによって耳装着型発音装置930,940が受信する信号においてステレオ形式とモノラル形式との切り替えを行う。
本実施の形態においては、使用者201の動作のみによって耳装着型発音装置930,940が受信する信号においてステレオ形式とモノラル形式との切り替えを行うため、第1及び第2の実施の形態に加えてもう1軸の角加速度αzを取得する。
つまり本実施の形態において、センサ132,142及び端末センサ922は2軸以上の角加速度センサとする。第1及び第2の実施の形態においては図2におけるx軸回りの角加速度αxを用いていたが、本実施の形態においては、さらに図2におけるz軸回り(右回り)の角加速度αzを用いる。
x軸回りの角加速度αxは、耳装着型発音装置930,940が装着された使用者201の頷く動作や耳装着型発音装置930,940が使用者201によって脱着される際の動作に対応する。
z軸回りの角加速度αzは、耳装着型発音装置930,940が装着された使用者201の首を振る動作に対応する。なお下記においては第2の実施の形態と同様の点については説明を省略する。
使用者201は、端末110を操作して操作に対応した反応音を聞いて首を振る動作をする。操作の際に音がなる操作がなされると、端末通信部124は音有操作検出通知を受信する。
端末通信部124は、受信した音有操作検出通知を端末制御部123に送信する。このように端末通信部124は、耳装着型発音装置930,940との他に、端末110内の信号送出部920とは別の機能を持つ電子回路やプログラムと通信を行う。例えば使用者201はモノラル形式で音声信号が出力されている場合に首を振る動作をする。
本実施の形態においては、端末制御部123は、角加速度αxに関してモード判定処理S1100を行い、かつ、角加速度αzに関しても例えば図13に示す第2の相関判定処理S1300及びステレオモード指示(ステップS1102)を行う。
使用者201が端末110を操作すると、発音体135,145から反応音が出力され、音有操作検出通知が端末制御部に送信される。使用者201は反応音に基づいて首を振るなどの動作を行う。
端末制御部123は、音有操作検出通知を受信すると、所定の時間の間、2つの耳装着型発音装置930,940及び端末110の(センサ132,142及び端末センサ922が測定した)角加速度αzをそれぞれ受信する(ステップS1301)。
次に端末制御部123は、2つの耳装着型発音装置930,940の角加速度αzの相関を演算する(ステップS1302)。次に端末制御部123は、ステップS1302の演算結果に基づいて、2つの耳装着型発音装置930,940の角加速度αzの相関が高いか否かを判断する(ステップS1303)。
使用者201が首を振るなどの動作をせずに、2つの耳装着型発音装置930,940の角加速度αzの相関が低く、ステップS1303の判断結果が否定の場合、端末制御部123は、ステップS1301に戻る。
使用者201が首を振るなどの動作をした際などで、2つの耳装着型発音装置630,640の角加速度αzの相関が高く、ステップS903の判断結果が肯定の場合、端末制御部123は、耳装着型発音装置630,640及び端末110の角加速度αzの相関を演算する(ステップS1304)。
例えば端末110との相関を求めるために、耳装着型発音装置930,940の角加速度αzの平均値を用いる。耳装着型発音装置930,940の角加速度αzの平均値は使
用者201の頭部の中央の動きに相当するため、耳装着型発音装置930,940の角加速度αzの平均値を用いることで相関演算の際の使用者201のあごの動きによる誤差を軽減することができる。
用者201の頭部の中央の動きに相当するため、耳装着型発音装置930,940の角加速度αzの平均値を用いることで相関演算の際の使用者201のあごの動きによる誤差を軽減することができる。
また耳装着型発音装置930,940の角加速度αzの平均値を用いることで、耳介や耳道の違いに由来する使用者201の頭部の回転軸(図2のz軸)に対する相関演算の際の誤差を軽減することができる。なお耳装着型発音装置930,940の角加速度αzの平均値を用いる場合は耳装着型発音装置930,940が共に使用者201に正しく装着されていることが前提となる。
次に端末制御部123は、ステップS1304の演算結果に基づいて、耳装着型発音装置930,940及び端末110の角加速度αzの相関が低いか否かを判断する(ステップS1305)。
使用者201が首を振るなどの動作をせずに、耳装着型発音装置930,940及び端末110の角加速度αzの相関が高く、ステップS1305の判断結果が否定の場合、端末制御部123は、ステップS1301に戻る。
使用者201が首を振るなどの動作をした際などで、耳装着型発音装置930,940及び端末110の角加速度αzの相関が低く、ステップS1305の判断結果が肯定の場合、端末制御部123は、第2の相関判定処理S1300を終了する。
端末制御部123は、第2の相関判定処理S1300を終了すると、ステレオモード指示として、端末信号処理部122に対してステレオ形式の信号生成指示を行う(ステップS1102)。
使用者201がモノラル形式の音声信号を聞いて首を振る動作をすると、2つの耳装着型発音装置930,940の角加速度αzの相関が高くなり、かつ、耳装着型発音装置930,940及び端末110の角加速度αzの相関が低くなり、ステレオ形式の音声信号が出力される。
このように本実施の形態においては、使用者201の動作によって、乗り物の揺れとは区別して耳装着型発音装置930,940が受信する信号においてステレオ形式とモノラル形式との切り替えを行うことができる。
なお本実施の形態ではz軸回りの角加速度αzに着目し首を振る動作について主に述べているが、x軸回りの角加速度αxについては、第2の実施の形態で述べているため省略する。
また例えばx軸回りの角加速度αx及びz軸回りの角加速度αzの2つを用いた処理は、使用者201の動作によって耳装着型発音装置930,940が受信する信号におけるステレオ形式とモノラル形式との切り替え以外にも応用することができる。
例えばユーザインタフェースとして、使用者201の頷く動作を縦スクロールと対応付け、首を振る動作を横スクロールと対応付けると、使用者201の動作を端末110の画面のスクロールの操作とすることもできる。
[その他の実施の形態]
本発明は、第1〜3の実施の形態に限定されるものではなく、種々の変形が可能である。例えば、第1〜第3の実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えることができる。
本発明は、第1〜3の実施の形態に限定されるものではなく、種々の変形が可能である。例えば、第1〜第3の実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えることができる。
第1〜3の実施の形態においては、耳装着型発音装置130,140や耳装着型発音装置930,940を2つ使用する場合について述べているが、3つ以上使用してもよい。例えば耳装着型発音装置930などを3つ使用する場合は3者通話が可能になる。
耳装着型発音装置930,940において出力される音声信号をモノラル形式とすると、それぞれの使用者201が3者通話をする際に話者の定位を左右にずらして提示するような機能を持たせたアプリケーションを使用することが可能となる。つまり使用者201は、2つの耳装着型発音装置930,940のどちらか片方のみで2チャンネルのうちの一方のみに定位する話者の信号情報を取得できる。
また耳装着型発音装置130,140や耳装着型発音装置930,940を4つ使う場合は、動きに相関のある2つの耳装着型発音装置130,140や耳装着型発音装置930,940をステレオ形式の信号を送信するペアの1系統として処理を行う。
耳装着型発音装置130,140や耳装着型発音装置930,940を4つ使う場合で、動きに相関のない耳装着型発音装置130,140や耳装着型発音装置930,940はそれぞれをモノラル形式の信号を送信する1系統として処理を行う。
耳装着型発音装置130,140や耳装着型発音装置930,940を4つ使う場合、端末制御部123は、センサ132,142からの角加速度情報から重力方向を推定し、耳装着型発音装置130,140や耳装着型発音装置930,940の左右を識別してもよい。
例えば使用者201が4回頷くなどの特定の動作をした場合に、端末制御部123は耳装着型発音装置130,140や耳装着型発音装置930,940の左右を識別する処理を行うものとする。
また第1〜3の実施の形態においては、センサ132,142は角加速度センサとする場合について述べたが、加速度センサとしてもよいし、加速度センサ及び角加速度センサの両方としてもよい。なお相関を求めやすくする観点から端末センサ922は、センサ132,142と同種類のセンサであることが好ましい。
また第2の実施の形態は、第1の実施の形態に端末センサ922と集音体932,942とを追加した形態としているが、第1の実施の形態に端末センサ922のみを追加した形態や集音体932,942のみを追加した形態としてもよい。
さらに第3の実施の形態は、首を振る動作としてz軸回りの角加速度αzに着目しているが、本発明はこれに限らず、首をかしげる動作としてy軸回りの角加速度αyに着目してもよい。
信号処理システム100,900は、端末110と複数の耳装着型発音装置130,140,930,940で構成してもよいし、端末110のみで構成してもよいし、1つの耳装着型発音装置130,140,930,940で構成してもよい。
信号処理システム100,900は、端末110と複数の耳装着型発音装置130,140,930,940で構成してもよいし、端末110のみで構成してもよいし、1つの耳装着型発音装置130,140,930,940で構成してもよい。端末110のみで信号処理システム100,900を構成する場合には、端末110は発音体135,145や集音体932,942などを備えるように構成してもよい。
例えば信号処理システム100において、耳装着型発音装置130の装置制御部133が、モード判定処理(S400)を行い、耳装着型発音装置140の増幅部144が音声信号を処理(S302)してもよい。
なお、特許請求の範囲における信号処理システムは、例えば端末単体、耳装着型発音装置のうちの1つ、又は、端末と耳装着型発音装置のうちの複数で実現される場合のいずれも含む。
100,900……信号処理システム、110……端末、120,920……信号送出部、121……入力部、122……端末信号処理部、123……端末制御部、124……端末通信部、130,140,930,940……耳装着型発音装置、131,141……通信部、132,142……センサ、133,143……装置制御部、134,144……増幅部、135,145……発音体、201……使用者、921……出力部、932,942……集音体。
Claims (6)
- 第1の耳装着型発音装置の動きを検出する第1のセンサの第1の検出信号と、第2の耳装着型発音装置の動きを検出する第2のセンサの第2の検出信号とを取得する検出信号取得部と、
前記第1の検出信号と前記第2の検出信号との相関に基づいて、前記第1の耳装着型発音装置から出力される第1の出力信号及び前記第2の耳装着型発音装置から出力される第2の出力信号のうち少なくとも1つを変化させる制御部と、
を備えることを特徴とする信号処理システム。 - 前記制御部は、前記第1の検出信号と、前記第2の検出信号との相関が低い場合、前記第1の出力信号の基となる信号と、前記第2の出力信号の基となる信号とを同一とする、
請求項1に記載の信号処理システム。 - 前記制御部は、前記第1の検出信号と、前記第2の検出信号との相関が高い場合、前記第1の出力信号の基となる信号と、前記第2の出力信号の基となる信号とを異ならせる、
請求項1に記載の信号処理システム。 - 前記検出信号取得部は、さらに、端末の動きを検出する第3のセンサの第3の検出信号を取得し、
前記制御部は、さらに、前記第1及び第2の検出信号の少なくとも1つと、前記第3の検出信号との相関に基づいて、前記第1の出力信号及び前記第2の出力信号のうち少なくとも1つを変化させる、
請求項1〜3のいずれか1項に記載の信号処理システム。 - 前記第1のセンサ及び前記第2のセンサは複数方向の動きを検出し、
前記制御部は、前記第1のセンサ及び前記第2のセンサが検出したそれぞれの方向に関して前記第1のセンサの検出した動きと前記第2のセンサの検出した動きとの相関に基づいて、前記第1の出力信号及び前記第2の出力信号のうち少なくとも1つを変化させる、
請求項1〜4のいずれか1項に記載の信号処理システム。 - 第1の耳装着型発音装置の動きを検出する第1のセンサの第1の検出信号を取得し、
第2の耳装着型発音装置の動きを検出する第2のセンサの第2の検出信号を取得し、
前記第1の検出信号と前記第2の検出信号との相関に基づいて、前記第1の耳装着型発音装置から出力される第1の出力信号及び前記第2の耳装着型発音装置から出力される第2の出力信号のうち少なくとも1つを変化させる、
ことを特徴とする信号処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019080184A JP2020178272A (ja) | 2019-04-19 | 2019-04-19 | 信号処理システム及び信号処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019080184A JP2020178272A (ja) | 2019-04-19 | 2019-04-19 | 信号処理システム及び信号処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020178272A true JP2020178272A (ja) | 2020-10-29 |
Family
ID=72936400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019080184A Pending JP2020178272A (ja) | 2019-04-19 | 2019-04-19 | 信号処理システム及び信号処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020178272A (ja) |
-
2019
- 2019-04-19 JP JP2019080184A patent/JP2020178272A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200236463A1 (en) | Headphone device, terminal device, information transmitting method, program, and headphone system | |
JP5409656B2 (ja) | 補聴装置 | |
EP3393109B1 (en) | Pen-type transceiver device | |
CN113475094B (zh) | 头戴式耳机中的不同头部检测 | |
EP2288178B1 (en) | A device for and a method of processing audio data | |
TWI724317B (zh) | 耳機及立體聲耳機 | |
TWI728180B (zh) | 行動電話 | |
EP2839675B1 (en) | Auto detection of headphone orientation | |
EP3236669A1 (en) | Cartilage conduction hearing device using electromagnetic-type vibration unit, and electromagnetic-type vibration unit | |
US20160249141A1 (en) | System and method for improving hearing | |
US20130259244A1 (en) | Hearing device with an inertial measurement unit | |
KR20150003528A (ko) | 머리 움직임을 이용한 사용자 인터페이스 방법 및 장치 | |
CN111698607B (zh) | Tws耳机音频输出控制方法、装置、设备及介质 | |
CN114727212B (zh) | 音频的处理方法及电子设备 | |
KR102386110B1 (ko) | 휴대용 음향기기 | |
JP2015019353A (ja) | 補聴器の外部入力装置 | |
JP2020178272A (ja) | 信号処理システム及び信号処理方法 | |
JP2020010372A (ja) | イヤホン、ステレオイヤホン | |
KR102613035B1 (ko) | 위치보정 기능의 이어폰 및 이를 이용하는 녹음방법 | |
US20230403494A1 (en) | Earphone and acoustic control method | |
US20230403495A1 (en) | Earphone and acoustic control method | |
CN115942173A (zh) | 用于确定hrtf的方法和听力设备 | |
JP2024527782A (ja) | 音響装置及びその伝達関数の決定方法 | |
JP6178551B2 (ja) | 携帯電話および聴取装置 | |
JP2014027518A (ja) | 軟骨伝導振動源装置および聴取装置 |