JP2020127071A - 電子機器及びその制御方法 - Google Patents

Abstract

【課題】マイクの集音信号が入力され、スピーカ又は外部の再生機器に制御信号を出力する電子機器において、再生音がオープンに放出されている状況で、再生音を聴取しているユーザーに対して電話の呼び出しなどの特定音を認識し易くする。【解決手段】電子機器は、マイクの集音信号が入力され、スピーカ又は外部の再生機器を制御する制御信号を出力する制御部を備え、制御部は、音声以外の特定音を予め記憶する記憶部を備え、集音信号の中から特定音を認識した場合に、スピーカ又は外部の再生信号を制御する制御信号を出力する。【選択図】図１

Description

本発明は、音響再生機能を制御する電子機器及びその制御方法に関するものである。

従来、音響信号の再生制御を行うヘッドセットにおいて、マイクが検出した音が、特定の内容、声紋又はレベルである場合に、それに応じてスピーカによる音響再生のミュート処理を実行するものが知られている（下記特許文献１参照）。この従来技術によると、ユーザーがヘッドセットを用いて音楽鑑賞をしている間に、第三者から呼びかけられたり、電話の呼び出しや玄関のインタホンが鳴った場合に、音響再生を一旦止めて、ユーザーがそれらに対する応答を行うことが可能になる。

特開２００５−１９２００４号公報

音を集音するマイクと音を再生するスピーカの両方を備える電子機器は、前述した従来技術のようなヘッドセットに限らず、マイク付きスピーカーや携帯電話など各種の機器がある。また、マイク端子とスピーカ端子を備えて音響信号の入出力を制御するＰＣなどを含めると、一般的な電子機器がこれに該当していると言える。更に、近年普及しつつあるＡＩスピーカ（或いは、スマートスピーカ）は、クラウドのＡＩシステムとの対話型音声操作が前提となるため、音声入力を行うためのマイクと音響出力を行うスピーカが必須の構成要素になっている。

このような電子機器を用いて、スピーカが再生した音をオープンに放出させて音楽鑑賞などを行っている間に、電話の呼び出しや玄関のインタホンなどが鳴った場合には、前述した従来技術と同様に、電話の呼び出しなどを、ユーザーが認識するのが難しくなる問題が生じる。

前述した従来技術では、マイクが検出する外部音とヘッドセットのスピーカが再生する音が完全に分離されているが、音をオープンに放出させている場合には、マイクは電話の呼び出し音などとスピーカが再生する音の両方を集音することになる。このため、音をオープンに放出させている場合に、従来技術のように単純にマイクが検出した音のレベル比較で再生音データの出力を停止処理すると、電話の呼び出し音を含まない大音量再生であっても再生音データの出力が停止処理されることになって、所望の課題を解決することができなくなる。

また、前述した従来技術では、音声認識によって、マイクが検出した音が特定の内容であるか或いは特定の人の声紋であるかを判別しているが、スピーカが再生した音をオープンに放出させている場合には、このような音声認識による音の判別が困難になる問題が生じる。

更に、前述した従来技術の場合には、特定の人からの声かけや電話の呼び出しの継続発信のように、スピーカの音響再生を一旦止めた後にも呼び出しなどの状況が継続されていることが前提になっている。しかしながら、電話の呼び出し音やメールの着信音などは、極短時間の発信で音が止められてしまう場合があり、また、玄関のインタホンも、単発で音が止められてしまう場合があるので、そのような場合、従来技術では、音響再生が止められることでマイクが何らかの音を検出したことは認識できるものの、検出音の種類を判別することができず、その状況に対して、ユーザーが即座に適切な対応をすることができないという問題が生じる。

本発明は、このような問題に対処することを課題としている。すなわち、マイクの集音信号が入力され、スピーカ又は外部の再生機器に制御信号を出力する電子機器において、再生音がオープンに放出されている状況で、再生音を聴取しているユーザーに対して電話の呼び出しなどの特定音を認識し易くすること、などを課題としている。

このような課題を解決するために、本発明の電子機器は、以下の構成を具備するものである。
マイクの集音信号が入力され、スピーカ又は外部の再生機器を制御する制御信号を出力する制御部を備えた電子機器であって、前記制御部は、音声以外の特定音を予め記憶する記憶部を備え、前記集音信号の中から前記特定音を認識した場合に、前記制御信号を出力することを特徴とする電子機器。

本発明の実施形態に係る電子機器の基本構成を示した説明図である。 制御部の動作フロー例を示す説明図である。 制御部の他の動作フロー例を示す説明図である。 制御部の他の動作フロー例を示す説明図である。 電子機器の構成例を示した説明図である。 電子機器の他の構成例を示した説明図である。

以下、図面を参照して本発明の実施形態を説明する。以下の説明で、異なる図における同一符号は同一機能の部位を示しており、各図における重複説明は適宜省略する。

図１は、本発明の実施形態に係る電子機器の基本構成を示している。電子機器１は、マイクの集音信号が入力され、スピーカ又は外部の再生機器を制御する制御信号を出力する制御部１０を備えている。ここでのマイクは、電子機器１自体が備えていてもよいし、電子機器の入力端子にマイクを接続することで集音信号が制御部１０に入力されるようにしたものであってもよい。ここでのスピーカも、電子機器１自体が備えていてもよいし、電子機器の出力端子にスピーカを接続することで、制御部１０からの制御信号が送信できるようにしたものであってもよい。外部の再生機器は、制御部１０からの出力信号で制御可能であればよく、電子機器１に対しては、無線、有線、ネットワーク経由など、どのような形態で接続されていてもよい。

電子機器１の制御部１０は、マイクからの集音信号が入力される入力部１１と制御信号を出力する出力部１２を備えている。更に、制御部１０は、ユーザーが認識すべき特定音（電話の呼び出し音、インターホンの呼び出し音、メールなどの着信音など）が集音信号の中に存在するか否かを判定して特定音を認識する特定音認識部１３と、集音信号の中に特定音が認識された場合に、制御信号を発生する制御信号発生部１４と、特定音認識部１３が認識する、音声以外の特定音（特定音１，特定音２，特定音３，…）の音響信号などが記憶されている記憶部１５などを備えている。ここでの特定音は、音声（人間が発生する声）以外の音であり、人工的に生成された発信音などである。

この電子機器１は、スピーカ又は外部の再生機器からオープンに音楽などの音が放出されていて、ユーザーがその音を聴取している状況で、ユーザーが認識すべき特定音（電話の呼び出し音、インターホンの呼び出し音、メールなどの着信音など）が発生した場合に、音を再生しているスピーカや外部の再生機器の再生動作を、ユーザーが特定音を認識し易くなるように制御する。記憶部１５には、複数の特定音（特定音１，特定音２，特定音３，…）が記憶されており、入力された集音信号の中に複数の特定音の何れかが存在すると、特定音認識部１３が認識した場合に、制御部１０は制御信号を出力する。

ここでの制御信号は、ユーザーが特定音を認識し易くなればよいので、制御信号によって、音を再生しているスピーカ又は外部の再生機器の再生動作を一時停止させるもの、或いは、制御信号によって、音を再生しているスピーカ又は外部の再生機器の再生出力を低下（再生音量のミュート処理や再生音量の低下など）させるものなどであればよい。また、制御される再生機器が表示手段を備えている場合には、制御信号によって、その表示手段に、特定音の存在が認識されていることを表示するものであってもよい。

図２〜図４は、制御部１０の動作フロー例を示している。図２に示した例では、制御を開始すると、入力部１１に集音信号が入力され（Ｓ０１）、記憶部１５から認識すべき特定音が取得される（Ｓ０２）。そして、特定音認識部１３にて集音信号に特定音が存在するか否かが判定され（Ｓ０３）、存在すると判定された場合（Ｓ０３：ＹＥＳ）には、制御信号発生部１４が、例えば、音を再生しているスピーカ又は外部の再生機器の再生動作を一時停止させる制御信号を発生させ、これを出力部１２から出力させる（Ｓ０４）。特定音認識部１３が、特定音が存在しないと判定した場合には（Ｓ０３：ＮＯ）、引き続き集音信号を入力させ（Ｓ０１）、上記のフローを繰り返す。この際、ステップＳ０２における特定音の取得は、存在するか否かを判定すべき特定音を一つに限定してもよいし、複数の異なる特定音を順次変更して記憶部１５から取得するようにしてもよい。

図３に示した例は、ステップＳ１１〜Ｓ１４は、前述した例のステップＳ０１〜Ｓ０４と同様である。そして、制御信号を出力して、音を再生しているスピーカ又は外部の再生機器の再生動作を一時停止させた後、ユーザーが認識すべき特定音が継続されているか否かを判断する（Ｓ１５）。ここで、特定音が継続されている場合（Ｓ１５：ＹＥＳ）には、制御を終了させるが、特定音が継続されていない場合（Ｓ１５：ＮＯ）には、記憶部１５から取得した、ユーザーが認識すべき特定音の音響信号を、音の再生を一時停止しているスピーカ又は外部の再生機器に出力する（Ｓ１６）。

この動作例では、制御信号を出力して、音を再生しているスピーカ又は外部の再生機器の再生動作を一時停止させた時点で、既に電話の呼び出し音或いはメールの着信音などの特定音が止まってしまっている場合の対処として、ユーザーが認識すべき特定音をスピーカ又は外部の再生機器に出力して再生させることで、ユーザーに特定音を認識させるものである。これによると、実際に鳴っていた特定音が既に止まってしまっている場合であっても、スピーカ又は外部の再生機器が再生する音を一旦止めた静かな状態で、ユーザーは鳴っていた特定音を認識することができる。これによって、実際に鳴っていた特定音が既に止まってしまった場合でも、どのような特定音が鳴っていたかを認識することができる。

図４に示した例は、ステップＳ２１〜Ｓ２５は、前述した例のステップＳ１１〜Ｓ１５と同様である。そして、特定音が継続されている場合（Ｓ２５：ＹＥＳ）には、制御を終了させるが、特定音が継続されていない場合（Ｓ２５：ＮＯ）には、別の制御信号を出力して、スピーカ又は外部の再生機器の音再生動作を元に戻して再開させる（Ｓ２６）。

この動作例では、制御信号を出力して、音を再生しているスピーカ又は外部の再生機器の再生動作を一時停止させた時点で、既に電話の呼び出し音或いはメールの着信音などの特定音が止まってしまっている場合の対処として、特定音に対するユーザーの対応を不要として、スピーカ又は外部の再生機器の再生動作を再開させるようにしている。これによると、対応不要の特定音発生時に速やかに音の再生を復活させて音楽等の鑑賞を継続させることができる。

次に、特定音認識部１３の認識機能の例を説明する。特定音認識部１３は、スピーカ又は外部の再生機器が再生している音の中から特定音の存在を判定して特定音を認識するもので、この際の信号処理例としては、集音信号の中から特定音の特徴を抽出することで、特定音の存在を判定する。

特定音は、音声（人間が発生する声）以外の音であって、人工的に生成された発信音などであるから、所定の音パターンの特徴を有している。通常、スピーカ又は外部の再生機器から放出されている音楽等の音には、このような特徴が存在しないと考えられるので、この音パターンの特徴を集音信号の中から判別することで、特定音の存在を早期に判定して、特定音を認識することが可能になる。人間の声（音声）は、個人差や、同一人物の声でもその都度変化する可能性があるが、特定音は常に決まった音になるので、他の音声が存在している中でも、存在が判定し易い。また、このような認識手法によると、特定音の継続時間が短時間の場合であっても、特定音が鳴り止む前に、制御信号を出力して、スピーカ又は外部の再生機器の音を停止又は低減させることが可能になる。

特定音認識部１３の別の認識機能例を説明する。ここでは、制御部１０が、スピーカ又は外部の再生機器に再生させる音響信号を出力していることが前提になっている。この場合には、制御部１０はスピーカ又は外部の再生機器が再生する音響信号の情報を持っているので、この音響信号からリファレンス信号を作成することができ、集音信号の中からこのリファレンス信号をキャンセルすることで、クリアに特定音の存在を判定して、特定音を認識することができる。この例によると、特定音の存在を判定することを高い精度で行うことができる。

更に、特定音認識部１３の別の認識機能例を説明する。ここでは、集音信号の中から特定音の帯域を通すバンドパスフィルタを介して特定音の存在の判定を行う。人工的に生成された発信音などである特定音は、スピーカ又は外部の再生機器が再生する音楽などの音とは異なる周波数帯域を持っているものが多い。このような特定音に対しては、バンドパスフィルタの通過帯域を適正に設定することで、特定音のみをフィルタリングして特定音の存在を判定することができる。この例によっても、特定音の存在の判定を高い精度で行うことができる。

図５には、本発明の実施形態に係る電子機器の構成例を示している。図示の電子機器１は、周囲音を集音して集音信号を制御部１０に送るマイク２、制御部１０から出力される制御信号で制御されると共に制御部１０から出力される音響信号を再生するスピーカ３、制御部１０から出力される制御信号によって動作するリモコン操作部４、制御部１０をネットワーク（インターネット）８に接続するための送受信部５などを備えている。

ここで、本発明の実施形態としては、マイク２とスピーカ３は、電子機器１の入出力端子に有線接続される外付けであってもよいし、Bluetooth（登録商標）などの無線通信方式によって制御部１０と接続されているものなどであってもよい。ここでのスピーカ３は、外部の再生機器内に内蔵されているものであってもよい。また、本発明の実施形態としては、リモコン操作部４や送受信部５は選択的に装備されるものであって、必須の構成ではない。

マイク２は、スピーカ３が再生する音を集音すると共に、電子機器１の周囲にリモコン操作部４で動作制御することができる再生機器（ＴＶやＡＶ機器など）７が存在する場合には、その再生機器７が再生する音を集音する。また、マイク２は、電子機器１の周囲に存在する電話の呼び出し音や玄関ドアのインターフォン、或いは携帯メールの着信音などの特定音を集音する。

スピーカ３が再生する音の音源は、電子機器１の内部又は外部に設けられる音源データベース６から供給される音響データであるか、或いは、クラウドサーバ９内或いはクラウド上に存在する音源データベース９Ａからネットワーク８を介して供給される音響データである。

このような電子機器１において、ユーザーがスピーカ３又は外部の再生機器７の再生音を聴取している最中に、電子機器１の周囲で電話の呼び出し音などが鳴った場合、その音がユーザーが認識すべき対象の特定音である場合には、制御部１０は、マイク２の集音信号の中からその特定音の存在を判定して特定音を認識し、制御信号を出力し、スピーカ３や外部の再生機器７に対して再生動作を一時停止するなどの制御を行う。これによって、ユーザーは、スピーカ３や外部の再生機器７が再生する音に邪魔されること無く特定音を認識することができる。

図６には、電子機器１が対話型の音声操作に対応したＡＩ（Artificial Intelligence：人工知能）スピーカ（スマートスピーカ）１Ａとして機能する例を示している。この例では、電子機器１（ＡＩスピーカ１Ａ）の送受信部５は、ネットワーク８を介してクラウド上のＡＩシステム２０（例えば、クラウドサーバー）に接続されている。ＡＩシステム２０は、ウェイクワード認識機能２０Ａを有している。ここでのウェイクワード認識機能２０Ａとは、ウェイクワードと呼ばれる予め設定された起動ワード（例えば、ユーザーが発声する「オッケー・○○」などというワード）を認識して、電子機器１（ＡＩスピーカ１Ａ）とＡＩシステム２０との対話動作を起動させる機能である。なお、ここでは、予め設定された起動ワードを、便宜的に「ウェイクワード」と呼ぶが、「ホットワード」、「トリガーワード」と呼ばれる場合もある。

ＡＩシステム２０は、送受信部５を介して信号を送ることで、スピーカ３を制御することができる。また、ＡＩシステム２０は、ネットワーク８に接続されているホームネットワーク２１を構築する各種機器を制御することができ、このホームネットワーク２１の中に電子機器１の周囲に音を放出する再生機器を含めることができる。

この例の電子機器１（ＡＩスピーカ１Ａ）によると、記憶部１５には、ウェイクワードに対応する音声信号（ウェイクワード音声信号）と、ＡＩシステム２０がスピーカ３又はホームネットワーク２１内の再生機器を制御するコマンド音声信号が記憶されている。そして、マイク２の集音信号の中から、ユーザーが認識すべき特定音の存在を判定した場合に、ウェイクワード音声信号をＡＩシステム２０に送信して、ＡＩスピーカ１ＡとＡＩシステム２０との対話動作を起動させた後、前述したコマンド音声信号をＡＩシステム２０に送信して、スピーカ３又はホームネットワーク２１内の再生機器を制御する。この電子機器１（ＡＩスピーカ１Ａ）の場合には、前述した制御信号発生部１４をＡＩシステム２０側に設けており、そこから制御信号が送信される。

このような電子機器１（ＡＩスピーカ１Ａ）においても、ユーザーがスピーカ３などの再生音を聴取している最中に、電子機器１の周囲で電話の呼び出し音などが鳴った場合、その音が、ユーザーが認識すべき対象の特定音である場合には、ウェイクワード音声信号に引き続いて送信されるコマンド音声信号によって、ＡＩシステム２０が制御信号を出力し、スピーカ３などに対して再生動作を一時停止するなどの制御を行う。これによって、ユーザーは、スピーカ３などが再生する音に邪魔されること無く特定音を認識することができる。

このような電子機器１は、出力部１２にディスプレイを接続することができる。また、ＡＩシステムが制御するホームネットワーク２１にディスプレイを接続することができる。このようにディスプレイを接続した場合には、特定音認識部１３が、マイク２の集音信号の中から、ユーザーが認識すべき特定音の存在を判定した場合に、ウェイクワード音声信号をＡＩシステム２０に送信して、ＡＩスピーカ１ＡとＡＩシステム２０との対話動作を起動させた後、所定のコマンド音声信号をＡＩシステム２０に送信し、出力部１２に接続されているディスプレイ又はホームネットワーク２１に接続されているディスプレイに制御信号を送信して、ディスプレイの画面に、特定音認識部１３が特定音の存在を判定している旨の表示を行うことができる。これによると、ユーザーは、ディスプレイの表示を見ることで、再生する音に邪魔されること無く特定音を認識することができる。

以上、本発明の実施の形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。また、上述の各実施の形態は、その目的及び構成等に特に矛盾や問題がない限り、互いの技術を流用して組み合わせることが可能である。

１：電子機器，１Ａ：ＡＩスピーカ，２：マイク，３：スピーカ，
４：リモコン操作部，５：送受信部，６：音源データベース，
７：再生機器，８：ネットワーク，
９：クラウドサーバ，９Ａ：音源データベース，
１０：制御部，１１：入力部，１２：出力部，
１３：特定音認識部，１４：制御信号発生部，１５：記憶部，
２０：ＡＩシステム，２０Ａ：ウェイクワード認識機能，
２１：ホームネットワーク

Claims (10)

1. マイクの集音信号が入力され、スピーカ又は外部の再生機器を制御する制御信号を出力する制御部を備えた電子機器であって、
   前記制御部は、
   音声以外の特定音を予め記憶する記憶部を備え、
   前記集音信号の中から前記特定音を認識した場合に、前記制御信号を出力することを特徴とする電子機器。
2. 前記制御部は、前記制御信号によって、スピーカ又は外部の再生機器の再生動作を一時停止させることを特徴とする請求項１記載の電子機器。
3. 前記制御部は、前記制御信号によって、スピーカ又は外部の再生機器の再生出力を低下させることを特徴とする請求項１記載の電子機器。
4. 前記制御部は、前記制御信号を出力した後に、認識した前記特定音の信号をスピーカ又は外部の再生機器に出力することを特徴とする請求項１〜３のいずれか１項記載の電子機器。
5. 前記制御部は、前記集音信号の中から前記特定音の特徴を抽出することで前記特定音を認識することを特徴とする請求項１〜４のいずれか１項記載の電子機器。
6. 前記制御部は、スピーカ又は外部の再生機器が再生する音響信号を出力し、
   前記集音信号の中から前記音響信号のリファレンス信号をキャンセルして、前記特定音の認識を行うことを特徴とする請求項１〜５のいずれか１項記載の電子機器。
7. 前記制御部は、前記集音信号の中から前記特定音の帯域を通すバンドパスフィルタを介して前記特定音の認識を行うことを特徴とする請求項１〜５のいずれか１項記載の電子機器。
8. 前記制御部は、前記特定音の継続が無い場合には、スピーカ又は外部の再生機器の再生動作を元に戻すことを特徴とする請求項１〜７のいずれか１項記載の電子機器。
9. 前記制御部は、
   ウェイクワード認識機能を有するＡＩシステムに対してネットワークを介して信号を送受信し、
   記憶部には、ウェイクワードに対応する音声信号と、前記ＡＩシステムがスピーカ又は外部の再生機器を制御するコマンド音声信号が記憶されており、
   前記集音信号の中から前記特定音を認識した場合に、前記ウェイクワードに対応する音声信号を前記ＡＩシステムに送信した後に、前記コマンド音声信号を前記ＡＩシステムに送信することを特徴とする請求項１記載の電子機器。
10. マイクの集音信号が入力され、スピーカ又は外部の再生機器を制御する制御信号を出力する電子機器の制御方法であって、
    音声以外の特定音を予め記憶部に記憶し、
    前記集音信号の中から前記特定音を認識した場合に、前記制御信号を出力することを特徴とする電子機器の制御方法。

Images