JP2021139920A - 音声処理装置および音声処理方法 - Google Patents

Abstract

【課題】ユーザへの応答の精度を向上する音声エージェント機能を備える音声処理装置を提供する。【解決手段】音声処理装置は、集音部２３２にユーザが発話した音声が入力されると、音声認識部２３４が当該音声を認識し、意味解析部２３８が音声認識部２３４から入力される文字列の意味を解析する。そして、意味解析部２３８は、ユーザの要求が情報の応答であると理解すると、音声認識部２３４から入力される文字列からキーワードを抽出する。さらに、音源方向推定部２３６が音声の音源方向を推定し、応答制御部２５０が、キーワードおよび当該音声の音源方向に基づき記憶部２４０から応答情報を抽出する。そして、応答制御部２５０は、抽出した応答情報を用いて応答音声を生成し、音声出力部２６０が当該応答音声を出力する。【選択図】図２

Description

本開示は、音声処理装置および音声処理方法に関する。

近年、音声エージェント機能を備える音声処理装置の普及が進んでいる。音声エージェント機能は、ユーザが発話した音声の意味を解析し、解析により得られた意味に従った処理を実行する機能である。例えば、音声エージェント機能を備える音声処理装置は、ユーザからの質問への回答、予定の追加およびタイマーの設定などを実行し得る。

音声エージェント機能に関し、特許文献１には、ユーザが事前に省略語を音声処理装置に登録し、省略語を用いて複雑な語を呼び出す方法が開示されている。また、特許文献２には、ユーザが音声を発話した際のコンテキスト情報を用いてユーザの発話の意味を理解する技術が開示されている。

特開２０１６−１１４３９５号公報 特開２０１５−１２２１０４号公報

しかし、特許文献１に記載の方法に関し、事前に登録されていた語と同じ語がユーザにより発話されても、その語に込められた意味は状況に応じて異なり得る。また、特許文献２に記載の技術では、事前にコンテキスト情報が登録されておらず、コンテキスト情報としてユーザが発話した際のコンテキスト情報のみが用いられるので、精度向上の余地があった。

そこで、本開示では、ユーザへの応答の精度を向上することが可能な、新規かつ改良された音声処理装置および音声処理方法を提案する。

本開示によれば、音入力部に入力された音声の認識に基づき得られた入力情報を記憶している記憶部を参照し、前記入力情報に関連付けられた状況が認識されたことに基づき、前記入力情報を用いて応答を制御する応答制御部、を備える、音声処理装置が提供される。

また、本開示によれば、音入力部に入力された音声の認識に基づき得られた入力情報を記憶している記憶部を参照し、プロセッサにより、前記入力情報に関連付けられた状況が認識されたことに基づき、前記入力情報を用いて応答を制御すること、を含む、音声処理方法が提供される。

以上説明したように本開示によれば、ユーザへの応答の精度を向上することが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態による音声処理装置２０の概要を示す説明図である。 第１の実施形態による音声処理装置２１の構成を示す説明図である。 音声処理装置２１の利用形態を示す説明図である。 記憶される情報の具体例を示す説明図である。 音声処理装置２１の利用形態を示す説明図である。 第１の実施形態による音声処理装置２１の動作を示すフローチャートである。 第１の実施形態の応用例を示す説明図である。 第２の実施形態による音声処理装置２２の構成を示す説明図である。 記憶される情報の具体例を示す説明図である。 認識モデルの利用形態の具体例を示す説明図である。 第２の実施形態による音声処理装置２２の概略動作を示すフローチャートである。 認識モデルの生成方法を示すフローチャートである。 認識モデルを用いた応答制御を示すフローチャートである。 第２の実施形態の応用例を示すフローチャートである。 音声処理装置２０のハードウェア構成を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。

また、以下に示す項目順序に従って本開示を説明する。
０．音声処理装置の概要
１．第１の実施形態
１−１．第１の実施形態による音声処理装置の構成
１−２．第１の実施形態による音声処理装置の動作
１−３．作用効果
１−４．第１の実施形態の応用例
２．第２の実施形態
２−１．第２の実施形態による音声処理装置の構成
２−２．第２の実施形態による音声処理装置の動作
２−３．作用効果
２−４．第２の実施形態の応用例
３．ハードウェア構成
４．むすび

＜０．音声処理装置の概要＞
まず、図１を参照して、本開示の実施形態による音声処理装置の概要を説明する。

図１は、本開示の実施形態による音声処理装置２０の概要を示す説明図である。図１に示したように、音声処理装置２０は、一例として家屋に配置される。音声処理装置２０は、音声処理装置２０のユーザが発話した音声の意味を解析し、解析により得られた意味に従った処理を実行する、音声エージェント機能を有する。

例えば、音声処理装置２０は、キーワードと応答情報を関連付けて記憶しており、ユーザの音声が情報の応答を要求する意味を有し、記憶しているキーワードが音声から認識されたことに基づき、当該キーワードに関連付けて記憶されている応答情報を用いてユーザへの応答を実行する。図１に示した例では、音声処理装置２０がキーワード「Ａ社のパスタ」および応答情報「茹で時間は５分」を関連付けて記憶しており、ユーザが「Ａ社のパスタは？」という音声を発話すると、音声処理装置２０は、応答情報「茹で時間は５分」を用いて、「Ａ社のパスタの茹で時間は５分であると記憶しています。」という音声でユーザに応答する。

なお、図１においては、音声処理装置２０として据置型の装置を示しているが、音声処理装置２０は据置型の装置に限定されない。例えば、音声処理装置２０は、スマートフォン、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などの携帯型の情報処理装置であってもよいし、自律移動式のロボットであってもよい。

ここで、多義性を有するキーワードが存在し得る。このため、同一のキーワードに異なる応答情報が関連付けられることが想定される。例えば、「Ａ社のパスタ」というキーワードには、上述したレシピを示す応答情報が関連付けられ得るし、収納場所を示す応答情報が関連付けられ得る。このため、音声に含まれるキーワードからユーザの意図に沿う応答情報を抽出するための工夫が望まれた。

本件発明者は、上記事情を一着眼点にして本開示の実施形態による音声処理装置２０を創作するに至った。本開示の実施形態による音声処理装置２０は、音声に含まれるキーワードからユーザの意図に沿う応答情報を抽出することにより、音声の入力に対する応答の精度を向上することが可能である。以下、幾つかの本開示の実施形態を順次詳細に説明する。

＜１．第１の実施形態＞
第１の実施形態による音声処理装置２０は、キーワード、音源方向および応答情報を関連付けて記憶しており、記憶している音源方向に対応する音源方向からキーワードを含む音声が到来したことに基づき、応答情報を用いて応答を実行する。キーワードおよび応答情報は、入力音声の認識に基づき得られた入力情報の一例であり、音源方向は、音または音声の発生に関する状況を示す状況情報の一例である。このような第１の実施形態による音声処理装置２０によれば、同一のキーワードに異なる応答情報が関連付けられている場合でも、キーワードを含む音声の音源方向に基づき、ユーザの意図に沿う応答情報を抽出することが可能である。

なお、以下では、各実施形態による音声処理装置２０を区別するために、第１の実施形態による音声処理装置を音声処理装置２１と称し、第２の実施形態による音声処理装置を音声処理装置２２と称する場合がある。各実施形態による音声処理装置２１および音声処理装置２２を単に音声処理装置２０と総称する場合もある。

＜＜１−１．第１の実施形態による音声処理装置の構成＞＞
図２は、第１の実施形態による音声処理装置２１の構成を示す説明図である。図２に示したように、第１の実施形態による音声処理装置２１は、集音部２３２、音声認識部２３４、音源方向推定部２３６、意味解析部２３８、記憶部２４０、応答制御部２５０および音声出力部２６０を有する。

（集音部）
集音部２３２は、環境音および音声を含む空気的な振動から電気的な音信号を取得する音入力部の機能を有する。集音部２３２は、取得した音信号を音声認識部２３４および音源方向推定部２３６に出力する。

（音声認識部）
音声認識部２３４は、集音部２３２から入力される音信号から音声信号を検出し、当該音声信号を認識し、ユーザが発話した音声を表す文字列を得る。

（音源方向推定部）
音源方向推定部２３６は、状況認識部の一例であり、集音部２３２に到達した音の音源方向を推定する。集音部２３２が複数の集音素子から構成される場合、音源方向推定部２３６は、各集音素子により得られた音信号の位相差に基づき、音源方向を推定する。音信号が音声信号である場合、音声処理装置２１から見たユーザの方向が音源方向として推定される。

（意味解析部、記憶部）
意味解析部２３８は、音声認識部２３４から入力される文字列の意味を解析する。意味解析の方法は、発話コーパスを作成した上で機械学習を用いて意味解析を実現する方法、ルールで意味解析を実現する方法、またはこれらの組み合わせのいずれであってもよい。また、意味解析の処理の一部である形態素解析では、単語単位で属性を付与する仕組みをもっており、内部には辞書を保持している。意味解析部２３８は、この属性を付与する仕組みと辞書により、発話に含まれる単語がどのような単語であるか、例えば人名であるのか、地名であるのか、一般名詞であるのか等の属性を付与することが可能である。

そして、意味解析部２３８は、解析により得られた意味に応じて異なる処理を行う。例えば、解析により得られた意味が情報の記憶を要求する意味を有する場合、意味解析部２３８は、音声認識部２３４から入力される文字列から、第１の部分としてキーワードを抽出し、第２の部分としてキーワードに対応する応答情報を抽出する。そして、意味解析部２３８は、抽出したキーワード、応答情報、および音源方向推定部２３６から入力される音源方向を関連付けて記憶部２４０に記憶させる。以下、図３および図４を参照して、このような情報の記憶の具体例を説明する。

図３は、音声処理装置２１の利用形態を示す説明図である。図３に示した例では、キッチンエリアＡ１に含まれる位置Ｐ１で、ユーザが「Ａ社のパスタの茹で時間は５分と記憶しておいて。」という音声を発話している。この場合、意味解析部２３８は、音声認識部２３４から入力される「Ａ社のパスタの茹で時間は５分と記憶しておいて。」という文字列から、キーワードとして「Ａ社のパスタ」を抽出し、応答情報として「茹で時間は５分」を抽出する。一方、音源方向推定部２３６は、音声処理装置２１から見た位置Ｐ１の方向と音声処理装置２１の基準方向ｄとが成す角度である３０°を、音源方向として推定する。このため、意味解析部２３８は、図４に示したように、キーワード「Ａ社のパスタ」、音源方向「３０°」、応答情報「茹で時間は５分」を関連付けて記憶部２４０に記憶させる。

図３には、さらに、収納周辺エリアＡ２に含まれる位置Ｐ２で、ユーザが「Ａ社のパスタを収納の一番上の棚に置いたと記憶しておいて。」という音声を発話した例を示している。この場合、意味解析部２３８は、音声認識部２３４から入力される「Ａ社のパスタを収納の一番上の棚に置いたと記憶しておいて。」という文字列から、キーワードとして「Ａ社のパスタ」を抽出し、応答情報として「収納の一番上の棚に置いた」を抽出する。

一方、音源方向推定部２３６は、音声処理装置２１から見た位置Ｐ２の方向と音声処理装置２１の基準方向ｄとが成す角度である−２０°を、音源方向として推定する。このため、意味解析部２３８は、図４に示したように、キーワード「Ａ社のパスタ」、音源方向「−２０°」、応答情報「収納の一番上の棚に置いた」を関連付けて記憶部２４０に記憶させる。

（応答制御部）
応答制御部２５０は、意味解析部２３８の解析により得られた意味が情報の応答を要求する意味を有する場合、記憶部２４０を参照し、応答情報に関連付けられている音源方向からの音声の到来、および当該音声が当該応答情報に関連付けられているキーワードを含むことが認識されたことに基づき、当該応答情報を用いて応答を制御する。ここで、応答制御部２５０は、応答情報に関連付けられている音源方向との差分が所定の基準未満である音源方向が認識されたことを、応答情報に関連付けられている音源方向からの音声の到来として扱ってもよい。所定の基準は、例えば１０°〜２０°の間の値であってもよい。

（音声出力部）
音声出力部２６０は、応答制御部２５０からの制御に従い、ユーザへの応答音声を出力する。ただし、音声出力部２６０は応答を出力する出力部の一例に過ぎず、音声処理装置２１は、応答の出力は表示により行う表示部を有してもよい。ここで、図５を参照し、音声出力部２６０により出力される応答音声の具体例を説明する。

図５は、音声処理装置２１の利用形態を示す説明図である。図５に示した例では、キッチンエリアＡ１に含まれる位置Ｐ１で、ユーザが「Ａ社のパスタは？」という音声を発話している。また、当該音声の音源方向は「３０°」である。このため、応答制御部２５０は、記憶部２４０を参照し、キーワード「Ａ社のパスタ」および音源方向「３０°」に関連付けられている「茹で時間は５分」という応答情報を抽出する。そして、応答制御部２５０は、抽出した応答情報「茹で時間は５分」を用いて、図５に示したように音声出力部２６０に「Ａ社のパスタの茹で時間は５分と記憶しています。」という応答音声を出力させる。

一方、収納周辺エリアＡ２に含まれる位置Ｐ２で、ユーザが「Ａ社のパスタは？」という音声を発話した場合、応答制御部２５０は、記憶部２４０を参照し、キーワード「Ａ社のパスタ」および音源方向「―２０°」に関連付けられている「収納の一番上の棚に置いた」という応答情報を抽出する。そして、応答制御部２５０は、抽出した応答情報「収納の一番上の棚に置いた」を用いて、図５に示したように音声出力部２６０に「Ａ社のパスタは収納の一番上の棚に置いたと記憶しています。」という応答音声を出力させる。

＜＜１−２．第１の実施形態による音声処理装置の動作＞＞
以上、第１の実施形態による音声処理装置２１の構成を説明した。続いて、図６を参照し、第１の実施形態による音声処理装置２１の動作を整理する。

図６は、第１の実施形態による音声処理装置２１の動作を示すフローチャートである。まず、集音部２３２にユーザが発話した音声が入力されると（Ｓ３０４）、音声認識部２３４が当該音声を認識し、意味解析部２３８が音声認識部２３４から入力される文字列の意味を解析する（Ｓ３０８）。

そして、意味解析部２３８は、ユーザの要求が情報の応答であると理解すると（Ｓ３１２／Ｙｅｓ）、音声認識部２３４から入力される文字列からキーワードを抽出する（Ｓ３１６）。さらに、音源方向推定部２３６が音声の音源方向を推定し（Ｓ３４０）、応答制御部２５０が、キーワードおよび当該音声の音源方向に基づき記憶部２４０から応答情報を抽出する（Ｓ３４４）。そして、応答制御部２５０は、抽出した応答情報を用いて応答音声を生成し、音声出力部２６０が当該応答音声を出力する（Ｓ３４８）。

一方、意味解析部２３８は、ユーザの要求が情報の記憶であると理解すると（Ｓ３１２／Ｎｏ、Ｓ３５２／Ｙｅｓ）、音声認識部２３４から入力される文字列からキーワードおよび応答情報を抽出する（Ｓ３５６）。さらに、音源方向推定部２３６が音声の音源方向を推定し（Ｓ３６０）、意味解析部２３８が、キーワード、応答情報、および音源方向推定部２３６から入力される音源方向を関連付けて記憶部２４０に記憶させる（Ｓ３６４）。その後、例えば音声出力部２６０が、情報の記憶が完了した旨を示す登録完了通知を出力する（Ｓ３６８）。

＜＜１−３．作用効果＞＞
以上説明した第１の実施形態によれば、多様な作用効果が得られる。例えば、第１の実施形態によれば、同一のキーワードを含む音声に対して、状況の認識（上記の例では、音源方向の推定）に基づき異なる応答音声を出力することが可能である。従って、「Ａ社のパスタは？」のような、茹で時間を問い合わせる意味、置き場所を問い合わせる意味、などの複数の意味を有し得る多義性のある音声に対しても、適切な応答音声を出力することが可能である。

＜＜１−４．応用例＞＞
上述した第１の実施形態の応用例として、応答制御部２５０は、ユーザが発話した音声に対して応答音声を出力するか否かを、ユーザがターゲットユーザであるか否かに応じて制御してもよい。例えば、記憶部２４０は、あるユーザが発話した音声に基づいて情報の記憶が行われた場合に、ターゲットユーザとして当該ユーザを示すターゲット情報を併せて記憶しておく。ターゲット情報は、ターゲットユーザの識別情報であってもよいし、ターゲットユーザの音声の特徴量であってもよい。そして、応答制御部２５０は、情報の応答を要求する音声を発話したユーザがターゲットユーザであり、かつ、他の条件（音源方向など）が満たされる場合に、応答情報を出力してもよい。

なお、ターゲットユーザと情報の記憶を要求したユーザは異なってもよい。例えば、情報の記憶に際し、音声処理装置２１は、情報の記憶を要求したユーザに、ターゲットユーザとして設定すべきユーザの入力を指示し、入力されたユーザをターゲットユーザとして設定してもよい。例えば、図７に示すように、ターゲットユーザとして全ユーザを設定することも、ターゲットユーザとして特定のユーザ（図７の例ではユーザＡ）を設定することも可能である。

ターゲットユーザとして全ユーザのように複数のユーザを設定することにより、各ユーザが個別に情報の記憶のための発話をしなくてよくなるので、ユーザの手間を削減することが可能である。汎用性が高い情報には、このようにターゲットユーザとして全ユーザのように複数のユーザを設定することが有用である。一方、あるユーザに特化した情報は、ターゲットユーザとして特定のユーザを設定することが有用である。

＜２．第２の実施形態＞
次に、本開示の第２の実施形態による音声処理装置２２を説明する。第２の実施形態による音声処理装置２２は、ユーザによる明示的な要求が無くても、ユーザに適切な応答音声を出力することが可能である。以下、このような第２の実施形態による音声処理装置２２の構成および動作を順次詳細に説明する。

＜＜２−１．第２の実施形態による音声処理装置の構成＞＞
図８は、第２の実施形態による音声処理装置２２の構成を示す説明図である。図８に示したように、第２の実施形態による音声処理装置２２は、集音部２３２、音声認識部２３４、音源方向推定部２３６、意味解析部２３８、記憶部２４２、学習部２４６、応答制御部２５２および音声出力部２６０を有する。集音部２３２、音声認識部２３４、音源方向推定部２３６、意味解析部２３８および音声出力部２６０の構成は第１の実施形態で説明した通りであるので、ここでの詳細な説明を省略する。

記憶部２４２は、第１の実施形態と同様に、意味解析部２３８により抽出したキーワード、応答情報、および音源方向推定部２３６から入力される音源方向を関連付けて記憶する。例えば、ユーザが「お風呂をでたときには歯を磨くと記憶しておいて」という音声を脱衣所で発話した場合、記憶部２４２は、図９に示すように、キーワード「お風呂をでた」、音源方向「５０°」（音声処理装置２２から見た脱衣所の方向）、および応答情報「歯を磨く」を関連付けて記憶する。これにより、「５０°」の方向からの音声の到来、および当該音声がキーワード「お風呂をでた」を含むことが認識されたことに基づき、第１の実施形態と同様に、「お風呂をでたときには歯を磨くと記憶しています。」という応答音声を出力することが可能である。

さらに、学習部２４６が、あるキーワードが示す状況において発生する音を認識するための認識モデルを機械学習により生成し、記憶部２４２は、学習部２４６による機械学習の学習結果である上記認識モデルを記憶する。当該認識モデルによれば、例えば、お風呂のドアを閉めた時に生じる音が入力されると、キーワード「お風呂をでた」を出力し得る。他の例として、ランニングシューズを履く際にランニングシューズが玄関の床を叩く音が入力されると、キーワード「ランニングに行く」を出力し得る。図１０を参照し、このような認識モデルの利用形態の具体例を説明する。

図１０は、認識モデルの利用形態の具体例を示す説明図である。図１０に示したように、脱衣所Ｐ３においてお風呂場のドアを閉める音（バタン）が生じると、応答制御部２５２は、当該音に対応するキーワード「お風呂をでた」を認識モデルに基づいて特定する。そして、応答制御部２５２は、記憶部２４２に記憶されている情報（図９参照）に基づき、キーワード「お風呂をでた」に関連付けられている応答情報「歯を磨く」を抽出し、「お風呂をでたときには歯を磨くと記憶しています。」という応答音声を音声出力部２６０に出力させる。

また、図１０に示したように、玄関Ｐ４においてランニングシューズが玄関の床を叩く音（トントン）が生じると、応答制御部２５２は、当該音に対応するキーワード「ランニングに行く」を認識モデルに基づいて特定する。そして、応答制御部２５２は、記憶部２４２に記憶されている情報（図９参照）に基づき、キーワード「ランニングに行く」に関連付けられている応答情報「天気の確認をする」を抽出し、「ランニングに行くときには天気の確認をすると記憶しています。」という応答音声を音声出力部２６０に出力させる。

ここで、応答制御部２５２は、ネットワークを介して天気情報を得ることにより、「天気の確認をする」という処理または行動の実行結果として、「このあとの天気は雨です。」のような応答音声を音声出力部２６０に出力させてもよい。かかる構成によれば、ユーザの手間が削減されるので、ユーザの利便性を向上することが可能である。

＜＜２−２．第２の実施形態による音声処理装置の動作＞＞
続いて、図１１〜図１３を参照し、第２の実施形態による音声処理装置２２の動作を整理する。

図１１は、第２の実施形態による音声処理装置２２の概略動作を示すフローチャートである。図１１に示したように、学習部２４６が、キーワードが示す状況で発生する音を認識する認識モデルを機械学習により生成する（Ｓ４１０）。

そして、意味解析部２３８が、ユーザにより発話された音声の意味を解析し、ユーザの要求が情報の記憶である場合、記憶部２４２が、音声から抽出されたキーワードおよび応答情報に、音源方向推定部２３６により推定された音声の音源方向を関連付けて記憶する（Ｓ４３０）。当該Ｓ４３０の処理は、図６を参照して説明したＳ３５２〜Ｓ３６８の処理に対応する。

その後、応答制御部２５２が、学習部２４６により生成された認識モデルを用いて音認識を行い、音認識に基づいて特定されたキーワードに関連付けられている応答情報を用いて応答音声の出力を制御する（Ｓ４５０）。

以下、図１２を参照してＳ４１０の処理をより具体的に説明し、図１３を参照してＳ４５０の処理をより具体的に説明する。

図１２は、認識モデルの生成方法を示すフローチャートである。まず、ユーザがあるキーワードを発話すると、音声処理装置２２は、当該キーワードが示す状況で発生する音を一定回数発生させることをユーザに指示する（Ｓ４１１）。例えば、キーワードが「お風呂をでた」である場合、ユーザは、お風呂場のドアの開け閉めを一定回数に亘って繰り返す。そして、学習部２４６は、発生した音を機械学習のための正例データとして保存する（Ｓ４１２）。

続いて、音声処理装置２２は、上記キーワードが示す状況で発生する音を一定時間発生させないことをユーザに指示する（Ｓ４１３）。そして、学習部２４６は、周囲の音を機械学習のための負例データとして保存する（Ｓ４１４）。

その後、学習部２４６は、保存済みの正例データおよび負例データを用いて機械学習を行い、キーワードが示す状況を認識する認識モデルを生成する（Ｓ４１５）。そして、記憶部２４２が、学習部２４６により生成された認識モデルを記憶する（Ｓ４１６）。

図１３は、認識モデルを用いた応答制御を示すフローチャートである。まず、集音部２３２に音が入力されると（Ｓ４５１）、応答制御部２５２は、入力された音が、記憶部２４２に記憶されている認識モデルを用いて認識される音であるか否かを判断する（Ｓ４５２）。入力された音が認識モデルを用いて認識される音である場合（Ｓ４５２／Ｙｅｓ）、応答制御部２５２は、当該音に対応するキーワードを認識モデルに基づいて特定する（Ｓ４５３）。また、音源方向推定部２３６が音の音源方向を推定する（Ｓ４５４）。

そして、応答制御部２５２が、認識モデルに基づいて特定されたキーワードに関連付けられ、かつ、音源方向推定部２３６により推定された音源方向との差分が所定の基準未満である音源方向と関連付けられている応答情報を抽出する（Ｓ４５５）。さらに、応答制御部２５２が、抽出した応答情報を用いて応答音声を生成し、音声出力部２６０に応答音声を出力させる（Ｓ４５６）。

＜＜２−３．作用効果＞＞
以上説明した第２の実施形態によれば、多様な作用効果が得られる。例えば、第２の実施形態によれば、ユーザが明示的に音声を発話しなくても、状況の認識（上記の例では、音の認識、および音源方向の推定）に基づき、ユーザに適切な応答音声を出力することが可能である。

また、ある状況で発生する音は、その状況がいずれのユーザに関連するかにより異なり得る。例えば、お風呂場のドアの開け閉めの音であっても、父親がお風呂場のドアの開け閉めする際に生じる音と、子供がお風呂場のドアの開け閉めする際に生じる音とは異なり得る。このため、図１２を参照して説明したＳ４１１においてあるユーザが音を一定回数発生させることにより認識モデルが生成された場合、他のユーザが発生させた音は当該認識モデルによって認識されないことも起こり得る。従って、第２の実施形態によれば、音の入力に基づく応答音声の出力対象を特定のユーザに制限することが可能である。

＜＜２−４．応用例＞＞
上述した第２の実施形態の応用例として、音声処理装置２２の使用の中で認識モデルの精度を向上する方法を説明する。

図１４は、第２の実施形態の応用例を示すフローチャートであり、図１１に示したＳ４３０に適用される処理のフローチャートである。図１４におけるＳ３０４〜Ｓ３１６、Ｓ３４０〜Ｓ３６８の処理は図６を参照して説明した通りであるので、ここでの詳細な説明を省略する。

ユーザの音声による要求が情報の応答であり（Ｓ３１２／Ｙｅｓ）、当該音声からキーワードが抽出されると（Ｓ３１６）、学習部２４６は、当該キーワードに対応する認識モデルが記憶部２４２に記憶されているか否かを判定する（Ｓ３２０／Ｙｅｓ）。そして、学習部２４６は、集音部２３２に入力された音から、認識モデルで認識される音に一致または類似する音を抽出する（Ｓ３２４）。

さらに、学習部２４６は、Ｓ３２４で抽出した音を正例データとして追加し（Ｓ３２８）、追加された正例データを含む正例データ群を用いて機械学習を再度行い、認識モデルを再生成する（Ｓ３３２）。

当該応用例によれば、ユーザが機械学習のために音声を発話しなくても機械学習のための正例データが追加されるので、ユーザが手間を感じることなく認識モデルの精度を向上することが可能である。

なお、上記では、キーワードに対応する状況の認識として音の認識を行う例を説明したが、他の方法によってもキーワードに対応する状況を認識することが可能である。例えば、音声処理装置２２が撮像部を備える場合、学習部２４６は、撮像部により得られる撮像画像を用いた機械学習により、キーワードに対応する状況を認識する認識モデルを生成してもよい。ここで、キーワードには「ランニングに行く」が対応し得て、キーワードに対応する状況としては「ランニングに行く」時のユーザの服装が挙げられる。応答制御部２５２は、当該認識モデルに基づき「ランニングに行く」時のユーザの服装が認識された場合に、キーワード「ランニングに行く」を特定し、キーワード「ランニングに行く」に関連付けられている応答情報「天気の確認をする。」を用いて応答出力を制御してもよい。

＜３．ハードウェア構成＞
以上、本開示の各実施形態を説明した。上述した音声認識および応答制御などの情報処理は、ソフトウェアと、以下に説明する音声処理装置２０のハードウェアとの協働により実現される。

図１５は、音声処理装置２０のハードウェア構成を示した説明図である。図１５に示したように、音声処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、入力装置２０８と、出力装置２１０と、ストレージ装置２１１と、ドライブ２１２と、撮像装置２１３と、通信装置２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って音声処理装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。これらＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、音声認識部２３４、音源方向推定部２３６、意味解析部２３８、学習部２４６および応答制御部２５２などの機能が実現され得る。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。音声処理装置２０のユーザは、該入力装置２０８を操作することにより、音声処理装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置２１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。

ストレージ装置２１１は、本実施形態にかかる音声処理装置２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置２１１は、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

ドライブ２１２は、記憶媒体用リーダライタであり、音声処理装置２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

撮像装置２１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。

通信装置２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

なお、ネットワーク１２は、ネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

＜４．補足＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本明細書の音声処理装置２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、音声処理装置２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、上述した音声処理装置２０の機能の一部は、ネットワーク１２を介して音声処理装置２０に接続されるクラウドサーバに実装されてもよい。例えば、クラウドサーバが、音声認識部２３４、音源方向推定部２３６、意味解析部２３８、記憶部２４０および応答制御部２５０に相当する機能、すなわち、音声処理装置としての機能を有してもよい。この場合、音声処理装置２０は音声信号をクラウドサーバに送信し、クラウドサーバが情報の記憶、または応答音声の音声処理装置２０への送信を行い得る。

また、音声処理装置２０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した音声処理装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

また、以下のような構成も本開示の技術的範囲に属する。
（１）
音入力部に入力された音声の認識に基づき得られた入力情報を記憶している記憶部を参照し、前記入力情報に関連付けられた状況が認識されたことに基づき、前記入力情報を用いて応答を制御する応答制御部、
を備える、音声処理装置。
（２）
前記入力情報は、第１の部分および第２の部分を含み、
前記応答制御部は、前記記憶部に記憶されている入力情報に含まれる第１の部分が音声の認識により得られ、かつ、前記入力情報に関連付けられた状況が認識されたことに基づき、前記入力情報に含まれる第２の部分を用いて応答を制御する、前記（１）に記載の音声処理装置。
（３）
前記記憶部には、前記音声が前記音入力部に入力された際の前記音声の音源方向が状況情報として前記入力情報と関連付けて記憶され、
前記応答制御部は、前記記憶部に前記状況情報として記憶されている音源方向との差分が所定の基準未満である音源方向が認識されたことに基づき、前記記憶部において前記音源方向に関連付けて記憶されている前記入力情報を用いて応答を制御する、前記（１）または（２）に記載の音声処理装置。
（４）
前記記憶部には、ターゲットユーザを示すターゲット情報が前記入力情報と関連付けて記憶され、
前記応答制御部は、前記記憶部に記憶されている前記ターゲット情報が示すターゲットユーザに関して前記入力情報に関連付けられた状況が認識されたことに基づき、前記ターゲット情報に関連付けられている前記入力情報を用いて応答を制御する、前記（１）〜（３）のいずれか一項に記載の音声処理装置。
（５）
前記入力情報は、状況を示す第１の部分、および第２の部分を含み、
前記記憶部には、前記第１の部分が示す状況において得られたデータを用いる機械学習により得られた認識モデルが記憶され、
前記応答制御部は、前記記憶部に記憶されている前記認識モデルを用いて、前記第１の部分に関連する状況として、前記第１の部分が示す状況が認識されたことに基づき、前記第２の部分を用いて応答を制御する、前記（１）に記載の音声処理装置。
（６）
前記音声処理装置は、前記認識モデルにより認識される状況を示す音声が入力された場合、当該音声が入力された際に得られたデータを追加的に用いて機械学習を再度行い、認識モデルを再度生成する学習部をさらに備える、前記（５）に記載の音声処理装置。
（７）
前記記憶部に記憶される複数の入力情報には、前記第１の部分が多義性を有する、または前記第１の部分の意味認識の結果が不明である入力情報が含まれる、前記（２）に記載の音声処理装置。
（８）
前記応答制御部は、前記応答の制御として、前記入力情報の少なくとも一部を出力部に出力させる制御を行う、前記（１）〜（７）のいずれか一項に記載の音声処理装置。
（９）
前記応答制御部は、前記応答の制御として、前記入力情報の少なくとも一部が示す処理または行動の実行結果を出力部に出力させる制御を行う、前記（１）〜（７）のいずれか一項に記載の音声処理装置。
（１０）
前記音声処理装置は、
前記音入力部に入力された音声を認識する音声認識部と、
前記状況を認識する状況認識部と、
をさらに備える、前記（１）〜（９）のいずれか一項に記載の音声処理装置。
（１１）
音入力部に入力された音声の認識に基づき得られた入力情報を記憶している記憶部を参照し、プロセッサにより、前記入力情報に関連付けられた状況が認識されたことに基づき、前記入力情報を用いて応答を制御すること、
を含む、音声処理方法。

２０、２１、２２ 音声処理装置
２３２ 集音部
２３４ 音声認識部
２３６ 音源方向推定部
２３８ 意味解析部
２４０ 記憶部
２４２ 記憶部
２４６ 学習部
２５０ 応答制御部
２５２ 応答制御部
２６０ 音声出力部

Claims (11)

1. 音入力部に入力された音声の認識に基づき得られた入力情報を記憶している記憶部を参照し、前記入力情報に関連付けられた状況が認識されたことに基づき、前記入力情報を用いて応答を制御する応答制御部、
   を備える、音声処理装置。
2. 前記入力情報は、第１の部分および第２の部分を含み、
   前記応答制御部は、前記記憶部に記憶されている入力情報に含まれる第１の部分が音声の認識により得られ、かつ、前記入力情報に関連付けられた状況が認識されたことに基づき、前記入力情報に含まれる第２の部分を用いて応答を制御する、請求項１に記載の音声処理装置。
3. 前記記憶部には、前記音声が前記音入力部に入力された際の前記音声の音源方向が状況情報として前記入力情報と関連付けて記憶され、
   前記応答制御部は、前記記憶部に前記状況情報として記憶されている音源方向との差分が所定の基準未満である音源方向が認識されたことに基づき、前記記憶部において前記音源方向に関連付けて記憶されている前記入力情報を用いて応答を制御する、請求項１に記載の音声処理装置。
4. 前記記憶部には、ターゲットユーザを示すターゲット情報が前記入力情報と関連付けて記憶され、
   前記応答制御部は、前記記憶部に記憶されている前記ターゲット情報が示すターゲットユーザに関して前記入力情報に関連付けられた状況が認識されたことに基づき、前記ターゲット情報に関連付けられている前記入力情報を用いて応答を制御する、請求項１に記載の音声処理装置。
5. 前記入力情報は、状況を示す第１の部分、および第２の部分を含み、
   前記記憶部には、前記第１の部分が示す状況において得られたデータを用いる機械学習により得られた認識モデルが記憶され、
   前記応答制御部は、前記記憶部に記憶されている前記認識モデルを用いて、前記第１の部分に関連する状況として、前記第１の部分が示す状況が認識されたことに基づき、前記第２の部分を用いて応答を制御する、請求項１に記載の音声処理装置。
6. 前記音声処理装置は、前記認識モデルにより認識される状況を示す音声が入力された場合、当該音声が入力された際に得られたデータを追加的に用いて機械学習を再度行い、認識モデルを再度生成する学習部をさらに備える、請求項５に記載の音声処理装置。
7. 前記記憶部に記憶される複数の入力情報には、前記第１の部分が多義性を有する、または前記第１の部分の意味認識の結果が不明である入力情報が含まれる、請求項２に記載の音声処理装置。
8. 前記応答制御部は、前記応答の制御として、前記入力情報の少なくとも一部を出力部に出力させる制御を行う、請求項１に記載の音声処理装置。
9. 前記応答制御部は、前記応答の制御として、前記入力情報の少なくとも一部が示す処理または行動の実行結果を出力部に出力させる制御を行う、請求項１に記載の音声処理装置。
10. 前記音声処理装置は、
    前記音入力部に入力された音声を認識する音声認識部と、
    前記状況を認識する状況認識部と、
    をさらに備える、請求項１に記載の音声処理装置。
11. 音入力部に入力された音声の認識に基づき得られた入力情報を記憶している記憶部を参照し、プロセッサにより、前記入力情報に関連付けられた状況が認識されたことに基づき、前記入力情報を用いて応答を制御すること、
    を含む、音声処理方法。
    
    

Images