JP6121606B1 - 聴覚トレーニング装置、聴覚トレーニング装置の作動方法、およびプログラム - Google Patents

Abstract

【課題】トレーニング強度を可変とした聴覚トレーニング技術を提供する。【解決手段】聴覚トレーニング装置１は、対象音声を取得する取得手段１１と、対象音声に付加するノイズの属性を、与えられたトレーニング強度に応じて決定する決定手段１４と、取得手段１２により取得された対象音声に対し、決定手段１４により決定された属性を有するノイズを付加する付加手段１５と、付加手段１５によりノイズが付加された前記対象音声を出力する出力手段１６とを有する。【選択図】図１

Description

本発明は聴覚をトレーニングする技術に関する。

音を使って脳をトレーニングする技術が知られている。例えば特許文献１には、階調域の音に対し、異なる帯域の音を合せて出力することにより脳の活性を促す技術が記載されている。

特開２０１５−１５７１１８号公報

特許文献１に記載の技術においては、脳への刺激が単調であるという問題があった。
これに対し本発明は、トレーニング強度を可変とした聴覚トレーニング技術を提供する。

本発明は、対象音声を取得する取得手段と、前記対象音声に付加するノイズの属性を、与えられたトレーニング強度に応じて決定する決定手段と、前記取得手段により取得された前記対象音声に対し、前記決定手段により決定された属性を有するノイズを付加する付加手段と、前記付加手段により前記ノイズが加算された前記対象音声を出力する出力手段とを有する聴覚トレーニング装置を提供する。

前記決定手段により決定される属性は、ノイズ音源、音量、前記対象音声に対する当該ノイズの相対再生速度、およびノイズ音源の数のうち少なくとも１つを含んでもよい。

前記決定手段は、前記トレーニング強度に加え、トレーニングを受けるユーザの属性に応じて前記ノイズを決定してもよい。

前記出力手段により出力される前記対象音声に対するユーザのフィードバックを受け付ける受け付け手段を有し、前記決定手段は、前記ユーザの属性として当該ユーザから得られたフィードバックを用いてもよい。

また、本発明は、対象音声を取得するステップと、前記対象音声に付加するノイズの属性を、与えられたトレーニング強度に応じて決定するステップと、前記取得された対象音声に対し、前記決定された属性を有するノイズを付加するステップと、前記ノイズが加算された前記対象音声を出力するステップとを有する聴覚トレーニング方法を提供する。

さらに、本発明は、コンピュータに、対象音声を取得するステップと、前記対象音声に付加するノイズの属性を、与えられたトレーニング強度に応じて決定するステップと、前記取得された対象音声に対し、前記決定された属性を有するノイズを付加するステップと、前記ノイズが加算された前記対象音声を出力するステップとを実行させるためのプログラムを提供する。

本発明によれば、聴覚トレーニング技術において、トレーニング強度を可変とすることができる。

一実施形態に係る聴覚トレーニング装置１の機能構成を例示する図。 聴覚トレーニング装置１のハードウェア構成を例示する図。 聴覚トレーニング装置１の動作を例示するシーケンスチャート。 トレーニング開始の指示を受け付けるＵＩ画面４０を例示する図。 フィードバックを受け付けるＵＩ画面５０を例示する図。 ユーザのフィードバックを例示する図。

１．構成
図１は、一実施形態に係る聴覚トレーニング装置１の機能構成を例示する図である。聴覚トレーニング装置は、聴覚を介して脳を刺激することにより、例えば聴力を向上させ、または認知症の進行を抑制するものである。

聴覚トレーニング装置１は、取得手段１１、取得手段１２、記憶手段１３、決定手段１４、付加手段１５、出力手段１６、および受け付け手段１７を有する。取得手段１１は、対象音声を取得する。対象音声とは、聴覚トレーニングにおいて聞き取りの主たる対象となる音声をいい、例えば、音楽、朗読、会話相手の言葉、テレビ放送の音声、またはラジオ放送である。対象音声は、録音を再生したものであってもよいし、マイクロフォンを用いてリアルタイムで取得されたものであってもよい。取得手段１２は、トレーニング強度を取得する。トレーニング強度とは、聴覚トレーニングにおけるトレーニングの強さすなわち対象音声の聞き取りづらさを示す指標をいう。対象音声がより聞き取りづらい状態がトレーニング強度が強い（高い）状態であり、より聞き取りやすい状態がトレーニング強度が弱い（低い）状態である。記憶手段１３は、対象音声に付加されるノイズ音源を記憶する。この例で、記憶手段１３は、複数種類のノイズ音源を記憶する。ノイズ音源とは、ノイズを生成するためのデータをいう。ノイズは、対象音声と異なるものであればどのようなものでもよく、一例としては、海の波の音もしくは山の中の音のような自然界の音、または人の話し声もしくはいわゆるホワイトノイズのような人工的な音である。決定手段１４は、対象音声に付加するノイズの属性を、与えられたトレーニング強度に応じて決定する。ノイズの属性とは、例えば、ノイズ音源の種類、音量、対象音声に対する相対再生速度、およびノイズ音源の数のうち少なくとも１つを含む。決定手段１４は、ノイズの属性を変更する変更手段であるということもできる。付加手段１５は、取得手段１１により取得された対象音声に対し、決定手段１４により決定された属性を有するノイズを付加する。出力手段１６は、付加手段１５によりノイズが付加された対象音声を出力する。受け付け手段１７は、出力手段１６により出力される対象音声に対するユーザのフィードバックを受け付ける。ユーザのフィードバックとは、トレーニングに関するユーザの主観の入力をいい、例えば、対象音声が聞き取りづらい部分または聞き取りやすい部分を特定する情報の入力をいう。

図２は、聴覚トレーニング装置１のハードウェア構成を例示する図である。聴覚トレーニング装置１は、ＣＰＵ（Central Processing Unit）１０１、メモリ１０２、ストレージ１０３、タッチスクリーン１０４、マイクロフォン１０５、およびヘッドフォン１０６を有するコンピュータ装置であり、より具体的には例えばスマートフォンである。ＣＰＵ１０１は、プログラムを実行することにより他のハードウェア要素を制御する。メモリ１０２は、ＣＰＵ１０１がプログラムを実行する際のワークエリアとして機能する記憶装置であり、例えばＲＡＭ（Random Access Memory）を含む。ストレージ１０３は、各種のプログラムおよびデータを記憶する不揮発性の記憶装置であり、例えばＳＳＤ（Solid State Drive）を含む。タッチスクリーン１０４は、表示装置としての機能と入力装置としての機能を兼ね備えた装置であり、例えばＬＣＤ（Liquid Crystal Display）およびＬＣＤ上に設けられたタッチセンサーを含む。マイクロフォン１０５は、周囲の音を集音して音信号に変換する装置である。ヘッドフォン１０６は、音信号に応じた音を出力する装置である。

この例で、ストレージ１０３は、コンピュータ装置を聴覚トレーニング装置１として機能させるためのプログラム（以下「聴覚トレーニングプログラム」という）を記憶する。ＣＰＵ１０１が聴覚トレーニングプログラムを実行することにより、コンピュータ装置に図１の機能が実装される。聴覚トレーニングプログラムを実行しているＣＰＵ１０１は、取得手段１１、取得手段１２、決定手段１４、および付加手段１５の一例である。メモリ１０２およびストレージ１０３の少なくとも一方は、記憶手段１３の一例である。ヘッドフォン１０６は、出力手段１６の一例である。タッチスクリーン１０４は、受け付け手段１７の一例である。

２．動作
図３は、聴覚トレーニング装置１の動作を例示するシーケンスチャートである。図３のフローは、例えば、聴覚トレーニングプログラムの起動が指示されたことを契機として開始される。以下において、取得手段１１等の機能要素を処理の主体として記載するが、これは、例えば、ソフトウェア（聴覚トレーニングプログラム）を実行しているハードウェア要素（ＣＰＵ１０１等）が他のハードウェア要素と協働して処理を実行することを意味する。

ステップＳ１０において、受け付け手段１７は、トレーニング開始の指示を受け付ける。トレーニング開始の指示は、所定のＵＩ画面を介して受け付けられる。

図４は、トレーニング開始の指示を受け付けるＵＩ画面４０を例示する図である。受け付け手段１７は、ＵＩ画面４０を表示する。ＵＩ画面４０は、画像オブジェクト４１〜４５を含む。画像オブジェクト４１は、対象音声を選択するための画像オブジェクトである。この例では、対象音声の選択肢として「マイク音声」および「録音音声」が用意されている。マイク音声は、マイクロフォン１０５を介してリアルタイムに入力される音声である。録音音声は、記憶手段１３にデータとして記憶されている音声である。録音音声に対してはさらに、「音楽」および「朗読」という選択肢が用意されている。画像オブジェクト４２は、トレーニング深度を指定するための画像オブジェクトである。トレーニング深度とは、トレーニングの深さを示す指標であり、トレーニング強度と関連している。トレーニング深度が深い（強い）状態とは対象音声がより聞き取りづらい状態であり、トレーニング深度が浅い（弱い）状態とは対象音声がより聞き取り易い状態である。この例では、トレーニング深度の選択肢として、「強」、「中」、および「弱」の３レベルが用意されている。画像オブジェクト４３は、ノイズ音源を選択するための画像オブジェクトである。この例では、ノイズ音源の選択肢として「自然音」および「人工音」が用意されている。画像オブジェクト４４は、聴力トレーニングを開始する指示を入力するための画像オブジェクト、より詳細には開始ボタンである。画像オブジェクト４５は、ユーザの属性に関する情報を示す画像オブジェクトである。この例では、ユーザの属性として、ユーザ名、累積トレーニング時間、および達成レベルが示されている。累積トレーニング時間は、聴覚トレーニングプログラムを用いてこれまで行われたトレーニング時間の累積値を示す。また、トレーニングの進捗を示す指標として達成レベルが設定されており、トレーニングが進むにつれ達成レベルが上がっていく。ユーザは、タッチスクリーン１０４において、これらの画像オブジェクトに相当する位置をタッチすることにより対象音声の選択等の指示を入力する。ユーザが画像オブジェクト４４の開始ボタンを押すと、受け付け手段１７はトレーニング開始指示を取得手段１１および取得手段１２に出力する。

再び図３を参照する。トレーニング開始指示が入力されると、取得手段１１は、対象音声を取得する（ステップＳ１１）。トレーニング開始指示には、ＵＩ画面４０を介して入力された、対象音声を特定する情報が含まれている。取得手段１１は、この情報に従って対象音声を取得する。ＵＩ画面４０において「マイク音声」が選択された場合、取得手段１１は、マイクロフォン１０５から入力された音信号を対象音声として取得する。ＵＩ画面４０において「録音音声」が選択された場合、取得手段１１は、記憶手段１３に記憶されているデータを読み出し、このデータをデコードして得られた音信号を対象音声として取得する。取得手段１１は、対象音声の音信号を付加手段１５に出力する。

トレーニング開始指示が入力されると、取得手段１２は、トレーニング強度を取得する（ステップＳ１２）。取得手段１２は、ＵＩ画面４０を介して入力された情報を用いてトレーニング強度を取得する。具体的には、取得手段１２は、トレーニング深度および達成レベル、並びに所定の数式を用いて、トレーニング強度を計算する。この数式により計算されるトレーニング強度は、例えば、達成レベルが高いほど高く、また、トレーニング深度が強いほど高くなる。取得手段１２は、この計算によりトレーニング強度を取得する。取得手段１２は、取得されたトレーニング強度を示す情報を決定手段１４に出力する。

ステップＳ１３において、決定手段１４は、ノイズの属性を決定する。この例で、ステップＳ１３において決定される属性は、ノイズ音源名および音量である。ノイズ音源名は、記憶手段１３に記憶されている複数のノイズ音源データのうち、使用されるノイズ音源データを特定するための識別情報である。音量は、対象音源の音量に対するノイズの相対的な音量を示す。例えば、対象音声がマイク音声であった場合、ノイズの相対的な音量とは、マイクロフォン１０５を介して入力される音信号の入力レベルに対するノイズの信号レベルの比をいう。対象音声が録音音声であった場合、ノイズの相対的な音量とは、録音音声の音信号の平均信号レベルとノイズの信号レベルの比をいう。決定手段１４は、まず、ノイズ音源名を決定する。決定手段１４は、取得手段１２により取得されたトレーニング強度に応じてノイズ音源名を選択する。図４の例では、画像オブジェクト４３を介して入力されるのは、ノイズ音源のカテゴリ（自然音か人工音か）を指定する情報のみであって、ノイズ音源名を具体的に特定するものではない。この場合、決定手段１４は、指定されたカテゴリに属する複数のノイズ音源データの中から所定のアルゴリズムに従って一のノイズ音源データを選択し、選択したノイズ音源を使用することを決定する。具体的には以下のとおりである。例えば、記憶手段１３は、ノイズ音源データの各々について、対応するトレーニング強度が記録されたテーブルを記憶している。決定手段１４は、取得手段１２により取得されたトレーニング強度を有するノイズ音源データの中から、一のノイズ音源データを選択する。

次に、決定手段１４は、ノイズの音量を決定する。決定手段１４は、音量を決定するための情報として、トレーニング強度およびユーザの属性情報を用いる。ここではユーザの属性情報として、特に、ユーザからのフィードバックが用いられる。詳細は後述するが、フィードバックとは、対象音声に聞き取りづらい部分があったか否かを示す情報をいい、この例では、今回選択されたノイズ音源データと同じデータを用いて以前に聴覚トレーニングが行われた際に、ユーザが「聞き取りづらい部分」として指定した部分を特定する情報をいう。この例で、音量は時間軸の情報を含んでおり、ノイズ音源の再生位置（再生時刻）に対応して変化することができる。例えば、決定手段１４は、トレーニング強度に応じて基準となる音量を決定する。決定手段１４は、さらに、ユーザのフィードバックにより「聞き取りづらい部分」とされる時間軸上の領域については基準となる音量よりも小さい音量を設定する。決定手段１４は、決定されたノイズ音源名および音量を特定する情報を付加手段１５に出力する。

ステップＳ１４において、付加手段１５は、対象音声にノイズを付加する。具体的には、付加手段１５は、決定されたノイズ音源名により特定されるノイズ音源データを記憶手段１３から読み出し、これをデコードしてノイズの音信号を得る。付加手段１５は、ノイズの音信号の振幅を、入力された音量に応じて調整する。付加手段１５は、振幅が調整されたノイズの音信号を、対象音声の音信号に加算する。ノイズの時間長が対象音声の時間長よりも短い場合、付加手段１５は、ノイズの音信号を最初から繰り返し用いる。付加手段１５は、ノイズが加算された対象音声の音信号を出力手段１６に出力する。

ステップＳ１５において、出力手段１６は、対象音声を出力する。すなわち、ノイズが付加された対象音声の音信号に応じた音をヘッドフォン１０６から出力する。対象音声の音信号が出力されている間、受け付け手段１７は、ユーザからのフィードバックを受け付ける（ステップＳ１６）。

図５は、フィードバックを受け付けるＵＩ画面５０を例示する図である。ノイズが付加された対象音声がヘッドフォン１０６から出力されている間、受け付け手段１７はＵＩ画面５０を表示する。ＵＩ画面５０は、画像オブジェクト５１を含む。画像オブジェクト５１は、聞き取りづらい部分を指定するためのボタンを含む。ユーザは、対象音声を聞きながらＵＩ画面５０を操作し、対象音声が聞き取りづらいと感じたら画像オブジェクト５１のボタンを押す。受け付け手段１７は、ノイズの再生位置に対し、画像オブジェクトのボタンが押されている（オン）か押されていない（オフ）かの情報を記憶手段１３に記憶する。ノイズの時間長が対象音声の時間長以上である場合、ノイズの再生位置は対象音声の再生位置（相対時刻）に等しい。

図６は、ユーザのフィードバックを例示する図である。図６（Ａ）は記憶手段１３に記憶されるフィードバックを示しており、横軸がノイズの再生位置を、縦軸がボタンのオン／オフを示している。この例では、時刻ｔ１からｔ２においてボタンがオンされ、それ以外の部分ではオフされたことが示されている。ステップＳ１３における音量の決定においては、このフィードバックが考慮される。図６（Ｂ）は、図６（Ａ）に対応して決められた音量を示しており、横軸がノイズの再生位置を、縦軸が音量を示している。基準となる音量Ｖｏに対し、時刻ｔ１からｔ２においては音量Ｖｄ（＜Ｖｏ）に設定されている。

以上で説明したように本実施形態によれば、与えられたトレーニング強度に応じてノイズの属性が決定され、トレーニング強度に応じて多様なノイズが対象音声に付加される。例えば、同じ対象音声およびノイズ音源が用いられる場合であっても、達成レベルが上がるにつれノイズの音量が上がっていき、難易度は徐々に高くなる。別の例で、同じ対象音声が用いられる場合であっても、達成レベルが低いうちは自然音のノイズが用いられ、達成レベルが高くなると人工音のノイズが用いられるようになり、難易度は徐々に高くなる。

３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。

トレーニング強度に応じて変更されるノイズの属性は実施形態において例示したものに限定されない。ノイズ音源名および音量に加えて、または代えて、他の属性が変更されてもよい。変更される属性は、例えば、対象音声に対するノイズの相対再生速度であってもよい。例えば、決定手段１４は、トレーニング強度が強いほどノイズの再生速度を速くし、トレーニング強度が弱いほど再生速度を遅くする。あるいは、変更される属性は、ノイズ音源の数であってもよい。例えば、決定手段１４は、トレーニング強度が強いほどノイズ音源の数を多くし、トレーニングの強度が弱いほどノイズ音源の数を少なくする。また、決定手段１４は、ノイズの複数種類の属性を複合的に変更してもよい。

決定手段１４がノイズの属性を決定する際に考慮するユーザの属性は、そのユーザからのフィードバックに限定されない。ユーザからのフィードバックに代えて、または加えて、ユーザの性別、年齢、出身地、または既往歴等の情報が考慮されてもよい。また、決定手段１４は、ユーザの属性を考慮せず、トレーニング強度のみに応じてノイズの属性を決定してもよい。

トレーニング強度を得る手法は実施形態において例示したものに限定されない。例えば、取得手段１２は、達成レベルそのものをトレーニング強度として取得してもよい。この場合、トレーニング強度はユーザの入力によらず聴覚トレーニングプログラムにより自動的に決定される。あるいは、取得手段１２は、トレーニング深度そのものをトレーニング強度として取得してもよい。この場合、トレーニング強度はユーザの入力によって決定される。

出力手段１６は、音信号のレベルで加算された対象音声およびノイズを同一のヘッドフォンから出力するものに限定されない。例えば、出力手段１６は、複数のスピーカユニットを有し、出力手段１６は、一のスピーカユニットから対象音声を、他のスピーカユニットからノイズを出力してもよい。この場合、対象音声およびノイズは音信号のレベルでは加算されない。

聴覚トレーニング装置１の機能構成は図１で例示したものに限定されない。図１で例示した機能の一部が省略されてもよいし、図１に無い機能が追加されてもよい。また、聴覚トレーニング装置１のハードウェア構成は図２で例示したものに限定されない。要求される機能を実現できるものであれば、聴覚トレーニング装置１はどのようなハードウェア構成を有していてもよい。例えば、聴覚トレーニング装置１は、ヘッドフォン１０６に代えてスピーカを有してもよい。また、物理的に複数の装置が協働して聴覚トレーニング装置１として機能してもよい。この場合において、聴覚トレーニング装置１の機能の一部がネットワーク上のサーバに実装されてもよい。

実施形態で示したＵＩ画面はあくまで例示であり、聴覚トレーニング装置１において用いられるＵＩ画面はこれに限定されない。また、実施形態で説明した対象音声およびノイズ音源の種類、トレーニング深度のレベル、ユーザ情報等はあくまで例示であって、本発明はこれに限定されるものではない。

ユーザのフィードバックに応じた音量の決定方法は実施形態で例示したものに限定されない。実施形態においては、ノイズ音源の時間領域のうち、ユーザから聞き取りづらいというフィードバックが入力された部分の音量を他の部分よりも低く設定する例が示された。しかし、ノイズの相対的音量がある値（第１値）の場合において一部の時間領域で対象音声が聞き取りづらいというフィードバックが入力されたときは、決定手段１４は、次にそのユーザに対してトレーニングを提供するときに、ノイズ音源全体の音量を、前回よりも低くしてもよい。

本発明における聴覚トレーニング装置は、聴覚を介して脳を刺激するものであれば、その使用目的は聴力の向上または認知症の予防に限定されず、どのようなものであってもよい。例えば、聴覚トレーニング装置は、聴覚を介した脳への刺激により、最終的に記憶の定着を目的とするものであってもよい。具体的には、各種の授業、セミナー、または講習会を録音した音声を対象音声として用い、これらの授業等における学習内容の記憶を定着させるため、聴覚トレーニング装置が用いられてもよい。

聴覚トレーニングプログラムは、光ディスク、磁気ディスク、半導体メモリなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。なお、聴覚トレーニングプログラムは、図３のすべてのステップを備える必要はなく、その一部のみを備えていてもよい。

１…聴覚トレーニング装置、１１…取得手段、１２…取得手段、１３…記憶手段、１４…決定手段、１５…付加手段、１６…出力手段、１７…受け付け手段、１０１…ＣＰＵ、１０２…メモリ、１０３…ストレージ、１０４…タッチスクリーン、１０５…マイクロフォン、１０６…ヘッドフォン

Claims (6)

1. 対象音声を取得する取得手段と、
   ユーザの聴覚トレーニングにおけるトレーニングの進捗を示す達成レベルを記憶する記憶手段と、
   前記記憶手段に記憶されている達成レベルを用いて計算された、前記ユーザのトレーニング強度を取得する取得手段と、
   前記対象音声に付加するノイズの属性を、前記取得手段により取得されたトレーニング強度に応じて自動的に決定する決定手段と、
   前記取得手段により取得された前記対象音声に対し、前記決定手段により決定された属性を有するノイズを付加する付加手段と、
   前記付加手段により前記ノイズが付加された前記対象音声を出力する出力手段と
   を有する聴覚トレーニング装置。
2. 前記決定手段により決定される属性は、
   ノイズ音源、
   音量、
   前記対象音声に対する当該ノイズの相対再生速度、および
   ノイズ音源の数
   のうち少なくとも１つを含む
   ことを特徴とする請求項１に記載の聴覚トレーニング装置。
3. 前記決定手段は、前記トレーニング強度に加え、トレーニングを受けるユーザの属性に応じて前記ノイズの属性を決定する
   ことを特徴とする請求項１または２に記載の聴覚トレーニング装置。
4. 前記出力手段により出力される前記対象音声に対するユーザのフィードバックを受け付ける受け付け手段を有し、
   前記決定手段は、前記ユーザの属性として当該ユーザから得られたフィードバックを用いる
   ことを特徴とする請求項３に記載の聴覚トレーニング装置。
5. 聴覚トレーニング装置が、対象音声を取得するステップと、
   前記聴覚トレーニング装置が、ユーザの聴覚トレーニングにおけるトレーニングの進捗を示す達成レベルを記憶手段に記憶するステップと、
   前記聴覚トレーニング装置が、前記記憶手段に記憶されている達成レベルを用いて計算された、前記ユーザのトレーニング強度を取得するステップと、
   前記聴覚トレーニング装置が、前記対象音声に付加するノイズの属性を、前記取得されたトレーニング強度に応じて自動的に決定するステップと、
   前記聴覚トレーニング装置が、前記取得された対象音声に対し、前記決定された属性を有するノイズを付加するステップと、
   前記聴覚トレーニング装置が、前記ノイズが加算された前記対象音声を出力するステップと
   を有する聴覚トレーニング装置の作動方法。
6. コンピュータに、
   対象音声を取得するステップと、
   ユーザの聴覚トレーニングにおけるトレーニングの進捗を示す達成レベルを記憶手段に記憶するステップと、
   前記記憶手段に記憶されている達成レベルを用いて計算された、前記ユーザのトレーニング強度を取得するステップと、
   前記対象音声に付加するノイズの属性を、前記取得されたトレーニング強度に応じて自動的に決定するステップと、
   前記取得された対象音声に対し、前記決定された属性を有するノイズを付加するステップと、
   前記ノイズが加算された前記対象音声を出力するステップと
   を実行させるためのプログラム。

Images