JP7485038B2 - 音声生成装置、音声生成方法及び音声生成プログラム - Google Patents

Description

本実施形態は、音声生成装置、音声生成方法及び音声生成プログラムに関する。

人が眠気を全く感じずに日中を過ごすことは難しい。これは、人の脳機能がウルトラディアンリズムという短い周期での覚醒度の変動リズムを有しているためである。非特許文献１及び２では、睡眠は覚醒とは対極にある状態であると説明されている。そして、睡眠から興奮に至る覚醒の程度を表す指標が覚醒水準である。また、非特許文献２では、「眠気」は、中程度の覚醒水準よりも覚醒水準が低くなっている状態であると定義されている。在宅勤務といった遠隔環境での業務、遠隔授業等で、眠気を感じたとしても、なるべく短時間で覚醒水準を上昇させることが求められている。

吉尾 雅春，"覚醒水準", 理学療法ジャーナル, 37巻12号 北島 洋樹ら，"自動車運転時の眠気の予測手法についての研究：第1報, 眠気表情の評定法と眠気変動の予測に有効な指標について",日本機械学会論文集 C編，1997年63巻613号p. 3059-3066 石田龍也ら，"温度センサを用いた話者特定によるカクテルパーティ効果支援システムの提案とフィジビリティ検証実験", 第33回ファジィシステムシンポジウム講演論文集，p.373-376 久米拓弥ら，"車載装置を利用した漫然状態の検出および解消手法の開発", 自動車技術会論文集, 45巻3号p. 567-572

実施形態は、短時間でユーザの覚醒を促すための音声生成装置、音声生成方法及び音声生成プログラムを提供する。

実施形態に係る音声生成装置は、ユーザの睡眠から興奮に至るまでの覚醒の程度を表す第１の覚醒度を取得する取得部と、第１の覚醒度に基づき、ユーザが覚醒している状態であるか否かを判定する判定部と、ユーザが覚醒している状態でないとき、ユーザの覚醒を促す音声を複数の音声候補の中から選択する選択部と、選択された音声に基づき、ユーザに対して提示するための呼びかけ音声を生成する生成部とを具備し、前記複数の音声候補は、それぞれ、前記ユーザが対応する音声候補になじんでいる度合を表すなじみ度に関連づけられており、前記選択部は、前記なじみ度に応じて前記ユーザの覚醒を促す音声を選択する。

実施形態によれば、短時間でユーザの覚醒を促すための音声生成装置、音声生成方法及び音声生成プログラムが提供される。

図１は、実施形態に係る音声生成装置の一例のハードウェア構成を示す図である。 図２は、なじみ度ＤＢの一例の構成を示す図である。 図３は、ユーザログＤＢの一例の構成を示す図である。 図４は、呼びかけ文ＤＢの一例の構成を示す図である。 図５は、能動的行動ＤＢの一例の構成を示す図である。 図６は、音声生成装置の機能ブロック図である。 図７は、音声生成装置による音声提示処理を示すフローチャートである。 図８は、能動的行動提示処理のフローチャートである。 図９は、覚醒度をｘ、所要時間をｙとした選択関数を表すグラフである。

以下、図面を参照して実施形態を説明する。図１は、実施形態に係る音声生成装置の一例のハードウェア構成を示す図である。実施形態に係る音声生成装置１は、ユーザが眠気を有している状態等の覚醒の状態にないときに、ユーザの覚醒を促す呼びかけ音声を発する。

実施形態では、「覚醒度」に基づいてユーザが覚醒の状態にあるか否かが判定される。実施形態における覚醒度は、覚醒水準に対応した覚醒の程度を示す指標である。覚醒水準は、大脳の活動レベルに対応し、睡眠から興奮に至るまでの覚醒の程度を表している。覚醒水準は、眼球運動、瞬目活動、皮膚電気活動、刺激への反応時間等から計測される。実施形態における覚醒度は、これらの覚醒水準を計測するための、眼球運動、瞬目活動、皮膚電気活動、刺激への反応時間の何れか又はそれらの組み合わせで算出される。覚醒度は、例えば睡眠状態から興奮状態に向かうに従って大きくなる値である。覚醒度は、連続的な数値でもよいし、Level 1, Level 2,…といった離散値であってもよい。また、眼球運動、瞬目活動、皮膚電気活動、刺激への反応時間の各値の組み合わせによって覚醒度が算出される場合において、それらの組み合わせ方は、特に限定されない。例えばこれらの値を単純に合算する、重みづけ加算する等が組み合わせ方として用いられ得る。

音声生成装置１は、プロセッサ２と、ＲＯＭ３と、ＲＡＭ４と、ストレージ５と、マイクロホン（マイク）６と、スピーカ７と、カメラ８と、入力装置９と、ディスプレイ１０と、通信モジュール１１とを有する。音声生成装置１は、例えばパーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット端末といった各種の端末である。これに限らず、音声生成装置１は、ユーザによって利用される各種の装置に搭載され得る。なお、音声生成装置１は、図1で示したすべての構成を有している必要はない。例えば、マイク６、スピーカ７、カメラ８、ディスプレイ１０は、音声生成装置１と別体の装置であってもよい。

プロセッサ２は、ＣＰＵ等の音声生成装置１の全体的な動作を制御する制御回路である。プロセッサ２は、ＣＰＵである必要はなく、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等であってもよい。プロセッサ２は、単一のＣＰＵ等で構成されている必要はなく、複数のＣＰＵ等で構成されていてもよい。

ＲＯＭ３は、フラッシュメモリ等の不揮発性のメモリである。ＲＯＭ３には、例えば音声生成装置１の起動プログラムが記憶されている。ＲＡＭ４は、ＳＤＲＡＭ等の揮発性のメモリである。ＲＡＭ４は、音声生成装置１における各種処理のための作業用のメモリとして使用され得る。

ストレージ５は、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）といったストレージである。ストレージ５には、音声生成装置１で利用される各種のプログラムが記憶される。ストレージ５には、なじみ度データベース（ＤＢ）、ユーザログデータベース（ＤＢ）５２と、音声合成パラメータデータベース（ＤＢ）５３と、呼びかけ文データベース（ＤＢ）５４と、能動的行動データベース（ＤＢ）５５とが記憶されてもよい。これらのデータベースについては後で詳しく説明する。

マイク６は、入力された音声を電気信号である音声信号に変換するデバイスである。マイク６で得られた音声信号は、例えばＲＡＭ４又はストレージ５に記憶され得る。例えば、呼びかけ音声を合成するための音声合成パラメータは、マイク６を介して入力された音声より取得され得る。

スピーカ７は、入力された音声信号に基づいて音声を出力するデバイスである。

カメラ８は、ユーザを撮像し、ユーザの画像を取得する。カメラ８で得られたユーザの画像は、例えばＲＡＭ４又はストレージ５に記憶され得る。ユーザの画像は、例えば、覚醒度の取得のため又は呼びかけ音声に対するユーザの反応を取得するために用いられる。

入力装置９は、ボタン、スイッチ、キーボード、マウスといった機械式の入力装置、タッチセンサを用いたソフトウェア式の入力装置である。入力装置９は、ユーザからの各種の入力を受け付ける。そして、入力装置９は、ユーザの入力に応じた信号をプロセッサ２に出力する。

ディスプレイ１０は、例えば液晶ディスプレイ、有機ＥＬディスプレイといったディスプレイである。ディスプレイ１０は、各種の画像を表示する。

通信モジュール１１は、音声生成装置１が通信を実施するための装置である。通信モジュール１１は、例えば音声生成装置１の外部に設けられたサーバと通信する。通信モジュール１１による通信の方式は特に限定されない。通信モジュール１１は、無線で通信を実施してもよいし、有線で通信を実施してもよい。

次に、なじみ度データベース（ＤＢ）５１、ユーザログデータベース（ＤＢ）５２、音声合成パラメータデータベース（ＤＢ）５３、呼びかけ文データベース（ＤＢ）５４、能動的行動データベース（ＤＢ）５５について説明する。

図２は、なじみ度ＤＢ５１の一例の構成を示す図である。なじみ度ＤＢ５１は、ユーザの「なじみ度」を記録したデータベースである。なじみ度ＤＢ５１は、例えばユーザＩＤと、音声ラベルと、なじみ対象と、なじみ度と、反応あり数と、提示回数と、覚醒度変化平均値とを関連付けて記録している。

「ユーザＩＤ」は、音声生成装置１のユーザ毎に付けられたＩＤである。ユーザＩＤには、ユーザ名等のユーザの属性情報が対応付けられていてよい。

「音声ラベル」は、呼びかけ音声の候補のそれぞれに一意に付けられたラベルである。音声ラベルには、任意のラベルが用いられ得る。例えば、音声ラベルに、なじみ対象の名前が用いられてもよい。

「なじみ対象」は、ユーザが日頃会話する人又はユーザがよく耳にする音声を発生する対象である。なじみ対象は、必ずしも人でなくてもよい。

「なじみ度」は、対応するなじみ対象の音声に対するユーザのなじみの度合いである。なじみ度は、ＳＮＳ等によるなじみ対象とのコミュニケーション頻度、なじみ対象との日常の会話頻度、なじみ対象から日常的に耳にする頻度等から算出され得る。例えば、ＳＮＳ等によるなじみ対象とのコミュニケーション頻度、なじみ対象との日常の会話頻度、なじみ対象から日常的に耳にする頻度が多いほど、なじみ度の値は大きくなる。ここで、なじみ度は、ユーザによる自己申告によって取得されてもよい。

「反応あり数」は、対応する音声ラベルに基づいて生成された呼びかけ音声に対してユーザが反応した回数である。提示回数は、対応する音声ラベルに基づいて生成された呼びかけ音声をユーザに対して提示した回数である。反応あり数を提示回数で割ることにより、反応確率が算出され得る。反応確率は、対応する音声ラベルに基づいて生成される呼びかけ音声に対してユーザが反応する確率である。

「覚醒度変化平均値」は、対応する音声ラベルに基づいて生成された呼びかけ音声に対するユーザの覚醒度変化量の平均値である。覚醒度変化量については後で説明する。

図３は、ユーザログＤＢ５２の一例の構成を示す図である。ユーザログＤＢ５２は、ユーザによる音声生成装置１の利用に係るログを記録したデータベースである。ユーザログＤＢ５２は、例えばログ発生日時と、ユーザＩＤと、音声ラベルと、なじみ対象と、反応有無と、覚醒度と、新覚醒度と、覚醒度変化量とを関連付けて記録している。ユーザＩＤと、音声ラベルと、なじみ対象は、なじみ度ＤＢ５１と同じものである。

「ログ発生日時」は、ユーザによる音声生成装置１の利用があった日時である。ログ発生日時は、例えばユーザに対する呼びかけ音声の提示がされる毎に記録される。

「反応有無」は、ユーザに対して呼びかけ音声が提示された後のユーザの反応の有無の情報である。ユーザの反応があったときには、「あり」が記録される。ユーザの反応がなかったときには、「なし」が記録される。

「覚醒度」は、音声生成装置１による呼びかけ音声の提示前に取得された覚醒度である。

「新覚醒度」は、ユーザの反応があった後で新たに取得された覚醒度である。新覚醒度は、ユーザの反応がなかったときには記録されない。

「覚醒度変化量」は、ユーザの反応の前後での覚醒度の変化を表す量である。例えば、覚醒度変化量は、例えば新覚醒度と覚醒度との差から得られる。覚醒度変化量は、新覚醒度と覚醒度との比等であってもよい。覚醒度変化量は、ユーザの反応がなかったときには記録されない。

音声合成パラメータＤＢ５３は、音声合成パラメータを記録したデータベースである。音声合成パラメータは、ユーザのなじみ対象の音声を合成するために用いられるデータである。例えば、音声合成パラメータは、事前にマイク６を介して収音された音声のデータから抽出される特徴量のデータであってよい。あるいは、他のシステムによって取得又は定義された音声合成パラメータを事前に記録しておいてもよい。ここで、音声合成パラメータは、音声ラベルと対応付けられている。

図４は、呼びかけ文ＤＢ５４の一例の構成を示す図である。呼びかけ文ＤＢ５４は、ユーザの覚醒を促すための各種の呼びかけ文のテンプレートデータを記録したデータベースである。呼びかけ文は特に限定されない。ただし、呼びかけ文は、ユーザの名前を用いた呼びかけを含んでいることが望ましい。これは、後で説明するカクテルパーティ効果を高めるためである。

図５は、能動的行動ＤＢ５５の一例の構成を示す図である。能動的行動ＤＢ５５は、ユーザに提示可能な能動的行動の情報をリスト形式で記録したデータベースである。例えば、能動的行動ＤＢ５５は、ＩＤと、行動内容と、所要時間と、制約事項とを対応付けて記録している。

「ＩＤ」は、能動的行動のそれぞれに付けられたＩＤである。ここで、能動的行動は、ユーザの覚醒を促すために、ユーザに能動的に行わせる行動のことである。

「行動内容」は、能動的行動の具体的な内容である。行動内容は、例えばテキストデータとして記録されてよい。

「所要時間」は、対応する能動的行動を行うために必要な時間である。ここで、図５では、所要時間は秒単位で記録されるとしている。所要時間は、必ずしも秒単位で記録される必要はない。

「制約事項」は、対応する能動的行動を行うために必要な条件である。例えば、図５に示す「スペース要」は、対応する能動的行動を行うのに、若干のスペースが必要であることを意味している。制約事項は、例えばテキストデータとして記録されていてもよいし、予め登録されている複数の制約事項の中から選択されてもよい。

ここで、なじみ度ＤＢ５１、ユーザログＤＢ５２、音声合成パラメータＤＢ５３、呼びかけ文ＤＢ５４、能動的行動ＤＢ５５は、必ずしもストレージ５に記憶されている必要はない。例えば、なじみ度ＤＢ５１、ユーザログＤＢ５２、音声合成パラメータＤＢ５３、呼びかけ文ＤＢ５４、能動的行動ＤＢ５５は、音声生成装置1とは別体のサーバに記憶されていてもよい。この場合、音声生成装置１は、通信モジュール１１を用いてサーバにアクセスし、必要な情報を取得する。

図６は、音声生成装置１の機能ブロック図である。図６に示すように、音声生成装置１は、取得部２１と、判定部２２と、選択部２３と、生成部２４と、提示部２５とを有している。取得部２１と、判定部２２と、選択部２３と、生成部２４と、提示部２５の動作は、例えばストレージ５に記憶されているプログラムをプロセッサ２が実行することによって実現される。判定部２２と、選択部２３と、生成部２４と、提示部２５とは、プロセッサ２とは別のハードウェアによって実現されてもよい。

取得部２１は、ユーザの覚醒度を取得する。また、取得部２１は、呼びかけ音声に対するユーザの反応を取得する。前述したように、覚醒度は、眼球運動、瞬目活動、皮膚電気活動、刺激への反応時間の何れか又はそれらの組み合わせで算出される。ここで、覚醒度を算出するための、眼球運動、瞬目活動、刺激への反応時間は、例えばカメラ８で取得されるユーザの画像から測定され得る。また、刺激への反応時間は、マイク６で取得される音声信号から測定されてもよい。また、皮膚電気活動は、例えばユーザの腕に装着されるセンサによって測定され得る。また、ユーザの反応は、呼びかけ音声の提示後に音のする方向をユーザが見たか否かを例えばカメラ８で取得される画像から測定することによって取得され得る。取得部２１は、音声生成装置１の外部で算出された覚醒度又はユーザの反応を通信によって取得するように構成されていてもよい。

判定部２２は、取得部２１で取得された覚醒度に基づき、ユーザが覚醒している状態であるか否かを判定する。そして、判定部２２は、ユーザが覚醒している状態であると判定したときに、選択部２３の受信部２３１に対して音声ラベルの選択依頼を送信する。ここで、判定部２２は、覚醒度を予め定められた閾値と比較することで判定を実施する。閾値は、ユーザが覚醒している状態であるかどうかを判定するための覚醒度の閾値であり、例えばストレージ５に記憶される。また、判定部２２は、取得部２１で取得されたユーザの反応の情報に基づき、ユーザの反応の有無を判定する。

選択部２３は、ユーザが覚醒している状態でないと判定されたときに、ユーザの覚醒を促すための候補となる音声の音声ラベルを選択する。選択部２３は、受信部２３１と、音声ラベル選択部２３２と、送信部２３３とを有している。

受信部２３１は、判定部２２から音声ラベルの選択依頼を受信する。

音声ラベル選択部２３２は、なじみ度ＤＢ５１を参照して音声ラベルを選択する。人は、自分になじみがある声や単語を耳にすると、急に聞こえるようになったと感じるという特性を有する。このような特性は、カクテルパーティ効果と呼ばれている。例えば、ユーザにとってなじみがある声がしたり、自分の名前を呼ばれたりしたときに、ハッとするという体験は多くの人がしたことがある。これもカクテルパーティ効果によるものである。実施形態ではカクテルパーティ効果を利用してユーザにとってなじみのある声で呼びかけることにより、ユーザの覚醒度の上昇を促す。音声ラベル選択部２３２は、よりユーザが知覚しやすい、即ちよりなじみのある音声をなじみ度に基づいて選択する。

送信部２３３は、音声ラベル選択部２３２で選択された音声ラベルの情報を生成部２４に送信する。

生成部２４は、送信部２３３から受け取った音声ラベルに基づき、ユーザの覚醒を促すための呼びかけ音声を生成する。生成部２４は、送信部２３３から受け取った音声ラベルと対応した音声合成パラメータを音声合成パラメータＤＢ５３から取得する。そして、生成部２４は、呼びかけ文ＤＢ５４に記録されている呼びかけ文のデータと音声合成パラメータとに基づき、呼びかけ音声を生成する。

提示部２５は、生成部２４で生成された呼びかけ音声をユーザに提示する。例えば、提示部２５は、生成部２４で生成された呼びかけ音声を、スピーカ７を利用して再生する。

次に、音声生成装置１の動作について説明する。図７は、音声生成装置１による音声提示処理を示すフローチャートである。図７の処理は、定期的に行われてよい。

ステップＳ１において、取得部２１は、ユーザの覚醒度を取得する。取得部２１は、取得した覚醒度を判定部２２に出力する。また、取得部２１は、取得した覚醒度を呼びかけ音声の提示後のユーザからの反応の取得のタイミングまで保持しておく。

ステップＳ２において、判定部２２は、取得部２１で取得された覚醒度が閾値以下であるか否かを判定する。ステップＳ２において、覚醒度が閾値を超えていると判定されたとき、すなわちユーザが覚醒の状態にあるときには、図７の処理は終了する。ステップＳ２において、覚醒度が閾値以下であると判定されたとき、すなわちユーザが眠気を有しているといった覚醒の状態にないときには、処理はステップＳ３に移行する。

ステップＳ３において、判定部２２は、選択部２３に対して音声ラベルの選択依頼を送信する。音声ラベルの選択依頼が受信部２３１で受信されると、音声ラベル選択部２３２は、ユーザログＤＢ５２を参照して、ユーザによる音声生成装置１の利用回数が０回であるか否かを判定する。利用回数は、例えばユーザログＤＢ５２に記録されているログ発生日時の数から算出され得る。ステップＳ３において、ユーザによる音声生成装置１の利用回数が０回であると判定されたときには、処理はステップＳ４に移行する。ステップＳ３において、ユーザによる音声生成装置１の利用回数が０回でないと判定されたときには、処理はステップＳ６に移行する。

ステップＳ４において、音声ラベル選択部２３２は、候補となるすべての音声ラベルに対応したなじみ度Ｃ_ｉをなじみ度ＤＢ５１から取得する。ここで、Ｃ_ｉは、音声ラベルＬｉ（ｉ＝１，２，…）のなじみ度である。

ステップＳ５において、音声ラベル選択部２３２は、取得したなじみ度の中の、最大のなじみ度に対応した音声ラベルを選択する。つまり、音声ラベル選択部２３２は、以下の条件式（１）に従って音声ラベルを選択する。その後、処理はステップＳ８に移行する。
ｍａｘＣ_ｉ 式（１）

ステップＳ６において、音声ラベル選択部２３２は、候補となるすべての音声ラベルに対応したなじみ度Ｃ_ｉ、反応確率Ｒ_ｉ、覚醒度変化平均値Ａ_ｉをなじみ度ＤＢ５１から取得する。ここで、Ｃ_ｉは、音声ラベルＬｉのなじみ度である。Ｒ_ｉは、音声ラベルＬｉの反応確率である。Ａ_ｉは、音声ラベルＬｉの覚醒度変化平均値である。利用回数が０回でないときには、反応確率及び覚醒度変化平均値が取得される。したがって、利用回数が０回でないときには、これらの反応確率及び覚醒度変化平均値も利用して音声ラベルの選択が行われる。

ステップＳ７において、音声ラベル選択部２３２は、取得したなじみ度、反応確率、覚醒度変化平均値の中で、これらの重みづけ加算値が最大となるなじみ度、反応確率、覚醒度変化平均値の組み合わせに対応した音声ラベルを選択する。つまり、音声ラベル選択部２３２は、以下の条件式（２）に従って音声ラベルを選択する。その後、処理はステップＳ８に移行する。
ｍａｘ（ｗ_ｃＣ_ｉ＋ｗ_ｒＲ_ｉ＋ｗ_ａＡ_ｉ） 式（２）
ここで、式（２）のｗ_ｃ、ｗ_ｒ、ｗ_ａは、それぞれ、Ｃ_ｉ、Ｒ_ｉ、Ａ_ｉの重みである。これらのｗ_ｃ、ｗ_ｒ、ｗ_ａは、予め規定されていてよい。また、ｗ_ｃ、ｗ_ｒ、ｗ_ａは、適宜に変更されてもよい。例えば、利用回数が少ないうちは、ｗ_ｃ、ｗ_ｒ、ｗ_ａは等しい値に設定され、その後、なじみ度、反応確率、覚醒度変化平均値の何れかを重視したほうがよければ、それに応じて重みが変更されてよい。

ステップＳ８において、送信部２３３は、音声ラベル選択部２３２で選択された音声ラベルを示す情報を、生成部２４に送信する。生成部２４は、音声合成パラメータＤＢ５３から、受信した音声ラベルに対応した音声合成パラメータを取得する。そして、生成部２４は、呼びかけ文ＤＢ５４からランダムに選択した呼びかけ文のデータと音声合成パラメータとに基づき、呼びかけ音声を生成する。呼びかけ音声の生成は、音声合成パラメータを用いた音声合成処理によって行われ得る。その後、処理はステップＳ９に移行する。

ステップＳ９において、提示部２５は、生成部２４において生成された呼びかけ音声を、スピーカ７を利用してユーザに提示する。

ステップＳ１０において、取得部２１は、ユーザの反応を取得する。そして、取得部２１は、ユーザの反応の情報を判定部２２に出力する。

ステップＳ１１において、判定部２２は、ユーザの反応があったか否かを判定する。ステップＳ１１において、ユーザの反応がなかったと判定されたときには、処理はステップＳ１２に移行する。ステップＳ１１において、ユーザの反応があったと判定されたときには、処理はステップＳ１３に移行する。

ステップＳ１２において、判定部２２は、選択部２３に対してユーザの反応がなかった旨の情報を送信する。ユーザの反応がなかった旨の情報が受信部２３１で受信されると、音声ラベル選択部２３２は、次の候補の音声ラベルを選択する。音声ラベル選択部２３２は、式（１）に基づいて音声ラベルを選択したときには、次に大きな値のなじみ度Ｃ_ｉに対応した音声ラベルを選択する。また、音声ラベル選択部２３２は、式（２）に基づいて音声ラベルを選択したときには、次に大きな重みづけ加算値に対応した音声ラベルを選択する。また、判定部２２は、取得部２１に対してユーザの反応がなかった旨の情報を送信する。これを受けて、取得部２１は、反応なしの情報をログ発生日時、音声ラベル、なじみ対象、なじみ度と対応付けてユーザログＤＢ５２に登録する。その後、処理はステップＳ８に戻る。この場合、再度の呼びかけ音声の提示が行われる。なお、ステップＳ１２において、すべての候補の音声ラベルが選択されたときには、図７の処理が終了されてもよい。

ステップＳ１３において、判定部２２は、取得部２１に対して新覚醒度の取得を要求する。これを受けて、取得部２１は、新覚醒度を取得する。新覚醒度の取得は、覚醒度の取得と同様に行われてよい。

ステップＳ１４において、取得部２１は、覚醒度変化量ｄｉｆｆ（新覚醒度，覚醒度）を算出する。前述したように、覚醒度変化量は、例えば新覚醒度と覚醒度の差から算出され得る。

ステップＳ１５において、取得部２１は、なじみ度ＤＢ５１から覚醒度変化平均値を取得する。そして、取得部２１は、新たに算出した覚醒度変化量と先に取得した覚醒度変化平均値とを用いて覚醒度変化平均値を更新する。また、取得部２１は、反応ありの情報、覚醒度、新覚醒度、覚醒度変化量をログ発生日時、音声ラベル、なじみ対象、なじみ度と対応付けてユーザログＤＢ５２に登録する。

ステップＳ１６において、判定部２２は、取得部２１から新覚醒度を取得する。そして、判定部２２は、新覚醒度が閾値以下であるか否かを判定する。ステップＳ１６における閾値は、ステップＳ２における閾値と同じであってもよいし、異なっていてもよい。ステップＳ１６において、新覚醒度が閾値以下でないと判定されたときには、図７の処理は終了する。ステップＳ１６において、新覚醒度が閾値以下であると判定されたとき、処理はステップＳ１７に移行する。なお、ステップＳ１６の判定とステップＳ１７の処理はステップＳ１５の処理と並行して行われてもよい。

ステップＳ１７において、判定部２２は、生成部２４に対して能動的行動提示処理を要求する。これを受けて、生成部２４は、能動的行動提示処理を実施する。能動的行動提示処理の後、図７の処理は終了する。

図８は、能動的行動提示処理のフローチャートである。ステップＳ２１において、生成部２４は、能動的行動ＤＢ５５を参照して、ユーザが利用可能な能動的行動のリストを取得する。なお、現在のユーザの状態が制約事項と合致していない能動的行動についてのリストは取得する必要はない。例えば、能動的行動に必要なスペースを確保できないときには、制約事項としてスペースを要する能動的行動の情報は取得されなくてよい。

ステップＳ２２において、生成部２４は、選択関数を算出する。選択関数は、能動的行動を選択するための関数である。以下、選択関数の算出の仕方の例を説明する。

生成部２４は、取得した能動的行動のリストに含まれる所要時間とユーザログＤＢ５２に記録されている覚醒度とから、所要時間_ｍａｘ、所要時間_ｍｉｎ、覚醒度_ｍａｘ、覚醒度_ｍｉｎを取得する。ここで、所要時間_ｍａｘ、所要時間_ｍｉｎは、それぞれ、取得した能動的行動の所要時間のうちの最大値、最小値である。また、覚醒度_ｍａｘ、覚醒度_ｍｉｎは、それぞれ、取得した覚醒度のうちの最大値、最小値である。ここで、取得される覚醒度は、対応するユーザの覚醒度だけであってもよい。または、すべてのユーザの覚醒度が人一般の覚醒度として取得されてもよい。

所要時間_ｍａｘ、所要時間_ｍｉｎ、覚醒度_ｍａｘ、覚醒度_ｍｉｎの取得後、生成部２４は、（覚醒度_ｍａｘ，所要時間_ｍｉｎ）と（覚醒度_ｍｉｎ，所要時間_ｍａｘ）の２点を通る一次関数ｙ＝ｆ（ｘ）を選択関数として算出する。図９は、覚醒度をｘ、所要時間をｙとした選択関数を表すグラフである。

ここで、図８の説明に戻る。ステップＳ２３において、生成部２４は、選択関数に基づき、新覚醒度に合致した能動的行動を抽出する。例えば、生成部２４は、現在の新覚醒度を選択関数に対する入力として現在のユーザの覚醒に要する所要時間を求める。そして、生成部２４は、取得した能動的行動のリストから、現在のユーザの覚醒に要する所要時間に最も近い能動的行動を抽出する。

ステップＳ２５において、生成部２４は、能動的行動を提案する呼びかけ音声を生成する。呼びかけ音声の生成は、音声合成パラメータを用いた音声合成処理によって行われ得る。この時に用いられる音声合成パラメータは、直前のステップＳ８における呼びかけ音声の合成に用いられた音声合成パラメータであってよい。直前の音声合成に用いられた音声合成パラメータは、ユーザの反応があった呼びかけ音声の生成に用いられた音声合成パラメータである。したがって、直前のステップＳ８における呼びかけ音声の合成に用いられた音声合成パラメータが用いられることにより、能動的行動を提案する呼びかけ音声に対するユーザの反応も期待される。

ステップＳ２６において、提示部２５は、生成部２４において生成された呼びかけ音声を、スピーカ７を利用してユーザに提示する。その後、図８の処理は図７の処理に戻る。なお、能動的行動を提案する呼びかけ音声をユーザに対して提示する際に、例えばその能動的行動を表す画像をディスプレイ１０に表示させてもよい。

以上説明したように実施形態によれば、ユーザが覚醒していない状態であると判定されたときには、ユーザにとってなじみのある音声を用いてユーザに対する呼びかけが行われる。このため、ユーザが眠気を有している状態等であっても、カクテルパーティ効果によってユーザが呼びかけ音声を聞くことが期待される。したがって、短時間での覚醒度の向上が見込まれる。

また、実施形態によれば、ユーザによる２回目以降の音声生成装置の利用時には、なじみ度に加えて、ユーザの反応と、覚醒度変化量とを考慮してユーザによってなじみのある音声の選択が行われる。したがって、２回目以降の音声生成装置の利用時には１回目よりも短時間での覚醒度の向上が見込まれる。

さらに、実施形態によれば、呼びかけの後でもユーザが覚醒していないと判定されたときには、所要時間が多少必要でも覚醒度が向上できると見込まれる能動的行動を提案するための呼びかけがユーザに対してなされる。これにより、ユーザは行動の機会を得ることができ、結果として短時間での覚醒度の向上が見込まれる。さらに、能動的行動を提案するための呼びかけ音声もユーザにとってなじみのある音声で行われることにより、カクテルパーティ効果によってユーザに呼びかけ音声を聞かせることができる効果も得られる。

［変形例］
実施形態の変形例を説明する。実施形態では、呼びかけ音声に用いられる呼びかけ文は、呼びかけ文ＤＢ５４に記録されているテンプレートの中からランダムに選択される。このテンプレートは、適宜に変更され得る。例えば、ユーザの日常会話等を収集しておくことにより、日常会話等で頻出する、ユーザの注意をひきやすい単語が含められるようなテンプレートの変更がされてもよい。

また、実施形態では、音声ラベル選択部２３２は、取得したなじみ度の中の、最大のなじみ度に対応した音声ラベル又は取得したなじみ度、反応確率、覚醒度変化平均値の中で、これらの重みづけ加算値が最大となるなじみ度、反応確率、覚醒度変化平均値の組み合わせに対応した音声ラベルを選択する。これに限らず、音声ラベル選択部２３２は、取得したなじみ度の中の、大きさの上位の複数のなじみ度に対応した複数の音声ラベル又は取得したなじみ度、反応確率、覚醒度変化平均値の中で、これらの重みづけ加算値の大きさの上位の複数のなじみ度、反応確率、覚醒度変化平均値の組み合わせに対応した複数の音声ラベルを呼びかけ音声の候補の音声ラベルとして抽出してもよい。そして、音声ラベル選択部２３２は、抽出した候補の音声ラベルのうちの１つをランダムサンプリングによって選択してもよい。これにより、同じ音声ラベルの呼びかけ音声が頻繁に提示されることによる、ユーザの慣れや飽きが抑制される。これにより、長期に音声生成装置１が利用される場合であっても、呼びかけ音声に対するユーザの反応が期待され易くなり、結果としてユーザの覚醒度の上昇が見込まれる。

また、実施形態において呼びかけ音声が生成されるときに、覚醒度に応じた音量等の変更が併せて行われてもよい。

また、実施形態では、能動的行動は、覚醒度と所要時間との関係によって抽出されるとしている。これに対し、所要時間に代えて、又は所要時間とともに能動的行動に対するユーザの興味の程度、体への刺激の強さ等が能動的行動の抽出に用いられてもよい。

また、上述した実施形態による各処理は、コンピュータであるプロセッサに実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、プロセッサは、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１…音声生成装置
２…プロセッサ
３…ＲＯＭ
４…ＲＡＭ
５…ストレージ
６…マイクロホン（マイク）
７…スピーカ
８…カメラ
９…入力装置
１０…ディスプレイ
１１…通信モジュール
２１…取得部
２２…判定部
２３…選択部
２４…生成部
２５…提示部
５１…なじみ度データベース（ＤＢ）
５２…ユーザログデータベース（ＤＢ）
５３…音声合成パラメータデータベース（ＤＢ）
５４…呼びかけ文データベース（ＤＢ）
５５…能動的行動データベース（ＤＢ）
２３１…受信部
２３２…音声ラベル選択部
２３３…送信部

Claims (7)

1. ユーザの睡眠から興奮に至るまでの覚醒の程度を表す第１の覚醒度を取得する取得部と、
   前記第１の覚醒度に基づき、前記ユーザが覚醒している状態であるか否かを判定する判定部と、
   前記ユーザが覚醒している状態でないとき、前記ユーザの覚醒を促す音声を複数の音声候補の中から選択する選択部と、
   選択された音声に基づき、前記ユーザに対して提示するための第１の呼びかけ音声を生成する生成部と、
   を具備し、
   前記複数の音声候補は、それぞれ、前記ユーザが対応する音声候補になじんでいる度合を表すなじみ度に関連づけられており、
   前記選択部は、前記なじみ度に応じて前記ユーザの覚醒を促す音声を選択する
   音声生成装置。
2. 前記複数の音声候補は、それぞれ、提示された第１の呼びかけ音声に対する前記ユーザの反応と、提示された第１の呼びかけ音声に対する前記ユーザの覚醒度の変化を表す変化量とにさらに関連づけられており、
   前記選択部は、前記反応と前記変化量とにさらに応じて前記ユーザの覚醒を促す音声を選択する請求項１に記載の音声生成装置。
3. 前記取得部は、提示された第１の呼びかけ音声に対して前記ユーザの反応があった後の第２の覚醒度を取得し、
   前記判定部は、前記第２の覚醒度に基づき、前記ユーザが覚醒している状態であるか否かを再度判定し、
   前記生成部は、前記ユーザが覚醒している状態でないとき、前記ユーザの覚醒を促すための能動的行動を前記ユーザに促すための第２の呼びかけ音声を生成する、
   請求項１又は２に記載の音声生成装置。
4. 前記生成部は、前記選択部で選択された音声に基づき、前記第２の呼びかけ音声を生成する請求項３に記載の音声生成装置。
5. 前記第１の覚醒度は、前記ユーザの眼球運動、前記ユーザの瞬目活動、前記ユーザの皮膚電気活動、前記ユーザの刺激への反応時間の何れか又はそれらの組み合わせで算出される請求項１乃至４の何れか１項に記載の音声生成装置。
6. 取得部により、ユーザの睡眠から興奮に至るまでの覚醒の程度を表す第１の覚醒度を取得することと、
   判定部により、前記第１の覚醒度に基づき、前記ユーザが覚醒している状態であるか否かを判定することと、
   選択部により、前記ユーザが覚醒している状態でないとき、前記ユーザの覚醒を促す音声を複数の音声候補の中から選択することと、
   生成部により、選択された音声に基づき、前記ユーザに対して提示するための第１の呼びかけ音声を生成することと、
   を具備し、
   前記複数の音声候補は、それぞれ、前記ユーザが対応する音声候補になじんでいる度合を表すなじみ度に関連づけられており、
   前記選択部により、前記なじみ度に応じて前記ユーザの覚醒を促す音声を選択する
   音声生成方法。
7. プロセッサを、請求項１乃至５の何れか１項に記載の音声生成装置の前記取得部と、前記判定部と、前記選択部と、前記生成部として機能させるための音声生成プログラム。

Images