以下、添付図面を参照して、本発明に係る音声出力制御装置を携帯型の電子機器である音声出力装置に適用した場合の実施形態の一例を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
[1.1 外観構成]
図1は、携帯型の電子機器である音声出力装置1の平面図である。
この図に示すように、音声出力装置1は、ディスプレイ10、カードスロット12、スピーカ13、マイク14及びキー群2を備えている。
ディスプレイ10は、ユーザによるキー群2の操作に応じた文字や符号等、各種データを表示する部分であり、LCD(Liquid Crystal Display)やELD(Electronic Luminescence Display)等によって構成されている。なお、このディスプレイ10は、いわゆるタッチパネルと一体的に形成されて手書き入力等の操作を受け付け可能となっていても良い。
カードスロット12は、種々の情報を記憶した外部情報記憶媒体12a(図2参照)が着脱される部分である。
スピーカ13はユーザによるキー群2の操作に応じた音声を出力する部分であり、マイク14は外部から音声を取り込む部分である。なお、本実施の形態においては、スピーカ13はイヤフォンの形態に形成されているが、ヘッドフォンの形態など、他の形態に形成されても良い。
キー群2は、ユーザから音声出力装置1を操作するための操作を受ける各種キーを有している。具体的には、キー群2は、再生キー2aや停止キー2b、音量キー2c等を有している。
再生キー2aは音楽を再生するとき等に使用されるキーであり、停止キー2bは、音楽を停止するとき等に使用されるキーである。また、音量キー2cは、音声の出力音量を変更するとき等に使用されるキーである。なお、この音量キー2cは、後述の音声出力制御処理(図3参照)において音声出力される内容に対してユーザ評価を入力するときにも使用されるようになっており、ユーザ評価として「○」または「×」を入力できるようになっている。ユーザ評価の内容として、難易度又は注目度が用いられる。たとえば、見出しである英単語の意味を覚えている場合や、簡単な英単語で容易に理解できる場合に、難度が低いとして「○」のユーザ評価を入力する。難解な英単語で意味を知らない場合や、覚えられない場合に、難度が高いとして「×」のユーザ評価を入力する。また試験等でよくでる重要な単語である場合にも注目度高(要注意)として、「×」のユーザ評価を入力する。
[1.2 内部構成]
続いて、音声出力装置1の内部構成について説明する。図2は、音声出力装置1の内部構成を示すブロック図である。
この図に示すように、音声出力装置1は、表示部40、音声出力部60、入力部30、通信部50、記録媒体読取部70、CPU(Central Processing Unit)20、記憶部80を備え、各部はバスで相互にデータ通信可能に接続されて構成されている。
表示部40は、上述のディスプレイ10を備えており、CPU20から入力される表示信号に基づいて各種情報をディスプレイ10に表示するようになっている。
音声出力部60は、上述のスピーカ13を備えており、CPU20から入力される音声出力信号に基づいて音声データをスピーカ13に再生させるようになっている。
入力部30は、上述のキー群2やマイク14を備えており、押下されたキーや、入力音声に対応する信号をCPU20に出力するようになっている。
通信部50は、ネットワークNに接続可能となっており、これにより、ネットワークNに接続される外部機器、例えばサーバN1との通信が可能となっている。このサーバN1には、曲データ820や暗記帳データ840等が格納されるようになっている。なお、これらの曲データ820や暗記帳データ840は後述の記憶部80における曲データ820や暗記帳データ840と同様のデータ構造を有しているため、ここでは説明を省略する。
記録媒体読取部70は、上述のカードスロット12を備えており、当該カードスロット12に装着された外部情報記憶媒体12aから情報を読み出したり、当該外部情報記憶媒体12aに情報を記録したりするようになっている。
ここで、外部情報記憶媒体12aには、曲データ820や暗記帳データ840等が格納されるようになっている。なお、これらの曲データ820や暗記帳データ840は後述の記憶部80における曲データ820や暗記帳データ840と同様のデータ構造を有しているため、ここでは説明を省略する。
CPU20は、入力される指示に応じて所定のプログラムに基づいた処理を実行し、各機能部への指示やデータの転送等を行い、音声出力装置1を統括的に制御するようになっている。具体的には、CPU20は、入力部30から入力される操作信号等に応じて記憶部80に格納された各種プログラムを読み出し、当該プログラムに従って処理を実行する。そして、CPU20は、処理結果を記憶部80に一時保存するとともに、当該処理結果を表示部40に適宜出力させる。
記憶部80は、音声出力装置1の各種機能を実現するためのプログラムやデータを記憶するとともに、CPU20の作業領域として機能するメモリである。本実施の形態においては、記憶部80は、本発明に係る音声出力制御プログラム81と、曲データ群82と、曲生成用データ83と、暗記帳データ群84と、メロディ付暗記帳データ群86と、ユーザ評価テーブル85等とを記憶している。
音声出力制御プログラム81は、後述の音声出力制御処理(図3参照)をCPU20に実行させるためのプログラムである。なお、本実施の形態においては、音声出力制御プログラム81には、ユーザ指定のジャンルやテンポ等に応じた曲データ820を作成するための楽曲生成用モジュール811や、曲データ820における各音(各拍)に対し歌詞を割り振るための歌詞割り振り用モジュール812が具備されている。
曲データ群82は、複数の曲データ820を有している。曲データ820は、楽曲の伴奏についてのデータである。
曲生成用データ83は、音楽のジャンル別のコード進行データやリズムパターン、メロディ生成アルゴリズム、転調アルゴリズム、可変速アルゴリズムなどを有している。この曲生成用データ83は、後述の曲データ・歌詞データ作成処理(図4参照)において曲データ820を作成し、調整するのに用いられる。
暗記帳データ群84は、複数の暗記帳データ840を有している。
暗記帳データ840は、見出しと、当該見出しの説明とを対応付けた組を複数記憶している。ここで、見出しと、その説明との組としては、例えば英語の単語や成句と、その日本語訳との組を用いても良いし、歴史上の事件名と、その事件の起きた年号(或いは当該年号の語呂合わせ)との組を用いても良いし、古語の単語と、その現代語訳との組を用いても良い。
メロディ付暗記帳データ群86は、複数のメロディ付暗記帳データ860を有している。
メロディ付暗記帳データ860は、後述の音声出力制御処理(図3参照)によって作成されるデータであり、曲データ820と、歌詞データ861と、音量・表示サイズデータ862とを有している。
このうち、曲データ820は、曲データ群82に予め含まれる曲データ820であっても良いし、後述の曲データ・歌詞データ作成処理(図4参照)によって新たに作成される曲データ820であっても良い。なお、本実施の形態においては、メロディ付暗記帳データ860における曲データ820には、曲中でのサビ部分の位置データが含まれている。
歌詞データ861は、後述の曲データ・歌詞データ作成処理(図4参照)によって暗記帳データ840の内容から作成されるテキストデータであり、暗記帳データ840の見出し及び説明の文字列を含んで構成されている。
音量・表示サイズデータ862は、歌詞データ861に含まれる各見出しと、各説明との出力音量及び表示サイズを示すデータであり、各見出し及び各説明に対応付けられている。
ユーザ評価テーブル85は、後述の音声出力制御処理(図3参照)において音声出力されている見出しと、その説明との組に対して音量キー2cによりユーザ評価(本実施の形態においては「○」または「×」)が入力された場合に、この組にユーザ評価を対応づけて、暗記帳データ840ごとに記憶するようになっている。ここで、本実施の形態においては、音声出力されている見出しと、説明との組をユーザが理解したか否かがユーザ評価として用いられており、ユーザが組を理解した場合にはユーザ評価として「○」が入力され、ユーザが組を理解していない場合にはユーザ評価として「×」が入力される。なお、以上のユーザ評価テーブル85は、組に含まれる見出し及び説明の何れか一方のみに対してユーザ評価を対応付けて記憶することで、当該見出しまたは説明の含まれる組に対してユーザ評価を対応付けて記憶することとしても良い。
[1.3 動作]
続いて、音声出力装置1の動作について、図面を参照しつつ説明する。
図3は、CPU20が音声出力制御プログラム81を読み出して実行する音声出力制御処理の流れを示すフローチャートである。
この図に示すように、音声出力制御処理においてまずCPU20は、メロディ付暗記帳データ860を作成する旨のユーザ操作が行われるか否かを判定する(ステップS1)。
このステップS1において、メロディ付暗記帳データ860を作成する旨のユーザ操作が行われたと判定した場合(ステップS1;Yes)には、CPU20は、ユーザ操作に基づいて記憶部80の暗記帳データ群84やサーバN1、外部情報記憶媒体12aにおける何れかの暗記帳データ840を指定暗記帳データ840Sとして指定する(ステップS2)。
次に、CPU20は、ユーザ操作に基づいて、曲のジャンルやテンポを指定する(ステップS3)。なお、このステップS3においてユーザは、曲名の入力によって記憶部80の曲データ群82やサーバN1、外部情報記憶媒体12aにおける何れかの曲データ820を指定しても良い。
次に、CPU20は、音数(拍数)と、文字数との調整用の用語を指定する(ステップS4)。ここで、音数(拍数)と、文字数との調整用の用語とは、曲のフレーズに合わせて見出しや説明を音声出力するにあたり、フレーズの音数(拍数)に対して見出しや説明の文字数が少ない場合に、見出しや説明に対して付加される語や句である。このような用語としては、例えば「−は」や「−です」、「−よね」等を用いることができる。
次に、CPU20は、曲データ・歌詞データ作成処理を行う(ステップS5)。
具体的には、図4に示すように、この曲データ・歌詞データ作成処理においてCPU20は、曲生成用データ83と、楽曲生成用モジュール811とを用いて曲データ820を作成するとともに、歌詞割り振り用モジュール812を用いて曲データにおける各フレーズの各音(各拍)に対し、指定暗記帳データ840Sにおける各組の見出し及び説明の各文字を順に割り振って、テキストデータとして歌詞データ861を作成する。
より詳細には、この曲データ・歌詞データ作成処理においてCPU20は、楽曲生成用モジュール811による作曲内容と歌詞割り振り用モジュール812による割り振り内容とを互いにフィードバックしつつ、曲データ820及び歌詞データ861の作成を行う。また、この曲データ・歌詞データ作成処理においてCPU20は、指定暗記帳データ840Sにおける見出しと説明との組の格納順に従って、各組の見出し及び説明の各文字を各音(各拍)に順に割り振る。また、この曲データ・歌詞データ作成処理においてCPU20は、フレーズの音数(拍数)に対して見出しや説明の文字数が少ない場合に、このような見出しや説明に対し、ステップS4で指定された調整用の用語を付加する。更に、この曲データ・歌詞データ作成処理においてCPU20は、歌詞データ861における各見出しと、各説明とに対し、当該見出しや説明の出力音量及び表示サイズを対応付けて、音量・表示サイズデータ862を作成する。なお、このとき対応付けられる出力音量及び表示サイズは、全てデフォルトの出力音量及び表示サイズとなっている。
なお、上述のステップS3においてユーザが曲データ群82における何れかの曲データ820を指定した場合には、このステップS5の曲データ・歌詞データ作成処理においてCPU20は、曲データ820の作成は行わずに、指定された曲データ820における各フレーズの各音(各拍)に対し、指定暗記帳データ840Sにおける各組の見出し及び説明の各文字を順に割り振って、テキストデータとして歌詞データ861を作成する。
以上の曲データ・歌詞データ作成処理が終了したら、次にCPU20は、図3に示すように、作成された曲データ820及び歌詞データ861を試聴する旨のユーザ操作が行われるか否かを判定する(ステップS11)。
このステップS11において曲データ820及び歌詞データ861を試聴する旨のユーザ操作が行われないと判定した場合(ステップS11;No)には、CPU20は、ステップS5で作成された曲データ820、歌詞データ861及び音量・表示サイズデータ862をまとめてメロディ付暗記帳データ860として記憶部80に記憶させた後(ステップS14)、上述のステップS1に移行する。
また、ステップS11において曲データ820及び歌詞データ861を試聴する旨のユーザ操作が行われたと判定した場合(ステップS11;Yes)には、CPU20は、ステップS5で作成された曲データ820と歌詞データ861との合成出力処理を行う(ステップS12)。
具体的には、図5に示すように、この合成出力処理においてまずCPU20は、曲データ820の各音(各拍)の再生タイミングと、歌詞データ861の各文字の音声出力タイミングとが揃うよう曲データ820と歌詞データ861とをミキシングする(ステップT1)。
次に、CPU20は、曲データ820を再生しつつ、歌詞データ861のテキストデータから音声合成処理(Text To Speech処理)によって1文字分ずつ音声データを作成し、当該音声データの各文字を曲データ820のメロディにのせて音声出力する(ステップT2)。これにより、再生される曲に合わせて、歌詞データ861における見出し(及び調整用の用語)と、説明(及び調整用の用語)との複数の組が音声出力されることとなる。なお、本実施の形態においては、このときCPU20は、音量・表示サイズデータ862における各見出し及び各説明の出力音量(ここではデフォルトの出力音量)に応じて音量を調節しつつ音声出力を行い、各見出し及び各説明の表示サイズ(ここではデフォルトの表示サイズ)に基づいて、音声出力されている見出しや説明の文字列をディスプレイ10に表示させるようになっている。
次に、CPU20は、ユーザ操作に基づいて曲データ820のテンポを調整するとともに(ステップT3)、曲データ820のキーを調整し(ステップT4)、合成出力処理を終了する。
以上の合成出力処理が終了したら、次にCPU20は、図3に示すように、曲データ820及び歌詞データ861を作り直す旨のユーザ操作が行われるか否かを判定し(ステップS13)、行われたと判定した場合(ステップS13;Yes)には上述のステップS3に移行する一方、行われないと判定した場合(ステップS13;No)には上述のステップS14に移行する。
また、上述のステップS1においてメロディ付暗記帳データ860を作成する旨のユーザ操作が行われないと判定した場合(ステップS1;No)には、CPU20は、作成済みのメロディ付暗記帳データ860を用いて学習する旨のユーザ操作が行われるか否かを判定する(ステップS21)。
このステップS21において作成済みのメロディ付暗記帳データ860を用いて学習する旨のユーザ操作が行われないと判定した場合(ステップS21;No)には、CPU20は、他の処理へ移行する。
また、ステップS21において作成済みのメロディ付暗記帳データ860を用いて学習する旨のユーザ操作が行われたと判定した場合(ステップS21;Yes)には、CPU20は、ユーザ操作に基づいて、メロディ付暗記帳データ群86における何れかのメロディ付暗記帳データ860を指定メロディ付暗記帳データ860Sとして指定する(ステップS22)。
次に、CPU20は、ユーザ操作に基づいて、見出しと説明との組に対するユーザ評価(「○」または「×」)に応じた音声出力データの変更方法「1」〜「4」の何れかを指定する(ステップS23)。
ここで、音声出力データの変更方法「1」は、ユーザ評価が「○」の組における説明の出力音量及び表示サイズを0にし(音声出力及び表示をオフにし)、ユーザ評価が「×」の組における説明の出力音量及び表示サイズを大きくする方法である(図6参照)。また、変更方法「2」は、ユーザ評価が「○」の組における見出しと説明との出力順を逆にして、見出しの出力音量及び表示サイズを0にし(音声出力及び表示をオフにし)、ユーザ評価が「×」の組における説明の出力音量及び表示サイズを大きくする方法である(図7参照)。また、変更方法「3」は、ユーザ評価が「○」の組の出力順を曲の後側に移動し、ユーザ評価が「×」の組の出力順を曲の前側に移動する方法である(図8参照)。また、変更方法「4」は、ユーザ評価が「○」の組の出力順を曲のサビ以外の部分に移動し、ユーザ評価が「×」の組の出力順を曲のサビ部分に移動する方法である(図9参照)。
次に、CPU20は、上述のステップS12と同様にして、指定メロディ付暗記帳データ860Sにおける曲データ820と歌詞データ861との合成出力処理を開始するとともに(ステップS24)、歌詞データ861における先頭の組の見出しを検出し、指定見出しとして設定する(ステップS31)。なお、ステップS24で開始される合成出力処理においては、CPU20は、音量・表示サイズデータ862における各見出し及び各説明の出力音量(ここではデフォルトの出力音量または後述の出力データ変更処理(図6〜図9参照)による変更後の出力音量)に応じて音量を調節しつつ音声出力を行い、音量・表示サイズデータ862における各見出し及び各説明の表示サイズ(ここではデフォルトの表示サイズまたは後述の出力データ変更処理による変更後の表示サイズ)に基づいて、音声出力されている見出しや説明の文字列をディスプレイ10に表示させるようになっている。
次に、CPU20は、合成出力処理により音声出力されている指定見出しと説明との組に対してユーザ評価(本実施の形態においては「○」または「×」)が入力されるか否かを判定し(ステップS32)、入力されないと判定した場合(ステップS32;No)には後述のステップS34に移行する。
また、ステップS32において、音声出力されている指定見出しと説明との組に対してユーザ評価が入力されたと判定した場合(ステップS32;Yes)には、CPU20は、指定メロディ付暗記帳データ860Sに対応する暗記帳データ840と、指定見出しの含まれる組とに対応付けて、入力されたユーザ評価をユーザ評価テーブル85に記憶させる(ステップS33)。
次に、CPU20は、指定見出しを含む組の音声出力が終了したか否かを判定し(ステップS34)、終了していないと判定した場合(ステップS34;No)には上述のステップS32に移行する。
また、ステップS34において指定見出しを含む組の音声出力が終了したと判定した場合(ステップS34;Yes)には、CPU20は、歌詞データ861に次の組の見出しが存在するか否かを判定する(ステップS35)。
このステップS35において歌詞データ861に次の組の見出しが存在すると判定した場合(ステップS35;Yes)には、CPU20は、当該次の見出しを指定見出しとして設定し直した後(ステップS36)、上述のステップS32に移行する。
また、ステップS35において歌詞データ861に次の組の見出しが存在しないと判定した場合(ステップS35;No)には、CPU20は、音声出力データの変更方法「1」〜「4」のうち、ステップS23で指定された変更方法に応じた出力データ変更処理(1)〜(4)を行った後(ステップS38)、上述のステップS1に移行する。
具体的には、ステップS23において音声出力データの変更方法「1」が指定された場合には、図6に示すように、出力データ変更処理(1)においてまずCPU20は、ユーザ評価テーブル85から、指定メロディ付暗記帳データ860Sに対応する暗記帳データ840の各組、換言すれば指定メロディ付暗記帳データ860Sの歌詞データ861における見出し及び説明の各組に対するユーザ評価を読み出す(ステップU1)。
次に、CPU20は、指定メロディ付暗記帳データ860Sにおける歌詞データ861の先頭の見出しを指定見出しとして指定し(ステップU2)、指定見出しの組に対するユーザ評価が「○」であるか否かを判定する(ステップU3)。
このステップU3において指定見出しの組に対するユーザ評価が「○」であると判定した場合(ステップU3;Yes)には、CPU20は、指定見出しの説明(及び調整用の用語)の出力音量及び表示サイズが「0」になるよう(音声出力及び表示がオフになるよう)音量・表示サイズデータ862を変更した後(ステップU4)、後述のステップU11に移行する。なお、このステップU4においてCPU20は、出力音量及び表示サイズが小さくなるよう音量・表示サイズデータ862を変更しても良い。
また、ステップU3において指定見出しの組に対するユーザ評価が「○」でないと判定した場合(ステップU3;No)には、CPU20は、指定見出しの組に対するユーザ評価が「×」であるか否かを判定する(ステップU5)。
このステップU5において指定見出しの組に対するユーザ評価が「×」であると判定した場合(ステップU5;Yes)には、CPU20は、指定見出しの説明(及び調整用の用語)の出力音量及び表示サイズが大きくなるよう音量・表示サイズデータ862を変更した後(ステップU6)、後述のステップU11に移行する。
また、ステップU5において指定見出しの組に対するユーザ評価が「×」でないと判定した場合、つまりユーザ評価が未入力の場合(ステップU5;No)には、CPU20は、指定メロディ付暗記帳データ860Sにおける歌詞データ861に次の見出しが存在するか否かを判定する(ステップU11)。
このステップU11において歌詞データ861に次の組の見出しが存在すると判定した場合(ステップU11;Yes)には、CPU20は、当該次の見出しを指定見出しとして設定し直した後(ステップU12)、上述のステップU3に移行する。
また、ステップU11において歌詞データ861に次の組の見出しが存在しないと判定した場合(ステップU11;No)には、CPU20は、メロディ付暗記帳データ860を更新して記憶部80に記憶させ(ステップU13)、出力データ変更処理(1)を終了する。
また、ステップS23において音声出力データの変更方法「2」が指定された場合には、図7に示すように、出力データ変更処理(2)においてまずCPU20は、ユーザ評価テーブル85から、指定メロディ付暗記帳データ860Sに対応する暗記帳データ840の各組、換言すれば指定メロディ付暗記帳データ860Sの歌詞データ861における見出し及び説明の各組に対するユーザ評価を読み出す(ステップU21)。
次に、CPU20は、指定メロディ付暗記帳データ860Sにおける歌詞データ861の先頭の見出しを指定見出しとして指定し(ステップU22)、指定見出しの組に対するユーザ評価が「○」であるか否かを判定する(ステップU23)。
このステップU23において指定見出しの組に対するユーザ評価が「○」であると判定した場合(ステップU23;Yes)には、CPU20は、指定見出しと、その説明との出力順が逆になるよう歌詞データ861を変更し(ステップU25)、曲データ820のフレーズの音数(拍数)に対して見出しや説明の文字数が少ない場合に、当該見出しや説明に対し、指定メロディ付暗記帳データ860Sの作成時に上述のステップS4で指定された調整用の用語を付加して歌詞データ861を更に変更する(ステップU26)。
次に、CPU20は、指定見出し(及び調整用の用語)の出力音量及び表示サイズが「0」になるよう(音声出力及び表示がオフになるよう)音量・表示サイズデータ862を変更した後(ステップU27)、後述のステップU31に移行する。なお、このステップU27においてCPU20は、出力音量及び表示サイズが小さくなるよう音量・表示サイズデータ862を変更しても良い。
また、ステップU23において指定見出しの組に対するユーザ評価が「○」でないと判定した場合(ステップU23;No)には、CPU20は、指定見出しの組に対するユーザ評価が「×」であるか否かを判定する(ステップU28)。
このステップU28において指定見出しの組に対するユーザ評価が「×」であると判定した場合(ステップU28;Yes)には、CPU20は、指定見出しの説明(及び調整用の用語)の出力音量及び表示サイズが大きくなるよう音量・表示サイズデータ862を変更した後(ステップU29)、後述のステップU31に移行する。
また、ステップU28において指定見出しの組に対するユーザ評価が「×」でないと判定した場合、つまりユーザ評価が未入力の場合(ステップU28;No)には、CPU20は、指定メロディ付暗記帳データ860Sにおける歌詞データ861に次の見出しが存在するか否かを判定する(ステップU31)。
このステップU31において歌詞データ861に次の組の見出しが存在すると判定した場合(ステップU31;Yes)には、CPU20は、当該次の見出しを指定見出しとして設定し直した後(ステップU32)、上述のステップU23に移行する。
また、ステップU31において歌詞データ861に次の組の見出しが存在しないと判定した場合(ステップU31;No)には、CPU20は、メロディ付暗記帳データ860を更新して記憶部80に記憶させ(ステップU33)、出力データ変更処理(2)を終了する。
また、ステップS23において音声出力データの変更方法「3」が指定された場合には、図8に示すように、出力データ変更処理(3)においてまずCPU20は、ユーザ評価テーブル85から、指定メロディ付暗記帳データ860Sに対応する暗記帳データ840の各組、換言すれば指定メロディ付暗記帳データ860Sの歌詞データ861における見出し及び説明の各組に対するユーザ評価を読み出す(ステップU41)。
次に、CPU20は、指定メロディ付暗記帳データ860Sにおける歌詞データ861の先頭の見出しを指定見出しとして指定し(ステップU42)、指定見出しの組に対するユーザ評価が「○」であるか否かを判定する(ステップU43)。
このステップU43において指定見出しの組に対するユーザ評価が「○」であると判定した場合(ステップU43;Yes)には、CPU20は、指定見出し及び説明の組の出力順が曲の後側に移動されるよう歌詞データ861を変更し(ステップU44)、曲データ820のフレーズの音数(拍数)に対して見出しや説明の文字数が少ない場合に、当該見出しや説明に対し、指定メロディ付暗記帳データ860Sの作成時に上述のステップS4で指定された調整用の用語を付加して歌詞データ861を更に変更した後(ステップU45)、後述のステップU51に移行する。
また、ステップU43において指定見出しの組に対するユーザ評価が「○」でないと判定した場合(ステップU43;No)には、CPU20は、指定見出しの組に対するユーザ評価が「×」であるか否かを判定する(ステップU48)。
このステップU48において指定見出しの組に対するユーザ評価が「×」であると判定した場合(ステップU48;Yes)には、CPU20は、指定見出し及び説明の組の出力順が曲の前側に移動されるよう歌詞データ861を変更した後(ステップU49)、上述のステップU45に移行する。
また、ステップU48において指定見出しの組に対するユーザ評価が「×」でないと判定した場合、つまりユーザ評価が未入力の場合(ステップU48;No)には、CPU20は、指定メロディ付暗記帳データ860Sにおける歌詞データ861に次の見出しが存在するか否かを判定する(ステップU51)。
このステップU51において歌詞データ861に次の組の見出しが存在すると判定した場合(ステップU51;Yes)には、CPU20は、当該次の見出しを指定見出しとして設定し直した後(ステップU52)、上述のステップU43に移行する。
また、ステップU51において歌詞データ861に次の組の見出しが存在しないと判定した場合(ステップU51;No)には、CPU20は、メロディ付暗記帳データ860を更新して記憶部80に記憶させ(ステップU53)、出力データ変更処理(3)を終了する。
また、ステップS23において音声出力データの変更方法「4」が指定された場合には、図9に示すように、出力データ変更処理(4)においてまずCPU20は、ユーザ評価テーブル85から、指定メロディ付暗記帳データ860Sに対応する暗記帳データ840の各組、換言すれば指定メロディ付暗記帳データ860Sの歌詞データ861における見出し及び説明の各組に対するユーザ評価を読み出す(ステップU61)。
次に、CPU20は、指定メロディ付暗記帳データ860Sにおける歌詞データ861の先頭の見出しを指定見出しとして指定し(ステップU62)、指定見出しの組に対するユーザ評価が「×」であるか否かを判定する(ステップU63)。
このステップU63において指定見出しの組に対するユーザ評価が「×」であると判定した場合(ステップU63;Yes)には、CPU20は、指定見出し及び説明の組が曲のサビ部分に移動されるよう歌詞データ861を変更し(ステップU64)、曲データ820のフレーズの音数(拍数)に対して見出しや説明の文字数が少ない場合に、当該見出しや説明に対し、指定メロディ付暗記帳データ860Sの作成時に上述のステップS4で指定された調整用の用語を付加して歌詞データ861を更に変更した後(ステップU65)、後述のステップU71に移行する。
また、ステップU63において指定見出しの組に対するユーザ評価が「×」でないと判定した場合(ステップU63;No)には、CPU20は、指定見出しの組に対するユーザ評価が「○」であるか否かを判定する(ステップU68)。
このステップU68において指定見出しの組に対するユーザ評価が「○」であると判定した場合(ステップU68;Yes)には、CPU20は、指定見出し及び説明の組が曲のサビ以外の部分に移動されるよう歌詞データ861を変更した後(ステップU69)、上述のステップU65に移行する。
また、ステップU68において指定見出しの組に対するユーザ評価が「○」でないと判定した場合、つまりユーザ評価が未入力の場合(ステップU68;No)には、CPU20は、指定メロディ付暗記帳データ860Sにおける歌詞データ861に次の見出しが存在するか否かを判定する(ステップU71)。
このステップU71において歌詞データ861に次の組の見出しが存在すると判定した場合(ステップU71;Yes)には、CPU20は、当該次の見出しを指定見出しとして設定し直した後(ステップU72)、上述のステップU63に移行する。
また、ステップU71において歌詞データ861に次の組の見出しが存在しないと判定した場合(ステップU71;No)には、CPU20は、メロディ付暗記帳データ860を更新して記憶部80に記憶させ(ステップU73)、出力データ変更処理(4)を終了する。
[1.4 動作例]
続いて、図面を参照しつつ、上述した音声出力装置1の動作を具体的に説明する。
[1.4.1 動作例(1)]
まず、ユーザが、作成済みのメロディ付暗記帳データ860を用いて学習する旨のユーザ操作を行い(ステップS21;Yes)、メロディ付暗記帳データ群86における何れかのメロディ付暗記帳データ860を指定メロディ付暗記帳データ860Sとして指定した後(ステップS22)、音声出力データの変更方法「1」を指定すると(ステップS23)、指定メロディ付暗記帳データ860Sにおける曲データ820と歌詞データ861との合成出力処理が開始される(ステップS24)。なお、本動作例においては、このとき音量・表示サイズデータ862には、各見出し及び各説明の出力音量、表示サイズとして、デフォルトの出力音量、表示サイズが記憶されている。
次に、歌詞データ861における先頭の組の見出し「aphorism」が検出され、指定見出しとして設定されて(ステップS31)、図10(a)に示すように、合成出力処理により、再生される曲に合わせて歌詞データ861における指定見出し「aphorism」及び調整用の用語「は」と、説明「かくげん」及び調整用の用語「だ」との組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示される(ステップT2)。なお、本動作例においては、図中の文字列のうち、デフォルトの出力音量で音声出力される文字列を、吹き出し内に枠で囲わずに表示している。
このとき、音声出力されている指定見出し「aphorism」と説明「かくげん」との組に対してユーザがユーザ評価「×」を入力すると(ステップS32;Yes)、指定メロディ付暗記帳データ860Sに対応する暗記帳データ840と、指定見出し「aphorism」の含まれる組とに対応付けて、入力されたユーザ評価「×」がユーザ評価テーブル85に記憶される(ステップS33)。
次に、指定見出し「aphorism」を含む組の音声出力が終了すると(ステップS34;Yes)、歌詞データ861に次の組の見出し「apiece」が存在すると判定され(ステップS35;Yes)、当該次の見出し「apiece」が指定見出しとして設定し直される(ステップS36)。
次に、図10(b)に示すように、合成出力処理により、再生される曲に合わせて歌詞データ861における指定見出し「apiece」及び調整用の用語「のいみ」と、説明「めいめいに」との組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示される(ステップT2)。
このとき、音声出力されている指定見出し「apiece」と説明「めいめいに」との組に対してユーザがユーザ評価「○」を入力すると(ステップS32;Yes)、指定メロディ付暗記帳データ860Sに対応する暗記帳データ840と、指定見出し「apiece」の含まれる組とに対応付けて、入力されたユーザ評価「○」がユーザ評価テーブル85に記憶される(ステップS33)。
以降、同様にして、合成出力処理により、再生される曲に合わせて歌詞データ861における見出し(及び調整用の用語)と、説明(及び調整用の用語)との各組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示され(ステップT2)、音声出力されている見出し及び説明の組に対してユーザがユーザ評価を入力すると(ステップS32;Yes)、指定メロディ付暗記帳データ860Sに対応する暗記帳データ840と、当該見出しの含まれる組とに対応付けて、入力されたユーザ評価がユーザ評価テーブル85に記憶される(ステップS33)。
そして、歌詞データ861に次の組の見出しが存在しないと判定されると(ステップS35;No)、出力データ変更処理(1)が行われる(ステップS38)。
この出力データ変更処理(1)においては、まず指定メロディ付暗記帳データ860Sにおける歌詞データ861の先頭の見出し「aphorism」が指定見出しとして指定され(ステップU2)、指定見出し「aphorism」の組に対するユーザ評価が「×」であると判定されて(ステップU5;Yes)、指定見出し「aphorism」の説明「かくげん」の出力音量及び表示サイズが大きくなるよう音量・表示サイズデータ862が変更される(ステップU6)。なお、本動作例においては、このとき指定見出し「aphorism」についても、出力音量及び表示サイズが大きくなるよう音量・表示サイズデータ862が変更される。
次に、歌詞データ861に次の組の見出し「apiece」が存在すると判定され(ステップU11;Yes)、当該次の見出し「apiece」が指定見出しとして設定し直された後(ステップU12)、指定見出し「apiece」の組に対するユーザ評価が「○」であると判定され(ステップU3;Yes)、指定見出し「apiece」の説明「めいめいに」の出力音量及び表示サイズが「0」になるよう(音声出力及び表示がオフになるよう)音量・表示サイズデータ862が変更される(ステップU4)。
以降、同様にして、歌詞データ861における組のうち、ユーザ評価が「○」の組については、説明の出力音量及び表示サイズが「0」になるよう(音声出力及び表示がオフになるよう)音量・表示サイズデータ862が変更され(ステップU4)、ユーザ評価が「×」の組については、見出し及び説明の出力音量及び表示サイズが大きくなるよう音量・表示サイズデータ862が変更される(ステップU6)。
そして、歌詞データ861に次の組の見出しが存在しないと判定されると(ステップU11;No)、メロディ付暗記帳データ860が更新されて記憶部80に記憶される(ステップU13)。
次に、改めてユーザが、作成済みのメロディ付暗記帳データ860を用いて学習する旨のユーザ操作を行い(ステップS21;Yes)、同じメロディ付暗記帳データ860を指定メロディ付暗記帳データ860Sとして指定した後(ステップS22)、音声出力データの変更方法「1」〜「4」の何れかを指定すると(ステップS23)、指定メロディ付暗記帳データ860Sにおける曲データ820と歌詞データ861との合成出力処理が開始される(ステップS24)。
次に、歌詞データ861における先頭の組の見出し「aphorism」が検出され、指定見出しとして設定されて(ステップS31)、図11(a)に示すように、合成出力処理により、再生される曲に合わせて歌詞データ861における指定見出し「aphorism」及び調整用の用語「は」と、説明「かくげん」及び調整用の用語「だ」との組が大きい出力音量で音声出力され、大きい表示サイズで表示される(ステップT2)。なお、本動作例においては、図中の文字列のうち、大きい出力音量で音声出力される文字列を、角丸矩形枠で囲って吹き出し内に表示しており、大きい表示サイズで表示される文字列を、太字でディスプレイ10内に表示している。
次に、指定見出し「aphorism」を含む組の音声出力が終了すると(ステップS34;Yes)、歌詞データ861に次の組の見出し「apiece」が存在すると判定され(ステップS35;Yes)、当該次の見出し「apiece」が指定見出しとして設定し直される(ステップS36)。
次に、図11(b)に示すように、合成出力処理により、再生される曲に合わせて歌詞データ861における指定見出し「apiece」及び調整用の用語「のいみ」がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示され、説明「めいめいに」が出力音量「0」で音声出力され(音声出力されず)、表示サイズ「0」で表示される(表示されない)(ステップT2)。なお、本動作例においては、図中の文字列のうち、出力音量「0」で音声出力される文字列を、角丸ではない矩形枠による空欄として吹き出し内に表示しており、表示サイズ「0」で表示される文字列を、ディスプレイ10内に空欄として表示している。
[1.4.2 動作例(2)]
まず、ユーザが、作成済みのメロディ付暗記帳データ860を用いて学習する旨のユーザ操作を行い(ステップS21;Yes)、メロディ付暗記帳データ群86における何れかのメロディ付暗記帳データ860を指定メロディ付暗記帳データ860Sとして指定した後(ステップS22)、音声出力データの変更方法「2」を指定すると(ステップS23)、指定メロディ付暗記帳データ860Sにおける曲データ820と歌詞データ861との合成出力処理が開始される(ステップS24)。
次に、上述の図10に示すように、音声出力される見出し「aphorism」と説明「かくげん」との組に対してユーザがユーザ評価「×」を入力し(ステップS32;Yes)、見出し「apiece」及び説明「めいめいに」の組に対してユーザがユーザ評価「○」を入力した後(ステップS32;Yes)、歌詞データ861に次の組の見出しが存在しないと判定されると(ステップS35;No)、出力データ変更処理(2)が行われる。
この出力データ変更処理(2)においては、まず指定メロディ付暗記帳データ860Sにおける歌詞データ861の先頭の見出し「aphorism」が指定見出しとして指定され(ステップU22)、指定見出し「aphorism」の組に対するユーザ評価が「×」であると判定されて(ステップU28;Yes)、指定見出し「aphorism」の説明「かくげん」の出力音量及び表示サイズが大きくなるよう音量・表示サイズデータ862が変更される(ステップU29)。なお、本動作例においては、このとき指定見出し「aphorism」についても、出力音量及び表示サイズが大きくなるよう音量・表示サイズデータ862が変更される。
次に、歌詞データ861に次の組の見出し「apiece」が存在すると判定され(ステップU31;Yes)、当該次の見出し「apiece」が指定見出しとして設定し直された後(ステップU32)、指定見出し「apiece」の組に対するユーザ評価が「○」であると判定され(ステップU23;Yes)、指定見出し「apiece」と、その説明「めいめいに」との出力順が逆になるよう歌詞データ861が変更され(ステップU25)、見出し「apiece」や説明「めいめいに」に対し、上述のステップS4で指定された調整用の用語「は」,「だ」が付加されて歌詞データ861が更に変更される(ステップU26)。次に、指定見出し「apiece」の出力音量及び表示サイズが「0」になるよう(音声出力及び表示がオフになるよう)音量・表示サイズデータ862が変更される(ステップU27)。
そして、歌詞データ861に次の組の見出しが存在しないと判定されると(ステップU31;No)、メロディ付暗記帳データ860が更新されて記憶部80に記憶される(ステップU33)。
次に、改めてユーザが、作成済みのメロディ付暗記帳データ860を用いて学習する旨のユーザ操作を行い(ステップS21;Yes)、同じメロディ付暗記帳データ860を指定メロディ付暗記帳データ860Sとして指定した後(ステップS22)、音声出力データの変更方法「2」を指定すると(ステップS23)、指定メロディ付暗記帳データ860Sにおける曲データ820と歌詞データ861との合成出力処理が開始される(ステップS24)。
次に、歌詞データ861における先頭の組の見出し「aphorism」が検出され、指定見出しとして設定されて(ステップS31)、図12(a)に示すように、合成出力処理により、再生される曲に合わせて歌詞データ861における指定見出し「aphorism」及び調整用の用語「は」と、説明「かくげん」及び調整用の用語「だ」との組が大きい出力音量で音声出力され、大きい表示サイズで表示される(ステップT2)。
このとき、音声出力されている指定見出し「aphorism」と説明「かくげん」との組に対してユーザがユーザ評価「○」を入力すると(ステップS32;Yes)、指定メロディ付暗記帳データ860Sに対応する暗記帳データ840と、指定見出し「aphorism」の含まれる組とに対応付けて、入力されたユーザ評価「○」がユーザ評価テーブル85に記憶される(ステップS33)。
次に、指定見出し「aphorism」を含む組の音声出力が終了すると(ステップS34;Yes)、歌詞データ861に次の組の見出し「apiece」が存在すると判定され(ステップS35;Yes)、当該次の見出し「apiece」が指定見出しとして設定し直される(ステップS36)。
次に、図12(b)に示すように、合成出力処理により、再生される曲に合わせて歌詞データ861における指定見出し「apiece」の説明「めいめいに」及び調整用の用語「は」がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示され、指定見出し「apiece」が出力音量「0」で音声出力され(音声出力されず)、表示サイズ「0」で表示される(表示されない)(ステップT2)。
このとき、音声出力されている指定見出し「apiece」と説明「めいめいに」との組に対してユーザがユーザ評価「×」を入力すると(ステップS32;Yes)、指定メロディ付暗記帳データ860Sに対応する暗記帳データ840と、指定見出し「apiece」の含まれる組とに対応付けて、入力されたユーザ評価「×」がユーザ評価テーブル85に記憶される(ステップS33)。
次に、歌詞データ861に次の組の見出しが存在しないと判定されると(ステップS35;No)、出力データ変更処理(2)が行われる。
この出力データ変更処理(2)においては、まず指定メロディ付暗記帳データ860Sにおける歌詞データ861の先頭の見出し「aphorism」が指定見出しとして指定され(ステップU22)、指定見出し「aphorism」の組に対するユーザ評価が「○」であると判定され(ステップU23;Yes)、指定見出し「aphorism」と、その説明「かくげん」との出力順が逆になるよう歌詞データ861が変更され(ステップU25)、当該説明「かくげん」に対し、上述のステップS4で指定された調整用の用語「とは」が付加されて歌詞データ861が更に変更される(ステップU26)。次に、指定見出し「aphorism」の出力音量及び表示サイズが「0」になるよう(音声出力及び表示がオフになるよう)音量・表示サイズデータ862が変更される(ステップU27)。
次に、歌詞データ861に次の組の見出し「apiece」が存在すると判定され(ステップU31;Yes)、当該次の見出し「apiece」が指定見出しとして設定し直された後(ステップU32)、指定見出し「apiece」の組に対するユーザ評価が「×」であると判定されて(ステップU28;Yes)、指定見出し「apiece」の説明「めいめいに」の出力音量及び表示サイズが大きくなるよう音量・表示サイズデータ862が変更される(ステップU29)。なお、本動作例においては、このとき指定見出し「apiece」についても、出力音量及び表示サイズが大きくなるよう音量・表示サイズデータ862が変更される。
そして、歌詞データ861に次の組の見出しが存在しないと判定されると(ステップU31;No)、メロディ付暗記帳データ860が更新されて記憶部80に記憶される(ステップU33)。
次に、改めてユーザが、作成済みのメロディ付暗記帳データ860を用いて学習する旨のユーザ操作を行い(ステップS21;Yes)、同じメロディ付暗記帳データ860を指定メロディ付暗記帳データ860Sとして指定した後(ステップS22)、音声出力データの変更方法「1」〜「4」の何れかを指定すると(ステップS23)、指定メロディ付暗記帳データ860Sにおける曲データ820と歌詞データ861との合成出力処理が開始される(ステップS24)。
次に、歌詞データ861における先頭の組の見出し「aphorism」が検出され、指定見出しとして設定されて(ステップS31)、図13(a)に示すように、合成出力処理により、再生される曲に合わせて歌詞データ861における指定見出し「aphorism」の説明「かくげん」及び調整用の用語「とは」がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示され、指定見出し「aphorism」が出力音量「0」で音声出力され(音声出力されず)、表示サイズ「0」で表示される(表示されない)(ステップT2)。
次に、指定見出し「aphorism」を含む組の音声出力が終了すると(ステップS34;Yes)、歌詞データ861に次の組の見出し「apiece」が存在すると判定され(ステップS35;Yes)、当該次の見出し「apiece」が指定見出しとして設定し直される(ステップS36)。
次に、図13(b)に示すように、合成出力処理により、再生される曲に合わせて歌詞データ861における指定見出し「apiece」及び説明「めいめいに」の組が大きい出力音量で音声出力され、大きい表示サイズで表示される(ステップT2)。
[1.4.3 動作例(3)]
まず、ユーザが、作成済みのメロディ付暗記帳データ860を用いて学習する旨のユーザ操作を行い(ステップS21;Yes)、メロディ付暗記帳データ群86における何れかのメロディ付暗記帳データ860を指定メロディ付暗記帳データ860Sとして指定した後(ステップS22)、音声出力データの変更方法「3」を指定すると(ステップS23)、指定メロディ付暗記帳データ860Sにおける曲データ820と歌詞データ861との合成出力処理が開始される(ステップS24)。
次に、歌詞データ861における先頭の組の見出し「grain」が検出され、指定見出しとして設定されて(ステップS31)、図14(a)に示すように、合成出力処理により、再生される曲(ここでは曲の先頭部分)に合わせて歌詞データ861における指定見出し「grain」及び調整用の用語「は」と、説明「こくもつ」との組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示される(ステップT2)。但し、本動作例(3)と後述の動作例(4)とにおいては、図中でディスプレイ10の表示を省略している。
次に、指定見出し「grain」を含む組の音声出力が終了すると(ステップS34;Yes)、歌詞データ861に次の組の見出し「hatch」が存在すると判定され(ステップS35;Yes)、当該次の見出し「hatch」が指定見出しとして設定し直される(ステップS36)。
次に、合成出力処理により、再生される曲(ここでは曲の先頭部分)に合わせて歌詞データ861における指定見出し「hatch」及び調整用の用語「は」と、説明「孵化する」との組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示される(ステップT2)。
このとき、音声出力されている指定見出し「hatch」と説明「孵化する」との組に対してユーザがユーザ評価「○」を入力すると(ステップS32;Yes)、指定メロディ付暗記帳データ860Sに対応する暗記帳データ840と、指定見出し「hatch」の含まれる組とに対応付けて、入力されたユーザ評価「○」がユーザ評価テーブル85に記憶される(ステップS33)。
以降、同様にして、合成出力処理により、再生される曲に合わせて歌詞データ861における見出し(及び調整用の用語)と、説明(及び調整用の用語)との各組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示される(ステップT2)。
そして、合成出力処理により、再生される曲(ここでは曲の末尾部分)に合わせて歌詞データ861における指定見出し「import」及び調整用の用語「は」と、説明「輸入する」との組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示されるときに(ステップT2)、この組に対してユーザがユーザ評価「×」を入力すると(ステップS32;Yes)、指定メロディ付暗記帳データ860Sに対応する暗記帳データ840と、指定見出し「import」の含まれる組とに対応付けて、入力されたユーザ評価「×」がユーザ評価テーブル85に記憶される(ステップS33)。
そして、歌詞データ861に次の組の見出しが存在しないと判定されると(ステップS35;No)、出力データ変更処理(3)が行われる(ステップS38)。
この出力データ変更処理(3)においては、まず指定メロディ付暗記帳データ860Sにおける歌詞データ861の先頭の見出し「grain」が指定見出しとして指定され(ステップU42)、指定見出し「grain」の組に対するユーザ評価が「×」でない、つまりユーザ評価が未入力であると判定され(ステップU48;No)、指定メロディ付暗記帳データ860Sにおける歌詞データ861に次の見出し「hatch」が存在すると判定されて(ステップU51;Yes)、当該次の見出し「hatch」が指定見出しとして設定し直される(ステップU52)。
次に、指定見出し「hatch」の組に対するユーザ評価が「○」であると判定され(ステップU43;Yes)、指定見出し「hatch」及び説明「孵化する」の組の出力順が曲の後側に移動されるよう歌詞データ861が変更される(ステップU44)。
次に、指定メロディ付暗記帳データ860Sにおける歌詞データ861に次の見出し「palace」,…が存在すると判定されて(ステップU51;Yes)、当該次の見出しが指定見出しとして設定し直され(ステップU52)、指定見出し「palace」,…の組に対するユーザ評価が「×」でない、つまりユーザ評価が未入力であると判定される(ステップU48;No)。
次に、指定メロディ付暗記帳データ860Sにおける歌詞データ861に次の見出し「import」が存在すると判定されて(ステップU51;Yes)、当該次の見出し「import」が指定見出しとして設定し直され(ステップU52)、指定見出し「import」の組に対するユーザ評価が「×」であると判定されて(ステップU48;Yes)、指定見出し「import」及び説明「輸入する」の組の出力順が曲の前側に移動されるよう歌詞データ861が変更される(ステップU49)。
次に、指定メロディ付暗記帳データ860Sにおける歌詞データ861に次の見出し「sword」,…が存在すると判定されて(ステップU51;Yes)、当該次の見出しが指定見出しとして設定し直され(ステップU52)、指定見出し「sword」,…の組に対するユーザ評価が「×」でない、つまりユーザ評価が未入力であると判定される(ステップU48;No)。
そして、歌詞データ861に次の組の見出しが存在しないと判定されると(ステップU51;No)、メロディ付暗記帳データ860が更新されて記憶部80に記憶される(ステップU53)。
次に、改めてユーザが、作成済みのメロディ付暗記帳データ860を用いて学習する旨のユーザ操作を行い(ステップS21;Yes)、同じメロディ付暗記帳データ860を指定メロディ付暗記帳データ860Sとして指定した後(ステップS22)、音声出力データの変更方法「1」〜「4」の何れかを指定すると(ステップS23)、指定メロディ付暗記帳データ860Sにおける曲データ820と歌詞データ861との合成出力処理が開始される(ステップS24)。
次に、歌詞データ861における先頭の組の見出し「import」が検出され、指定見出しとして設定されて(ステップS31)、図14(b)に示すように、合成出力処理により、再生される曲(ここでは曲の先頭部分)に合わせて歌詞データ861における指定見出し「import」及び調整用の用語「は」と、説明「輸入する」との組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示される(ステップT2)。
次に、指定見出し「import」を含む組の音声出力が終了すると(ステップS34;Yes)、歌詞データ861に次の組の見出し「grain」が存在すると判定され(ステップS35;Yes)、当該次の見出し「grain」が指定見出しとして設定し直される(ステップS36)。
次に、合成出力処理により、再生される曲(ここでは曲の先頭部分)に合わせて歌詞データ861における指定見出し「grain」及び調整用の用語「は」と、説明「こくもつ」との組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示される(ステップT2)。
以降、同様にして、合成出力処理により、再生される曲に合わせて歌詞データ861における見出し(及び調整用の用語)と、説明(及び調整用の用語)との各組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示された後(ステップT2)、再生される曲(ここでは曲の末尾部分)に合わせて歌詞データ861における指定見出し「hatch」及び調整用の用語「は」と、説明「孵化する」との組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示される(ステップT2)。
[1.4.4 動作例(4)]
まず、ユーザが、作成済みのメロディ付暗記帳データ860を用いて学習する旨のユーザ操作を行い(ステップS21;Yes)、メロディ付暗記帳データ群86における何れかのメロディ付暗記帳データ860を指定メロディ付暗記帳データ860Sとして指定した後(ステップS22)、音声出力データの変更方法「4」を指定すると(ステップS23)、指定メロディ付暗記帳データ860Sにおける曲データ820と歌詞データ861との合成出力処理が開始される(ステップS24)。
次に、歌詞データ861における先頭の組の見出し「grain」が検出され、指定見出しとして設定されて(ステップS31)、図15(a)に示すように、合成出力処理により、再生される曲(ここでは曲のAメロ部分(サビ以外の部分))に合わせて歌詞データ861における指定見出し「grain」及び調整用の用語「は」と、説明「こくもつ」との組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示される(ステップT2)。
次に、指定見出し「grain」を含む組の音声出力が終了すると(ステップS34;Yes)、歌詞データ861に次の組の見出し「hatch」が存在すると判定され(ステップS35;Yes)、当該次の見出し「hatch」が指定見出しとして設定し直される(ステップS36)。
次に、合成出力処理により、再生される曲(ここでは曲のAメロ部分(サビ以外の部分))に合わせて歌詞データ861における指定見出し「hatch」及び調整用の用語「は」と、説明「孵化する」との組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示される(ステップT2)。
このとき、音声出力されている指定見出し「hatch」と説明「孵化する」との組に対してユーザがユーザ評価「×」を入力すると(ステップS32;Yes)、指定メロディ付暗記帳データ860Sに対応する暗記帳データ840と、指定見出し「hatch」の含まれる組とに対応付けて、入力されたユーザ評価「×」がユーザ評価テーブル85に記憶される(ステップS33)。
以降、同様にして、合成出力処理により、再生される曲に合わせて歌詞データ861における見出し(及び調整用の用語)と、説明(及び調整用の用語)との各組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示される(ステップT2)。
そして、合成出力処理により、再生される曲(ここでは曲のサビ部分)に合わせて歌詞データ861における指定見出し「import」及び調整用の用語「は」と、説明「輸入する」との組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示されるときに(ステップT2)、この組に対してユーザがユーザ評価「○」を入力すると(ステップS32;Yes)、指定メロディ付暗記帳データ860Sに対応する暗記帳データ840と、指定見出し「import」の含まれる組とに対応付けて、入力されたユーザ評価「○」がユーザ評価テーブル85に記憶される(ステップS33)。
そして、歌詞データ861に次の組の見出しが存在しないと判定されると(ステップS35;No)、出力データ変更処理(4)が行われる(ステップS38)。
この出力データ変更処理(4)においては、まず指定メロディ付暗記帳データ860Sにおける歌詞データ861の先頭の見出し「grain」が指定見出しとして指定され(ステップU62)、指定見出し「grain」の組に対するユーザ評価が「○」でない、つまりユーザ評価が未入力であると判定され(ステップU68;No)、指定メロディ付暗記帳データ860Sにおける歌詞データ861に次の見出し「hatch」が存在すると判定されて(ステップU71;Yes)、当該次の見出し「hatch」が指定見出しとして設定し直される(ステップU52)。
次に、指定見出し「hatch」の組に対するユーザ評価が「×」であると判定され(ステップU63;Yes)、指定見出し「hatch」及び説明「孵化する」の組の出力順が曲のサビ部分に移動されるよう歌詞データ861が変更される(ステップU64)。
次に、指定メロディ付暗記帳データ860Sにおける歌詞データ861に次の見出し「palace」,…が存在すると判定されて(ステップU71;Yes)、当該次の見出しが指定見出しとして設定し直され(ステップU72)、指定見出し「palace」,…の組に対するユーザ評価が「○」でない、つまりユーザ評価が未入力であると判定される(ステップU68;No)。
次に、指定メロディ付暗記帳データ860Sにおける歌詞データ861に次の見出し「import」が存在すると判定されて(ステップU71;Yes)、当該次の見出し「import」が指定見出しとして設定し直され(ステップU72)、指定見出し「import」の組に対するユーザ評価が「○」であると判定されて(ステップU68;Yes)、指定見出し「import」及び説明「輸入する」の組の出力順が曲のサビ以外の部分に移動されるよう歌詞データ861が変更される(ステップU69)。
次に、指定メロディ付暗記帳データ860Sにおける歌詞データ861に次の見出し「sword」,…が存在すると判定されて(ステップU71;Yes)、当該次の見出しが指定見出しとして設定し直され(ステップU72)、指定見出し「sword」,…の組に対するユーザ評価が「○」でない、つまりユーザ評価が未入力であると判定される(ステップU68;No)。
そして、歌詞データ861に次の組の見出しが存在しないと判定されると(ステップU71;No)、メロディ付暗記帳データ860が更新されて記憶部80に記憶される(ステップU73)。
次に、改めてユーザが、作成済みのメロディ付暗記帳データ860を用いて学習する旨のユーザ操作を行い(ステップS21;Yes)、同じメロディ付暗記帳データ860を指定メロディ付暗記帳データ860Sとして指定した後(ステップS22)、音声出力データの変更方法「1」〜「4」の何れかを指定すると(ステップS23)、指定メロディ付暗記帳データ860Sにおける曲データ820と歌詞データ861との合成出力処理が開始される(ステップS24)。
次に、歌詞データ861における先頭の組の見出し「import」が検出され、指定見出しとして設定されて(ステップS31)、図15(b)に示すように、合成出力処理により、再生される曲(ここでは曲のAメロ部分)に合わせて歌詞データ861における指定見出し「import」及び調整用の用語「は」と、説明「輸入する」との組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示される(ステップT2)。
次に、指定見出し「import」を含む組の音声出力が終了すると(ステップS34;Yes)、歌詞データ861に次の組の見出し「grain」が存在すると判定され(ステップS35;Yes)、当該次の見出し「grain」が指定見出しとして設定し直される(ステップS36)。
次に、合成出力処理により、再生される曲(ここでは曲のAメロ部分)に合わせて歌詞データ861における指定見出し「grain」及び調整用の用語「は」と、説明「こくもつ」との組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示される(ステップT2)。
以降、同様にして、合成出力処理により、再生される曲に合わせて歌詞データ861における見出し(及び調整用の用語)と、説明(及び調整用の用語)との各組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示された後(ステップT2)、再生される曲(ここでは曲のサビ部分)に合わせて歌詞データ861における指定見出し「hatch」及び調整用の用語「は」と、説明「孵化する」との組がデフォルトの出力音量で音声出力され、デフォルトの表示サイズで表示される(ステップT2)。
以上の音声出力装置1によれば、図3のステップS32〜S38や、図6〜図15等に示したように、見出し及び説明の何れかの組に対し、ユーザ評価が入力されると、入力されたユーザ評価と、このユーザ評価が入力された組とが対応づけて記憶され、記憶されたユーザ評価に応じて複数の組の音声出力データが変更されるので、例えばユーザの学習到達度によって、見出し及び説明の複数の組の音声出力データが変更される。従って、音声出力を用いて学習するときの学習効率を高めることができる。
また、図8〜図9や、図14〜図15等に示したように、ユーザ評価に応じて、当該ユーザ評価に対応付けられた組の音声出力順が複数の組の中で変更されるので、音声出力を用いて学習するときの学習効率を確実に高めることができる。
また、図7や図12〜図13等に示したように、ユーザ評価に応じて、当該ユーザ評価に対応付けられた組における見出しと説明との音声出力順が逆にされるとともに、当該見出しの音声出力の音量が下げられるか、或いは音量がゼロにされるので、音声出力を用いて学習するときの学習効率を確実に高めることができる。
また、図6や図10〜図11等に示したように、ユーザ評価に応じて、当該ユーザ評価に対応付けられた組における見出し及び説明の少なくとも一方の音声出力の音量が変更されるので、音声出力を用いて学習するときの学習効率を確実に高めることができる。
また、図3のステップS24や図10〜図15等に示したように、再生される曲に合わせて、見出しと説明との複数の組が音声出力されるので、曲のメロディに合わせて見出しと説明との組を学習することができる。従って、音声出力を用いて学習するときの学習効率を更に高めることができる。
なお、本発明を適用可能な実施形態は、上述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、本発明に係る音声出力制御装置を音声出力装置1として説明したが、本発明が適用可能なものは、このような製品に限定されず、携帯電話、パソコン、PDA(Personal Digital Assistant)、ゲーム機などの電子機器全般に適用可能であり、図1(b)に示すような電子辞書1Aに特に好適に適用される。また、本発明に係る音声出力制御プログラム81は、音声出力装置1に対して着脱可能な外部情報記憶媒体12aに記憶されることとしてもよい。
また、上記説明では、見出しや説明に、音数調整用の「−は」や「−です」を追加したのち、歌詞データ861のテキストデータから音声合成処理(Text To Speech処理)によって1文字分ずつ音声データを作成し、当該音声データの各文字を曲データ820のメロディにのせて音声出力データを生成して、曲データにあわせて見出しと説明との組を音声出力するようにした。これに対して、見出しと説明との組の各音声データが予め記憶されていて、見出しや説明の音量を変えたり、順番を変えたりして、ユーザ評価に応じて前記複数の組の出力順または音量を変更するようにしてもよい。このようにすれば、音声合成や音数調整等の処理を行う必要なく、容易に本発明を実現できる。
また、キー群2を介してユーザ評価を入力することとして説明したが、マイクを介して入力しても良いし、音声出力装置1に3次元の加速度センサーを具備させておき、音声出力装置1を縦に振ることで「○」のユーザ評価を入力し、横に振ることで「×」のユーザ評価を入力しても良い。
また、曲に合わせて歌詞として音声出力されている見出しと説明との組に対してユーザ評価が入力されることとして説明したが、音声出力とは無関係に暗記帳データ840が表示され、表示されている見出しと説明との組に対してユーザ評価が入力されることとしても良い。
以上、本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲をその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
見出しと、当該見出しの説明との複数の組に対応する音声出力データを音声出力させる音声出力制御手段と、
ユーザ操作に基づいて、前記複数の組における何れかの組に対し、ユーザ評価を入力するユーザ評価入力手段と、
前記ユーザ評価入力手段により入力されたユーザ評価と、このユーザ評価が入力された組とを対応づけて記憶する見出ユーザ評価記憶手段と、
前記見出ユーザ評価記憶手段により記憶されたユーザ評価に応じて、音声出力データにおける前記複数の組の出力順または音量を変更する音声出力データ変更手段と、
を備えることを特徴とする音声出力制御装置。
<請求項2>
請求項1記載の音声出力制御装置において、
前記ユーザ評価入力手段は、
前記音声出力制御手段により音声出力されている見出しと説明との組についての難易度又は注目度を、前記ユーザ評価として入力し、
前記音声出力データ変更手段は、
前記見出ユーザ評価記憶手段により記憶されたユーザ評価に応じて、当該ユーザ評価に対応付けられた組の音声出力順を前記複数の組の中で変更して音声出力データを更新することを特徴とする音声出力制御装置。
<請求項3>
請求項1記載の音声出力制御装置において、
前記ユーザ評価入力手段は、
前記音声出力制御手段により音声出力されている見出しと説明との組についての難易度又は注目度を、前記ユーザ評価として入力し、
前記音声出力データ変更手段は、
前記見出ユーザ評価記憶手段により記憶されたユーザ評価に応じて、当該ユーザ評価に対応付けられた組における見出しと説明との音声出力順を逆にするとともに、当該見出しの音声出力の音量を下げるか、或いは音量をゼロにして音声出力データを更新することを特徴とする音声出力制御装置。
<請求項4>
請求項1〜3の何れか一項に記載の音声出力制御装置において、
見出しと、当該見出しの説明との複数の組に対応する音声出力データを生成する音声出力データ生成手段と、
曲を再生する曲再生手段とを備え、
前記音声出力制御手段は、
前記楽曲再生手段により再生される曲に合わせて、前記音声出力データ生成手段により生成された複数の組を音声出力することを特徴とする音声出力制御装置。
<請求項5>
請求項1記載の音声出力制御装置において、
前記ユーザ評価入力手段は、
前記音声出力制御手段により音声出力されている見出しと説明との組についての難易度又は注目度を、前記ユーザ評価として入力し、
前記音声出力データ変更手段は、
前記見出ユーザ評価記憶手段により記憶されたユーザ評価に応じて、当該ユーザ評価に対応付けられた組における見出し及び説明の少なくとも一方の音声出力の音量を変更して音声出力データを更新することを特徴とする音声出力制御装置。
<請求項6>
請求項1〜5の何れか一項に記載の音声出力制御装置を有する電子機器において、
前記音声出力制御手段により音声出力制御された音声出力データを外部に音声出力する音声出力手段を備える電子機器。
<請求項7>
コンピュータに
見出しと、当該見出しの説明との複数の組に対応する音声出力データを音声出力させる音声出力制御機能と、
ユーザ操作に基づいて、前記複数の組における何れかの組に対し、ユーザ評価を入力するユーザ評価入力機能と、
前記ユーザ評価入力機能により入力されたユーザ評価と、このユーザ評価が入力された組とを対応づけて記憶手段に記憶させる見出ユーザ評価記憶機能と、
前記見出ユーザ評価記憶機能により記憶されたユーザ評価に応じて、音声出力データにおける前記複数の組の出力順または音量を変更する音声出力データ変更機能と、
を実現させることを特徴とする音声出力制御プログラム。