(第1の実施形態)
以下、本発明の第1の実施形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。
図1は、本発明の実施形態に係る表示装置のブロック図である。図2は、表示装置1の外観の一例を示す外観図である。
図1に示すように、表示装置1は、入力部3、表示部4、記憶部5、音声出力部6を有し、入力部3、表示部4、記憶部5、音声出力部6は、プロセッサからなる制御部2により制御される。また、制御部2は、例えば、記憶部5に格納されるプログラムに従って各種の情報処理を実行する。
入力部3は、表示装置1に対する指示をユーザが入力するためのものである。例えば、
図2に示すように、入力部3は、電源ボタン31、音量大ボタン32a、音量小ボタン32b、文字拡大ボタン33、メニューボタン34、決定ボタン35、および、十字キー36を含む。
電源ボタン31は、表示装置1の電源をONにするためのボタンである。音量大ボタン32aは、スピーカ610およびイヤホン620から出力される音量の大きさを大きくするためのボタンである。音量小ボタン32bは、スピーカ610およびイヤホン620から出力される音量の大きさを小さくするためのボタンである。文字拡大ボタン33は表示部4に表示される文字のサイズを拡大するためのボタンであり、例えば、1回押すごとに文字サイズが大きくなり、最大サイズになった時にもう一度押すと最小サイズの文字に変更される。メニューボタン34は、表示装置1の動作の設定を変更するためのメニュー画面を表示部4に表示するためのボタンである。決定ボタン35は、表示されているメニュー画面での設定項目を決定するためのボタンである。十字キー36は、上キー、下キー、左キー、および、右キーを含み、カーソルを移動させたり、表示装置1の特定の機能を呼び出したりするために使用される。
表示部4は、例えば、液晶パネルであって、制御部2からの指示により、記憶部5のテキストデータや、予め決められたメニュー画面や、複数の文章が分類されている分類名をリスト化したリスト画面等を表示して、必要な情報をユーザに対して提示する。
音声出力部6は、スピーカ610、イヤホン620を含み、制御部2が例えば、記憶部5の音声データから取得した音声データを音声として出力する。
記憶部5は、NVRAM(non-Volatile random access memory)、フラッシュメモリなどの不揮発性の記憶装置によって構成され、表示装置1が処理する各種情報や、制御部2によって実行されるプログラムを記憶する。
記憶部5については、具体的には、図3に示すように、テキストデータ、音声データ、設定データおよび設定音声速度などが記憶されている。
図4は、図1の制御部2の機能的構成の一例を示す図である。図4に示すように、制御部2は、例えば、機能的に文章番号取得部201、テキストデータ取得部202、スクロール位置情報取得部203、設定音声速度情報取得部204、スクロール時間情報取得部205、音声データ取得部206、音声制御部207、音声再生経過時間取得部208、スクロール判断部209、表示制御部210、音声終了判定部211を含む。
以下の説明において、第1言語として英語、第2言語として日本語を例にしているが、言語は日本語と英語に限るものではない。
文章番号取得部201は、入力部からの入力に基づき、文章データを特定する文章番号を取得する。例えば、図3(a)のテキストデータに示すように、英語と発音と日本語の各テキストデータをひと固まりの文章データとして、文章番号取得部201は、1つの文章データに1つの文章番号が対応づけられている場合、複数の文章データのそれぞれに対応付けられた文章番号の中のいずれか1つの文章番号を取得する。
具体的には、例えば、表示制御部210は、複数の文章番号を表示部4に表示させ、ユーザにより、表示された文章番号の中のいずれか1つの番号が入力部3から入力された場合、文章番号取得部201は、その入力された番号を文章番号として取得する。さらに具体的には、図3(a)のテキストデータの1つ目の文章に対応する“1”が入力部3から入力された場合は、文章番号取得部201は、文章番号として“1”を取得する。また、例えば、図6(a)に示すように、表示制御部210が文章の難易度や使用シーン等に分類した分類名を表示部4に表示させている場合、図3(a)のテキストデータの各文章番号に分類名を対応付けて記憶していれば(図示なし)、入力部3から特定された分類名に基づき、文章番号取得部201は、その分類名の中で一番小さい文章番号や、または、その分類名に対応する文章番号からランダムに1つの文章番号を取得すればよい。
テキストデータ取得部202は、文章番号取得部201により取得された文章番号に基づき、文章番号に対応付けられた全てのテキストデータを取得する。具体的には、例えば、文章番号取得部201により、文章番号として“1”が取得された場合は、テキストデータ取得部202は、図3(a)のテキストデータに示すように、文章番号“1”に関連付けられているテキスト種別が英語のテキストデータ“Ifit’s not toomuch trouble, can Ileave my baggage at the front?”を取得する。さらに、テキストデータ取得部202は、テキスト種別が発音のテキストデータ“イフイッツノットゥマッチトラボーキャナイリーブマイバゲジアッザフロント”を取得する。そして、さらに、テキストデータ取得部202は、テキスト種別が日本語のテキストデータ“お手数ですが、私の荷物をフロントで預かってもらえないでしょうか?”を取得する。
ここで、発音のテキストデータは、ある言語の文字で表記された文章の読み方を、他の言語の文字で表記したものであり、例えば、英語のアルファベットで表記された英文の読み方を、日本語の文字のカタカナや平仮名で表記したものである。しかし、これに限らず、英和辞書に表記されている発音記号であってもよく、中国語の文章の読みならピンインであってもよく、また、国際音声記号を用いたものであっても良い。
スクロール位置情報取得部203は、文章番号取得部201により取得された文章番号に対応する全てのデータ種別のスクロール位置情報を、図3(c)の設定データから取得する。
ここで、スクロール位置情報とは、テキストデータの文字数が多く、表示部4の1画面内に収まらずスクロール表示が必要な場合に、スクロールした画面(2画面目)の先頭に表示する文字のテキストデータ上での位置情報を表している。位置情報とは、その文字または単語が、テキストデータ上の先頭から何文字目または何単語目であるかという情報である。また、図3(c)の設定データにスクロール位置情報が複数ある場合は、2画面目以降の3画面目、4画面目等のスクロールした各画面の先頭に表示する文字または単語の位置情報を表している。
スクロール位置情報取得部203は、具体的には、例えば、文章番号取得部201により、文章番号として“1”が取得された場合は、図3(c)の設定データに示すように、文章番号“1”、データ種別が英語に対応するスクロール位置情報“7”と“12”を取得する。ここで、英語のスクロール位置情報“7”は、図3(a)のテキストデータの文章番号“1”に対応する英語のテキストデータの先頭から7単語目の“can”を示していて、スクロール位置情報“12”は、12単語目の“at”を示している。
さらに、スクロール位置情報取得部203は、データ種別が英語のスクロール位置情報と同様に、データ種別が発音と日本語のスクロール位置情報を取得する。具体的には、例えば、図3(c)の設定データに示すように、文章番号“1”に関連付けられているデータ種別が発音のスクロール位置情報“17”と“29”、データ種別が日本語のスクロール位置情報“8”と“18”を取得する。データ種別が発音のスクロール位置情報“17”は、文章番号“1”の発音のテキストデータの先頭から17文字目の“キ”、スクロール位置情報“29”は29文字目の“ア”を示している。また、データ種別が日本語のスクロール位置情報“8”は、文章番号“1”の日本語のテキストデータの先頭から8文字目の“私”、スクロール位置情報“18”は18文字目の“預”を示している。
設定音声速度情報取得部204は、英語の音声データおよび日本語の音声データを音声出力部6から出力するときの再生速度である再生速度情報を取得する。具体的には、例えば、図3(d)の設定音声速度データに示すように、音声種別が英語の再生速度情報“1”と、音声種別が日本語の再生速度情報“2”を取得する。ここで、例えば、英語の再生速度情報“1”は、英語の再生速度情報が“普通”であることを示し、日本語の再生速度情報“2”は、日本語の再生速度情報が“遅い”ことを示している。図3(d)の設定音声速度データの再生速度情報は、ユーザにより設定されたものでも良いし、表示装置1に元々設定されているものでも良い。
ここで、再生速度情報は、何段階に設定されていても良く、例えば3段階に設定されている場合は、図3(b)の音声データに示すように、各段階の速度(速度1、速度2、速度3)に対応した音声データが記憶されている。さらに、図3(c)の設定データに示すように、各段階の速度(速度1、速度2、速度3)に対応したスクロール位置情報とスクロール時間情報とトータル時間情報等の各種の設定データが記憶されている。
スクロール時間情報取得部205は、文章番号と、各音声種別の再生速度情報に基づいて、各テキストデータに対応する全てのスクロール位置情報を取得する。具体的には、文章番号取得部201により取得された文章番号と、設定音声速度情報取得部204により取得された音声種別が英語の再生速度情報に基づいて、データ種別が英語と発音と日本語に対応するスクロール時間情報を図3(c)の設定データから取得する。
例えば、文章番号として“1”、英語の音声の再生速度情報として“1”が取得されている場合は、図3(c)の設定データに示すように、文章番号“1”、英語の音声の再生速度情報“1”に対応する速度1、データ種別が英語のスクロール時間情報である“2”と“3”を取得する。ここで、1つ目の英語のスクロール時間情報“2”は、同じ文章番号“1”のデータ種別が英語の1つ目のスクロール位置情報である“7”が示す7単語目の“can”に対応するスクロール時間情報である。つまり、これは、英語の再生速度情報“1”に対応する速度1の音声データの再生開始から、スクロール時間情報“2”が示す2秒後に“can”が再生されることを表している。また、2つ目の英語のスクロール時間情報“3”は、2つ目のスクロール位置情報“12”が示す12単語目の“at”が、英語の音声データの再生開始から3秒後に再生されることを表している。ここでは、スクロール時間情報の数値の単位を「秒」で表したが、これは、「ミリ秒」などの細かい時間単位であっても構わない。
さらに、スクロール時間情報取得部205は、英語のテキストデータに対応するスクロール時間情報と同様に、発音のテキストデータに対応するスクロール時間情報を、英語の再生速度情報に基づいて取得する。具体的には、例えば、図3(c)の設定データに示すように、文章番号“1”、英語の音声の再生速度情報“1”に対応する速度1、データ種別が発音のスクロール時間情報“2”と“3”を取得する。
さらに、スクロール時間情報取得部205は、英語のテキストデータに対応するスクロール時間情報と同様に、日本語のスクロール時間情報を、日本語の再生速度情報に基づいて取得する。具体的には、例えば、文章番号として“1”、日本語の音声の再生速度情報として“2”が取得されている場合は、図3(c)の設定データに示すように、文章番号“1”、日本語の音声の再生速度情報“2”に対応する速度2、データ種別が日本語のスクロール時間情報である“1.5”と“2”を取得する。
音声データ取得部206は、文章番号と、英語と日本語の各再生速度情報とに基づいて、全ての音声種別の音声データを取得する。例えば、文章番号取得部201により取得された文章番号と、設定音声速度情報取得部204により取得された英語の音声の再生速度情報に対応する英語の音声データを、図3(b)の音声データから取得する。さらに、文章番号と、設定音声速度情報取得部204により取得された日本語の音声の再生速度情報に対応する日本語の音声データを、図3(b)の音声データから取得する。
具体的には、例えば、文章番号取得部201により文章番号“1”、設定音声速度情報取得部204により英語の再生速度情報“1”が取得されている場合は、文章番号が“1”、英語の再生速度情報“1”に対応する速度1、音声種別が英語の“音声E1-1“というファイル名の音声データを図3(b)の音声データから取得する。さらに、日本語の音声データについても同様に、文章番号が“1”、日本語の再生速度情報“2”に対応する速度2、データ種別が日本語の“音声J1-2“というファイル名の音声データを図3(b)の音声データから取得する。
音声制御部207は、音声データ取得部206により取得された英語の音声データまたは日本語の音声データに基づいた音声を音声出力部6から出力させる制御を行う。
ここで、音声データについては、図3(b)に示すように速度に応じて異なる音声データが記憶されているものとして説明したが、英語と日本語に対応する音声データをそれぞれ1つだけ記憶しておき、図3(d)の再生速度情報に設定されている速度に応じて、音声制御部207が音声データを再生する速度を変えて音声出力部6から出力させるようにしても良い。
音声再生経過時間取得部208は、音声再生開始からの経過時間を取得する。具体的には、音声再生経過時間取得部208は、音声制御部207により英語または日本語の音声データの再生開始からの経過時間を取得する。例えば、音声再生経過時間取得部208は、再生開始と同時にタイマーを動作させ、タイマーが計測した時間を経過時間として取得する。タイマーによる経過時間の計測は、周知であるので詳細については説明を省略する。
スクロール判断部209は、音声データの再生開始からの経過時間が、スクロールする時間に到達したかどうかを判断する。具体的には、音声再生経過時間取得部208により取得された音声データの再生開始からの経過時間と、スクロール時間情報取得部205により取得されたスクロール時間情報とを比較し、再生開始からの経過時間がスクロール時間情報の時間と一致したかどうかを判断する。経過時間とスクロール時間情報の時間が一致したときは、スクロールが必要なタイミングであるということであり、すなわち、スクロール判断部209は、スクロールが必要なタイミングになったかどうかを判断している。再生開始からの経過時間が、スクロール時間情報の時間と一致しない時は、表示部4に表示している内容は変更せず、音声制御部207による音声データの再生が継続される。
ここで、スクロール判断部209は、図3(c)の設定データに複数のスクロール時間情報が記憶されている場合は、再生開始からの経過時間が、それぞれのスクロール時間情報の時間に一致したかどうかを判断する。複数のスクロール時間情報のそれぞれの時間が、スクロールが必要なタイミングであり、スクロール判断部209は、そのタイミングになったかどうかを判断している。具体的には、例えば、英語のスクロール時間情報の“2”と“3”が取得されている場合、英語の音声データの再生開始からの経過時間が、1つ目のスクロール時間情報である2秒に到達したときに、スクロールすべき時間であると判断する。さらに、音声データの再生開始からの経過時間が、2つ目のスクロール時間情報の時間の3秒に到達したときもスクロールすべき時間であると判断する。
スクロール判断部209が、スクロールが必要であると判断した場合には、表示制御部210にスクロール表示を指示する。表示制御部210によるスクロール表示については後述する。
一方、音声データの再生開始からの経過時間が、最後のスクロール時間情報の時間に到達し、スクロール判断部209が表示制御部210にスクロール指示を行った後は、音声終了判定部211に、音声データの再生が終了したかどうかの判定を指示する。
音声終了判定部211は、音声制御部207による音声データを音声出力部6から出力させる制御が終了し、音声出力部6から音声が出力されなくなった時点で、音声データの再生が終了したと判断する。また、例えば、音声終了判定部211が、音声データの再生開始から再生終了までの再生時間であるトータル時間情報を図3(c)の設定データから取得し、音声データの再生開始からの経過時間がトータル時間情報の時間に到達したかどうかを判断し、経過時間がトータル時間情報の時間に到達していれば、音声データの再生が終了したと判断しても良い。ここで、トータル時間情報の取得については、文章番号取得部210により取得された文章番号と、設定音声速度情報取得部204により取得された再生速度情報と、再生している音声データのデータ種別(英語、日本語)とに基づき、音声終了判定部211が、図3(c)の設定データから取得すれば良い。
ここで、音声終了判定部211が、英語の音声データの再生が終了したと判断した場合は、表示制御部210に各テキストデータを先頭から各行に表示させ、英語の音声データと同じ文章番号に対応する日本語の音声データを音声制御部207に再生開始するように指示する。
また、音声終了判定部211が、日本語の音声データの再生が終了したと判断した場合は、文章番号取得部201に次の文章番号を取得させ、次の文章番号に対しても同様の処理を行う。これにより、ユーザが次の文章番号を指定する操作を行わずに、自動的に次の文章データのテキストデータの表示と音声データの再生を行うので、ユーザがより効率良く学習を行うことができる。
表示制御部210は、文章番号取得部201により文章番号が取得された後、まずは、テキストデータ取得部202により取得された各テキストデータを先頭文字から、表示部4の異なる1行に表示させる。ここで、図3(c)の設定データに、各テキストデータに対応するスクロール位置情報が存在する場合は、表示制御部210は、テキストデータの先頭文字から、1つ目のスクロール位置情報が示す位置の1つ手前の文字または単語までを、表示部4に表示させる。具体的には、例えば、文章番号“1”の英語のテキストデータを最初に表示するときには、表示制御部210は、図6(b)に示すように、図3(c)の設定データの文章番号“1”に対応する英語の1つ目のスクロール位置情報“7”が示す位置の1つ手前の6単語目の“trouble,”までを、表示部4に表示させる。発音と日本語についても同様の処理を行い、表示制御部210は、図6(b)に示すように、発音と日本語の各テキストデータについても、先頭文字から、1つ目のスクロール位置情報が示す位置の1つ手前の文字までを、表示部4の異なる1行に表示させる。ここで、図3(c)の設定データにスクロール位置情報が存在しない場合、表示制御部210は、そのテキストデータの先頭文字から最後の文字までを、表示部4に表示させる。
また、表示制御部210は、スクロール判断部209によりスクロール表示が指示された場合は、テキストデータ取得部202により取得されたテキストデータと、スクロール位置情報取得部203により取得されたスクロール位置情報とに基づき、全てのテキストデータを、表示部4でスクロール表示させる。具体的には、表示制御部210は、各テキストデータの1つ目のスクロール位置情報が示す位置以降の文字または単語から、2つ目のスクロール位置情報が示す位置の1つ手前の文字または単語までのテキストデータを、表示部4の所定位置から表示させる。つまり、表示制御部210は、テキストデータの先頭から表示していた各行の内容を、スクロール表示が指示されたタイミングで、次にスクロール表示するテキストデータの内容に切り替えて、表示部4の所定位置から表示させる。ここで、所定位置とは、表示部4の先頭(左端)として説明するが、表示部4の略中央であっても構わない。
具体的には、表示制御部210は、1つ目のスクロール時間情報が示す2秒に到達した時にスクロール表示の指示を受けて、図6(c)に示すように、文章番号“1”の英語の1つ目のスクロール位置情報が示す7単語目の“can”以降から、2つ目のスクロール位置情報が示す位置の1つ手前の11単語目の“baggage”までを、表示部4に表示させる。つまり、音声再生開始から2秒後の“can”の音声が再生されるタイミングに、“can”以降のテキストデータを表示部4に表示することができる。
これにより、スクロール位置情報が示す文字または単語の音声が再生されるタイミングに、その文字または単語の位置以降の文字または単語を表示部4の先頭から表示するので、ユーザは音声再生している文字または単語を表示部4で容易に見つけることが出来る。
さらに、発音と日本語についても同様のスクロール表示の処理を行い、表示制御部210は、図6(c)に示すように、英語と発音と日本語の各テキストデータの1つ目のスクロール位置情報の文字または単語から、2つ目のスクロール位置情報が示す位置の1つ手前の位置の文字または単語までを、表示部4のそれぞれ異なる1行に表示させる。
これにより、各テキストデータを異なる1行内で同じ方向にスクロール表示するので、英語または日本語の音声を聞きながらテキストデータ上でその音声の内容を確認する際に、いずれの音声を聞いた場合でも、その音声の内容を同じ横方向の目線の動きで、より簡単に確認することが出来る。
また、表示制御部210は、英語の音声データを再生している時は、英語の音声データの再生の経過に合わせて、少なくとも英語のテキストデータと発音のテキストデータとをスクロール表示させればよく、必ずしも日本語のテキストデータのスクロール表示は必要ではない。さらに、日本語の音声データを再生している時は、少なくとも日本語のテキストデータをスクロール表示させればよく、必ずしも英語と発音のテキストデータのスクロール表示は必要ではない。これにより、再生している音声データに関係するテキストデータがスクロール表示されるので、音声データに関連するテキストデータがいずれの行に表示されているかをユーザは認識し易くなり、音声データの内容をより容易に把握することができる。
また、表示制御部210は、英語の音声データを再生している時は、英語のテキストデータと発音のテキストデータの少なくとも一方の表示形態を、日本語のテキストデータとは異なる表示形態で表示させても良い。これにより、ユーザは、どの行を見れば音声データの内容が表示されているかを容易に把握することができる。
(処理フローおよび画面例)
図5は、表示装置1が実行する処理の流れを示すフローチャートの概要の一例について説明する。図6は、前記処理の実行中に表示部4に表示されるUI画面の一例を示す図である。図5に示す処理の流れを、図6に示すUI画面を参照しながら説明する。
表示制御部210は、図6(a)に示すように、図3(a)のテキストデータ中のいずれかの文章データを選択可能な文章選択画面を表示部4に表示させる(S101)。ここでは、文章選択画面は、図6(a)のように文章データを分類した分類名を表示するが、文章データに対応する文章番号をいくつか表示しても良い。図6(a)に示すように、表示制御部210が文章の難易度や使用シーン等に分類した分類名を表示部4に表示させている場合、図3(a)のテキストデータの各文章番号に分類名を対応付けて記憶していれば(図示なし)、入力部3から特定された分類名に基づき、文章番号取得部201は、その分類名の中で一番小さい文章番号や、または、その分類名に対応する文章番号からランダムに1つの文章番号を取得すればよい。
文章番号取得部201は、入力部3からのユーザの入力に基づき、入力された分類名に属する文章番号を取得する(S102)。例えば、入力された分類名に属する一番小さい数値の文章番号を取得する。具体的には、図6(a)で「入門編」がフォーカスされている場合に、入力部3の決定ボタン35が入力されると、分類名が入門編に対応付けられた文章番号の中のいずれかの文章番号、例えば、入門編の中で一番小さい数値の文章番号を取得する。
テキストデータ取得部202は、文章番号取得部201により取得された文章番号に対応する英語のテキストデータと、発音のテキストデータと、日本語のテキストデータとを、図3(a)のテキストデータから取得する(S103)。
スクロール位置情報取得部203は、文章番号取得部201により取得された文章番号に基づき、各テキストデータに対応するスクロール位置情報を、図3(c)の設定データから取得する(S104)。
設定音声速度情報取得部204は、英語と日本語のそれぞれの音声種別に対応する再生速度情報を、図3(d)の設定音声速度データから取得する(S105)。
スクロール時間情報取得部205は、文章番号取得部201により取得された文章番号と、設定音声速度情報取得部204により取得された設定音声速度に基づき、各テキストデータに対応するスクロール時間情報を、図3(c)の設定データから取得する(S106)。
音声データ取得部206は、設定音声速度情報取得部204により取得された設定音声速度に基づき、第1言語と第2言語のそれぞれの音声種別に対応する音声データを、図3(b)の音声データから取得する(S107)。
表示制御部210は、テキストデータ取得部202により取得された各テキストデータと、スクロール位置情報取得部203により取得された各テキストデータのスクロール位置情報とに基づき、各テキストデータの先頭文字からスクロール位置情報が示す位置の1つ手前の文字または単語までを表示部4の各行の先頭から表示させる(S108)。ここまでの処理に基づき、例えば、図6(b)に示すように、英語と発音と日本語の各テキストデータの先頭文字から、各テキストデータの1つ目のスクロール位置情報が示す位置の1つ手前の文字または単語までを、表示部4の各行の先頭から表示する。
音声制御部207は、音声データ取得部206により取得された音声データを、音声出力部6から出力させる(S109)。
音声再生経過時間取得部208は、音声制御部207により音声データの再生開始からの経過時間を取得する(S110)。
スクロール判断部209は、音声再生経過時間取得部208により取得された経過時間が、スクロール時間情報取得部205により取得されたスクロール時間に到達したかどうか判断する(S111)。スクロール時間に到達していない場合は、音声制御部207により音声データの再生を継続した状態で、再度、S110で音声再生経過時間取得部208による経過時間の取得を行い、スクロール時間に到達したかどうかを継続して判断する。
一方、S111で音声データの再生開始からの経過時間がスクロール時間に到達したと判断した場合、表示制御部210は、スクロール位置情報取得部203により取得された各テキストデータのスクロール位置情報に基づき、各テキストデータを表示部4の各行でスクロール表示させる(S112)。つまり、各テキストデータのスクロール位置情報が示す位置以降の文字または単語から次のスクロール位置情報が示す位置の1つ前の文字または単語までを、表示部4の各行の先頭から表示する。
ここまでの処理に基づき、図6(b)を図6(c)で示すような表示に切り替える。すなわち、表示部4の異なる行の先頭から表示している各テキストデータの先頭文字以降の内容を、スクロールする時間に到達した時に、1つ目のスクロール位置情報の位置以降の文字または単語からの内容に切り替えることにより、スクロール表示を行うことができる。
スクロール判断部209は、スクロール時間情報取得部205により取得された各テキストデータのスクロール時間情報の中で、S111で判断されたスクロール時間の次のスクロール時間が存在しているかどうかを判断する(S113)。次のスクロール時間が存在している場合は、S111で判断するスクロール時間として、次のスクロール時間を設定する(S114)。S114で、次のスクロール時間を設定した後は、音声制御部207により音声データの再生を継続した状態で、再度、S110で音声再生経過時間取得部208による経過時間の取得を行う。その後、S111とS112の処理を行うことにより、図6(d)に示すように、各テキストデータを2つ目のスクロール位置情報が示す位置以降の文字または単語からの表示に切り替え、スクロール表示を行うことができる。
一方、S113で次のスクロール時間が存在しないと判断した場合、音声終了判定部211は、音声データの再生が終了したかどうかを判断する(S115)。音声データの再生が終了しない限りは、音声制御部207により音声データの再生を継続する。
一方、S115で音声データの再生が終了した場合は、音声データの再生処理を終了する。
ここで、S115で英語の音声データの再生が終了したと判断した場合は、英語の音声データと同じ文章番号の日本語の音声データを再生し、英語の音声データの再生時と同様に、日本語の音声データの再生と、その再生に合わせた各テキストデータの各行でのスクロール表示を行っても良い。つまり、S108の処理に戻り、S108で各テキストデータを先頭から各行に表示し、S109で音声データ取得部206により取得した日本語の音声データを出力し、S110以降の処理で日本語の音声データの再生と各テキストデータのスクロール表示を行っても良い。具体的には、図6(d)で英語の音声データの再生が終了した後、図6(e)から図6(g)に示すように、日本語の音声データの再生と、日本語の音声データの再生に合わせて、各テキストデータのスクロール表示を行っても良い。このように、英語の音声と日本語の音声とを連続して再生し、それぞれの音声の再生に合わせて、その音声に一致する内容をスクロール表示することによって、ユーザは、英語の聞き取りと、英語の意味とを連続して目と耳の両方で確認することができ、学習効果を向上させることができる。
(第2の実施形態)
以下、本発明の第2の実施形態について、図面を参照しつつ説明する。なお、下記において上記第1の実施形態と同様である点については説明を省略する。
図7は、第2の実施形態における各テキストデータのスクロール表示の他の実施形態である。
第2の実施形態は、各テキストデータにおいて、出来る限り多くの文字または単語を表示してスクロール表示するものである。
具体的には、例えば、図6(a)のような文章選択画面を表示し、入力部3からのユーザの入力に基づき文章番号が特定されたとき、図6(b)の代わりに、図7(a)で示すような表示を行い、その後、図7(b)で示すようなスクロール表示を行う。図7(a)と図7(b)は、図6(b)や図6(c)に比べて、各行における空白部分が少なく、より多くの文字または単語を表示している。このようなスクロール表示を行う場合について、英語のテキストデータを例にして説明する。
具体的には、図7のようなスクロール表示を行う場合は、図3(c)の設定データには、データ種別が英語に対応するスクロール位置情報は、9単語目の“leave”の位置情報の“9”が記憶され、スクロール時間情報は“2.5”が記憶されている。そして、スクロール位置情報取得部203によりスクロール位置情報として“9”、スクロール時間情報取得部205によりスクロール時間情報として“2.5”が取得される。そして、図7(a)に示すように、表示制御部210は、英語のテキストデータの先頭単語からスクロール位置情報の1つ手前の位置の“I”までを表示部4に表示させる。本実施形態の場合は、スクロール位置情報として、表示部4の右端の位置まで英語のテキストデータの表示を行えるような位置情報が取得されているので、英語のテキストデータの文字を出来るだけ多く表示できる。
その後、音声制御部207により英語の音声データが再生され、音声再生経過時間取得部208により再生からの経過時間が取得される。それから、スクロール判断部209は、音声再生経過時間取得部208により取得された経過時間が、スクロール時間情報の時間に到達したかどうかを判断する。ここでは、例えば、スクロール判断部209は、音声再生経過時間取得部208により取得された経過時間が、2.5秒に到達したかどうかを判断する。経過時間がスクロール時間情報の時間(ここでは、2.5秒)に到達したときは、スクロール位置情報の位置の単語の“leave”が音声再生されるタイミングであり、かつ、“leave”を表示させるスクロール表示をするタイミングであり、スクロール判断部209は、そのタイミングであるかどうかを判断する。
そして、スクロール判断部209が、経過時間がスクロール時間情報の時間(ここでは、2.5秒)に到達したと判断したときは、さらに、スクロール位置情報取得部203により取得されたスクロール位置情報の中で、次のスクロール位置情報があるかどうか判断する。
次のスクロール位置情報が存在しない場合、表示制御部210は、スクロール位置情報の“leave”から表示部4に表示させるのではなく、英語のテキストデータの最後の文字が表示部4の右端に表示されるように、表示部4の先頭に表示させる単語を英語のテキストデータから取得し、その単語から最後の文字までを表示部4に表示させる。つまり、表示制御部210は、次にスクロール表示するものがない場合は、これから表示するテキストデータは、表示部4に空白部分が生じないように、テキストデータの最後の文字を表示部4の右端に表示させ、より多くの文字を表示できるように、表示部4の先頭に表示する文字を調整する。
さらに、表示制御部210は、具体的には、例えば、図7(b)に示すように、表示部4の右端に最後の文字“?”を表示させ、かつ、最も多くの単語が表示されるように、表示部4の先頭に表示させる単語を決定し、その単語から最後の文字までの範囲のテキストデータを表示部4に表示させる。ここで、表示する英語のテキストデータの範囲は、英語のテキストデータの最後の文字“?”の位置からテキストデータの先頭方向に、表示部4で表示可能な文字数分戻った位置を取得し、その位置の文字から表示するようにすれば、より多くの文字または単語を表示することができる。図7(b)では、テキストデータ中の“?”の位置から、表示可能な文字数分戻った位置の単語の“I”以降から最後の文字の“?”までを表示する。
さらに、表示制御部210は、最後のスクロール画面を表示するときに、1つ前の画面で既に表示していた文字または単語と、新たにスクロール表示した文字または単語とを異なる表示形態で、前記表示部に表示させる。具体的には、最後のスクロール画面において、先頭に表示している文字または単語から、最後のスクロール位置情報の1つ前の位置の文字または単語までを異なる表示形態で表示する。つまり、最後のスクロール画面内において、新たにスクロール表示した文字または単語は、これから再生する英語の音声データに含まれているので、異なる表示形態で表示されている部分の文字または単語を見れば、音声データの内容を把握することができる。これにより、ユーザは、より少ない目線の動きで、より簡単に音声データの内容を確認することができる。
例えば、具体的には、表示制御部210は、図7(b)に示すように、“I”が、線で囲われており、“leave”以降の他の文字とは異なる表示形態で表示部4に表示させる。ここで、異なる表示形態とは、線で囲うことに限らず、文字のフォントの種類を変えたり、文字の色を変えたり、下線を表示してもよい。また、新たにスクロール表示した文字または単語の方を、線で囲ったり、色を変えたりしても構わない。
さらに、表示制御部210は、発音のテキストデータと日本語のテキストデータについても、英語のテキストデータと同様のスクロール表示の処理を行う。これにより、表示制御部210は、最後のスクロール画面において、各テキストデータにおいて、より多くの文字または単語を表示部4に表示させることができ、また、異なる表示形態で表示されている部分を見れば、再生されている音声データの内容を簡単により少ない目線の動きで確認することができる。
(第3の実施形態)
以下、本発明の第3の実施形態について、図面を参照しつつ説明する。なお、下記において上記第1及び第2の実施形態等と同様である点については説明を省略する。
図8は、第3の実施形態における各テキストデータのスクロール表示の他の実施形態である。
第3の実施形態は、テキストデータ取得部202により取得された英語のテキストデータと、発音のテキストデータと、日本語のテキストデータとを表示部4の異なる1行に表示したときに、入力部3の文字拡大ボタン33により、文字サイズを大きくして、2行表示でスクロール表示するものである。
具体的には、テキストデータ取得部202により、図3(a)のテキストデータ中から文章番号が“3”のテキストデータが取得されている場合、スクロール位置情報取得部203により、図3(c)の文章番号3に対応する英語のスクロール位置情報“5”と、発音のスクロール位置情報“13”と、日本語のスクロール位置情報“-”が取得される。そして、図8(a)に示すように、表示制御部210により、各テキストデータの先頭文字からスクロール位置情報の1つ前の位置の文字または単語までを、各テキストデータを表示部4の異なる1行に表示させる。スクロール位置情報が“-”の場合は、スクロール位置情報が存在しないという意味であり、表示制御部210は日本語のテキストデータを全て表示部4に表示させる。
その後、入力部3の文字拡大ボタン33の入力に基づき、図8(b)に示すように、表示制御部210は、表示する文字サイズを拡大し、英語のテキストデータと発音のテキストデータとを、表示部4に2行で表示させる。そして、音声制御部207は、英語の音声データの再生を開始し、再生の経過に合わせて、表示制御部210は、図8(c)に示すように、表示部4でスクロール表示させる。
さらに、英語の音声データの再生が終了すると、図8(d)に示すように、表示制御部210は、英語のテキストデータと日本語のテキストデータとを拡大した文字サイズで、表示部4に2行で表示させる。そして、音声制御部207は、日本語の音声データの再生を開始し、再生の経過に合わせて、表示制御部210は、図8(e)に示すように、英語のテキストデータのみを、表示部4でスクロール表示させる。
本実施形態では、表示制御部210は、英語の音声データを再生している時は、英語のテキストデータと発音のテキストデータのみを表示部4に表示させているので、ユーザは、英語の音声データを聞きながら、その発音内容を表示部4上で確認することができ、リスニングやスピーキングに特化した学習をより効率的に行うことができる。さらに、日本語の音声データを再生している時は、英語のテキストデータと日本語のテキストデータとを表示しているので、日本語の音声を聞きつつ日本語のテキストデータも見ながら、英語の内容を確認することができるので、英語のライティングに特化した学習をより効率的に行うことができる。さらに、文字サイズも大きいので、ユーザは表示されている内容をより簡単に確認することができる。また、図8に示したように、英語の音声データと日本語の音声データを連続して再生し、リスニングやスピーキングと、ライティングの学習を連続して行うことができるので、ユーザの学習効果がより上がる。
(第4の実施形態)
以下、本発明の第4の実施形態について、図面を参照しつつ説明する。なお、下記において上記第1乃至第3の実施形態等と同様である点については説明を省略する。
第4の実施形態は、音声データの再生が終了した時に、各テキストデータのスクロール表示を終了させるように、スクロールする時間を調整するものである。
第4の実施形態において、スクロール時間情報取得部205は、スクロール時間情報だけでなく、トータル時間情報も取得する。トータル時間情報は、音声データの再生開始から再生終了までの再生時間である。ここでは、トータル時間情報は、図3(c)の設定データの文章番号とデータ種別と速度とに対応付けて記憶している。
さらに、スクロール時間情報取得部205は、スクロール位置情報取得部203により取得されたスクロール位置情報の個数をカウントし、その個数に1を加算して、表示する画面数を算出する。ここで、スクロール位置情報が1個存在する場合は、スクロール表示する画面が1つと、スクロール表示する前の画面が1つの合計2つ存在することを意味しており、つまり、スクロール位置情報の個数に1を加算すれば、表示する画面数を算出することができる。
それから、スクロール時間情報取得部205は、トータル時間情報の時間を、表示する画面数で除算した値を算出する。この除算した値を、スクロール位置情報の個数に合わせて加算し、新たなスクロール時間情報とする。例えば、スクロール位置情報が2つあり、トータル時間情報の時間を画面数で除算した値が2であれば、1つ目のスクロール時間情報は除算した値の“2”、2つ目のスクロール位置情報は除算した値の“2”に“2”を加算した“4”とする。これは、つまり、音声データの再生開始から2秒後に1回目のスクロール表示を行い、再生開始から4秒後に2回目のスクロール表示を行うことを意味している。
さらに、上記第1乃至第3の実施形態と同様に、スクロール判断部209は、音声データの再生開始からの経過時間が、スクロール時間情報取得部205により新たに算出されたスクロール時間情報の時間に到達したかどうか判断し、到達したと判断した場合に、表示制御部210は表示部4にスクロール表示させる。これにより、音声データの再生が終了するまでに、テキストデータのスクロール表示は終了することができる。
具体的には、テキストデータ取得部202により、図3(a)のテキストデータ中から文章番号が“3”のテキストデータが取得され、図3(d)の日本語の再生速度情報に“1”が記憶されている場合で、日本語の音声データを再生している時に、英語と発音のテキストデータをスクロールする時間について説明する。
スクロール時間情報取得部205は、図3(c)の文章番号“3”、データ種別が日本語、再生速度情報“1”に対応する速度1のトータル時間情報の“2”を取得する。さらに、スクロール時間情報取得部205は、スクロール位置情報の個数をカウントするが、スクロール位置情報取得部203により取得された英語に対応するスクロール位置情報は“5”しかないので、スクロール位置情報の個数として“1”を取得する。また、発音に対応するスクロール位置情報の個数についても、同様にカウントし、“1”を取得する。さらに、スクロール時間情報取得部205は、トータル時間情報の“2”を、スクロール位置情報の個数“1”に1を加算した“2”で除算し、“1”を算出し、この“1”を新たなスクロール時間情報として取得する。
そして、スクロール判断部209により、日本語の音声データの再生開始からの経過時間が、新たに設定されたスクロール時間情報の“1”が示す1秒に到達したと判断した場合、表示制御部210は、英語のテキストデータを表示部4でスクロール表示させる。発音のテキストデータも同様の処理を行い、日本語の音声データの再生開始からの経過時間が1秒に到達したときに、表示制御部210は、発音のテキストデータを表示部4でスクロール表示させる。
つまり、日本語の音声データの再生開始から終了までの2秒の間に、2つの画面を1秒ずつ表示し、全てのテキストデータの表示を完了することができる。これにより、音声データの再生が終了した時点で、全てのテキストデータの内容が表示されるので、音声の再生終了後すぐに、次の対象となる音声データの学習に進むことができ、ユーザはより短い時間で効率良く学習を進めることができる。
(第5の実施形態)
以下、本発明の第5の実施形態について、図面を参照しつつ説明する。なお、下記において上記第1乃至第4の実施形態等と同様である点については説明を省略する。
第5の実施形態は、上記第1乃至第4の実施形態で説明したような1画面ずつ切り替えて表示するスクロールではなく、文字または単語を、1文字ずつ、または、1単語ずつ移動させるスムーススクロールに関する実施形態である。
スムーススクロールする場合は、表示制御部210は、図3(c)のスクロール位置情報とスクロール時間情報とに基づき、音声データの再生開始からスクロール時間情報の時間が経過するまでに、スクロール位置情報の位置の文字または単語を、表示部4のいずれかの位置に表示させるように、表示部4に既に表示されている文字または単語を、表示部4の左方向に徐々に移動させスクロール表示させる。
具体的には、表示制御部210は、例えば、英語のテキストデータにおいて、スクロール位置情報が“5”、スクロール時間情報が“2”の場合、音声データの再生開始からスクロール時間情報の2秒経過するまでに、スクロール位置情報の5単語目が表示部4の先頭に表示させるように、テキストデータを左方向に表示部4でスムーススクロールさせる。つまり、5単語目より前の既に表示している4つの単語について、0.5秒経過するごとに1単語ずつ左方向に動かせば、2秒後には5単語目を表示部4の先頭に表示し、スムーススクロールを実現できる。
このようなスムーススクロールを実現するには、スクロール時間情報取得部205は、スクロール時間情報の時間を、現在表示している単語数で除算し、除算した数値を、現在表示している各単語を左方向に動かすスクロール時間情報として取得する。さらに、スクロール判断部209により、音声データの再生開始からの経過時間がスクロール時間情報に到達したと判断されたときに、表示制御部210は、現在、表示部4の先頭位置に表示している単語の次の単語以降を、表示部4の先頭から表示させ、スムーススクロールさせることができる。
発音と日本語のテキストデータについても、同様に、スクロール位置情報とスクロール時間情報に基づき、スムーススクロールを行うことができる。また、英語のテキストデータについても、テキストデータ内の文字数をカウントし、発音と日本語のテキストデータと同様に、1文字ずつ移動させるスムーススクロールを行っても良い。さらに、文字や単語ではなく、表示部4のドット毎に移動させるスムーススクロールを行っても良い。この場合は、表示制御部210は、表示部4の先頭の文字のドットから、スクロール位置情報が示す文字の最後のドットまでを、再生開始からの経過時間がスクロール時間に到達するまでに、最後のドットが表示部4に表示される速度で、左方向に徐々に表示部4で移動させ表示させればよい。これにより、スクロール時間に到達するまでに、スクロール位置情報が示す文字が表示部4に表示されるようにスムーススクロールを行うことができる。
図9は、本実施形態におけるスムーススクロールするときの表示部4に表示されるUI画面の一例を示す図であり、図9に基づいて詳細を説明する。
具体的には、図9(a)に示すように、表示制御部210は、文章番号“2”に対応する各テキストデータを、表示部4の異なる行にそれぞれ表示させ、音声制御部207は、英語の音声データを音声出力部6から再生開始させる。
さらに、スクロール判断部209により、再生開始からの経過時間がスクロール時間情報の時間に到達したと判断されたときに、表示制御部210は、図9(b)で示すように、表示部4に表示させる。すなわち、図9(a)で表示していた英語のテキストデータを左方向に1単語分スクロールする。具体的には、表示制御部210は、英語のテキストデータの右端の単語“baggage”の次の単語“until”を表示部4の右端に表示させ、2単語目の“you”を表示部4の先頭に表示させる。発音のテキストデータと、日本語のテキストデータについても同様に、各文字を左方向にスクロールする。
さらに、同様に、音声データの再生の経過に合わせて、表示制御部210は、図9(c)と図9(d)で示すように、各テキストデータの各単語または各文字を左方向に表示部4でスクロール表示させる。
ここで、スクロール判断部209は、表示部4の右端に表示している単語がテキストデータ中の最後の文字であるかどうかを判断し、最後の文字が表示されていると判断した場合は、そのテキストデータについては、表示制御部210にスクロール表示を指示しない。
具体的には、例えば、図9(e)に示すように、音声データの再生は継続されている状態であっても、スクロールを行わず、表示部4に表示している内容を継続して表示する。これにより、各行において空白部分を少なくし、より多くの文字または単語を表示することができるので、ユーザはより多くの情報を得ることができる。
ここで、図3(a)の文章番号が“3”の文章データを図8(a)のように表示した後に、スムーススクロールする場合についてさらに説明する。図8(a)で示すように、日本語のテキストデータは短く、最初から全ての文字が表示されているので、左方向へのスクロールは行わず、英語のテキストデータと発音のテキストデータのみスムーススクロールを行う。つまり、スクロール判断部209により、各テキストデータ中の最後の文字が表示されているかどうかを、テキストデータ毎に判断しているので、他のテキストデータがスクロールしていても、既に最後の文字が表示されているテキストデータはスクロールしない。すなわち、各テキストデータにおいて、より多くの文字または単語を表示することができる。これにより、ユーザは、それぞれのテキストデータにおいて、より多くの情報を得ることができる。
(第6の実施形態)
以下、本発明の第6の実施形態について、図面を参照しつつ説明する。なお、下記において上記第1乃至第5の実施形態等と同様である点については説明を省略する。
第6の実施形態は、音声データで再生されている文字または単語が、所定位置に表示されるようにスムーススクロールするものである。
図10は、本実施形態におけるスムーススクロールするときの表示部4に表示されるUI画面の一例を示す図であり、図10に基づいて詳細を説明する。
本実施形態では、各テキストデータ内の文字または単語が、音声再生開始から何秒後に再生されるかというスクロール時間情報を、各文字または各単語に対応して、図3(c)の設定データに記憶されているものとして説明する。
具体的には、表示制御部210は、図10(a)に示すように、表示部4の略中央部の3行分を囲う表示枠を表示させる。この表示枠は、音声データで再生されている文字または単語が、表示部4のどこに表示されるかを示すためのものである。
さらに、表示制御部210は、各テキストデータの先頭の文字または単語以降を、表示部4の各行の表示枠の位置から表示させる。そして、音声制御部207は、英語の音声データを音声出力部6から再生開始させる。
それから、スクロール判断部209により、音声データの再生開始からの経過時間が、スクロール時間情報の時間に到達したと判断されたときに、表示制御部210は、表示部4の表示枠の位置に、そのスクロール時間情報に対応する単語を表示させ、英語のテキストデータを表示部4の左方向にスムーススクロールさせる。具体的には、図10(b)から図10(d)に示すように、英語の音声データの再生の経過に合わせて、各テキストデータを各行でスムーススクロールする。
さらに、スクロール判断部209は、表示枠の位置に英語のテキストデータの最後の単語が表示されているかどうかを判断する。スクロール判断部209により、表示枠の位置に英語のテキストデータの最後の単語が表示されていると判断された場合は、表示制御部210は表示部4でスムーススクロールを行わせず、現在表示している英語のテキストデータの表示内容を表示部4で継続して表示させる。具体的には、図10(e)に示すように、英語のテキストデータのスムーススクロールを止めて、英語のテキストデータの最後の単語の一部が表示枠内に表示された状態を継続する。
発音のテキストデータについても、発音の文字が英語の音声データの再生開始から何秒後に再生されるかというスクロール時間情報を各文字に対応して記憶しているので、英語のテキストデータと同様に、スムーススクロールすることができる。ここで、発音のテキストデータの全ての文字に対してスクロール時間情報を備えていなくても、いくつかの文字に対するスクロール時間情報を備えていれば、そのスクロール時間情報を備えている文字と文字の間のテキストデータを、スクロール時間情報の時間間隔内にスムーススクロールすればよい。
日本語のテキストデータについては、英語の音声データを再生しているときには、日本語のテキストデータは一定速度でスムーススクロールするようにすればよい。さらに、日本語のテキストデータの最後の文字が、表示部4に表示された時点でスクロールを止めても構わない。また、日本語の音声データを再生しているときは、日本語のテキストデータに対応するスクロール時間情報に基づき、英語のテキストデータと同様に、スムーススクロールすればよい。
また、表示枠の位置については、ユーザが変更可能にしても良い。さらに、表示枠を表示せずに、表示枠の位置に表示される単語または文字を、他の文字や単語とは異なる表示形態で表示しても良く、また、点滅表示を行うようにしても構わない。
このように、音声データで再生されている文字や単語を、表示枠内に表示するようにスクロールすることにより、ユーザは表示枠内を見ていれば、目線をあまり動かすことなく、より簡単に音声データの内容を確認することができる。