JP2016012098A - 電子図書再生装置及び電子図書再生プログラム - Google Patents
電子図書再生装置及び電子図書再生プログラム Download PDFInfo
- Publication number
- JP2016012098A JP2016012098A JP2014134910A JP2014134910A JP2016012098A JP 2016012098 A JP2016012098 A JP 2016012098A JP 2014134910 A JP2014134910 A JP 2014134910A JP 2014134910 A JP2014134910 A JP 2014134910A JP 2016012098 A JP2016012098 A JP 2016012098A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- text data
- display
- electronic book
- divided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】テキストデータが日本語の場合であっても、音声再生中のテキストデータを句読点で区切られた一文よりも短い単位で表示部で表示可能な電子図書再生装置を提供する。【解決手段】音声データ記憶部35と、音声データを再生する音声データ出力制御部36と、テキストデータ記憶部40と、テキストデータのうちの全部又は一部を表示する表示部34と、表示部34に表示されたテキストデータと再生された音声データを同期させ、出力中の音声データに該当する箇所の語をハイライト表示させるハイライト表示手段42と、表示部34に表示されたテキストデータの形態要素を解析して分かち書き単位を作成する分かち書き単位作成手段41と、分かち書き単位ごとの発音時間を算出する発音時間算出手段48とを具備し、ハイライト表示手段42は、各分かち書き単位に対して、算出された発音時間ハイライト表示を行う。【選択図】図1
Description
本発明は、電子図書を音声再生する電子図書音声再生装置、及び電子図書を音声再生するように制御する電子図書再生プログラムに関する。
電子データとしてあらかじめ記憶されている電子図書を音声として再生する装置が従来から知られている(例えば、特許文献1参照)。この特許文献1に開示されている装置は、DAISY(Digital Accessible Information SYstem)規格によるデジタル録音図書を再生する装置であり、特に視覚に障害がある人たちが読書を楽しむことが出来るように、本に記載されている文章情報を音声として読み上げることができる装置である。
一方、音声再生できる装置に表示部を設け、表示部にはテキストを表示させる装置も従来から知られている(例えば、特許文献2参照)。この特許文献2に開示されている装置は、特に英会話の練習用に用いられる装置であって、表示部には英文のテキストデータが表示され、スピーカからは表示部に表示されている英文の音声データが再生される。
そして、特許文献2に開示されている装置では、再生する音声データと表示部に表示させているテキストデータとを同期させ、現在再生中の音声データに該当するテキスト位置を対応付けできるとしている。
上述した特許文献2のように、再生中の音声データと表示中のテキストデータを同期させ、表示中のテキスト部分をハイライト表示させるものについては、テキストデータが英文の場合には単語と単語の間にスペースが存在するため、現在再生中の単語位置の表示はさせやすい。
一方、テキストデータが日本語の場合、日本語は句読点以外の部分では区切りがないため、音声再生中のテキストデータをハイライト表示させると、句読点間の長い一文でしかハイライト表示がされない。
このため、音声再生中のテキストデータをハイライト表示させるときに、さらに細かい範囲でハイライト表示をさせたいという課題がある。
一方、テキストデータが日本語の場合、日本語は句読点以外の部分では区切りがないため、音声再生中のテキストデータをハイライト表示させると、句読点間の長い一文でしかハイライト表示がされない。
このため、音声再生中のテキストデータをハイライト表示させるときに、さらに細かい範囲でハイライト表示をさせたいという課題がある。
そこで、本発明は上記課題を解決すべくなされ、その目的とするところは、テキストデータが日本語の場合であっても、音声再生中のテキストデータを句読点で区切られた一文よりも短い単位で表示部で表示可能な電子図書再生装置及び電子図書再生プログラムを提供することにある。
本発明にかかる電子図書再生装置によれば、図書の文章情報の音声データを記憶する音声データ記憶部と、該音声データ記憶部内の音声データを再生して出力可能とする音声データ出力制御部と、図書の文字情報のテキストデータを記憶するテキストデータ記憶部と、該テキストデータ記憶部内のテキストデータのうちの全部又は一部を表示する表示部と、前記表示部に表示されたテキストデータと、音声データ出力制御部から出力される音声データを同期させ、出力中の音声データに該当する箇所をハイライト表示させるハイライト表示手段と、前記表示部に表示されたテキストデータの形態要素を解析して分かち書き単位を作成する分かち書き単位作成手段と、該分かち書き単位作成手段によって作成された分かち書き単位ごとの発音時間を算出する発音時間算出手段とを具備し、前記ハイライト表示手段は、前記音声データ出力制御部からの音声出力開始と同時に、前記表示部に表示されている最初の分かち書き単位をハイライト表示し、現在ハイライト表示中の各分かち書き単位の発音時間が経過すると、発音時間が経過した箇所の分かち書き単位のハイライト表示を通常の表示に戻し、次の分かち書き単位をハイライト表示することを特徴としている。
この構成によれば、電子図書の音声データとテキストデータとを読み出す装置において、表示部で表示中の日本語のテキストについて、現在音声出力中の分かち書きされた箇所をハイライト表示させることができる。
この構成によれば、電子図書の音声データとテキストデータとを読み出す装置において、表示部で表示中の日本語のテキストについて、現在音声出力中の分かち書きされた箇所をハイライト表示させることができる。
また前記ハイライト手段は、前記音声データ出力制御部からの音声出力に無音時間があることを検出した場合には、無音時間の次の分かち書き単位の発音開始と、無音時間の次の分かち書き単位のハイライト表示の開始を同時に行うことによって、音声出力とハイライト表示の同期を取り直すことを特徴としてもよい。
この構成によれば、音声出力に無音時間が存在していた場合には、この無音時間の終了時から次の音声出力開始タイミングとハイライト表示開始タイミングを合わせることで同期をとることができる。すなわち、音声データとハイライト表示との間でズレが生じたとしても、無音時間があれば、そこでズレをなくしてタイミングを合わせることができる。なお、一般的には、無音時間が生じるのは、文の区切りである句読点である可能性が高い。
この構成によれば、音声出力に無音時間が存在していた場合には、この無音時間の終了時から次の音声出力開始タイミングとハイライト表示開始タイミングを合わせることで同期をとることができる。すなわち、音声データとハイライト表示との間でズレが生じたとしても、無音時間があれば、そこでズレをなくしてタイミングを合わせることができる。なお、一般的には、無音時間が生じるのは、文の区切りである句読点である可能性が高い。
本発明にかかる電子図書再生装置によれば、図書の文字情報のテキストデータを記憶するテキストデータ記憶部と、前記テキストデータ記憶部内のテキストデータを音声出力可能とするTTS制御部と、該テキストデータ記憶部内のテキストデータのうちの全部又は一部を表示する表示部と、前記表示部に表示されたテキストデータと、TTS制御部から出力される音声データとを同期させ、出力中の音声データに該当する箇所をハイライト表示させるハイライト表示手段と、前記表示部に表示されたテキストデータの形態要素を解析して分かち書き単位を作成する分かち書き単位作成手段と、該分かち書き単位作成手段によって作成された分かち書き単位ごとの発音時間を算出する発音時間算出手段とを具備し、前記ハイライト表示手段は、前記TTS制御部からの音声出力開始と同時に、前記表示部に表示されている最初の分かち書き単位をハイライト表示し、現在ハイライト表示中の各分かち書き単位の発音時間が経過すると、発音時間が経過した箇所の分かち書き単位のハイライト表示を通常の表示に戻し、次の分かち書き単位をハイライト表示することを特徴としている。
この構成を採用することによって、テキストデータから音声出力とテキストの表示とを行う装置において、表示部で表示中の日本語のテキストについて、現在音声出力中の分かち書きされた箇所をハイライト表示させることができる。なお、本発明におけるTTS制御部とは、テキストデータを読み出し可能な公知のTTS(text to speech)システムを実行する制御部を指す。
この構成を採用することによって、テキストデータから音声出力とテキストの表示とを行う装置において、表示部で表示中の日本語のテキストについて、現在音声出力中の分かち書きされた箇所をハイライト表示させることができる。なお、本発明におけるTTS制御部とは、テキストデータを読み出し可能な公知のTTS(text to speech)システムを実行する制御部を指す。
本発明によれば、テキストデータが日本語の場合であっても、音声再生中の箇所を細かい範囲で表示部においてハイライト表示できる。
(第1の実施形態)
本発明に係る電子図書再生装置全体の概略構成を図1に示す。
電子図書再生装置30は、スピーカ32及び表示部34を備えており、あらかじめ記憶された図書をスピーカ32から音声出力するとともに、図書の内容をテキストとして表示部34に表示させる装置である。また、図書の内容としてのテキストは日本語であるとする。
本発明に係る電子図書再生装置全体の概略構成を図1に示す。
電子図書再生装置30は、スピーカ32及び表示部34を備えており、あらかじめ記憶された図書をスピーカ32から音声出力するとともに、図書の内容をテキストとして表示部34に表示させる装置である。また、図書の内容としてのテキストは日本語であるとする。
電子図書再生装置30は、図書の文章情報を音声データとして記憶している音声データ記憶部35を備えている。音声データ記憶部35としては、半導体メモリ、ハードディスクドライブなどを挙げることができる。ただし、音声データ記憶部35としては、電子図書を音声データとして記憶していればよく、リムーバブルディスクであるCD又はDVDであってもよいし、USBメモリなどであってもよい。
音声データ出力制御部36は、ユーザが操作可能な操作スイッチ38に接続されている。音声データ出力制御部36は、操作スイッチ38からの操作信号に基づいて、音声データ記憶部35から所望の音声データを抽出してスピーカ32で再生できるように制御する。
また、電子図書再生装置30は、記憶されている音声データのテキストデータを記憶するテキストデータ記憶部40を有している。テキストデータ記憶部40としては、半導体メモリ、ハードディスクドライブなどを挙げることができる。また、テキストデータ記憶部40としては、電子図書をテキストデータとして記憶していればよく、リムーバブルディスクであるCD又はDVDであってもよいし、USBメモリなどであってもよい。
なお、音声データ記憶部35とテキストデータ記憶部40とを同一の記憶部としてもよい。例えば、同一のリムーバブルディスクや同一のUSBメモリ内に音声データとテキストデータの両方が記憶されている場合などがある。
表示部34に表示されるテキストデータは、ハイライト表示手段42によって現在再生出力中の語がハイライト表示手段42によってハイライト表示される。
ハイライト表示とは、音声出力中の語の背景色を他の部分の背景色とは異なる色として表示させることである。例えば、背景色が白色で、文字が黒色の場合に、音声出力中の語の背景色を黄色にすることにより、音声出力中の語を目立たせることができる。
ハイライト表示とは、音声出力中の語の背景色を他の部分の背景色とは異なる色として表示させることである。例えば、背景色が白色で、文字が黒色の場合に、音声出力中の語の背景色を黄色にすることにより、音声出力中の語を目立たせることができる。
また、本実施形態では、テキストデータのハイライト表示させるために、分かち書き単位作成手段41によって日本語のテキストデータを分かち書きし、分かち書きした単位でハイライト表示させている。このようにすることで、現在再生出力中の箇所がわかりやすく表示される。
テキストデータ記憶部40に記憶されているテキストデータを分かち書きする分かち書き単位作成手段41について以下に説明する。
分かち書き単位作成手段41は、テキストデータを品詞ごとに分割する分割手段44と、分割した品詞を結合して分かち書き単位を作成する結合手段46とを有している。分かち書き単位作成手段41としては、テキストデータを品詞ごとに分割する機能を有するプログラムと、所定のアルゴリズムに基づいて品詞を結合させる機能を有するプログラムとが、CPUなどの処理装置に読み込まれることによって実現可能となる。
分かち書き単位作成手段41は、テキストデータを品詞ごとに分割する分割手段44と、分割した品詞を結合して分かち書き単位を作成する結合手段46とを有している。分かち書き単位作成手段41としては、テキストデータを品詞ごとに分割する機能を有するプログラムと、所定のアルゴリズムに基づいて品詞を結合させる機能を有するプログラムとが、CPUなどの処理装置に読み込まれることによって実現可能となる。
分割手段44の動作を説明する。分割手段44は、品詞記憶部45にあらかじめ記憶させておいた品詞に基づいて、テキストデータを品詞ごとに分割する。品詞記憶部45は、半導体メモリ、ハードディスクドライブなどを挙げることができる。
分割手段44によって分割された複数の品詞は、所定のアルゴリズムに基づいて動作する結合手段46によって結合される。結合手段46の動作アルゴリズムについては以下の通りである。
文の最初又は分かち書き単位にした後に最初に現れる品詞が形容詞、形容動詞、感動詞又は接続詞の場合、そのまま1つの品詞で分かち書き単位とする。
文の最初又は分かち書き単位にした後に最初に現れる品詞が名詞、動詞、副詞又は連体詞の場合、あとに続く品詞が助詞又は助動詞になるまで複数の品詞を結合して分かち書き単位とする。
また、句読点前後では、分かち書き単位を区切る。
文の最初又は分かち書き単位にした後に最初に現れる品詞が形容詞、形容動詞、感動詞又は接続詞の場合、そのまま1つの品詞で分かち書き単位とする。
文の最初又は分かち書き単位にした後に最初に現れる品詞が名詞、動詞、副詞又は連体詞の場合、あとに続く品詞が助詞又は助動詞になるまで複数の品詞を結合して分かち書き単位とする。
また、句読点前後では、分かち書き単位を区切る。
発音時間算出手段48は、分かち書き単位ごとの発音時間を算出する。分かち書き単位ごとの発音時間の算出に当たり、前もって音声データの再生時間をテキストデータの文字数で除算して一文字あたりの再生時間を算出し、一文字あたりの発音時間はあらかじめ発音時間記憶部49に記憶させておく。
そして、発音時間算出手段48は、一文字あたりの発音時間に分かち書き単位の文字数を乗算することで分かち書き単位ごとの発音時間を算出する。また、電子図書の内容によって一文字あたりの発音時間が異なる場合もあるので、電子図書ごとに異なる発音時間を発音時間記憶部49に記憶させておくとよい。
そして、発音時間算出手段48は、一文字あたりの発音時間に分かち書き単位の文字数を乗算することで分かち書き単位ごとの発音時間を算出する。また、電子図書の内容によって一文字あたりの発音時間が異なる場合もあるので、電子図書ごとに異なる発音時間を発音時間記憶部49に記憶させておくとよい。
発音時間算出手段48によって算出された各分かち書き単位の発音時間は、ハイライト表示手段42に入力される。
ハイライト表示手段42は、表示部34に表示されているテキストデータのうち、分かち書き単位ごとに、算出された発音時間の長さだけハイライト表示するように表示部34を制御する。
ハイライト表示手段42は、表示部34に表示されているテキストデータのうち、分かち書き単位ごとに、算出された発音時間の長さだけハイライト表示するように表示部34を制御する。
なお、音声データ出力制御部36は、音声データの再生開始信号をハイライト表示手段42に出力する。ハイライト表示手段42は、音声データの再生開始信号を受け、音声データの再生開始と同時に、再生する音声データに対応するテキストデータの最初の分かち書き単位をハイライト表示する。
そして、ハイライト表示手段42は、分かち書き単位ごとに算出された発音時間が経過すると、今までハイライト表示させていた分かち書き単位のハイライト表示を停止し、次の分かち書き単位をハイライト表示する。
ハイライト表示手段42のハイライト表示の切り替えは、あくまで発音時間算出手段48によって算出された発音時間にのみ基づいて行われる。したがって、音声データの再生とテキストデータのハイライト表示のタイミングにズレが生じる場合もある。
ハイライト表示手段42のハイライト表示の切り替えは、あくまで発音時間算出手段48によって算出された発音時間にのみ基づいて行われる。したがって、音声データの再生とテキストデータのハイライト表示のタイミングにズレが生じる場合もある。
そこで、音声データに無音時間が存在していた場合には、この無音時間の終了時から次の音声出力開始タイミングとハイライト表示開始タイミングを合わせることで同期をとることによって、ズレをなくしてタイミングを合わせることができる。なお、一般的には、無音時間が生じるのは、文の区切りである句読点である可能性が高いが、必ずしも句読点において無音時間が存在しない場合もある。
ハイライト表示手段42は、音声データ出力制御部36から入力される音声データの無音部分を検出したとき、次に音声データの再生が開始されるまで発音時間のカウントを行わない。
そして、句読点の後に音声データの再生が開始されたときに合わせて、句読点の後の最初の分かち書き単位をハイライト表示させるとともに、発音時間算出手段48によって算出された発音時間のカウントを開始する。
そして、句読点の後に音声データの再生が開始されたときに合わせて、句読点の後の最初の分かち書き単位をハイライト表示させるとともに、発音時間算出手段48によって算出された発音時間のカウントを開始する。
なお、上述したハイライト表示手段42、分割手段44、結合手段46、発音時間算出手段48は、CPUなどの処理装置によって読み出されて上述した機能を発揮するプログラムとして実現できる。
次に、図2に基づいて、分かち書きを行ってハイライト表示を行う動作の具体的な実施例について説明する。図2には、ハイライト表示の際に、分かち書きを行い、発音時間を算出する場合の処理例を示している。
ここでは電子図書の内容が「全国的に冷たい空気に包まれています。」である場合の例を説明する。
ここでは電子図書の内容が「全国的に冷たい空気に包まれています。」である場合の例を説明する。
なお、電子図書の規格としては、デジタル録音図書であるDAISY規格などが代表的である。
DAISY規格の電子図書データは、コンテンツを表現可能なsmilファイルと、見出し情報が記述されたnccファイル又はncxファイルと、表示部34に表示可能なテキストデータを記述したhtmlファイル又はxmlファイルを備えている。
DAISY規格の電子図書データは、コンテンツを表現可能なsmilファイルと、見出し情報が記述されたnccファイル又はncxファイルと、表示部34に表示可能なテキストデータを記述したhtmlファイル又はxmlファイルを備えている。
まず、分割手段44が「全国的に冷たい空気に包まれています。」を品詞ごとに分割する。なお、分割手段44としては、形態要素解析ソフトを用いることができる。形態要素解析ソフトとしては公知のものを採用することができる。分割手段44は、品詞記憶部45に記憶されている品詞に基づいて、上記のテキストデータ「全国的に冷たい空気に包まれています。」を品詞ごとに分割する。
図2の例に示すように、テキストデータ「全国的に冷たい空気に包まれています。」は、分割手段44によって「全国」(名詞)、「的」(名詞)、「に」(助詞)、「冷たい」(形容詞)、「空気」(名詞)、「に」(助詞)、「包ま」(動詞)、「れ」(動詞)、「て」(助詞)、「い」(動詞)、「ます」(助動詞)、「。」(句点)に分割される。
続いて結合手段46は、所定のアルゴリズムによって各品詞を結合させて分かち書き単位を作成する。所定のアルゴリズムとは、上述した通りであるので、ここでは説明せず、具体例に基づいて説明する。
図2の例に示すように、結合手段46は、「全国」という名詞の後に助詞又は助動詞が現れるまで各品詞を結合して分かち書き単位とする。「的」の後に現れる「に」が助詞であるので、結合手段46は、「全国」(名詞)、「的」(名詞)、「に」(助詞)を結合して「全国的に」を最初の分かち書き単位とする。
図2の例に示すように、結合手段46は、「全国」という名詞の後に助詞又は助動詞が現れるまで各品詞を結合して分かち書き単位とする。「的」の後に現れる「に」が助詞であるので、結合手段46は、「全国」(名詞)、「的」(名詞)、「に」(助詞)を結合して「全国的に」を最初の分かち書き単位とする。
「に」の後に現れる「冷たい」が形容詞であるので、結合手段46は、「冷たい」をこれ1つの品詞で分かち書き単位とする。
「冷たい」の後に現れる「空気」が動詞であるので、結合手段46は、次に現れる助詞又は助動詞まで品詞を結合する。「空気」の後に現れる「に」が助詞であるので、結合手段46は、「空気」(名詞)、「に」(助詞)を結合して「空気に」を分かち書き単位とする。
「冷たい」の後に現れる「空気」が動詞であるので、結合手段46は、次に現れる助詞又は助動詞まで品詞を結合する。「空気」の後に現れる「に」が助詞であるので、結合手段46は、「空気」(名詞)、「に」(助詞)を結合して「空気に」を分かち書き単位とする。
「に」の後に現れる「包ま」が動詞であるので、結合手段46は、次に助詞又は助動詞まで品詞を結合する。「包ま」の後の「れ」は動詞であり、その次の「て」が助詞であるので、結合手段46は、「包ま」(動詞)、「れ」(動詞)、「て」(助詞)を結合して「包まれて」を分かち書き単位とする。
「て」の後に現れる「い」が動詞であるので、結合手段46は、次に助詞又は助動詞まで品詞を結合する。「い」の後に現れる「ます」が助動詞であるので、結合手段46は、「い」(動詞)、「ます」(助動詞)を結合して「います」を分かち書き単位とする。
具体的には、分割手段44及び結合手段46は、htmlファイル又はxmlファイルにおけるタグを分かち書き単位の前後に付与して、分かち書き単位ごとにタグによる制御が可能となる。
続いて、発音時間算出手段48は、結合手段46によって生成された各分かち書き単位の発音時間を算出する。
音声データ記憶部35に録音された音声データが記憶されており、音声データの再生時間をテキストデータの文字数で除算して1文字あたりの再生時間を算出している。具体的には、本実施形態では、1文字あたりの発音時間を0.12秒としてあらかじめ算出して設定し、発音時間記憶部49に記憶させている。
そして、発音時間算出手段48は、各分かち書き単位の文字数(読み仮名の文字数)を算出し、その算出された文字数に1文字あたりの発音時間を乗算し、分かち書き単位ごとの発音時間を算出する。
音声データ記憶部35に録音された音声データが記憶されており、音声データの再生時間をテキストデータの文字数で除算して1文字あたりの再生時間を算出している。具体的には、本実施形態では、1文字あたりの発音時間を0.12秒としてあらかじめ算出して設定し、発音時間記憶部49に記憶させている。
そして、発音時間算出手段48は、各分かち書き単位の文字数(読み仮名の文字数)を算出し、その算出された文字数に1文字あたりの発音時間を乗算し、分かち書き単位ごとの発音時間を算出する。
図2の例では、「全国的に」の読み仮名は7文字であるので、発音時間算出手段48は、0.12秒×7=0.84秒を「全国的に」の発音時間として算出する。
次に「冷たい」の読み仮名は4文字であるので、発音時間算出手段48は、0.12秒×4=0.48秒を「冷たい」の発音時間として算出する。
次に「空気に」の読み仮名は4文字であるので、発音時間算出手段48は、0.12秒×4=0.48秒を「空気に」の発音時間として算出する。
次に「包まれて」の読み仮名は5文字であるので、発音時間算出手段48は、0.12秒×5=0.60秒を「包まれて」の発音時間として算出する。
次に「います」の読み仮名は3文字であるので、発音時間算出手段48は、0.12秒×3=0.36秒を「います」の発音時間として算出する。
次に「冷たい」の読み仮名は4文字であるので、発音時間算出手段48は、0.12秒×4=0.48秒を「冷たい」の発音時間として算出する。
次に「空気に」の読み仮名は4文字であるので、発音時間算出手段48は、0.12秒×4=0.48秒を「空気に」の発音時間として算出する。
次に「包まれて」の読み仮名は5文字であるので、発音時間算出手段48は、0.12秒×5=0.60秒を「包まれて」の発音時間として算出する。
次に「います」の読み仮名は3文字であるので、発音時間算出手段48は、0.12秒×3=0.36秒を「います」の発音時間として算出する。
発音時間算出手段48で算出された各分かち書き単位の発音時間に基づいて、ハイライト表示手段42は、分かち書き単位におけるハイライト表示の切り替えを実行する。なおハイライト表示の切り替えの制御は、それぞれの分かち書き単位のタグにおいて背景色の指定を切り替えることで実行できる。
ハイライト表示手段42は、音声データの再生開始と同時に、最初の分かち書き単位である「全国的に」を0.84秒ハイライト表示する。ハイライト表示手段42は、「全国的に」を0.84秒間ハイライト表示したのち、「全国的に」のハイライト表示を解除し、次の「冷たい」を0.48秒ハイライト表示する。ハイライト表示手段42は、「冷たい」を0.48秒間ハイライト表示したのち、「冷たい」のハイライト表示を解除し、次の「空気に」を0.48秒ハイライト表示する。
ハイライト表示手段42は、「空気に」を0.48秒間ハイライト表示したのち、「空気に」のハイライト表示を解除し、次の「包まれて」を0.60秒ハイライト表示する。
ハイライト表示手段42は、「包まれて」を0.60秒間ハイライト表示したのち、「包まれて」のハイライト表示を解除し、次の「います」を0.36秒ハイライト表示する。
ハイライト表示手段42は、「います」を0.36秒ハイライト表示したのち、「います」のハイライト表示を解除し、次の音声データの再生開始が実行されるまでハイライト表示をいったん停止する。そして、次の音声データの再生が開始されると、その再生開始に同期させて次のテキストデータの分かち書き単位の発音時間に基づいてハイライト表示を実行する。
ハイライト表示手段42は、「包まれて」を0.60秒間ハイライト表示したのち、「包まれて」のハイライト表示を解除し、次の「います」を0.36秒ハイライト表示する。
ハイライト表示手段42は、「います」を0.36秒ハイライト表示したのち、「います」のハイライト表示を解除し、次の音声データの再生開始が実行されるまでハイライト表示をいったん停止する。そして、次の音声データの再生が開始されると、その再生開始に同期させて次のテキストデータの分かち書き単位の発音時間に基づいてハイライト表示を実行する。
(第2の実施形態)
なお、上述してきた第1の実施形態は、録音された音声データを再生するものについて説明してきた。しかし、録音された音声データが無く、テキストデータを音声データに変換するTTS(text to speech)システムを採用することも可能である。
TTSシステムを採用した実施形態のブロック図を図3に示す。なお、上述した実施形態と同一の構成要素については同一の符号を付し、説明を省略する場合もある。
なお、上述してきた第1の実施形態は、録音された音声データを再生するものについて説明してきた。しかし、録音された音声データが無く、テキストデータを音声データに変換するTTS(text to speech)システムを採用することも可能である。
TTSシステムを採用した実施形態のブロック図を図3に示す。なお、上述した実施形態と同一の構成要素については同一の符号を付し、説明を省略する場合もある。
本実施形態においては、電子図書のデータとして音声データは記憶されておらず、テキストデータのみがテキストデータ記憶部40に記憶されている。
TSS制御部50は、TTSシステムを実現可能に設けられており、具体的には公知のソフトウェアが動作することで実行できる。TTS制御部50は、操作スイッチ38からの操作によって、テキストデータ記憶部40から所定のテキストデータを取り出して、音声出力する。
TSS制御部50は、TTSシステムを実現可能に設けられており、具体的には公知のソフトウェアが動作することで実行できる。TTS制御部50は、操作スイッチ38からの操作によって、テキストデータ記憶部40から所定のテキストデータを取り出して、音声出力する。
また、TTS制御部50によってテキストデータを音声データに変換する場合には、文字あたりの発音時間は、TTSのボイス条件及びピッチ条件に基づいてあらかじめ設定しておくとよい。設定された1文字あたりの発音時間は、発音時間記憶部49に記憶されている。
本実施形態においても、表示部34に表示されるテキストデータは、ハイライト表示手段42によって現在再生出力中の語がハイライト表示手段42によってハイライト表示される。
ハイライト表示させる語は、分割手段44及び結合手段46によって分かち書き単位に分割される。各分かち書き単位の発音時間は、発音時間算出手段48が、発音時間記憶部49に記憶されている1文字あたりの発音時間に各分かち書き単位における読み仮名数を乗算することで算出できる。これらの動作は第1の実施形態と同様である。
ハイライト表示させる語は、分割手段44及び結合手段46によって分かち書き単位に分割される。各分かち書き単位の発音時間は、発音時間算出手段48が、発音時間記憶部49に記憶されている1文字あたりの発音時間に各分かち書き単位における読み仮名数を乗算することで算出できる。これらの動作は第1の実施形態と同様である。
なお、上述した各実施形態においては、音声の再生をスピーカから出力する場合について説明した。
しかし、音声出力はスピーカではなく、ヘッドホン又はイヤホンから行ってもよい。そして、スピーカと並列してヘッドホンジャック又はイヤホンジャックを設け、スピーカからの視聴及びヘッドホン又はイヤホンからの視聴のいずれかを選択可能に設けてもよい。
しかし、音声出力はスピーカではなく、ヘッドホン又はイヤホンから行ってもよい。そして、スピーカと並列してヘッドホンジャック又はイヤホンジャックを設け、スピーカからの視聴及びヘッドホン又はイヤホンからの視聴のいずれかを選択可能に設けてもよい。
さらに、上述してきた各実施形態における分かち書き単位を作成する具体的手法は、上記の態様に限定することはない。
以上本発明につき好適な実施形態を挙げて種々説明したが、本発明はこの実施形態に限定されるものではなく、発明の精神を逸脱しない範囲内で多くの改変を施し得るのはもちろんである。
30 電子図書再生装置
32 スピーカ
34 表示部
35 音声データ記憶部
36 音声データ出力制御部
38 操作スイッチ
40 テキストデータ記憶部
41 分かち書き単位作成手段
42 ハイライト表示手段
44 分割手段
45 品詞記憶部
46 結合手段
48 発音時間算出手段
49 発音時間記憶部
50 TTS制御部
32 スピーカ
34 表示部
35 音声データ記憶部
36 音声データ出力制御部
38 操作スイッチ
40 テキストデータ記憶部
41 分かち書き単位作成手段
42 ハイライト表示手段
44 分割手段
45 品詞記憶部
46 結合手段
48 発音時間算出手段
49 発音時間記憶部
50 TTS制御部
Claims (8)
- 図書の文章情報の音声データを記憶する音声データ記憶部と、
該音声データ記憶部内の音声データを再生して出力可能とする音声データ出力制御部と、
図書の文字情報のテキストデータを記憶するテキストデータ記憶部と、
該テキストデータ記憶部内のテキストデータのうちの全部又は一部を表示する表示部と、
前記表示部に表示されたテキストデータと、音声データ出力制御部から出力される音声データを同期させ、出力中の音声データに該当する箇所をハイライト表示させるハイライト表示手段と、
前記表示部に表示されたテキストデータの形態要素を解析して分かち書き単位を作成する分かち書き単位作成手段と、
該分かち書き単位作成手段によって作成された分かち書き単位ごとの発音時間を算出する発音時間算出手段とを具備し、
前記ハイライト表示手段は、前記音声データ出力制御部からの音声出力開始と同時に、前記表示部に表示されている最初の分かち書き単位をハイライト表示し、
現在ハイライト表示中の各分かち書き単位の発音時間が経過すると、発音時間が経過した箇所の分かち書き単位のハイライト表示を通常の表示に戻し、次の分かち書き単位をハイライト表示することを特徴とする電子図書再生装置。 - 前記ハイライト手段は、
前記音声データ出力制御部からの音声出力に無音時間があることを検出した場合には、無音時間の次の分かち書き単位の発音開始と、無音時間の次の分かち書き単位のハイライト表示の開始を同時に行うことによって、音声出力とハイライト表示の同期を取り直すことを特徴とする請求項1記載の電子図書再生装置。 - 図書の文字情報のテキストデータを記憶するテキストデータ記憶部と、
前記テキストデータ記憶部内のテキストデータを音声出力可能とするTTS制御部と、
該テキストデータ記憶部内のテキストデータのうちの全部又は一部を表示する表示部と、
前記表示部に表示されたテキストデータと、TTS制御部から出力される音声データとを同期させ、出力中の音声データに該当する箇所をハイライト表示させるハイライト表示手段と、
前記表示部に表示されたテキストデータの形態要素を解析して分かち書き単位を作成する分かち書き単位作成手段と、
該分かち書き単位作成手段によって作成された分かち書き単位ごとの発音時間を算出する発音時間算出手段とを具備し、
前記ハイライト表示手段は、前記TTS制御部からの音声出力開始と同時に、前記表示部に表示されている最初の分かち書き単位をハイライト表示し、
現在ハイライト表示中の各分かち書き単位の発音時間が経過すると、発音時間が経過した箇所の分かち書き単位のハイライト表示を通常の表示に戻し、次の分かち書き単位をハイライト表示することを特徴とする電子図書再生装置。 - 前記ハイライト手段は、
前記TTS制御部からの音声出力に無音時間があることを検出した場合には、無音時間の次の分かち書き単位の発音開始と、無音時間の次の分かち書き単位のハイライト表示の開始を同時に行うことによって、音声出力とハイライト表示の同期を取り直すことを特徴とする請求項3記載の電子図書再生装置。 - 図書の文章情報の音声データを記憶する音声データ記憶部と、該音声データ記憶部内の音声データを再生して出力する音声データ出力制御部と、図書の文字情報のテキストデータを記憶するテキストデータ記憶部と、該テキストデータ記憶部内のテキストデータのうちの全部又は一部を表示する表示部とを備えた電子図書再生装置にインストールされて実行される電子図書再生プログラムであって、
前記表示部に表示されたテキストデータと、音声データ出力制御部から出力される音声データを同期させ、出力中の音声データに該当する箇所をハイライト表示させるハイライト表示機能と、
前記表示部に表示されたテキストデータの形態要素を解析して分かち書き単位を作成する分かち書き単位作成機能と、
該分かち書き単位作成機能によって作成された分かち書き単位ごとの発音時間を算出する発音時間算出機能とを電子図書再生装置に実現させ、
前記ハイライト表示機能は、前記音声データ出力制御部からの音声出力開始と同時に、前記表示部に表示されている最初の分かち書き単位をハイライト表示するステップと、
現在ハイライト表示中の各分かち書き単位の発音時間が経過すると、発音時間が経過した箇所の分かち書き単位のハイライト表示を通常の表示に戻し、次の分かち書き単位をハイライト表示するステップとを実行することを特徴とする電子図書再生プログラム。 - 前記ハイライト表示機能は、
前記音声データ出力制御部からの音声出力に無音時間があることを検出した場合には、無音時間の次の分かち書き単位の発音開始と、無音時間の次の分かち書き単位のハイライト表示の開始を同時に行うことによって、音声出力とハイライト表示の同期を取り直すステップを実行することを特徴とする請求項5記載の電子図書再生プログラム。 - 図書の文字情報のテキストデータを記憶するテキストデータ記憶部と、前記テキストデータ記憶部内のテキストデータを音声出力可能とするTTS制御部と、該テキストデータ記憶部内のテキストデータのうちの全部又は一部を表示する表示部とを備えた電子図書再生装置にインストールされて実行される電子図書再生プログラムであって、
前記表示部に表示されたテキストデータと、TTS制御部から出力される音声データを同期させ、出力中の音声データに該当する箇所をハイライト表示させるハイライト表示機能と、
前記表示部に表示されたテキストデータの形態要素を解析して分かち書き単位を作成する分かち書き単位作成機能と、
該分かち書き単位作成機能によって作成された分かち書き単位ごとの発音時間を算出する発音時間算出機能とを電子図書再生装置に実現させ、
前記ハイライト表示機能は、前記TTS制御部からの音声出力開始と同時に、前記表示部に表示されている最初の分かち書き単位をハイライト表示するステップと、
現在ハイライト表示中の各分かち書き単位の発音時間が経過すると、発音時間が経過した箇所の分かち書き単位のハイライト表示を通常の表示に戻し、次の分かち書き単位をハイライト表示するステップとを実行することを特徴とする電子図書再生プログラム。 - 前記ハイライト表示機能は、
前記TTS制御部からの音声出力に無音時間があることを検出した場合には、無音時間の次の分かち書き単位の発音開始と、無音時間の次の分かち書き単位のハイライト表示の開始を同時に行うことによって、音声出力とハイライト表示の同期を取り直すステップを実行することを特徴とする請求項7記載の電子図書再生プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014134910A JP2016012098A (ja) | 2014-06-30 | 2014-06-30 | 電子図書再生装置及び電子図書再生プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014134910A JP2016012098A (ja) | 2014-06-30 | 2014-06-30 | 電子図書再生装置及び電子図書再生プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016012098A true JP2016012098A (ja) | 2016-01-21 |
Family
ID=55228832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014134910A Pending JP2016012098A (ja) | 2014-06-30 | 2014-06-30 | 電子図書再生装置及び電子図書再生プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016012098A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017169063A (ja) * | 2016-03-16 | 2017-09-21 | シナノケンシ株式会社 | データ再生装置およびデータ再生方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3182283B2 (ja) * | 1994-03-02 | 2001-07-03 | 三洋電機株式会社 | 充電器及び被充電電池の充電方法 |
JP2004170577A (ja) * | 2002-11-19 | 2004-06-17 | Brother Ind Ltd | 文章読み上げ装置、読み上げのためのプログラム、及び、記録媒体 |
JP2006243521A (ja) * | 2005-03-04 | 2006-09-14 | Sony Corp | 文章出力装置、その方法及びプログラム |
JP2009008884A (ja) * | 2007-06-28 | 2009-01-15 | Internatl Business Mach Corp <Ibm> | 音声の再生に同期して音声の内容を表示させる技術 |
-
2014
- 2014-06-30 JP JP2014134910A patent/JP2016012098A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3182283B2 (ja) * | 1994-03-02 | 2001-07-03 | 三洋電機株式会社 | 充電器及び被充電電池の充電方法 |
JP2004170577A (ja) * | 2002-11-19 | 2004-06-17 | Brother Ind Ltd | 文章読み上げ装置、読み上げのためのプログラム、及び、記録媒体 |
JP2006243521A (ja) * | 2005-03-04 | 2006-09-14 | Sony Corp | 文章出力装置、その方法及びプログラム |
JP2009008884A (ja) * | 2007-06-28 | 2009-01-15 | Internatl Business Mach Corp <Ibm> | 音声の再生に同期して音声の内容を表示させる技術 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017169063A (ja) * | 2016-03-16 | 2017-09-21 | シナノケンシ株式会社 | データ再生装置およびデータ再生方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100502709B1 (ko) | 캡션 텍스트와 영상 화면을 동기화 시키는 방법 및 장치 | |
JP5638479B2 (ja) | 書き起こし支援システムおよび書き起こし支援方法 | |
JP6277958B2 (ja) | 再生装置、設定装置、再生方法およびプログラム | |
JP2013025299A (ja) | 書き起こし支援システムおよび書き起こし支援方法 | |
JP4020083B2 (ja) | 書き起こしテキスト作成支援システムおよびプログラム | |
JP2011030224A (ja) | マルチメディア字幕表示システム及びマルチメディア字幕表示方法 | |
KR20150088564A (ko) | 음성인식에 기반한 애니메이션 재생이 가능한 전자책 단말기 및 그 방법 | |
JP2016012315A (ja) | テキストデータの分かち書き単位分割プログラム及び電子図書再生装置 | |
JP2009016910A (ja) | 映像再生装置及び映像再生方法 | |
US9020821B2 (en) | Apparatus and method for editing speech synthesis, and computer readable medium | |
JP2016012098A (ja) | 電子図書再生装置及び電子図書再生プログラム | |
JP2005326811A (ja) | 音声合成装置および音声合成方法 | |
JP2018146961A (ja) | 音声再生装置及び音楽再生プログラム | |
JP2004325905A (ja) | 外国語学習装置および外国語学習プログラム | |
JP2016177013A (ja) | 講演支援装置、方法およびプログラム | |
JP2008134686A (ja) | 作画プログラム、プログラマブル表示器、並びに、表示システム | |
JP2017117149A (ja) | 電子図書表示装置 | |
KR20100115003A (ko) | 텍스트데이터 기반의 얼굴 애니메이션 출력방법 및 그 시스템 | |
JP2008009221A (ja) | 音声再生制御装置及び音声再生制御プログラム | |
JP2020140374A (ja) | 電子図書再生装置及び電子図書再生プログラム | |
TW201415884A (zh) | 人聲訊號與其文字說明資料的同步之系統及其方法 | |
JP2007248750A (ja) | 音声再生装置 | |
JP2005077678A (ja) | テキスト音声同期装置およびテキスト音声同期処理プログラム | |
KR100879667B1 (ko) | 멀티미디어 처리 장치의 어학 학습 방법 | |
JP6387044B2 (ja) | テキスト処理装置、テキスト処理方法およびテキスト処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160426 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160623 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161108 |