JPH05333891A - 自動読書装置 - Google Patents
自動読書装置Info
- Publication number
- JPH05333891A JPH05333891A JP4138525A JP13852592A JPH05333891A JP H05333891 A JPH05333891 A JP H05333891A JP 4138525 A JP4138525 A JP 4138525A JP 13852592 A JP13852592 A JP 13852592A JP H05333891 A JPH05333891 A JP H05333891A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- voice
- text data
- sound effect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Character Discrimination (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【目的】本の記載内容を判読する合成音声と共に本の記
載内容の情景に合致した効果音を同時に出力するか、情
景を表すイメージを映像として映し出すことのできる自
動読書装置を提供する。 【構成】光学文字読取部において、本の文字を光学的に
読み取った後にこれらを個々の文字に切り出し文字認識
したテキストデータを作成する。発音装置部において、
テキストデータを合成音声として出力すると同時に、テ
キストデータ中の情景の描写を表すイメージキーワード
を自動的に検出してそれに対応する効果音データを再生
して出力する。或いは、音声合成処理兼表示制御部にお
いて、テキストデータ中の情景の描写を表すイメージキ
ーワードを自動的に検出してそれに対応するイメージを
画像として描画する。従って、読者に臨場感と具体的な
イメージを伝えることができる。
載内容の情景に合致した効果音を同時に出力するか、情
景を表すイメージを映像として映し出すことのできる自
動読書装置を提供する。 【構成】光学文字読取部において、本の文字を光学的に
読み取った後にこれらを個々の文字に切り出し文字認識
したテキストデータを作成する。発音装置部において、
テキストデータを合成音声として出力すると同時に、テ
キストデータ中の情景の描写を表すイメージキーワード
を自動的に検出してそれに対応する効果音データを再生
して出力する。或いは、音声合成処理兼表示制御部にお
いて、テキストデータ中の情景の描写を表すイメージキ
ーワードを自動的に検出してそれに対応するイメージを
画像として描画する。従って、読者に臨場感と具体的な
イメージを伝えることができる。
Description
【0001】
【産業上の利用分野】本発明は、小説等の書籍の印刷文
字を自動認識して合成音声で出力する自動読書装置に関
するものである。
字を自動認識して合成音声で出力する自動読書装置に関
するものである。
【0002】
【従来の技術】従来、斯かる自動読書装置としては、図
12に示すような外観を備えた盲人用のものが存在す
る。この装置は、本(2)を装置にセットするための引
出し機構部(1)と、操作盤(3)と、盲人に操作手順
等を説明するための点字説明盤(4)と、録音用カセッ
トテープのテープ装着部(5)と、ヘッドホーン(6)
とが外部に設けられている。
12に示すような外観を備えた盲人用のものが存在す
る。この装置は、本(2)を装置にセットするための引
出し機構部(1)と、操作盤(3)と、盲人に操作手順
等を説明するための点字説明盤(4)と、録音用カセッ
トテープのテープ装着部(5)と、ヘッドホーン(6)
とが外部に設けられている。
【0003】次に、これのシステム構成を示した図13
により動作を説明すると、盲人自身が本(2)を引出し
機構部(1)および操作盤(3)により装置本体にセッ
トし、ヘッドホーン(6)を装着する等の読書の準備
(A)を行なうと、光学文字読取部(7)において、C
CDセンサーが本(2)の印刷文字を光学的に読み取っ
てイメージデータを入力すると、文字認識部がこのイメ
ージデータを個々の文字毎に切り出して標準パターンと
の照合等により各文字を認識する。更に、文章解析部
(8)おいて超LSIメモリによる辞書引きが行なわれ
て文章の構成等の解析が行なわれ、文章のテキストデー
タを得る。このテキストデータが音声合成部(9)によ
りイントネーションやアクセントをつけた合成音声とし
てヘドホーン(7)から出力され、また、カセットテー
プ(51)に録音される。
により動作を説明すると、盲人自身が本(2)を引出し
機構部(1)および操作盤(3)により装置本体にセッ
トし、ヘッドホーン(6)を装着する等の読書の準備
(A)を行なうと、光学文字読取部(7)において、C
CDセンサーが本(2)の印刷文字を光学的に読み取っ
てイメージデータを入力すると、文字認識部がこのイメ
ージデータを個々の文字毎に切り出して標準パターンと
の照合等により各文字を認識する。更に、文章解析部
(8)おいて超LSIメモリによる辞書引きが行なわれ
て文章の構成等の解析が行なわれ、文章のテキストデー
タを得る。このテキストデータが音声合成部(9)によ
りイントネーションやアクセントをつけた合成音声とし
てヘドホーン(7)から出力され、また、カセットテー
プ(51)に録音される。
【0004】
【発明が解決しようとする課題】前述の自動読書装置は
聴覚で読書できることから、盲人にとっては点字以外の
通常の種々の本(2)の記載内容を他人の手を煩わせる
ことなく知ることができる極めて便利なものである。然
し乍ら、本(2)の記述内容を単に棒読みした程度の合
成音声のみによる表現であるため、人間が本(2)を読
んで聞かせる場合のような具体的なイメージの説得力や
臨場感の乏しいものである。そのため、飽き易く、永続
的に使用されないことが多く、また、盲人用以外に例え
ば子供の学習用等に活用しようとしても、前述のように
単に文章の無味乾燥な読み上げであるために到底利用で
きない。
聴覚で読書できることから、盲人にとっては点字以外の
通常の種々の本(2)の記載内容を他人の手を煩わせる
ことなく知ることができる極めて便利なものである。然
し乍ら、本(2)の記述内容を単に棒読みした程度の合
成音声のみによる表現であるため、人間が本(2)を読
んで聞かせる場合のような具体的なイメージの説得力や
臨場感の乏しいものである。そのため、飽き易く、永続
的に使用されないことが多く、また、盲人用以外に例え
ば子供の学習用等に活用しようとしても、前述のように
単に文章の無味乾燥な読み上げであるために到底利用で
きない。
【0005】そこで本発明は、本の記載内容を判読する
合成音声と共にその記述内容の景色や情景等に合致した
効果音を同時に出力したり、或いは本の記載内容を判読
する合成音声と共にその記載内容の景色や情景等のイメ
ージを映像で映し出せる自動読書装置を提供することを
技術的課題とするものである。
合成音声と共にその記述内容の景色や情景等に合致した
効果音を同時に出力したり、或いは本の記載内容を判読
する合成音声と共にその記載内容の景色や情景等のイメ
ージを映像で映し出せる自動読書装置を提供することを
技術的課題とするものである。
【0006】
【課題を解決するための手段】本発明は、上記した課題
を達成するための技術的手段として、自動読書装置を次
のように構成した。即ち、本の印刷文字を光学的に読み
取ったイメージデータを1文字毎に切り出し文字認識し
て本の文章のテキストデータを作成する光学文字読取部
と、前記テキストデータを合成音声として出力する発音
装置とからなり、該発音装置部に、前記テキストデータ
を合成音声に変換する音声合成手段と、予め設定された
文章の情景を示すイメージキーワードが前記テキストデ
ータ中に存在するか否かを判別するイメージキーワード
検出手段と、該イメージキーワード検出手段で検出され
たイメージキーワードに対応する効果音データを効果音
データメモリから読み出す効果音データ検出手段と、こ
の読み出された効果音データを再生する効果音データ再
生手段と、この再生された効果音と前記音声合成手段か
らの合成音声とをミキシングして出力する音声出力手段
とを備えたことを特徴として構成されている。
を達成するための技術的手段として、自動読書装置を次
のように構成した。即ち、本の印刷文字を光学的に読み
取ったイメージデータを1文字毎に切り出し文字認識し
て本の文章のテキストデータを作成する光学文字読取部
と、前記テキストデータを合成音声として出力する発音
装置とからなり、該発音装置部に、前記テキストデータ
を合成音声に変換する音声合成手段と、予め設定された
文章の情景を示すイメージキーワードが前記テキストデ
ータ中に存在するか否かを判別するイメージキーワード
検出手段と、該イメージキーワード検出手段で検出され
たイメージキーワードに対応する効果音データを効果音
データメモリから読み出す効果音データ検出手段と、こ
の読み出された効果音データを再生する効果音データ再
生手段と、この再生された効果音と前記音声合成手段か
らの合成音声とをミキシングして出力する音声出力手段
とを備えたことを特徴として構成されている。
【0007】または、前述の発音装置部に代えて音声合
成処理兼表示制御部を設け、この音声合成処理兼表示制
御部に、前記テキストデータを合成音声に変換する音声
合成手段と、予め設定された文章の情景を示すイメージ
キーワードが前記テキストデータ中に存在するか否かを
判別するイメージキーワド検出手段と、該イメージキー
ワード検出手段で検出されたイメージキーワードに対応
する映像データを検索する映像データ検索部と、この映
像データ検索部により検索された映像データを映像デー
タメモリから読み出しイメージ画像表示部に表示するよ
う制御するとともに前記音声合成手段による合成音声を
発音手段から出力させる信号処理制御手段とを備えたこ
とを特徴として構成されている。
成処理兼表示制御部を設け、この音声合成処理兼表示制
御部に、前記テキストデータを合成音声に変換する音声
合成手段と、予め設定された文章の情景を示すイメージ
キーワードが前記テキストデータ中に存在するか否かを
判別するイメージキーワド検出手段と、該イメージキー
ワード検出手段で検出されたイメージキーワードに対応
する映像データを検索する映像データ検索部と、この映
像データ検索部により検索された映像データを映像デー
タメモリから読み出しイメージ画像表示部に表示するよ
う制御するとともに前記音声合成手段による合成音声を
発音手段から出力させる信号処理制御手段とを備えたこ
とを特徴として構成されている。
【0008】
【作用】前者の自動読書装置では、光学文字読取部にお
いて、本の紙面の文章を、例えばイメージセンサーによ
る光電変換によりイメージデータとして取り込み、この
イメージデータから個々の文字の切り出しを行なうとと
もに、この切り出された文字を文字認識部で何の文字で
あるかを認識し、この認識した文字をテキストデータと
して記憶する。そして、発音装置部において、テキスト
データを例えば句点「。」までの読み上げ単位毎に読み
出して入力し、イメージキーワード検出手段が、読み込
まれたテキストデータ中に文章の情景を示すイメージキ
ーワドが存在するか否かを判別し、テキストデータ中に
イメージキーワードが存在する場合、例えばテキストデ
ータの文章が「…の雨の音がにわかに激しくなった。」
とすると、「雨の音」がイメージキーワードであり、効
果音データ検出手段が、イメージキーワードに対応する
効果音データを検索し、効果音データメモリに予め記憶
されているイメージキーワードに対応する効果音データ
が読み出され、この効果音データが効果音データ再生手
段により再生されると同時に、テキストデータが音声合
成手段により合成音声に変換され、この合成音声と再生
効果音とがミキシングされてスピーカ等の音声出力手段
から出力される。従って、読み上げられる文章の情景に
合致した効果音が同時に出力されるので、読者に臨場感
とその具体的なイメージを伝えることができる。
いて、本の紙面の文章を、例えばイメージセンサーによ
る光電変換によりイメージデータとして取り込み、この
イメージデータから個々の文字の切り出しを行なうとと
もに、この切り出された文字を文字認識部で何の文字で
あるかを認識し、この認識した文字をテキストデータと
して記憶する。そして、発音装置部において、テキスト
データを例えば句点「。」までの読み上げ単位毎に読み
出して入力し、イメージキーワード検出手段が、読み込
まれたテキストデータ中に文章の情景を示すイメージキ
ーワドが存在するか否かを判別し、テキストデータ中に
イメージキーワードが存在する場合、例えばテキストデ
ータの文章が「…の雨の音がにわかに激しくなった。」
とすると、「雨の音」がイメージキーワードであり、効
果音データ検出手段が、イメージキーワードに対応する
効果音データを検索し、効果音データメモリに予め記憶
されているイメージキーワードに対応する効果音データ
が読み出され、この効果音データが効果音データ再生手
段により再生されると同時に、テキストデータが音声合
成手段により合成音声に変換され、この合成音声と再生
効果音とがミキシングされてスピーカ等の音声出力手段
から出力される。従って、読み上げられる文章の情景に
合致した効果音が同時に出力されるので、読者に臨場感
とその具体的なイメージを伝えることができる。
【0009】一方、後者の自動読書装置では、光学文字
読取部は前述の自動読書装置と同様である。そして、音
声合成処理兼表示制御部が、テキストデータを読み上げ
単位毎に読み出して入力すると、イメージキーワード検
出部が、読み込まれたテキストデータ中に文章の情景を
示すイメージキーワードが存在するか否かを判別し、テ
キストデータ中にイメージキーワードが存在する場合、
例えばテキストデータの文章が「雪国であった。」とす
ると、「雪国」がイメージキーワードであり、映像デー
タ検索手段が、「雪国」のイメージキーワードに対応す
る映像データを検索し、雪国の情景を表現する「雪の景
色」の映像データをイメージ画像表示部に描画するとと
もに、テキストデータが音声合成部により合成音声に変
換されてスピーカから出力される。従って、読み上げら
れる文章の情景に合致した画像が同時に映し出されるの
で、読者に臨場感とその具体的なイメージを伝えること
ができ、特に、子供の学習用等に適したものとなる。
読取部は前述の自動読書装置と同様である。そして、音
声合成処理兼表示制御部が、テキストデータを読み上げ
単位毎に読み出して入力すると、イメージキーワード検
出部が、読み込まれたテキストデータ中に文章の情景を
示すイメージキーワードが存在するか否かを判別し、テ
キストデータ中にイメージキーワードが存在する場合、
例えばテキストデータの文章が「雪国であった。」とす
ると、「雪国」がイメージキーワードであり、映像デー
タ検索手段が、「雪国」のイメージキーワードに対応す
る映像データを検索し、雪国の情景を表現する「雪の景
色」の映像データをイメージ画像表示部に描画するとと
もに、テキストデータが音声合成部により合成音声に変
換されてスピーカから出力される。従って、読み上げら
れる文章の情景に合致した画像が同時に映し出されるの
で、読者に臨場感とその具体的なイメージを伝えること
ができ、特に、子供の学習用等に適したものとなる。
【0010】
【実施例】以下、本発明の好適な実施例について図面を
参照しながら詳述する。図1は本発明の一実施例の外観
を示し、正面中央下部に、本(2)を装置にセットする
ための本挿入トレイ(10)が設けられ、このトレイ
(10)の左右両側にスピーカ(11)がそれぞれ配設
され、上面に操作部(12)が設けられている。そし
て、図2は該実施例の機能ブロック図を示し、大別する
と、光学文字読取部(13)、発音装置部(14)およ
び制御回路(15)とにより構成されている。これらの
各構成要素については図4および図5の各フローチャー
トによる作用説明に基づき説明する。図4は光学文字読
取部(13)の作用を示し、本(2)の紙面の文章を、
イメージ入力部(19)のイメージセンサーによる光電
変換によりイメージデータとして文字読取制御部(1
7)に取り込む(ステップS1)。文字読取制御部(1
7)が、入力されたイメージデータから個々の文字の切
り出しを行なうとともに、この切り出された文字を文字
認識部(18)を参照しながら何の文字であるかを認識
し(ステップS2)、この認識した文字をテキストデー
タとしてテキストデータメモリ(16)に一時記憶する
(ステップS3)。そして、光学文字読取部(13)に
よる読取り動作が終了したと判別(ステップS4)され
るまで、入力されたイメージデータにおける全文字の認
識が終了する毎に改頁機構部(20)により本(2)の
頁を自動的にめくった後にステップS1にジャンプして
前述と同様のルーチンを繰り返す。
参照しながら詳述する。図1は本発明の一実施例の外観
を示し、正面中央下部に、本(2)を装置にセットする
ための本挿入トレイ(10)が設けられ、このトレイ
(10)の左右両側にスピーカ(11)がそれぞれ配設
され、上面に操作部(12)が設けられている。そし
て、図2は該実施例の機能ブロック図を示し、大別する
と、光学文字読取部(13)、発音装置部(14)およ
び制御回路(15)とにより構成されている。これらの
各構成要素については図4および図5の各フローチャー
トによる作用説明に基づき説明する。図4は光学文字読
取部(13)の作用を示し、本(2)の紙面の文章を、
イメージ入力部(19)のイメージセンサーによる光電
変換によりイメージデータとして文字読取制御部(1
7)に取り込む(ステップS1)。文字読取制御部(1
7)が、入力されたイメージデータから個々の文字の切
り出しを行なうとともに、この切り出された文字を文字
認識部(18)を参照しながら何の文字であるかを認識
し(ステップS2)、この認識した文字をテキストデー
タとしてテキストデータメモリ(16)に一時記憶する
(ステップS3)。そして、光学文字読取部(13)に
よる読取り動作が終了したと判別(ステップS4)され
るまで、入力されたイメージデータにおける全文字の認
識が終了する毎に改頁機構部(20)により本(2)の
頁を自動的にめくった後にステップS1にジャンプして
前述と同様のルーチンを繰り返す。
【0011】図5は発音装置部(14) の作用を示し、
発音制御部(21)が、テキストデータメモリ(16)
に記憶のテキストデータを例えば句点「。」までの読み
上げ単位毎に読み出して入力する(ステップS6)。イ
メージキーワード検出部(23)が、発音制御部(2
1)に読み込まれたテキストデータ中に文章の情景を示
すイメージキーワードが存在するか否かを判別する(ス
テップS7)。このイメージキーワードは、効果音デー
タメモリ(25)に予め記憶されている各効果音データ
に対応して設定されている。もしもイメージキーワード
が存在しない場合には、そのテキストデータが音声合成
部(22)により合成音声に変換されてスピーカ(1
1)から出力される。
発音制御部(21)が、テキストデータメモリ(16)
に記憶のテキストデータを例えば句点「。」までの読み
上げ単位毎に読み出して入力する(ステップS6)。イ
メージキーワード検出部(23)が、発音制御部(2
1)に読み込まれたテキストデータ中に文章の情景を示
すイメージキーワードが存在するか否かを判別する(ス
テップS7)。このイメージキーワードは、効果音デー
タメモリ(25)に予め記憶されている各効果音データ
に対応して設定されている。もしもイメージキーワード
が存在しない場合には、そのテキストデータが音声合成
部(22)により合成音声に変換されてスピーカ(1
1)から出力される。
【0012】一方、テキストデータ中にイメージキーワ
ードが存在する場合、例えばテキストデータの文章が
「…の雨の音がにわかに激しくなった。」とすると、
「雨の音」がイメージキーワードであり、効果音データ
検出部(24)が、前述のイメージキーワードに対応す
る効果音データを検索する(ステップS8)。即ち、効
果音データ検出部(24)が図6(a)に示すようなデ
ータ検索テーブルに基づき前述の「雨の音」のイメージ
キーワードに対応する効果音データ番号の「1」を検出
し、更に、図6(b)に示すように効果音データメモリ
(25)に効果音データ番号「1」として予め記憶され
ている「雨の降る音」の効果音データが読み出される。
ードが存在する場合、例えばテキストデータの文章が
「…の雨の音がにわかに激しくなった。」とすると、
「雨の音」がイメージキーワードであり、効果音データ
検出部(24)が、前述のイメージキーワードに対応す
る効果音データを検索する(ステップS8)。即ち、効
果音データ検出部(24)が図6(a)に示すようなデ
ータ検索テーブルに基づき前述の「雨の音」のイメージ
キーワードに対応する効果音データ番号の「1」を検出
し、更に、図6(b)に示すように効果音データメモリ
(25)に効果音データ番号「1」として予め記憶され
ている「雨の降る音」の効果音データが読み出される。
【0013】続いて、前述の読み出された「雨の降る
音」の効果音データが効果音データ再生部(26)によ
り再生されると同時に、テキストデータが音声合成部
(22)により合成音声に変換され(ステップS9)、
この合成音声と再生効果音とがミキシングされてスピー
カ(11)から出力される(ステップS10)。そし
て、テキストデータメモリ(16)から全てのテキスト
データの読み出しが終了したと判別(ステップS11)
されるまで、ステップS6にジャンプして前述と同様の
ルーチンを繰り返して残りのテキストデータの読み出し
を行なう。従って、読み上げられる文章の情景に合致し
た効果音が同時に出力されるので、読者に臨場感とその
具体的なイメージを伝えることができる。
音」の効果音データが効果音データ再生部(26)によ
り再生されると同時に、テキストデータが音声合成部
(22)により合成音声に変換され(ステップS9)、
この合成音声と再生効果音とがミキシングされてスピー
カ(11)から出力される(ステップS10)。そし
て、テキストデータメモリ(16)から全てのテキスト
データの読み出しが終了したと判別(ステップS11)
されるまで、ステップS6にジャンプして前述と同様の
ルーチンを繰り返して残りのテキストデータの読み出し
を行なう。従って、読み上げられる文章の情景に合致し
た効果音が同時に出力されるので、読者に臨場感とその
具体的なイメージを伝えることができる。
【0014】また、光学文字読取部(13)および発音
装置部(14)の個々の制御並びにこれら相互間のテキ
ストデータの受け渡し制御は制御回路(15)が行な
う。従って、光学文字読取部(13)は、発音装置部
(14)の信号処理状況とは独立して改頁機構部(2
0)を駆動して次頁の読み取りを行なえるので、次頁の
読み上げ動作に備えることができる。このような処理を
行なうことにより何頁にもわたる連続頁の読み上げが可
能となる。
装置部(14)の個々の制御並びにこれら相互間のテキ
ストデータの受け渡し制御は制御回路(15)が行な
う。従って、光学文字読取部(13)は、発音装置部
(14)の信号処理状況とは独立して改頁機構部(2
0)を駆動して次頁の読み取りを行なえるので、次頁の
読み上げ動作に備えることができる。このような処理を
行なうことにより何頁にもわたる連続頁の読み上げが可
能となる。
【0015】図3は前記実施例を具現化したブロックを
示し、同図において図2と同一若しくは同等のものには
同一の符号を付してあり、図2の前述の説明に対し補足
すべき事項のみを説明する。光学文字読取部(13)に
おいて、本(2)の印刷文字をイメージセンサー(2
8)で読み取った後にA/D変換部(27)でデジタル
信号に変換したイメージデータからの各文字の切り出し
およびこの切り出した文字の認識を、プログラムROM
(29)、辞書用ROM(30)およびワーク用RAM
(31)が接続された文字読取り制御用CPU(17)
による制御により行ない、処理される。
示し、同図において図2と同一若しくは同等のものには
同一の符号を付してあり、図2の前述の説明に対し補足
すべき事項のみを説明する。光学文字読取部(13)に
おいて、本(2)の印刷文字をイメージセンサー(2
8)で読み取った後にA/D変換部(27)でデジタル
信号に変換したイメージデータからの各文字の切り出し
およびこの切り出した文字の認識を、プログラムROM
(29)、辞書用ROM(30)およびワーク用RAM
(31)が接続された文字読取り制御用CPU(17)
による制御により行ない、処理される。
【0016】一方、発音装置部(14)において、文字
認識されたテキストデータからイメージキーワードを検
出し、この検出したイメージキーワードに対応する効果
音データを検索した後にD/A変換部(40)でアナロ
グ信号に変換し、これと同時に、テキストデータに基づ
きデジタル・シグナル・プロセッサ(39)によって音
声を合成してこれをD/A変換部(41)でアナログ信
号に変換し、これらのテキストデータと効果音データと
の各アナログ信号をアンプ(42)でミキシングしてス
ピーカ(43)を通じ出力する。これらの動作を、プロ
グラムROM(35)、ワーク用RAM(36)、音声
合成辞書用ROMおよび効果音データ用ROM(38)
が接続された発音制御用CPU(21)により制御し、
処理される。
認識されたテキストデータからイメージキーワードを検
出し、この検出したイメージキーワードに対応する効果
音データを検索した後にD/A変換部(40)でアナロ
グ信号に変換し、これと同時に、テキストデータに基づ
きデジタル・シグナル・プロセッサ(39)によって音
声を合成してこれをD/A変換部(41)でアナログ信
号に変換し、これらのテキストデータと効果音データと
の各アナログ信号をアンプ(42)でミキシングしてス
ピーカ(43)を通じ出力する。これらの動作を、プロ
グラムROM(35)、ワーク用RAM(36)、音声
合成辞書用ROMおよび効果音データ用ROM(38)
が接続された発音制御用CPU(21)により制御し、
処理される。
【0017】尚、前記実施例では、改頁機構部(20)
を具備して本(2)を一々取り出すことなく自動的に頁
をめくる構成としたが、手動で本(2)をめくるように
してもよい。また、効果音データは、自然界の音または
合成した音の何れを用いてもよい。更に、図3のブロッ
クでは3個のCPU(17),(21),(32)を用
いた場合を例示したが、1個のCPUを共用して制御す
ることもでき、また、効果音の再生時間長は、読み上げ
られる文章の内容に応じて適宜設定できるようにもでき
る。
を具備して本(2)を一々取り出すことなく自動的に頁
をめくる構成としたが、手動で本(2)をめくるように
してもよい。また、効果音データは、自然界の音または
合成した音の何れを用いてもよい。更に、図3のブロッ
クでは3個のCPU(17),(21),(32)を用
いた場合を例示したが、1個のCPUを共用して制御す
ることもでき、また、効果音の再生時間長は、読み上げ
られる文章の内容に応じて適宜設定できるようにもでき
る。
【0018】図7は、前記実施例の効果音に代えてイメ
ージ画像を利用した本発明の他の実施例の外観を示し、
同図において図1と同一若しくは同等のものには同一の
符号を付してあり、外観上相違する点は、本挿入トレイ
(10)の上方部に、液晶表示装置からなるイメージ画
像表示部(44)を設けた構成のみである。これの機能
ブロック図を図8に示し、同図において図2と同一若し
くは同等のものには同一の符号を付してある。そして、
相違する点は、発音装置部(14)に代えて音声合成処
理兼表示制御部(45)を設けた構成のみである。この
音声合成処理兼表示制御部(45)は、全体を制御する
音声合成処理兼イメージ表示用制御部(46)と、音声
合成部(22)と、イメージキーワード検出部(23)
と、検出されたイメージキーワードに基づいて映像デー
タ番号を検索する映像データ検索部(47)と、予め所
定の映像データが記憶された映像データメモリ(49)
と、この映像データを表示するイメージ画像表示部(4
4)とにより構成されている。
ージ画像を利用した本発明の他の実施例の外観を示し、
同図において図1と同一若しくは同等のものには同一の
符号を付してあり、外観上相違する点は、本挿入トレイ
(10)の上方部に、液晶表示装置からなるイメージ画
像表示部(44)を設けた構成のみである。これの機能
ブロック図を図8に示し、同図において図2と同一若し
くは同等のものには同一の符号を付してある。そして、
相違する点は、発音装置部(14)に代えて音声合成処
理兼表示制御部(45)を設けた構成のみである。この
音声合成処理兼表示制御部(45)は、全体を制御する
音声合成処理兼イメージ表示用制御部(46)と、音声
合成部(22)と、イメージキーワード検出部(23)
と、検出されたイメージキーワードに基づいて映像デー
タ番号を検索する映像データ検索部(47)と、予め所
定の映像データが記憶された映像データメモリ(49)
と、この映像データを表示するイメージ画像表示部(4
4)とにより構成されている。
【0019】光学文字読取部(13)は図2のものと同
様であって図4のフローチャートに基づき動作する。次
に、音声合成処理兼表示制御部(45)の動作を図10
のフローチャートを参照しながら説明する。音声合成処
理兼イメージ表示用制御部(46)が、テキストデータ
メモリ(16)に記憶のテキストデータを例えば句
点「。」までの読み上げ単位毎に読み出して入力する
(ステップS13)。イメージキーワード検出部(2
3)が、音声合成処理兼イメージ表示用制御部(46)
に読み込まれたテキストデータ中に文章の情景を示すイ
メージキーワードが存在するか否かを判別する(ステッ
プS14)。このイメージキーワードは、映像データメ
モリ(48)に予め記憶されている各映像データに対応
して設定されている。もしもテキストデータ中にイメー
ジキーワードが存在しない場合には、そのテキストデー
タが音声合成部(22)により合成音声に変換されてス
ピーカ(11)から出力される(ステップS17)。
様であって図4のフローチャートに基づき動作する。次
に、音声合成処理兼表示制御部(45)の動作を図10
のフローチャートを参照しながら説明する。音声合成処
理兼イメージ表示用制御部(46)が、テキストデータ
メモリ(16)に記憶のテキストデータを例えば句
点「。」までの読み上げ単位毎に読み出して入力する
(ステップS13)。イメージキーワード検出部(2
3)が、音声合成処理兼イメージ表示用制御部(46)
に読み込まれたテキストデータ中に文章の情景を示すイ
メージキーワードが存在するか否かを判別する(ステッ
プS14)。このイメージキーワードは、映像データメ
モリ(48)に予め記憶されている各映像データに対応
して設定されている。もしもテキストデータ中にイメー
ジキーワードが存在しない場合には、そのテキストデー
タが音声合成部(22)により合成音声に変換されてス
ピーカ(11)から出力される(ステップS17)。
【0020】一方、テキストデータ中にイメージキーワ
ードが存在する場合、例えばテキストデータの文章が
「雪国であった。」とすると、「雪国」がイメージキー
ワードであり、映像データ検索部(47)が、前述のイ
メージキーワードに対応する映像データを検索する(ス
テップS15)。即ち、映像データ検索部(47)が図
11(a)に示すようなデータ検索テーブルに基づき前
述の「雪国」のイメージキーワードに対応する映像デー
タ番号の「1」を検出し、更に、図11(b)に示すよ
うに、映像データメモリ(48)に映像データ番号
「1」に関連付けて予め記憶されている雪国の情景を表
現する「雪の景色」の映像データが読み出される。
ードが存在する場合、例えばテキストデータの文章が
「雪国であった。」とすると、「雪国」がイメージキー
ワードであり、映像データ検索部(47)が、前述のイ
メージキーワードに対応する映像データを検索する(ス
テップS15)。即ち、映像データ検索部(47)が図
11(a)に示すようなデータ検索テーブルに基づき前
述の「雪国」のイメージキーワードに対応する映像デー
タ番号の「1」を検出し、更に、図11(b)に示すよ
うに、映像データメモリ(48)に映像データ番号
「1」に関連付けて予め記憶されている雪国の情景を表
現する「雪の景色」の映像データが読み出される。
【0021】続いて、音声合成処理兼イメージ表示制御
部(46)が、前述の読み出された「雪の景色」の映像
データをイメージ画像表示部(44)に描画させるとと
もに(ステップS16)、テキストデータが音声合成部
(22)により合成音声に変換されてスピーカ(11)
から出力される(ステップS17)。そして、テキスト
データメモリ(16)から全てのテキストデータの読み
出しが終了したと判別(ステップS18)されるまで、
ステップS13にジャンプして前述と同様のルーチンを
繰り返して残りのテキストデータの読み出しを行なう。
従って、読み上げられる文章の情景に合致した映像が同
時に描画されるので、読者に臨場感とその具体的なイメ
ージを伝えることができ、特に、子供の学習用等の用途
に極めて適したものとなる。
部(46)が、前述の読み出された「雪の景色」の映像
データをイメージ画像表示部(44)に描画させるとと
もに(ステップS16)、テキストデータが音声合成部
(22)により合成音声に変換されてスピーカ(11)
から出力される(ステップS17)。そして、テキスト
データメモリ(16)から全てのテキストデータの読み
出しが終了したと判別(ステップS18)されるまで、
ステップS13にジャンプして前述と同様のルーチンを
繰り返して残りのテキストデータの読み出しを行なう。
従って、読み上げられる文章の情景に合致した映像が同
時に描画されるので、読者に臨場感とその具体的なイメ
ージを伝えることができ、特に、子供の学習用等の用途
に極めて適したものとなる。
【0022】図9は前記実施例を具現化したブロック図
を示し、同図において図3および図8と同一若しくは同
等のものには同一の符号を付してあり、図8の前述の説
明に対し補足すべき事項のみを説明する。光学文字読取
部(13)および制御回路(15)については図3と同
様であるのでその説明を省略する。そして、音声合成処
理兼表示制御部(45)において、文字認識されたテキ
ストデータからイメージキーワードを検出し、この検出
したイメージキーワードに対応する映像データを検索し
た後に、この映像データを表示ドライバ(50)により
イメージ画像表示部(44)に表示し、また、テキスト
データに基づきデジタル・シグナル・プロセッサ(3
9)により音声を合成してこれをD/A変換部(41)
でアナログ信号に変換し、このアナログ信号をアンプ
(42)を介してスピーカ(11)から出力する。これ
らの動作を、プログラムROM(35)、ワーク用RA
M(36)、音声合成辞書用ROMおよび映像データ用
ROM(49)が接続された発音合成兼表示制御用CP
U(43)により制御し、処理される。
を示し、同図において図3および図8と同一若しくは同
等のものには同一の符号を付してあり、図8の前述の説
明に対し補足すべき事項のみを説明する。光学文字読取
部(13)および制御回路(15)については図3と同
様であるのでその説明を省略する。そして、音声合成処
理兼表示制御部(45)において、文字認識されたテキ
ストデータからイメージキーワードを検出し、この検出
したイメージキーワードに対応する映像データを検索し
た後に、この映像データを表示ドライバ(50)により
イメージ画像表示部(44)に表示し、また、テキスト
データに基づきデジタル・シグナル・プロセッサ(3
9)により音声を合成してこれをD/A変換部(41)
でアナログ信号に変換し、このアナログ信号をアンプ
(42)を介してスピーカ(11)から出力する。これ
らの動作を、プログラムROM(35)、ワーク用RA
M(36)、音声合成辞書用ROMおよび映像データ用
ROM(49)が接続された発音合成兼表示制御用CP
U(43)により制御し、処理される。
【0023】尚、映像データとしては、絵や写真を基に
作成した画像データの他に、風景以外の動画データを用
いてもよい。
作成した画像データの他に、風景以外の動画データを用
いてもよい。
【0024】
【発明の効果】以上のように本発明の自動読書装置によ
ると、本の文字を光学的に読み取った後にこれらを個々
の文字に切り出し文字認識したテキストデータを合成音
声として出力するとともに、テキストデータ中の景色や
情景の描写内容を自動的に認識してその情景を表す効果
音を同時に出力する構成としたので、恰も読み上げる文
章の情景に合致した効果音が同時に出力されることによ
って読者に臨場感とその具体的なイメージを伝えること
ができる。
ると、本の文字を光学的に読み取った後にこれらを個々
の文字に切り出し文字認識したテキストデータを合成音
声として出力するとともに、テキストデータ中の景色や
情景の描写内容を自動的に認識してその情景を表す効果
音を同時に出力する構成としたので、恰も読み上げる文
章の情景に合致した効果音が同時に出力されることによ
って読者に臨場感とその具体的なイメージを伝えること
ができる。
【0025】また、本の文字を光学的に読み取り文字認
識したテキストデータを合成音声として出力するととも
に、テキストデータ中の景色や情景の描写内容を自動的
に認識してその情景を表すイメージを映像として描画す
る構成としたので、恰も読み上げる文章の情景に合致し
たイメージ画像が映し出されることによって読者に臨場
感とその具体的なイメージを伝えることができ、特に子
供用の学習機器として活用できる利点かある。
識したテキストデータを合成音声として出力するととも
に、テキストデータ中の景色や情景の描写内容を自動的
に認識してその情景を表すイメージを映像として描画す
る構成としたので、恰も読み上げる文章の情景に合致し
たイメージ画像が映し出されることによって読者に臨場
感とその具体的なイメージを伝えることができ、特に子
供用の学習機器として活用できる利点かある。
【図1】本発明の一実施例の外観を示す斜視図である。
【図2】同上、機能ブロック図である。
【図3】同上、具現化した構成のブロックである。
【図4】同上、光学文字読取部の動作を示すフローチャ
ートである。
ートである。
【図5】同上、発音装置部の動作を示すフローチャート
である。
である。
【図6】同上、(a),(b)はイメージキーワード検
索用のデータ検索テーブルおよび効果音データの記憶状
態の説明図である。
索用のデータ検索テーブルおよび効果音データの記憶状
態の説明図である。
【図7】本発明の他の実施例の外観を示す斜視図であ
る。
る。
【図8】同上、機能ブロック図である。
【図9】同上、具現化した構成のブロックである。
【図10】同上、音声合成処理兼表示制御部の動作を示
すフローチャートである。
すフローチャートである。
【図11】同上、(a),(b)はイメージキーワード
検索用のデータ検索テーブルおよび映像データの記憶状
態の説明図である。
検索用のデータ検索テーブルおよび映像データの記憶状
態の説明図である。
【図12】従来の盲人用自動読書装置の外観を示す斜視
図である。
図である。
【図13】同上、システム構成図である。
2 本 11 スピーカ(音声出力手段) 13 光学文字読取部 14 発音装置部 22 音声合成部(音声合成手段) 23 イメージキーワード検出部(イメージキーワード
検出手段) 24 効果音データ検出部(効果音データ検出手段) 25 効果音データメモリ 26 効果音データ再生部(効果音データ再生手段) 44 イメージ画像表示部 45 音声合成処理兼表示制御部 46 音声合成処理兼イメージ表示用制御部(信号処理
制御手段) 47 映像データ検索部(映像データ検索手段) 48 映像データメモリ
検出手段) 24 効果音データ検出部(効果音データ検出手段) 25 効果音データメモリ 26 効果音データ再生部(効果音データ再生手段) 44 イメージ画像表示部 45 音声合成処理兼表示制御部 46 音声合成処理兼イメージ表示用制御部(信号処理
制御手段) 47 映像データ検索部(映像データ検索手段) 48 映像データメモリ
Claims (2)
- 【請求項1】 本の印刷文字を光学的に読み取ったイメ
ージデータを1文字毎に切り出し文字認識して本の文章
のテキストデータを作成する光学文字読取部と、前記テ
キストデータを合成音声として出力する発音装置とから
なり、該発音装置部に、前記テキストデータを合成音声
に変換する音声合成手段と、予め設定された文章の情景
を示すイメージキーワードが前記テキストデータ中に存
在するか否かを判別するイメージキーワード検出手段
と、該イメージキーワード検出手段で検出されたイメー
ジキーワードに対応する効果音データを効果音データメ
モリから読み出す効果音データ検出手段と、この読み出
された効果音データを再生する効果音データ再生手段
と、この再生された効果音と前記音声合成手段からの合
成音声とをミキシングして出力する音声出力手段とを備
えたことを特徴とする自動読書装置。 - 【請求項2】 「請求項1」に記載の発音装置部に代え
て音声合成処理兼表示制御部を設け、この音声合成処理
兼表示制御部に、前記テキストデータを合成音声に変換
する音声合成手段と、予め設定された文章の情景を示す
イメージキーワードが前記テキストデータ中に存在する
か否かを判別するイメージキーワド検出手段と、該イメ
ージキーワード検出手段で検出されたイメージキーワー
ドに対応する映像データを検索する映像データ検索部
と、この映像データ検索部により検索された映像データ
を映像データメモリから読み出しイメージ画像表示部に
表示するよう制御するとともに前記音声合成手段による
合成音声を発音手段から出力させる信号処理制御手段と
を備えたことを特徴とする自動読書装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4138525A JP2849504B2 (ja) | 1992-05-29 | 1992-05-29 | 自動読書装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4138525A JP2849504B2 (ja) | 1992-05-29 | 1992-05-29 | 自動読書装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH05333891A true JPH05333891A (ja) | 1993-12-17 |
JP2849504B2 JP2849504B2 (ja) | 1999-01-20 |
Family
ID=15224194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4138525A Expired - Fee Related JP2849504B2 (ja) | 1992-05-29 | 1992-05-29 | 自動読書装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2849504B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09114364A (ja) * | 1995-10-17 | 1997-05-02 | Ricoh Elemex Corp | 情報印刷装置 |
GB2343821A (en) * | 1998-09-04 | 2000-05-17 | Nec Corp | Adding sound effects or background music to synthesised speech |
WO2000058964A1 (en) * | 1999-03-29 | 2000-10-05 | Trust & Obey Co., Ltd. | An apparatus for reproducing digital voice |
JP2001014237A (ja) * | 1999-07-02 | 2001-01-19 | Nec Corp | 電子メール番組装置および電子メール番組用プログラムを記録した記録媒体 |
KR20020055398A (ko) * | 2000-12-28 | 2002-07-08 | 가시오 가즈오 | 전자 서적 송출장치, 전자 서적 장치 및 기록매체 |
KR20020074816A (ko) * | 2001-03-22 | 2002-10-04 | 솔칩테크놀로지(주) | 휴대용 다기능 전자책 및 그 제어방법 |
JP2002318593A (ja) * | 2001-04-20 | 2002-10-31 | Sony Corp | 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体 |
WO2002086861A1 (fr) * | 2001-04-20 | 2002-10-31 | Sony Corporation | Processeur de langage |
JP2002366892A (ja) * | 2001-06-05 | 2002-12-20 | Sharp Corp | 光学式文字認識装置 |
JP2006323827A (ja) * | 2005-04-18 | 2006-11-30 | Ricoh Co Ltd | 音楽フォント出力装置、フォントデータベース及び言語入力フロントエンドプロセッサ |
WO2008038473A1 (fr) * | 2006-09-27 | 2008-04-03 | Sony Corporation | Appareil et procédé d'affichage |
US8294776B2 (en) | 2006-09-27 | 2012-10-23 | Sony Corporation | Imaging apparatus and imaging method |
JP2013025112A (ja) * | 2011-07-21 | 2013-02-04 | Sharp Corp | 電子機器、再生方法、プログラム、及び、記録媒体 |
KR20190027438A (ko) * | 2017-09-07 | 2019-03-15 | 케이티하이텔 주식회사 | 스피커 스탠드 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102126609B1 (ko) * | 2017-05-29 | 2020-06-24 | 하은영 | 독서 엔터테이닝 장치 및 이의 구동 방법 |
-
1992
- 1992-05-29 JP JP4138525A patent/JP2849504B2/ja not_active Expired - Fee Related
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09114364A (ja) * | 1995-10-17 | 1997-05-02 | Ricoh Elemex Corp | 情報印刷装置 |
GB2343821A (en) * | 1998-09-04 | 2000-05-17 | Nec Corp | Adding sound effects or background music to synthesised speech |
US6334104B1 (en) | 1998-09-04 | 2001-12-25 | Nec Corporation | Sound effects affixing system and sound effects affixing method |
WO2000058964A1 (en) * | 1999-03-29 | 2000-10-05 | Trust & Obey Co., Ltd. | An apparatus for reproducing digital voice |
JP2001014237A (ja) * | 1999-07-02 | 2001-01-19 | Nec Corp | 電子メール番組装置および電子メール番組用プログラムを記録した記録媒体 |
US6985913B2 (en) | 2000-12-28 | 2006-01-10 | Casio Computer Co. Ltd. | Electronic book data delivery apparatus, electronic book device and recording medium |
KR20020055398A (ko) * | 2000-12-28 | 2002-07-08 | 가시오 가즈오 | 전자 서적 송출장치, 전자 서적 장치 및 기록매체 |
KR20020074816A (ko) * | 2001-03-22 | 2002-10-04 | 솔칩테크놀로지(주) | 휴대용 다기능 전자책 및 그 제어방법 |
JP2002318593A (ja) * | 2001-04-20 | 2002-10-31 | Sony Corp | 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体 |
WO2002086861A1 (fr) * | 2001-04-20 | 2002-10-31 | Sony Corporation | Processeur de langage |
JP2002366892A (ja) * | 2001-06-05 | 2002-12-20 | Sharp Corp | 光学式文字認識装置 |
JP2006323827A (ja) * | 2005-04-18 | 2006-11-30 | Ricoh Co Ltd | 音楽フォント出力装置、フォントデータベース及び言語入力フロントエンドプロセッサ |
WO2008038473A1 (fr) * | 2006-09-27 | 2008-04-03 | Sony Corporation | Appareil et procédé d'affichage |
JP2008083290A (ja) * | 2006-09-27 | 2008-04-10 | Sony Corp | 表示装置、表示方法 |
US8294776B2 (en) | 2006-09-27 | 2012-10-23 | Sony Corporation | Imaging apparatus and imaging method |
TWI384256B (zh) * | 2006-09-27 | 2013-02-01 | Sony Corp | Display device, display method |
US8982013B2 (en) | 2006-09-27 | 2015-03-17 | Sony Corporation | Display apparatus and display method |
US9179057B2 (en) | 2006-09-27 | 2015-11-03 | Sony Corporation | Imaging apparatus and imaging method that acquire environment information and information of a scene being recorded |
US10481677B2 (en) | 2006-09-27 | 2019-11-19 | Sony Corporation | Display apparatus and display method |
JP2013025112A (ja) * | 2011-07-21 | 2013-02-04 | Sharp Corp | 電子機器、再生方法、プログラム、及び、記録媒体 |
KR20190027438A (ko) * | 2017-09-07 | 2019-03-15 | 케이티하이텔 주식회사 | 스피커 스탠드 |
Also Published As
Publication number | Publication date |
---|---|
JP2849504B2 (ja) | 1999-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2849504B2 (ja) | 自動読書装置 | |
JP3248981B2 (ja) | 計算機 | |
KR20160111335A (ko) | 외국어 학습 시스템 및 외국어 학습 방법 | |
JP5634853B2 (ja) | 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、ならびに電子コミックの表示方法 | |
JPH10274997A (ja) | 文書読み上げ装置 | |
JP2001318592A (ja) | 言語学習装置及びその言語分析方法 | |
JP2001075581A (ja) | 電子漫画製造装置および電子漫画出力装置 | |
JP3433532B2 (ja) | 電子ブック装置 | |
JPH07181992A (ja) | 文書読上げ装置及び方法 | |
JP6365520B2 (ja) | 音声出力装置、音声出力方法、およびプログラム | |
JPH06337876A (ja) | 文章読み上げ装置 | |
JP3222283B2 (ja) | 案内装置 | |
JPH05313565A (ja) | 音声読書機 | |
JP2000099308A (ja) | 電子ブックプレーヤ | |
JP2001343989A (ja) | 朗読装置 | |
JPH08272388A (ja) | 音声合成装置及びその方法 | |
JPH07152532A (ja) | 文章読み上げ装置 | |
KR100426326B1 (ko) | 디지털 만화 서비스 시스템 및 디지털 만화 재생 시스템 | |
JPH0527787A (ja) | 音楽再生装置 | |
JPH06119144A (ja) | 文書読み上げ装置 | |
JPH02252020A (ja) | 情報伝達装置 | |
JPS5913634Y2 (ja) | 言語辞引装置 | |
JP2780665B2 (ja) | 外国語学習支援装置 | |
JP2857150B2 (ja) | マルチメディアデータ再生装置 | |
JPH08314939A (ja) | 翻訳装置および翻訳方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |