JP5691654B2 - 表示制御装置、表示制御方法、および表示制御プログラム - Google Patents
表示制御装置、表示制御方法、および表示制御プログラム Download PDFInfo
- Publication number
- JP5691654B2 JP5691654B2 JP2011046823A JP2011046823A JP5691654B2 JP 5691654 B2 JP5691654 B2 JP 5691654B2 JP 2011046823 A JP2011046823 A JP 2011046823A JP 2011046823 A JP2011046823 A JP 2011046823A JP 5691654 B2 JP5691654 B2 JP 5691654B2
- Authority
- JP
- Japan
- Prior art keywords
- text area
- text
- unit
- document
- character string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Description
また、他の関連する技術として、下記の文書読上げ装置が提案されている。文書読上げ装置においては、文書データの日本語解析および音声合成を通して文書の読み上げを行うメインルーチンに、読み上げを行う文書中の任意の単語をオペレータが指定してこの単語の読みを変更するためのサブルーチンを付加し、このサブルーチンはメインルーチンの実行中に割り込み処理として実行される。(例えば、特許文献2)
0:40代をとりまく経済的不安要因
1:増税が心配です
2:家のローンは大丈夫か?
3:自動車ローンもある
4:子供の養育費も結構かかる
なお、表示データ4は、画像フレーム内での各テキスト要素の位置、各テキスト要素のフォント、文字サイズ、色などを指定する情報を含むようにしてもよい。また、表示データ4は、他の画像要素を表す情報を含むようにしてもよい。
図5は、第1の実施形態の表示制御装置の構成を示す。第1の実施形態の表示制御装置1は、図5に示すように、テキスト領域抽出部11、形態素解析部12、自立語抽出部13、相関計算部14、対応関係決定部15、音声合成部16、同期制御部17を備える。そして、表示制御装置1には、表示資料および読上げ原稿が与えられる。表示資料は、上述した表示データ4に相当し、読上げ原稿は、上述した読上げ原稿データ5に相当する。
増税:名詞
が:助詞
心配:形容動詞
です:助動詞
なお、文字列を形態素に分解する方法、および各形態素の品詞を判定する方法は、様々な手順が知られている。形態素解析部12は、任意の方法で形態素解析を実行することができる。
例えば、M=1、N=1であるものとする。この場合、読上げ原稿の文1と表示資料のテキスト領域1との間で一致する自立語の個数がカウントされる。ここで、文1から抽出される自立語は以下の通りである。
文1:消費税、所得税、増税、税負担、増加、事、考え
また、テキスト領域1から抽出される自立語は以下の通りである。
領域1:増税、心配
このケースでは、文1とテキスト領域1との間で「増税」が一致している。したがって、相関計算部14は、一致個数[1][1]として「1」を出力する。
文1:消費税、所得税、増税、税負担、増加、事、考え
また、テキスト領域2から抽出される自立語は以下の通りである。
領域2:家、ローン、大丈夫
このケースでは、文1とテキスト領域2との間で一致する自立語は存在しない。したがって、相関計算部14は、一致個数[1][2]として「0」を出力する。
文4:家、ローン、以外、車、ローン、各種、ローン、ある
また、テキスト領域2から抽出される自立語は以下の通りである。
領域2:家、ローン、大丈夫
このケースでは、文4とテキスト領域2との間で「家」が一致する。また、領域2から抽出される「ローン」は、文4の2番目、5番目、7番目の自立語と一致する。よって、相関計算部14は、一致個数[4][2]として「4」を出力する。
図15は、第2の実施形態の表示制御装置の構成を示す。第2の実施形態の表示制御装置1は、テキスト領域抽出部11、形態素解析部12、自立語抽出部13、相関計算部14、対応関係決定部15、音声合成部16、同期制御部17、係り受け解析部21、文脈否定語辞書22、文脈否定自立語除去部23を備える。なお、テキスト領域抽出部11、形態素解析部12、自立語抽出部13、相関計算部14、対応関係決定部15、音声合成部16、同期制御部17は、第1の実施形態と実質的に同じである。
図19は、第3の実施形態の表示制御装置の構成を示す。第3の実施形態の表示制御装置1は、テキスト領域抽出部11、形態素解析部12、自立語抽出部13、相関計算部14、対応関係決定部15、音声合成部16、同期制御部17、位置情報スコア付加部31を備える。なお、テキスト領域抽出部11、形態素解析部12、自立語抽出部13、相関計算部14、対応関係決定部15、音声合成部16、同期制御部17は、第1の実施形態と実質的に同じである。
位置情報[N] =N/(テキスト領域の数−1) ・・・(1)
Nは、各テキスト領域を識別する識別番号である。例えば、図6に示す例では、N=0〜4であり、「テキスト領域の数」は「5」である。また、「位置情報[N]」は、識別番号としてNが割り当てられているテキスト領域の位置情報を意味する。
(1)ゼロから割当てを開始する
(2)上方から下方に向かって順番に割り当てる
(3)同じ高さ位置に配置されているテキスト領域に対しては、左方から右方に向かって順番に割り当てる
したがって、表示資料内で最も上方に配置されているテキスト領域「40代をとりまく経済的不安要因」に対して、識別番号=0が割り当てられる。また、同じ高さ位置に配置されている2つのテキスト領域「増税が心配です」「家のローンは大丈夫か?」のうち、「増税が心配です」が左方に配置されている。よって、テキスト領域「増税が心配です」に対して識別番号=1が割り当てられ、テキスト領域「家のローンは大丈夫か?」に対して識別番号=2が割り当てられている。同様に、テキスト領域「自動車ローンもある」に対して識別番号=3が割り当てられ、テキスト領域「子供の養育費も結構かかる」に対して識別番号=4が割り当てられている。
順序情報[M] =M/(原稿要素の数−1) ・・・(2)
Mは、各原稿要素を識別する識別番号である。例えば、図3に示す例では、M=0〜5であり、「原稿要素の数」は「6」である。また、「順序情報[M]」は、識別番号としてMが割り当てられている原稿要素の順序情報を意味する。
位置情報スコア[M][N]=(1−差分[M][N])*重み
「位置情報スコア[M][N]」は、M番目の原稿要素とN番目のテキスト領域との間の位置情報スコアを表す。「差分[M][N]」は、上述したように、M番目の原稿要素の順序情報とN番目のテキスト領域の位置情報との差分の絶対値を表す。「重み」は、シミュレーション等に応じて決定される定数である。位置情報スコア付加部31により得られる位置情報スコアの計算結果を図21(a)に示す。ここでは、重み=0.8である。
図22は、第4の実施形態の表示制御装置の構成を示す。第4の実施形態の表示制御装置1は、テキスト領域抽出部11、形態素解析部12、自立語抽出部13、対応関係決定部15、音声合成部16、同期制御部17、類似語辞書41、類似語対応相関計算部42を備える。なお、テキスト領域抽出部11、形態素解析部12、自立語抽出部13、対応関係決定部15、音声合成部16、同期制御部17は、第1の実施形態と実質的に同じである。
図26は、第1〜第4の実施形態の表示制御装置を実現するためのコンピュータシステムのハードウェア構成を示す図である。コンピュータシステム100は、図26に示すように、CPU101、メモリ102、記憶装置103、読み取り装置104、通信インタフェース106、および入出力装置107を備える。なお、CPU101、メモリ102、記憶装置103、読み取り装置104、通信インタフェース106、入出力装置107は、例えば、バス108を介して互いに接続されている。
(1)記憶装置103に予めインストールされている。
(2)着脱可能記録媒体105により提供される。
(3)プログラムサーバ110から提供される。
上述した第1〜第4の実施形態においては、表示制御装置1は、読上げ原稿の音声データを出力しながら表示装置2に表示資料を表示する際に、その音声データの内容に応じて表示資料の画像内の対応する領域を強調する。しかしながら、本発明は、このような動作を行う装置、方法、プログラムに限定されるものではない。例えば、本発明の範囲は、音声データの内容に応じて表示資料の画像内の対応する領域を強調するように表示データが加工されたコンテンツを作成する装置、方法、プログラムも含むものとする。この場合、本発明に係る装置は、例えば、音声合成部16を備えなくてもよい。また、同期制御部17は、例えば、各テキスト領域と各原稿要素との間の対応関係に基づいて、表示データに強調表示を指示する情報を付加する。
2 表示装置
3 スピーカ
4 表示データ
5 読上げ原稿データ
11 テキスト領域抽出部
12 形態素解析部
13 自立語抽出部
14 相関計算部
15 対応関係決定部
16 音声合成部
17 同期制御部
21 係り受け解析部
22 文脈否定語辞書
23 文脈否定自立語除去部
31 位置情報スコア付加部
41 類似語辞書
42 類似語対応相関計算部
Claims (6)
- 表示データからテキストを含むテキスト領域を抽出するテキスト領域抽出部と、
前記テキスト領域抽出部により抽出された各テキスト領域内の文字列、および読上げ原稿データに含まれる各原稿要素の文字列を形態素に分割し、各形態素に品詞を付与する形態素解析部と、
前記形態素解析部により得られる形態素から、予め決められた特定の品詞を有する特定単語を抽出する特定単語抽出部と、
各原稿要素の文字列または各テキスト領域内の文字列の少なくとも一部について、前記特定単語抽出部により抽出された特定単語間の係り受けを解析する係り受け解析部と、
前記係り受け解析部による解析結果に基づいて、前記係り受け解析部による解析が行われた文字列において、文字列の文脈に対して否定的な働きをする否定語および前記否定語に係る特定単語を除去する文脈否定語除去部と、
前記特定単語抽出部により抽出された特定単語の中で前記文脈否定語除去部により除去されなかった特定単語を利用して、各テキスト領域と各原稿要素との間の相関をそれぞれ計算する相関計算部と、
前記相関計算部により計算される相関に基づいて、テキスト領域と原稿要素との間の対応関係を表す対応関係情報を生成する対応関係決定部と、
前記読上げ原稿データから各原稿要素の音声データを生成する音声合成部と、
前記対応関係情報に基づいて、前記音声データが出力される原稿要素に対応するテキスト領域を強調して表示する同期制御部と、
を有する表示制御装置。 - 前記相関計算部は、各テキスト領域と各原稿要素との間で互いに一致する特定単語の個数をカウントすることで、前記相関を計算し、
前記対応関係決定部は、前記対応関係情報において、各原稿要素に対して一致する特定単語の個数が最大であるテキスト領域を対応付ける
ことを特徴とする請求項1に記載の表示制御装置。 - 前記表示データにより表わされる画像内での各テキスト領域の位置を表す位置情報、および各原稿要素について音声データが出力される順序を表す順序情報に基づいて、各テキスト領域と各原稿要素との組合せのそれぞれについて補正値を生成し、各テキスト領域と各原稿要素との組合せについて、それぞれ、前記相関計算部により得られる相関の値を対応する補正値で補正する補正部をさらに備える
ことを特徴とする請求項1に記載の表示制御装置。 - 前記相関計算部は、各テキスト領域と各原稿要素との間で互いに一致または類似する特定単語の個数をカウントすることで、前記相関を計算する
ことを特徴とする請求項2に記載の表示制御装置。 - コンピュータを利用して、
表示データからテキストを含むテキスト領域を抽出し、
前記抽出された各テキスト領域内の文字列、および読上げ原稿データに含まれる各原稿要素の文字列を形態素に分割し、各形態素に品詞を付与し、
前記形態素から、予め決められた特定の品詞を有する特定単語を抽出し、
各原稿要素の文字列または各テキスト領域内の文字列の少なくとも一部について、前記抽出された特定単語間の係り受けを解析し、
前記係り受けについての解析結果に基づいて、前記係り受けについての解析が行われた文字列において、文字列の文脈に対して否定的な働きをする否定語および前記否定語に係る特定単語を除去し、
前記抽出された特定単語の中で前記除去する処理により除去されなかった特定単語を利用して、各テキスト領域と各原稿要素との間の相関をそれぞれ計算し、
前記相関に基づいて、テキスト領域と原稿要素との間の対応関係を表す対応関係情報を生成し、
前記読上げ原稿データから各原稿要素の音声データを生成し、
前記対応関係情報に基づいて、前記音声データが出力される原稿要素に対応するテキスト領域を強調して表示する
ことを特徴とする表示制御方法。 - 表示データからテキストを含むテキスト領域を抽出し、
前記抽出された各テキスト領域内の文字列、および読上げ原稿データに含まれる各原稿要素の文字列を形態素に分割し、各形態素に品詞を付与し、
前記形態素から、予め決められた特定の品詞を有する特定単語を抽出し、
各原稿要素の文字列または各テキスト領域内の文字列の少なくとも一部について、前記抽出された特定単語間の係り受けを解析し、
前記係り受けについての解析結果に基づいて、前記係り受けについての解析が行われた文字列において、文字列の文脈に対して否定的な働きをする否定語および前記否定語に係る特定単語を除去し、
前記抽出された特定単語の中で前記除去する処理により除去されなかった特定単語を利用して、各テキスト領域と各原稿要素との間の相関をそれぞれ計算し、
前記相関に基づいて、テキスト領域と原稿要素との間の対応関係を表す対応関係情報を生成し、
前記読上げ原稿データから各原稿要素の音声データを生成し、
前記対応関係情報に基づいて、前記音声データが出力される原稿要素に対応するテキスト領域を強調して表示する
処理をコンピュータに実行させる表示制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011046823A JP5691654B2 (ja) | 2011-03-03 | 2011-03-03 | 表示制御装置、表示制御方法、および表示制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011046823A JP5691654B2 (ja) | 2011-03-03 | 2011-03-03 | 表示制御装置、表示制御方法、および表示制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012185567A JP2012185567A (ja) | 2012-09-27 |
JP5691654B2 true JP5691654B2 (ja) | 2015-04-01 |
Family
ID=47015623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011046823A Expired - Fee Related JP5691654B2 (ja) | 2011-03-03 | 2011-03-03 | 表示制御装置、表示制御方法、および表示制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5691654B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6304396B2 (ja) * | 2014-10-27 | 2018-04-04 | 富士通株式会社 | プレゼンテーション支援方法、プレゼンテーション支援プログラム及びプレゼンテーション支援装置 |
JP6432405B2 (ja) * | 2015-03-18 | 2018-12-05 | 富士通株式会社 | プレゼンテーション支援装置、プレゼンテーション支援方法及びプレゼンテーション支援プログラム |
JP6526349B2 (ja) | 2016-11-04 | 2019-06-05 | 三菱電機株式会社 | 情報処理装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0520354A (ja) * | 1991-07-12 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 日本語文章解析装置 |
JPH07175909A (ja) * | 1993-12-20 | 1995-07-14 | Canon Inc | データ処理装置 |
GB9821969D0 (en) * | 1998-10-08 | 1998-12-02 | Canon Kk | Apparatus and method for processing natural language |
JP2002108601A (ja) * | 2000-10-02 | 2002-04-12 | Canon Inc | 情報処理システム及び装置及び方法 |
JP4239850B2 (ja) * | 2004-02-18 | 2009-03-18 | 日本電信電話株式会社 | 映像キーワード抽出方法及び装置及びプログラム |
JP4218758B2 (ja) * | 2004-12-21 | 2009-02-04 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 字幕生成装置、字幕生成方法、及びプログラム |
JP2008217064A (ja) * | 2007-02-28 | 2008-09-18 | Toshiba Corp | 要望抽出装置、方法およびプログラム |
JP5180712B2 (ja) * | 2008-07-16 | 2013-04-10 | 日本放送協会 | 音声制御装置、音声制御方法及び音声制御プログラム |
-
2011
- 2011-03-03 JP JP2011046823A patent/JP5691654B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012185567A (ja) | 2012-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20130196292A1 (en) | Method and system for multimedia-based language-learning, and computer program therefor | |
KR102101044B1 (ko) | 텍스트 투 스피치 및 시맨틱스에 기초한 오디오 인적 상호 증명 기법 | |
US20150170648A1 (en) | Ebook interaction using speech recognition | |
JP2944346B2 (ja) | 文書要約装置 | |
JP5691654B2 (ja) | 表示制御装置、表示制御方法、および表示制御プログラム | |
US11176943B2 (en) | Voice recognition device, voice recognition method, and computer program product | |
JP2008276543A (ja) | 対話処理装置、応答文生成方法、及び応答文生成処理プログラム | |
JP5642037B2 (ja) | 検索装置、検索方法およびプログラム | |
WO2018058425A1 (zh) | 虚拟现实引导催眠语音处理方法及装置 | |
CN107886938B (zh) | 虚拟现实引导催眠语音处理方法及装置 | |
Do et al. | Improving translation of emphasis with pause prediction in speech-to-speech translation systems. | |
KR102053076B1 (ko) | 감성 분석 기반의 스타일 적용이 가능한 문서 편집 장치 및 그 동작 방법 | |
US20200387806A1 (en) | Idea generation support device, idea generation support system, and recording medium | |
JP6879521B1 (ja) | 多言語音声認識およびテーマ−意義素解析方法および装置 | |
JP6411015B2 (ja) | 音声合成装置、音声合成方法、およびプログラム | |
JP5142395B2 (ja) | 関係情報抽出装置、その方法、プログラム及び記録媒体 | |
JP5150277B2 (ja) | 言語処理装置、言語処理方法および言語処理プログラム並びに言語処理プログラムを記録した記録媒体 | |
KR102667466B1 (ko) | 이미지 연상 기법을 이용한 영어 독해 강의 콘텐츠 제공 방법 및 장치 | |
JP6323828B2 (ja) | 支援装置、情報処理方法、及び、プログラム | |
JP2004233691A (ja) | カウンセリングプログラム、およびカウンセリング方法 | |
JP2018156593A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP7131518B2 (ja) | 電子機器、発音学習方法、サーバ装置、発音学習処理システムおよびプログラム | |
JP2009150990A (ja) | 発話応答生成装置、及びプログラム | |
JP7258627B2 (ja) | 採点支援装置、その方法、およびプログラム | |
JP4941495B2 (ja) | ユーザ辞書作成システム、方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140617 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5691654 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |