JP4014361B2 - 音声合成装置及び音声合成方法並びに音声合成プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
音声合成装置及び音声合成方法並びに音声合成プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4014361B2 JP4014361B2 JP2001022729A JP2001022729A JP4014361B2 JP 4014361 B2 JP4014361 B2 JP 4014361B2 JP 2001022729 A JP2001022729 A JP 2001022729A JP 2001022729 A JP2001022729 A JP 2001022729A JP 4014361 B2 JP4014361 B2 JP 4014361B2
- Authority
- JP
- Japan
- Prior art keywords
- text
- hypertext
- link destination
- speech
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、音声合成装置及び音声合成方法並びに音声合成プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。特に、ハイパーテキストの読み上げを行う音声合成装置及び音声合成方法並びに音声合成プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
従来より、漢字かな混じり文の文章を読み上げるテキスト音声合成技術が知られている(古井著「ディジタル音声処理」(東海大学出版会)。
【０００３】
一方、近年、インターネットの発展とともに、ＷＷＷ(Ｗｏｒｌｄ ＷｉｄｅＷｅｂ)における情報の記述書式としてＩＳＯ／ＩＥＣ１５４４５で規定されているＨＴＭＬ(Ｈｉｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ)で記述されたハイパーテキストを読み上げるハイパーテキスト読上装置が提案されている(特開平８−８３０８９号公報)。このハイパーテキスト読上装置によれば、テキスト中からハイパーリンクの部分を検出し、そのハイパーリンクの部分の読上音声と通常の部分の読上音声とを変化させて出力することにより、ハイパーリンクが設定されている部分を音声で知覚させることができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記ハイパーテキスト読上装置は、テキスト中のハイパーリンクの存在を読上音声の違いからユーザに知覚させることが可能であるが、リンク先の内容についてまでは読み上げられないため、そのリンク先にどのような情報が存在しているかをユーザに知らせることはできなかった。
【０００５】
本発明は、ハイパーテキストを読み上げる音声合成装置において、ハイパーリンクによりネットワーク状に繋がれているリンク先の情報を読み上げ可能な音声合成装置を提供することを主な目的とする。
【０００６】
【課題を解決するための手段】
本発明は、ハイパーテキストで示される情報を表示する表示手段と、入力ハイパーテキスト中のリンク先を示す属性情報を解析すると共に、この解析結果に従って上記入力ハイパーテキスト中からインターネット上のハイパーテキストの接続先を表すリンク先を示すリンク先情報を抽出するリンク先情報抽出手段と、上記リンク先情報に対応するインターネット上のハイパーテキストを上記リンク先情報が示すインターネット上のリンク先から取得した後、当該ハイパーテキストに含まれると共に、読み上げテキストであることを表すマークアップ情報に基づいて、当該ハイパーテキストからリンク先の読み上げハイパーテキストを抽出するリンク先読み上げテキスト抽出手段と、上記抽出されたリンク先の読み上げハイパーテキストに基づいてリンク先の読み上げテキストを生成するリンク先読み上げテキスト生成手段と、上記入力ハイパーテキストに対する上記表示手段による表示処理を維持させる一方、上記インターネット上から取得したハイパーテキストから抽出および生成されたリンク先の読み上げテキストを音声合成する音声合成手段と、を有することを特徴とする音声合成装置を提供する。
【０００７】
本発明によれば、入力されたハイパーテキスト中のリンク先の情報を取得し、このリンク先情報に対応するインターネット上のハイパーテキストを上記リンク先情報が示すインターネット上のリンク先から取得した後、当該ハイパーテキストから、マークアップ情報に基づいてリンク先の読み上げテキストを生成できるため、入力されたハイパーテキスト中のリンク先のハイパーテキストから抽出および生成された読み上げテキストを読み上げることが可能である。その際に、上記入力ハイパーテキストに対する上記表示手段による表示処理を維持させるので、リンク先の表示後に元の本文の表示に戻るという煩わしい作業を回避することが可能になる。さらに、予め上記リンク先のハイパーテキスト中に読み上げるべきテキストを指定するマークアップ情報が挿入されている場合には、その指定された部分のテキストだけを読み上げるようにすることができ、余分な情報を読み上げなくて済む。
【０００８】
また、本発明は、上記入力ハイパーテキストに基づいて本文の読み上げテキストを生成する本文読み上げテキスト生成手段と、上記生成された本文の読み上げテキストと上記生成されたリンク先の読み上げテキストとを切り替えて音声合成する切替音声合成手段と、をさらに有することを特徴とする音声合成装置を提供する。
【０００９】
本発明によれば、本文の読み上げテキストとリンク先の読み上げテキストとを切り替えて出力することができるため、入力されたハイパーテキストで示される情報のうち本文に関する読み上げテキスト情報とリンク先に関する読み上げテキスト情報とを、ユーザが希望する通りの順序で音声合成することが可能である。
【００１０】
また、本発明は、所望のリンク先の入力を受け付ける入力手段をさらに有し、上記入力手段でリンク先の入力を受け付けた場合には、上記切替音声合成手段によって該リンク先の読み上げテキストを音声合成する一方、上記表示手段で上記本文の読み上げテキストを表示することを特徴とする音声合成装置を提供する。
【００１１】
本発明によれば、ユーザが所望のリンク先を入力した場合、そのリンク先の情報を音声合成する一方、現在表示されている本文情報をそのまま表示し続けることができるため、リンク先の表示後に元の本文の表示に戻るという煩わしい作業を回避することが可能である。
【００１２】
また、本発明は、上記入力手段によるリンク先の入力は、カーソルを含むポインタが、上記表示されている本文の読み上げテキスト中におけるリンク先を表す文字又は画像を含む表示情報に移動することによって行われることを特徴とする音声合成装置を提供する。
【００１３】
また、本発明は、上記リンク先の読み上げテキストの音声合成が要求された場合に、上記リンク先の読み上げテキストに対応する情報を表示させるか否かを選択する選択手段をさらに有することを特徴とする音声合成装置を提供する。
【００１４】
本発明によれば、現在表示されているＷｅｂページを目で見ながら、その表示を他のＷｅｂページに切り替えることなくリンク先の情報を音声合成によって取得することができると共に、ユーザが希望するときに現在音声合成されている情報に対応する表示に切り替えることが可能である。
【００１５】
また、本発明は、入力ハイパーテキストで示される情報を表示するステップと、入力ハイパーテキスト中のリンク先を示す属性情報を解析すると共に、この解析結果に従って上記入力ハイパーテキスト中からインターネット上のハイパーテキストの接続先を表すリンク先を示すリンク先情報を抽出するステップと、上記リンク先情報に対応するインターネット上のハイパーテキストを上記リンク先情報が示すインターネット上のリンク先から取得した後、当該ハイパーテキストに含まれると共に、読み上げテキストであることを表すマークアップ情報に基づいて、当該ハイパーテキストからリンク先の読み上げハイパーテキストを抽出するステップと、上記抽出されたリンク先の読み上げハイパーテキストに基づいてリンク先の読み上げテキストを生成するステップと、上記入力ハイパーテキストに対する上記表示処理を維持させる一方、上記インターネット上から取得したハイパーテキストから抽出および生成されたリンク先の読み上げテキストを音声合成するステップと、を有することを特徴とする音声合成方法を提供する。
【００１６】
本発明によれば、入力されたハイパーテキスト中のリンク先の情報を取得し、このリンク先情報に対応するインターネット上のハイパーテキストを上記リンク先情報が示すインターネット上のリンク先から取得した後、当該ハイパーテキストから、マークアップ情報に基づいてリンク先の読み上げテキストを生成できるため、入力されたハイパーテキスト中のリンク先のハイパーテキストから抽出および生成された読み上げテキストを読み上げることが可能である。その際に、上記入力ハイパーテキストに対する表示処理を維持させるので、リンク先の表示後に元の本文の表示に戻るという煩わしい作業を回避することが可能になる。さらに、予め上記リンク先のハイパーテキスト中に読み上げるべきテキストを指定するマークアップ情報が挿入されている場合には、その指定された部分のテキストだけを読み上げるようにすることができ、余分な情報を読み上げなくて済む。
【００１７】
また、本発明は、上記音声合成方法の各ステップをコンピュータに実行させるための音声合成プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【００１８】
本発明によれば、入力されたハイパーテキスト中のリンク先の情報が示すインターネット上のリンク先から取得したハイパーテキストからリンク先の読み上げテキストを生成できるため、入力されたハイパーテキスト中のリンク先のハイパーテキストから抽出および生成された読み上げテキストを読み上げることが可能である。
【００１９】
また、上記本発明は、上記リンク先のテキストの読み上げテキストを生成するリンク先読み上げテキスト生成手段を有して、上記取得したハイパーテキストの一部又は全部を加工してリンク先の読み上げテキストを生成ようにすることが望ましい。
【００２０】
上記構成によれば、テキストの要約技術を用いて、取得したハイパーテキストの一部又は全部の情報を加工するため、リンク先の情報を要約したテキストを生成することができ、リンク先の情報量が多い場合でも適切な情報を音声合成することが可能になる。
【００２１】
【発明の実施の形態】
（実施の形態１）
図１は、本発明に係る音声合成装置の一形態を示す機能ブロック図である。この音声合成装置１００は、ハイパーテキスト解釈部１０１、読み上げテキスト生成部１０２、言語処理部１０３、音声合成部１０４、音声出力部１０５で構成される。
【００２２】
本実施の形態では、音声合成装置１００は汎用のパーソナルコンピュータに内蔵され、ネットワークを介して受信されるハイパーテキストを音声合成して出力する場合について説明を行うが、本発明はこれに限定されるものではなく、入力されたハイパーテキストに対して音声合成を行うような装置全般に対して適用可能である。
【００２３】
図１に示すように、音声合成装置１００にはハイパーテキストが入力される。このハイパーテキストはＷＷＷサーバでのドキュメントを記述するための言語として広く知られているＨＴＭＬ等のマークアップ言語で記述されている。また、このハイパーテキストには、インターネット上のリソースのロケーションを指し示すための情報であるＵＲＬ(Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ)や文章等が埋め込められている。一般に、インターネット上でブラウザを使用して様々なサーバに接続できるようにすることをリンクと呼び、特にハイパーテキストを使用して接続先を指定することをハイパーリンクと呼ぶ。以下の説明では、特に断らない限り、ハイパーリンクのことを単にリンクと呼ぶこととする。また、ハイパーテキストに埋め込められたＵＲＬにより指定される接続先のことをリンク先と呼ぶこととする。
【００２４】
ハイパーテキスト解釈部１０１は、入力されたハイパーテキスト中に記述された属性情報を解析する。解析の結果、入力ハイパーテキストの本文の内容を示す情報(以下、本文の読み上げテキストという)は言語処理部１０３に出力される一方、リンク先を示すＵＲＬ(以下、リンク先情報という)は文字列を要素とする配列で表され、読み上げテキスト生成部１０２に出力される。
【００２５】
読み上げテキスト生成部１０２は、ハイパーテキスト解釈部１０１から出力されたリンク先情報で示されるリンク先にネットワークを介して接続し、リンク先に記録されている情報(以下、リンク情報という)を示すハイパーテキストを取得して、そのハイパーテキスト中の属性情報に基づいてリンク先の読み上げテキストを生成し、言語処理部１０３に出力する。
【００２６】
言語処理部１０３は、ハイパーテキスト解釈部１０１の出力する本文の読み上げテキスト及び読み上げテキスト生成部１０２の出力するリンク先の読み上げテキストを入力とし、それらが示すテキスト情報を解析して、読み上げるテキスト情報を表す文字列と、その文字列に対応する音の高さと継続時間の数値とをそれぞれ記憶した配列とを音声合成部１０４に出力する。
【００２７】
音声合成部１０４は、言語処理部１０３の出力した情報から音声波形を表す時系列の数値の配列を生成し音声出力部１０５へ出力する。
【００２８】
音声出力部１０５は、スピーカなどの音声出力装置を有し、音声合成部１０４から出力された合成波形をＤ／Ａ変換して出力する。
【００２９】
図２は、本実施の形態に係る音声合成装置１００にハイパーテキストが入力され、ハイパーテキスト解釈部１０１及び読み上げテキスト生成部１０２において、そのハイパーテキストから読み上げるテキスト情報を生成する際の具体例を説明するための概念図である。
【００３０】
図２(ａ)は、入力されるハイパーテキストの一例である。図２(ａ)において、＜ａ ｈｒｅｆ＝…＞から＜／ａ＞までがリンクの記述であり、＜ａｈｒｅｆ＝…＞及び＜／ａ＞がリンクを示す属性情報である。また、“ｈｏｋｋａｉｄｏ．ｈｔｍｌ”及び“ｔｏｕｈｏｋｕ．ｈｔｍｌ”がリンク先情報である。この例では、このハイパーテキストは、北海道の天気の情報及び東北の天気の情報にリンクされていることが示されている。
【００３１】
図２(ｂ)は、読み上げテキスト生成部１０２において生成されるリンク先の読み上げテキストの一例である。このリンク先の読み上げテキストは、リンク先(ｈｏｋｋａｉｄｏ．ｈｔｍｌ)のサーバに蓄積されている情報であり、ハイパーテキスト解釈部１０１において、リンクを示す属性情報(＜ａ ｈｒｅｆ＝…＞及び＜／ａ＞)からリンク先情報(ｈｏｋｋａｉｄｏ．ｈｔｍｌ)を抽出し、読み上げテキスト生成部１０２において、そのリンク先に接続して、そのリンク先情報に対応するハイパーテキストを取得する。その後、その取得したハイパーテキスト中の属性情報に基づいてリンク先の読み上げテキストを生成する。この場合、ハイパーテキスト中の全ての属性情報に対応する情報をリンク先の読み上げテキストとして生成するようにしてもよいし、ハイパーテキスト中のリンクを示す属性情報以外で示される属性情報に対応する情報をリンク先の読み上げテキストとして生成するようにしておいてもよい。
【００３２】
図２(ｃ)は、ハイパーテキスト解釈部１０１において生成される本文の読み上げテキストの一例である。この本文の読み上げテキストは、ハイパーテキスト内のリンクを示す属性情報以外で示される属性情報で示される情報である。
（実施の形態２）図３は、本発明に係る音声合成装置の別の形態を示す機能ブロック図である。図１と同一の構成要素には同一の符号を付し、同じ説明は省略する。
【００３３】
読み上げテキスト管理部１０６は、ハイパーテキスト解釈部１０１及び読み上げテキスト生成部１０２から入力されたテキスト情報を適切な順序で言語処理部１０３に出力するように管理する。
【００３４】
図４は読み上げテキスト管理部１０６における処理の一例を示すフローチャートである。図４に従って読み上げテキスト管理部１０６の処理を説明すると以下の通りである。
【００３５】
ハイパーテキスト解釈部１０１及び読み上げテキスト生成部１０２から読み上げテキスト管理部１０６にテキスト情報が入力されると、テキスト情報を構成するそれぞれの文字列を区別して記憶する(Ｓ１０１)。すなわち、ハイパーテキスト解釈部１０１から入力された本文の読み上げテキストの文字列を配列Ｈに、読み上げテキスト生成部１０２から入力されたリンク先の読み上げテキストの文字列を配列Ｙにそれぞれ記憶する。このとき、ハイパーテキスト解釈部１０１から入力された文字列の数をＮ、読み上げテキスト生成部１０２から入力された文字列の数をＭとした場合、配列Ｈ、Ｙには、それぞれ、Ｈ［１］、Ｈ［２］、…Ｈ［Ｎ］、Ｙ［１］、Ｙ［２］…、Ｙ［Ｍ］が記憶される。
【００３６】
次に、ループの制御変数ｉに１を代入し(Ｓ１０２)、Ｈ［ｉ］を言語処理部１０３に出力する(Ｓ１０３)。さらに次に、制御変数ｉに１を加え(Ｓ１０４)、ｉ＜Ｎの条件を満足するかどうかを判定する(Ｓ１０５)。条件を満足する場合は、Ｓ１０３に戻り、ハイパーテキスト解釈部１０１から入力された文字列を出力し終えるまで処理を繰り返す。出力し終えると、制御変数ｉを１に初期化し直し(Ｓ１０６)、Ｙ［ｉ］を言語処理部１０３に出力する(Ｓ１０７)。さらに次に、制御変数ｉに１を加え(Ｓ１０８)、ｉ＜Ｍの条件を満足するかどうかを判定する(Ｓ１０９)。条件を満足する場合は、Ｓ１０７に戻り、読み上げテキスト生成部１０２から入力された文字列を出力し終えるまで処理を繰り返す。
【００３７】
以上の処理により、まず、本文の読み上げテキストを音声合成し、その次にリンク先の読み上げテキストを音声合成することが可能である。
【００３８】
本実施の形態では、まず本文の読み上げテキストを出力し、その次にリンク先の読み上げテキストを出力するようにテキスト情報を管理しているが、順番を逆にして出力したり、それぞれを交互に出力するようにしても良い。すなわち、読み上げテキスト管理部１０６において、本文の読み上げテキストの出力とリンク先の読み上げテキストの出力とを切り替え可能に設定したり、本文の読み上げテキスト又はリンク先の読み上げテキストを出力するか否かを制限したりするようにしてもよい。
（実施の形態３）図５は、本発明に係る音声合成装置の別の形態を示す機能ブロック図である。図１と同一の構成要素には同一の符号を付し、同じ説明は省略する。
【００３９】
テキスト要約部１０７は、読み上げテキスト生成部１０２からリンク先の読み上げテキストを受け取り、そのテキスト情報を要約して、その要約情報を読み上げテキスト生成部１０２に返す。テキスト情報の要約については、既存のテキスト要約技術を用いて行えば良い。
【００４０】
このような構成により、入力されたハイパーテキスト中に設定されているリンク先の情報を要約したテキストを生成することができるため、リンク先の情報量が多い場合でも適切な情報を音声合成することが可能である。
（実施の形態４）図６は、本発明に係る音声合成装置の別の形態を示す機能ブロック図である。図１と同一の構成要素には同一の符号を付し、同じ説明は省略する。
【００４１】
テキスト翻訳部１０８は、読み上げテキスト生成部１０２からリンク先の読み上げテキストを受け取り、そのテキスト情報を予め設定しておいたユーザの使用言語に翻訳して、その翻訳情報を読み上げテキスト生成部１０２に返す。テキスト情報の翻訳については、既存の自然言語自動翻訳技術(長尾真監修「日本語情報処理」社団法人電子通信学会)を用いて行えば良い。
【００４２】
このような構成により、入力されたハイパーテキスト中に設定されているリンク先の情報を予めユーザが設定しておいた使用言語に翻訳することができるため、ユーザが理解できない言語の情報でもユーザが理解できる言語で音声合成することが可能である。
（実施の形態５）図７は、本発明に係る音声合成装置の別の形態を示す機能ブロック図である。図１と同一の構成要素には同一の符号を付し、同じ説明は省略する。
【００４３】
読み上げテキスト抽出部１０９は、読み上げテキスト生成部１０２からリンク情報を受け取り、そのリンク情報にテキスト読み上げ用の属性情報がある場合には、その部分を抽出して、その読み上げ情報を読み上げテキスト生成部１０２に返す。
【００４４】
テキスト読み上げ用の属性情報について、図８を参照して説明すると以下の通りである。
【００４５】
図８は、テキスト読み上げ用の属性情報が設定されたハイパーテキストからその部分を抽出する場合の一例を説明するための図である。図８(ａ)中の＜ｓｐｅａｋ＞がテキスト読み上げ用の属性情報を示しており、＜ｓｐｅａｋ＞(テキスト読み上げ開始タグ)と＜／ｓｐｅａｋ＞(テキスト読み上げ終了タグ)とに挟まれたテキスト情報が、図８(ｂ)のように読み上げ情報として抽出される。
【００４６】
このように、予めリンク情報の中に読み上げるべき情報が指定されている場合は、その部分だけを読み上げるようにすることができ、余分な情報を読み上げなくて済む。
（実施の形態６）図９は、本発明に係る音声合成装置の別の形態を示す機能ブロック図である。図１と同一の構成要素には同一の符号を付し、同じ説明は省略する。
【００４７】
表示部１１２は、液晶ディスプレイなどの表示デバイスを備え、ハイパーテキストで示される情報を表示するものである。なお、表示する際には既存のＷＷＷブラウザなどのハイパーテキストを表示させるためのソフトウエアが利用される。
【００４８】
入力部１１１は、ユーザ所望のリンク先の入力を受け付ける。そのリンク先を示す文字列は読み上げテキスト生成部１０２及びハイパーテキスト入力部１１０に出力される。この入力部１１１は、キーボードやマウスなどの入力デバイスを備えており、表示部１１２に表示されるＷＷＷブラウザ画面を介してキーボードでＵＲＬをタイプしたり、マウスでリンク先を表す文字や画像をクリックすることにより、対応する文字列を読み上げテキスト生成部１０２及びハイパーテキスト管理部１１０に出力させる。
【００４９】
ハイパーテキスト管理部１１０は、ＷＷＷブラウザを介して表示部１１２に表示させるＷｅｂページの基となるハイパーテキストを決定し出力する。例えば、本発明に係る音声合成装置を搭載したパソコンを起動した場合などの初期状態では、ＷＷＷブラウザで予め設定されているスタートページを表示部１１２に表示させるように決定する。また、入力部１１１又は読み上げテキスト生成部１０２からリンク先を示す文字列が入力されると、その文字列に対応するリンク先の情報を表すハイパーテキストを取得して、そのハイパーテキストを表示部１１２及びハイパーテキスト解釈部１０１に出力する。
【００５０】
また、現在表示部１１２に表示されているＷｅｂページにおいて、ユーザがリンク先を指定した場合、現在表示されているＷｅｂページはそのまま表示を維持する一方、指定されたリンク先の情報を読み上げるようにするか、又は、現在表示されているＷｅｂページをリンク先のＷｅｂページに切り替えると共に、指定されたリンク先の情報を読み上げるようにするかをユーザが選択可能なインタフェースを提供することもできる。後者の場合は、例えば、ページの切り替えを行うボタンを表す画像を表示部１１２に表示させておき、入力部１１１でそのボタンが選択されると、ハイパーテキスト管理部１１０において、現在読み上げられている文章に対応するリンク先のハイパーテキストを取得し、そのハイパーテキストが示す情報を表示部１１２に出力するようにしておけば良い。
【００５１】
このような構成により、現在表示されているＷｅｂページを目で見ながら、その表示を他のＷｅｂページに切り替えることなくリンク先の情報を音声合成によって取得することができると共に、ユーザが希望するときに現在音声合成されている情報に対応する表示に切り替えることができる。
【００５２】
また、入力部１１１において、マウスでリンク先を表す文字や画像にカーソルを移動させた時に、リンク先の文字列を読み上げテキスト生成部１０２に出力するようにしても良い。このような構成により、現在表示中のＷｅｂページはそのままで、指定されたリンク先の情報を音声合成により読み上げることができる。
【００５３】
また、現在音声合成で読み上げているリンク先に対応する文字列を読み上げテキスト生成部１０２から表示部１１２に出力して、そのリンク先に対応する文字を、例えば点滅させるなど他の文字とは変化させて表示させることにより、現在音声合成で読み上げているリンク先をユーザに知らせるようにすることができる。なお、表示の変化のさせ方については、点滅させる以外に、例えば、リンク先の文字や画像の付近にスピーカの画像を表示させても良い。
【００５４】
また、図１０に示すように、リンク先表示部１１３を設け、そこに、音声で読み上げを行うテキストに対応するリンク先を表す文字列を表示するようにしておいても良い。
【００５５】
なお、本実施の形態では、入力部１１１において、マウスでリンク先をクリックした場合は、リンク先の文字列をハイパーテキスト管理部１１０に出力し、カーソルをリンク先に移動した場合は、リンク先の文字列を読み上げテキスト生成部１０２に出力するようにしているが、それらの出力先は逆にしても良いし、両方に出力するようにしても良い。
（実施の形態７）本実施の形態に係る音声合成装置は、上述の実施の形態３〜６に係る音声合成装置を組み合わせた構成、すなわち、実施の形態１に係る音声合成装置の各構成に加えて、テキスト要約部１０７とテキスト翻訳部１０８と読み上げテキスト抽出部１０９とハイパーテキスト管理部１１０と入力部１１１と表示部１１２とリンク先表示部とを備える構成の音声合成装置(図示せず)である。本実施の形態では、この音声合成装置が搭載されたパソコンにおいて、ＷＷＷブラウザが起動してスタートページが表示される場合の読み上げテキスト生成部１０２における処理について説明する。
【００５６】
図１１は、読み上げテキスト生成部１０２における処理の一例を示すフローチャートである。図１１に従って読み上げテキスト生成部１０２の処理を説明すると以下の通りである。
【００５７】
ＷＷＷブラウザが起動すると、スタートページに対応するハイパーテキストがハイパーテキスト管理部１１０に入力されて表示部１１２でスタートページが表示されると共に、ハイパーテキスト解釈部１０１でハイパーテキスト中の属性情報が解析されてリンク先情報が読み上げテキスト生成部１０２に入力される。
【００５８】
リンク先情報は文字列を要素とする配列Ａで表され、要素数をＮとすると、Ａ［１］、Ａ［２］、…、Ａ［Ｎ］と表される。リンク先情報が読み上げテキスト生成部１０２に入力されると、ループの制御変数ｉに１が代入される(Ｓ２０１)。次に、Ａ［ｉ］に対応するリンク先情報から読み上げテキストを生成し、リンク先を表す文字列と対応させて記憶させる(Ｓ２０２)。Ｓ２０２における詳細な処理については後述する。
【００５９】
さらに次に、制御変数ｉに１を加え(Ｓ２０３)、ｉ＜Ｎの条件を満足するかどうかを判定する(Ｓ２０４)。条件を満足する場合は、Ｓ２０２に戻り、リンク先情報の文字列の最後(Ａ［ｎ］)まで処理を繰り返す。
【００６０】
Ｓ２０４において、リンク先情報の最後の文字まで処理が終了すると、次に入力部１１１からのデータを受け付ける。入力部１１１からリンク先を指定する文字列が入力されると、その指定されたリンク先に対応する読み上げテキストを表す文字列を言語処理部１０３に出力し、リンク先を表す文字列をリンク先表示部１１３に表示させる。また、入力部１１１から表示ページの切り替え指示が入力されると、リンク先表示部１１３に表示されている文字列が読み上げテキスト生成部１０２からハイパーテキスト管理部１１０に出力され、リンク先のページが表示部１１２に表示される。また、Ｓ２０５において、入力部１１１からの入力がなければ、入力があるまで待つ。
【００６１】
図１２は、上述のＳ２０２における処理の詳細なフローチャートである。
【００６２】
リンク先情報を表す文字列Ａ［ｉ］で指定されるリンク先から、リンク情報を取得しバッファに記憶しておく。なお、リンク情報は、周知のＨＴＴＰプロトコル(ハイパーテキスト転送プロトコル)などを利用して取得することができる。
【００６３】
次に、取得したリンク情報に、例えば＜ｓｐｅａｋ＞などで示されるテキスト読み上げ用の属性情報があるかどうかについて判断され(Ｓ３０２)、テキスト読み上げ用の属性情報がある場合は、Ｓ３０６に進み、テキスト読み上げ用の情報を抽出し、その情報を読み上げテキスト情報としてリンク先を表す文字列と対応させて記憶する。
【００６４】
Ｓ３０２においてテキスト読み上げ用の属性情報がない場合は、Ｓ３０３に進みリンク情報の翻訳が必要であるかどうかについて判断する。リンク情報のハイパーテキストのヘッダ部分に記述されている言語とユーザの使用言語とが比較され、異なっていれば翻訳が必要と判断して、リンク情報を翻訳する(Ｓ３０４)。一致していれば翻訳は不要と判断して、Ｓ３０５に進む。
【００６５】
Ｓ３０５では、リンク情報を要約して、その情報を読み上げテキスト情報として、リンク先を表す文字列と対応させて記憶する。
【００６６】
なお、上述の実施の形態１〜実施の形態７における音声合成装置の各構成を任意に組み合わせた音声合成装置を提供することも可能である。このように各構成を任意に組み合わせた場合でも、それぞれの実施の形態で説明した同様の作用効果を奏することは明らかである。
【００６７】
また、上述の各実施の形態における処理の一部又は全部をコンピュータによる処理に適した命令の順番付けられた列からなるもの(プログラム)として提供することも可能である。また、そのプログラムのインストール、実行、プログラムの流通のために、そのプログラムを記録したコンピュータ読取可能な記録媒体として提供することも可能である。
【００６８】
【発明の効果】
本発明では、ハイパーテキストを読み上げる音声合成装置において、ハイパーリンクによりネットワーク状に繋がれているリンク先のハイパーテキストから抽出および生成された読み上げテキストを、本文の読み上げテキストを表示した状態で、読み上げ可能な音声合成装置を提供することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１に係る音声合成装置の機能ブロック図である。
【図２】 本発明の実施の形態１に係る音声合成装置の入力となるハイパーテキストと、そのハイパーテキストから生成されるテキスト情報の概念図である。
【図３】 本発明の実施の形態２に係る音声合成装置の機能ブロック図である。
【図４】 本発明の実施の形態２に係る音声合成装置のテキスト管理部の処理を示すフローチャートである。
【図５】 本発明の実施の形態３に係る音声合成装置の機能ブロック図である。
【図６】 本発明の実施の形態４に係る音声合成装置の機能ブロック図である。
【図７】 本発明の実施の形態５に係る音声合成装置の機能ブロック図である。
【図８】 本発明の実施の形態５に係る音声合成装置の読み上げテキスト抽出部の動作を示す概念図である。
【図９】 本発明の実施の形態６に係る音声合成装置の機能ブロック図である。
【図１０】 本発明の実施の形態６に係る音声合成装置の機能ブロック図である。
【図１１】 本発明の実施の形態７に係る音声合成装置の読み上げテキスト生成部の処理を示すフローチャートである。
【図１２】 本発明の実施の形態７に係る音声合成装置の読み上げテキスト生成部の処理を示すフローチャートである。
【符号の説明】
１００ 音声合成装置
１０１ ハイパーテキスト解釈部
１０２ 読み上げテキスト生成部
１０３ 言語処理部
１０４ 音声合成部
１０５ 音声出力部
１０６ 読み上げテキスト管理部
１０７ テキスト要約部
１０８ テキスト翻訳部
１０９ 読み上げテキスト抽出部
１１０ ハイパーテキスト管理部
１１１ 入力部
１１２ 表示部
１１３ リンク先表示部
【発明の属する技術分野】
本発明は、音声合成装置及び音声合成方法並びに音声合成プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。特に、ハイパーテキストの読み上げを行う音声合成装置及び音声合成方法並びに音声合成プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
従来より、漢字かな混じり文の文章を読み上げるテキスト音声合成技術が知られている(古井著「ディジタル音声処理」(東海大学出版会)。
【０００３】
一方、近年、インターネットの発展とともに、ＷＷＷ(Ｗｏｒｌｄ ＷｉｄｅＷｅｂ)における情報の記述書式としてＩＳＯ／ＩＥＣ１５４４５で規定されているＨＴＭＬ(Ｈｉｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ)で記述されたハイパーテキストを読み上げるハイパーテキスト読上装置が提案されている(特開平８−８３０８９号公報)。このハイパーテキスト読上装置によれば、テキスト中からハイパーリンクの部分を検出し、そのハイパーリンクの部分の読上音声と通常の部分の読上音声とを変化させて出力することにより、ハイパーリンクが設定されている部分を音声で知覚させることができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記ハイパーテキスト読上装置は、テキスト中のハイパーリンクの存在を読上音声の違いからユーザに知覚させることが可能であるが、リンク先の内容についてまでは読み上げられないため、そのリンク先にどのような情報が存在しているかをユーザに知らせることはできなかった。
【０００５】
本発明は、ハイパーテキストを読み上げる音声合成装置において、ハイパーリンクによりネットワーク状に繋がれているリンク先の情報を読み上げ可能な音声合成装置を提供することを主な目的とする。
【０００６】
【課題を解決するための手段】
本発明は、ハイパーテキストで示される情報を表示する表示手段と、入力ハイパーテキスト中のリンク先を示す属性情報を解析すると共に、この解析結果に従って上記入力ハイパーテキスト中からインターネット上のハイパーテキストの接続先を表すリンク先を示すリンク先情報を抽出するリンク先情報抽出手段と、上記リンク先情報に対応するインターネット上のハイパーテキストを上記リンク先情報が示すインターネット上のリンク先から取得した後、当該ハイパーテキストに含まれると共に、読み上げテキストであることを表すマークアップ情報に基づいて、当該ハイパーテキストからリンク先の読み上げハイパーテキストを抽出するリンク先読み上げテキスト抽出手段と、上記抽出されたリンク先の読み上げハイパーテキストに基づいてリンク先の読み上げテキストを生成するリンク先読み上げテキスト生成手段と、上記入力ハイパーテキストに対する上記表示手段による表示処理を維持させる一方、上記インターネット上から取得したハイパーテキストから抽出および生成されたリンク先の読み上げテキストを音声合成する音声合成手段と、を有することを特徴とする音声合成装置を提供する。
【０００７】
本発明によれば、入力されたハイパーテキスト中のリンク先の情報を取得し、このリンク先情報に対応するインターネット上のハイパーテキストを上記リンク先情報が示すインターネット上のリンク先から取得した後、当該ハイパーテキストから、マークアップ情報に基づいてリンク先の読み上げテキストを生成できるため、入力されたハイパーテキスト中のリンク先のハイパーテキストから抽出および生成された読み上げテキストを読み上げることが可能である。その際に、上記入力ハイパーテキストに対する上記表示手段による表示処理を維持させるので、リンク先の表示後に元の本文の表示に戻るという煩わしい作業を回避することが可能になる。さらに、予め上記リンク先のハイパーテキスト中に読み上げるべきテキストを指定するマークアップ情報が挿入されている場合には、その指定された部分のテキストだけを読み上げるようにすることができ、余分な情報を読み上げなくて済む。
【０００８】
また、本発明は、上記入力ハイパーテキストに基づいて本文の読み上げテキストを生成する本文読み上げテキスト生成手段と、上記生成された本文の読み上げテキストと上記生成されたリンク先の読み上げテキストとを切り替えて音声合成する切替音声合成手段と、をさらに有することを特徴とする音声合成装置を提供する。
【０００９】
本発明によれば、本文の読み上げテキストとリンク先の読み上げテキストとを切り替えて出力することができるため、入力されたハイパーテキストで示される情報のうち本文に関する読み上げテキスト情報とリンク先に関する読み上げテキスト情報とを、ユーザが希望する通りの順序で音声合成することが可能である。
【００１０】
また、本発明は、所望のリンク先の入力を受け付ける入力手段をさらに有し、上記入力手段でリンク先の入力を受け付けた場合には、上記切替音声合成手段によって該リンク先の読み上げテキストを音声合成する一方、上記表示手段で上記本文の読み上げテキストを表示することを特徴とする音声合成装置を提供する。
【００１１】
本発明によれば、ユーザが所望のリンク先を入力した場合、そのリンク先の情報を音声合成する一方、現在表示されている本文情報をそのまま表示し続けることができるため、リンク先の表示後に元の本文の表示に戻るという煩わしい作業を回避することが可能である。
【００１２】
また、本発明は、上記入力手段によるリンク先の入力は、カーソルを含むポインタが、上記表示されている本文の読み上げテキスト中におけるリンク先を表す文字又は画像を含む表示情報に移動することによって行われることを特徴とする音声合成装置を提供する。
【００１３】
また、本発明は、上記リンク先の読み上げテキストの音声合成が要求された場合に、上記リンク先の読み上げテキストに対応する情報を表示させるか否かを選択する選択手段をさらに有することを特徴とする音声合成装置を提供する。
【００１４】
本発明によれば、現在表示されているＷｅｂページを目で見ながら、その表示を他のＷｅｂページに切り替えることなくリンク先の情報を音声合成によって取得することができると共に、ユーザが希望するときに現在音声合成されている情報に対応する表示に切り替えることが可能である。
【００１５】
また、本発明は、入力ハイパーテキストで示される情報を表示するステップと、入力ハイパーテキスト中のリンク先を示す属性情報を解析すると共に、この解析結果に従って上記入力ハイパーテキスト中からインターネット上のハイパーテキストの接続先を表すリンク先を示すリンク先情報を抽出するステップと、上記リンク先情報に対応するインターネット上のハイパーテキストを上記リンク先情報が示すインターネット上のリンク先から取得した後、当該ハイパーテキストに含まれると共に、読み上げテキストであることを表すマークアップ情報に基づいて、当該ハイパーテキストからリンク先の読み上げハイパーテキストを抽出するステップと、上記抽出されたリンク先の読み上げハイパーテキストに基づいてリンク先の読み上げテキストを生成するステップと、上記入力ハイパーテキストに対する上記表示処理を維持させる一方、上記インターネット上から取得したハイパーテキストから抽出および生成されたリンク先の読み上げテキストを音声合成するステップと、を有することを特徴とする音声合成方法を提供する。
【００１６】
本発明によれば、入力されたハイパーテキスト中のリンク先の情報を取得し、このリンク先情報に対応するインターネット上のハイパーテキストを上記リンク先情報が示すインターネット上のリンク先から取得した後、当該ハイパーテキストから、マークアップ情報に基づいてリンク先の読み上げテキストを生成できるため、入力されたハイパーテキスト中のリンク先のハイパーテキストから抽出および生成された読み上げテキストを読み上げることが可能である。その際に、上記入力ハイパーテキストに対する表示処理を維持させるので、リンク先の表示後に元の本文の表示に戻るという煩わしい作業を回避することが可能になる。さらに、予め上記リンク先のハイパーテキスト中に読み上げるべきテキストを指定するマークアップ情報が挿入されている場合には、その指定された部分のテキストだけを読み上げるようにすることができ、余分な情報を読み上げなくて済む。
【００１７】
また、本発明は、上記音声合成方法の各ステップをコンピュータに実行させるための音声合成プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【００１８】
本発明によれば、入力されたハイパーテキスト中のリンク先の情報が示すインターネット上のリンク先から取得したハイパーテキストからリンク先の読み上げテキストを生成できるため、入力されたハイパーテキスト中のリンク先のハイパーテキストから抽出および生成された読み上げテキストを読み上げることが可能である。
【００１９】
また、上記本発明は、上記リンク先のテキストの読み上げテキストを生成するリンク先読み上げテキスト生成手段を有して、上記取得したハイパーテキストの一部又は全部を加工してリンク先の読み上げテキストを生成ようにすることが望ましい。
【００２０】
上記構成によれば、テキストの要約技術を用いて、取得したハイパーテキストの一部又は全部の情報を加工するため、リンク先の情報を要約したテキストを生成することができ、リンク先の情報量が多い場合でも適切な情報を音声合成することが可能になる。
【００２１】
【発明の実施の形態】
（実施の形態１）
図１は、本発明に係る音声合成装置の一形態を示す機能ブロック図である。この音声合成装置１００は、ハイパーテキスト解釈部１０１、読み上げテキスト生成部１０２、言語処理部１０３、音声合成部１０４、音声出力部１０５で構成される。
【００２２】
本実施の形態では、音声合成装置１００は汎用のパーソナルコンピュータに内蔵され、ネットワークを介して受信されるハイパーテキストを音声合成して出力する場合について説明を行うが、本発明はこれに限定されるものではなく、入力されたハイパーテキストに対して音声合成を行うような装置全般に対して適用可能である。
【００２３】
図１に示すように、音声合成装置１００にはハイパーテキストが入力される。このハイパーテキストはＷＷＷサーバでのドキュメントを記述するための言語として広く知られているＨＴＭＬ等のマークアップ言語で記述されている。また、このハイパーテキストには、インターネット上のリソースのロケーションを指し示すための情報であるＵＲＬ(Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ)や文章等が埋め込められている。一般に、インターネット上でブラウザを使用して様々なサーバに接続できるようにすることをリンクと呼び、特にハイパーテキストを使用して接続先を指定することをハイパーリンクと呼ぶ。以下の説明では、特に断らない限り、ハイパーリンクのことを単にリンクと呼ぶこととする。また、ハイパーテキストに埋め込められたＵＲＬにより指定される接続先のことをリンク先と呼ぶこととする。
【００２４】
ハイパーテキスト解釈部１０１は、入力されたハイパーテキスト中に記述された属性情報を解析する。解析の結果、入力ハイパーテキストの本文の内容を示す情報(以下、本文の読み上げテキストという)は言語処理部１０３に出力される一方、リンク先を示すＵＲＬ(以下、リンク先情報という)は文字列を要素とする配列で表され、読み上げテキスト生成部１０２に出力される。
【００２５】
読み上げテキスト生成部１０２は、ハイパーテキスト解釈部１０１から出力されたリンク先情報で示されるリンク先にネットワークを介して接続し、リンク先に記録されている情報(以下、リンク情報という)を示すハイパーテキストを取得して、そのハイパーテキスト中の属性情報に基づいてリンク先の読み上げテキストを生成し、言語処理部１０３に出力する。
【００２６】
言語処理部１０３は、ハイパーテキスト解釈部１０１の出力する本文の読み上げテキスト及び読み上げテキスト生成部１０２の出力するリンク先の読み上げテキストを入力とし、それらが示すテキスト情報を解析して、読み上げるテキスト情報を表す文字列と、その文字列に対応する音の高さと継続時間の数値とをそれぞれ記憶した配列とを音声合成部１０４に出力する。
【００２７】
音声合成部１０４は、言語処理部１０３の出力した情報から音声波形を表す時系列の数値の配列を生成し音声出力部１０５へ出力する。
【００２８】
音声出力部１０５は、スピーカなどの音声出力装置を有し、音声合成部１０４から出力された合成波形をＤ／Ａ変換して出力する。
【００２９】
図２は、本実施の形態に係る音声合成装置１００にハイパーテキストが入力され、ハイパーテキスト解釈部１０１及び読み上げテキスト生成部１０２において、そのハイパーテキストから読み上げるテキスト情報を生成する際の具体例を説明するための概念図である。
【００３０】
図２(ａ)は、入力されるハイパーテキストの一例である。図２(ａ)において、＜ａ ｈｒｅｆ＝…＞から＜／ａ＞までがリンクの記述であり、＜ａｈｒｅｆ＝…＞及び＜／ａ＞がリンクを示す属性情報である。また、“ｈｏｋｋａｉｄｏ．ｈｔｍｌ”及び“ｔｏｕｈｏｋｕ．ｈｔｍｌ”がリンク先情報である。この例では、このハイパーテキストは、北海道の天気の情報及び東北の天気の情報にリンクされていることが示されている。
【００３１】
図２(ｂ)は、読み上げテキスト生成部１０２において生成されるリンク先の読み上げテキストの一例である。このリンク先の読み上げテキストは、リンク先(ｈｏｋｋａｉｄｏ．ｈｔｍｌ)のサーバに蓄積されている情報であり、ハイパーテキスト解釈部１０１において、リンクを示す属性情報(＜ａ ｈｒｅｆ＝…＞及び＜／ａ＞)からリンク先情報(ｈｏｋｋａｉｄｏ．ｈｔｍｌ)を抽出し、読み上げテキスト生成部１０２において、そのリンク先に接続して、そのリンク先情報に対応するハイパーテキストを取得する。その後、その取得したハイパーテキスト中の属性情報に基づいてリンク先の読み上げテキストを生成する。この場合、ハイパーテキスト中の全ての属性情報に対応する情報をリンク先の読み上げテキストとして生成するようにしてもよいし、ハイパーテキスト中のリンクを示す属性情報以外で示される属性情報に対応する情報をリンク先の読み上げテキストとして生成するようにしておいてもよい。
【００３２】
図２(ｃ)は、ハイパーテキスト解釈部１０１において生成される本文の読み上げテキストの一例である。この本文の読み上げテキストは、ハイパーテキスト内のリンクを示す属性情報以外で示される属性情報で示される情報である。
（実施の形態２）図３は、本発明に係る音声合成装置の別の形態を示す機能ブロック図である。図１と同一の構成要素には同一の符号を付し、同じ説明は省略する。
【００３３】
読み上げテキスト管理部１０６は、ハイパーテキスト解釈部１０１及び読み上げテキスト生成部１０２から入力されたテキスト情報を適切な順序で言語処理部１０３に出力するように管理する。
【００３４】
図４は読み上げテキスト管理部１０６における処理の一例を示すフローチャートである。図４に従って読み上げテキスト管理部１０６の処理を説明すると以下の通りである。
【００３５】
ハイパーテキスト解釈部１０１及び読み上げテキスト生成部１０２から読み上げテキスト管理部１０６にテキスト情報が入力されると、テキスト情報を構成するそれぞれの文字列を区別して記憶する(Ｓ１０１)。すなわち、ハイパーテキスト解釈部１０１から入力された本文の読み上げテキストの文字列を配列Ｈに、読み上げテキスト生成部１０２から入力されたリンク先の読み上げテキストの文字列を配列Ｙにそれぞれ記憶する。このとき、ハイパーテキスト解釈部１０１から入力された文字列の数をＮ、読み上げテキスト生成部１０２から入力された文字列の数をＭとした場合、配列Ｈ、Ｙには、それぞれ、Ｈ［１］、Ｈ［２］、…Ｈ［Ｎ］、Ｙ［１］、Ｙ［２］…、Ｙ［Ｍ］が記憶される。
【００３６】
次に、ループの制御変数ｉに１を代入し(Ｓ１０２)、Ｈ［ｉ］を言語処理部１０３に出力する(Ｓ１０３)。さらに次に、制御変数ｉに１を加え(Ｓ１０４)、ｉ＜Ｎの条件を満足するかどうかを判定する(Ｓ１０５)。条件を満足する場合は、Ｓ１０３に戻り、ハイパーテキスト解釈部１０１から入力された文字列を出力し終えるまで処理を繰り返す。出力し終えると、制御変数ｉを１に初期化し直し(Ｓ１０６)、Ｙ［ｉ］を言語処理部１０３に出力する(Ｓ１０７)。さらに次に、制御変数ｉに１を加え(Ｓ１０８)、ｉ＜Ｍの条件を満足するかどうかを判定する(Ｓ１０９)。条件を満足する場合は、Ｓ１０７に戻り、読み上げテキスト生成部１０２から入力された文字列を出力し終えるまで処理を繰り返す。
【００３７】
以上の処理により、まず、本文の読み上げテキストを音声合成し、その次にリンク先の読み上げテキストを音声合成することが可能である。
【００３８】
本実施の形態では、まず本文の読み上げテキストを出力し、その次にリンク先の読み上げテキストを出力するようにテキスト情報を管理しているが、順番を逆にして出力したり、それぞれを交互に出力するようにしても良い。すなわち、読み上げテキスト管理部１０６において、本文の読み上げテキストの出力とリンク先の読み上げテキストの出力とを切り替え可能に設定したり、本文の読み上げテキスト又はリンク先の読み上げテキストを出力するか否かを制限したりするようにしてもよい。
（実施の形態３）図５は、本発明に係る音声合成装置の別の形態を示す機能ブロック図である。図１と同一の構成要素には同一の符号を付し、同じ説明は省略する。
【００３９】
テキスト要約部１０７は、読み上げテキスト生成部１０２からリンク先の読み上げテキストを受け取り、そのテキスト情報を要約して、その要約情報を読み上げテキスト生成部１０２に返す。テキスト情報の要約については、既存のテキスト要約技術を用いて行えば良い。
【００４０】
このような構成により、入力されたハイパーテキスト中に設定されているリンク先の情報を要約したテキストを生成することができるため、リンク先の情報量が多い場合でも適切な情報を音声合成することが可能である。
（実施の形態４）図６は、本発明に係る音声合成装置の別の形態を示す機能ブロック図である。図１と同一の構成要素には同一の符号を付し、同じ説明は省略する。
【００４１】
テキスト翻訳部１０８は、読み上げテキスト生成部１０２からリンク先の読み上げテキストを受け取り、そのテキスト情報を予め設定しておいたユーザの使用言語に翻訳して、その翻訳情報を読み上げテキスト生成部１０２に返す。テキスト情報の翻訳については、既存の自然言語自動翻訳技術(長尾真監修「日本語情報処理」社団法人電子通信学会)を用いて行えば良い。
【００４２】
このような構成により、入力されたハイパーテキスト中に設定されているリンク先の情報を予めユーザが設定しておいた使用言語に翻訳することができるため、ユーザが理解できない言語の情報でもユーザが理解できる言語で音声合成することが可能である。
（実施の形態５）図７は、本発明に係る音声合成装置の別の形態を示す機能ブロック図である。図１と同一の構成要素には同一の符号を付し、同じ説明は省略する。
【００４３】
読み上げテキスト抽出部１０９は、読み上げテキスト生成部１０２からリンク情報を受け取り、そのリンク情報にテキスト読み上げ用の属性情報がある場合には、その部分を抽出して、その読み上げ情報を読み上げテキスト生成部１０２に返す。
【００４４】
テキスト読み上げ用の属性情報について、図８を参照して説明すると以下の通りである。
【００４５】
図８は、テキスト読み上げ用の属性情報が設定されたハイパーテキストからその部分を抽出する場合の一例を説明するための図である。図８(ａ)中の＜ｓｐｅａｋ＞がテキスト読み上げ用の属性情報を示しており、＜ｓｐｅａｋ＞(テキスト読み上げ開始タグ)と＜／ｓｐｅａｋ＞(テキスト読み上げ終了タグ)とに挟まれたテキスト情報が、図８(ｂ)のように読み上げ情報として抽出される。
【００４６】
このように、予めリンク情報の中に読み上げるべき情報が指定されている場合は、その部分だけを読み上げるようにすることができ、余分な情報を読み上げなくて済む。
（実施の形態６）図９は、本発明に係る音声合成装置の別の形態を示す機能ブロック図である。図１と同一の構成要素には同一の符号を付し、同じ説明は省略する。
【００４７】
表示部１１２は、液晶ディスプレイなどの表示デバイスを備え、ハイパーテキストで示される情報を表示するものである。なお、表示する際には既存のＷＷＷブラウザなどのハイパーテキストを表示させるためのソフトウエアが利用される。
【００４８】
入力部１１１は、ユーザ所望のリンク先の入力を受け付ける。そのリンク先を示す文字列は読み上げテキスト生成部１０２及びハイパーテキスト入力部１１０に出力される。この入力部１１１は、キーボードやマウスなどの入力デバイスを備えており、表示部１１２に表示されるＷＷＷブラウザ画面を介してキーボードでＵＲＬをタイプしたり、マウスでリンク先を表す文字や画像をクリックすることにより、対応する文字列を読み上げテキスト生成部１０２及びハイパーテキスト管理部１１０に出力させる。
【００４９】
ハイパーテキスト管理部１１０は、ＷＷＷブラウザを介して表示部１１２に表示させるＷｅｂページの基となるハイパーテキストを決定し出力する。例えば、本発明に係る音声合成装置を搭載したパソコンを起動した場合などの初期状態では、ＷＷＷブラウザで予め設定されているスタートページを表示部１１２に表示させるように決定する。また、入力部１１１又は読み上げテキスト生成部１０２からリンク先を示す文字列が入力されると、その文字列に対応するリンク先の情報を表すハイパーテキストを取得して、そのハイパーテキストを表示部１１２及びハイパーテキスト解釈部１０１に出力する。
【００５０】
また、現在表示部１１２に表示されているＷｅｂページにおいて、ユーザがリンク先を指定した場合、現在表示されているＷｅｂページはそのまま表示を維持する一方、指定されたリンク先の情報を読み上げるようにするか、又は、現在表示されているＷｅｂページをリンク先のＷｅｂページに切り替えると共に、指定されたリンク先の情報を読み上げるようにするかをユーザが選択可能なインタフェースを提供することもできる。後者の場合は、例えば、ページの切り替えを行うボタンを表す画像を表示部１１２に表示させておき、入力部１１１でそのボタンが選択されると、ハイパーテキスト管理部１１０において、現在読み上げられている文章に対応するリンク先のハイパーテキストを取得し、そのハイパーテキストが示す情報を表示部１１２に出力するようにしておけば良い。
【００５１】
このような構成により、現在表示されているＷｅｂページを目で見ながら、その表示を他のＷｅｂページに切り替えることなくリンク先の情報を音声合成によって取得することができると共に、ユーザが希望するときに現在音声合成されている情報に対応する表示に切り替えることができる。
【００５２】
また、入力部１１１において、マウスでリンク先を表す文字や画像にカーソルを移動させた時に、リンク先の文字列を読み上げテキスト生成部１０２に出力するようにしても良い。このような構成により、現在表示中のＷｅｂページはそのままで、指定されたリンク先の情報を音声合成により読み上げることができる。
【００５３】
また、現在音声合成で読み上げているリンク先に対応する文字列を読み上げテキスト生成部１０２から表示部１１２に出力して、そのリンク先に対応する文字を、例えば点滅させるなど他の文字とは変化させて表示させることにより、現在音声合成で読み上げているリンク先をユーザに知らせるようにすることができる。なお、表示の変化のさせ方については、点滅させる以外に、例えば、リンク先の文字や画像の付近にスピーカの画像を表示させても良い。
【００５４】
また、図１０に示すように、リンク先表示部１１３を設け、そこに、音声で読み上げを行うテキストに対応するリンク先を表す文字列を表示するようにしておいても良い。
【００５５】
なお、本実施の形態では、入力部１１１において、マウスでリンク先をクリックした場合は、リンク先の文字列をハイパーテキスト管理部１１０に出力し、カーソルをリンク先に移動した場合は、リンク先の文字列を読み上げテキスト生成部１０２に出力するようにしているが、それらの出力先は逆にしても良いし、両方に出力するようにしても良い。
（実施の形態７）本実施の形態に係る音声合成装置は、上述の実施の形態３〜６に係る音声合成装置を組み合わせた構成、すなわち、実施の形態１に係る音声合成装置の各構成に加えて、テキスト要約部１０７とテキスト翻訳部１０８と読み上げテキスト抽出部１０９とハイパーテキスト管理部１１０と入力部１１１と表示部１１２とリンク先表示部とを備える構成の音声合成装置(図示せず)である。本実施の形態では、この音声合成装置が搭載されたパソコンにおいて、ＷＷＷブラウザが起動してスタートページが表示される場合の読み上げテキスト生成部１０２における処理について説明する。
【００５６】
図１１は、読み上げテキスト生成部１０２における処理の一例を示すフローチャートである。図１１に従って読み上げテキスト生成部１０２の処理を説明すると以下の通りである。
【００５７】
ＷＷＷブラウザが起動すると、スタートページに対応するハイパーテキストがハイパーテキスト管理部１１０に入力されて表示部１１２でスタートページが表示されると共に、ハイパーテキスト解釈部１０１でハイパーテキスト中の属性情報が解析されてリンク先情報が読み上げテキスト生成部１０２に入力される。
【００５８】
リンク先情報は文字列を要素とする配列Ａで表され、要素数をＮとすると、Ａ［１］、Ａ［２］、…、Ａ［Ｎ］と表される。リンク先情報が読み上げテキスト生成部１０２に入力されると、ループの制御変数ｉに１が代入される(Ｓ２０１)。次に、Ａ［ｉ］に対応するリンク先情報から読み上げテキストを生成し、リンク先を表す文字列と対応させて記憶させる(Ｓ２０２)。Ｓ２０２における詳細な処理については後述する。
【００５９】
さらに次に、制御変数ｉに１を加え(Ｓ２０３)、ｉ＜Ｎの条件を満足するかどうかを判定する(Ｓ２０４)。条件を満足する場合は、Ｓ２０２に戻り、リンク先情報の文字列の最後(Ａ［ｎ］)まで処理を繰り返す。
【００６０】
Ｓ２０４において、リンク先情報の最後の文字まで処理が終了すると、次に入力部１１１からのデータを受け付ける。入力部１１１からリンク先を指定する文字列が入力されると、その指定されたリンク先に対応する読み上げテキストを表す文字列を言語処理部１０３に出力し、リンク先を表す文字列をリンク先表示部１１３に表示させる。また、入力部１１１から表示ページの切り替え指示が入力されると、リンク先表示部１１３に表示されている文字列が読み上げテキスト生成部１０２からハイパーテキスト管理部１１０に出力され、リンク先のページが表示部１１２に表示される。また、Ｓ２０５において、入力部１１１からの入力がなければ、入力があるまで待つ。
【００６１】
図１２は、上述のＳ２０２における処理の詳細なフローチャートである。
【００６２】
リンク先情報を表す文字列Ａ［ｉ］で指定されるリンク先から、リンク情報を取得しバッファに記憶しておく。なお、リンク情報は、周知のＨＴＴＰプロトコル(ハイパーテキスト転送プロトコル)などを利用して取得することができる。
【００６３】
次に、取得したリンク情報に、例えば＜ｓｐｅａｋ＞などで示されるテキスト読み上げ用の属性情報があるかどうかについて判断され(Ｓ３０２)、テキスト読み上げ用の属性情報がある場合は、Ｓ３０６に進み、テキスト読み上げ用の情報を抽出し、その情報を読み上げテキスト情報としてリンク先を表す文字列と対応させて記憶する。
【００６４】
Ｓ３０２においてテキスト読み上げ用の属性情報がない場合は、Ｓ３０３に進みリンク情報の翻訳が必要であるかどうかについて判断する。リンク情報のハイパーテキストのヘッダ部分に記述されている言語とユーザの使用言語とが比較され、異なっていれば翻訳が必要と判断して、リンク情報を翻訳する(Ｓ３０４)。一致していれば翻訳は不要と判断して、Ｓ３０５に進む。
【００６５】
Ｓ３０５では、リンク情報を要約して、その情報を読み上げテキスト情報として、リンク先を表す文字列と対応させて記憶する。
【００６６】
なお、上述の実施の形態１〜実施の形態７における音声合成装置の各構成を任意に組み合わせた音声合成装置を提供することも可能である。このように各構成を任意に組み合わせた場合でも、それぞれの実施の形態で説明した同様の作用効果を奏することは明らかである。
【００６７】
また、上述の各実施の形態における処理の一部又は全部をコンピュータによる処理に適した命令の順番付けられた列からなるもの(プログラム)として提供することも可能である。また、そのプログラムのインストール、実行、プログラムの流通のために、そのプログラムを記録したコンピュータ読取可能な記録媒体として提供することも可能である。
【００６８】
【発明の効果】
本発明では、ハイパーテキストを読み上げる音声合成装置において、ハイパーリンクによりネットワーク状に繋がれているリンク先のハイパーテキストから抽出および生成された読み上げテキストを、本文の読み上げテキストを表示した状態で、読み上げ可能な音声合成装置を提供することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１に係る音声合成装置の機能ブロック図である。
【図２】 本発明の実施の形態１に係る音声合成装置の入力となるハイパーテキストと、そのハイパーテキストから生成されるテキスト情報の概念図である。
【図３】 本発明の実施の形態２に係る音声合成装置の機能ブロック図である。
【図４】 本発明の実施の形態２に係る音声合成装置のテキスト管理部の処理を示すフローチャートである。
【図５】 本発明の実施の形態３に係る音声合成装置の機能ブロック図である。
【図６】 本発明の実施の形態４に係る音声合成装置の機能ブロック図である。
【図７】 本発明の実施の形態５に係る音声合成装置の機能ブロック図である。
【図８】 本発明の実施の形態５に係る音声合成装置の読み上げテキスト抽出部の動作を示す概念図である。
【図９】 本発明の実施の形態６に係る音声合成装置の機能ブロック図である。
【図１０】 本発明の実施の形態６に係る音声合成装置の機能ブロック図である。
【図１１】 本発明の実施の形態７に係る音声合成装置の読み上げテキスト生成部の処理を示すフローチャートである。
【図１２】 本発明の実施の形態７に係る音声合成装置の読み上げテキスト生成部の処理を示すフローチャートである。
【符号の説明】
１００ 音声合成装置
１０１ ハイパーテキスト解釈部
１０２ 読み上げテキスト生成部
１０３ 言語処理部
１０４ 音声合成部
１０５ 音声出力部
１０６ 読み上げテキスト管理部
１０７ テキスト要約部
１０８ テキスト翻訳部
１０９ 読み上げテキスト抽出部
１１０ ハイパーテキスト管理部
１１１ 入力部
１１２ 表示部
１１３ リンク先表示部
Claims (7)
- ハイパーテキストで示される情報を表示する表示手段と、
入力ハイパーテキスト中のリンク先を示す属性情報を解析すると共に、この解析結果に従って上記入力ハイパーテキスト中から、インターネット上のハイパーテキストの接続先を表すリンク先を示すリンク先情報を抽出するリンク先情報抽出手段と、
上記リンク先情報に対応するインターネット上のハイパーテキストを上記リンク先情報が示すインターネット上のリンク先から取得した後、当該ハイパーテキストに含まれると共に、読み上げテキストであることを表すマークアップ情報に基づいて、当該ハイパーテキストからリンク先の読み上げハイパーテキストを抽出するリンク先読み上げテキスト抽出手段と、
上記抽出されたリンク先の読み上げハイパーテキストに基づいてリンク先の読み上げテキストを生成するリンク先読み上げテキスト生成手段と、
上記入力ハイパーテキストに対する上記表示手段による表示処理を維持させる一方、上記インターネット上から取得したハイパーテキストから抽出および生成されたリンク先の読み上げテキストを音声合成する音声合成手段と、
を有することを特徴とする音声合成装置。 - 上記入力ハイパーテキストに基づいて本文の読み上げテキストを生成する本文読み上げテキスト生成手段と、
上記生成された本文の読み上げテキストと上記生成されたリンク先の読み上げテキストとを切り替えて音声合成する切替音声合成手段と、
をさらに有することを特徴とする請求項１に記載の音声合成装置。 - 所望のリンク先の入力を受け付ける入力手段をさらに有して、
上記入力手段でリンク先の入力を受け付けた場合には、上記切替音声合成手段によって該リンク先の読み上げテキストを音声合成する一方、上記表示手段で上記本文の読み上げテキストを表示することを特徴とする請求項２に記載の音声合成装置。 - 上記入力手段によるリンク先の入力は、カーソルを含むポインタが、上記表示されている本文の読み上げテキスト中におけるリンク先を表す文字又は画像を含む表示情報に移動することによって行われることを特徴とする請求項３に記載の音声合成装置。
- 上記リンク先の読み上げテキストの音声合成が要求された場合に、上記リンク先の読み上げテキストに対応する情報を表示させるか否かを選択する選択手段をさらに有することを特徴とする請求項１、請求項２、又は請求項３に記載の音声合成装置。
- 入力ハイパーテキストで示される情報を表示するステップと、
入力ハイパーテキスト中のリンク先を示す属性情報を解析すると共に、この解析結果に従って上記入力ハイパーテキスト中から、インターネット上のハイパーテキストの接続先を表すリンク先を示すリンク先情報を抽出するステップと、
上記リンク先情報に対応するインターネット上のハイパーテキストを上記リンク先情報が示すインターネット上のリンク先から取得した後、当該ハイパーテキストに含まれると共に、読み上げテキストであることを表すマークアップ情報に基づいて、当該ハイパーテキストからリンク先の読み上げハイパーテキストを抽出するステップと、
上記抽出されたリンク先の読み上げハイパーテキストに基づいてリンク先の読み上げテキストを生成するステップと、
上記入力ハイパーテキストに対する上記表示処理を維持させる一方、上記インターネット上から取得したハイパーテキストから抽出および生成されたリンク先の読み上げテキストを音声合成するステップと、
を有することを特徴とする音声合成方法。 - 請求項６に記載の音声合成方法の各ステップをコンピュータに実行させるための音声合成プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001022729A JP4014361B2 (ja) | 2001-01-31 | 2001-01-31 | 音声合成装置及び音声合成方法並びに音声合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001022729A JP4014361B2 (ja) | 2001-01-31 | 2001-01-31 | 音声合成装置及び音声合成方法並びに音声合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002229578A JP2002229578A (ja) | 2002-08-16 |
| JP4014361B2 true JP4014361B2 (ja) | 2007-11-28 |
Family
ID=18888102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001022729A Expired - Fee Related JP4014361B2 (ja) | 2001-01-31 | 2001-01-31 | 音声合成装置及び音声合成方法並びに音声合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4014361B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4768375B2 (ja) * | 2005-09-20 | 2011-09-07 | 富士通株式会社 | ジャンプ処理抑止プログラム |
| JP4823977B2 (ja) * | 2007-06-26 | 2011-11-24 | 京セラ株式会社 | 電子機器及びその制御方法 |
| JP4935658B2 (ja) | 2007-12-11 | 2012-05-23 | ブラザー工業株式会社 | ブラウザプログラムおよび情報処理装置 |
| JP5112273B2 (ja) * | 2008-12-12 | 2013-01-09 | 株式会社日立製作所 | 通信装置 |
| JP5338298B2 (ja) * | 2008-12-19 | 2013-11-13 | カシオ計算機株式会社 | ページ閲覧装置およびプログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09251367A (ja) * | 1996-03-14 | 1997-09-22 | Toshiba Corp | 情報処理装置及び同装置に用いられる機能指示方法 |
| JP3864197B2 (ja) * | 1998-02-27 | 2006-12-27 | 日本電信電話株式会社 | 音声クライアント端末装置 |
| JPH11288364A (ja) * | 1998-04-02 | 1999-10-19 | Canon Inc | 情報閲覧方法及び装置並びに記憶媒体 |
| JP2000099072A (ja) * | 1998-09-21 | 2000-04-07 | Ricoh Co Ltd | 文書読み上げ装置 |
| JP2000187493A (ja) * | 1998-12-22 | 2000-07-04 | Sumitomo Electric Ind Ltd | 音声出力装置および車載用コンピュータ |
| JP2001014319A (ja) * | 1999-06-28 | 2001-01-19 | Nissan Motor Co Ltd | ハイパーテキストアクセス装置 |
| JP2001043064A (ja) * | 1999-07-30 | 2001-02-16 | Canon Inc | 音声情報処理方法、装置及び記憶媒体 |
| JP4194741B2 (ja) * | 2000-06-30 | 2008-12-10 | ヤフー株式会社 | 画面読み上げソフトを使用する利用者に向けたＷｅｂページ案内サーバー及び方法 |
-
2001
- 2001-01-31 JP JP2001022729A patent/JP4014361B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002229578A (ja) | 2002-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4225703B2 (ja) | 情報アクセス方法、情報アクセスシステムおよびプログラム | |
| US7054952B1 (en) | Electronic document delivery system employing distributed document object model (DOM) based transcoding and providing interactive javascript support | |
| US5748186A (en) | Multimodal information presentation system | |
| US6829746B1 (en) | Electronic document delivery system employing distributed document object model (DOM) based transcoding | |
| US6725424B1 (en) | Electronic document delivery system employing distributed document object model (DOM) based transcoding and providing assistive technology support | |
| US7228495B2 (en) | Method and system for providing an index to linked sites on a web page for individuals with visual disabilities | |
| JP2008021002A (ja) | Ｗｅｂサーバ装置、表示情報音声合成装置及びプログラム | |
| JP2007507033A (ja) | ナビゲーション・オブジェクトの改善された描画 | |
| JP2006244296A (ja) | 読み上げ用ファイル作成装置、リンク読み上げ装置、及びプログラム | |
| JP4935658B2 (ja) | ブラウザプログラムおよび情報処理装置 | |
| JP4771915B2 (ja) | Ｈｔｍｌテキストを変換する装置、方法、およびプログラム | |
| JP2007328510A (ja) | コンテンツ変換装置、コンテンツ表示装置、コンテンツ閲覧装置、コンテンツ変換方法、コンテンツ閲覧方法およびプログラム | |
| WO2007018102A1 (ja) | 携帯型情報機器及び携帯型情報機器の表示方法 | |
| JP2004287758A (ja) | Ｗｅｂアプリケーション統合方法／プログラム／記録媒体、ポータルサーバ | |
| JP2009176231A (ja) | クライアント装置およびクライアント制御プログラム | |
| JP4014361B2 (ja) | 音声合成装置及び音声合成方法並びに音声合成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP5267342B2 (ja) | マッシュアッププログラム、マッシュアップ装置及びマッシュアップ方法 | |
| KR100491613B1 (ko) | 웹문서의 클로즈업 기능을 구비한 정보통신기기와 이것을 이용한 웹문서의 디스플레이 방법 및 그 방법을 기록한 기록매체 | |
| JP5338298B2 (ja) | ページ閲覧装置およびプログラム | |
| JP2011216112A (ja) | 表示プログラム | |
| JPH10162002A (ja) | インターネットブラウジング装置 | |
| JP4515186B2 (ja) | 音声辞書作成装置、音声辞書作成方法、及びプログラム | |
| JP2005128955A (ja) | 情報処理方法および記憶媒体、プログラム | |
| JP2002014893A (ja) | 画面読み上げソフトを使用する利用者に向けたＷｅｂページ案内サーバー | |
| WO2013061719A1 (ja) | 音声合成情報付きのテキストデータ提供装置及びテキストデータ提供方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040420 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040618 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040618 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040618 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050713 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050905 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20051014 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070911 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130921 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |