JP2001521195A - Ｓｇｍｌデータのページを聴覚的に表すシステム及び方法 - Google Patents

Ｓｇｍｌデータのページを聴覚的に表すシステム及び方法

Info

Publication number
JP2001521195A
JP2001521195A JP2000517410A JP2000517410A JP2001521195A JP 2001521195 A JP2001521195 A JP 2001521195A JP 2000517410 A JP2000517410 A JP 2000517410A JP 2000517410 A JP2000517410 A JP 2000517410A JP 2001521195 A JP2001521195 A JP 2001521195A
Authority
JP
Japan
Prior art keywords
sgml
document
tag
sound
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000517410A
Other languages
English (en)
Inventor
マッケンティ，エドモンド，アール．
オーエン，デビッド，イー．
Original Assignee
ソニコン，インク．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニコン，インク． filed Critical ソニコン，インク．
Publication of JP2001521195A publication Critical patent/JP2001521195A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Document Processing Apparatus (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Circuits Of Receivers In General (AREA)
  • Steroid Compounds (AREA)
  • Communication Control (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Information Transfer Between Computers (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Small-Scale Networks (AREA)

Abstract

(57)【要約】 【課題】 ＳＧＭＬドキュメントを可聴的に表現する方法を提供すること。 【解決手段】 ＳＧＭＬドキュメントを可聴的に表現する方法であって、ＳＧＭＬドキュメント内でエンカウンターされたＳＧＭＬタッグとイベントにユニークな音を割り当てるステップ（２１４）と、それらタッグとイベントがエンカウンターされたときに関連音を創出するステップ（２１８）と、エンカウンターされたテキストを音声として表現するステップ（２２０）とを含んでいる。音声及び非音声音を同時的または実質的同時的に創出することができる。このことに対応するシステム（１０）も開示されている。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本願発明は一般的にドキュメントの可聴的表現方法に関し、特定すれば、ＳＧ
ＭＬでコード化されたドキュメントの内容を音によって伝達する方法に関する。
【０００２】
【従来の技術】
スタンダードジェネラルマークアップランゲージ（ＳＧＭＬ）(Standard Gene
ral Markup Language)とは、ドキュメントのベーシック内容をオーグメント処理
(augment)するドクメントマークアップランゲージ(Document Markup Language) の創出方法を解説する手引き(specification)であり、その内容のどの部分が使 用され、どのように使用されるかを解説するものである。 ＳＧＭＬの最も良く
知られた利用法はハイパーテキストマークアップランゲージ（ＨＴＭＬ）(Hyper
text Markup Language)であり、ワールドワイドウェブ(World Wide Web)で使用 されている。ＳＧＭＬの他の利用法はＸＭＬすなわち随意的に延長可能なマーク
アップランゲージと、技術文献に使用されるＤＯＣＢＯＯＫである。本願発明は
、利用者に供するＳＧＭＬ手引きに利用できるマークアップランゲージを有した
ドキュメントを表現する新規な方法である。説明を簡単にするため、ＨＴＭＬ、
ＸＭＬあるいはＤＯＣＢＯＯＫ等のＳＧＭＬ手引きに利用できるいかなるマーク
アップランゲージで書かれたドキュメントでも本明細書においてはＳＧＭＬドキ
ュメントまたはＳＧＭＬページと呼称する。本明細書の多くの部分がワールドワ
イドウェブを使用して入手されたＳＧＭＬドキュメントに関して説明しているが
、本願発明はいかなるソースから入手されたＳＧＭＬドキュメントに対しても利
用が可能である。
【０００３】 ＳＧＭＬスタンダードを使用してコード化されたドキュメントはプレーンテキ
スト(plain text)とマークアップテキストの両方を含んでおり、後者は一般的に
“タッグ(tag)”と呼称されている。ＳＧＭＬ内のタッグはドキュメントの利用 者にテキストとしては表示されない。タッグは、他のＳＧＭＬページへのリンク
、ファイルへのリンク、イメージの引用、あるいはボディテキストやヘッドライ
ンテキスト等のＳＧＭＬページの特別な部分のごときドキュメントに関するメタ
インフォメーション(meta-information)を表す。特別テキストは典型的には異な
る色彩、フォントあるいはスタイルで表示され、利用者が利用しやすいように配
慮されている。
【０００４】
【発明が解決しようとする課題】
媒体の視覚的特徴のため、ウェブは視覚障害者にとっては問題を呈する。さら
に、視覚障害者はＳＧＭＬページで表示される内容を利用することができないば
かりでなく、視覚障害者が利用するために視覚的データを表示する伝統的な形態
ではＳＧＭＬページにて典型的に提供される多種多様な機能を便利に提供するこ
とができない。
【０００５】 よって本願発明の１目的は、ＳＧＭＬページを視覚障害者に利用させる方法と
装置とを提供することである。
【０００６】 本願発明の別な目的は、ＳＧＭＬページの内容を視覚的ではなく音声音響デー
タで表す方法と装置とを提供することである。
【０００７】
【課題を解決するための手段】
本願発明はオーディオインフォメーション(audio information)のリニアスト リーム(liner stream)としてユーザにＳＧＭＬドキュメントを提供する。ドキュ
メントの視覚的表示によって利用されるページの行へのテキスト分割は回避され
る。このことは“スクリーンリーダ(screen reader)”と呼称される現存システ ムとは異なる点である。スクリーンリーダはコンピュータスクリーンの情報を提
供するために合成音声出力(synthesized speech output)を利用する。このよう なスクリーンリーダはドキュメントのスクリーンレイアウトに依存しており、ユ
ーザはドキュメント内でナビゲートするためにそのレイアウトを理解して所定の
操作を行わなければならない。本願発明はスクリーンの視覚的メタファー処理(m
etaphor)を回避し、視覚的ではなく、音読のごとくにドキュメントを表現する。
すなわち、本願発明はユーザに対してリニア的にドキュメントを表現するものの
、ユーザにそのドキュメント内で自由に別セクションあるいは別パラグラフにス
キップさせる。ユーザは視覚的レイアウトではなく意味的内容(semantic conten
t)を利用してドキュメントを扱う。
【０００８】 本願発明はブラウザーユーティリティ(browser utility)と共に利用される。 すなわち、ＳＧＭＬドキュメントをコンピュータユーザに対して視覚的にではな
く聴覚的に提供するためのＳＧＭＬドキュメントの視覚的表示に利用されるアプ
リケーションである。それはＳＧＭＬドキュメントをパース分析または処理(par
se)し、そのマークアップ(markup)と内容とを聴覚的表示の多彩な要素と連関さ せ、機械音声と機械非音声音との組み合わせを利用してユーザにそのドキュメン
トを聴覚的に提供するものである。合成音声はテキスト内容を音読し、非音声音
はマークアップで示されたドキュメントの特徴を特徴音で表現する。例えば、ヘ
ッディング(heading)、リスト(list)及びハイパーテキストリンク(hypertext li
nk)は独特な非音声音でそれぞれ表現することが可能であり、ユーザは聞こえて いる音声がそれぞれヘッダー、リストまたはハイパーテキストの一部であること
を知る。従って、ＳＧＭＬページは音声合成装置を使用して音読表現することが
可能であり、エンベッド(embed)されたＳＧＭＬタッグ(tag)は、特別テキストの
存在を示すように非音声音を使用して同時的または実質的同時的に聴覚的に表現
される。音響を特定のＳＧＭＬタッグに割り当て、ソニフィケーションエンジン
(sonification engine)によって管理することが可能である。そのようなソニフ ィケーションエンジンの１例は、１９９７年１０月２２日出願の米国特許願０８
/９５６２３８に記載されているオーディトリディスプレーマネージャ(Auditory
Display Manager:ADM)であり、その出願内容を本願に援用する。
【０００９】 本願発明はユーザにドキュメントの表現をコントロールさせる。ユーザは、ド
キュメントのリーディング(reading)を開始及び停止させることができ、ドキュ メントの節、文またはマークアップセクション単位で前方あるいは後方にジャン
プ処理することができ、そのドキュメント内のテキストをサーチすることができ
、他のナビゲーション操作を実行することができる。ユーザはさらに他のドキュ
メントへのホットリンク(hotlink)を利用することができ、ドキュメントのリー ディング速度を調節でき、出力のボリュームを調整できる。このようなナビゲー
ション処理は全て数字キーパッドのキーを押すことで実行できる。よって本願発
明は電話を介して利用でき、あるいは指示装置を効果的に利用できない視覚障害
者にも利用できる。
【００１０】 本願発明はＳＧＭＬドキュメントを聴覚的に表現する方法にも関する。この方
法はページでエンカウンター(encounter)したＳＧＭＬタッグタイプに独特な音 を割り当てるステップを含んでいる。その種類のＳＧＭＬタッグがＳＧＭＬペー
ジでエンカウンターされたときには常にその割り当てられた音が発生される。Ｓ
ＧＭＬページでエンカウンターされたテキストを表現する音声も発生される。そ
れら音声及び非音声音は実質的同時的に発生させることができ、別のＳＧＭＬペ
ージへのリンクのごとき特定タイプのタッグを表現するテキストは、ハミング音
や周期的なクリック音のごとき別の音で音響的に表現される。
【００１１】 本願発明の別の特徴によれば、本願発明はＳＧＭＬドキュメントを音響的に表
現するシステムに関する。この場合ドキュメントはブラウザーユーティリティか
ら受領される。しかし前述のごとく、そのようなブラウザーはＳＧＭＬドキュメ
ントを視覚的にのみ提供し、ウェブからでも入手できる記録されたオーディオフ
ァイルの再生にのみ音を使用する。この特徴において本願発明はパーサ(parser)
とリーダ(reader)とを含んでいる。パーサはＳＧＭＬページを受領し、受領した
ＳＧＭＬページを表現するツリーデータ構造(tree data structure)を出力する 。リーダはそのツリーデータ構造を利用してＳＧＭＬページ内のテキストとタッ
グを表す音を創出する。実施態様によっては、リーダはツリーデータ構造のデプ
ス-ファーストトラバーサル(depth-first traversal)を実行することでその音を
創出する。
【００１２】 別の特徴においては、本願発明は、コンピュータリーダブルプログラム手段を
有した製造物に関している。その製造物は、ページ内でエンカウンターしたＳＧ
ＭＬタッグに独特の音を割り当てるコンピュータリーダブルプログラム手段、そ
のＳＧＭＬタッグにエンカウンターしたとき、その割り当てられた音を発生させ
るコンピュータリーダブルプログラム、及びＳＧＭＬページでエンカウンターし
たテキストを表現する音声を発声させるコンピュータリーダブルプログラムを含
んでいる。
【００１３】
【発明の実施の形態】
本願発明のさらなる理解を助けるため、図面を添付し、以下で本発明を詳細に
解説する。本願発明の範囲は「特許請求の範囲」において記述されている。
【００１４】 明細書を通じて“ソニフィケーション処理”とは、ページ内に含まれているＳ
ＧＭＬタッグを特定する可聴キュー(audible cue)を含み、ＳＧＭＬページを音 声的に読み出すことである。図１に示すＳＧＭＬページソニフィケーション装置
１０はパーサ１２、リーダ１４、及びナビゲータ１６を含んでいる。パーサ１２
はソニフィケーション処理されるＳＧＭＬドキュメントの構造を決定し、リーダ
１４はＳＧＭＬドキュメントをソニフィケーション処理して音声と非音声音を合
成し、ナビゲータはユーザからの入力を受領してユーザにソニフィケーション処
理する対象のＳＧＭＬドキュメント部分を選択させる。パーサ１２、リーダ１４
及びナビゲータ１６の操作は以下で詳細に解説されている。
【００１５】 図２に示すソニフィケーション装置１０は、ソニフィケーションエンジン（図
１には図示せず）と音声合成装置（図１には図示せず）との接続をセットアップ
するために様々な機器要素をイニシャライズさせる。このイニシャライズフェー
ズ(initialization phase)は次の４部分で構成されている： ＳＧＭＬドキュメントを本発明に提供するブラウザーユーティリティへの接続
ステップ（ステップ２１０）； ソニフィケーションエンジンへの接続ステップ（ステップ２１２）； 非音声音と、ソニフィケーションエンジン内でそれぞれ利用される条件の定義
ステップ（ステップ２１４）； 不履行(default)ＳＧＭＬドキュメントの入手ステップ（ステップ２１６）。
【００１６】 ブラウザーユーティリティへの接続を確立させるステップ（ステップ２１０）
は接続されるブラウザーによって異なるであろう。一般的に、ユニフォームリソ
ースロケータ(Uniform Resource Locator:URL)によってＳＧＭＬドキュメントを
リクエストし、返却されたＳＧＭＬドキュメントを受領するインターフェースを
定義するブラウザーユーティリティが提供されなければならない。例えば、もし
ソニフィケーション装置１０がＮＥＴＳＣＡＰＥ ＮＡＶＩＧＡＴＯＲ（カルフ
ォルニア州マウンテンビューのネットスケープコミュニケーションズ社が製造す
るブラウザーユーティリティ）と共に利用されるならば、そのソニフィケーショ
ン装置１０はそのブラウザーとインターフェースするプラグインモジュール(plu
g-in module)として提供されよう。あるいは、もしソニフィケーション装置１０
がＩＮＴＥＲＮＥＴ ＥＸＰＬＯＲＥＲ（ワシントン州レッドモンドのマイクロ
ソフト社が製造するブラウザーユーティリティ）と共に利用されるならば、その
ソニフィケーション装置１０はＩＮＴＥＲＮＥＴ ＥＸＰＬＯＲＥＲと相互作用
するようにデザインされたプラグインアプリケーションとして提供されよう。
【００１７】 ソニフィケーションエンジンに対する接続を確立させる（ステップ２１２）に
は一般的にエンジンをブーツ処理(booting)するだけでよい。ソニフィケーショ ンエンジンがソフトウェアモジュールとして提供される実施態様においては、ソ
フトウェアモジュールは操作システムによって提供される手段を使用して作動さ
せなければならない。あるいは、もしソニフィケーションエンジンがファームウ
ェア(firmware)あるいはハードウェアとして提供されていれば、ハードウェアあ
るいはファームウェアでコミュニケーションさせる通常の技術を利用してエンジ
ンを作動させることが可能である。その方法とは、例えば、電圧を信号ラインに
印加させ、作動の妨害リクエストの存在を示させたり、エンジンを作動させるリ
クエストを示すレジスタに所定のデータ値を書き込むことである。接続の後にソ
ニフィケーションエンジンのイニシャリゼーション機能が作動され、エンジンに
その機能を実行するために必要なリソース(resource)を割り当て(allocate)させ
る。これは通常はオーディオ出力装置のアロケーション処理及び実施態様によっ
てはオーディオミキサー(audio mixer)のアロケーション処理で提供される。
【００１８】 ソニフィケーションエンジンへの接続が確立すれば、いくつかの音がソニフィ
ケーションエンジンがソニフィケーション処理する多様なイベントや対象と連関
されなければならない（ステップ２１４）。例えば、聴覚イコン(auditory icon
)がＳＧＭＬタッグ、ＳＧＭＬタッグ間の変移及びエラーイベントに割り当てら れる。聴覚イコンとはそれらのイベントや対象を独特に特定するのに使用される
音である。ソニフィケーションエンジンはこれを、多様なＳＧＭＬタッグや、Ｓ
ＧＭＬリーダが進入、退出、あるいは各タッグ内に存在するときに実行されるア
クションをリストするファイルを読み込むことで実行することができる。１実施
例においては、ソニフィケーションエンジンは全てのＳＧＭＬタッグや、ＳＧＭ
Ｌファイルをソニフィケーション処理するときにエンカウンターするイベントを
含んだファイルを読み込む。別の実施例では、ソニフィケーションエンジンは新
規にエンカウンターしたタッグやイベントに聴覚イコンを指定させるメカニズム
を提供する。この実施例では、聴覚イコンの指定は自動的に実行され、あるいは
ユーザによる処理を必要とするであろう。
【００１９】 イニシャリゼーションは、例えばホームページであるデフォルトＳＧＭＬドキ
ュメントのためにＳＧＭＬドキュメントを提供するソフトウェアモジュールのリ
クエストで終了する（ステップ２１６）。ホームページが存在すれば、ソニフィ
ケーション処理されるようにソニフィケーション装置１０に送られる。ホームペ
ージが存在しなければ、ソニフィケーション装置１０はユーザからの入力を待つ
。
【００２０】 操作時において、ＳＧＭＬタッグのタイプによってはＳＧＭＬタッグにエンカ
ウンターするとソニフィケーション装置１０はソニフィケーションエンジンに音
データを創出させ、変更させ、あるいは停止させるように命令し（ステップ２１
８）、テキストにエンカウンターしたとき音声シンセサイザーに音声データを創
出するように命令する（ステップ２２０）。 パーサ 図１に戻れば、ブラウザーユーティリティから受領されたＳＧＭＬドキュメン
ト、あるいはＳＧＭＬドキュメントを提供できる他のユーティリティプログラム
はパーサ１２によってツリーデータ構造にパース処理(parse)される。ツリーデ ータ構造を創出するためのドキュメントパース処理の一般的なプロセスは公知で
ある。
【００２１】 １実施例においては、パーサ１２は、その子孫(descendant)がタッグに含まれ
るドキュメントの部分を構成するＳＧＭＬタッグをツリーの各ノード(node)が表
すツリーデータ構造を創出する。この実施例においては、各タッグの特性及び価
値はタッグを表すノードに付与されている。各ノードのペアレントノード(paren
t node)は、そのノードで表されるタッグを含んだＳＧＭＬタッグを表す。各ノ ードのチャイルドノード(child node)はそのノードで表されるタッグで囲まれた
ＳＧＭＬタッグを表す。ＳＧＭＬデータ間のドキュメントのテクスチュアル(tex
tual)部分であるキャラクターデータ(character data)はツリーのリーフノード(
leaf node)として表される。キャラクターデータは文章の境界でツリーの複数の
ノードに分割でき、非常に長い文章は複数のノードにさらに分割して、１つのノ
ードが大量のテキストを含むことが回避される。
【００２２】 パーサ１２は、発生させるツリーデータ構造を便利なメモリ要素に保存させる
ことができる。これはパーサ１２とリーダ１４の両方によってアクセスできる。
あるいは、パーサ１２はそのツリーデータ構造をリーダ１４に直接的に伝達する
ことができる。 リーダ ＳＧＭＬドキュメントが入手され、パーサ１２でパース処理された後、リーダ
１４は、ツリーデータ構造が表すＳＧＭＬデータのページをソニフィケーション
処理するためにそのツリーデータ構造にアクセスする。実施態様によっては、リ
ーダ１４はそのツリーを含む別体のメモリ要素にアクセスする。別の実施態様に
おいては、リーダ１４はツリー構造を保存するメモリ要素を提供する。リーダ１
４はツリーデータ構造をトラバースし、音声シンセサイザーを使用して言葉とし
てエンカウンターテキストを表出し、非音声音を使用してＳＧＭＬタッグを表出
する。実施態様によっては、リーダ１４はテキストを表現するために別体の音声
シンセサイザーモジュールとコーディネートする。リーダ１４は、ＳＧＭＬタッ
グを表す非音声音と、ソニフィケーション処理しなければならないイベントを創
出するために、ソニフィケーションエンジンとインターフェースする。
【００２３】 ＳＧＭＬドキュメントはパース処理されたＳＧＭＬドキュメントツリーのデプ
スファーストトラバースを実行することで読まれる。そのようなトラバース処理
は、それがその作者によって書き込まれたのと同様に、リニア式未パース処理Ｓ
ＧＭＬドキュメントのリーディングに相当する。ツリーの各ノードがエンター処
理される際にリーダ１４はそのタイプを調べる。もしそのノードがキャラクター
データを含んでいれば、そのキャラクターデータのテキストは音声として出力さ
れるように音声シンセサイザー内でエンキュー処理(enqueued)される。もしその
ノードがＳＧＭＬタッグであれば、そのタッグの要素ネームまたはラベルがその
ソニフィケーションエンジン内でエンキュー処理され、イニシャリゼーション処
理中にそのタッグと関連する音で表現される。ノードタイプに関係なくマーカ(m
arker)は音声シンセサイザーでエンキュー処理され、以下のように２つの出力ス
トリームを同調させる。ツリーの各ノードが励起されるとき、リーダはＳＧＭＬ
タッグの要素ネームをソニフィケーションエンジンに送り、そのタッグの終了を
音でも表現させる。
【００２４】 リーダはツリーデータ構造をトラバースするとき２つのカーサ(cursor)を維持
する。カーサとはツリー内の特定ポジションまたはノードへの基準である。第１
カーサは、ソニフィケーション処理されているパース処理されたＳＧＭＬドキュ
メントツリー内のポジションを表し、“リードカーサ(read cursor)”と呼称さ れる。第２カーサは音声シンセサイザー内またはソニフィケーションエンジン内
で次にエンキュー処理されるであろうポジションを表し、“エンキューカーサ(e
nqueue cursor)”と呼称されよう。これらカーサ間のドキュメント部分はリード
処理のためにエンキュー処理されており、ソニフィケーション処理されていない
ものである。他のカーサも、特定のテキストストリングまたはＨＴＭＬタッグを
求めてドキュメントをサーチするときのごとき他のポジションまたはノードを表
すのに使用が可能である。カーサは音読されているＳＧＭＬドキュメントのポジ
ションの相互作用的コントロールに使用が可能である。
【００２５】 ＳＧＭＬドキュメント内でのカーサの使用でリーダはそのドキュメント内をリ
ニア式に移動でき、人間が音読するのと同様にテキストを読むことができる。こ
のことは、全ページを提供し、ユーザに水平または垂直にスクロールさせるが、
読むことができるようにドキュメントをトラバース処理する手段を提供しないＳ
ＧＭＬドキュメントの視覚的表現とは異なる。カーサを使用するとドキュメント
をリニア式に読み取り、ユーザに以下のようにそのドキュメント内でナビゲート
させる手段が提供される。
【００２６】 ソニフィケーション装置１０がＳＧＭＬドキュメントをユーザに読むプロセス
が開始されると、両カーサは当初はドキュメントの開始部に存在する。すなわち
、それらカーサはパース処理されたＳＧＭＬドキュメントツリーのルーツノード
(root node)に存在する。装置１０は前述のようにパース処理されたツリーから のデータをエンキュー処理する。ツリーの各ノードがエンキュー処理されると、
エンキューカーサはツリー内で移動され、次にエンキュー処理されるノードを常
に参照する。ＳＧＭＬドキュメントがまずパース処理されてリーダに提供される
と、カーサはパース処理されたツリー構造の最上部に置かれ、ＳＧＭＬドキュメ
ント全体はカーサがツリー内で移動するときに最初から最後まで読まれる。ドキ
ュメントの末尾に到達するとシステムは読むのを停止し、ユーザからの入力を待
つ。ＳＧＭＬドキュメントのリーディング作業中に入力が受領されると、リーダ
１４は直ちに読むのを停止し、入力を処理し（現在のリーディングポジションが
変更される可能性あり）、ユーザが停止命令を出していない限りリーディングを
再開する。
【００２７】 テキストに沿って音声シンセサイザーでエンキュー処理されたマーカはＳＧＭ
Ｌツリーのポジションに関連する。各マーカは独自のアイデンティファイヤ(ide
ntifier)を含んでいる。それはそのマーカがエンキュー処理されたときのエンキ
ューカーサのポジションに関連している。音声シンセサイザーがエンキュー処理
テキストを読むとき、テキストに沿ってエンキュー処理されたマーカとエンカウ
ンターしてリーダ１４に知らせる。リーダ１４は関連カーサポジションを見つけ
、リードカーサをそのポジションに移動する。このように、リードカーサは音声
シンセサイザーによって発音処理されたテキストと同調状態に保たれる。
【００２８】 システムが音声シンセサイザーとソニフィケーションエンジンへのデータエン
キュー処理プロセス中であるとき、これら２つのカーサは、エンキューカーサが
ＳＧＭＬドキュメントツリー内で前進移動する際に分岐する。音声シンセサイザ
ーあるいはソニフィケーションエンジン内でキューをオーバーフローさせないた
め、システムは２つのカーサが所定量だけ分岐するとデータのエンキュー処理を
停止する。音声シンセサイザーがテキストを読み、そこからの通知がシステムに
リードカーサを前進させると、２つのカーサ間の分岐は小さくなる。それが所定
サイズよりも小さいとき、システムは音声シンセサイザーとソニフィケーショネ
ンジンにデータエンキュー処理を再開する。このように、これら出力装置のキュ
ーにはデータが提供されるが、オーバーフローしたり空になったりはさせない。
ノードはシングルユニットとしてエンキュー処理されるので、キャラクターデー
タを前述のように複数のノードに分割することはリードキューのオーバーフロー
回避を助ける。
【００２９】 エンジンカーサがパース処理されたＳＧＭＬツリーの末尾に到達すると、すな
わち、ツリーのルーツノードに戻ると、データのエンキュー処理はなくなり、シ
ステムはキューを空にさせる。キューが空になると、リードカーサもパース処理
されたＳＧＭＬツリーの末尾に移動する。両カーサがツリーの末尾にくると、ド
キュメント全体はソニフィケーション処理が済み、ＳＧＭＬリーダは停止する。
【００３０】 もしユーザ入力がページのソニフィケーション処理中に受領されると、ＳＧＭ
Ｌリーダは直ちにリーディングを停止する。この停止は音声シンセサイザーとソ
ニフィケーションエンジンを妨害し、それらのキューをフラッシュ処理し、エン
キューカーサを現行のリードカーサポジションにセットすることで行われる。こ
れで全音響出力が停止する。受領入力が処理された後にリーダ１４が再開される
と、エンキューカーサは再び現行のリードカーサポジションにセットされ（リー ドカーサが入力に対応して変更された場合）、データのエンキュー処理は前述の
ように行われる。
【００３１】 最も新しくリクエストされ、パース処理されたＳＧＭＬツリー構造と、その関
連リードカーサのリストは維持されよう。ユーザはこのリスト内のドキュメント
間をリニア的に移動でき、ブラウザーソフトウェアにインプレメントされる訪問
(visited)ＳＧＭＬドキュメントの“歴史(history)”が提供される。しかし、リ
ードカーサをそれぞれのパース処理されたドキュメントに沿って維持することで
、ユーザがリストの他のページにスイッチすると、本願発明はそのページを最後
に読んだときに停止したポジションからドキュメントのリーディングを再開する
ことができる。 ナビゲータ ユーザには、どのＳＧＭＬドキュメントが提供されるか、及びそのドキュメン トのどの部分が提供されるかを制御する手段が提供される。ユーザは何らかの入
力を提供する。それはキーボード式でも、音声コマンドでも、他の手法でもよい
。好適実施態様においては、この入力は標準パソコンキーボードのごとき数字キ
ーパッドで行う。この入力で本明細書の添付資料に解説されているようないくつ
かの典型的なナビゲーション機能が選択される。ナビゲータ１６がユーザ入力を
受領するとリーダ１４は停止され、その機能が実行され、リーダはその機能によ
って供給されるブール値によって条件付きで再スタートされる。実施態様によっ
ては、ナビゲータ１６はリーダ１４を停止し、その機能を実行し、リーダ１４を
再スタートさせる。あるいは、ナビゲータ１６はユーザ入力の受領と受領コマン
ドをコミュニケーションし、自動停止してその機能を実行し、自動的に再スター
トすることもできる。
【００３２】 機能によっては、機能がサーチするＳＧＭＬタッグを発見できないようなエラ
ーを発生させるかも知れない。そのような場合には、エラーメッセージのテキス
トがユーザに提示されるように音声シンセサイザーに送られ、その機能によって
返還されたブール値はリーダ１４が再スタートすべきではないことを示す。
【００３３】 本願発明をソフトウェアパッケージとしても提供することが可能である。実施
態様によっては、本願発明はブラウザーユーティリティや聴覚表示マネージャ(A
uditory Display Manager)を含む大型プログラムの一部とすることができる。前
述のデータ構造要件をサポートするいかなる高レベルプログラム言語で書かれて
もよい。例えば、Ｃ、Ｃ＋＋、ＰＡＳＣＡＬ、ＦＯＲＴＲＡＮ、ＬＩＰＳ、ＡＤ
Ａで書くことができる。あるいは、本願発明をアセンブリ言語コードとして提供
することが可能である。ソフトウェアコードとして提供されたとき本願発明をい
かなる不揮発性記憶要素、例えばフロッピディスク、ハードディスク、ＣＤ-Ｒ ＯＭ、光ディスク、磁気テープ、フラッシュメモリ、ＲＯＭ等で実施させること
ができる。
【００３４】
【実施例】
以下の例は本願発明によって、いかに簡単にＨＴＭＬドキュメントが利用でき
るかを示す目的で提供されている。本願発明の限定は意図されていない。
【００３５】 サンプルテキスト：ハイパーテキストマークアップ言語（ＨＴＭＬ）は国際基
準団体であるワールドワイドウェブコンソーチアム（Ｗ３Ｃ）が提唱する基準で
ある。この現在の基準はＨＴＭＬ４.０である。Ｗ３ＣはＨＴＴＰやＰＩＣＳ等 のいくつかの他の基準に関与している。
【００３６】 このテキストは、次のように他のドキュメントへホットリンク(hotlink)と共 に単純ＨＴＭＬドキュメントとしてマークアップすることが可能である。 <HTML><BODY>The <A HREF="http://www.w3c.org/MarkUp/">Hypertext Markup Language (HTML)</A> is a standard proposed by the <A HREF="http://www.w3c.org/">World Wide Web Consortium (W3C)</A>, an International standards body. The current version of the standard is <A HREF="http://www.w3c.org/TR/REC-html40/">HTML 4.0(/A>, <P>The W3C is responsible for several other standards, including <A HREF="http://www.w3c.org/XML/">XML</A> and <A HREF="http://www.w3c.org/PICS/">PICKS</A>. </BODY></HTML> 装置１０がこのドキュメントをどのようにソニフィケーション処理するかはそ
の形態による。１実施例においては、この形態は非音声音を使用してほとんどの
ＨＴＭＬマークアップを表し、合成音声を使用してテキストを表す。これら音声
及び非音声音はユーザの好みに応じて逐次的または同時的に発生させることが可
能である。すなわち、非音声音は音声ストリームのポーズ時に創出が可能である
。あるいは言葉が発声されているのと同時に創出が可能である。
【００３７】 リーダ１４が例示したＨＴＭＬドキュメントを表すツリーデータ構造を翻訳開
始すると、ソニフィケーションエンジンに＜ＢＯＤＹ＞ｔａｇによってマークさ
れたドキュメントのボディ部の開始を表す非音声音を発生させる。使用される正
確な音はこの特許に関係がない。しかし、その音はユーザにドキュメントの開始
を通知するものでなければならない。音が発生されると（あるいは音が停止する
と）、リーダ１４は音声合成モジュールでドキュメント（“ハイパーテキストマ
ークアップランゲージ(The Hypertext Markup Language) ”）の開始部でテキ
ストをエンキュー処理する。単語の“ハイパーテキスト(Hypertext)”が読み出 されると、リーダ１４はエンカウンターしたホットリンクタッグをソニフィケー
ションエンジンでエンキュー処理し、ソニフィケーションエンジンに音を発生さ
せ、音読されているテキストは＜Ａ＞ｔａｇとマークされている別のドキュメン
トへのホットリンクであることを示させる。１実施例においては、この音は＜/ Ａ＞ｔａｇとマークされているホットリンクのエンド部が読まれるまで継続して
鳴る。よって、ユーザはそのホットリンクのテキストが読まれている間“ホット
リンク”概念を表す音を聞き続けるであろう。次のフレーズ（“は標準(is a st
andard) ”）は、そのテキストに特別の意味を持たせるマークアップが提供さ
れていないので、非音声音が介在せずに読まれる。次のフレーズ（“ワールドワ
イドウェブ(World Wide Web) ”）はホットリンク音が再び鳴らされている間 読に続けられる。なぜなら、それはホットリンクとしてマークアップされている
からである。同様に、次の文章は、読まれているテキストが＜Ａ＞ｔａｇと＜/ Ａ＞ｔａｇ内にあるかぎり創出中のホットリンク音で読まれる。
【００３８】 ＜Ｐ＞ｔａｇで表されるパラグラフ断絶部分がエンカウンターされ、ソニフィ
ケーションエンジンに送られると、エンジンは異なる非音声音を発生させる。こ
の音はユーザにテキストの断絶部分であることを知らせる。同様に、音声シンセ
サイザーにパラグラフ断絶部分のためにポーズを発生させ、パラグラフの開始部
に適当な韻律を使用して次の文章を読み始めさせるようにプログラムすることも
できる。次の文章の音読は最初の文章と同様に進行し、ホットリンク音は頭字語
“ＸＭＬ”と“ＰＩＣＳ”が発音されているときに流れる。最後に、＜/ＢＯＤ Ｙ＞ｔａｇがエンカウンターするとドキュメントのボディ部の終了を表す音が流
される。＜ＨＴＭＬ＞ｔａｇと＜/ＨＴＭＬ＞ｔａｇとはこの例の音には関連し ない。なぜなら、それらは一般的に＜ＢＯＤＹ＞ｔａｇと＜/ＢＯＤＹ＞ｔａｇ で多用されるからである。
【００３９】 コンマ、ピリオッド、及び他のポーズ部分は本願発明の特別制御を経ずに音声
合成ソフトウェアで処理が可能である。しかし、Ｅメールアドレスやユニフォー
ムリソースロケータ(Uniform Resource Locators)のごときＨＴＭＬドキュメン トには普通であるテクチュアル構成(textual construct)の種類によっては特別 に取り扱われ、音声シンセサイザーはユーザに期待されるようにそれらを読み出
す。これらテクスチュアル構成の取り扱いはテクチュアルマッピングヒューリス
ティックス(Textual Mapping Heuristics)において詳細に解説されている。
【００４０】 文書が読み出されているとき、ユーザはいつでもドキュメントの別の部分の読
み出しを選択できる。例えば、ユーザがドキュメントの読み始め直後に別パラグ
ラフにスキップしたいと思うとき、リーディングを停止させ、＜Ｐ＞ｔａｇ直後
にリーディングを再開するようにコマンドを発生させることができる。ユーザの
注意が散漫となり、一部を聞き漏らした場合、ドキュメント内でバックアップし
、最後のフレーズを再読するようにコマンドを出すことができる。読み出し最中
に、あるいは読み出し直後にユーザはどのホットリンクでも作動させることがで
き、異なるＨＴＭＬドキュメントをウェブから入手して音読させることができる
。ユーザコマンドの例示リストは添付資料を参照のこと。 テックスチュアルマッピングヒューリスティックス 本願発明は、音声シンセサイザーで音読されるときにさらにその理解を助ける
ためにＳＧＭＬドキュメントからテキストをマッピングする手段をも提供する。
たいていの音声シンセサイザーは一般的英語文に関しては上手に音読するように
テキストをマップさせるルールを含んでいるが、ＳＧＭＬドキュメントはたいて
いの音声シンセサイザーが想定しない構成要素を含んでいる。テクスチュアルメ
ニューを提供するインターネットＥメールアドレス、ユニフォームリソースロケ
ータ（ＵＲＬ）及び他のメニューは、音声シンセサーザーによって意味を呈さず
に音読される例である。
【００４１】 これに対処するため、リーダ１４は読み間違えられるであろうテキストを音声
シンセササイザーに送る前に理解されやすいテキストと置換させる。例えば、Ｅ
メールアドレスである“[email protected]”は、音声シンセサイザーで“info s
onicon period c o m”と読まれるか、個々の文字をそのまま綴られる。リーダ はそのような構文を特定し、“info at sonicon dot com”で置き換え、音声シ ンセサイザーはそれをユーザの希望に沿った形態で音読する。同様に、例えばコ
ンピュータファイルパスネーム(pathname)（例えば、“/home/fred/documents/p
lan.doc”）は人間が音読するような形態のテキストに置換される（例えば、“s
lash home slash fred slash documents slash plan dot doc”）。
【００４２】 これらフレーズの変換は、テキストの交換を記述し、交換方法を説明するヒュ
ーリスティックルール(heuristic rules)のセットを使用して実行される。これ らルールの多くは、文の切れ目にスペースを置き、そのスペースが発音されるよ
うにその切れ目を言葉に置換させるものである。
【００４３】 本願発明を多様な実施例で解説してきた。本願発明はこれら実施例以外にも多
くの実施態様で利用が可能である。よって、本願発明の真の範囲は「特許請求の
範囲」に記載されている。
【図面の簡単な説明】
【図１】 図１はソニフィケーション装置のブロック図である。
【図２】 図２はソニフィケーション装置をイニシャライズ(initialize)させ
るステップのフロー図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ， ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，Ｄ Ｋ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＨＲ ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ， ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，Ｌ Ｖ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ， ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，Ｕ Ｓ，ＵＺ，ＶＮ，ＹＵ，ＺＷ Ｆターム(参考） 5D045 AA07 AB01

Claims (17)

    【特許請求の範囲】
  1. 【請求項１】 可聴的にＳＧＭＬドキュメントを表現する方法であって、
    該ＳＧＭＬドキュメントはテキストと、少なくとも１つのＨＴＭＬタッグとを含
    んでおり、本方法は、 (a)ドキュメント内でエンカウンターされたＳＧＭＬタッグに音を付与する ステップ（２１４）と、 (b)該音に関連するＳＧＭＬタッグがエンカウンターされたときに該音を創 出するステップ（２１８）と、 (c)前記ＳＧＭＬドキュメント内でエンカウンターされたテキストを表現す る音声を創出するステップ（２２０）と、 を含んでいることを特徴とする方法。
  2. 【請求項２】 ステップ(b)とステップ(c)は実質的同時的に実行されること
    を特徴とする請求項１記載の方法。
  3. 【請求項３】 ステップ(c)は、 (c-a)ＳＧＭＬドキュメント内でエンカウンターされたテキストを表現する 音声を創出するステップと、 (c-b)該ＳＧＭＬドキュメント内でエンカウンターされた文の区切部分を表 現するために音声にポーズ部分を含ませるステップと、 をさらに含んでいることを特徴とする請求項１記載の方法。
  4. 【請求項４】 (d)特定のＳＧＭＬタッグの選択を指示する入力を受領する ステップと、 (e)該選択されたタッグで特定される新ＳＧＭＬドキュメントを可聴的に表 示するステップと、 をさらに含んでいることを特徴とする請求項１記載の方法。
  5. 【請求項５】 (f)音変更ＳＧＭＬタッグがエンカウンターされると音を変 更するステップと、 (g)音変更ＳＧＭＬタッグがエンカウンターされると音を停止するステップ と、 をさらに含んでいることを特徴とする請求項１記載の方法。
  6. 【請求項６】 ステップ(c)に先立ってテクスチュアル構造(textual constr
    uct)をテキストパッセージ(text passage)と交換するステップをさらに含んでい
    ることを特徴とする請求項１記載の方法。
  7. 【請求項７】 交換するステップは、ステップ(c)に先立ってＥメールアド レスをテキストパッセージと交換するステップを含んでいることを特徴とする請
    求項６記載の方法。
  8. 【請求項８】 可聴的にＳＧＭＬドキュメントを表現するシステムであって
    、 ＳＧＭＬドキュメントを受領し、該受領ドキュメントを表現するツリーを出
    力するパーサ（１２）と、 該ツリーを利用し、該ＳＧＭＬドキュメント内に含まれるテキストとタッグ
    を表現する音を創出するリーダ（１４）と、 を含んでいることを特徴とするシステム。
  9. 【請求項９】 パーサは少なくとも１つのノードを有したツリーを創出し、
    該ノードはＳＧＭＬタッグを表していることを特徴とする請求項８記載のシステ
    ム。
  10. 【請求項１０】 タッグアトリビュートとタッグアトリビュート値は各ノード
    に付与されていることを特徴とする請求項９記載のシステム。
  11. 【請求項１１】 ＳＧＭＬドキュメントに含まれるテクチュアルデータはツリ
    ーのリーフノードとして表現されることを特徴とする請求項８記載のシステム。
  12. 【請求項１２】 リーダはツリーのデプス-ファーストトラバーサル処理を実 行し、ＳＧＭＬドキュメント内に含まれるテキストとタッグを表現することを特
    徴とする請求項８記載のシステム。
  13. 【請求項１３】 リーダが出力中のパース処理済みＳＧＭＬツリー内でのポジ
    ションを示すリードカーサをさらに含んでいることを特徴とする請求項８記載の
    システム。
  14. 【請求項１４】 リードカーサのポジションは変更が可能であり、パース処理
    されたＳＧＭＬドキュメントの異なるポジションを出力させることを特徴とする
    請求項１３記載のシステム。
  15. 【請求項１５】 リーダによって出力されるように処理されるパース処理され
    たＳＧＭＬツリー内でのポジションを示すエンキューカーサをさらに含んでいる
    ことを特徴とする請求項８記載のシステム。
  16. 【請求項１６】 可聴的に具現化されたＳＧＭＬドキュメントを表現するコン
    ピュータリーダブルプログラム手段を有した製品であって、該ＳＧＭＬドキュメ
    ントはテキストと、少なくとも１つのＳＧＭＬタッグとを含んでおり、本製品は
    、 (a)ドキュメント内でエンカウンターされたＳＧＭＬタッグにユニークな音 を付与するコンピュータリーダブルプログラム手段（２１４）と、 (b)該音に関連するＳＧＭＬタッグがエンカウンターされると前記付与され た音を創出するコンピュータリーダブルプログラム手段（２１８）と、 (c)前記ＳＧＭＬドキュメント内でエンカウンターされたテキストを表現す る音声を創出するコンピュータリーダブルプログラム手段（２２０）と、 を含んでいることを特徴とする製品。
  17. 【請求項１７】 (d)特定のＳＧＭＬタッグの選択を指示する入力を受領する コンピュータリーダブルプログラム手段と、 (e)該選択されたタッグによって特定された新ＳＧＭＬドキュメントを可聴 的に表示するコンピュータリーダブルプログラム手段と、 をさらに含んでいることを特徴とする請求項１６記載の製品。
JP2000517410A 1997-10-22 1998-10-21 Ｓｇｍｌデータのページを聴覚的に表すシステム及び方法 Pending JP2001521195A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/956,238 US20020002458A1 (en) 1997-10-22 1997-10-22 System and method for representing complex information auditorially
US08/956,238 1997-10-22
PCT/US1998/022236 WO1999021170A1 (en) 1997-10-22 1998-10-21 System and method for auditorially representing pages of sgml data

Publications (1)

Publication Number Publication Date
JP2001521195A true JP2001521195A (ja) 2001-11-06

Family

ID=25497972

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2000517406A Withdrawn JP2001521233A (ja) 1997-10-22 1998-10-21 多重情報を聴覚的に表現するシステムおよび方法
JP2000517409A Pending JP2001521194A (ja) 1997-10-22 1998-10-21 Ｈｔｍｌデータのページを聴覚的に表すシステム及び方法
JP2000517410A Pending JP2001521195A (ja) 1997-10-22 1998-10-21 Ｓｇｍｌデータのページを聴覚的に表すシステム及び方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2000517406A Withdrawn JP2001521233A (ja) 1997-10-22 1998-10-21 多重情報を聴覚的に表現するシステムおよび方法
JP2000517409A Pending JP2001521194A (ja) 1997-10-22 1998-10-21 Ｈｔｍｌデータのページを聴覚的に表すシステム及び方法

Country Status (9)

Country Link
US (2) US20020002458A1 (ja)
EP (3) EP1023717B1 (ja)
JP (3) JP2001521233A (ja)
CN (3) CN1283297A (ja)
AT (1) ATE220473T1 (ja)
AU (3) AU1362199A (ja)
BR (3) BR9814102A (ja)
DE (1) DE69806492D1 (ja)
WO (3) WO1999021166A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005208421A (ja) * 2004-01-23 2005-08-04 Aisin Aw Co Ltd 文章読み上げシステム及び方法

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6442523B1 (en) * 1994-07-22 2002-08-27 Steven H. Siegel Method for the auditory navigation of text
US7305624B1 (en) 1994-07-22 2007-12-04 Siegel Steven H Method for limiting Internet access
US7181692B2 (en) * 1994-07-22 2007-02-20 Siegel Steven H Method for the auditory navigation of text
US6658624B1 (en) * 1996-09-24 2003-12-02 Ricoh Company, Ltd. Method and system for processing documents controlled by active documents with embedded instructions
US6635089B1 (en) * 1999-01-13 2003-10-21 International Business Machines Corporation Method for producing composite XML document object model trees using dynamic data retrievals
US6175820B1 (en) * 1999-01-28 2001-01-16 International Business Machines Corporation Capture and application of sender voice dynamics to enhance communication in a speech-to-text environment
US7369994B1 (en) * 1999-04-30 2008-05-06 At&T Corp. Methods and apparatus for rapid acoustic unit selection from a large speech corpus
JP2001014306A (ja) * 1999-06-30 2001-01-19 Sony Corp 電子文書処理方法及び電子文書処理装置並びに電子文書処理プログラムが記録された記録媒体
US6792086B1 (en) * 1999-08-24 2004-09-14 Microstrategy, Inc. Voice network access provider system and method
US6578000B1 (en) * 1999-09-03 2003-06-10 Cisco Technology, Inc. Browser-based arrangement for developing voice enabled web applications using extensible markup language documents
US7386599B1 (en) * 1999-09-30 2008-06-10 Ricoh Co., Ltd. Methods and apparatuses for searching both external public documents and internal private documents in response to single search request
US7685252B1 (en) * 1999-10-12 2010-03-23 International Business Machines Corporation Methods and systems for multi-modal browsing and implementation of a conversational markup language
JP2001184344A (ja) * 1999-12-21 2001-07-06 Internatl Business Mach Corp <Ibm> 情報処理システム、プロキシサーバ、ウェブページ表示制御方法、記憶媒体、及びプログラム伝送装置
GB2357943B (en) * 1999-12-30 2004-12-08 Nokia Mobile Phones Ltd User interface for text to speech conversion
AU2001232777A1 (en) * 2000-01-14 2001-07-24 Thinkstream, Inc. Distributed globally accessible information network
US8019757B2 (en) 2000-01-14 2011-09-13 Thinkstream, Inc. Distributed globally accessible information network implemented to maintain universal accessibility
US6662163B1 (en) * 2000-03-30 2003-12-09 Voxware, Inc. System and method for programming portable devices from a remote computer system
US6684204B1 (en) * 2000-06-19 2004-01-27 International Business Machines Corporation Method for conducting a search on a network which includes documents having a plurality of tags
US7080315B1 (en) * 2000-06-28 2006-07-18 International Business Machines Corporation Method and apparatus for coupling a visual browser to a voice browser
US6745163B1 (en) * 2000-09-27 2004-06-01 International Business Machines Corporation Method and system for synchronizing audio and visual presentation in a multi-modal content renderer
US7454346B1 (en) * 2000-10-04 2008-11-18 Cisco Technology, Inc. Apparatus and methods for converting textual information to audio-based output
US7640163B2 (en) * 2000-12-01 2009-12-29 The Trustees Of Columbia University In The City Of New York Method and system for voice activating web pages
US6996800B2 (en) * 2000-12-04 2006-02-07 International Business Machines Corporation MVC (model-view-controller) based multi-modal authoring tool and development environment
US6728681B2 (en) * 2001-01-05 2004-04-27 Charles L. Whitham Interactive multimedia book
US20020124056A1 (en) * 2001-03-01 2002-09-05 International Business Machines Corporation Method and apparatus for modifying a web page
US20020124020A1 (en) * 2001-03-01 2002-09-05 International Business Machines Corporation Extracting textual equivalents of multimedia content stored in multimedia files
US20020124025A1 (en) * 2001-03-01 2002-09-05 International Business Machines Corporataion Scanning and outputting textual information in web page images
US7000189B2 (en) * 2001-03-08 2006-02-14 International Business Mahcines Corporation Dynamic data generation suitable for talking browser
US7024662B2 (en) 2001-03-14 2006-04-04 Microsoft Corporation Executing dynamically assigned functions while providing services
US20020133535A1 (en) * 2001-03-14 2002-09-19 Microsoft Corporation Identity-centric data access
US7539747B2 (en) * 2001-03-14 2009-05-26 Microsoft Corporation Schema-based context service
US7284271B2 (en) 2001-03-14 2007-10-16 Microsoft Corporation Authorizing a requesting entity to operate upon data structures
US7136859B2 (en) 2001-03-14 2006-11-14 Microsoft Corporation Accessing heterogeneous data in a standardized manner
US7302634B2 (en) 2001-03-14 2007-11-27 Microsoft Corporation Schema-based services for identity-based data access
US6934907B2 (en) * 2001-03-22 2005-08-23 International Business Machines Corporation Method for providing a description of a user's current position in a web page
US6834373B2 (en) * 2001-04-24 2004-12-21 International Business Machines Corporation System and method for non-visually presenting multi-part information pages using a combination of sonifications and tactile feedback
US20020158903A1 (en) * 2001-04-26 2002-10-31 International Business Machines Corporation Apparatus for outputting textual renditions of graphical data and method therefor
US20020161824A1 (en) * 2001-04-27 2002-10-31 International Business Machines Corporation Method for presentation of HTML image-map elements in non visual web browsers
US6941509B2 (en) 2001-04-27 2005-09-06 International Business Machines Corporation Editing HTML DOM elements in web browsers with non-visual capabilities
US20020010715A1 (en) * 2001-07-26 2002-01-24 Garry Chinn System and method for browsing using a limited display device
JP2003091344A (ja) * 2001-09-19 2003-03-28 Sony Corp 情報処理装置および情報処理方法、記録媒体、データ構造、並びにプログラム
US20030078775A1 (en) * 2001-10-22 2003-04-24 Scott Plude System for wireless delivery of content and applications
KR100442946B1 (ko) * 2001-12-29 2004-08-04 엘지전자 주식회사 멀티미디어 플레이어의 구간반복 재생 방법
KR20030059943A (ko) * 2002-01-04 2003-07-12 한국전자북 주식회사 오디오북 및 오디오북 작동 단말기
US20060168095A1 (en) * 2002-01-22 2006-07-27 Dipanshu Sharma Multi-modal information delivery system
US20030144846A1 (en) * 2002-01-31 2003-07-31 Denenberg Lawrence A. Method and system for modifying the behavior of an application based upon the application's grammar
KR20030078191A (ko) * 2002-03-28 2003-10-08 황성연 휴대용 음성출력 장치
GB2388286A (en) * 2002-05-01 2003-11-05 Seiko Epson Corp Enhanced speech data for use in a text to speech system
US7103551B2 (en) * 2002-05-02 2006-09-05 International Business Machines Corporation Computer network including a computer system transmitting screen image information and corresponding speech information to another computer system
US9886309B2 (en) 2002-06-28 2018-02-06 Microsoft Technology Licensing, Llc Identity-based distributed computing for device resources
US7138575B2 (en) * 2002-07-29 2006-11-21 Accentus Llc System and method for musical sonification of data
US7054818B2 (en) * 2003-01-14 2006-05-30 V-Enablo, Inc. Multi-modal information retrieval system
US9165478B2 (en) 2003-04-18 2015-10-20 International Business Machines Corporation System and method to enable blind people to have access to information printed on a physical document
US7135635B2 (en) * 2003-05-28 2006-11-14 Accentus, Llc System and method for musical sonification of data parameters in a data stream
JP4891072B2 (ja) * 2003-06-06 2012-03-07 ザ・トラスティーズ・オブ・コロンビア・ユニバーシティ・イン・ザ・シティ・オブ・ニューヨーク ウェブ・ページを音声付勢するためのシステム及び方法
JP3944146B2 (ja) * 2003-10-01 2007-07-11 キヤノン株式会社 無線通信装置及び方法、並びにプログラム
US20050125236A1 (en) * 2003-12-08 2005-06-09 International Business Machines Corporation Automatic capture of intonation cues in audio segments for speech applications
US20070282607A1 (en) * 2004-04-28 2007-12-06 Otodio Limited System For Distributing A Text Document
US8707317B2 (en) * 2004-04-30 2014-04-22 Microsoft Corporation Reserving a fixed amount of hardware resources of a multimedia console for system application and controlling the unreserved resources by the multimedia application
US9083798B2 (en) * 2004-12-22 2015-07-14 Nuance Communications, Inc. Enabling voice selection of user preferences
JP4743686B2 (ja) * 2005-01-19 2011-08-10 京セラ株式会社 携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラム
US7496612B2 (en) * 2005-07-25 2009-02-24 Microsoft Corporation Prevention of data corruption caused by XML normalization
US9087507B2 (en) * 2006-09-15 2015-07-21 Yahoo! Inc. Aural skimming and scrolling
CN101295504B (zh) * 2007-04-28 2013-03-27 诺基亚公司 用于仅文本的应用的娱乐音频
US20090157407A1 (en) * 2007-12-12 2009-06-18 Nokia Corporation Methods, Apparatuses, and Computer Program Products for Semantic Media Conversion From Source Files to Audio/Video Files
US8484028B2 (en) * 2008-10-24 2013-07-09 Fuji Xerox Co., Ltd. Systems and methods for document navigation with a text-to-speech engine
US8841535B2 (en) 2008-12-30 2014-09-23 Karen Collins Method and system for visual representation of sound
US8247677B2 (en) 2010-06-17 2012-08-21 Ludwig Lester F Multi-channel data sonification system with partitioned timbre spaces and modulation techniques
US9064009B2 (en) * 2012-03-28 2015-06-23 Hewlett-Packard Development Company, L.P. Attribute cloud
US9755764B2 (en) * 2015-06-24 2017-09-05 Google Inc. Communicating data with audible harmonies
US10121249B2 (en) 2016-04-01 2018-11-06 Baja Education, Inc. Enhanced visualization of areas of interest in image data
CN107863093B (zh) * 2017-11-03 2022-01-07 得理电子(上海)有限公司 发音管理方法、装置、电子乐器及存储介质
CN112397104B (zh) * 2020-11-26 2022-03-29 北京字节跳动网络技术有限公司 音频与文本的同步方法、装置、可读介质和电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3220560B2 (ja) * 1992-05-26 2001-10-22 シャープ株式会社 機械翻訳装置
US5371854A (en) * 1992-09-18 1994-12-06 Clarity Sonification system using auditory beacons as references for comparison and orientation in data
US5594809A (en) * 1995-04-28 1997-01-14 Xerox Corporation Automatic training of character templates using a text line image, a text line transcription and a line image source model
US5748186A (en) * 1995-10-02 1998-05-05 Digital Equipment Corporation Multimodal information presentation system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005208421A (ja) * 2004-01-23 2005-08-04 Aisin Aw Co Ltd 文章読み上げシステム及び方法
JP4539097B2 (ja) * 2004-01-23 2010-09-08 アイシン・エィ・ダブリュ株式会社 文章読み上げシステム及び方法

Also Published As

Publication number Publication date
AU1362199A (en) 1999-05-10
EP1027699A4 (en) 2001-02-07
CN1283297A (zh) 2001-02-07
BR9815257A (pt) 2000-10-17
EP1038292A4 (en) 2001-02-07
EP1038292A1 (en) 2000-09-27
ATE220473T1 (de) 2002-07-15
DE69806492D1 (de) 2002-08-14
EP1027699A1 (en) 2000-08-16
AU1191899A (en) 1999-05-10
US20020002458A1 (en) 2002-01-03
WO1999021169A1 (en) 1999-04-29
BR9815258A (pt) 2000-10-10
JP2001521233A (ja) 2001-11-06
WO1999021170A1 (en) 1999-04-29
CN1279804A (zh) 2001-01-10
JP2001521194A (ja) 2001-11-06
EP1023717B1 (en) 2002-07-10
EP1023717A1 (en) 2000-08-02
WO1999021166A1 (en) 1999-04-29
US6088675A (en) 2000-07-11
BR9814102A (pt) 2000-10-03
AU1362099A (en) 1999-05-10
CN1279805A (zh) 2001-01-10

Similar Documents

Publication Publication Date Title
JP2001521195A (ja) Ｓｇｍｌデータのページを聴覚的に表すシステム及び方法
US6085161A (en) System and method for auditorially representing pages of HTML data
US5899975A (en) Style sheets for speech-based presentation of web pages
JP4769407B2 (ja) マルチモーダル・コンテンツ・レンダラで音響プレゼンテーションと視覚プレゼンテーションを同期させる方法およびシステム
US5748186A (en) Multimodal information presentation system
US8572209B2 (en) Methods and systems for authoring of mixed-initiative multi-modal interactions and related browsing mechanisms
US8849895B2 (en) Associating user selected content management directives with user selected ratings
US9092542B2 (en) Podcasting content associated with a user account
US5983184A (en) Hyper text control through voice synthesis
US5850629A (en) User interface controller for text-to-speech synthesizer
JP2007242013A (ja) コンテンツ管理指示を呼び出すための方法、システム、およびプログラム（コンテンツ管理指示の呼び出し）
US20110029876A1 (en) Clickless navigation toolbar for clickless text-to-speech enabled browser
WO1999048088A1 (en) Voice controlled web browser
US20040153323A1 (en) Method and system for voice activating web pages
US20070100629A1 (en) Porting synthesized email data to audio files
KR20000028832A (ko) 대화형 음성 응답 애플리케이션 구현 장치 및 방법, 머신판독가능 매체 및 대화형 음성 응답 시스템
EP1119842A1 (en) Method and apparatus for displaying information
JPH10207685A (ja) ハイパーリンク化された情報との音声化されたインターフェースのためのシステムおよび方法
EP1371057A1 (en) Method for enabling the voice interaction with a web page
US20070100631A1 (en) Producing an audio appointment book
EP1073036B1 (en) Parsing of downloaded documents for a speech synthesis enabled browser
Pargellis et al. An automatic dialogue generation platform for personalized dialogue applications
JP2009086597A (ja) テキスト音声変換サービスシステム及び方法
JP2002312157A (ja) 音声ガイダンスモニタソフトウェア
JP2001255881A (ja) 自動音声認識／合成ブラウザシステム