JPH07104959A - マルチメディア情報付加システム - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、文字列情報にマルチメディア情報
を付加して表示可能なマルチメディア情報付加システム
に関し、既存の文字列情報表示システムにより所定の文
字列が表示されるとそれを検出して自動的にメディア情
報を表示し、さらに複数のメディア情報を同時にしかも
レイアウトされた状態で表示するマルチメディア情報付
加システムを目的とする。 【構成】 表示装置５において所定情報が文字表示シス
テム４によって表示されたことを検出する画面監視部６
と、画面監視情報とマルチメディア情報を格納する定義
情報部２と、前記所定情報に対応するマルチメディア情
報を前記定義情報部２から出力するマルチメディア情報
出力手段７，８とより成るように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文字や数字などの情報
（以下、これらを総称して文字列情報という）に、静止
画、動画、音声などのマルチメディア情報を付加して表
示可能なマルチメディア情報付加システムに関する。

【０００２】

【従来の技術】コンピュータシステムにおける表示画面
上の表示情報としては、文字や数字などの文字列情報が
基本的な表示情報として用いられている。例えば、前述
したコンピュータシステムはデータベースシステムであ
り、目的を項目例えば検索キーを入力することにより、
必要とする文字情報を出力している。

【０００３】また、最近ではハードウエアの高性能化、
低価格化などにより、文字列情報に、静止画、動画、音
声、テキストなどのマルチメディア情報を付加して表示
することが可能となってきており、様々な分野での利用
が期待されている。

【０００４】

【発明が解決しようとする課題】しかしながら、従来で
は、マルチメディア情報を扱えるのは一部のパソコンや
専用端末のみであり、ホストコンピュータを利用した業
務システム等への適用は、未だ導入が進んでいないのが
実情である。

【０００５】このように業務システム等への導入が進ま
ない問題点としては、既存の業務システムは文字列情報
主体に処理が展開されているため、マルチメディア化を
行うには、システムそのものの大幅な改造が必要とな
り、また、改造に伴い通信手段などのシステム構成も変
更しなければならず、また、既存の文字や数字情報主体
のシステムをそのままマルチメディア化しようとする
と、各メディア情報に対応してこれらのメディア情報を
表示するための各メディア情報毎のプログラムが必要と
なり、また、各メディア情報の表示のためにオペレータ
操作が必要となることから、操作性の点で問題が生じて
くる。さらに、複数のメディア情報を表示する場合、表
示メディア数の増加に伴い、その分だけオペレータ操作
も増加するため操作性の低下を招き、また、表示位置に
規則性がないため表示画面上が煩雑化する欠点があっ
た。

【０００６】本発明は、既存の文字列情報を表示するシ
ステムを変更することなく、これに単に付加することに
よりマルチメディア情報を出力するマルチメディア情報
付加システムを目的とする。より具体的には本発明は既
存の文字列情報表示システムにより所定の文字列が表示
されるとそれを検出して自動的にメディア情報を表示
し、さらに複数のメディア情報を同時にしかもレイアウ
トされた状態で表示するマルチメディア情報付加システ
ムを目的とする。

【０００７】

【課題を解決するための手段】図１は本発明の原理ブロ
ック図である。本発明は文字列情報を表示装置５に表示
する既存の文字表示システムを変更することなく、これ
に単に付加して用いることによりマルチメディア情報を
出力するマルチメディア情報付加システムを提供する。

【０００８】定義情報部２は表示装置５があらかじめ設
定されている位置に予め設定された文字列を表示するか
を検出するための定義画面情報とその文字列に係るメデ
ィア情報に関する情報を記憶する。例えば、前記定義情
報部２が記憶するメディア情報に関する情報は、表示に
使用されるレイアウト情報と、表示すべきメディアの実
情報とより成る。

【０００９】制御部３は、前記定義画面情報で指示され
た位置に指示された文字が表示されたことを検出し、当
該表示文字列に関するメディア情報を前記表示装置５に
表示する。

【００１０】前記制御部３は、前記定義画面情報で指示
された位置に指示された文字が表示されたことを検出す
る画面監視部６と、前記画面監視部６の検出結果が加わ
り、当該定義画面情報に関する情報を定義情報部２より
読み出すメディア表示情報制御部８と、該メディア表示
情報制御部８より読み出された前記情報を前記表示装置
５に出力して表示するメディア表示制御部７とより成
る。

【００１１】

【作用】まず、文字列情報を選択的に文字表示システム
４より出力して表示装置５に表示する既存のタスクが実
行される。この既存のタスクと異なるタスクにより、制
御部３内の画面監視部６は前記定義画面情報で指示され
た表示装置５の位置に指示された文字列が存在するかを
検出し、メディア表示情報制御部８は前記定義画面情報
に関するマルチメディア情報を前記定義情報部２より読
み出し、メディア表示制御部７はその情報を表示する。

【００１２】本発明によるマルチメディア情報付加シス
テムによって表示されるマルチメディア情報は文字表示
システム４より表示される情報に自動的に付加されるの
でマルチメディア情報を表示するためのオペレータの操
作を全く必要としない。さらに、既存の文字表示システ
ムを変更することなくマルチメディア情報を表示できる
ので既存の文字表示システムを簡単にマルチメディア化
可能である。

【００１３】

【実施例】以下図面を用いて本発明を詳細に説明する。
図２は本発明の原理を説明する構成図であり、情報生成
部１０、この情報生成部１０で生成される定義情報部２
０、この定義情報部２０の定義情報を用いてメディア情
報を表示制御する制御部３０を本発明の主な構成要素と
し、この他に既存の文字表示システム４０、表示装置５
０などが設けられている。

【００１４】上記情報生成部１０は、画面情報生成部１
１、レイアウト情報生成部１２、メディア情報生成部１
３の３つのコンポーネントで構成され、メディア表示を
実現するための環境設定（前準備）を行うものである。
上記３つのコンポーネントは、環境設定時にオペレータ
（環境設定者）により指定された情報を基に各種定義情
報を生成するもので、以下に各コンポーネントの処理に
ついてを説明する。

【００１５】まず、画面情報生成部１１は、既存の文字
表示システム４０の保有する各画面毎の文字列抽出位置
を対話的に定義・生成するための処理部である。この画
面情報生成部１１では、図３に示すように、画面ＩＤ
（Identifire) フィールド情報、文字列抽出フィールド
情報が環境設定時におけるオペレータの入力情報を基に
生成される。

【００１６】上記画面ＩＤフィールド情報は、画面の切
り替わりを判断するためのフィールド位置を示す情報で
あり、このフィールドに存在する文字列を画面ＩＤとし
て扱う。また、文字列抽出フィールド情報は、メディア
表示を行う対象となる文字列（以下、メディア表示対象
文字列という）を抽出する位置を示す情報であり、この
文字列を抽出する位置を示す情報（文字列抽出位置情
報）は上記画面ＩＤ毎に生成・管理するため、必要な画
面数分の定義が可能となっている。

【００１７】次に、レイアウト情報生成部１２は、表示
すべきメディアの種類や表示形態などメディア表示に関
する雛形を対話的に定義・生成するための処理部であ
る。このレイアウト情報生成部１２では、図４に示すよ
うに、各レイアウト毎にそのレイアウトＩＤが定義され
る。

【００１８】上記各レイアウトＩＤで指定されるレイア
ウト毎に、既存の文字表示のウインドウ（window) に対
するフレーム（メディア情報を表示するための枠）位置
とそのサイズ、さらにこのレイアウトＩＤで指定される
レイアウトに対応したメディアの表示形態に関する情報
が環境設定時におけるオペレータの入力情報を基に生成
される。

【００１９】上記メディアの表示形態に関する情報とし
ては、上記フレーム内に表示するメディアの種類、その
表示位置やサイズなどがあり、それぞれメディアＩＤを
割り付けて管理する。上記メディアの種類は、静止画、
動画（ディジタル動画、アナログ動画）、音声、テキス
トなどである。このレイアウト情報生成部１２では、メ
ディア情報としては、上記したようにメディア情報の表
示形態に関する情報、つまりメディア情報を表示するた
めの雛形が生成されるもので、メディア情報の実情報、
次に説明するメディア情報生成部１３にて生成される。
なお、上記フレームは上記したようにメディア情報を表
示するための枠であり、各メディア情報はこの枠内に表
示される。また、このフレームの表示位置およびサイズ
は既存の文字表示のウインドウ位置との関係を自由に設
定できる。

【００２０】メディア情報生成部１３は、図５に示すよ
うに、メディア表示対象文字列毎に、上記レイアウト情
報生成部１２にて生成された複数のレイアウトのうち、
どのレイアウトを使用するかを決定する使用レイアウト
情報とこの使用レイアウト内に表示するメディア実情報
を対話的に定義・生成するための処理部である。

【００２１】上記メディア実情報は、上記フレーム内に
表示されるメディアの実際の情報であり、選択されたレ
イアウト内で使用されるメディアの種類のデータファイ
ル名などを、上記表示すべきフレーム内で定義されてい
るメディアＩＤに割り付けて定義されている。

【００２２】以上が図２における情報生成部１０と各定
義情報についての説明であり、次に、制御部３０につい
て説明する。この制御部３０は、画面監視部３１、メデ
ィア表示情報制御部３２、メディア表示制御部３３の３
つのコンポーネントで構成され、上記情報生成部１０に
より生成された各定義情報をもとに、既存の文字表示シ
ステム４０上の文字列を抽出して、マルチメディア情報
を表示する処理を行うものである。

【００２３】上記画面監視部３１は、画面情報生成部１
１により定義された定義画面情報を基に、表示画面上の
画面フィールド情報と文字列抽出フィールド情報を一定
間隔でチェックし続け、画面の切り替わりとメディア表
示対象文字列の変化を監視する処理部である。そして、
画面フィールド情報と文字列抽出フィールド情報の値に
変化がない場合には、そのまま監視を続け、オペレータ
入力などにより、画面が切り替わって画面フィールド情
報や文字列抽出フィールド情報の値に変化が生じたとき
には、メディア表示対象文字列を抽出してメディア表示
情報制御部３２に制御を渡す。

【００２４】このメディア表示情報制御部３２は、上記
画面監視部３１より受け渡されたメディア表示対象文字
列から、メディア表示に必要な情報を取り出すための処
理部である。その処理動作としては、まず、当該メディ
ア表示対象文字列に対応するメディア情報を定義メディ
ア情報２３から取り出したのち、この取り出したメディ
ア情報内に定義されているレイアウト情報を、定義レイ
アウト情報２２の中から取り出す。そして、これらの定
義情報をメディア表示制御部３３に渡す。

【００２５】このメディア表示制御部３３は、上記メデ
ィア表示情報制御部３２から受け渡された情報を解析
し、表示装置５０内にメディア情報を表示する処理を行
う処理部である。また、現在の画面状態の管理も行い、
旧画面内の文字列に対応するメディア情報表示が行われ
ている場合には、一端、その旧画面内の文字列に対応す
るメディア情報を画面より消去した後、新しいメディア
表示対象文字列に対応するメディア情報（新メディア情
報）を表示する。

【００２６】なお、図２において、表示装置５０の表示
部５１はメディア表示対象文字列を示し、また、表示部
５２はこのメディア表示対象文字列に対するメディア情
報表示部を示している。また、同図において、データの
流れを示す矢印は点線、太線、細線で描かれているが、
点線で示す矢印は文字情報の流れを示し、太い実線で示
す矢印はメディア表示情報の流れを示し、細い実線で示
す矢印は画面制御情報の流れを示している。

【００２７】このように本発明では、環境設定時にオペ
レータにより指定された情報を基に、情報生成部１０に
て前記したような各種定義情報、すなわち、定義画面情
報、定義レイアウト情報、定義メディア情報が生成さ
れ、この情報生成部１０で生成された各種定義情報を基
に、制御部３０によって、表示装置５０上にメディア表
示対象文字列に対してこの文字列に対応するマルチメデ
ィア情報を表示する。図６は主に制御部３０の処理の流
れを示す図であるが、この図を用いて情報生成部１０に
て定義画面情報、定義レイアウト情報、定義メディア情
報が生成された後のメディア情報変換の処理動作を説明
する。

【００２８】制御部３０の画面監視部３１では表示画面
のあらかじめ定義された所定の位置を一定間隔で監視し
続ける。このとき、現時点においては、既存の文字表示
システム４０上の表示装置５０には画面Ａが表示されて
いるものとする。この画面Ａには文字列情報表示ｗ１が
なされ、またこの場合、「ＸＸＸＸ」のメディア表示対
象文字列に対応したメディア情報ＸＭが表示されてい
る。

【００２９】このような状態で、画面情報生成部１１に
てあらかじめ定義された画面の切り替わりを判断するた
めの画面ＩＤフィールド情報とメディア表示対象文字列
の文字列抽出フィールド情報を、画面監視部３１が一定
間隔で監視し続けている。上記画面ＩＤフィールド情報
および文字列抽出フィールド情報を取り出す画面上の位
置は、既存文字表示システムの表示画面上において画面
の切り替わりおよび文字列抽出フィールド情報を適格に
判断できる位置をあらかじめ設定しておく。具体的に
は、それぞれの位置の座標をあらかじめ設定しておき、
その座標上の情報の変化を監視する。

【００３０】そして、画面監視部３１が画面ＩＤフィー
ルド情報の変化（画面ＩＤの変化）を検出すると、表示
画面が画面Ｂに切り替わったと判断する。この場合、画
面が切り替わることにより、表示すべきメディアの内容
も変わるので、メディア表示対象文字列も切り替わり、
メディア表示対象文字列がたとえば「ＹＹＹＹ」であっ
たとすると、まず、新たな画面上のメディア表示対象文
字列の位置情報を取得して、そのメディア表示対象文字
列「ＹＹＹＹ」を抽出して、処理をメディア表示情報制
御部３２に渡す。なお、画面ＩＤフィールド情報が変化
なく画面が切り替わらなくても、メディア表示対象文字
列のみが変化する場合、つまり、画面ＩＤは同一であっ
てもデータの内容が変化するような場合もある。この場
合は、変更有りと判断したのち、直接、新たなメディア
表示対象文字列を抽出して、処理をメディア表示情報制
御部３２に渡す。

【００３１】メディア表示情報制御部３２では、上記画
面監視部３１から渡されたメディア表示対象文字列（こ
の場合は「ＹＹＹＹ」）に対応するメディア情報を、メ
ディア情報生成部１３で生成された定義情報より検索・
抽出する。すなわち、画面監視部３１によりメディア表
示対象文字列「ＹＹＹＹ」を抽出すると、例えば、この
文字列「ＹＹＹＹ」をメディア表示対象文字列のテーブ
ルと比較して、このテーブルより「ＹＹＹＹ」に対応し
たメディア情報のアドレスへのポインタを引き出す。具
体的には、メディア情報内に定義されている当該メディ
ア表示対象文字列に対応する使用レイアウトＩＤを取り
出すとともに、そのレイアウト内に表示されるメディア
情報（実情報）を対応するデータファイル等から取り出
す。動画などはビデオやＣＤのフレームを意識してこれ
から取り出す。そして、上記使用レイアウトＩＤを基に
レイアウト情報生成部１２で生成された定義情報からそ
のレイアウトのフレーム位置、サイズやメディア情報の
表示形態を取り出す。このように取り出されたメディア
情報とレイアウト情報は、メディア表示制御部３３に渡
される。

【００３２】メディア表示制御部３３では、上記メディ
ア情報とレイアウト情報を解析し、表示装置５０上に新
たなメディア情報（この場合は、メディア表示対象文字
列「ＹＹＹＹ」に対応するメディア情報）ＹＭを表示す
る。このとき、表示装置５０上において、旧メディア表
示対象文字列「ＸＸＸＸ」に対応するメディア表示が行
われている場合は、そのメディア表示を表示装置５０上
から消去した後、新たなメディア表示対象文字列「ＹＹ
ＹＹ」に対応するメディア情報を表示する。

【００３３】このように本発明では、既存の文字表示シ
ステムを変更することなくマルチメディアデータを表示
することができ、また、文字表示を行うとき、その文字
表示の内容に対応するマルチメディアデータを自動的に
表示することができ、さらに、複数のメディアを同時
に、しかもレイアウトされた状態で表示することができ
る。

【００３４】前述した本発明の実施例においては、既存
の文字表示システム４０より出力され表示装置５０で表
示される文字画像の情報を検出しているが、この検出
は、例えば以下のようになされる。

【００３５】文字表示システム４０より出力される表示
装置５０に入力された文字情報とその表示位置すなわち
文字コードと現在のカーソル位置を画面監視部３１が常
に監視し、目的の位置に目的のコードが表示されるよう
に加わった時、目的の文字画像が表示されたと検出す
る。

【００３６】文字情報の監視の仕方としては、文字列情
報Ｗ１はマルチウィンドウ機能を有するマルチウィンド
ウシステムにおいて、メディア表示の対象とする文字表
示システムのウィンドウ５０１に表示されているので、
このウィンドウ５０１をウィンドウハンドル（ウィンド
ウシステム内でのユニーク値、すなわち例えばデータベ
ースの検索結果が表示されるべきウィンドウを指示する
値）を基にメディア情報ＸＹが表示されるウィンドウ５
０２の制御の実行により、チェックし続けることにより
行う。あるいは、文字情報の監視は、文字表示システム
を本発明のマルチメディア情報付加システムから例えば
インターバルタイマの割り込み起動で行ってもよい。

【００３７】なお、前述した本発明の実施例においては
既存の文字表示システム４０と異なったシステムを設け
て構成しているが、既存の文字表示システム４０と同一
システムを用いて前述した画面監視部３１の機能を発生
させるため、文字表示システム内の文字コード等を出力
するソフトドライバに目的の文字コードとその位置を検
出する処理を付加し、該当するコードを検出した時に他
のメディアの情報を表示するプロセスを駆動するように
してもよい。尚、情報生成部等は他の処理が実行されて
いない時にバッチ処理で行う。

【００３８】図７は本発明の実施例の業務システムの構
成図であり、ここでは中古車検索システムに本発明を適
用した例を説明する。同図において、ホストシステム４
１に接続されたパソコンシステム４２は、端末エミュレ
ータ４２１、ウィンドウシステム４２２、表示装置５０
と本発明のマルチメディア情報付加システム４２３で構
成されている。

【００３９】このようなシステムにおいて、前述したよ
うに、環境設定時におけるオペレータ（環境設定者）の
入力情報を基に、情報生成部１０が定義画面情報、定義
レイアウト情報、定義メディア情報を生成して環境設定
を行う。

【００４０】以下、この環境設定動作を図８を参照しな
がら説明する。まず、画面情報生成部１１が環境設定時
におけるオペレータ入力により、画面ＩＤフィールド情
報、メディア表示対象文字列フィールド情報の定義情報
を生成する。たとえば、画面ＩＤフィールド情報は、画
面上の座標（１．１）〜（１．１０）の位置であり、そ
のときのメディア表示対象文字列フィールド情報の抽出
位置は（５．５）〜（５．１５）の位置であるというよ
うなことが定義される。たとえば、「検索結果」という
文字列が画面ＩＤの一つであるとすれば、（１．１）〜
（１．１０）の位置に存在する文字列が「検索結果」と
なったときのメディア表示対象文字列フィールド情報の
抽出位置は（５．５）〜（５．１５）の位置であるとい
うことが定義される。

【００４１】次に、レイアウト情報生成部１２が環境設
定時におけるオペレータ入力により、レイアウトに関す
る情報、メディアの表示形態などの定義情報を生成す
る。たとえば、レイアウトＩＤを「レイアウトＡ」と定
義し、そのフレーム情報として、フレームの表示位置を
アプリケーション画面の相対位置で（１００．１０
０）、フレームの表示サイズ（縦方向の長さ、横方向の
長さ）を（１００．１００）などと定義するとともに、
メデイア情報の表示形態を示す情報を定義する。たとえ
ば、メディアＩＤとして、メディアＸ、メディアＹ、メ
ディアＺを定義し、メディアＸは静止画で、その表示位
置は（０．０）、表示サイズは（５０．５０）、メディ
アＹは静止画で、その表示位置は（０．５０）、表示サ
イズは（５０．５０）、メディアＺはテキストで、その
表示位置は（５０．０）、表示サイズは（５０．１０
０）というような表示形態についての定義を行う。

【００４２】次に、メディア情報生成部１３が環境設定
時におけるオペレータ入力により、上記メディア表示対
象文字列、使用レイアウトＩＤ、上記メディアＸ、メデ
ィアＹ、メディアＺを具体的な実情報の定義情報を生成
する。たとえば、メディア表示対象文字列は当該中古車
の型番「ｄｄｄ」、使用レイアウトＩＤは「レイアウト
Ａ」、また、上記メディアＸ、メディアＹ、メディアＺ
に対しては、メディアＸは当該中古車の外観の実情報
（ファイル名としてたとえば、外観ｄｄｄ．ＴＩＦ）、
メディアＹは当該中古車の車検証の実情報（ファイル名
としてたとえば、車検証ｄｄｄ．ＴＩＦ）、メディアＸ
は当該中古車に関するメモの実情報（ファイル名として
たとえば、メモｄｄｄ．ＴＸＴ）というように定義され
る。

【００４３】これらの定義は、具体的には図９のように
して行う。同図(a) は画面情報を定義する場合の表示画
面内容の一例である。まず、表示画面を画面情報生成に
設定するとそれぞれの定義内容を書き込む欄が表示され
る。「画面ＩＤフィールド」の欄には、上記したような
座標値として、たとえば「１．１〜１．１０」を書き込
み、「画面ＩＤ」の欄には「検索結果」を書き込み、
「メディア表示対象文字列フィールド」の欄には、その
座標値として「５．５〜５．１５」を書き込んでいく。
そして、図示されてない次ボタンを押すと、画面ＩＤ、
メディア表示対象文字列フィールドの新たな設定欄が表
示され、上記同様の方法で次の内容を定義して行く。な
お、画面ＩＤフィールドは１つの文字表示システムにつ
いて１つのみ定義される。１つの文字表示システムの画
面には複数の文字列フィールドを定義可能である。そし
て、文字列フィールドには、オペレータが所定文字列を
キー入力してもよい。

【００４４】図９(b) はレイアウト情報を定義する場合
の表示画面内容の一例である。まず、表示画面をレイア
ウト情報生成に設定するとそれぞれの定義内容を書き込
む欄が表示される。また、メディア名の欄にはメディア
Ｘなどというようなメディア種を識別するための名称と
実際のメディア種（例えば、静止画，テキスト等）を書
き込み、その「表示位置」、「表示サイズ」の欄にはそ
れぞれの値を書き込んでメディア表示形態を定義する。
さらにメディアＹ、メディアＺなどについての表示形態
の書き込みを行うには、上記同様、図示しない次ボタン
を押すと、レイアウト情報を定義する新たな表示画面が
表示され、メディアＹ、メディアＺなどについての表示
形態の書き込みを行う。

【００４５】図９(c) はメディア実情報を定義する場合
の表示画面内容の一例である。まず、表示画面をメディ
ア実情報生成に設定するとそれぞれの定義内容を書き込
む欄が表示される。「メディア表示対象文字列」の欄に
は、たとえば型番として「ｄｄｄ」が書き込まれ、「使
用レイアウト」の欄には、たとえば「レイアウトＡ」、
「レイアウトＢ」、「レイアウトＣ」・・・というよう
にレイアウト名の一覧が格納されていて、それを読み出
し操作すると、レイアウト名の一覧が表示されて、その
なかからたとえば「レイアウトＡ」を選択する。「メデ
ィアＸ」の欄には、その実情報が格納されているファイ
ル名として、たとえば「外観ｄｄｄ．ＴＩＦ」を書き込
む。さらに次のメディア情報を設定する場合は、上記同
様、図示しない次ボタンを押すと、メディア実情報を定
義する新たな表示画面内容が表示され、メディアＹ、メ
ディアＺなどの実情報を上記同様の方法で書き込みを行
う。

【００４６】以上のようにして各種定義情報が生成さ
れ、前準備すなわち環境設定が終了する。このような環
境設定のあと、実際の運用時における処理を図２で示し
たシステム構成図、実運用時における制御部３０の処理
を説明する図１０、さらにこの実施例による運用中の表
示画面を示す図１１(a),(b),(c) を参照しながら説明す
る。

【００４７】図１０で示す制御部３０の処理は前記図６
を用いて説明した処理と基本的には同じである。まず、
マルチウィンドウシステムにおいて、既存の文字表示シ
ステム４０上の表示装置５０の第１のウィンドウ５０１
には、図１１(a) で示すような文字列が表示されている
ものとする。そして、上記画面監視部３１は画面情報生
成部１１で定義された画面情報を参照し、この場合、
（１．１）〜（１．１０）座標で示される画面ＩＤフィ
ールドの文字列（この例では、図１１(a) の「検索シス
テム」の文字列）を監視し続ける。

【００４８】そして今、オペレータ入力に伴い、図１１
(a) の第１のウィンドウ５０１の表示画面が同図(b) の
ように切り替わったとすると、上記（１．１）〜（１．
１０）座標で示される画面ＩＤフィールドの文字列「検
索システム」が「検索結果」となる。このため、画面監
視部３１が画面ＩＤフィールド情報の変化（画面ＩＤの
変化）を検出し、画面が切り替わったと判断する。この
場合、画面が切り替わることにより、メディア表示対象
文字列も変わるので、表示すべきメディアの内容も切り
替わる。「検索結果」のメディア表示対象文字列がたと
えば「ｄｄｄ」であったとすると、まず、新たな画面上
のメディア表示対象文字列の位置情報を取得（この場
合、（５．５）〜（５．１５）と定義されている）し
て、そのフィールド内のメディア表示対象文字列「ｄｄ
ｄ」を抽出して、処理をメディア表示情報制御部３２に
渡す。

【００４９】メディア表示情報制御部３２では、上記画
面監視部３１から渡されたメディア表示対象文字列（こ
の場合は「ｄｄｄ」）に対応するメディア情報を、メデ
ィア情報生成部１３で生成された定義情報より検索・抽
出する。具体的には、メディア情報内に定義されている
当該メディア表示対象文字列に対応する使用レイアウト
名としてレイアウトＡを取り出すとともに、メディア
Ｘ，Ｙ，Ｚの実情報を対応するデータファイルから取り
出す。このときの、メディアＸ，Ｙ，Ｚの具体的な情報
としては、前記したように、メディアＸは外観ｄｄｄ．
ＴＩＦ、メディアＹは車検証ｄｄｄ．ＴＩＦ、メディア
Ｘはメモｄｄｄ．ＴＸＴというような情報が取得され
る。そして、上記使用レイアウトＩＤを基にレイアウト
情報生成部１２で生成された定義情報からそのレイアウ
トのフレーム位置（１００．１００）、サイズ（１０
０．１００）やメディアＸ，Ｙ，Ｚの表示形態を取り出
す。すなわち、この場合、前記したように、レイアウト
のフレーム位置は（１００．１００）、サイズは（１０
０．１００）、メディアＸの表示位置は（０．０）、表
示サイズは（５０．５０）、メディアＹの表示位置は
（０．５０）、表示サイズは（５０．５０）、メディア
Ｚの表示位置は（５０．０）、表示サイズは（５０．１
００）というようなレイアウト情報が取得される。

【００５０】このように取り出されたメディア情報とレ
イアウト情報は、メディア表示制御部３３に渡される。
メディア表示制御部３３では、上記メディア情報とレイ
アウト情報を解析し、図１１(c) に示すように、表示装
置５０上に新たなメディア情報（この場合は、メディア
表示対象文字列「ｄｄｄ」に対応するメディア情報）Ｍ
を第１のウィンドウ５０１とは異なる第２のウィンドウ
５０２に表示する。この図１１(c) に示すメディア情報
Ｍにおいて、表示部Ｍ１はメディアＸに対応し、当該中
古車の外観、表示部Ｍ２はメディアＹに対応し、当該中
古車の車検証、表示部Ｍ３はメディアＺに対応し、当該
中古車に関する内容説明用のメモがメディア情報として
表示されている。

【００５１】このように、メディア表示対象文字列「ｄ
ｄｄ」に対応するメディア情報が図９(b) 及び図９(c)
に示すように指定されたレイアウトで表示される。以上
の説明において、マルチウィンドウシステムにおける既
存の文字表示システムで実行される第１のウィンドウを
制御するタスクと、本発明のマルチメディア情報付加シ
ステムで実行される第１のウィンドウを監視し第２のウ
ィンドウを制御するタスクとは別のタスクである。

【００５２】図１１(a) ，(b) ，(e) において、文字表
示システムでデータベースの検索を行ったとき、その検
索結果の表示を監視してマルチメディア情報を自動的に
表示することができる。

【００５３】前述した本発明の実施例においては、メデ
ィア情報Ｍを表示する領域はメディアＸ，Ｙ，Ｚに対応
して分割しているが、これに限るものではない。例え
ば、メディアＸ，Ｙ，Ｚのそれぞれを表示する領域を共
通化し、メディア表示対象文字列「ｄｄｄ」を検出した
時に第１番目のメディア例えばメディアＸを表示する。
また、前述した従来の文字表示システム４０で割り当て
られていない鍵を前述のメディア表示の切換に割り当
て、この鍵が操作された時に順次、メディアＹ，Ｚの表
示を行う。このようにすることにより、複数のメディア
Ｘ，Ｙ，Ｚの情報を順次表示することができ、付加する
メディアから得られた情報が大きくても表示装置５０で
表示することができる。尚、このときには、メディア表
示情報制御部３２はバッファを有し、表示すべき情報を
このバッファに一時的に格納する。

【００５４】また、マルチメディア情報としては、動画
や音声を出力するようにしてもよいことは勿論である。

【００５５】

【発明の効果】本発明によれば、環境設定時におけるオ
ペレータ入力を基に、画面情報、レイアウト情報、メデ
ィア情報のそれぞれの定義情報を生成し、実運用時に
は、画面監視部が画面上のあらかじめ決められた位置の
情報の変化を監視し、その情報の変化を検出すると、上
記定義情報の内容に従ってメディア表示対象文字列を抽
出して、その文字列に対応するメディア情報、つまり使
用レイアウト名とメディアの実情報を取得し、その使用
レイアウト名から決まるフレーム位置、サイズ、メディ
アの表示形態を取得した後、メディア表示対象文字列に
対応するメディア情報を表示するようにしたので、従来
の文字を主体とした表示システムそのものに改造を加え
ることなく、簡単にマルチディア化が実現でき、また、
画面推移に従ってマルチメディア情報の表示および消去
が自動的に実施されるため、オペレータはメディア表示
操作および消去操作を何ら意識する必要がなく、操作性
に何ら影響を与えることなくマルチメディア表示が行え
る。また、本発明を検索結果を表示する帳票システムに
適用した場合には、同一帳票面であっても、帳票内の文
字（たとえば人物名など）の変化に伴って、それに対応
したメディアデータを表示することができる。さらに本
発明では、静止画、動画、音声、テキストといったさま
ざまなメディアを用い、自由なレイアウトでメディア再
生が可能なため、用途に応じて最適な形でメディア表示
を行うことができるなど種々の効果が得られる。

【図面の簡単な説明】

【図１】本発明の原理ブロック図である。

【図２】本発明の実施例のシステム構成図である。

【図３】本発明の画面情報生成部の処理を説明する図で
ある。

【図４】本発明のレイアウト情報生成部の処理を説明す
る図である。

【図５】本発明のメディア情報生成部の処理を説明する
図である。

【図６】本発明の制御部の処理を説明する図である。

【図７】本発明の実施例のシステム構成図である。

【図８】実施例における環境設定処理を説明する図であ
る。

【図９】環境設定時における表示画面の一例を説明する
図である。

【図１０】実施例における実運用時の処理を説明する図
である。

【図１１】実施例における実運用時の表示画面の推移を
説明する図である。

【符号の説明】

１ 情報生成部 ２ 定義情報 ３ 制御部 ４ 既存の文字表示システム ５ 表示画面 １１ 画面情報生成部 １２ レイアウト情報生成部 １３ メディア情報生成部 ３１ 画面監視部 ３２ メディア表示情報制御部 ３３ メディア表示制御部

Claims (19)

【特許請求の範囲】
1. 【請求項１】 表示装置（５）において所定情報が文字
   表示システム（４）によって表示されたことを検出する
   画面監視部（６）と、 画面監視情報とマルチメディア情報を格納する定義情報
   部（２）と、 前記所定情報に対応するマルチメディア情報を前記定義
   情報部（２）から出力するマルチメディア情報出力手段
   （７，８）とより成ることを特徴とするマルチメディア
   情報付加システム。
2. 【請求項２】 前記文字表示システムとは異なるシステ
   ムであって、かつ前記文字表示システムに付加可能であ
   ることを特徴とする請求項１記載のマルチメディア情報
   付加システム。
3. 【請求項３】 前記画面監視部（６）は、前記所定情報
   が表示装置（５）の所定位置に表示されたことを検出
   し、 前記マルチメディア情報出力手段（７，８）は、 前記画面監視部（６）の検出結果が加わり、前記所定情
   報に対応する情報を定義情報部（２）より読み出すメデ
   ィア表示情報制御部（８）と、 該メディア表示情報制御部（８）より読み出された情報
   を前記表示装置（５）に出力して表示するメディア表示
   制御部（７）とより成ることを特徴とする請求項２記載
   のマルチメディア情報付加システム。
4. 【請求項４】 定義情報部（２）が記憶するマルチメデ
   ィア情報に関する情報は、 表示に使用されるレイアウト情報と、表示すべきメディ
   アの実情報とより成ることを特徴とする請求項３記載の
   マルチメディア情報付加システム。
5. 【請求項５】 前記メディア表示制御部（７）は前記レ
   イアウト情報で指示されるレイアウトで前記実情報を表
   示することを特徴とする請求項４記載のマルチメディア
   情報付加システム。
6. 【請求項６】 前記画面監視部（６）は前記文字表示シ
   ステム（４）より出力される文字コードを検出すること
   を特徴とする請求項２記載のマルチメディア情報付加シ
   ステム。
7. 【請求項７】 マルチウィンドウシステムにおいて、前
   記文字表示システムによる既存のタスクの実行結果を前
   記既存のタスクと別のタスクによって検出してマルチメ
   ディア情報の出力を行う請求項１記載のマルチメディア
   情報付加システム。
8. 【請求項８】 前記文字表示システムは前記既存のタス
   クの実行によりデータベースの検索を行った検索結果が
   第１のウィンドウに表示されたことを前記既存のタスク
   と異なるタスクで検出し、マルチメディア情報を第２の
   ウィンドウに出力することを特徴とする請求項７記載の
   マルチメディア情報付加システム。
9. 【請求項９】 前記画面監視部は画面の切り替わりを判
   断するための画面フィールド情報と表示対象文字列の抽
   出位置と前記文字列とを監視することを特徴とする請求
   項２記載のマルチメディア情報付加システム。
10. 【請求項１０】 文字列に対応付けてマルチメディア情
    報を表示するマルチメディア情報付加システムにおい
    て、 文字表示システムにより表示される表示装置の画面の切
    り替わりを判断するための画面フィールド情報およびメ
    ディア表示対象文字列の抽出位置情報を、環境設定時に
    おけるオペレータ入力情報を基に定義画面情報（２１）
    として生成する画面情報生成部（１１）と、メディア情
    報を表示するためのフレーム位置とサイズおよびこのフ
    レーム内に表示するメディア情報の表示形態を、環境設
    定時におけるオペレータ入力情報を基に定義レイアウト
    情報（２２）として生成するレイアウト情報生成部（１
    ２）と、 上記メディア表示対象文字列の抽出位置情報を基に、使
    用レイアウト名および表示すべきメディアの実情報を、
    環境設定時におけるオペレータ入力情報を基に定義メデ
    ィア情報（２３）として生成するメディア情報生成部
    （１３）と、 画面を監視し、上記画面フィールド情報およびメディア
    表示対象文字列の抽出位置情報の少なくとも一方の情報
    変化を検出すると、あらかじめ定義された内容に従って
    メディア表示対象文字列を抽出する画面監視部（３１）
    と、 この画面監視部（３１）から抽出されたメディア表示対
    象文字列からその文字列に対応するレイアウトおよびメ
    ディアに関する情報を、上記定義レイアウト情報（２
    ２）および定義メディア情報（２３）から取り出すメデ
    ィア表示情報制御部（３２）と、 このメディア表示情報制御部（３２）からの情報を解析
    し、表示画面内にメディア情報を表示するメディア表示
    制御部（３３）と、 を有し、前記文字表示システムに付加可能とすることを
    特徴とするマルチメディア情報付加システム。
11. 【請求項１１】 上記画面の切り替わりを判断するため
    の画面フィールド情報およびメディア表示対象文字列の
    抽出位置情報を定義する手段は、表示画面上においてそ
    れぞれ所定範囲の座標を設定し、その座標で示されるフ
    ィールド内を画面フィールド位置、メディア表示対象文
    字列の抽出位置とすることを特徴とする請求項１０記載
    のマルチメディア情報付加システム。
12. 【請求項１２】 上記画面の切り替わりを判断する手段
    は、上記表示画面上の画面フィールド位置を示す所定範
    囲の座標内の文字列を監視して、その文字列の変化から
    画面の切り替わりを判断して行うことを特徴とする請求
    項９あるいは請求項１１記載のマルチメディア情報付加
    システム。
13. 【請求項１３】 上記メディア表示対象文字列の抽出
    は、上記表示画面上の文字列の抽出位置を示す所定範囲
    の座標内の文字列を抽出することにより行うことを特徴
    とする請求項１０あるいは請求項１１記載のマルチメデ
    ィア情報付加システム。
14. 【請求項１４】 上記フレーム位置とサイズおよびこの
    フレーム内に表示するメディア情報の表示形態を定義レ
    イアウト情報（２２）としてあらかじめ設定する手段
    は、各使用レイアウト毎に、フレームの表示位置とフレ
    ームサイズを設定し、このフレーム内に表示されるメデ
    ィア種毎のメディア情報表示形態を設定して行うことを
    特徴とする請求項１０記載のマルチメディア情報付加シ
    ステム。
15. 【請求項１５】 上記使用レイアウト情報および表示す
    べきメディアの実情報を定義メディア情報（２３）とし
    てあらかじめ設定する手段は、メディア表示対象文字列
    毎に、使用するレイアウトを設定し、このレイアウトで
    決まるフレーム内に表示すべき各メディア種毎の実デー
    タが格納されているファイル名を設定することにより行
    うことを特徴とする請求項１０記載のマルチメディア情
    報付加システム。
16. 【請求項１６】 上記メディア表示情報制御部（３２）
    は、画面監視部（３１）からメディア表示対象文字列情
    報を受けると、その文字列情報に対応して定義された使
    用レイアウトを検索し、この使用レイアウトで決まるフ
    レーム情報を取り出すとともに、このフレーム内に表示
    されるメディア種毎のメディア実情報を取り出し、さら
    にそのフレームの表示位置とサイズ、フレーム内に表示
    されるメディアの表示形態を示す情報を取り出してこれ
    らの情報を上記メディア表示制御部（３３）に出力する
    ことを特徴とする請求項１０記載のマルチメディア情報
    付加システム。
17. 【請求項１７】 マルチウィンドウシステムにおいて、
    前記文字表示システムが実行する既存のタスクと異なる
    タスクを実行することを特徴とする請求項１０記載のマ
    ルチメディア情報付加システム。
18. 【請求項１８】 前記文字表示システムは表示される第
    １のウィンドウを監視し、該第１のウィンドウに所定情
    報が表示されたとき第２のウィンドウに前記所定情報に
    対応したマルチメディア情報を出力することを特徴とす
    る請求項１７記載のマルチメディア情報付加システム。
19. 【請求項１９】 前記文字表示システム（４）はコンピ
    ュータシステムより成り、前記画面監視部（６）は前記
    コンピュータシステムより表示装置（５）に表示出力す
    るソフトドライバ内に設けられていることを特徴とする
    請求項１記載のマルチメディア情報付加システム。