JP2004094345A - Document reproducing apparatus, method and program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a document reproducing apparatus corresponding an appropriate object to a specification as a display mode without specifying or selecting unintented object when a user specifies the position of the object on a screen during reproducing the document including moving images. <P>SOLUTION: A document drawing device inquires an image drawing device drawing various data such as the moving images and character strings in which data shape region is a position specified by a position specification means such as a mouse positioned. For example, the image drawing device corresponds to an encoding system such as MPEG-4, obtains color information and shape on a drawing frame of the display object by decoding the encoded data of the moving images and specifies the data to be corresponded to a specified position by the position specifying means based thereon. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、文字、静止画、動画像など複数種のデータから構成される文書を再生可能な文書再生装置に関する。
【０００２】
【従来の技術】
近年、文字、静止画、動画像など複数のメディアからなる文書を表示し、ユーザの入力に対話的に応答する装置が開発されている。例えば、ＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｇｒａｔｉｏｎ　Ｌａｎｇｕａｇｅ）は、異なる形式の複数のデータについてそれぞれ時間を指定して再生する方法を記述する文書形式として広く採用されており、ＳＭＩＬ文書を表示するソフトウェアが開発されている。他に、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）に時間処理を追加した形式の文書を表示するものもある。これらは、異一般に「ウェブブラウザ」と称される。
【０００３】
データの表示は領域を指定して行うことができ、順序を指定して重ねあわせを行うことができる。動画像の再生においては時間の経過に従って表示が更新される。動画像が他のデータの表示に部分的に隠されている場合は、可視の部分のみ表示が更新される。またＧＩＦ形式で符号化された画像を用いて、矩形で表現される画像の表示領域の一部が透過である非矩形の図形を、静止画またはアニメーションとして表示することも行われている。
【０００４】
表示した文書に対してユーザが入力を行い、文書を表示するソフトウェアがユーザの入力に対して応答することが可能である。例えば、ＳＭＩＬ文書の表示において、特定の画像にカーソルを移動してクリックした場合、画像に関連付けられている他のＳＭＩＬ文書を表示することができる。
【０００５】
また、データの表示領域あるいはデータの関連情報が設定された領域について、境界を強調表示することにより、ユーザがどのデータに対して指示を出したのかを明示することが行われている。また、ユーザの入力操作が一定時間無い場合に、ユーザが入力を意図している座標に関連するデータおよびデータの関連情報について注釈を出すことが行われている。
【０００６】
データが表示され得る領域は、静止画の場合には復号によって一意に求まる。動画像の場合にはフレームごとに更新される。文字列の場合には文書を表示する装置が、設定されたフォントに基づいて、領域内に文字が適切に収まるように文字の配置を描画時に決定する。
【０００７】
文書に含まれる複数の動画像を同時に再生する場合に、それぞれの動画像についてフレームの更新時間は異なる可能性がある。また、一つの動画像であってもフレームの更新時間はそれぞれ異なる可能性がある。そのため、すべての動画像についてフレームが更新された場合に動画像の再描画を行なう必要がある。また、動画像の上下に他のデータの表示が重なっている場合には、重なっている部分の他のデータの表示を再描画する必要がある。
【０００８】
【発明が解決しようとする課題】
ユーザは画面を見て位置指示等の入力を行うので、表示によりユーザに認識される情報と動画像の形状情報の両者は一致している必要がある。しかしながら従来の文書再生装置には、形状が変化する動画像を適切に扱う機能を備えていない。具体的には、従来の文書再生装置はユーザが指示した座標に表示されているデータを特定する際に、動画像のフレームごとの形状を使用せず、動画像のフレームの最大表示領域を用いている。そのため、フレームの形状の外部までをも表示領域とみなし、ユーザによる指示位置に対して意図しないデータが対応付けられてしまう。その結果、ユーザが全く意図していない関連情報へのイベントが発生したり、強調表示がなされたり、注釈が表示されることがある。
【０００９】
また、文書のデータに背景色が設定されている場合、データの形状は背景色の設定を含めた領域となる。該領域は文書中で指示される他、動画像フレームの各フレームに設定された、フレームごとに異なる領域である場合がある。しかし、従来の文書再生装置では、背景色が描画されなかったり、背景色を考慮してユーザが指示した座標に表示されているデータを特定することができない。
【００１０】
また、文字列の表示においては、文字列に重なっている動画像のフレームの更新に伴って再描画される場合がある。しかし、従来の文書再生装置では、同一文字列を再描画する際に文字の配置を再び決定するための処理の負荷が大きいという問題がある。
【００１１】
また、複数の動画像を同時に再生する際に、文書再生装置の処理能力が不足するとフレームの規定表示時間以内に描画が完了しない場合がある。これにより文書再生の時間的な遅れの問題が生じることがある。すべてのフレームを更新できる十分な処理能力がある場合でも、動画像が重なっている場合には同一のフレームが繰り返し描画されることがあり、効率的でない。また、文書再生装置への処理負荷はできるだけ少なくすることが好ましい。
【００１２】
また、文書の再生においては実時間性が重視されるが、このため文書再生装置の処理能力が不足した際に、実際に表示されるべきフレームよりも前のフレームが表示されたままになることがある。この場合に従来の文書再生装置では、最後に描画され、表示されているフレームではなく、最後に復号されたフレームに対して、指定位置についての判定を行ってしまうため、ユーザが意図しない動作が行われる問題がある。
【００１３】
本発明はかかる事情を考慮してなされたものであり、動画像等を含む文書の再生中にユーザが画面上で対象物に対し位置指定した際に、意図しない対象物が指定選択されることなく表示態様の通りに適切な対象物が対応付けられる文書再生装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明に係る文書再生装置は、動画像、静止画像、音声、および文字列を含む一つ以上のデータから構成される文書を再生する文書再生装置において、前記データの描画フレームを生成し、該描画フレームを再生時間に沿って更新する画像描画手段と、前記画像描画手段により生成又は更新された描画フレームを表示領域に描画する文書描画手段と、前記表示領域内の任意の位置を指定する位置指定手段と、生成又は更新された前記描画フレームにおける表示対象物の形状を取得する形状取得手段と、前記位置指定手段により指定された位置が、前記形状の内部に含まれるか否かを判定する判定手段と、前記判定手段による判定結果に基づいて、前記位置指定手段により指定された位置に対応付けるべきデータを特定する特定手段と、を具備することを特徴とする文書再生装置である。
【００１５】
【発明の実施の形態】
以下、本発明の実施例の形態を図面を参照しながら説明する。
【００１６】
図１は本発明の一実施形態に係る文書再生装置の概略構成を示すブロック図である。同図に示すように本実施形態の文書再生装置１０は、文書解析装置１、文書描画装置２、画像描画装置３、描画指示装置４、受信装置５、時間計測装置６、および入出力処理装置１３から構成されており、キーボードやマウスなどの入力装置１１、およびＣＲＴや液晶ディスプレイなどの表示装置１２が接続されている。このような本実施形態の文書再生装置１０は、ＣＰＵおよびメモリ等の一般的なハードウェアを備えたコンピュータ上で動作するソフトウェアとして実施することができる。尚、この場合において文書再生装置１０の構成要素の一部を、処理速度向上等のために専用のハードウェアによって実現してもよい。
【００１７】
文書解析装置１は、一つ以上のデータから構成される文書の解析を行い、かかる文書の解析結果に従って適切に文書を表示再生するよう文書描画装置２に指示する。これには、例えば、文書中に予め指定されている時間（スケジュール）に従って文書を構成するデータの表示が行われるよう文書描画装置２に指示を行うことが挙げられる。文書および文書を構成するデータは、ハードディスク等の記録媒体から取得することができる他、受信装置５を介してネットワークから受信することが可能である。
【００１８】
文書描画装置２は、文書再生処理を総合的に処理する部分であり、文書解析装置１による解析結果に基づく指示に従い、文書に含まれるデータの表示および非表示の切り替え、あるいは表示領域の変更等を行う。動画像や音声など、時間軸に沿って変化するデータを扱う場合には、その再生や一時停止等の制御についてもこれを行う。なお、表示対象のデータは文書解析装置１を通じて受信する。
【００１９】
画像描画装置３は文書描画装置２からの指示により、指定された領域にデータの描画を行うものであり、例えばＭＰＥＧ（Ｍｏｔｉｏｎ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）−４など特定の符号化方式に対応する処理回路を備えた専用のハードウェアを用いて構成することができる。すなわち画像描画装置３は、符号化された動画像データを扱うことができ、これを描画する際には、先ず復号を行って動画像を構成する各フレームの色情報および形状を取得する。例えばＭＰＥＧ−４の映像ストリームには、フレーム毎に色情報および形状を符号化する機能が備えられており、これにより形状が符号化されている動画像を復号処理することで形状の原画像を取得する。
【００２０】
また、画像描画装置３は、フレームの表示スケジュールに従って映像フレーム等を更新し、その旨を文書描画装置２に通知する。また、画像描画装置３は、データの数およびメディアの種類に対応すべく複数（例えば図１の例では二つ）、備えることが可能である。また、画像描画装置３は、文字列を表示する際に、指定の領域に文字列が収まるよう文字の折り返し位置を計算し、文字列を構成する文字の配置を決定する。
【００２１】
画像描画装置３により描画処理されるデータは、文書解析装置１が文書描画装置２に送信し、これを文書描画装置２が画像描画装置３に送信することによって与えられる。また文書解析装置１および文書描画装置２は、再生するデータ自体ではなく、ＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）などで表現されるデータの取得方法を画像描画装置３に通知することにより、画像描画装置３が直接的に受信装置５から取得することも可能である。
【００２２】
描画指示装置４は、入出力処理装置１３から入力された描画要求を処理し、必要に応じて文書描画装置２に対し描画要求を転送する。描画指示装置４は本発明において必ずしも必須の構成要素ではない。例えば描画指示装置４を介さずに入出力処理装置１３から文書描画装置２に対して直接的に描画要求が通知されるようにしてもよい。
【００２３】
受信装置５は、ネットワークアダプタを構成要素とし、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ　Ｔｒａｎｓｆｅｒ　Ｐｒｏｔｏｃｏｌ）やＲＴＰ（ｒｅａｌ−ｔｉｍｅ　ｔｒａｎｓｐｏｒｔ　ｐｒｏｔｏｃｏｌ）など規定の通信手順に基づいて、ネットワークから再生対象の文書を構成するデータを受信する。
【００２４】
時間計測装置６は、タイマーによって構成される。このタイマーは、文書描画装置２によりセットされ、指定時間が経過したときタイムアウトし、その旨を文書描画装置２に通知する。
【００２５】
入出力処理装置１３は、コンピュータの技術分野において良く知られているウインドウ形式のグラフィカルユーザインターフェース（ＧＵＩ）を用いて実現することができる。入出力処理装置１３は、マウス等からなる入力装置１１からのデータを、描画指示装置４または文書描画装置２に通知する。この入力装置１１からのデータには、ユーザによりなされたクリック操作の検知データや、そのときのマウスポインタの位置データ等を含む。
【００２６】
また、入出力処理装置１３は、画像描画装置３による描画処理結果を含む文書の表示データを文書描画装置２から得て表示装置１２に出力する。表示装置１２は、これを画面に表示する。
【００２７】
以上のように構成された本実施形態の動作を説明する。
【００２８】
図２および図３は、動画像を一枚含む文書の表示例を示す図である。
【００２９】
図２は、文書表示領域全体２１の中に、動画像が表示され得る領域２２があり、その中に三角形のフレーム２３が表示されている文書を図示したものである。
【００３０】
また図３は、文書表示領域全体３１の中に、動画像が表示され得る領域３２があり、その中に三角形のフレーム３３が表示されている文書を図示したものである。フレーム領域２２および３２と、フレーム２３および３３の色情報および形状は、画像描画装置３が動画像データを復号することによって取得される。なお動画像が表示され得る領域は、フレームの形状、すなわち非透過部分に外接している必要は無く、内包していれば十分である。
【００３１】
動画像が表示され得る領域および形状は、フレーム毎に異なる場合がある。例えばＭＰＥＧ−４においては、フレームが表示され得る領域をバウンディング・ボックス（ｂｏｕｎｄｉｎｇ　ｂｏｘ）としてフレーム毎に規定することが可能である。例えば図２において、再生する動画像におけるフレームの最大表示領域を矩形２４とし、フレームのバウンディング・ボックスを矩形２２とすることが可能である。
【００３２】
図４は、動画像４２および動画像４３をともに含む文書の表示領域全体４１を図示したものである。この図のように複数の動画像が重なる場合、これら動画像の重ねあわせ方は、当該文書においてあらかじめ規定されている優先順序に基づく。この例は、動画像４２が動画像４３の上に重なって表示されるものである。図４の状態では、実線、点線、円弧（すなわち動画像４３の形状の一部）によって囲まれる領域４４には、動画像４３のフレームが表示されている。この領域は、優先順序により動画像４３よりも手前に表示されている動画像４２のフレームが表示され得る領域でもある。
【００３３】
かかる場合において従来の文書再生装置は、領域４４を動画像４２の領域とみなしている。したがって、領域４４に対してユーザが指示を出した場合、例えばマウスでカーソル４５をこの領域４４内に移動させてクリックした場合、この指示は動画像４２に対するものとして処理されることになる。
【００３４】
これに対し本発明の実施形態に係る文書再生装置１０は、かかる指示を動画像４２に対するものとせず、動画像４３に対するものとして適切に処理する。このための文書再生装置１０の処理手順を以下に説明する。画像描画装置３は、指定の座標がデータの表示形状内であるか否かを判定する機能、および表示の形状を応答する機能を備える。
【００３５】
図５は本発明の実施形態に係る文書再生装置による文書再生処理の流れを示すフローチャートである。この文書再生処理は大別して３つの処理、すなわち、文書に含まれる画像のフレームを更新するステップＳ１０と、文書に含まれる各画像を、予め規定されている位置に描画するステップＳ２０と、ユーザからマウス等により再生画面上で指示された位置が、どの画像に対するものであるかを判定するステップＳ３０とにより構成される。
【００３６】
ユーザが意図している通りに、マウス等による指示位置に対して適切な画像を対応付けるためのステップＳ３０において、文書描画装置２は、文書内の各データについて、最も手前に表示されるデータから、最も奥に表示されるデータまでを順に調べ、データが可視状態であって、かつ、指定の座標がデータの表示形状内にあるか否かを判定する。図４において、例えば文書表示領域全体４１の左上を基準点とし、この基準点からのカーソル４５の相対位置の座標を（ｘ，ｙ）とする。画像描画装置３は、この座標（ｘ，ｙ）が動画像の表示形状４２に含まれているかどうかを調べる。なお、（ｘ，ｙ）を相対座標ではなく絶対座標として処理を行ってもよい。
【００３７】
図４の例において、カーソル４５の座標（ｘ，ｙ）は、動画像４２のフレームが表示され得る領域の内部ではあるがその形状の内部ではない。よって、カーソル４５の座標（ｘ，ｙ）は動画像４２には対応付けられないものとする。
【００３８】
なお、指定座標がデータの形状に含まれているかの判定を文書描画装置２が行うよう構成してもよい。この場合、文書描画装置２は画像描画装置３からデータの形状を取得して判定を行うことになる。本実施形態では、座標（ｘ，ｙ）が形状に含まれているかどうかの判定を画像描画装置３が行うものとしている。
【００３９】
まず、座標（ｘ，ｙ）は動画像４２に含まれていないことから、文書描画装置２は座標（ｘ，ｙ）が動画像４３に含まれているかどうかを調べるよう、画像描画装置３に指示する。これに応じて画像描画装置３は、座標（ｘ，ｙ）が動画像４３の表示形状に含まれているかどうかを調べ、その結果、同動画像４３の表示形状に含まれていることを検知し、その旨を文書描画装置２に返答する。なお、動画像４３よりも奥に表示されるデータについては、調べる必要はない。
【００４０】
これにより、ユーザが動画像４３に指示を出すことを意図して、座標（ｘ，ｙ）にカーソルを移動してクリックなどの操作をした場合に、文書描画装置２は動画像４３に指示が出されたものと正しく認識して処理を行うことができる。
【００４１】
一般に動画像とは異種の表示物（オブジェクト）として扱われる文字列を表示する場合、その表示領域は動画像と同様に規定される。本実施形態では、ユーザからマウス等により再生画面上で指示された位置が、どの文字列表示領域に対するものであるかを判定し、ユーザが意図している通りに、指示位置に対して適切な文字列（表示領域）が対応付けられるようにする。すなわち、文字列の表示領域を、動画像の形状と同様に扱う。
【００４２】
画像描画装置３は、文字列の表示を行う際に、入出力処理装置１３に設定されているフォントで、文書中の指定領域に文字列を表示できるよう文字の配列を行う。入出力処理装置１３に設定されている各文字のフォントから、各文字の非透過領域、透過領域、および文字の表示サイズがそれぞれ分かる。文字列を構成する各文字の非透過領域の和集合を文字列の色情報とし、また、文字列の位置および表示サイズから計算される各文字の表示領域について和集合を取ったものを、文字列表示の形状とする。このようにして文字列の色情報と形状を定めることができる。
【００４３】
同一の文字列に対して異なる大きさの領域に表示を行った場合、例えば図６および図７に示すように、表示領域内に収まるよう文字列の各文字は配列される。文字のフォント部分以外の色は透過であり、領域１５１および領域１６１が示すように文字列の占める領域は非矩形である。
【００４４】
ここで、本実施形態では、文字の配列に関する情報を記憶しておき、同一の文字列が同一のフォントを用いて同一の大きさの領域に既に描画されている場合は、記憶されている配列情報を参照するよう構成される。これにより、文書描画装置２が文字の配列を決定する処理を軽減することができる。
【００４５】
次に、背景色が設定されたデータに対し指示が与えられたときの文書再生装置１０の処理を説明する。
【００４６】
表示可能なデータから構成される文書において、データの表示に背景色を設定することが可能である。例えば、図２に示した動画像２３に灰色の背景色ＢＧＣが設定された場合における文書描画装置２による表示は図８のようになる。また、図４に示した動画像４２に灰色の背景色ＢＧＣが設定された場合、文書描画装置２による表示は図９のようになる。
【００４７】
このとき図９の画面に対して、カーソル６４が図４の場合と同一の座標（ｘ，ｙ）に位置している状態について考える。図１０は、この状態における文書再生装置１０の処理の流れを示すフローチャートである。この処理は、文書に含まれる画像のうち、最も手前に表示される画像を判定に用いる画像として決定するステップＳ１、ステップＳ１の結果、判定に用いることのできる画像が存在するか否かを判定するステップＳ２、当該画像は可視であるか否かを判定するステップＳ４、画像に背景色が設定されているか否かを判定するステップＳ５、画像に背景色が設定されている場合に、画像が現在表示されている位置と、背景色の設定領域を取得するステップＳ６、画像に背景色が設定されていない場合に、画像が現在表示されている位置と、その画像の形状を取得するステップＳ７、および、指定された座標は画像の表示領域内にあるか否かを判定するステップＳ８を含む。ステップＳ８により、指定された座標は画像の表示領域内にあると判定された場合はその旨を応答する（ステップＳ９）。一方、ステップＳ８により、指定された座標は画像の表示領域内にないと判定された場合は、現在の判定に用いた画像よりも奥に表示される画像のうち、最も手前に表示される画像を判定に用いる画像として更新し、ステップＳ２以降のステップを再度行う。ステップＳ２において、判定に供する画像がもはや存在しないことが検知されると、指定された画像はどの画像も指していない旨、応答する（ステップＳ３）。
【００４８】
例えば図９の例の場合、文書描画装置２は、画像描画装置３に対してカーソル位置６４の座標（ｘ，ｙ）が動画像６２に含まれているかどうか調べる。座標（ｘ，ｙ）は動画像６２のフレーム形状の外であるが、動画像６２のフレームが表示されうる領域に含まれる。また、この領域は背景色によって描画されている（ステップＳ５，Ｓ８＝「はい」）。したがって、指定画像は当画像を示している旨、判定する（ステップＳ９）。動画像６２よりも奥に表示されるデータについて調べる必要はない。
【００４９】
このように、背景色が設定されているデータに対しても、ユーザが動画像６２に指示を出すことを意図し、座標（ｘ，ｙ）にカーソルを移動してクリックなどの動作をした場合に、文書再生装置１０は動画像６２に指示が出されたものと正しく認識して処理を行うことが可能である。
【００５０】
なお、図１０のフローからステップＳ５，Ｓ６，Ｓ７を除いたものは、画像への背景色の設定を考慮しない場合の処理手順として他の実施形態に適用できる。
【００５１】
また、ここでは動画像が表示されているものとして説明したが、透過領域を持つ静止画や、文字以外の表示が透過の文字列についても同様に処理を行うことができる。また透過領域を持たない表示においては、フレームが表示されうる領域とフレーム形状が常に一致するものとして扱うことができる。また文書によってデータの背景色および表示領域の両方が指定されている場合に背景色を設定する領域を文書で指定された表示領域と一致させた場合にも、背景色の描画および形状の判定を行うことができる。
【００５２】
マウス等によりユーザが位置を指示したことによってデータ（動画像や文字列領域）が特定されていることを、明示的に、例えばカーソルを用いて強調して表示することが好ましい。例えば、図１１のように、マウスポインタ７１が指定している動画像形状７２に対し、外枠形状のカーソル７３を付加する。また図１２のように、マウスポインタ８１が指す動画像形状８２をカーソル８３によって強調する場合、強調表示にも対象の表示と同一の重ね合わせ順序を適用することが好ましい。すなわち、カーソル８３の一部は、動画像形状８２と同様に、全面の動画像形状８４の背面に隠れる。
【００５３】
指示座標によって特定されるデータの表示に対して注釈を付与することも好ましい。図１３は、カーソル９１が指す動画像９２に関する注釈９３を表示した例である。なお、動画像のフレームが更新されることによりカーソルが動画像の形状外に出た場合には、これに応じて該当する動画像に対して注釈を表示する必要がある。例えば図１３の状態において動画像９２の形状が縮小し、図１４に示す動画像１０２に形状が変化したとする。この場合、カーソル９１と同一座標にあるカーソル１０１は動画像１０４を指すので、注釈１０３についても動画像１０４についての注釈に変更されるべきである。画像描画装置３がフレームを更新するごとに、文書描画装置２がカーソルの指すデータを特定することにより、かかる処理を行うことが可能になる。
【００５４】
また、カーソルが不動状態にあるときのみ注釈を表示し、カーソルの移動の際には注釈を非表示にすれば、本来のデータの表示が注釈によって不必要に隠されることがなく好ましい。
【００５５】
また、注釈を表示する条件としては、具体的には、ユーザのカーソル移動が一定時間にわたり検出されず、かつその間カーソルが同一のデータの表示を指しつづけていた場合とすることができる。この条件を満たしているか否かを判定するタイミングに相当する事象としては、例えば、（１）カーソルの座標が変更されたとき、（２）データの表示もしくは非表示の状態が変更されたとき、および（３）文書が再描画されたときの計三通りとする。これらの条件に限定して判定を行えば、文書再生装置１０への負担を増大させることなく処理を実現できる。
【００５６】
例えば、動画像の再生によってフレームの形状が変化したとき、画像描画装置３は文書描画装置２にフレームが更新されたことを通知し、これに応じて文書描画装置２は文書の再描画を行う。これは、上記事象（３）に該当する。
【００５７】
上記事象（１）〜（３）のいずれかが発生したとき、文書描画装置２はカーソルが指すデータを特定する。ここで、時間計測装置６が時刻０の時に指していたデータと異なったデータを指している場合は、時間計測装置６の時刻を０に戻し、注釈が表示されていれば非表示にする。その後、時間計測装置６が規定時間に達したときに、カーソルが指すデータの表示を特定し、時刻０の時に指していたデータを指している場合は注釈を表示する。この方法によりカーソルが指すデータに注釈を表示することが可能である。
【００５８】
文書に含まれるデータには、データ全体について関連情報を設定することができる。またデータの表示において、一個所以上の一定範囲に関連情報を設定することもできる。関連情報は例えば他の文書へのリンクである。関連情報が設定されていることを示す表示をクリックすることによって、他の文書を再生することが可能である。
【００５９】
図１５は、文書の全体および一部にそれぞれ関連情報１１２、１１３が設定されている場合を示す図である。
【００６０】
図１６は、図１５の文書について、関連情報が設定されている領域をアンカー１６１により強調表示した例である。また、図１７は、図１５の文書について、関連情報が設定されている領域をアンカー１７１により強調表示するとともに注釈１７２を表示した例である。なお、注釈の表示および非表示は、データに関する情報の方法と同様に行うことが可能である。
【００６１】
本実施形態の文書再生装置１０はこのような関連情報へのマウス等による位置指示を適切に対応付ける。図１８は、この場合の処理の流れを示すフローチャートである。本処理は、指定画像に画像が表示されているデータを特定するステップＳ１２１、ステップＳ１２１の結果、該当するデータが存在するか否かを判定するステップＳ１２２、ステップＳ１２１においてデータが特定された場合、このデータに関連情報が設定されているか否かを判定するステップＳ１２３、関連情報が設定されている場合に、指定座標に対応付けられる関連情報を検索するステップＳ１２４、およびステップＳ１２４において指定座標に対応付けられる関連情報が発見されたか否かを判定するステップＳ１２５から構成される。
【００６２】
図１９は、文字列の表示領域１７１と、現在のフレームの形状が三角形である動画像１７２と、現在のフレームの形状が円形である動画像１７３とが重なっている文書の表示例を示す図である。この図１９のように文字と動画像が重なって表示される場合、動画像のフレームが更新されるごとに、文字列を再表示する必要がある。
【００６３】
画像描画装置３は、文書描画装置２から動画像のフレームが更新されたことの通知を受けると、文書描画装置２に対して画像の（再）描画を指示する。これに伴い、動画像に重なっている他の表示も更新する必要がある。
【００６４】
このとき、画像描画装置３の描画に要する時間が動画像のフレーム表示時間よりも長く、再生に追いつかない場合は、未処理の描画要求が累積され、これにより処理負担がかかる。また、再生に時間的な遅れが生じる上、音声を同時に再生している場合には画像の再生と音声との同期が取れなくなるという問題がある。このため、動画の再生においては、すべてのフレームを描画することよりも、フレーム更新の実時間性（リアルタイム性）を重視することが望ましいとされる。
【００６５】
本実施形態はフレーム更新の実時間性に鑑み、文書再生装置１０に描画指示装置４を搭載する構成としている。描画指示装置４は、画面の再描画を入出力処理装置１３から指示される。これを受けて描画指示装置４は、文書描画装置２が描画中でなければ文書描画装置２に描画を指示し、文書描画装置２が描画中であれば描画を指示しない、という具合に描画指示をコントロールする。これにより、描画指示が累積することを防ぐことができ、動画像再生の実時間性を保つことができる。
【００６６】
また、一つの動画像のフレーム更新を行っている間に他の動画像のフレームが複数更新される場合があるが、そのような場合において同一フレームについての描画回数を減らし、文書再生装置全体の処理負担を軽減できる効果がある。
【００６７】
画像描画装置３において描画処理に時間的な遅れが生じる場合、描画が指示された現在処理中のフレームの形状と、現時点において実際に表示されているフレームの形状とが一致しない状況が起こり得る。この場合、ユーザが意図した動画像とは異なる動画像に対して指示が与えられる可能性がある。この問題を解決するために、画像描画装置３は、現時点で表示されているフレームの形状を記憶し、それを領域の判定に使用することとする。
【００６８】
例えば図１９において、動画像１７２のフレームが更新されたため再描画が指示され、その描画中に動画像１７３のフレームも更新され、最新のフレームが破線で囲まれた領域１７４に変化したとする。また、文字列１７１の領域は不変であったとする。
【００６９】
このとき、カーソル１７５が指すデータを判定する場合を考えると、動画像１７３の領域は表示上はまだ更新されていないので、領域１７４ではなく現在の領域１７３を用いて判定する必要がある。そこで、画像描画装置３は、最後に描画されたフレームの形状が保存されていればこれを判定に用いる。これによりカーソル１７５の指すデータを正しく特定することが可能である。
【００７０】
なお、文字列の表示領域１７１は不変であるので、保存されている形状を判定に用いることにより、文字の配置を再計算する処理を省略することも可能である。
【００７１】
また、データのみならずデータの関連情報に関しても、同様に処理される。
【００７２】
したがって、現実の表示内容に基づいてユーザが指示を行った場合に、該ユーザにより指示されたデータに対して、文書再生装置１０が正しく処理することができる。
【００７３】
なお、本発明は上述した実施形態に限定されず種々変形して実施可能である。
【００７４】
【発明の効果】
本発明によれば、各データの表示を行う画像描画装置に対して、該座標が該データの表示領域内であるか否かを問い合わせることにより、該座標に表示されているデータを特定するので、ユーザが位置により指示を意図するデータを、文書再生装置が正しく選択することが可能である。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る文書再生装置の概略構成を示すブロック図
【図２】画像を含む文書の一表示例を示す図
【図３】画像を含む文書の他の表示例を示す図
【図４】複数の画像を含む文書の一表示例を示す図
【図５】同実施形態に係る文書再生装置による文書再生処理の流れを示すフローチャート
【図６】文字列の一表示例を示す図
【図７】文字列の他の表示例を示す図
【図８】背景色が設定された画像を含む文書の一表示例を示す図
【図９】背景色が設定された画像を含む文書の他の表示例を示す図
【図１０】画像に背景色が設定されている場合の処理の流れを示すフローチャート
【図１１】強調表示された画像を含む文書の一表示例を示す図
【図１２】強調表示された画像を含む文書の他の表示例を示す図
【図１３】注釈が表示された画像を含む文書の一表示例を示す図
【図１４】注釈が表示された画像を含む文書の他の表示例を示す図
【図１５】データの関連情報の一設定例を示す図
【図１６】強調表示されたデータの関連情報の一表示例を示す図
【図１７】注釈とともに強調表示されたデータの関連情報の他の表示例を示す図
【図１８】関連情報が設定されている場合の処理の流れを示すフロー図
【図１９】文字列と動画像とが重なって表示されている場合の再描画を説明するための図
【符号の説明】
１…文書解析装置
２…文書描画装置
３…画像描画装置
４…描画指示装置
５…受信装置
６…時間計測装置
１０…文書再生装置
１１…入力装置
１２…表示装置
１３…入出力処理装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a document reproducing apparatus capable of reproducing a document including a plurality of types of data such as characters, still images, and moving images.
[0002]
[Prior art]
2. Description of the Related Art In recent years, an apparatus has been developed which displays a document including a plurality of media such as characters, still images, and moving images and interactively responds to a user's input. For example, SMIL (Synchronized Multimedia Integration Language) has been widely adopted as a document format that describes a method of designating a time for each of a plurality of data in different formats, and software for displaying a SMIL document has been developed. . Others display a document in a format in which time processing is added to HTML (HyperText Markup Language). These are generally referred to as "web browsers".
[0003]
The data can be displayed by designating the area, and can be superimposed by designating the order. In reproducing a moving image, the display is updated as time passes. When the moving image is partially hidden by the display of other data, the display is updated only in the visible part. In addition, a non-rectangular figure in which a part of a display area of a rectangular image is transparent is displayed as a still image or animation using an image encoded in the GIF format.
[0004]
The user makes an input to the displayed document, and software for displaying the document can respond to the user's input. For example, in displaying a SMIL document, if the cursor is moved to a specific image and clicked, another SMIL document associated with the image can be displayed.
[0005]
Further, in a data display region or a region in which data related information is set, a boundary is highlighted to clearly indicate to which data the user has issued an instruction. Further, when there is no input operation by the user for a certain period of time, an annotation is performed on data related to coordinates that the user intends to input and information related to the data.
[0006]
An area where data can be displayed is uniquely obtained by decoding in the case of a still image. In the case of a moving image, it is updated for each frame. In the case of a character string, the device that displays the document determines the position of the character at the time of drawing, based on the set font, so that the character can appropriately fit in the area.
[0007]
When a plurality of moving images included in a document are reproduced at the same time, the frame update time may be different for each moving image. Also, the update time of the frame may be different even for one moving image. Therefore, it is necessary to redraw the moving image when the frames are updated for all the moving images. Further, when the display of other data overlaps the upper and lower portions of the moving image, it is necessary to redraw the display of the other data in the overlapping portion.
[0008]
[Problems to be solved by the invention]
Since the user looks at the screen and inputs a position instruction or the like, it is necessary that both the information recognized by the user by the display and the shape information of the moving image match. However, the conventional document reproducing apparatus does not have a function of appropriately handling a moving image whose shape changes. Specifically, when specifying the data displayed at the coordinates designated by the user, the conventional document reproducing apparatus does not use the shape of each moving image frame but uses the maximum display area of the moving image frame. ing. Therefore, even the outside of the shape of the frame is regarded as a display area, and unintended data is associated with the position designated by the user. As a result, an event to related information that the user does not intend at all may occur, a highlight may be displayed, or an annotation may be displayed.
[0009]
When the background color is set in the document data, the shape of the data is an area including the setting of the background color. The region may be specified in a document or may be a region set for each frame of a moving image frame and different for each frame. However, in the conventional document reproducing apparatus, the background color is not drawn, or the data displayed at the coordinates designated by the user in consideration of the background color cannot be specified.
[0010]
In displaying a character string, the character string may be redrawn in accordance with updating of a moving image frame overlapping the character string. However, in the conventional document reproducing apparatus, there is a problem that the processing load for determining the character arrangement again when redrawing the same character string is large.
[0011]
Further, when simultaneously reproducing a plurality of moving images, if the processing capability of the document reproducing apparatus is insufficient, drawing may not be completed within a specified display time of a frame. This may cause a problem of time delay in document reproduction. Even if there is sufficient processing capacity to update all frames, the same frame may be repeatedly drawn when moving images overlap, which is not efficient. Further, it is preferable that the processing load on the document reproducing apparatus is reduced as much as possible.
[0012]
Also, while real-time processing is emphasized in document playback, when the processing capability of the document playback device is insufficient, a frame prior to a frame to be actually displayed is still displayed. There is. In this case, in the conventional document reproducing apparatus, the determination about the specified position is performed not on the frame that is drawn and displayed last but on the frame that is decoded last, so that an operation that is not intended by the user is performed. There is a problem to be done.
[0013]
The present invention has been made in view of such circumstances, and when a user specifies a position on a screen during reproduction of a document including a moving image, an unintended target is specified and selected. It is an object of the present invention to provide a document reproducing apparatus in which an appropriate target is associated with the object according to the display mode.
[0014]
[Means for Solving the Problems]
A document reproducing apparatus according to the present invention generates a drawing frame of the data in a document reproducing apparatus that reproduces a document including one or more data including a moving image, a still image, a sound, and a character string. Image drawing means for updating a drawing frame along with a reproduction time, document drawing means for drawing a drawing frame generated or updated by the image drawing means in a display area, and a position for designating an arbitrary position in the display area Specifying means, shape obtaining means for obtaining the shape of the display object in the generated or updated drawing frame, and determining whether or not the position specified by the position specifying means is included in the shape A determination unit configured to specify data to be associated with the position specified by the position specification unit based on a determination result by the determination unit; Is a document reproduction apparatus according to claim Rukoto.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0016]
FIG. 1 is a block diagram showing a schematic configuration of a document reproducing apparatus according to one embodiment of the present invention. As shown in FIG. 1, a document reproducing apparatus 10 according to the present embodiment includes a document analyzing apparatus 1, a document drawing apparatus 2, an image drawing apparatus 3, a drawing instruction apparatus 4, a receiving apparatus 5, a time measuring apparatus 6, and an input / output processing apparatus. The input device 11 includes a keyboard and a mouse, and a display device 12 such as a CRT and a liquid crystal display. Such a document reproducing apparatus 10 of the present embodiment can be implemented as software that operates on a computer including general hardware such as a CPU and a memory. In this case, some of the components of the document reproducing apparatus 10 may be realized by dedicated hardware for improving the processing speed.
[0017]
The document analysis device 1 analyzes a document composed of one or more data, and instructs the document drawing device 2 to appropriately display and reproduce the document according to the analysis result of the document. This includes, for example, instructing the document drawing device 2 to display data constituting the document according to a time (schedule) specified in the document in advance. The document and the data constituting the document can be obtained from a recording medium such as a hard disk or can be received from a network via the receiving device 5.
[0018]
The document drawing device 2 is a portion that comprehensively processes the document reproduction process, and switches display and non-display of data included in the document, changes a display area, and the like in accordance with an instruction based on an analysis result by the document analysis device 1. I do. When dealing with data that changes along the time axis, such as moving images and sounds, this is also performed for controls such as reproduction and pause. The data to be displayed is received through the document analyzer 1.
[0019]
The image drawing device 3 draws data in a designated area in accordance with an instruction from the document drawing device 2. For example, the image drawing device 3 includes a processing circuit corresponding to a specific coding method such as MPEG (Motion Picture Experts Group) -4. It can be configured using dedicated hardware provided. That is, the image drawing device 3 can handle the encoded moving image data. When drawing the moving image data, the image drawing device 3 first performs decoding to acquire the color information and the shape of each frame constituting the moving image. For example, an MPEG-4 video stream has a function of encoding color information and a shape for each frame. By decoding a moving image whose shape is encoded, an original image of the shape is obtained. get.
[0020]
Further, the image drawing device 3 updates a video frame or the like according to the frame display schedule, and notifies the document drawing device 2 of the update. Further, a plurality of image rendering apparatuses 3 (for example, two in the example of FIG. 1) can be provided to correspond to the number of data and the type of media. Further, when displaying the character string, the image drawing device 3 calculates the wrapping position of the character so that the character string fits in the designated area, and determines the arrangement of the characters constituting the character string.
[0021]
The data to be rendered by the image rendering device 3 is given by the document analysis device 1 transmitting the data to the document rendering device 2 and the document rendering device 2 transmitting the data to the image rendering device 3. In addition, the document analysis device 1 and the document drawing device 2 notify the image drawing device 3 of a method of acquiring data represented by a URL (Uniform Resource Locator) instead of the data to be reproduced, so that the image drawing device 3 It is also possible to obtain the information directly from the receiving device 5.
[0022]
The drawing instruction device 4 processes the drawing request input from the input / output processing device 13 and transfers the drawing request to the document drawing device 2 as necessary. The drawing instruction device 4 is not an essential component in the present invention. For example, a drawing request may be directly notified from the input / output processing device 13 to the document drawing device 2 without going through the drawing instruction device 4.
[0023]
The receiving device 5 includes a network adapter as a component, and receives data constituting a document to be reproduced from the network based on a prescribed communication procedure such as HTTP (HyperText Transfer Protocol) or RTP (real-time transport protocol).
[0024]
The time measuring device 6 is configured by a timer. This timer is set by the document drawing device 2 and times out when the designated time has elapsed, and notifies the document drawing device 2 of the timeout.
[0025]
The input / output processing device 13 can be realized using a window-type graphical user interface (GUI) well known in the technical field of computers. The input / output processing device 13 notifies the drawing instruction device 4 or the document drawing device 2 of data from the input device 11 such as a mouse. The data from the input device 11 includes detection data of a click operation performed by the user, position data of the mouse pointer at that time, and the like.
[0026]
Further, the input / output processing device 13 obtains, from the document drawing device 2, display data of the document including the drawing processing result by the image drawing device 3, and outputs the display data to the display device 12. The display device 12 displays this on the screen.
[0027]
The operation of the present embodiment configured as described above will be described.
[0028]
FIG. 2 and FIG. 3 are diagrams illustrating display examples of a document including one moving image.
[0029]
FIG. 2 illustrates a document in which an area 22 in which a moving image can be displayed is present in the entire document display area 21 and a triangular frame 23 is displayed therein.
[0030]
FIG. 3 illustrates a document in which an area 32 in which a moving image can be displayed is present in the entire document display area 31 and a triangular frame 33 is displayed therein. The color information and the shapes of the frame regions 22 and 32 and the frames 23 and 33 are obtained by the image drawing device 3 decoding the moving image data. The region where the moving image can be displayed does not need to be circumscribed about the shape of the frame, that is, the non-transmissive portion, and it is sufficient to include the region.
[0031]
An area and a shape in which a moving image can be displayed may be different for each frame. For example, in MPEG-4, an area where a frame can be displayed can be defined for each frame as a bounding box. For example, in FIG. 2, the maximum display area of a frame in a moving image to be reproduced can be a rectangle 24, and the bounding box of the frame can be a rectangle 22.
[0032]
FIG. 4 illustrates the entire document display area 41 including both the moving image 42 and the moving image 43. When a plurality of moving images overlap as shown in this figure, the method of superimposing these moving images is based on the priority order defined in advance in the document. In this example, the moving image 42 is displayed overlapping the moving image 43. In the state of FIG. 4, a frame of the moving image 43 is displayed in an area 44 surrounded by a solid line, a dotted line, and an arc (that is, a part of the shape of the moving image 43). This area is also an area where a frame of the moving image 42 displayed in front of the moving image 43 in the priority order can be displayed.
[0033]
In such a case, the conventional document reproducing apparatus regards the area 44 as the area of the moving image 42. Therefore, when the user issues an instruction to the area 44, for example, when the cursor 45 is moved into the area 44 with the mouse and clicked, the instruction is processed as for the moving image 42.
[0034]
On the other hand, the document reproducing apparatus 10 according to the embodiment of the present invention appropriately processes such an instruction for the moving image 43 instead of for the moving image 42. The processing procedure of the document reproducing apparatus 10 for this will be described below. The image drawing device 3 has a function of determining whether the designated coordinates are within the display shape of the data, and a function of responding to the display shape.
[0035]
FIG. 5 is a flowchart showing a flow of a document reproducing process by the document reproducing apparatus according to the embodiment of the present invention. The document reproduction process is roughly classified into three processes, namely, a step S10 of updating a frame of an image included in the document, a step S20 of drawing each image included in the document at a predetermined position, Step S30 of determining which image corresponds to the position designated on the reproduction screen by the mouse or the like.
[0036]
In step S30 for associating an appropriate image with a position pointed to by a mouse or the like as intended by the user, the document drawing device 2 determines, for each data item in the document, The data up to the data displayed at the innermost position are examined in order, and it is determined whether or not the data is in a visible state and the designated coordinates are within the display shape of the data. In FIG. 4, for example, the upper left of the entire document display area 41 is set as a reference point, and the coordinates of the relative position of the cursor 45 from this reference point are (x, y). The image drawing device 3 checks whether the coordinates (x, y) are included in the display shape 42 of the moving image. The processing may be performed using (x, y) as absolute coordinates instead of relative coordinates.
[0037]
In the example of FIG. 4, the coordinates (x, y) of the cursor 45 are inside the region where the frame of the moving image 42 can be displayed, but not inside the shape. Therefore, the coordinates (x, y) of the cursor 45 are not associated with the moving image 42.
[0038]
The document drawing device 2 may determine whether the designated coordinates are included in the data shape. In this case, the document drawing device 2 obtains the shape of the data from the image drawing device 3 and makes the determination. In the present embodiment, the image drawing device 3 determines whether or not the coordinates (x, y) are included in the shape.
[0039]
First, since the coordinates (x, y) are not included in the moving image 42, the document drawing device 2 instructs the image drawing device 3 to check whether the coordinates (x, y) are included in the moving image 43. Instruct. In response, the image drawing device 3 checks whether the coordinates (x, y) are included in the display shape of the moving image 43, and as a result, detects that the coordinates (x, y) are included in the display shape of the moving image 43. Then, this is returned to the document drawing device 2. It is not necessary to check data displayed behind the moving image 43.
[0040]
Accordingly, when the user moves the cursor to the coordinates (x, y) and performs an operation such as a click with the intention of giving an instruction to the moving image 43, the document drawing device 2 sends the instruction to the moving image 43. The processing can be performed by correctly recognizing the output.
[0041]
In general, when displaying a character string that is treated as a display object (object) different from a moving image, the display area is defined in the same manner as the moving image. In the present embodiment, it is determined which character string display area the position indicated on the playback screen by the user with the mouse or the like is, and an appropriate position for the indicated position is determined as intended by the user. Character strings (display areas) are associated with each other. That is, the display area of the character string is handled in the same manner as the shape of the moving image.
[0042]
When displaying a character string, the image drawing device 3 arranges the characters in a font set in the input / output processing device 13 so that the character string can be displayed in a designated area in the document. From the font of each character set in the input / output processing device 13, the non-transparent region, the transparent region, and the display size of each character can be known. The union of the non-transparent areas of each character constituting the character string is used as the color information of the character string, and the union of the display area of each character calculated from the position and display size of the character string is calculated as the character The column display shape. In this way, the color information and the shape of the character string can be determined.
[0043]
When the same character string is displayed in areas of different sizes, for example, as shown in FIGS. 6 and 7, the characters of the character string are arranged so as to fit within the display area. Colors other than the font portion of the character are transparent, and the area occupied by the character string is non-rectangular as indicated by the areas 151 and 161.
[0044]
Here, in the present embodiment, information on the arrangement of characters is stored, and if the same character string has already been drawn in the same size area using the same font, the stored array It is configured to refer to information. As a result, it is possible to reduce the processing for determining the character arrangement by the document drawing apparatus 2.
[0045]
Next, the processing of the document reproducing apparatus 10 when an instruction is given to data for which a background color has been set will be described.
[0046]
In a document composed of displayable data, it is possible to set a background color for data display. For example, when the gray background color BGC is set in the moving image 23 shown in FIG. 2, the display by the document drawing device 2 is as shown in FIG. When a gray background color BGC is set in the moving image 42 shown in FIG. 4, the display by the document drawing device 2 is as shown in FIG.
[0047]
At this time, a state in which the cursor 64 is located at the same coordinates (x, y) as in the case of FIG. FIG. 10 is a flowchart showing the flow of the process of the document reproducing device 10 in this state. In this processing, among the images included in the document, the image displayed in the foreground is determined as an image to be used for determination. As a result of step S1, it is determined whether there is an image that can be used for determination. Step S2, determining whether or not the image is visible, step S4, determining whether or not the image has a background color, and determining whether or not the image has a background color. Step S6 of acquiring the currently displayed position and the background color setting region, and step S7 of acquiring the image currently displayed position and the shape of the image when the background color is not set in the image. , And step S8 of determining whether or not the designated coordinates are within the display area of the image. If it is determined in step S8 that the designated coordinates are within the display area of the image, a response to that effect is made (step S9). On the other hand, if it is determined in step S8 that the designated coordinates are not within the display area of the image, the image displayed in the foreground among the images displayed behind the image used for the current determination Is updated as the image used for the determination, and the steps after step S2 are performed again. When it is detected in step S2 that the image to be used for determination no longer exists, a response is sent to the effect that the designated image does not point to any image (step S3).
[0048]
For example, in the case of the example in FIG. 9, the document drawing device 2 checks with the image drawing device 3 whether the coordinates (x, y) of the cursor position 64 are included in the moving image 62. The coordinates (x, y) are outside the frame shape of the moving image 62, but are included in an area where the frame of the moving image 62 can be displayed. This area is drawn with the background color (steps S5, S8 = “Yes”). Therefore, it is determined that the designated image indicates the image (step S9). It is not necessary to check data displayed behind the moving image 62.
[0049]
As described above, when the user moves the cursor to the coordinates (x, y) and performs an operation such as a click with the intention of giving an instruction to the moving image 62 even for the data for which the background color is set. In addition, the document reproducing device 10 can correctly recognize that the instruction has been given to the moving image 62 and perform the processing.
[0050]
10 except for steps S5, S6, and S7 can be applied to other embodiments as a processing procedure when the setting of the background color for the image is not considered.
[0051]
Although the description has been made here assuming that a moving image is displayed, the same processing can be performed on a still image having a transparent area and a character string whose display other than characters is transparent. In a display having no transmissive area, it can be handled that the frame shape always matches the area where the frame can be displayed. Also, if both the background color and the display area of the data are specified by the document and the area for setting the background color matches the display area specified in the document, the background color drawing and shape judgment are performed. It can be carried out.
[0052]
It is preferable that the fact that the data (moving image or character string area) is specified by the user instructing the position with a mouse or the like is explicitly displayed, for example, by using a cursor, for example. For example, as shown in FIG. 11, an outer frame-shaped cursor 73 is added to a moving image shape 72 designated by the mouse pointer 71. In addition, as shown in FIG. 12, when the moving image shape 82 pointed by the mouse pointer 81 is emphasized by the cursor 83, it is preferable to apply the same superimposing order as that of the target display to the highlighted display. That is, a part of the cursor 83 is hidden behind the whole moving image shape 84 in the same manner as the moving image shape 82.
[0053]
It is also preferable to annotate the display of the data specified by the designated coordinates. FIG. 13 is an example in which an annotation 93 relating to a moving image 92 pointed by a cursor 91 is displayed. If the cursor moves out of the shape of the moving image due to the update of the frame of the moving image, it is necessary to display an annotation on the corresponding moving image accordingly. For example, it is assumed that the shape of the moving image 92 has been reduced in the state of FIG. 13 and changed to the moving image 102 shown in FIG. In this case, since the cursor 101 located at the same coordinates as the cursor 91 points to the moving image 104, the annotation 103 should also be changed to the annotation for the moving image 104. Each time the image drawing device 3 updates the frame, the document drawing device 2 specifies the data pointed to by the cursor, so that such processing can be performed.
[0054]
It is preferable that the annotation is displayed only when the cursor is in the immobile state and the annotation is hidden when the cursor is moved, so that the display of the original data is not unnecessarily hidden by the annotation.
[0055]
Further, as a condition for displaying the annotation, specifically, a case where the movement of the cursor of the user is not detected for a certain period of time and the cursor keeps pointing to the display of the same data during that time can be used. Events corresponding to the timing for determining whether or not this condition is satisfied include, for example, (1) when the coordinates of the cursor are changed, (2) when the display or non-display state of the data is changed, And (3) three cases when the document is redrawn. If the determination is made only under these conditions, the processing can be realized without increasing the load on the document reproducing apparatus 10.
[0056]
For example, when the shape of a frame changes due to reproduction of a moving image, the image drawing device 3 notifies the document drawing device 2 that the frame has been updated, and the document drawing device 2 redraws the document in response to this. . This corresponds to the above-mentioned event (3).
[0057]
When any one of the events (1) to (3) occurs, the document drawing device 2 specifies the data pointed to by the cursor. Here, when the time measuring device 6 points to data different from the data pointed at the time 0, the time of the time measuring device 6 is returned to 0, and if the annotation is displayed, it is not displayed. Thereafter, when the time measuring device 6 reaches the specified time, the display of the data pointed by the cursor is specified, and if the data points at the time 0, the annotation is displayed. In this way, it is possible to display an annotation on the data pointed to by the cursor.
[0058]
In the data included in the document, related information can be set for the entire data. In displaying data, related information can be set in one or more fixed ranges. The related information is, for example, a link to another document. By clicking the display indicating that the related information is set, it is possible to reproduce another document.
[0059]
FIG. 15 is a diagram illustrating a case where related information 112 and 113 are set in the whole and a part of the document, respectively.
[0060]
FIG. 16 is an example of the document of FIG. 15 in which an area in which related information is set is highlighted by an anchor 161. FIG. 17 is an example of the document of FIG. 15 in which an area in which related information is set is highlighted by an anchor 171 and an annotation 172 is displayed. The display and non-display of the annotation can be performed in the same manner as the method of the information on data.
[0061]
The document reproducing apparatus 10 of the present embodiment appropriately associates a position indication with a mouse or the like with such related information. FIG. 18 is a flowchart showing the flow of the process in this case. This processing is performed in steps S121 and S121 of specifying data in which an image is displayed on the designated image. As a result of step S122 and step S121 of determining whether or not the corresponding data exists, Step S123 to determine whether or not the relevant information is set in the data, step S124 to search for the relevant information associated with the designated coordinates when the relevant information is set, and step S124 to search for the related information. It comprises step S125 of determining whether or not the related information to be attached is found.
[0062]
FIG. 19 is a diagram illustrating a display example of a document in which a character string display area 171, a moving image 172 in which the shape of the current frame is triangular, and a moving image 173 in which the shape of the current frame is circular overlap. It is. When a character and a moving image are displayed overlapping each other as shown in FIG. 19, it is necessary to redisplay the character string every time a frame of the moving image is updated.
[0063]
Upon receiving the notification from the document drawing device 2 that the frame of the moving image has been updated, the image drawing device 3 instructs the document drawing device 2 to (re) draw the image. Accordingly, it is necessary to update other displays overlapping the moving image.
[0064]
At this time, if the time required for drawing by the image drawing device 3 is longer than the frame display time of the moving image and cannot keep up with the reproduction, unprocessed drawing requests are accumulated, thereby increasing the processing load. In addition, there is a problem in that there is a time delay in the reproduction, and when the sound is reproduced simultaneously, the reproduction of the image and the sound cannot be synchronized. For this reason, in the reproduction of a moving image, it is desirable to emphasize the real-time property (real-time property) of frame updating rather than drawing all the frames.
[0065]
In the present embodiment, in consideration of the real-time property of frame updating, the document reproducing apparatus 10 is provided with the drawing instruction device 4. The drawing instruction device 4 is instructed by the input / output processing device 13 to redraw the screen. In response to this, the drawing instruction device 4 gives a drawing instruction to the document drawing device 2 unless the document drawing device 2 is drawing, and does not give a drawing instruction if the document drawing device 2 is drawing. Control. As a result, it is possible to prevent the drawing instructions from being accumulated, and to maintain the real-time performance of moving image reproduction.
[0066]
Further, while updating a frame of one moving image, a plurality of frames of another moving image may be updated. In such a case, the number of drawing times for the same frame is reduced, and This has the effect of reducing the processing load.
[0067]
When a time delay occurs in the drawing processing in the image drawing apparatus 3, a situation may occur in which the shape of the frame currently being processed for which drawing is instructed does not match the shape of the frame actually displayed at the present time. In this case, an instruction may be given to a moving image different from the moving image intended by the user. In order to solve this problem, the image drawing device 3 stores the shape of the currently displayed frame and uses it for determining the area.
[0068]
For example, in FIG. 19, it is assumed that redrawing is instructed because the frame of the moving image 172 is updated, the frame of the moving image 173 is also updated during the drawing, and the latest frame changes to an area 174 surrounded by a broken line. It is also assumed that the area of the character string 171 is unchanged.
[0069]
At this time, considering the case where the data pointed by the cursor 175 is determined, since the area of the moving image 173 has not been updated on the display yet, it is necessary to determine using the current area 173 instead of the area 174. Therefore, if the shape of the frame drawn last is stored, the image drawing device 3 uses this shape for determination. This makes it possible to correctly specify the data pointed to by the cursor 175.
[0070]
Since the display area 171 of the character string is invariable, it is possible to omit the process of recalculating the arrangement of the characters by using the stored shape for the determination.
[0071]
Further, not only the data but also the related information of the data is processed in the same manner.
[0072]
Therefore, when the user gives an instruction based on the actual display content, the document reproducing device 10 can correctly process the data instructed by the user.
[0073]
The present invention is not limited to the above-described embodiment, and can be implemented with various modifications.
[0074]
【The invention's effect】
According to the present invention, the data displayed at the coordinates is specified by inquiring of the image drawing apparatus that displays each data whether or not the coordinates are within the display area of the data. In addition, the document reproducing apparatus can correctly select the data that the user intends to instruct based on the position.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a document reproducing apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a display example of a document including an image.
FIG. 3 is a diagram showing another display example of a document including an image.
FIG. 4 is a diagram showing a display example of a document including a plurality of images.
FIG. 5 is an exemplary flowchart illustrating the flow of a document playback process performed by the document playback apparatus according to the embodiment.
FIG. 6 is a diagram showing a display example of a character string.
FIG. 7 is a diagram showing another display example of a character string.
FIG. 8 is a diagram illustrating a display example of a document including an image with a background color set.
FIG. 9 is a diagram showing another display example of a document including an image with a background color set.
FIG. 10 is a flowchart showing the flow of processing when a background color is set for an image;
FIG. 11 is a diagram illustrating a display example of a document including a highlighted image.
FIG. 12 is a diagram showing another display example of a document including a highlighted image.
FIG. 13 is a diagram illustrating a display example of a document including an image in which an annotation is displayed.
FIG. 14 is a diagram illustrating another display example of a document including an image in which an annotation is displayed.
FIG. 15 is a diagram showing a setting example of data related information;
FIG. 16 is a diagram showing a display example of related information of highlighted data;
FIG. 17 is a diagram showing another display example of the related information of the data highlighted together with the annotation.
FIG. 18 is a flowchart showing a processing flow when related information is set.
FIG. 19 is a diagram for describing redrawing when a character string and a moving image are displayed overlapping each other.
[Explanation of symbols]
1. Document analysis device
2. Document drawing device
3. Image drawing device
4: Drawing instruction device
5. Receiving device
6 ... Time measuring device
10. Document playback device
11 Input device
12 Display device
13. Input / output processing device

Claims (13)

動画像、静止画像、音声、および文字列を含む一つ以上のデータから構成される文書を再生する文書再生装置において、
前記データの描画フレームを生成し、該描画フレームを再生時間に沿って更新する画像描画手段と、
前記画像描画手段により生成又は更新された描画フレームを表示領域に描画する文書描画手段と、
前記表示領域内の任意の位置を指定する位置指定手段と、
生成又は更新された前記描画フレームにおける表示対象物の形状を取得する形状取得手段と、
前記位置指定手段により指定された位置が、前記形状の内部に含まれるか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、前記位置指定手段により指定された位置に対応付けるべきデータを特定する特定手段と、
を具備することを特徴とする文書再生装置。In a document playback device that plays back a document composed of one or more data including a moving image, a still image, a sound, and a character string,
Image drawing means for generating a drawing frame of the data, and updating the drawing frame along with the reproduction time;
Document drawing means for drawing a drawing frame generated or updated by the image drawing means in a display area,
Position designation means for designating an arbitrary position in the display area;
Shape acquisition means for acquiring the shape of the display object in the generated or updated drawing frame,
Determining means for determining whether or not the position specified by the position specifying means is included within the shape;
Specifying means for specifying data to be associated with the position specified by the position specifying means, based on a result of the determination by the determining means;
A document reproducing apparatus comprising: 前記画像描画手段は、
文字列を構成する文字を事前に設定されたフォントを用いて一の領域内に配列し、描画フレームを生成する手段と、
前記文字の配列結果をそのフォント設定とともに記憶し、前記描画フレームの再生成に供する手段と、
を具備することを特徴とする請求項１に記載の文書再生装置。The image drawing means,
Means for arranging characters constituting the character string in one area using a preset font, and generating a drawing frame;
Means for storing the character arrangement result together with its font setting, and for re-creating the drawing frame;
The document reproducing apparatus according to claim 1, further comprising: 前記画像描画手段は、前記データに予め設定された非透過色の背景を前記形状の内部に含めることを特徴とする請求項１又は２に記載の文書再生装置。The document reproducing apparatus according to claim 1, wherein the image drawing unit includes a background of a non-transparent color set in the data in advance in the shape. 前記特定手段により特定されたデータの形状を強調表示する手段をさらに具備することを特徴とする請求項１乃至３のいずれかに記載の文書再生装置。4. The document reproducing apparatus according to claim 1, further comprising means for highlighting a shape of the data specified by said specifying means. 前記特定手段により特定されたデータの注釈を表示する手段をさらに具備することを特徴とする請求項１乃至４のいずれかに記載の文書再生装置。5. The document reproducing apparatus according to claim 1, further comprising means for displaying an annotation of the data specified by said specifying means. 前記特定手段により特定されるデータの変化に応じて前記注釈の表示内容を制御する手段をさらに具備することを特徴とする請求項５に記載の文書再生装置。6. The document reproducing apparatus according to claim 5, further comprising a unit configured to control display contents of the annotation according to a change in data specified by the specifying unit. 前記特定手段は、前記データに予め設定された関連情報を特定することを特徴とする請求項１乃至６のいずれかに記載の文書再生装置。7. The document reproducing apparatus according to claim 1, wherein the specifying unit specifies related information set in the data in advance. 前記関連情報を強調表示する手段をさらに具備することを特徴とする請求項７に記載の文書再生装置。8. The document reproducing apparatus according to claim 7, further comprising: means for highlighting the related information. 前記関連情報の注釈を表示する手段をさらに具備することを特徴とする請求項７又は８に記載の文書再生装置。9. The document reproducing apparatus according to claim 7, further comprising means for displaying an annotation of the related information. 前記特定手段により特定されるデータの変化に伴う前記関連情報の変化に応じて前記注釈の表示内容を制御する手段をさらに具備することを特徴とする請求項９に記載の文書再生装置。10. The document reproducing apparatus according to claim 9, further comprising: means for controlling display contents of the annotation according to a change in the related information accompanying a change in the data specified by the specifying means. 前記文書描画手段から前記画像描画手段への描画指示が与えられるタイミングを、該画像描画手段の描画期間中を回避するよう制御する描画指示制御手段をさらに具備することを特徴とする請求項１乃至１０のいずれかに記載の文書再生装置。2. The image processing apparatus according to claim 1, further comprising a drawing instruction control unit configured to control a timing at which a drawing instruction is given from the document drawing unit to the image drawing unit so as to avoid a timing during the drawing period of the image drawing unit. The document reproducing apparatus according to any one of claims 10 to 13. 動画像、静止画像、音声、および文字列を含む一つ以上のデータから構成される文書を再生する文書再生方法において、
前記データの描画フレームを生成し、
前記描画フレームを再生時間に沿って更新し、
前記画像描画手段により生成又は更新された描画フレームを表示領域に描画し、
前記表示領域内の任意の位置を指定し、
生成又は更新された前記描画フレームにおける表示対象物の形状を取得し、
指定された前記表示領域内の任意の位置が、前記形状の内部に含まれるか否かを判定し、
かかる判定結果に基づいて、前記位置に対応付けるべきデータを特定すること特徴とする文書再生方法。In a document playback method for playing back a document composed of one or more data including a moving image, a still image, a sound, and a character string,
Generating a drawing frame of the data,
Updating the drawing frame along with the playback time,
Drawing a drawing frame generated or updated by the image drawing means in a display area;
Specify an arbitrary position in the display area,
Acquiring the shape of the display object in the generated or updated drawing frame,
Determine whether an arbitrary position in the specified display area is included inside the shape,
A document reproducing method characterized by specifying data to be associated with the position based on the determination result. 動画像、静止画像、音声、および文字列を含む一つ以上のデータから構成される文書を再生するプログラムにおいて、
前記データの描画フレームを生成するステップ、
前記描画フレームを再生時間に沿って更新するステップ、
前記画像描画手段により生成又は更新された描画フレームを表示領域に描画するステップ、
前記表示領域内の任意の位置を指定するステップ、
生成又は更新された前記描画フレームにおける表示対象物の形状を取得するステップ、
指定された前記表示領域内の任意の位置が、前記形状の内部に含まれるか否かを判定するステップ、
かかる判定結果に基づいて、前記位置に対応付けるべきデータを特定するステップをコンピュータに実行させるプログラム。In a program for reproducing a document composed of one or more data including a moving image, a still image, a sound, and a character string,
Generating a drawing frame of the data;
Updating the drawing frame along with the playback time;
Drawing a drawing frame generated or updated by the image drawing means in a display area;
Specifying an arbitrary position in the display area,
Obtaining the shape of the display target in the generated or updated drawing frame,
Determining whether an arbitrary position in the designated display area is included in the shape;
A program for causing a computer to execute a step of specifying data to be associated with the position based on the determination result.

Images