JP2019148649A - 画像処理装置、制御方法、およびプログラム - Google Patents

Abstract

【課題】対象とする電子データの表示状態に依存せず、常に電子データに含まれるオブジェクト間の関連性を表示できる画像処理装置、制御方法、およびプログラムを提供する。【解決手段】資料表示端末１０２は、複数の部分領域を含むページ画像の一部又は全体をシナリオ編集画面１３０１に表示する際、上記複数の部分領域のうち画面表示されているものを対象とする部分領域（本体オブジェクト）とすると共に、本体オブジェクトと関連を持つ部分領域（関連オブジェクト）の画面表示の有無を判定する。関連オブジェクトが画面表示されている場合は本体オブジェクトと関連オブジェクトを紐付ける表示を行い、関連オブジェクトが画面表示されていない場合は関連オブジェクトの代替となる代替オブジェクトを生成して画面表示すると共に、本体オブジェクトと代替オブジェクトを紐付ける表示を行う。【選択図】図１２Ａ

Description

本発明は、画像処理装置、制御方法、およびプログラムに関し、特に、複数のオブジェクトを持つデータを画面上に表示する際、オブジェクト間の関連性を表す情報を表示する画像処理装置、制御方法、およびプログラムに関する。

従来、物理的な実体を持たない商品（保険商品、金融商品、旅行商品等）や手元に実物が無い商品の商談の際、商品の売り手である説明員が買い手である顧客に対面して商品の説明をする場面では、パンフレットのような紙媒体が用いられてきた。近年、タブレットＰＣのような、携帯性に優れていながら画面が大きく視認性に優れる携帯型電子データ表示端末の普及に伴い、上記のような対面商談の場面でも電子データ化したパンフレットを用いることが増えている。ただし、携帯型電子データ表示端末においては、携帯性を重視すると紙媒体のパンフレットほどの大きさの画面サイズとすることはできない。このため、電子データ化したパンフレットを１００％表示する際の視認性は紙媒体のパンフレットと比べて劣る。よって、携帯型電子データ表示端末を用いる場合、通常、電子データ化したパンフレットの部分的な拡大表示が行われている。

特許文献１では、画像に含まれるオブジェクトを認識して画像を分割し、分割した部分領域ごとに拡大しながら表示を行う画像処理装置が開示されている。この画像処理装置を用いれば、従来紙媒体に出力して用いられていたパンフレットの画像をそのまま用いて、携帯型電子データ表示端末上でその画像中のオブジェクト毎に拡大しながら、商品説明を行うことが可能である。

また、特許文献２では、携帯型電子データ表示端末における資料閲覧の利便性を高めるための表示技術が開示されている。具体的には、資料中の部分領域を解析し、部分領域間の関連性を取得する。そして、画面に部分領域の１つを表示した場合に、画面に表示されていない部分領域に関する情報を画面中に表示する。これにより、画面中に表示されていない部分領域についての情報をユーザが把握することが可能となる。

特許第５９８４４３９号 特許第４７６５８３１号

しかしながら、特許文献１においては、部分領域の１つが拡大表示された場合、他の部分領域に関する情報は画面に表示されないため、画像全体と拡大表示された部分領域の関係性が把握しづらい。

一方、特許文献２において、部分領域間の関連性を提示するのは、１つの部分領域のみを表示し、その他の部分領域が画面中に表示されていない時のみである。しかし、部分領域間の関連性は、資料を俯瞰的に表示している場合において必要となるケースも存在する。例えば、部分領域を順番に表示するような表示形態をとる場合、部分領域間がどのような順番で表示されていくかを俯瞰した状態で確認できることが好ましい。また、説明員は、２以上の部分領域の全体又は一部を含むような任意の領域を拡大表示する場合がある。このような場合は、その表示中の部分領域と画面表示されていない他の部分領域との関係を確認できることが望ましい。

本発明は、対象とする電子データの表示状態に依存せず、常に電子データに含まれるオブジェクト間の関連性を表示できる画像処理装置、制御方法、およびプログラムを提供することを目的とする。

本発明の請求項１に係る画像処理装置は、複数の表示単位を含むコンテンツの一部又は全体を画面に表示するコンテンツ表示手段と、前記コンテンツの関連を持つ表示単位を紐付ける表示を行う表示処理手段とから構成される画像処理装置であって、前記表示処理手段は、前記複数の表示単位のそれぞれの、前記コンテンツ表示手段による前記画面への表示有無を判定する第１の判定手段と、前記第１の判定手段により前記画面に表示されていると判定された表示単位のうち対象とする表示単位と関連を持つ表示単位の前記画面への表示有無を判定する第２の判定手段と、前記第２の判定手段により前記関連を持つ表示単位が前記画面に表示されていると判定された場合には前記対象とする表示単位と前記関連を持つ表示単位を紐付ける表示を行う第１の表示手段と、前記第２の判定手段により前記関連を持つ表示単位が前記画面に表示されていないと判定された場合には前記関連を持つ表示単位の代替となる代替オブジェクトを生成して前記画面に表示すると共に、前記対象とする表示単位と前記代替オブジェクトを紐付ける表示を行う第２の表示手段とを備えることを特徴とする。

本発明によれば、対象とする電子データの表示状態に依存せず、常に電子データに含まれるオブジェクト間の関連性を表示できる。

実施例１に係る画像処理装置としての資料表示端末を含む情報処理システムの構成を示すブロック図である。 資料表示端末が有する制御装置のハードウェア構成を示すブロック図である。 図１における資料作成端末、資料表示端末、資料データ管理サーバ、及びページ解析サーバのそれぞれの機能ブロック図である。 資料作成端末からページ解析サーバに送信されるコンテンツと、それに含まれるページ画像を説明するための図である。 ページ解析サーバのページ構造解析部が実行するページ画像の構造解析処理のフローチャートである。 図４のコンテンツの１ページ目のページ画像に対して図５の構造解析処理を実行した行なった場合を説明するための図である。 ページ解析サーバの部分領域管理部で作成される部分領域管理テーブルを説明するための図である。 シナリオデータが存在する際の、資料データ管理サーバの資料データ管理部による資料データの管理方法を説明するための図である。 資料表示端末のタッチパネルディスプレイの外観図である。 資料表示端末の表示部を構成する資料データ表示処理部が実行する資料データ表示処理の手順を示すフローチャートである。 図１０のステップＳ１００４，Ｓ１００５における資料データ表示処理時の画面表示例を示す図である。 図１０のステップＳ１００６の関連情報表示処理の手順を示すフローチャートである。 図１２ＡのステップＳ１２２４で情報が順次追加される処理対象リストを示した図である。 図１０のステップＳ１００６〜Ｓ１００９においてタッチパネルディスプレイに表示されるシナリオ編集画面の一例を示す図である。 図１３Ａの続きである。 図１２ＡのステップＳ１２０２におけるオブジェクト表示判定処理によって得られる処理対象リストの例を示す図である。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、以下の各実施例で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

（情報処理システムの構成）
図１は、実施例１に係る画像処理装置としての資料表示端末を含む情報処理システム１００の構成を示すブロック図である。

図１において、ネットワーク１２０には、システム構成要素として資料作成端末１０１、資料表示端末１０２、資料データ管理サーバ１０３、ページ解析サーバ１０４が接続されている。ネットワーク１２０は各システム構成要素１０１〜１０４間でデータの送受信可能な通信網であれば特にその形態は限定されないが、例えば、インターネットや有線ＬＡＮ、無線ＬＡＮおよびそれらの組み合わせ等が例示される。各システム構成要素１０１〜１０４はネットワーク１２０に直接、あるいは不図示のルータ、ゲートウェイ、プロキシサーバ等の接続機器を介して接続されている。もちろん、ネットワーク１２０の構成および各要素の接続機器はこれらに限定されるものではない。また、本実施例においては、資料作成端末１０１及び資料表示端末１０２はそれぞれ１台ずつネットワーク１２０に接続されているが、それぞれ複数台がネットワーク１２０に接続されていてもよい。資料作成端末１０１は資料作成者１４１が、資料表示端末１０２は資料説明者１４２が操作を行う。資料作成者１４１、資料説明者１４２はそれぞれ異なるユーザであってもよく、また、同一のユーザであっても良い。

図２は、資料表示端末１０２が有する制御装置２００のハードウェア構成を示すブロック図である。尚、資料作成端末１０１、資料データ管理サーバ１０３、及びページ解析サーバ１０４においても同様の制御装置を有するが重複するため同一の構成には同一の符号を付し、説明は省略する。

制御装置２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、記憶装置２０４、ネットワークＩ／Ｆ２０５、ディスプレイＩ／Ｆ２０６、操作入力Ｉ／Ｆ２０７、及び外部Ｉ／Ｏ２０８から構成される。

図３は、図１におけるシステム構成要素としての資料作成端末１０１、資料表示端末１０２、資料データ管理サーバ１０３、及びページ解析サーバ１０４のそれぞれの機能構成を示す機能ブロック図である。図３に示す各ブロックの機能はシステム構成要素１０１〜１０４のそれぞれが有する制御装置２００のＣＰＵ２０１でプログラムを実行することにより実行される。また、各ブロックに対応するプログラムはシステム構成要素１０１〜１０４のそれぞれが有する記憶装置２０４に保存されている。

図３（ａ）は資料作成端末１０１の機能ブロック図である。制御部３０１は資料作成端末１０１が有する制御装置２００および制御装置２００に接続された機器の制御や、各機能ブロックの処理実行の制御を行う。通信部３０２は資料作成端末１０１が有するネットワークＩ／Ｆ２０５を介してネットワーク１２０上の他の機器とデータの送受信を行う。資料作成端末１０１が有する制御装置２００のディスプレイＩ／Ｆ２０６には不図示の外部ディスプレイ（液晶ディスプレイ等）が接続される。表示部３０３はディスプレイＩ／Ｆ２０６を介して接続された外部ディスプレイにユーザインターフェイスの表示を行う。資料作成端末１０１が有する制御装置２００の操作入力Ｉ／Ｆ２０７にはキーボード、マウス、タッチパネル等の操作入力機器が接続される。操作部３０４は操作入力Ｉ／Ｆ２０７を介して接続された操作入力機器からの入力を受け付け、表示部３０３が表示するユーザインターフェイスの操作を行う。資料データ生成部３０５は、表示部３０３が表示するユーザインターフェイスを介して指定された文書データをページ解析サーバ１０４へ送信する。これにより、情報処理システム１００においてその文書データに関する資料データの生成が開始する。部分領域管理部３０６は、後に説明する部分領域のデータの管理をページ解析サーバ１０４と協働して行う。シナリオ編集部３０７は表示部３０３を介して外部ディスプレイにシナリオを編集するユーザインターフェイスを表示し、操作部３０４を介して受け付けた操作に応じてシナリオを編集する。シナリオ編集部３０７が表示するユーザインターフェイスについては後に説明を行う。

図３（ｂ）は資料表示端末１０２の機能ブロック図である。制御部３１１は資料表示端末１０２が有する制御装置２００および制御装置２００に接続された機器の制御や、各機能ブロックの処理実行の制御を行う。通信部３１２は資料表示端末１０２が有するネットワークＩ／Ｆ２０５を介してネットワーク１２０上の他の機器とデータの送受信を行う。資料表示端末１０２が有する制御装置２００のディスプレイＩ／Ｆ２０６には不図示の液晶ディスプレイが接続される。表示部３１３はディスプレイＩ／Ｆ２０６を介して接続された液晶ディスプレイにユーザインターフェイスの表示を行う。資料表示端末１０２が有する制御装置２００の操作入力Ｉ／Ｆ２０７にはタッチパネルが接続される。操作部３１４は操作入力Ｉ／Ｆ２０７を介して接続されたタッチパネルからの入力を受け付け、表示部３１３が表示するユーザインターフェイスの操作を行う。資料表示端末１０２に接続される液晶ディスプレイ及びタッチパネルからなるタッチパネルディスプレイの外観および機能については図９において後述する。

資料データ表示処理部３１５（コンテンツ表示手段）は、資料データの表示処理を行い、関連情報表示処理部３１６は、資料データの表示状態に応じて関連情報を表示し、ユーザの操作に応じてその関連情報の確認及び編集を行う。資料データ表示処理部３１５および関連情報表示処理部３１６の処理については後に説明する。

図３（ｃ）は資料データ管理サーバ１０３の機能ブロック図である。制御部３３１は資料データ管理サーバ１０３が有する制御装置２００および制御装置２００に接続された機器の制御や、各機能ブロックの処理実行の制御を行う。通信部３３２は資料データ管理サーバ１０３が有するネットワークＩ／Ｆ２０５を介してネットワーク１２０上の他の機器とデータの送受信を行う。資料データ管理サーバ１０３が有する制御装置２００の記憶装置２０４は大容量なものになっており、資料データ管理部３３３は記憶装置２０４を用いて大量の資料データの管理を行う。資料データ管理部３３３が管理する資料データの詳細については後に説明する。

図３（ｄ）はページ解析サーバ１０４の機能ブロック図である。制御部３２１はページ解析サーバ１０４が有する制御装置２００および制御装置２００に接続された機器の制御や、各機能ブロックの処理実行の制御を行う。通信部３２２はページ解析サーバ１０４が有するネットワークＩ／Ｆ２０５を介してネットワーク１２０上の他の機器とデータの送受信を行う。ページ構造解析部３２４は入力された文書データの構造を解析して後述の部分領域データを生成する。ページ構造解析部３２４の処理については図５，６において後述する。部分領域管理部３２５は、後に説明する部分領域のデータの管理を行う。

（コンテンツとページ画像）
図４は、資料作成端末１０１からページ解析サーバ１０４に送信されるコンテンツと、それに含まれるページ画像を説明するための図である。

図４に示す様に、文書データからなるコンテンツ４００は、Ｎページからなるページ画像４０１〜４０Ｎから構成される。

コンテンツ４００は、一般的な情報処理装置で扱われる文書ファイルであり、ページ画像４０１〜４０Ｎは、その文書ファイルの各ページである。例えば、ページ画像フォーマットはＪＰＥＧやＴＩＦＦファイルなどの様なラスタ画像である。

（ページ構造解析処理）
（ページ画像と構造解析例）
図５は、ページ解析サーバ１０４のページ構造解析部３２４が実行するページ画像の構造解析処理の手順を示すフローチャートである。このページ画像の構造解析処理は、ページ画像の文書構成要素に応じて、ページ画像中の複数の部分領域（表示単位）を自動解析する処理である。

処理するページ画像は、図４のコンテンツ４００に含まれる各ページ画像４０１〜４０Ｎなどである。

以下、コンテンツ４００の１ページ目のページ画像４０１に対して図５の構造解析処理を行なった場合について図６を用いて説明する。

図６（ａ）に示す様に、ページ画像４０１は、文書構成要素として、背景６００、テキスト６０１〜６０４，６０６，６０７，６０９，６１５，６１６、図形６０５，６０８，６１１〜６１３、及び表６１０，６１４がレイアウトされている。

ページ構造解析部３２４は、コンテンツ４００の全ページに対し順番に、ページ画像の構造解析処理を実行する。つまり、先頭１ページ目のページ画像４０１から処理を開始し、１ページ目が終了した後に次ページのページ画像４０２に対する処理を実行する。これを図６においては不図示だが最終ページのページ画像４０Ｎまで繰り返す。

図５の各処理は、ページ解析サーバ１０４が有する制御装置２００内のＣＰＵ２０１でプログラムを実行することにより実現される。

ステップＳ５０１で、ページ構造解析部３２４は、処理するページ番号を変数ｉに設定する。変数ｉは処理対象のコンテンツ４００の全ページ画像に対して処理を実行するためのインクリメント用のインデックスである。最初は先頭ページ番号の１を設定する。

ステップＳ５０２で、ページ構造解析部３２４は、ページ解析サーバ１０４が有する記憶装置２０４に保存されているコンテンツ４００のｉページ目のページ画像を読み込む。

ステップＳ５０３で、ページ構造解析部３２４は、読み込んだページ画像に対して文書構成要素に応じて部分領域を認識する。

例えば、図６（ｂ）は、ページ構造解析部３２４が、図６（ａ）のページ画像４０１に対してステップＳ５０３を実行し、文書構成要素に応じて部分領域を自動解析した結果である。自動解析された各部分領域は、図６（ｂ）において矩形の点線で示す。

図６（ａ），（ｂ）において、背景６００は部分領域６２０として自動解析される。同様に、テキスト６０１〜６０４，６０６，６０７，６０９，６１５，６１６は、部分領域６２１〜６２４，６２６，６２７，６２９，６２５，６２６として自動解析される。また、図形６０５，６０８，６１１〜６１３は、部分領域６２５，６２８，６３１〜６３３として自動解析され、表６１０，６１４は部分領域６３０，６３４として自動解析される。

ステップＳ５０４で、ページ構造解析部３２４は、各部分領域の座標と幅高を認識する。

例えば、図６（ｃ）は、ページ構造解析部３２４が、図６（ｂ）で自動認識された複数の部分領域６２０〜６３６のうち部分領域６３１の座標と幅高を認識した結果である。

ステップＳ５０４で認識される座標は、各部分領域の左上の座標であり、背景領域属性の部分領域６２０（ページ画像４０１全体と同じ範囲の領域）の左上を原点とする座標系で表現される。よって、部分領域６３１の座標として、原点から部分領域６３１の左上の座標までのＸ軸方向の距離Ｘ３１、及び、原点から部分領域６３１の左上の座標までのＹ軸方向の距離Ｙ３１が認識される。

また、部分領域６３１の幅高として、部分領域６３１のＸ軸方向の長さＷ３１、及び、Ｙ軸方向の長さＨ３１が認識される。

ステップＳ５０５で、ページ構造解析部３２４は、ＯＣＲ処理を実行し、ステップＳ５０３で認識された各部分領域に文字があるか判定する。文字がある場合は（ステップＳ５０５でＹＥＳ）、ステップＳ５０６に進む。文字が無い場合は（ステップＳ５０５でＮＯ）、ステップＳ５０８に進む。

ステップＳ５０６で、ページ構造解析部３２４は、ＯＣＲ処理結果より文字サイズを取得する。

ステップＳ５０７で、ページ構造解析部３２４は、ＯＣＲ処理結果より文字方向を認識する。文字方向とは書字方向のことであり、文字が横書きか、縦書きかを示す。

ステップＳ５０８で、ページ構造解析部３２４は、各部分領域の領域属性を認識する。領域属性とは、文書構成要素に対応する属性を示すものであり、タイトル、テキスト、ヘッダ、フッタ、表、図、背景、等の属性である。

ステップＳ５０９で、ページ構造解析部３２４は、各部分領域の表示順序を決定する。表示順序は、ステップＳ５０４，Ｓ５０７において認識された各部分領域の文字方向、座標、幅高に応じて決定する。基本的に、文字方向が横書きの場合は、ページ画像中の左上に位置する部分領域から右下に位置する部分領域へ表示順序を決定する。文字方向が縦書きの場合は、ページ画像中の文字を有する部分領域のうち、右上に位置する部分領域から左下に位置する部分領域へ表示順序を決定する。

図６（ｂ）の例では文字方向が横向きである。よって、部分領域６２１の表示順序は１、部分領域６２２の表示順序は２、部分領域６２３の表示順序は３というように、ページ画像４０１中の文字を有する部分領域のうち、左上に位置する部分領域から右下に位置する部分領域へ表示順序を決定する。以下、部分領域６２４〜６３６への表示順序はそれぞれ４〜１６と決定される。尚、背景である部分領域６２０は原点の座標を含むため、表示順序は０に決定される。すなわち、後述の資料データ表示処理部３１５の表示処理において、ステップＳ５０９で表示順序が０に決定された部分領域については部分領域ごとの拡大表示を行わない。

なお、ステップＳ５０９で決定される表示順序は後に説明するシナリオデータが無いときの表示順序である。また、シナリオデータ上の表示順序の初期値としても使用可能である。

ステップＳ５１０で、ページ構造解析部３２４は、ステップＳ５０３〜Ｓ５０９を実行することにより得られた各部分領域に関する情報を部分領域データとして保存する。実際には、ページ構造解析部３２４は、部分領域管理部３２５に部分領域データを送信すると、部分領域管理部３２５が送信された部分領域データを保存すると共に、部分領域データを管理するための部分領域管理テーブルを作成する。この部分領域管理テーブルについては図７において詳述する。

ステップＳ５１１で、ページ構造解析部３２４は、次ページを処理するために変数ｉを１つインクリメントする。

ステップＳ５１２で、ページ構造解析部３２４は、変数ｉが処理中のコンテンツ４００のページ数を越えたか否かを判定する。変数ｉがページ数を越えていない場合は、ステップＳ５０２に戻り、次ページのページ画像についてステップＳ５０２〜Ｓ５１０の処理を繰り返した後、ステップＳ５１１，Ｓ５１２を実行する。

変数ｉが処理中のコンテンツ４００のページ数を越えた場合は、処理対象のコンテンツの全ページ画像に対する処理が完了しているため、本処理を終了する。

（部分領域データの管理）
図７は、ページ解析サーバ１０４の部分領域管理部３２５で作成される部分領域管理テーブルを説明するための図である。

部分領域管理部３２５は、図５のステップＳ５１０においてページ構造解析部３２４から送信された部分領域データを保持・管理すべく、部分領域管理テーブルを作成する。その後、部分領域管理部３２５は、部分領域データ及び部分領域管理テーブルをページ解析サーバ１０４が有する制御装置２００のＲＡＭ２０３や記憶装置２０４などに保存する。また、作成された部分領域管理テーブル７００は資料データ管理サーバ１０３にも送信される。

図７に示すように、部分領域管理テーブル７００の行方向には部分領域データの項目７０１〜７０９が並ぶ。尚、図７にある部分領域７２１は実際には部分領域管理テーブルにおいて管理される項目ではないが、図６（ｂ）における各部分領域との対応付けを明確とするため記載する。

まず、部分領域管理テーブル７００の行方向に関して説明する。

部分領域データの各項目は、ページ番号７０１、部分領域番号７０２、座標７０３、幅高７０４、領域属性７０５、表示設定７０６、文字方向７０７、文字サイズ７０８、表示順序７０９である。

ページ番号７０１は、部分領域が含まれるページ画像のページ番号である。

部分領域番号７０２は、部分領域を識別するための番号である。図７に示すように、図５のステップＳ５０９で決定される、１ページのページ画像における各部分領域の表示順序がこの番号として表示される。

各部分領域は、ページ番号７０１と部分領域番号７０２により、コンテンツ内で一意に識別することができる。

座標７０３は、図５のステップＳ５０４で認識される、各部分領域の左上の座標である。幅高７０４は、ステップＳ５０４で認識される、各部分領域の幅と高さである。上述した通り、例えば図６（ｃ）に示す部分領域６３１については、座標７０３の情報として（Ｘ３１，Ｙ３１）が管理され、幅高７０４の情報として（Ｗ３１，Ｈ３１）が管理される。

領域属性７０５は、図５のステップＳ５０８で認識される、各部分領域の領域属性である。具体的には、領域属性７０５の情報として、タイトル、テキスト、ヘッダ、フッタ、表、図、背景等の属性の１つが管理される。

表示設定７０６は、プレゼンテーション処理で部分領域を表示するか非表示にするかの設定を示す。プレゼンテーション処理にて表示される部分領域は「表示」と設定する。プレゼンテーション処理にて非表示にされる部分領域は「非表示」と設定する。

文字方向７０７は、図５のステップＳ５０７で認識される、文字が含まれる部分領域における文字方向（書字方向）である。文字方向が横書きの場合は「横」と設定する。文字方向が縦書きの場合は「縦」と設定する。

文字サイズ７０８は、文字が含まれる部分領域における文字サイズである。

表示順序７０９は、図５のステップＳ５０９で決定される、１ページのページ画像における各部分領域の表示順序である。後に説明するシナリオデータが作成された際、そのシナリオデータに従って、図７に示す表示順序７０９は変更する。

次に、部分領域管理テーブル７００の列方向に関して説明する。

部分領域管理テーブル７００の１行は、１つの部分領域データに相当する。例えば、図６（ｂ）のページ画像４０１では、１７個の部分領域６２０〜６３６が存在するため、図７の部分領域管理テーブル７００にページ番号７０１が１である部分領域データが１７列で管理される。

同様に、部分領域管理テーブル７００は、コンテンツ４００の全ページ画像４０１〜４０Ｎに含まれる全部分領域データを管理する。

部分領域７２１は、図６（ｂ）におけるページ解析で抽出した各部分領域を示す。

（コンテンツと部分領域管理テーブルの管理）
前述したコンテンツ４００と部分領域管理テーブル７００はページ解析サーバ１０４から資料データ管理サーバ１０３に送信され、資料データ管理部３３３によって資料データ管理サーバ１０３の記憶装置２０４上で保存・管理される。

以下、図８を用いて、資料作成端末１０１のシナリオ編集部３０７により編集されたシナリオデータが存在する際の、資料データ管理サーバ１０３の資料データ管理部３３３による資料データの管理方法について説明する。

図８（ａ）は資料データ管理部３３３による資料データの管理方法の模式図である。資料データ管理部３３３は資料データ管理サーバ１０３の記憶装置２０４上にデータＩＤ管理領域８０１を持ち、その記憶装置２０４上にデータを保存するときにデータＩＤ管理領域８０１上の未使用ＩＤを使って保存データに一意のＩＤを割り当てる。例えば、資料データ管理部３３３は、コンテンツ４００を保存するときにはコンテンツＩＤ８０２を、部分領域管理テーブル７００を保存するときには部分領域管理テーブルＩＤ８０３を割り当てる。また、資料データ管理部３３３は、部分領域管理テーブル７００を保存するときには、その保存時にページ構造解析部３２４から送信されたコンテンツ４００のコンテンツＩＤ８０５を部分領域管理テーブル７００のヘッダとして一緒に保存する。

また、資料データ管理部３３３は資料データ管理サーバ１０３の記憶装置２０４上にデータ名称管理領域８０６を持つ。データ名称管理領域８０６はデータＩＤ管理領域８０１にあるＩＤに対して文字列からなるデータ名称が保持される領域である。資料データ管理部３３３は、データ名称でデータが指定された場合そのデータのＩＤをデータ名称管理領域８０６から取得できるよう、データ名称が存在するデータについてはそのデータ名称とＩＤを対応づけて管理する。

図８（ｂ）はコンテンツ４００中の部分領域の表示順序と表示時間を表すシナリオデータ８１０を示した図である。

シナリオデータ８１０は資料作成端末１０１のシナリオ編集部３０７により編集されるテーブル形式のデータであり、１行毎に１つの部分領域の表示方法を示す表示単位情報が示される。表示単位情報は、コンテンツＩＤ８１１、部分領域管理テーブルＩＤ８１２、ページ番号８１３、部分領域番号８１４を持ち、これにより表示する部分領域及びその部分領域データを特定することができる。さらに表示単位情報は表示時間８１５を持つ。実際に資料表示端末１０２でコンテンツ４００を表示する際には、シナリオデータ８１０のある行において特定される部分領域の表示の開始後その行の表示時間８１５に示す時間が経過したときに、自動的に次の行において特定される部分領域を表示してもよい。また、表示時間８１５は目安としての時間であって、シナリオデータ８１０の次の行において特定される部分領域の表示は資料説明者１４２の操作を待って行うようにしても良い。図８（ｂ）のシナリオデータ８１０の２行目で特定される部分領域（本実施例では部分領域６２６）のように、表示時間８１５として「設定なし」を表す値（本実施例では０）を設定することもできる。但し、その場合は、その部分領域（本実施例では部分領域６２６）が資料表示端末１０２で表示された後、必ず資料説明者１４２の操作を待ってシナリオデータ８１０の次の行において特定される部分領域の表示を行う。

また、図８（ａ）に示すように、シナリオデータ８１０は、資料作成端末１０１から資料データ管理サーバ１０３に送信されると、資料データ管理サーバ１０３の記憶装置２０４上に保存される。この保存の際、資料データ管理部３３３は、データＩＤ管理領域８０１にシナリオデータ８１０のシナリオＩＤ８０４を割り当てる。

なお、シナリオデータ８１０と、シナリオデータ８１０において参照されているコンテンツ４００及び部分領域管理テーブル７００とを、併せて１組の資料データと呼ぶ。資料データ管理サーバ１０３は、図８に示す資料データの管理方法により、複数の資料データを保存・管理することが可能である。

（資料表示端末の詳細）
図９は、資料表示端末１０２の表示部３１３を構成するタッチパネルディスプレイ９０１の外観図である。図９において不図示であるが、タッチパネルディスプレイ９０１は、資料表示端末１０２のディスプレイＩ／Ｆ２０６と操作入力Ｉ／Ｆ２０７（図２）に接続される。

タッチパネルディスプレイ９０１は、幅をＷ００、高さをＨ００の大きさを有しており、この幅高の情報は資料表示端末１０２の記憶装置２０４で予め保持される。タッチパネルディスプレイ９０１の液晶ディスプレイの部分は資料表示端末１０２のディスプレイＩ／Ｆ２０６に接続され、画像の表示を行うことができる。資料表示端末１０２の表示部３１３はディスプレイＩ／Ｆ２０６を制御してタッチパネルディスプレイ９０１にコンテンツ４００の表示と、コンテンツ４００への操作を受け付けるユーザインターフェイスを表示する。また、タッチパネルディスプレイ９０１のタッチパネルの部分は資料表示端末１０２の操作入力Ｉ／Ｆ２０７に接続され、資料説明者１４２がタッチパネルディスプレイ９０１上にタッチした時にその座標（タッチ座標）を受け取ることができる。資料表示端末１０２の操作部３１４は操作入力Ｉ／Ｆ２０７を制御してタッチ座標を受信し、タッチ座標とその時間変化、同時にタッチしている数から資料説明者１４２の操作（タップ、スワイプ等）を判別する。資料データ表示処理部３１５は表示部３１３と操作部３１４を介して資料データの表示と資料説明者１４２の操作への応答を行う。

ここまでの記載により、本実施例で扱う資料データの構成および情報処理システムの全体構成についての説明を行った。ここから、資料表示端末１０２が資料データを表示する際の表示形態について、フローチャートと３つの表示例を表した図を用いて説明を行う。

（資料データの表示処理）
図１０（ａ），（ｂ）のフローチャートを用いて、資料表示端末１０２の資料データ表示処理部３１５が実行する資料データ表示処理の説明を行う。資料データ表示処理は、１つのシナリオデータ８１０と、そこから参照されるコンテンツ４００、部分領域管理テーブル７００から成る、１組の資料データを対象として処理を行う。本実施形態では、資料表示端末１０２において、資料説明者１４２が資料データの構成を確認・編集する場面の表示形態について述べていく。

資料データ表示処理を開始すると、ステップＳ１００１〜Ｓ１０１０までの処理は、シナリオデータ８１０に含まれる表示単位情報を先頭行から１行ずつを対象として順次処理を行う。

まず、ステップＳ１００１では、シナリオデータ８１０から処理対象行を設定する。

ステップＳ１００２では、処理対象行の表示単位情報のうちコンテンツＩＤ８１１の情報を取得し、その情報に基づきコンテンツ４００を取得する。さらに部分領域管理テーブルＩＤ８１２、ページ番号８１３、部分領域番号８１４から特定される部分領域の部分領域データを取得する。

ステップＳ１００３では、ステップＳ１００２で取得した部分領域データに含まれる領域属性７０５が背景かどうかを判定する。ステップＳ１００３で背景と判断されたらステップＳ１００４へ進み、図１１（ａ）に示すように、ページ全体の表示を行う。尚、背景の部分領域の表示順序は図５のステップＳ５０９において必ず０に設定されるため、ステップＳ１００３の判定を、領域属性７０５が背景か否かではなく、部分領域番号７０２が０か否かに基づき行うようにしてもよい。ステップＳ１００３で背景以外と判定されたらステップＳ１００５に進み、図１１（ｂ）に示すように、ステップＳ１００２で特定された部分領域拡大表示処理を行う。部分領域拡大表示処理の詳細については後述する。

ステップＳ１００４におけるページ全体表示、またはステップＳ１００５における部分領域拡大表示のいずれかが行われた後、ステップＳ１００６に進み、関連情報表示処理を行う。関連情報表示処理の詳細については後述する。

ステップＳ１００６で関連情報表示処理が終了すると、ステップＳ１００７に進み、資料説明者１４２の操作を待つ。資料説明者１４２の操作を検知すると、ステップＳ１００８に進み、その検知された操作がシナリオの遷移操作であるかそれ以外の操作であるかを判定する。シナリオの遷移操作とは、シナリオに沿って表示を進めたり、一つ前の表示に戻ったりするための操作である。例えば、このシナリオの遷移操作には、画面上の右半分の領域のタップ操作が検知された場合にシナリオを進ませ、画面上の左半分の領域をタップした場合にシナリオを戻すなどといったジェスチャ操作や、画面上に表示したボタン押下などが考えられる。

ステップＳ１００８でシナリオの遷移操作であると判定された場合は、ステップＳ１０１０に進む。一方、ステップＳ１００８でシナリオの遷移操作以外の操作であると判断された場合は、ステップＳ１００９に進み、検知された操作に対応し、画面表示を更新する。

ステップＳ１００９における画面表示の更新は、例えば、ステップＳ１００７で検知された操作がピンチアウト操作である場合は、画面の一部に表示される画像を拡大するよう更新する。また、ステップＳ１００７で検知された操作がドラッグ操作である場合は、ステップＳ１００９においてステップＳ１００２で特定される部分領域が含まれるページ画像における画面の表示範囲を移動するよう更新する。尚、ステップＳ１００３で背景と判断された場合は、このドラッグ操作により他のページ画像に画面の表示範囲を移動するよう更新する。

このように、ステップＳ１００９において資料データの表示状態をステップＳ１００７で検知された操作に応じて更新した後、ステップＳ１００６に戻り、関連情報表示処理を行う。

尚、ステップＳ１００６〜Ｓ１００９においては、後述する図１３Ａ，１３Ｂに示すシナリオ編集画面が表示される。

ステップＳ１０１０では、ステップＳ１００８で判定されたシナリオの遷移操作の内容に従って、ステップＳ１００１〜Ｓ１０１０のループ処理における処理対象行を再設定し、ステップＳ１００２に進む。例えば、シナリオの遷移操作の内容が一つ前のシナリオを表示するという指示である場合は、現在の処理対象行の一つ上の行を処理対象行に再設定する。一方、現在の処理対象行がシナリオデータ８１０の最終行であって、シナリオの遷移操作の内容が一つ後のシナリオを表示するという指示である場合は、このループ処理を抜けて、資料データ表示処理部３１５は本処理を終了する。

（部分領域の拡大表示処理）
図１０（ｂ）のフローチャートを用いて、資料データ表示処理部３１５により実行される図１０（ａ）のステップＳ１００５の部分領域拡大表示処理について説明する。

この処理は、部分領域毎に適切な表示拡大率と表示座標を設定し、部分領域毎に領域全体が資料表示端末１０２のタッチパネルディスプレイ９０１（表示部３１３）で表示される様に拡大表示する処理である。

ステップＳ１０２１で、ステップＳ１００２で特定された部分領域の部分領域データの幅高７０４の情報と資料表示端末１０２の記憶装置２０４に保持されるタッチパネルディスプレイ９０１の幅高の情報に基づき表示拡大率を決定する。

表示拡大率は、一旦、幅方向と高さ方向の拡大率を各々計算し、計算された拡大率の値が低い方を表示拡大率として設定する。例えば、図７の部分領域管理テーブル７００の２行目の部分領域データ（ページ番号＝１、部分領域番号＝１）の場合は、幅方向の拡大率Ｗ００／Ｗ２１と高さ方向の拡大率Ｈ００／Ｈ２１を比較する。この比較の結果、値が低い方を該当部分領域の表示拡大率に設定する。

ステップＳ１０２２で、ステップＳ１００２で特定された部分領域の部分領域データの座標７０３と幅高７０４の情報に基づき、部分領域の中心座標にタッチパネルディスプレイ９０１の中心座標を設定する。これより、部分領域がタッチパネルディスプレイ９０１の中央に表示される。例えば、図７の部分領域管理テーブル７００の２行目の部分領域データ（ページ番号＝１、部分領域番号＝１）の場合は、まず、部分領域の中央座標（Ｘ２１＋（Ｗ２１／２），Ｙ２１＋（Ｈ２１／２））を算出する。その後、その算出された中央座標に、タッチパネルディスプレイ９０１の中央座標（Ｗ００／２，Ｈ００／２）を設定する。

ステップＳ１０２３で、ステップＳ１０２１で設定した表示拡大率とステップＳ１０２２で設定した中心座標に従い、部分領域をタッチパネルディスプレイ９０１に表示した後、本処理を終了する。

（関連情報表示処理）
図１２Ａ（ａ），（ｂ）のフローチャート及び図１２Ｂの処理対象リストを用いて、図１０のステップＳ１００６の関連情報表示処理の説明を行う。その後、本発明を説明するのに適した３つの事例を図１３Ａ（ａ）〜（ｆ）及び図１３Ｂ（ａ）〜（ｅ）を用いて説明する。

まず、図１２Ａ（ａ）の関連情報表示処理を開始すると、ステップＳ１２０１では、表示済みの関連情報の初期化を行う。すなわち、資料データの表示状態がステップＳ１００４，Ｓ１００５のいずれかで変更されたことに伴い、関連情報の表示形態も変更する必要がある。そのため、図１０の処理の開始後すでに関連情報の表示がされている場合は、その関連情報を初期化する。これにより、タッチパネルディスプレイ９０１の表示領域においてその関連情報は非表示となる。

ステップＳ１２０２では、表示領域中に関連情報の表示対象となるオブジェクトが表示されているかを判定するオブジェクト表示判定処理を実行する。オブジェクト表示判定処理については、図１２Ａ（ｂ）のフローチャートを用いて説明する。

図１２Ａ（ｂ）のステップＳ１２２１〜Ｓ１２２５までの処理は、現在表示中のページ画像に含まれる各部分領域の部分領域データについて順次処理を行った後に終了するループ処理である。より具体的には、まず、現在表示中のページ画像に含まれる各部分領域の部分領域データを部分領域管理テーブル７００から取得する。その後、その取得した部分領域データを部分領域番号７０２の若い順に１行ずつ順次処理を行った後に終了するループ処理である。すなわち、ループの対象とする部分領域データのページ番号７０１は、現在表示しているページ画像のページ番号と一致する。

ステップＳ１２２２では、処理対象とする部分領域（オブジェクト）がタッチパネルディスプレイ９０１に表示されている面積割合を算出する。具体的には、この面積割合は、処理対象行の部分領域データに含まれる座標７０３と幅高７０４および、タッチパネルディスプレイ９０１の後述する図１３Ａ（ａ）の資料表示領域１３０２の幅高から算出される。尚、ステップＳ１００５において部分領域拡大表示処理が行われていた場合はその表示拡大率も加味した形で算出される。

ステップＳ１２２３では、ステップＳ１２２２で算出した面積割合が閾値以上であるかどうかの判定、すなわち、タッチパネルディスプレイ９０１への表示有無の判定を行う。閾値は、予め固定値に設定してもよいし、オブジェクトの表示拡大率やその部分領域データに含まれる領域属性７０５などに応じて異なる値に設定してもよい。ステップＳ１２２３で閾値以上であると判定されたら、オブジェクトが表示されていると判断し、ステップＳ１２２４へ進む。ステップＳ１２２３で閾値未満であると判定されたら、オブジェクトが表示されていないと判断し、ステップＳ１２２５へ進む。

ステップＳ１２２４では、オブジェクトの情報を処理対象リスト１２３０の本体オブジェクトの情報として追加する。

図１２Ｂは、図１２ＡのステップＳ１２２４で情報が順次追加される処理対象リスト１２３０を示した図である。処理対象リスト１２３０はテーブル形状となっており、テーブルの１行は、１つの関連情報に相当する。ここで関連情報とは、１つの部分領域（本体オブジェクト）の情報、及び本体オブジェクトに紐付けられる部分領域（関連オブジェクト）の情報からなる。具体的には、処理対象リスト１２３０は、本体オブジェクトのページ番号１２３１、部分領域番号１２３２、関連オブジェクトのページ番号１２３３、部分領域番号１２３４の４つの項目を有し、関連を持つ部分領域の組み合わせを一意に特定することができる。さらに、処理対象リスト１２３０は、本体オブジェクトと関連オブジェクトがどのような関連を持っているかを示す関連性情報１２３５の項目を有する。関連性情報１２３５は、例えば、表示順序など関連の仕方に方向性がある場合に、その主従関係を保存するなど、表示時の表示形態を決定するために利用する。また、主従関係だけでなく、関連の度合など数値情報を関連性情報１２３５として保存してもよい。

本実施例のように表示順番（シナリオ）が設定されるという形で間接的に部分領域同士の関連性が表現されている場合が存在する。そのような場合においても、ステップＳ１２２４で情報の変換を行い、処理対象リスト１２３０中に記載する。例えば、本実施例であれば、シナリオデータ８１０中のページ番号８１３および部分領域番号８１４が部分領域どうしの関連性を表している。よってステップ１２２４では、シナリオデータ８１０において、処理対象リスト１２３０の本体オブジェクトである部分領域の前後に存在する部分領域が、本体オブジェクトと主と従の関係を持つ関連オブジェクトであると判断する。さらに、この関連オブジェクトの情報が処理対象リスト１２３０の本体オブジェクトの情報の１つと一致する場合、その関連オブジェクトの情報を処理対象リスト１２３０に追加する。処理対象リスト１２３０の本体オブジェクトの全てに対してかかる追加処理が完了した後にステップＳ１２２５へ進む。

ステップＳ１２２１〜Ｓ１２２５のループ処理を終了すると、本処理を終了し、図１２Ａ（ａ）のステップＳ１２０３へ進む。

なお、本実施例では、ステップＳ１２２３では、オブジェクトが表示されているか否かをステップＳ１２２２で算出された面積割合に基づいて判断したが、他の判定方法をとってもよい。例えば、ページ単位で表示を行う形式をとる場合、関連オブジェクトが現在の表示中のページ画像に含まれるかどうかでオブジェクトの表示・非表示を決定してもよい。

ステップＳ１２０３〜Ｓ１２０７までの処理は処理対象リスト１２３０の関連情報を先頭行から１行ずつを対象として順次処理を行い、最後の関連情報まで処理を終えたら終了するループ処理である。

ステップＳ１２０４では、ステップＳ１２０２で取得した処理対象リスト１２３０の処理対象の関連情報に本体オブジェクトの情報だけでなく関連オブジェクトの情報も含まれている場合、対象とする関連オブジェクトが画面上に存在すると判定する。一方、関連オブジェクトの情報は含まれていない場合、対象とする関連オブジェクトは画面上に存在しないと判定する。ステップＳ１２０４で対象とする関連オブジェクトが画面上に存在すると判定されたらステップＳ１２０６に進み、ステップＳ１２０４で対象とする関連オブジェクトが画面上に存在しないと判定されたらステップＳ１２０５に進む。

ステップＳ１２０５では、シナリオデータ８１０から、処理対象の関連情報から特定される本体オブジェクト（部分領域）の前後に存在する部分領域の情報を対象とする関連オブジェクトの情報として取得する。その後、その取得した情報に基づき代替となる代替オブジェクトの生成・表示を行う。代替オブジェクトとは、表示されていない関連オブジェクトの存在を表すために画面中に表示するオブジェクトであり、例えば関連オブジェクトをサムネイル化したものやエリア情報を表記したアイコンなどである。代替オブジェクトは、対象とする関連オブジェクトを表すものであればどのような表示形態でもよい。代替オブジェクトは、ページ画像の表示領域上だけではなく、ページ画像の表示領域外に表示するようにしてもよい。また、代替オブジェクトの表示位置は対象とする関連オブジェクトと本体オブジェクトの関連性が視認できる位置であればどのような形態でもよい。例えば、本体オブジェクトが表示される領域の近くに代替オブジェクトを表示してもよい。本体オブジェクトと対象とする関連オブジェクトの位置関係に基づいて代替オブジェクトの表示位置を決定してもよい。代替オブジェクトのサイズは、対象とする関連オブジェクトの幅高と代替オブジェクトが表示される領域の幅高のサイズ比などを考慮して調整することが好ましい。代替オブジェクトの生成・表示が完了した後にステップＳ１２０６に進む。

ステップＳ１２０６では、オブジェクト間の紐づけ表示を行う。ステップＳ１２０４において対象とする関連オブジェクトが画面上に存在すると判定された場合は本体オブジェクトと対象とする関連オブジェクトの間の関連性を表す表示を行う。一方、ステップＳ１２０４において対象とする関連オブジェクトが画面上に存在しないと判定された場合は、本体オブジェクトとステップＳ１２０５で生成された代替オブジェクトの間の関連性を表す表示を行う。関連性を表す表示とは、例えばオブジェクト間を線で結ぶことによる紐づけや表示や、矢印をつなぐことによって順序関係を表現するような表示などである。なお、表示の形態は一意ではなく、オブジェクト間の関連性に応じて、形態を変更してもよい。例えば、関連性に数値的な大小がある場合には、色彩や形状を変化させ、表示でその大小関係が把握できるような表示をしてもよい。紐づけ表示を完了するとステップＳ１２０７に進む。

ステップＳ１２０７では、ステップＳ１２０３〜Ｓ１２０７のループ処理の対象となる関連情報を変更する。ステップＳ１２０３〜Ｓ１２０７のループ処理を処理対象リスト１２３０に存在する関連情報の全てを対象として実行を終了すると、ループ処理を抜けて、関連情報表示処理部３１６は本処理を終了する。

次に、関連情報表示処理の具体例を説明する。

図１３Ａ，１３Ｂは、図１０のステップＳ１００６〜Ｓ１００９においてタッチパネルディスプレイ９０１に表示されるシナリオ編集画面の一例を示す図である。ここで、シナリオ編集画面とは、資料表示端末１０２を操作する資料説明者１４２が、資料データの確認または編集を行うため画面である。

図１３Ａ，１３Ｂに示すように、シナリオ編集画面１３０１において、資料表示領域１３０２にコンテンツ４００の１つのページ画像の全体又は一部が表示される。また、資料表示領域１３０２の周辺に代替オブジェクトを表示するための領域１３０３が確保されている。資料説明者１４２は、シナリオ編集画面１３０１に表示された操作ボタン１３０６〜１３０８やタッチパネルから得られるジェスチャなどを用いて表示資料に対しての操作を行う。

初めに、コンテンツ４００のページ画像４０１の全体が資料表示領域１３０２で表示された図１３Ａ（ａ）の状態で図１２Ａの関連情報表示処理が開始された場合について説明する。なお、表示されるコンテンツ４００には、シナリオデータ８１０が設定されているものとする。

図１３Ａ（ｂ）は、図１３Ａ（ａ）の表示状態に対して、図１２Ａ（ａ）のステップＳ１２０２のオブジェクト表示判定処理（図１２Ａ（ｂ））を実行したときの状態を説明するための図である。図１３Ａ（ｂ）では、図１４（ａ）に示す処理対象リスト１４１０に本体オブジェクトの情報として追加された部分領域が網掛部１３１１〜１３２０として表されている。図１３Ａ（ａ）の場合、図１３Ａ（ｂ）の網掛部１３１１〜１３２０、つまりページ画像４０１中の全ての部分領域が表示されていると判定される。よって、ページ画像４０１中の全ての部分領域の情報が本体オブジェクトの情報として処理対象リスト１４１０に追加される。なお、図１３Ａ（ｂ）に示す部分領域の網掛部１３１１〜１３２０は本実施例の説明のために便宜的に表示しているものであり、実際の処理時には網掛表示は行われない。

図１３Ａ（ｃ）は図１３Ａ（ａ）の表示状態に対して関連情報表示処理を実行し、オブジェクト間の紐付け表示が行われた状態を示す。図１３Ａ（ｃ）においては、対象とする関連オブジェクトとなる、網掛部１３１２，１３１６，１３１７，１３１９，１３２０の部分領域がすべて画面上に存在するため、これらの部分領域間に直接関連性を表す表示１３２１〜１３２４がなされる。すなわち、これらの部分領域間を直接紐付ける表示を行う。本実施例では、処理対象リスト１４１０の関連性１４０５に示す主従関係に応じて関連性を表す表示の矢印方向を決定している。この例のように、対象とする関連オブジェクトとなる部分領域が全て表示されている場合は、これらの部分領域間で直接関連性を表す表示を行うことによって、資料説明者１４２に明確に関連性を提示することが可能となる。

次に、図１３Ａ（ｃ）の表示状態に対して画面拡大操作が行われた場合の例について、図１３Ａ（ｄ）〜（ｆ），図１３Ｂ（ａ）を用いて説明する。

図１３Ａ（ｄ）は、図１３Ａ（ｃ）の表示状態において、ステップＳ１００８で資料説明者１４２が、範囲１３２５を表示するように画面拡大操作を行ったことを示す図である。資料表示端末１０２では、資料説明者１４２からの画面拡大操作が検出された場合ステップＳ１００９で表示の更新を行い、図１３Ａ（ｅ）のように範囲１３２５の部分を拡大したページ画像４０１の画像１３３１を資料表示領域１３０２に表示する。この表示状態に対して関連情報表示処理が実行された場合について説明する。

図１３Ａ（ｆ）は、図１３Ａ（ｅ）の表示状態に対してオブジェクト表示判定処理を実行したときの状態を説明するための図である。図１３Ａ（ｆ）では、図１４（ｂ）に示す処理対象リスト１４２０に本体オブジェクトの情報として追加された部分領域が網掛部１３１６〜１３１８として表されている。このように、画面拡大操作により画面中に表示されている部分領域はページ画像４０１中の部分領域の一部となった場合、図１３Ａ（ｆ）の網掛部１３１６〜１３１８の部分領域のみが表示されていると判定される。この場合、網掛部１３１６〜１３１８の部分領域の情報が本体オブジェクトの情報として処理対象リスト１４２０に追加される。その後、処理対象リスト１４２０の各行の関連情報に対して順次関連情報表示処理が実行される。

図１３Ｂ（ａ）は、図１３Ａ（ｅ）の表示状態に対して関連情報表示処理を実行し、オブジェクト間の紐付け表示が行われた状態を示す。図１３Ａ（ｅ）においては、対象とする関連オブジェクトとなる、網掛部１３１６，１３１７の部分領域は共に画面上に存在するため、これらの部分領域間に直接関連性を表す表示１３４４がなされる。一方、図１３Ａ（ｅ）においては、対象とする関連オブジェクトとなる、図１３Ａ（ｃ）の網掛部１３１２，１３１９の部分領域は画面上に存在していない。よって、図１３Ａ（ｃ）に示す、網掛部１３１２，１３１７の部分領域間の関連性を表す表示１３２１や、網掛部１３１６，１３１９の部分領域間の関連性を表す表示１３２３のようにオブジェクト間で直接紐づけができない。この場合、画面上に存在していない網掛部１３１２，１３１９の部分領域について代替オブジェクト１３４１，１３４２を生成し、領域１３０３に表示する。本実施例においては、代替オブジェクト１３４１，１３４２として、網掛部１３１２，１３１９の部分領域（関連オブジェクト）の画像それぞれをサムネイル化した画像が用いられる。その後、領域１３０３に表示された代替オブジェクト１３４１，１３４２のそれぞれに対し、表示中の部分領域との関連性を表す表示１３４３，１３４５がなされる。この例のように、対象とする関連オブジェクトとなる部分領域の一部が画面操作によって資料表示領域１３０２に表示されなくなった場合、代替オブジェクトを領域１３０３に表示し、その代替オブジェクトと表示中の部分領域との間で関連性を表す表示を行う。よって、資料説明者１４２に関連情報を提示することが可能となる。

最後に、図１３Ｂ（ａ）の表示状態に対して画面移動操作が行われた場合の例について、図１３Ｂ（ｂ）〜（ｅ）を用いて説明する。

図１３Ｂ（ｂ）は、図１３Ｂ（ａ）の表示状態において、ステップＳ１００８で資料説明者１４２が、範囲１３２５から範囲１３５１を表示するように画面移動操作が行われたことを示す図である。資料表示端末１０２では、資料説明者１４２からの画面移動操作が検出された場合ステップＳ１００９で表示の更新を行い、図１３Ｂ（ｃ）のように範囲１３５１の部分を拡大したページ画像４０１の画像１３６１を資料表示領域１３０２に表示する。この表示状態に対して関連情報表示処理が実行された場合について説明する。

図１３Ｂ（ｄ）は、図１３Ｂ（ｃ）の表示状態に対してオブジェクト表示判定処理を実行したときの状態を説明するための図である。図１３Ｂ（ｄ）では、図１４（ｃ）に示す処理対象リスト１４３０に本体オブジェクトの情報として追加された部分領域が網掛部１３１２，１３１３，１３１６，１３１７として表されている。このように、画面移動操作によって、画面中に表示されている部分領域が変わった場合、図１３Ｂ（ｄ）の網掛部１３１２，１３１３，１３１６，１３１７の部分領域のみが表示されていると判定される。この場合、網掛部１３１２，１３１３，１３１６，１３１７の部分領域の情報が本体オブジェクトの情報として処理対象リスト１４２０に追加される。その後、処理対象リスト１４２０の各行の関連情報に対して順次関連情報表示処理が実行される。

図１３Ｂ（ｅ）は、図１３Ｂ（ｃ）の表示状態に対して関連情報表示処理を実行し、オブジェクト間の紐付け表示が行われた状態を示す。図１３Ｂ（ｃ）においては、対象とする関連オブジェクトとなる、網掛部１３１６，１３１７の部分領域は共に画面上に存在するため、これらの部分領域間に直接関連性を表す表示１３８３がなされる。また、関連を持つ、図１３Ａ（ｃ）の網掛部１３１６，１３１９の部分領域については、図１３Ｂ（ｂ）の画面移動操作後も網掛部１３１６の部分領域は画面上に存在する一方、網掛部１３１９の部分領域は画面上に存在しないという状態は変わっていない。そのため、網掛部１３１９の部分領域の代替オブジェクト１３８１を生成し、網掛部１３１６の部分領域との関連性を表す表示１３８４がなされる。一方、図１３Ｂ（ａ）において表示されていない状態であった、図１３Ａ（ｃ）の網掛部１３１２の部分領域は画面移動操作によって画面上に存在するようになる。すなわち、図１３Ｂ（ｄ）に示すように、関連を持つ、網掛部１３１２，１３１７の部分領域が共に画面上に存在する状態となる。よって、図１３Ｂ（ａ）で代替オブジェクト１３４１と関連性を表す表示１３４３を用いて示された、図１３Ａ（ｃ）の網掛部１３１２，１３１７の部分領域の関連性は、図１３Ｂ（ｅ）ではこれらの部分領域間に直接関連性を表す表示１３８２により示される。

ここまでで、コンテンツの表示状態に応じて、対象とする関連オブジェクトの表示形態を変更する例を示した。

以上説明したように、本発明によれば、表示対象であるコンテンツの表示状態に依存せず、コンテンツに含まれるオブジェクト間の関連性が表示される。よって、資料説明者１４２は常にコンテンツに含まれるオブジェクト間の関連性を把握することが可能となる。特に、図１３Ｂ（ａ），（ｅ）に示すように、資料説明者１４２のタッチパネルディスプレイ９０１への操作によりページ画像の２以上の部分領域が画面に拡大表示された場合である。かかる場合であっても、資料説明者１４２はコンテンツに含まれるオブジェクト間の関連性を把握することが可能となる。

［その他の実施例］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。

１００ 情報処理システム
１０１ 資料作成端末
１０２ 資料表示端末
１０３ 資料データ管理サーバ
１０４ ページ解析サーバ
１２０ ネットワーク
２００ 制御装置
３１１ 制御部
３１２ 通信部
３１３ 表示部
３１４ 操作部
３１５ 資料データ表示処理部
３１６ 関連情報表示処理部

Claims (6)

1. 複数の表示単位を含むコンテンツの一部又は全体を画面に表示するコンテンツ表示手段と、前記コンテンツの関連を持つ表示単位を紐付ける表示を行う表示処理手段とから構成される画像処理装置であって、
   前記表示処理手段は、
   前記複数の表示単位のそれぞれの、前記コンテンツ表示手段による前記画面への表示有無を判定する第１の判定手段と、
   前記第１の判定手段により前記画面に表示されていると判定された表示単位のうち対象とする表示単位と関連を持つ表示単位の前記画面への表示有無を判定する第２の判定手段と、
   前記第２の判定手段により前記関連を持つ表示単位が前記画面に表示されていると判定された場合には前記対象とする表示単位と前記関連を持つ表示単位を紐付ける表示を行う第１の表示手段と、
   前記第２の判定手段により前記関連を持つ表示単位が前記画面に表示されていないと判定された場合には前記関連を持つ表示単位の代替となる代替オブジェクトを生成して前記画面に表示すると共に、前記対象とする表示単位と前記代替オブジェクトを紐付ける表示を行う第２の表示手段とを備えることを特徴とする画像処理装置。
2. 前記表示処理手段は、前記複数の表示単位のそれぞれに対し前記画面に表示されている面積割合を算出する算出手段を更に備え、
   前記第１の判定手段は、前記算出された面積割合に基づき前記複数の表示単位のそれぞれの前記画面への表示有無を判定することを特徴とする請求項１記載の画像処理装置。
3. 前記第２の判定手段による判定は、前記複数の表示単位がそれぞれ他の表示単位のいずれと関連を持つかを示す情報と前記第１の判定手段による判定の結果に基づいて行われることを特徴とする請求項１又は２記載の画像処理装置。
4. 前記コンテンツ表示手段は、２以上の表示単位を前記画面に表示することを特徴とする請求項１記載の画像処理装置。
5. 複数の表示単位を含むコンテンツの一部又は全体を画面に表示するコンテンツ表示ステップと、前記コンテンツの関連を持つ表示単位を紐付ける表示を行う表示処理ステップとを有する画像処理装置の制御方法であって、
   前記表示処理ステップは、
   前記複数の表示単位のそれぞれの、前記コンテンツ表示ステップによる前記画面への表示有無を判定する第１の判定ステップと、
   前記第１の判定ステップにおいて前記画面に表示されていると判定された表示単位のうち対象とする表示単位と関連を持つ表示単位の前記画面への表示有無を判定する第２の判定ステップと、
   前記第２の判定ステップにおいて前記関連を持つ表示単位が前記画面に表示されていると判定された場合には前記対象とする表示単位と前記関連を持つ表示単位を紐付ける表示を行う第１の表示ステップと、
   前記第２の判定ステップにおいて前記関連を持つ表示単位が前記画面に表示されていないと判定された場合には前記関連を持つ表示単位の代替となる代替オブジェクトを前記画面上に生成して前記画面に表示すると共に、前記対象とする表示単位と前記代替オブジェクトを紐付ける表示を行う第２の表示ステップとを有することを特徴とする制御方法。
6. 請求項５記載の制御方法を実行することを特徴とするプログラム。
   

Images