JP2019148649A - 画像処理装置、制御方法、およびプログラム - Google Patents
画像処理装置、制御方法、およびプログラム Download PDFInfo
- Publication number
- JP2019148649A JP2019148649A JP2018032061A JP2018032061A JP2019148649A JP 2019148649 A JP2019148649 A JP 2019148649A JP 2018032061 A JP2018032061 A JP 2018032061A JP 2018032061 A JP2018032061 A JP 2018032061A JP 2019148649 A JP2019148649 A JP 2019148649A
- Authority
- JP
- Japan
- Prior art keywords
- display
- displayed
- screen
- partial area
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】対象とする電子データの表示状態に依存せず、常に電子データに含まれるオブジェクト間の関連性を表示できる画像処理装置、制御方法、およびプログラムを提供する。【解決手段】資料表示端末102は、複数の部分領域を含むページ画像の一部又は全体をシナリオ編集画面1301に表示する際、上記複数の部分領域のうち画面表示されているものを対象とする部分領域(本体オブジェクト)とすると共に、本体オブジェクトと関連を持つ部分領域(関連オブジェクト)の画面表示の有無を判定する。関連オブジェクトが画面表示されている場合は本体オブジェクトと関連オブジェクトを紐付ける表示を行い、関連オブジェクトが画面表示されていない場合は関連オブジェクトの代替となる代替オブジェクトを生成して画面表示すると共に、本体オブジェクトと代替オブジェクトを紐付ける表示を行う。【選択図】図12A
Description
本発明は、画像処理装置、制御方法、およびプログラムに関し、特に、複数のオブジェクトを持つデータを画面上に表示する際、オブジェクト間の関連性を表す情報を表示する画像処理装置、制御方法、およびプログラムに関する。
従来、物理的な実体を持たない商品(保険商品、金融商品、旅行商品等)や手元に実物が無い商品の商談の際、商品の売り手である説明員が買い手である顧客に対面して商品の説明をする場面では、パンフレットのような紙媒体が用いられてきた。近年、タブレットPCのような、携帯性に優れていながら画面が大きく視認性に優れる携帯型電子データ表示端末の普及に伴い、上記のような対面商談の場面でも電子データ化したパンフレットを用いることが増えている。ただし、携帯型電子データ表示端末においては、携帯性を重視すると紙媒体のパンフレットほどの大きさの画面サイズとすることはできない。このため、電子データ化したパンフレットを100%表示する際の視認性は紙媒体のパンフレットと比べて劣る。よって、携帯型電子データ表示端末を用いる場合、通常、電子データ化したパンフレットの部分的な拡大表示が行われている。
特許文献1では、画像に含まれるオブジェクトを認識して画像を分割し、分割した部分領域ごとに拡大しながら表示を行う画像処理装置が開示されている。この画像処理装置を用いれば、従来紙媒体に出力して用いられていたパンフレットの画像をそのまま用いて、携帯型電子データ表示端末上でその画像中のオブジェクト毎に拡大しながら、商品説明を行うことが可能である。
また、特許文献2では、携帯型電子データ表示端末における資料閲覧の利便性を高めるための表示技術が開示されている。具体的には、資料中の部分領域を解析し、部分領域間の関連性を取得する。そして、画面に部分領域の1つを表示した場合に、画面に表示されていない部分領域に関する情報を画面中に表示する。これにより、画面中に表示されていない部分領域についての情報をユーザが把握することが可能となる。
しかしながら、特許文献1においては、部分領域の1つが拡大表示された場合、他の部分領域に関する情報は画面に表示されないため、画像全体と拡大表示された部分領域の関係性が把握しづらい。
一方、特許文献2において、部分領域間の関連性を提示するのは、1つの部分領域のみを表示し、その他の部分領域が画面中に表示されていない時のみである。しかし、部分領域間の関連性は、資料を俯瞰的に表示している場合において必要となるケースも存在する。例えば、部分領域を順番に表示するような表示形態をとる場合、部分領域間がどのような順番で表示されていくかを俯瞰した状態で確認できることが好ましい。また、説明員は、2以上の部分領域の全体又は一部を含むような任意の領域を拡大表示する場合がある。このような場合は、その表示中の部分領域と画面表示されていない他の部分領域との関係を確認できることが望ましい。
本発明は、対象とする電子データの表示状態に依存せず、常に電子データに含まれるオブジェクト間の関連性を表示できる画像処理装置、制御方法、およびプログラムを提供することを目的とする。
本発明の請求項1に係る画像処理装置は、複数の表示単位を含むコンテンツの一部又は全体を画面に表示するコンテンツ表示手段と、前記コンテンツの関連を持つ表示単位を紐付ける表示を行う表示処理手段とから構成される画像処理装置であって、前記表示処理手段は、前記複数の表示単位のそれぞれの、前記コンテンツ表示手段による前記画面への表示有無を判定する第1の判定手段と、前記第1の判定手段により前記画面に表示されていると判定された表示単位のうち対象とする表示単位と関連を持つ表示単位の前記画面への表示有無を判定する第2の判定手段と、前記第2の判定手段により前記関連を持つ表示単位が前記画面に表示されていると判定された場合には前記対象とする表示単位と前記関連を持つ表示単位を紐付ける表示を行う第1の表示手段と、前記第2の判定手段により前記関連を持つ表示単位が前記画面に表示されていないと判定された場合には前記関連を持つ表示単位の代替となる代替オブジェクトを生成して前記画面に表示すると共に、前記対象とする表示単位と前記代替オブジェクトを紐付ける表示を行う第2の表示手段とを備えることを特徴とする。
本発明によれば、対象とする電子データの表示状態に依存せず、常に電子データに含まれるオブジェクト間の関連性を表示できる。
以下、添付図面を参照して本発明の実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、以下の各実施例で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
(情報処理システムの構成)
図1は、実施例1に係る画像処理装置としての資料表示端末を含む情報処理システム100の構成を示すブロック図である。
図1は、実施例1に係る画像処理装置としての資料表示端末を含む情報処理システム100の構成を示すブロック図である。
図1において、ネットワーク120には、システム構成要素として資料作成端末101、資料表示端末102、資料データ管理サーバ103、ページ解析サーバ104が接続されている。ネットワーク120は各システム構成要素101〜104間でデータの送受信可能な通信網であれば特にその形態は限定されないが、例えば、インターネットや有線LAN、無線LANおよびそれらの組み合わせ等が例示される。各システム構成要素101〜104はネットワーク120に直接、あるいは不図示のルータ、ゲートウェイ、プロキシサーバ等の接続機器を介して接続されている。もちろん、ネットワーク120の構成および各要素の接続機器はこれらに限定されるものではない。また、本実施例においては、資料作成端末101及び資料表示端末102はそれぞれ1台ずつネットワーク120に接続されているが、それぞれ複数台がネットワーク120に接続されていてもよい。資料作成端末101は資料作成者141が、資料表示端末102は資料説明者142が操作を行う。資料作成者141、資料説明者142はそれぞれ異なるユーザであってもよく、また、同一のユーザであっても良い。
図2は、資料表示端末102が有する制御装置200のハードウェア構成を示すブロック図である。尚、資料作成端末101、資料データ管理サーバ103、及びページ解析サーバ104においても同様の制御装置を有するが重複するため同一の構成には同一の符号を付し、説明は省略する。
制御装置200は、CPU201、ROM202、RAM203、記憶装置204、ネットワークI/F205、ディスプレイI/F206、操作入力I/F207、及び外部I/O208から構成される。
図3は、図1におけるシステム構成要素としての資料作成端末101、資料表示端末102、資料データ管理サーバ103、及びページ解析サーバ104のそれぞれの機能構成を示す機能ブロック図である。図3に示す各ブロックの機能はシステム構成要素101〜104のそれぞれが有する制御装置200のCPU201でプログラムを実行することにより実行される。また、各ブロックに対応するプログラムはシステム構成要素101〜104のそれぞれが有する記憶装置204に保存されている。
図3(a)は資料作成端末101の機能ブロック図である。制御部301は資料作成端末101が有する制御装置200および制御装置200に接続された機器の制御や、各機能ブロックの処理実行の制御を行う。通信部302は資料作成端末101が有するネットワークI/F205を介してネットワーク120上の他の機器とデータの送受信を行う。資料作成端末101が有する制御装置200のディスプレイI/F206には不図示の外部ディスプレイ(液晶ディスプレイ等)が接続される。表示部303はディスプレイI/F206を介して接続された外部ディスプレイにユーザインターフェイスの表示を行う。資料作成端末101が有する制御装置200の操作入力I/F207にはキーボード、マウス、タッチパネル等の操作入力機器が接続される。操作部304は操作入力I/F207を介して接続された操作入力機器からの入力を受け付け、表示部303が表示するユーザインターフェイスの操作を行う。資料データ生成部305は、表示部303が表示するユーザインターフェイスを介して指定された文書データをページ解析サーバ104へ送信する。これにより、情報処理システム100においてその文書データに関する資料データの生成が開始する。部分領域管理部306は、後に説明する部分領域のデータの管理をページ解析サーバ104と協働して行う。シナリオ編集部307は表示部303を介して外部ディスプレイにシナリオを編集するユーザインターフェイスを表示し、操作部304を介して受け付けた操作に応じてシナリオを編集する。シナリオ編集部307が表示するユーザインターフェイスについては後に説明を行う。
図3(b)は資料表示端末102の機能ブロック図である。制御部311は資料表示端末102が有する制御装置200および制御装置200に接続された機器の制御や、各機能ブロックの処理実行の制御を行う。通信部312は資料表示端末102が有するネットワークI/F205を介してネットワーク120上の他の機器とデータの送受信を行う。資料表示端末102が有する制御装置200のディスプレイI/F206には不図示の液晶ディスプレイが接続される。表示部313はディスプレイI/F206を介して接続された液晶ディスプレイにユーザインターフェイスの表示を行う。資料表示端末102が有する制御装置200の操作入力I/F207にはタッチパネルが接続される。操作部314は操作入力I/F207を介して接続されたタッチパネルからの入力を受け付け、表示部313が表示するユーザインターフェイスの操作を行う。資料表示端末102に接続される液晶ディスプレイ及びタッチパネルからなるタッチパネルディスプレイの外観および機能については図9において後述する。
資料データ表示処理部315(コンテンツ表示手段)は、資料データの表示処理を行い、関連情報表示処理部316は、資料データの表示状態に応じて関連情報を表示し、ユーザの操作に応じてその関連情報の確認及び編集を行う。資料データ表示処理部315および関連情報表示処理部316の処理については後に説明する。
図3(c)は資料データ管理サーバ103の機能ブロック図である。制御部331は資料データ管理サーバ103が有する制御装置200および制御装置200に接続された機器の制御や、各機能ブロックの処理実行の制御を行う。通信部332は資料データ管理サーバ103が有するネットワークI/F205を介してネットワーク120上の他の機器とデータの送受信を行う。資料データ管理サーバ103が有する制御装置200の記憶装置204は大容量なものになっており、資料データ管理部333は記憶装置204を用いて大量の資料データの管理を行う。資料データ管理部333が管理する資料データの詳細については後に説明する。
図3(d)はページ解析サーバ104の機能ブロック図である。制御部321はページ解析サーバ104が有する制御装置200および制御装置200に接続された機器の制御や、各機能ブロックの処理実行の制御を行う。通信部322はページ解析サーバ104が有するネットワークI/F205を介してネットワーク120上の他の機器とデータの送受信を行う。ページ構造解析部324は入力された文書データの構造を解析して後述の部分領域データを生成する。ページ構造解析部324の処理については図5,6において後述する。部分領域管理部325は、後に説明する部分領域のデータの管理を行う。
(コンテンツとページ画像)
図4は、資料作成端末101からページ解析サーバ104に送信されるコンテンツと、それに含まれるページ画像を説明するための図である。
図4は、資料作成端末101からページ解析サーバ104に送信されるコンテンツと、それに含まれるページ画像を説明するための図である。
図4に示す様に、文書データからなるコンテンツ400は、Nページからなるページ画像401〜40Nから構成される。
コンテンツ400は、一般的な情報処理装置で扱われる文書ファイルであり、ページ画像401〜40Nは、その文書ファイルの各ページである。例えば、ページ画像フォーマットはJPEGやTIFFファイルなどの様なラスタ画像である。
(ページ構造解析処理)
(ページ画像と構造解析例)
図5は、ページ解析サーバ104のページ構造解析部324が実行するページ画像の構造解析処理の手順を示すフローチャートである。このページ画像の構造解析処理は、ページ画像の文書構成要素に応じて、ページ画像中の複数の部分領域(表示単位)を自動解析する処理である。
(ページ画像と構造解析例)
図5は、ページ解析サーバ104のページ構造解析部324が実行するページ画像の構造解析処理の手順を示すフローチャートである。このページ画像の構造解析処理は、ページ画像の文書構成要素に応じて、ページ画像中の複数の部分領域(表示単位)を自動解析する処理である。
処理するページ画像は、図4のコンテンツ400に含まれる各ページ画像401〜40Nなどである。
以下、コンテンツ400の1ページ目のページ画像401に対して図5の構造解析処理を行なった場合について図6を用いて説明する。
図6(a)に示す様に、ページ画像401は、文書構成要素として、背景600、テキスト601〜604,606,607,609,615,616、図形605,608,611〜613、及び表610,614がレイアウトされている。
ページ構造解析部324は、コンテンツ400の全ページに対し順番に、ページ画像の構造解析処理を実行する。つまり、先頭1ページ目のページ画像401から処理を開始し、1ページ目が終了した後に次ページのページ画像402に対する処理を実行する。これを図6においては不図示だが最終ページのページ画像40Nまで繰り返す。
図5の各処理は、ページ解析サーバ104が有する制御装置200内のCPU201でプログラムを実行することにより実現される。
ステップS501で、ページ構造解析部324は、処理するページ番号を変数iに設定する。変数iは処理対象のコンテンツ400の全ページ画像に対して処理を実行するためのインクリメント用のインデックスである。最初は先頭ページ番号の1を設定する。
ステップS502で、ページ構造解析部324は、ページ解析サーバ104が有する記憶装置204に保存されているコンテンツ400のiページ目のページ画像を読み込む。
ステップS503で、ページ構造解析部324は、読み込んだページ画像に対して文書構成要素に応じて部分領域を認識する。
例えば、図6(b)は、ページ構造解析部324が、図6(a)のページ画像401に対してステップS503を実行し、文書構成要素に応じて部分領域を自動解析した結果である。自動解析された各部分領域は、図6(b)において矩形の点線で示す。
図6(a),(b)において、背景600は部分領域620として自動解析される。同様に、テキスト601〜604,606,607,609,615,616は、部分領域621〜624,626,627,629,625,626として自動解析される。また、図形605,608,611〜613は、部分領域625,628,631〜633として自動解析され、表610,614は部分領域630,634として自動解析される。
ステップS504で、ページ構造解析部324は、各部分領域の座標と幅高を認識する。
例えば、図6(c)は、ページ構造解析部324が、図6(b)で自動認識された複数の部分領域620〜636のうち部分領域631の座標と幅高を認識した結果である。
ステップS504で認識される座標は、各部分領域の左上の座標であり、背景領域属性の部分領域620(ページ画像401全体と同じ範囲の領域)の左上を原点とする座標系で表現される。よって、部分領域631の座標として、原点から部分領域631の左上の座標までのX軸方向の距離X31、及び、原点から部分領域631の左上の座標までのY軸方向の距離Y31が認識される。
また、部分領域631の幅高として、部分領域631のX軸方向の長さW31、及び、Y軸方向の長さH31が認識される。
ステップS505で、ページ構造解析部324は、OCR処理を実行し、ステップS503で認識された各部分領域に文字があるか判定する。文字がある場合は(ステップS505でYES)、ステップS506に進む。文字が無い場合は(ステップS505でNO)、ステップS508に進む。
ステップS506で、ページ構造解析部324は、OCR処理結果より文字サイズを取得する。
ステップS507で、ページ構造解析部324は、OCR処理結果より文字方向を認識する。文字方向とは書字方向のことであり、文字が横書きか、縦書きかを示す。
ステップS508で、ページ構造解析部324は、各部分領域の領域属性を認識する。領域属性とは、文書構成要素に対応する属性を示すものであり、タイトル、テキスト、ヘッダ、フッタ、表、図、背景、等の属性である。
ステップS509で、ページ構造解析部324は、各部分領域の表示順序を決定する。表示順序は、ステップS504,S507において認識された各部分領域の文字方向、座標、幅高に応じて決定する。基本的に、文字方向が横書きの場合は、ページ画像中の左上に位置する部分領域から右下に位置する部分領域へ表示順序を決定する。文字方向が縦書きの場合は、ページ画像中の文字を有する部分領域のうち、右上に位置する部分領域から左下に位置する部分領域へ表示順序を決定する。
図6(b)の例では文字方向が横向きである。よって、部分領域621の表示順序は1、部分領域622の表示順序は2、部分領域623の表示順序は3というように、ページ画像401中の文字を有する部分領域のうち、左上に位置する部分領域から右下に位置する部分領域へ表示順序を決定する。以下、部分領域624〜636への表示順序はそれぞれ4〜16と決定される。尚、背景である部分領域620は原点の座標を含むため、表示順序は0に決定される。すなわち、後述の資料データ表示処理部315の表示処理において、ステップS509で表示順序が0に決定された部分領域については部分領域ごとの拡大表示を行わない。
なお、ステップS509で決定される表示順序は後に説明するシナリオデータが無いときの表示順序である。また、シナリオデータ上の表示順序の初期値としても使用可能である。
ステップS510で、ページ構造解析部324は、ステップS503〜S509を実行することにより得られた各部分領域に関する情報を部分領域データとして保存する。実際には、ページ構造解析部324は、部分領域管理部325に部分領域データを送信すると、部分領域管理部325が送信された部分領域データを保存すると共に、部分領域データを管理するための部分領域管理テーブルを作成する。この部分領域管理テーブルについては図7において詳述する。
ステップS511で、ページ構造解析部324は、次ページを処理するために変数iを1つインクリメントする。
ステップS512で、ページ構造解析部324は、変数iが処理中のコンテンツ400のページ数を越えたか否かを判定する。変数iがページ数を越えていない場合は、ステップS502に戻り、次ページのページ画像についてステップS502〜S510の処理を繰り返した後、ステップS511,S512を実行する。
変数iが処理中のコンテンツ400のページ数を越えた場合は、処理対象のコンテンツの全ページ画像に対する処理が完了しているため、本処理を終了する。
(部分領域データの管理)
図7は、ページ解析サーバ104の部分領域管理部325で作成される部分領域管理テーブルを説明するための図である。
図7は、ページ解析サーバ104の部分領域管理部325で作成される部分領域管理テーブルを説明するための図である。
部分領域管理部325は、図5のステップS510においてページ構造解析部324から送信された部分領域データを保持・管理すべく、部分領域管理テーブルを作成する。その後、部分領域管理部325は、部分領域データ及び部分領域管理テーブルをページ解析サーバ104が有する制御装置200のRAM203や記憶装置204などに保存する。また、作成された部分領域管理テーブル700は資料データ管理サーバ103にも送信される。
図7に示すように、部分領域管理テーブル700の行方向には部分領域データの項目701〜709が並ぶ。尚、図7にある部分領域721は実際には部分領域管理テーブルにおいて管理される項目ではないが、図6(b)における各部分領域との対応付けを明確とするため記載する。
まず、部分領域管理テーブル700の行方向に関して説明する。
部分領域データの各項目は、ページ番号701、部分領域番号702、座標703、幅高704、領域属性705、表示設定706、文字方向707、文字サイズ708、表示順序709である。
ページ番号701は、部分領域が含まれるページ画像のページ番号である。
部分領域番号702は、部分領域を識別するための番号である。図7に示すように、図5のステップS509で決定される、1ページのページ画像における各部分領域の表示順序がこの番号として表示される。
各部分領域は、ページ番号701と部分領域番号702により、コンテンツ内で一意に識別することができる。
座標703は、図5のステップS504で認識される、各部分領域の左上の座標である。幅高704は、ステップS504で認識される、各部分領域の幅と高さである。上述した通り、例えば図6(c)に示す部分領域631については、座標703の情報として(X31,Y31)が管理され、幅高704の情報として(W31,H31)が管理される。
領域属性705は、図5のステップS508で認識される、各部分領域の領域属性である。具体的には、領域属性705の情報として、タイトル、テキスト、ヘッダ、フッタ、表、図、背景等の属性の1つが管理される。
表示設定706は、プレゼンテーション処理で部分領域を表示するか非表示にするかの設定を示す。プレゼンテーション処理にて表示される部分領域は「表示」と設定する。プレゼンテーション処理にて非表示にされる部分領域は「非表示」と設定する。
文字方向707は、図5のステップS507で認識される、文字が含まれる部分領域における文字方向(書字方向)である。文字方向が横書きの場合は「横」と設定する。文字方向が縦書きの場合は「縦」と設定する。
文字サイズ708は、文字が含まれる部分領域における文字サイズである。
表示順序709は、図5のステップS509で決定される、1ページのページ画像における各部分領域の表示順序である。後に説明するシナリオデータが作成された際、そのシナリオデータに従って、図7に示す表示順序709は変更する。
次に、部分領域管理テーブル700の列方向に関して説明する。
部分領域管理テーブル700の1行は、1つの部分領域データに相当する。例えば、図6(b)のページ画像401では、17個の部分領域620〜636が存在するため、図7の部分領域管理テーブル700にページ番号701が1である部分領域データが17列で管理される。
同様に、部分領域管理テーブル700は、コンテンツ400の全ページ画像401〜40Nに含まれる全部分領域データを管理する。
部分領域721は、図6(b)におけるページ解析で抽出した各部分領域を示す。
(コンテンツと部分領域管理テーブルの管理)
前述したコンテンツ400と部分領域管理テーブル700はページ解析サーバ104から資料データ管理サーバ103に送信され、資料データ管理部333によって資料データ管理サーバ103の記憶装置204上で保存・管理される。
前述したコンテンツ400と部分領域管理テーブル700はページ解析サーバ104から資料データ管理サーバ103に送信され、資料データ管理部333によって資料データ管理サーバ103の記憶装置204上で保存・管理される。
以下、図8を用いて、資料作成端末101のシナリオ編集部307により編集されたシナリオデータが存在する際の、資料データ管理サーバ103の資料データ管理部333による資料データの管理方法について説明する。
図8(a)は資料データ管理部333による資料データの管理方法の模式図である。資料データ管理部333は資料データ管理サーバ103の記憶装置204上にデータID管理領域801を持ち、その記憶装置204上にデータを保存するときにデータID管理領域801上の未使用IDを使って保存データに一意のIDを割り当てる。例えば、資料データ管理部333は、コンテンツ400を保存するときにはコンテンツID802を、部分領域管理テーブル700を保存するときには部分領域管理テーブルID803を割り当てる。また、資料データ管理部333は、部分領域管理テーブル700を保存するときには、その保存時にページ構造解析部324から送信されたコンテンツ400のコンテンツID805を部分領域管理テーブル700のヘッダとして一緒に保存する。
また、資料データ管理部333は資料データ管理サーバ103の記憶装置204上にデータ名称管理領域806を持つ。データ名称管理領域806はデータID管理領域801にあるIDに対して文字列からなるデータ名称が保持される領域である。資料データ管理部333は、データ名称でデータが指定された場合そのデータのIDをデータ名称管理領域806から取得できるよう、データ名称が存在するデータについてはそのデータ名称とIDを対応づけて管理する。
図8(b)はコンテンツ400中の部分領域の表示順序と表示時間を表すシナリオデータ810を示した図である。
シナリオデータ810は資料作成端末101のシナリオ編集部307により編集されるテーブル形式のデータであり、1行毎に1つの部分領域の表示方法を示す表示単位情報が示される。表示単位情報は、コンテンツID811、部分領域管理テーブルID812、ページ番号813、部分領域番号814を持ち、これにより表示する部分領域及びその部分領域データを特定することができる。さらに表示単位情報は表示時間815を持つ。実際に資料表示端末102でコンテンツ400を表示する際には、シナリオデータ810のある行において特定される部分領域の表示の開始後その行の表示時間815に示す時間が経過したときに、自動的に次の行において特定される部分領域を表示してもよい。また、表示時間815は目安としての時間であって、シナリオデータ810の次の行において特定される部分領域の表示は資料説明者142の操作を待って行うようにしても良い。図8(b)のシナリオデータ810の2行目で特定される部分領域(本実施例では部分領域626)のように、表示時間815として「設定なし」を表す値(本実施例では0)を設定することもできる。但し、その場合は、その部分領域(本実施例では部分領域626)が資料表示端末102で表示された後、必ず資料説明者142の操作を待ってシナリオデータ810の次の行において特定される部分領域の表示を行う。
また、図8(a)に示すように、シナリオデータ810は、資料作成端末101から資料データ管理サーバ103に送信されると、資料データ管理サーバ103の記憶装置204上に保存される。この保存の際、資料データ管理部333は、データID管理領域801にシナリオデータ810のシナリオID804を割り当てる。
なお、シナリオデータ810と、シナリオデータ810において参照されているコンテンツ400及び部分領域管理テーブル700とを、併せて1組の資料データと呼ぶ。資料データ管理サーバ103は、図8に示す資料データの管理方法により、複数の資料データを保存・管理することが可能である。
(資料表示端末の詳細)
図9は、資料表示端末102の表示部313を構成するタッチパネルディスプレイ901の外観図である。図9において不図示であるが、タッチパネルディスプレイ901は、資料表示端末102のディスプレイI/F206と操作入力I/F207(図2)に接続される。
図9は、資料表示端末102の表示部313を構成するタッチパネルディスプレイ901の外観図である。図9において不図示であるが、タッチパネルディスプレイ901は、資料表示端末102のディスプレイI/F206と操作入力I/F207(図2)に接続される。
タッチパネルディスプレイ901は、幅をW00、高さをH00の大きさを有しており、この幅高の情報は資料表示端末102の記憶装置204で予め保持される。タッチパネルディスプレイ901の液晶ディスプレイの部分は資料表示端末102のディスプレイI/F206に接続され、画像の表示を行うことができる。資料表示端末102の表示部313はディスプレイI/F206を制御してタッチパネルディスプレイ901にコンテンツ400の表示と、コンテンツ400への操作を受け付けるユーザインターフェイスを表示する。また、タッチパネルディスプレイ901のタッチパネルの部分は資料表示端末102の操作入力I/F207に接続され、資料説明者142がタッチパネルディスプレイ901上にタッチした時にその座標(タッチ座標)を受け取ることができる。資料表示端末102の操作部314は操作入力I/F207を制御してタッチ座標を受信し、タッチ座標とその時間変化、同時にタッチしている数から資料説明者142の操作(タップ、スワイプ等)を判別する。資料データ表示処理部315は表示部313と操作部314を介して資料データの表示と資料説明者142の操作への応答を行う。
ここまでの記載により、本実施例で扱う資料データの構成および情報処理システムの全体構成についての説明を行った。ここから、資料表示端末102が資料データを表示する際の表示形態について、フローチャートと3つの表示例を表した図を用いて説明を行う。
(資料データの表示処理)
図10(a),(b)のフローチャートを用いて、資料表示端末102の資料データ表示処理部315が実行する資料データ表示処理の説明を行う。資料データ表示処理は、1つのシナリオデータ810と、そこから参照されるコンテンツ400、部分領域管理テーブル700から成る、1組の資料データを対象として処理を行う。本実施形態では、資料表示端末102において、資料説明者142が資料データの構成を確認・編集する場面の表示形態について述べていく。
図10(a),(b)のフローチャートを用いて、資料表示端末102の資料データ表示処理部315が実行する資料データ表示処理の説明を行う。資料データ表示処理は、1つのシナリオデータ810と、そこから参照されるコンテンツ400、部分領域管理テーブル700から成る、1組の資料データを対象として処理を行う。本実施形態では、資料表示端末102において、資料説明者142が資料データの構成を確認・編集する場面の表示形態について述べていく。
資料データ表示処理を開始すると、ステップS1001〜S1010までの処理は、シナリオデータ810に含まれる表示単位情報を先頭行から1行ずつを対象として順次処理を行う。
まず、ステップS1001では、シナリオデータ810から処理対象行を設定する。
ステップS1002では、処理対象行の表示単位情報のうちコンテンツID811の情報を取得し、その情報に基づきコンテンツ400を取得する。さらに部分領域管理テーブルID812、ページ番号813、部分領域番号814から特定される部分領域の部分領域データを取得する。
ステップS1003では、ステップS1002で取得した部分領域データに含まれる領域属性705が背景かどうかを判定する。ステップS1003で背景と判断されたらステップS1004へ進み、図11(a)に示すように、ページ全体の表示を行う。尚、背景の部分領域の表示順序は図5のステップS509において必ず0に設定されるため、ステップS1003の判定を、領域属性705が背景か否かではなく、部分領域番号702が0か否かに基づき行うようにしてもよい。ステップS1003で背景以外と判定されたらステップS1005に進み、図11(b)に示すように、ステップS1002で特定された部分領域拡大表示処理を行う。部分領域拡大表示処理の詳細については後述する。
ステップS1004におけるページ全体表示、またはステップS1005における部分領域拡大表示のいずれかが行われた後、ステップS1006に進み、関連情報表示処理を行う。関連情報表示処理の詳細については後述する。
ステップS1006で関連情報表示処理が終了すると、ステップS1007に進み、資料説明者142の操作を待つ。資料説明者142の操作を検知すると、ステップS1008に進み、その検知された操作がシナリオの遷移操作であるかそれ以外の操作であるかを判定する。シナリオの遷移操作とは、シナリオに沿って表示を進めたり、一つ前の表示に戻ったりするための操作である。例えば、このシナリオの遷移操作には、画面上の右半分の領域のタップ操作が検知された場合にシナリオを進ませ、画面上の左半分の領域をタップした場合にシナリオを戻すなどといったジェスチャ操作や、画面上に表示したボタン押下などが考えられる。
ステップS1008でシナリオの遷移操作であると判定された場合は、ステップS1010に進む。一方、ステップS1008でシナリオの遷移操作以外の操作であると判断された場合は、ステップS1009に進み、検知された操作に対応し、画面表示を更新する。
ステップS1009における画面表示の更新は、例えば、ステップS1007で検知された操作がピンチアウト操作である場合は、画面の一部に表示される画像を拡大するよう更新する。また、ステップS1007で検知された操作がドラッグ操作である場合は、ステップS1009においてステップS1002で特定される部分領域が含まれるページ画像における画面の表示範囲を移動するよう更新する。尚、ステップS1003で背景と判断された場合は、このドラッグ操作により他のページ画像に画面の表示範囲を移動するよう更新する。
このように、ステップS1009において資料データの表示状態をステップS1007で検知された操作に応じて更新した後、ステップS1006に戻り、関連情報表示処理を行う。
尚、ステップS1006〜S1009においては、後述する図13A,13Bに示すシナリオ編集画面が表示される。
ステップS1010では、ステップS1008で判定されたシナリオの遷移操作の内容に従って、ステップS1001〜S1010のループ処理における処理対象行を再設定し、ステップS1002に進む。例えば、シナリオの遷移操作の内容が一つ前のシナリオを表示するという指示である場合は、現在の処理対象行の一つ上の行を処理対象行に再設定する。一方、現在の処理対象行がシナリオデータ810の最終行であって、シナリオの遷移操作の内容が一つ後のシナリオを表示するという指示である場合は、このループ処理を抜けて、資料データ表示処理部315は本処理を終了する。
(部分領域の拡大表示処理)
図10(b)のフローチャートを用いて、資料データ表示処理部315により実行される図10(a)のステップS1005の部分領域拡大表示処理について説明する。
図10(b)のフローチャートを用いて、資料データ表示処理部315により実行される図10(a)のステップS1005の部分領域拡大表示処理について説明する。
この処理は、部分領域毎に適切な表示拡大率と表示座標を設定し、部分領域毎に領域全体が資料表示端末102のタッチパネルディスプレイ901(表示部313)で表示される様に拡大表示する処理である。
ステップS1021で、ステップS1002で特定された部分領域の部分領域データの幅高704の情報と資料表示端末102の記憶装置204に保持されるタッチパネルディスプレイ901の幅高の情報に基づき表示拡大率を決定する。
表示拡大率は、一旦、幅方向と高さ方向の拡大率を各々計算し、計算された拡大率の値が低い方を表示拡大率として設定する。例えば、図7の部分領域管理テーブル700の2行目の部分領域データ(ページ番号=1、部分領域番号=1)の場合は、幅方向の拡大率W00/W21と高さ方向の拡大率H00/H21を比較する。この比較の結果、値が低い方を該当部分領域の表示拡大率に設定する。
ステップS1022で、ステップS1002で特定された部分領域の部分領域データの座標703と幅高704の情報に基づき、部分領域の中心座標にタッチパネルディスプレイ901の中心座標を設定する。これより、部分領域がタッチパネルディスプレイ901の中央に表示される。例えば、図7の部分領域管理テーブル700の2行目の部分領域データ(ページ番号=1、部分領域番号=1)の場合は、まず、部分領域の中央座標(X21+(W21/2),Y21+(H21/2))を算出する。その後、その算出された中央座標に、タッチパネルディスプレイ901の中央座標(W00/2,H00/2)を設定する。
ステップS1023で、ステップS1021で設定した表示拡大率とステップS1022で設定した中心座標に従い、部分領域をタッチパネルディスプレイ901に表示した後、本処理を終了する。
(関連情報表示処理)
図12A(a),(b)のフローチャート及び図12Bの処理対象リストを用いて、図10のステップS1006の関連情報表示処理の説明を行う。その後、本発明を説明するのに適した3つの事例を図13A(a)〜(f)及び図13B(a)〜(e)を用いて説明する。
図12A(a),(b)のフローチャート及び図12Bの処理対象リストを用いて、図10のステップS1006の関連情報表示処理の説明を行う。その後、本発明を説明するのに適した3つの事例を図13A(a)〜(f)及び図13B(a)〜(e)を用いて説明する。
まず、図12A(a)の関連情報表示処理を開始すると、ステップS1201では、表示済みの関連情報の初期化を行う。すなわち、資料データの表示状態がステップS1004,S1005のいずれかで変更されたことに伴い、関連情報の表示形態も変更する必要がある。そのため、図10の処理の開始後すでに関連情報の表示がされている場合は、その関連情報を初期化する。これにより、タッチパネルディスプレイ901の表示領域においてその関連情報は非表示となる。
ステップS1202では、表示領域中に関連情報の表示対象となるオブジェクトが表示されているかを判定するオブジェクト表示判定処理を実行する。オブジェクト表示判定処理については、図12A(b)のフローチャートを用いて説明する。
図12A(b)のステップS1221〜S1225までの処理は、現在表示中のページ画像に含まれる各部分領域の部分領域データについて順次処理を行った後に終了するループ処理である。より具体的には、まず、現在表示中のページ画像に含まれる各部分領域の部分領域データを部分領域管理テーブル700から取得する。その後、その取得した部分領域データを部分領域番号702の若い順に1行ずつ順次処理を行った後に終了するループ処理である。すなわち、ループの対象とする部分領域データのページ番号701は、現在表示しているページ画像のページ番号と一致する。
ステップS1222では、処理対象とする部分領域(オブジェクト)がタッチパネルディスプレイ901に表示されている面積割合を算出する。具体的には、この面積割合は、処理対象行の部分領域データに含まれる座標703と幅高704および、タッチパネルディスプレイ901の後述する図13A(a)の資料表示領域1302の幅高から算出される。尚、ステップS1005において部分領域拡大表示処理が行われていた場合はその表示拡大率も加味した形で算出される。
ステップS1223では、ステップS1222で算出した面積割合が閾値以上であるかどうかの判定、すなわち、タッチパネルディスプレイ901への表示有無の判定を行う。閾値は、予め固定値に設定してもよいし、オブジェクトの表示拡大率やその部分領域データに含まれる領域属性705などに応じて異なる値に設定してもよい。ステップS1223で閾値以上であると判定されたら、オブジェクトが表示されていると判断し、ステップS1224へ進む。ステップS1223で閾値未満であると判定されたら、オブジェクトが表示されていないと判断し、ステップS1225へ進む。
ステップS1224では、オブジェクトの情報を処理対象リスト1230の本体オブジェクトの情報として追加する。
図12Bは、図12AのステップS1224で情報が順次追加される処理対象リスト1230を示した図である。処理対象リスト1230はテーブル形状となっており、テーブルの1行は、1つの関連情報に相当する。ここで関連情報とは、1つの部分領域(本体オブジェクト)の情報、及び本体オブジェクトに紐付けられる部分領域(関連オブジェクト)の情報からなる。具体的には、処理対象リスト1230は、本体オブジェクトのページ番号1231、部分領域番号1232、関連オブジェクトのページ番号1233、部分領域番号1234の4つの項目を有し、関連を持つ部分領域の組み合わせを一意に特定することができる。さらに、処理対象リスト1230は、本体オブジェクトと関連オブジェクトがどのような関連を持っているかを示す関連性情報1235の項目を有する。関連性情報1235は、例えば、表示順序など関連の仕方に方向性がある場合に、その主従関係を保存するなど、表示時の表示形態を決定するために利用する。また、主従関係だけでなく、関連の度合など数値情報を関連性情報1235として保存してもよい。
本実施例のように表示順番(シナリオ)が設定されるという形で間接的に部分領域同士の関連性が表現されている場合が存在する。そのような場合においても、ステップS1224で情報の変換を行い、処理対象リスト1230中に記載する。例えば、本実施例であれば、シナリオデータ810中のページ番号813および部分領域番号814が部分領域どうしの関連性を表している。よってステップ1224では、シナリオデータ810において、処理対象リスト1230の本体オブジェクトである部分領域の前後に存在する部分領域が、本体オブジェクトと主と従の関係を持つ関連オブジェクトであると判断する。さらに、この関連オブジェクトの情報が処理対象リスト1230の本体オブジェクトの情報の1つと一致する場合、その関連オブジェクトの情報を処理対象リスト1230に追加する。処理対象リスト1230の本体オブジェクトの全てに対してかかる追加処理が完了した後にステップS1225へ進む。
ステップS1221〜S1225のループ処理を終了すると、本処理を終了し、図12A(a)のステップS1203へ進む。
なお、本実施例では、ステップS1223では、オブジェクトが表示されているか否かをステップS1222で算出された面積割合に基づいて判断したが、他の判定方法をとってもよい。例えば、ページ単位で表示を行う形式をとる場合、関連オブジェクトが現在の表示中のページ画像に含まれるかどうかでオブジェクトの表示・非表示を決定してもよい。
ステップS1203〜S1207までの処理は処理対象リスト1230の関連情報を先頭行から1行ずつを対象として順次処理を行い、最後の関連情報まで処理を終えたら終了するループ処理である。
ステップS1204では、ステップS1202で取得した処理対象リスト1230の処理対象の関連情報に本体オブジェクトの情報だけでなく関連オブジェクトの情報も含まれている場合、対象とする関連オブジェクトが画面上に存在すると判定する。一方、関連オブジェクトの情報は含まれていない場合、対象とする関連オブジェクトは画面上に存在しないと判定する。ステップS1204で対象とする関連オブジェクトが画面上に存在すると判定されたらステップS1206に進み、ステップS1204で対象とする関連オブジェクトが画面上に存在しないと判定されたらステップS1205に進む。
ステップS1205では、シナリオデータ810から、処理対象の関連情報から特定される本体オブジェクト(部分領域)の前後に存在する部分領域の情報を対象とする関連オブジェクトの情報として取得する。その後、その取得した情報に基づき代替となる代替オブジェクトの生成・表示を行う。代替オブジェクトとは、表示されていない関連オブジェクトの存在を表すために画面中に表示するオブジェクトであり、例えば関連オブジェクトをサムネイル化したものやエリア情報を表記したアイコンなどである。代替オブジェクトは、対象とする関連オブジェクトを表すものであればどのような表示形態でもよい。代替オブジェクトは、ページ画像の表示領域上だけではなく、ページ画像の表示領域外に表示するようにしてもよい。また、代替オブジェクトの表示位置は対象とする関連オブジェクトと本体オブジェクトの関連性が視認できる位置であればどのような形態でもよい。例えば、本体オブジェクトが表示される領域の近くに代替オブジェクトを表示してもよい。本体オブジェクトと対象とする関連オブジェクトの位置関係に基づいて代替オブジェクトの表示位置を決定してもよい。代替オブジェクトのサイズは、対象とする関連オブジェクトの幅高と代替オブジェクトが表示される領域の幅高のサイズ比などを考慮して調整することが好ましい。代替オブジェクトの生成・表示が完了した後にステップS1206に進む。
ステップS1206では、オブジェクト間の紐づけ表示を行う。ステップS1204において対象とする関連オブジェクトが画面上に存在すると判定された場合は本体オブジェクトと対象とする関連オブジェクトの間の関連性を表す表示を行う。一方、ステップS1204において対象とする関連オブジェクトが画面上に存在しないと判定された場合は、本体オブジェクトとステップS1205で生成された代替オブジェクトの間の関連性を表す表示を行う。関連性を表す表示とは、例えばオブジェクト間を線で結ぶことによる紐づけや表示や、矢印をつなぐことによって順序関係を表現するような表示などである。なお、表示の形態は一意ではなく、オブジェクト間の関連性に応じて、形態を変更してもよい。例えば、関連性に数値的な大小がある場合には、色彩や形状を変化させ、表示でその大小関係が把握できるような表示をしてもよい。紐づけ表示を完了するとステップS1207に進む。
ステップS1207では、ステップS1203〜S1207のループ処理の対象となる関連情報を変更する。ステップS1203〜S1207のループ処理を処理対象リスト1230に存在する関連情報の全てを対象として実行を終了すると、ループ処理を抜けて、関連情報表示処理部316は本処理を終了する。
次に、関連情報表示処理の具体例を説明する。
図13A,13Bは、図10のステップS1006〜S1009においてタッチパネルディスプレイ901に表示されるシナリオ編集画面の一例を示す図である。ここで、シナリオ編集画面とは、資料表示端末102を操作する資料説明者142が、資料データの確認または編集を行うため画面である。
図13A,13Bに示すように、シナリオ編集画面1301において、資料表示領域1302にコンテンツ400の1つのページ画像の全体又は一部が表示される。また、資料表示領域1302の周辺に代替オブジェクトを表示するための領域1303が確保されている。資料説明者142は、シナリオ編集画面1301に表示された操作ボタン1306〜1308やタッチパネルから得られるジェスチャなどを用いて表示資料に対しての操作を行う。
初めに、コンテンツ400のページ画像401の全体が資料表示領域1302で表示された図13A(a)の状態で図12Aの関連情報表示処理が開始された場合について説明する。なお、表示されるコンテンツ400には、シナリオデータ810が設定されているものとする。
図13A(b)は、図13A(a)の表示状態に対して、図12A(a)のステップS1202のオブジェクト表示判定処理(図12A(b))を実行したときの状態を説明するための図である。図13A(b)では、図14(a)に示す処理対象リスト1410に本体オブジェクトの情報として追加された部分領域が網掛部1311〜1320として表されている。図13A(a)の場合、図13A(b)の網掛部1311〜1320、つまりページ画像401中の全ての部分領域が表示されていると判定される。よって、ページ画像401中の全ての部分領域の情報が本体オブジェクトの情報として処理対象リスト1410に追加される。なお、図13A(b)に示す部分領域の網掛部1311〜1320は本実施例の説明のために便宜的に表示しているものであり、実際の処理時には網掛表示は行われない。
図13A(c)は図13A(a)の表示状態に対して関連情報表示処理を実行し、オブジェクト間の紐付け表示が行われた状態を示す。図13A(c)においては、対象とする関連オブジェクトとなる、網掛部1312,1316,1317,1319,1320の部分領域がすべて画面上に存在するため、これらの部分領域間に直接関連性を表す表示1321〜1324がなされる。すなわち、これらの部分領域間を直接紐付ける表示を行う。本実施例では、処理対象リスト1410の関連性1405に示す主従関係に応じて関連性を表す表示の矢印方向を決定している。この例のように、対象とする関連オブジェクトとなる部分領域が全て表示されている場合は、これらの部分領域間で直接関連性を表す表示を行うことによって、資料説明者142に明確に関連性を提示することが可能となる。
次に、図13A(c)の表示状態に対して画面拡大操作が行われた場合の例について、図13A(d)〜(f),図13B(a)を用いて説明する。
図13A(d)は、図13A(c)の表示状態において、ステップS1008で資料説明者142が、範囲1325を表示するように画面拡大操作を行ったことを示す図である。資料表示端末102では、資料説明者142からの画面拡大操作が検出された場合ステップS1009で表示の更新を行い、図13A(e)のように範囲1325の部分を拡大したページ画像401の画像1331を資料表示領域1302に表示する。この表示状態に対して関連情報表示処理が実行された場合について説明する。
図13A(f)は、図13A(e)の表示状態に対してオブジェクト表示判定処理を実行したときの状態を説明するための図である。図13A(f)では、図14(b)に示す処理対象リスト1420に本体オブジェクトの情報として追加された部分領域が網掛部1316〜1318として表されている。このように、画面拡大操作により画面中に表示されている部分領域はページ画像401中の部分領域の一部となった場合、図13A(f)の網掛部1316〜1318の部分領域のみが表示されていると判定される。この場合、網掛部1316〜1318の部分領域の情報が本体オブジェクトの情報として処理対象リスト1420に追加される。その後、処理対象リスト1420の各行の関連情報に対して順次関連情報表示処理が実行される。
図13B(a)は、図13A(e)の表示状態に対して関連情報表示処理を実行し、オブジェクト間の紐付け表示が行われた状態を示す。図13A(e)においては、対象とする関連オブジェクトとなる、網掛部1316,1317の部分領域は共に画面上に存在するため、これらの部分領域間に直接関連性を表す表示1344がなされる。一方、図13A(e)においては、対象とする関連オブジェクトとなる、図13A(c)の網掛部1312,1319の部分領域は画面上に存在していない。よって、図13A(c)に示す、網掛部1312,1317の部分領域間の関連性を表す表示1321や、網掛部1316,1319の部分領域間の関連性を表す表示1323のようにオブジェクト間で直接紐づけができない。この場合、画面上に存在していない網掛部1312,1319の部分領域について代替オブジェクト1341,1342を生成し、領域1303に表示する。本実施例においては、代替オブジェクト1341,1342として、網掛部1312,1319の部分領域(関連オブジェクト)の画像それぞれをサムネイル化した画像が用いられる。その後、領域1303に表示された代替オブジェクト1341,1342のそれぞれに対し、表示中の部分領域との関連性を表す表示1343,1345がなされる。この例のように、対象とする関連オブジェクトとなる部分領域の一部が画面操作によって資料表示領域1302に表示されなくなった場合、代替オブジェクトを領域1303に表示し、その代替オブジェクトと表示中の部分領域との間で関連性を表す表示を行う。よって、資料説明者142に関連情報を提示することが可能となる。
最後に、図13B(a)の表示状態に対して画面移動操作が行われた場合の例について、図13B(b)〜(e)を用いて説明する。
図13B(b)は、図13B(a)の表示状態において、ステップS1008で資料説明者142が、範囲1325から範囲1351を表示するように画面移動操作が行われたことを示す図である。資料表示端末102では、資料説明者142からの画面移動操作が検出された場合ステップS1009で表示の更新を行い、図13B(c)のように範囲1351の部分を拡大したページ画像401の画像1361を資料表示領域1302に表示する。この表示状態に対して関連情報表示処理が実行された場合について説明する。
図13B(d)は、図13B(c)の表示状態に対してオブジェクト表示判定処理を実行したときの状態を説明するための図である。図13B(d)では、図14(c)に示す処理対象リスト1430に本体オブジェクトの情報として追加された部分領域が網掛部1312,1313,1316,1317として表されている。このように、画面移動操作によって、画面中に表示されている部分領域が変わった場合、図13B(d)の網掛部1312,1313,1316,1317の部分領域のみが表示されていると判定される。この場合、網掛部1312,1313,1316,1317の部分領域の情報が本体オブジェクトの情報として処理対象リスト1420に追加される。その後、処理対象リスト1420の各行の関連情報に対して順次関連情報表示処理が実行される。
図13B(e)は、図13B(c)の表示状態に対して関連情報表示処理を実行し、オブジェクト間の紐付け表示が行われた状態を示す。図13B(c)においては、対象とする関連オブジェクトとなる、網掛部1316,1317の部分領域は共に画面上に存在するため、これらの部分領域間に直接関連性を表す表示1383がなされる。また、関連を持つ、図13A(c)の網掛部1316,1319の部分領域については、図13B(b)の画面移動操作後も網掛部1316の部分領域は画面上に存在する一方、網掛部1319の部分領域は画面上に存在しないという状態は変わっていない。そのため、網掛部1319の部分領域の代替オブジェクト1381を生成し、網掛部1316の部分領域との関連性を表す表示1384がなされる。一方、図13B(a)において表示されていない状態であった、図13A(c)の網掛部1312の部分領域は画面移動操作によって画面上に存在するようになる。すなわち、図13B(d)に示すように、関連を持つ、網掛部1312,1317の部分領域が共に画面上に存在する状態となる。よって、図13B(a)で代替オブジェクト1341と関連性を表す表示1343を用いて示された、図13A(c)の網掛部1312,1317の部分領域の関連性は、図13B(e)ではこれらの部分領域間に直接関連性を表す表示1382により示される。
ここまでで、コンテンツの表示状態に応じて、対象とする関連オブジェクトの表示形態を変更する例を示した。
以上説明したように、本発明によれば、表示対象であるコンテンツの表示状態に依存せず、コンテンツに含まれるオブジェクト間の関連性が表示される。よって、資料説明者142は常にコンテンツに含まれるオブジェクト間の関連性を把握することが可能となる。特に、図13B(a),(e)に示すように、資料説明者142のタッチパネルディスプレイ901への操作によりページ画像の2以上の部分領域が画面に拡大表示された場合である。かかる場合であっても、資料説明者142はコンテンツに含まれるオブジェクト間の関連性を把握することが可能となる。
[その他の実施例]
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ(またはCPUやMPU)は、記憶媒体に格納されたプログラムコードを読み出し実行する。
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ(またはCPUやMPU)は、記憶媒体に格納されたプログラムコードを読み出し実行する。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
また、上述のプログラムコードの指示に基づき、装置上で稼動しているOS(基本システムやオペレーティングシステム)などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行う。
100 情報処理システム
101 資料作成端末
102 資料表示端末
103 資料データ管理サーバ
104 ページ解析サーバ
120 ネットワーク
200 制御装置
311 制御部
312 通信部
313 表示部
314 操作部
315 資料データ表示処理部
316 関連情報表示処理部
101 資料作成端末
102 資料表示端末
103 資料データ管理サーバ
104 ページ解析サーバ
120 ネットワーク
200 制御装置
311 制御部
312 通信部
313 表示部
314 操作部
315 資料データ表示処理部
316 関連情報表示処理部
Claims (6)
- 複数の表示単位を含むコンテンツの一部又は全体を画面に表示するコンテンツ表示手段と、前記コンテンツの関連を持つ表示単位を紐付ける表示を行う表示処理手段とから構成される画像処理装置であって、
前記表示処理手段は、
前記複数の表示単位のそれぞれの、前記コンテンツ表示手段による前記画面への表示有無を判定する第1の判定手段と、
前記第1の判定手段により前記画面に表示されていると判定された表示単位のうち対象とする表示単位と関連を持つ表示単位の前記画面への表示有無を判定する第2の判定手段と、
前記第2の判定手段により前記関連を持つ表示単位が前記画面に表示されていると判定された場合には前記対象とする表示単位と前記関連を持つ表示単位を紐付ける表示を行う第1の表示手段と、
前記第2の判定手段により前記関連を持つ表示単位が前記画面に表示されていないと判定された場合には前記関連を持つ表示単位の代替となる代替オブジェクトを生成して前記画面に表示すると共に、前記対象とする表示単位と前記代替オブジェクトを紐付ける表示を行う第2の表示手段とを備えることを特徴とする画像処理装置。 - 前記表示処理手段は、前記複数の表示単位のそれぞれに対し前記画面に表示されている面積割合を算出する算出手段を更に備え、
前記第1の判定手段は、前記算出された面積割合に基づき前記複数の表示単位のそれぞれの前記画面への表示有無を判定することを特徴とする請求項1記載の画像処理装置。 - 前記第2の判定手段による判定は、前記複数の表示単位がそれぞれ他の表示単位のいずれと関連を持つかを示す情報と前記第1の判定手段による判定の結果に基づいて行われることを特徴とする請求項1又は2記載の画像処理装置。
- 前記コンテンツ表示手段は、2以上の表示単位を前記画面に表示することを特徴とする請求項1記載の画像処理装置。
- 複数の表示単位を含むコンテンツの一部又は全体を画面に表示するコンテンツ表示ステップと、前記コンテンツの関連を持つ表示単位を紐付ける表示を行う表示処理ステップとを有する画像処理装置の制御方法であって、
前記表示処理ステップは、
前記複数の表示単位のそれぞれの、前記コンテンツ表示ステップによる前記画面への表示有無を判定する第1の判定ステップと、
前記第1の判定ステップにおいて前記画面に表示されていると判定された表示単位のうち対象とする表示単位と関連を持つ表示単位の前記画面への表示有無を判定する第2の判定ステップと、
前記第2の判定ステップにおいて前記関連を持つ表示単位が前記画面に表示されていると判定された場合には前記対象とする表示単位と前記関連を持つ表示単位を紐付ける表示を行う第1の表示ステップと、
前記第2の判定ステップにおいて前記関連を持つ表示単位が前記画面に表示されていないと判定された場合には前記関連を持つ表示単位の代替となる代替オブジェクトを前記画面上に生成して前記画面に表示すると共に、前記対象とする表示単位と前記代替オブジェクトを紐付ける表示を行う第2の表示ステップとを有することを特徴とする制御方法。 - 請求項5記載の制御方法を実行することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018032061A JP2019148649A (ja) | 2018-02-26 | 2018-02-26 | 画像処理装置、制御方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018032061A JP2019148649A (ja) | 2018-02-26 | 2018-02-26 | 画像処理装置、制御方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019148649A true JP2019148649A (ja) | 2019-09-05 |
Family
ID=67850472
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018032061A Pending JP2019148649A (ja) | 2018-02-26 | 2018-02-26 | 画像処理装置、制御方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019148649A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110807729A (zh) * | 2019-10-30 | 2020-02-18 | 口碑(上海)信息技术有限公司 | 图像数据的处理方法及装置 |
-
2018
- 2018-02-26 JP JP2018032061A patent/JP2019148649A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110807729A (zh) * | 2019-10-30 | 2020-02-18 | 口碑(上海)信息技术有限公司 | 图像数据的处理方法及装置 |
CN110807729B (zh) * | 2019-10-30 | 2023-06-23 | 口碑(上海)信息技术有限公司 | 图像数据的处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6142580B2 (ja) | 情報処理システム、情報登録方法、会議装置及びプログラム | |
CN104541265A (zh) | 电子阅读器*** | |
TWI627540B (zh) | 雲端字形服務系統 | |
KR20090013927A (ko) | 전자책 뷰어화면 상에서의 메모 실행 방법 및 이에적용되는 장치 | |
CN104040469A (zh) | 在基于笔的计算***中的内容选择 | |
US20120144306A1 (en) | Method and system for interacting or collaborating with exploration | |
TW201303619A (zh) | 電子書提供系統 | |
KR20180082845A (ko) | 전자책 서비스 제공방법 및 그를 위한 컴퓨터 프로그램 | |
US9940512B2 (en) | Digital image processing apparatus and system and control method thereof | |
US20140351679A1 (en) | System and method for creating and/or browsing digital comics | |
US20210271380A1 (en) | Display device | |
JP2011086050A (ja) | 情報処理端末及びコンピュータプログラム | |
JP2010271958A (ja) | 帳票表示システム、情報処理装置、情報処理方法及びプログラム | |
JP2019148649A (ja) | 画像処理装置、制御方法、およびプログラム | |
JP5991365B2 (ja) | 帳票システム、情報処理装置と、その処理方法及びプログラム | |
EP2816493A1 (en) | Contents sharing service | |
JP2011044013A (ja) | コンテンツ閲覧装置、コンテンツ閲覧システム、制御方法およびプログラム | |
JP5811208B2 (ja) | コンテンツ閲覧装置、コンテンツ閲覧装置の制御方法、プログラム、コンテンツ閲覧システム、コンテンツ閲覧システムの制御方法 | |
JP2011128710A (ja) | 表示装置、表示システム、表示制御方法および表示制御プログラム | |
JP2007179083A (ja) | 会議システム、その制御方法及びプログラム | |
JP7365935B2 (ja) | 表示装置 | |
JP2014197256A (ja) | 編集装置、編集方法、及びプログラム | |
JP5236449B2 (ja) | 帳票表示システム、情報処理装置、帳票表示方法、情報処理方法、プログラム | |
JP4963633B2 (ja) | 情報処理装置及び情報処理方法 | |
JP2005165452A (ja) | 情報処理装置、クライアント端末装置、情報処理方法、プログラム及び記録媒体 |