JP2008250700A - 情報処理装置、ウインドウ再生方法及びプログラム - Google Patents

Abstract

【課題】ウインドウを含む画面を保存した場合であっても、再生時において、保存時と同様の操作ができるようにすることを目的とする。
【解決手段】取り込み指示に応じて、表示装置の画面内に表示されているオブジェクトがウインドウか否かを判別するウインドウ判別手段と、ウインドウと判別されたオブジェクトの画像を取得する画像取得手段と、ウインドウと判別されたオブジェクトに関するウインドウ情報を取得するウインドウ情報取得手段と、画像取得手段が取得したウインドウの画像と、ウインドウ情報取得手段が取得したウインドウ情報とを保存する保存手段と、再生指示に応じて、記憶手段に関連付けて保存されているウインドウの画像と、ウインドウ情報とに基づいて、ウインドウを再生する再生手段とを有し、再生手段は、前記再生したウインドウに対して行われるウインドウ操作に応じて、ウインドウを制御することを特徴とする。
【選択図】図１

Description

本発明は、表示装置の画面内に表示されるウインドウを再生するのに用いられて好適な情報処理装置、ウインドウ再生方法及びプログラムに関する。

近年、プラズマディスプレイを始め、リアプロジェクションディスプレイ、フロントプロジェクタ等の大画面表示装置の普及が進んでいる。このような大画面表示装置を用いることで、効果的なプレゼンテーションや会議を行うことが可能となる。そして、プレゼンテーションや会議を行う際に、表示装置に表示された表示内容を記録することで、後に会議の議事録として利用したり、参照用データとして使用したりすることができる。

上述した表示内容を記録する方式としては、画面のスナップショットをキャプチャし、静止画として記録する方法、画面の動画を記録する方法、音声や操作履歴等を記録する方法等がある。

また、近年、会議システムが普及している。会議システムでは会議の記録として上述したような表示装置に表示された表示内容を含めた会議データが記録される。会議データとしては、キャプチャした画像の他に、参加者情報、開催場所、開始終了時刻、会議資料等のデータが記憶装置に保存される。

なお、会議システムの表示装置等への入出力は、マウスやキーボードにより行われている。更に、最近の会議システムは、高機能なポインティングシステムとして、表示装置に画面上を指示した指示位置を検出する検出機能を備えている。この検出機能により、画面上の指示位置へのカーソル表示や画面上への文字や図形等の上書きができ、電子ホワイトボードのような描画機能を備えた会議システムを実現することができる。

特許文献１には、ホワイトボードに投影したマルチメディアプロジェクタの映像とボード用マーカーペンで記入した文字数字等を合成記録し、再生を可能とする技術が開示されている。また、特許文献２には、ホワイトボードのスナップショットから会議や授業を再生できる技術が開示されている。更に、特許文献３には、会議の音声映像情報と表示情報とを記録し、再生可能とする電子会議システムの技術が開示されている。

特開２００１−３１２００１号公報 特開２００４−３３６２８９号公報 特開平６−２０５１５１号公報

しかしながら、上述した画面のスナップショットをキャプチャし静止画として記録する方法において、多層で重なり合ったウインドウが表示されている表示装置の画面では、最上位面のウインドウのみしかキャプチャされない。より具体的に説明すると、ウインドウＡとウインドウＢとが画面上に表示されており、互いに一部分が、重なり合って表示されている場合がある。そして、ウインドウＡが、ウインドウＢよりも前面（使用者から見て手前）である場合は、重なり合っているウインドウＢの一部分の領域の表示内容は記録されず、再生時に閲覧することが出来ないという問題がある。

また、ウインドウは、そのサイズを最大化又は最小化するためのボタン、ウインドウの一部をドラッグしてウインドウを移動することができる機能、重なり合っているウインドウのうち隠れているウインドウをクリックすると前面に表示される機能等を有している。しかし、画面のスナップショットをキャプチャし静止画として記録する方法では、単なる画像として記録しているだけであるので、上述したような操作を行うことが出来ない。

本発明はこのような問題点に鑑みてなされたものであり、ウインドウを含む画面を保存した場合、再生時において、保存時と同様の操作を行うことができるようにすることを目的とする。

本発明の情報処理装置は、取り込み指示に応じて、表示装置の画面内に表示されているオブジェクトがウインドウか否かを判別するウインドウ判別手段と、前記ウインドウ判別手段においてウインドウと判別されたオブジェクトの画像を取得する画像取得手段と、前記ウインドウ判別手段においてウインドウと判別されたオブジェクトに関するウインドウ情報を取得するウインドウ情報取得手段と、前記画像取得手段が取得したウインドウの画像と、前記ウインドウ情報取得手段が取得したウインドウ情報とを関連付けて記憶手段に保存する保存手段と、再生指示に応じて、前記記憶手段に関連付けて保存されている前記ウインドウの画像と、前記ウインドウ情報とに基づいて、ウインドウを再生する再生手段と、を有し、前記再生手段は、前記再生したウインドウに対して行われるウインドウ操作に応じて、前記ウインドウを制御することを特徴とする。

また、本発明の情報処理装置におけるウインドウ再生方法は、取り込み指示に応じて、表示装置の画面内に表示されているオブジェクトがウインドウか否かを判別するウインドウ判別ステップと、前記ウインドウ判別ステップにおいてウインドウと判別されたオブジェクトの画像を取得する画像取得ステップと、前記ウインドウ判別ステップにおいてウインドウと判別されたオブジェクトに関するウインドウ情報を取得するウインドウ情報取得ステップと、前記画像取得ステップで取得したウインドウの画像と、前記ウインドウ情報取得ステップで取得したウインドウ情報とを関連付けて記憶手段に保存する保存ステップと、再生指示に応じて、前記記憶手段に関連付けて保存されている前記ウインドウの画像と、前記ウインドウ情報とに基づいて、ウインドウを再生する再生ステップと、を有し、前記再生ステップでは、前記再生したウインドウに対して行われるウインドウ操作に応じて、前記ウインドウを制御することを特徴とする。

また、本発明は、取り込み指示に応じて、表示装置の画面内に表示されているオブジェクトがウインドウか否かを判別するウインドウ判別ステップと、前記ウインドウ判別ステップにおいてウインドウと判別されたオブジェクトの画像を取得する画像取得ステップと、前記ウインドウ判別ステップにおいてウインドウと判別されたオブジェクトに関するウインドウ情報を取得するウインドウ情報取得ステップと、前記画像取得ステップで取得したウインドウの画像と、前記ウインドウ情報取得ステップで取得したウインドウ情報とを関連付けて記憶手段に保存する保存ステップと、再生指示に応じて、前記記憶手段に関連付けて保存されている前記ウインドウの画像と、前記ウインドウ情報とに基づいて、ウインドウを再生する再生ステップと、をコンピュータに実行させるためのプログラムであって、前記再生ステップでは、前記再生したウインドウに対して行われるウインドウ操作に応じて、前記ウインドウを制御することを特徴とする。

本発明によれば、ウインドウを含む画面を保存した場合、再生時において、保存時と同様の操作を行うことができる。

以下、本発明の実施形態について図面に基づいて説明する。
（第１の実施形態）
図１は、本実施形態に係る情報処理装置を含んだ会議システムの構成の一例を示すブロック図である。会議システムは、情報処理装置１００と、入力装置１２０と、表示装置１３０とを含んで構成される。

情報処理装置１００は、パーソナルコンピュータである。情報処理装置１００は、ハードウェア構成として、制御部１０２と、記憶手段の一例である記憶部１０７とを含む。
制御部１０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等からなり、情報処理装置１００全体の制御を行う。記憶部１０７は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。また、記憶部１０７には、フラッシュメモリ等の不揮発性メモリ、ＨＤＤ等の外部記憶装置が含まれてもよい。

また、情報処理装置１００は、制御部１０２が記憶部１０７に記憶されているプログラムに基づき、処理を実行することにより実現される機能構成として、以下の構成を含む。つまり、情報処理装置１００は、図１に示されるように機能構成として、入力部１０１と、ウインドウ判別部１０３と、ウインドウ情報取得部１０４と、画像取得部１０５と、再生部１０６と、映像出力部１０８と、読み書き部１０９とを含む。

入力部１０１は、入力装置１２０からの座標入力やコマンド入力を受け付ける。ウインドウ判別手段の一例であるウインドウ判別部１０３は、キャプチャ指示（取り込み指示）に応じて、表示装置１３０の画面内に表示されるオブジェクトがウインドウか否かを判別する。例えば、ウインドウ判別部１０３は、制御部１０２において実行されているＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の機能を用いて、表示装置１３０の画面内に表示されるオブジェクトがウインドウか否かを判別する。
ここで、ウインドウとは、ＧＵＩにおいてそれぞれ異なった情報を表示することができる矩形の領域のことである。また、オブジェクトとは表示装置１３０の画面内に表示される表示要素のことをいい、例えば、後述する図２のウインドウや、後述する描画オブジェクト等をいう。

ウインドウ情報取得手段の一例であるウインドウ情報取得部１０４は、ウインドウ判別部１０３においてウインドウと判別されたオブジェクトに関するウインドウ情報を取得する。例えば、ウインドウ情報取得部１０４は、制御部１０２において実行されているＯＳの機能を用いて、ウインドウのウインドウ情報を取得する。
ここで、ウインドウ情報の詳細は、後述する図４等において説明する。

画像取得手段の一例である画像取得部１０５は、表示装置１３０に表示されている背景の画像と、ウインドウ判別部１０３においてウインドウと判別されたオブジェクトの画像とを取得する。例えば、画像取得部１０５は、制御部１０２において実行されているＯＳの機能を用いて、表示装置１３０に表示されている背景の画像と、ウインドウの画像とを取得する。

保存手段の一例である読み書き部１０９は、画像取得部１０５が取得した画像及びウインドウ情報取得部１０４が取得したウインドウ情報を記憶部１０７に保存する。より具体的に説明すると、読み書き部１０９は、記憶部１０７に記憶されている後述する図３や図４に示されるテーブルに各値（情報）を記憶する。

再生手段の一例である再生部１０６は、再生指示に応じて、読み書き部１０９において記憶部１０７に保存された図３や図４に示される情報に基づき、ウインドウやウインドウを含むページ（画面）を再生する。また、再生部１０６は、再生時におけるウインドウに対する後述するウインドウ操作に応じて、各種のウインドウの制御を行う。

映像出力部１０８は、表示装置１３０へのウインドウ等を含むページ等の映像の出力を制御する。

図２は、図１の表示装置１３０へ出力される画面の一例を示した図である。図２に示されるように、表示装置１３０には、画面２０１が表示されている。なお、図２は、キャプチャ時における画面２０１が例示されている。但し、情報処理装置１００が、図２の状態の画面２０１をキャプチャし、再生した場合であっても、画面２０１と同様の画面が表示装置１３０に出力（再生）される。

図２の画面２０１には、ウインドウ２０２と、ウインドウ２０３とが表示されている。ウインドウを制御しているアプリケーションソフトウェアは、入力装置１２０を介したウインドウのサイズ変更操作に応じてウインドウのサイズ変更する機能を有している。また、ウインドウを制御しているアプリケーションソフトウェアは、入力装置１２０を介したウインドウの移動操作に応じて複数のウインドウを重ね合わせて表示する機能を有している。また、ウインドウを制御しているアプリケーションソフトウェアは、入力装置１２０を介したウインドウの選択操作に応じて重ね合わされた複数のウインドウのうち選択されたウインドウを前面に表示する機能を有している。なお、以下では、このように入力装置１２０を介したウインドウに対する操作をウインドウ操作と呼ぶ。

図２に表示されているウインドウ２０２は、ウインドウ２０３の前面にある。したがって、ウインドウ２０３の一部領域は、ウインドウ２０２に隠れて表示されている。ここで、ウインドウ２０２は、クライアント領域２０４やタイトルバー領域２０６が含まれる。また、ウインドウ２０３は、クライアント領域２０５やタイトルバー領域２０７が含まれる。

クライアント領域２０４は、ウインドウ２０２の矩形からタイトルバー領域２０６やスクロールバー領域（図示せず）を除いた領域である。同様に、クライアント領域２０５は、ウインドウ２０３の矩形からタイトルバー領域２０７やスクロールバー領域（図示せず）を除いた領域である。

タイトルバー領域には、ウインドウ名が表示される。また、入力装置１２０を用いて例えばタイトルバー領域２０６がドラッグ＆ドロップされると、ウインドウ２０２を制御しているアプリケーションソフトウェアは、前記ドラッグ＆ドロップに応じてウインドウ２０２を移動させる。また、タイトルバー領域２０６上にはウインドウ２０２を最大化するための最大化ボタン２１１や最小化するための最小化ボタン２１３等が配置されている。同様に、タイトルバー領域２０７上にはウインドウ２０３を最大化するための最大化ボタン２１２や最小化するための最小化ボタン２１４等が配置されている。

画面２０１には、タスクバー２０８が表示されている。タスクバー２０８には、表示されているウインドウ２０２を認識できるようにウインドウ２０２に対応したタスクボタン２０９が表示されている。また、タスクバー２０８には、表示されているウインドウ２０３を認識できるようにウインドウ２０３に対応したタスクボタン２１０が表示されている。ユーザは入力装置１２０を用いてタスクボタンを選択することで、対応するウインドウを選択することができる。タスクボタンで選択されたウインドウは、最前面に表示されるように表示切り替えが行われる。また、ユーザは入力装置１２０を用いてタスクボタンを操作することにより、対応するウインドウを最大化したり、最小化したりする等のウインドウ操作を行うことができる。なお、タスクバー２０８は、使用者の好みに応じて任意の位置に変更することができる。

図３は、図１の情報処理装置１００の記憶部１０７に格納されるページテーブルの一例を示した図である。ページテーブルには各項目からなるページ情報が記憶される。図３のページテーブルに記憶されるページ情報は、図２のような画面をキャプチャしたものである。キャプチャ毎にページ（ページＩＤ）が１つずつ増える。ここで、キャプチャするタイミングは、一定時間毎又は、ファイルアクセスやウインドウを表示する毎等の所定のタイミングで行う。また、表示装置１３０の画面上や無線又はネットワーク上のリモート入力装置にキャプチャボタン等を配し、ボタン押下時にキャプチャする等してもよい。

ページテーブルの項目としては、ページＩＤ、保存時刻、ウインドウＩＤ、背景がある。ページＩＤは、キャプチャしたページを一意に識別するＩＤである。ここで、図３のページＩＤのＰ１は、図２の画面２０１をキャプチャしたものである。保存時刻は、キャプチャした時刻である。ウインドウＩＤは、キャプチャしたときに画面に存在していたウインドウを一意に識別するＩＤである。キャプチャしたときに存在するウインドウは、ウインドウ判別部１０３により判別する。ページＩＤのＰ１のページ（画面）には、ウインドウＷ１（図２のウインドウ２０２）と、ウインドウＷ２（図２のウインドウ２０３）とが存在している。背景は、キャプチャしたときの画面２０１の背景の画像である。この背景の画像はＢＭＰ、ＪＰＥＧ又はＰＮＧ等の画像ファイル形式である。

図４は、図１の情報処理装置１００の記憶部１０７に格納されるウインドウテーブルの一例を示した図である。ウインドウテーブルには各項目からなるウインドウ情報及びウインドウの画像が記憶されている。図４のウインドウテーブルの項目としては、ウインドウＩＤ、矩形、クライアント領域、ウインドウスタイル、状態、Ｚオーダー、画像がある。つまり、ウインドウテーブルは、ウインドウの画像と、ウインドウ情報とを関連付けて保存（又は記憶）している。

ウインドウＩＤは、ウインドウを一意に識別するＩＤである。ここでは、図２の画面に表示されているウインドウＷ１（図２のウインドウ２０２）と、ウインドウＷ２（図２のウインドウ２０３）とが存在している。矩形（ウインドウの位置情報）は、ウインドウの領域を表す値であり、画面におけるウインドウの位置を示す。この値は、ウインドウの左上座標と、右下座標とからなっている。座標系は、図２の画面２０１の左上を（０，０）とし、画面２０１の右下を（１０００，８００）としている。Ｗ１の矩形は、（１００，１００）−（５００，４００）、ウインドウＷ２の矩形は、（３００，３００）−（８００，５５０）である。なお、ウインドウＷ２の一部の領域（３００，３００）−（５００，４００）は、ウインドウＷ１の背面に位置し、見えない状態になっている。

クライアント領域は、ウインドウのクライアント領域の矩形を示す値であり、画面におけるクライアント領域の位置及び大きさを示す。この値は、クライアント領域の左上座標と、右下座標とからなる。ウインドウスタイルは、ウインドウのスタイルを示す値である。ウインドウスタイル（ウインドウの機能情報）には、ウインドウの外観、ウインドウの機能に関する最大化ボタン又は最小化ボタンの有無、タイトルバーの有無、スクロールバーの有無、常に最前面に表示するかどうか等の情報を有している。図４では、ウインドウＷ１、Ｗ２のウインドウスタイルはＭｉｎｉｍｉｚｅ、Ｍａｘｉｍｉｚｅを含んでいる。Ｍｉｎｉｍｉｚｅとは、ウインドウに最小化ボタンが配置されていることを意味する。また、Ｍａｘｉｍｉｚｅとは、ウインドウに最小化ボタンが配置されていることを意味する。

状態は、ウインドウの表示状態を示す値である。状態には、最大化、最小化、標準等の状態がある。状態が最大化である場合は、矩形の値に関らず、ウインドウが画面に最大化表示されていることを示す。状態が最小化である場合は、矩形の値に関らず、ウインドウが最小化表示され、タスクボタンのみの表示であることを示す。状態が標準である場合は、矩形の値にしたがって表示されることを示す。

Ｚオーダー（ウインドウの表示前後情報）は、ウインドウの表示順を示す値である。図４ではウインドウＷ１が１である。ウインドウＷ２が２である。つまり、ウインドウＷ１は、ウインドウＷ２より前面にあることを示している。画像は、ウインドウの画像である。

図５は本実施形態における情報処理装置１００のキャプチャ時の処理手順を示したフローチャートである。まず、ステップＳ５０１において、ウインドウ判別部１０３は、例えば入力部１０１を介してキャプチャの指示を受け取ったか否かを判断する。ウインドウ判別部１０３は、キャプチャの指示を受け取ったと判断すると、ステップＳ５０２に処理を進め、キャプチャの指示を受け取っていないと判断すると、ステップＳ５０１の処理を繰り返す。

次に、ステップＳ５０２において、ウインドウ判別部１０３は、表示装置１３０の画面内に表示されているオブジェクトがウインドウか否かを判別する。

次に、ステップＳ５０３において、画像取得部１０５は、背景の画像及びステップＳ５０２においてウインドウであると判別されたオブジェクトの画像を取得する。また、ステップＳ５０３において、ウインドウ情報取得部１０４は、ウインドウの矩形の座標、クライアント領域、ウインドウスタイル、状態、Ｚオーダ、画像のウインドウ情報を取得する。

次に、ステップＳ５０４において、画像取得部１０５は全ての画像を取得した否かを、またウインドウ情報取得部１０４は、全てのウインドウ情報を取得したか否かを判断する。画像取得部１０５が全ての画像を取得したと判断し、またウインドウ情報取得部１０４も、全てのウインドウ情報を取得したと判断すると、ステップＳ５０５に処理を進め、どちらか一方でも取得していないと判断すると、ステップＳ５０３の処理に戻る。

次に、ステップＳ５０５において、読み書き部１０９は、画像取得部１０５が取得した画像及びウインドウ情報取得部１０４が取得したウインドウ情報を、図３に示すページテーブルや図４に示すウインドウテーブルに保存する。なお、本実施形態では、保存先を情報処理装置１００の記憶部１０７としたが、ネットワーク上の記憶装置やＵＳＢメモリ等可搬可能なメディアに記憶してもよい。保存した後、ステップＳ５０１の処理に戻り、ウインドウ判別部１０３は、再びキャプチャの指示を待機する。

図６は本実施形態における情報処理装置１００の画像再生時の処理手順を示したフローチャートである。画像の再生は、ページを参照するためのビューア等から指示される。まず、ステップＳ６０１において、再生部１０６は、例えば入力部１０１を介して再生指示（ページ再生指示）を受け取ったか否かを判断する。再生部１０６は、再生指示を受け取ったと判断すると、ステップＳ６０２に処理を進め、再生指示を受け取っていないと判断すると、ステップＳ６０１の処理を繰り返す。

続いて、ステップＳ６０２において、再生部１０６は、読み書き部１０９を介して、再生指示されたページ情報（背景の画像を含む）を図３に示したページテーブルから取得する。
ステップＳ６０３において、再生部１０６は、読み書き部１０９を介して、再生指示されたページに含まれる全てのウインドウのウインドウ情報を図４に示したウインドウテーブルから取得する。
続いて、ステップＳ６０４において、再生部１０６は、ページに含まれる全てのウインドウの画像を取得したか否かを判定する。再生部１０６は、ページに含まれる全てのウインドウの画像を取得したと判定すると、ステップＳ６０５に処理を進め、ページに含まれる全てのウインドウの画像を取得していないと判定すると、ステップＳ６０３の処理に戻る。

ステップＳ６０５では、再生部１０６は、取得したウインドウの画像やウインドウ情報からウインドウの再生を行う。より具体的に説明すると、再生部１０６は、取得したウインドウの画像やウインドウ情報からウインドウオブジェクトを生成する処理を行う。ここで、ウインドウオブジェクトとは、再生画面中の画像オブジェクトであり、再生されたウインドウのことをいう。なお、ウインドウオブジェクトに対してユーザは入力装置１２０によりキャプチャ時のウインドウと同様のウインドウ操作を行うことができる。

再生部１０６が、ウインドウオブジェクトを生成する処理についてより詳細に説明する。まず、再生部１０６は、ウインドウテーブルの項目の中の矩形の値（位置情報）に基づいて、前記矩形の値に応じた位置（及び大きさ）で、取得したウインドウの画像を配置する。この際、ウインドウテーブルの項目の中の状態が最大化である場合には、再生部１０６は、ウインドウの画像を画面内に最大で表示する。また、ウインドウテーブルの項目の中の状態が最小化である場合には、再生部１０６は、ウインドウの画像を画面内に表示しない。

次に、再生部１０６は、ウインドウテーブルの項目の中のクライアント領域を基に、ウインドウの矩形の中のクライアント領域と、タイトルバー領域とを設定する。再生部１０６は、ウインドウのサイズ変更をするウインドウ操作がされた場合でも、タイトルバー領域を拡大又は縮小せず、クライアント領域のみを拡大又は縮小する制御をする。このように、ウインドウの内容と関係ないタイトルバー領域の拡大又は縮小を防ぐことで、ユーザはキャプチャ時と同様のウインドウ操作である拡大又は縮小表示を行うことができる。

次に、再生部１０６は、ウインドウテーブルの項目の中のウインドウスタイルの値を基に、ウインドウオブジェクト上に最大化ボタン、最小化ボタンを配置する。例えばウインドウスタイルにＭａｘｉｍｉｚｅが設定されている場合は、タイトルバー上に最大化ボタンを配置する。また、ウインドウスタイルにＭｉｎｉｍｉｚｅが設定されている場合は、タイトルバー上にウインドウオブジェクト上に最小化ボタンを配置する。

次に、再生部１０６は、ウインドウテーブルの項目の中のＺオーダーの値を基に、複数あるウインドウオブジェクトの表示の前後関係を設定する。

続いて、ステップＳ６０６において、再生部１０６は、背景の画像を最背面に配置し、ステップＳ６０５において生成したウインドウオブジェクトを背景の画像上に配置して、再生指示されたページを生成する。この際、キャプチャ時にタスクバーが表示されていた場合は、再生部１０６は、タスクバーの画像もキャプチャ時の表示位置へ表示させるようにページを生成する。このタスクバー上には、ページ内のウインドウに対するタスクボタンを配置することで、ウインドウを一覧表示する。また、再生部１０６は、タスクバー上を入力装置１２０で選択されたときは、メニューを表示させるよう再生制御を行ってもよい。このメニューの表示項目には、ウインドウテーブルの項目であるウインドウスタイルのＭａｘｉｍｉｚｅやＭｉｎｉｍｉｚｅを表示させるようにしてもよい。
続いて、ステップＳ６０７において、再生部１０６は、生成したページを画面へ表示する。

図７は、本実施形態に係るページ再生時にウインドウ操作をしたときのウインドウの制御手順を示したフローチャートである。まず、ステップＳ７０１において、入力部１０１は、入力装置１２０による操作を検知したか否かを判断する。入力部１０１は、入力装置１２０による操作を検知したと判断すると、ステップＳ７０２に処理を進め、入力部１０１は、入力装置１２０による操作を検知していないと判断すると、ステップＳ７０１の処理を繰り返す。

続いて、ステップＳ７０２において、入力部１０１は、検知した操作の領域の判定を行い、操作の領域に応じて、検知した操作の内容（操作内容）及び操作対象を、処理部（構成部）に渡す。例えば、検知した操作内容がウインドウオブジェクトに対するウインドウ操作であれば、入力部１０１は、再生部１０６に操作内容及び前記ウインドウオブジェクトを識別するウインドウＩＤを受け渡す。

続いて、ステップＳ７０３において、各構成部は、受け渡された操作対象及び操作内容に基づき、処理を実行する。例えば、操作内容がウインドウ操作の場合、再生部１０６は操作対象のウインドウオブジェクトに対して、操作内容に応じた表示の制御を行う。より具体的に説明すると、ウインドウオブジェクトの最大化ボタンが押下された場合は、再生部１０６は、前記ウインドウオブジェクトを最大化する制御を行う。また、タイトルバーがドラッグ＆ドロップされた場合は、再生部１０６は、前記タイトルバーに対応するウインドウオブジェクトをドラッグ＆ドロップされた位置に移動させる制御を行う。更に、タスクボタンがクリックされメニュー表示や最前面表示をする操作の場合は、再生部１０６は、クリックされたタスクボタンに対応するウインドウオブジェクトを前面に表示する制御を行う。一方、ページ送り、ページ戻し等のウインドウ以外の領域での操作である場合は、再生ビューア等で前記操作に応じた処理が行われる。

このように、本実施形態によれば、キャプチャ画像の再生時において、ウインドウのキャプチャ画像であれば、キャプチャ時と同様のウインドウ操作を行うことができるよう再生することができる。

（第２の実施形態）
図８は、本実施形態に係る情報処理装置を含んだ会議システムの構成の一例を示すブロック図である。会議システムは、情報処理装置８００と、入力装置１２０、８４０と、表示装置８３０とから構成される。ここで、本会議システムは、ペンで表示面に直接描画することができる電子ホワイトボード機能（電子描画機能）を備えている。なお、第１の実施形態と同一の構成要素は同一符号を付してその説明を省略する。

入力部８０１は、入力装置８４０からの座標入力や入力装置１２０からの入力を受け付ける。描画制御部８０９は、デジタイザやキーボードから入力された情報から、自由曲線や図形等の描画オブジェクトの生成、編集、削除、電子ホワイトボードのページ操作、表示制御等、描画に関する処理を行う。
なお、入力部８０１や、描画制御部８０９は、制御部１０２が記憶部１０７に記憶されているプログラムに基づき、処理を実行することにより実現される。

表示装置８３０は、電子ホワイトボードの機能を有するリアプロジェクション型ディスプレイであり、コンピュータやビデオ機器等の映像機器の画像を画面上に表示する装置である。リアプロジェクション型ディスプレイの内部には、光源ランプ、カラーフィルタ、液晶パネル、光学レンズ、ミラー等からなる光学系が構成されている。光源ランプが発生した光は、カラーフィルタ等によりＲＧＢの３色に分離され、それぞれ液晶パネルに照射される。液晶パネルにて変調された光は光学系によりリアプロジェクション型ディスプレイの画面上に拡大投影され画像が形成される。

入力装置８４０はペン型のポインティングデバイスである。入力装置８４０は、表示装置８３０の画面への描画入力や操作といった座標入力が可能な光学式デジタイザ等である。入力部８３２は、入力装置８４０から入力された自由曲線や図形等のオブジェクトを構成する入力座標列を受け取る。出力部８３３は、入力された座標を情報処理装置８００へ出力する。表示部８３１は、情報処理装置８００から出力された情報の表示を行うディスプレイである。なお、入力部８３２、出力部８３３は、ハードウェアとして表示装置８３０に実装されてもよい。また、表示装置８３０がＣＰＵ等の制御部や記憶部を有し、入力部８３２、出力部８３３は、記憶部に記憶されたプログラムに基づき制御部が処理を実行することによって実現されるソフトウェアとして実装されてもよい。

図９は、記録した会議データを一覧表示できる参照ビューアの画面表示の一例を示した図である。
図９において、画面左は、表示項目を指定する領域である。この表示項目を指定する領域には、会議グループとして会議グループ１と、会議グループ２との２つがある。会議グループ１は、その下に、会議１〜３を有する。また、会議１は、その下にはキャプチャ画像であるページ１〜３の３ページを有する構成となっている。

図９において、画面右は、選択項目の内容を表す領域である。この領域には、選択項目の縮小画像の一覧が表示されている。図９の画面左では会議１が選択されているため、画面右では会議１に所属するページ（ページ１、ページ２（ページ３は表示されていない））の縮小画像が表示されている。参照ビューアからページの再生を行うには、ユーザは入力装置１２０でページを選択し、図示しないページの再生操作を行う。ここで、会議とは、キャプチャしたページを束ねる単位である。一連のキャプチャ画像は一つの会議に属するものとする。また、会議グループとは、会議をまとめたグループである。

図１０は、図８の情報処理装置８００の記憶部１０７に記憶される会議テーブルの一例を示した図である。会議テーブルには各項目からなる会議情報が記憶される。図１０の会議テーブルの項目としては、会議ＩＤ、会議名、ページＩＤ、開催日時、所属グループＩＤがある。会議ＩＤは、会議を一意に識別するためにＩＤである。会議名は会議に付けられた名前であり、自動又は手動で入力する。ページＩＤは、会議に含まれるページのＩＤである。開催日時は、会議が開催された日時を示す値である。所属グループＩＤは、所属する会議グループのＩＤである。

図１１は、図８の情報処理装置８００の記憶部１０７に格納されるページテーブルの一例を示した図である。図１１のページテーブルの各項目は、図３とほぼ同じであるが、図３のページテーブルの項目に、描画オブジェクトＩＤの項目が追加されている。描画オブジェクトＩＤは、ページに含まれ、デジタイザやキーボードで入力された自由描画線、図形、又はテキスト等の描画オブジェクトを一意に識別するためのＩＤである。

図１２は、図８の情報処理装置８００の記憶部１０７に格納される描画オブジェクトテーブルの一例を示す図である。描画オブジェクトテーブルには、各項目からなる描画情報が記憶されている。描画オブジェクトテーブルの項目としては、オブジェクトＩＤ、データ種、描画データがある。オブジェクトＩＤは、描画オブジェクトを一意に識別するためのＩＤである。データ種は、描画されたオブジェクトデータの種類を表わす。データ種には、テキスト、円、直線、矩形、自由曲線等がある。描画データは、各オブジェクトの描画に必要なデータである。描画データが、テキストであれば、そのデータは、テキストデータ、表示する位置、大きさ、色、フォント等である。描画データが、自由曲線データであれば、そのデータは、座標列、色、線種等である。

本実施形態における情報処理装置のキャプチャ時の処理手順は、第１の実施形態における図５のフローチャートとほぼ同様である。本実施形態では、図５のステップＳ５０３の処理に加えて、画像取得部１０５が、描画情報を取得する。より具体的に説明すると、画像取得部１０５は、制御部１０２において実行されているＯＳの機能を用いて、表示装置１３０に表示されている描画オブジェクトの描画情報を取得する。
そして、更に、本実施形態では、図５のステップＳ５０５の処理に加えて、読み書き部１０９が、ステップＳ５０３において画像取得部１０５が取得した描画情報を描画オブジェクトテーブルに保存する。

本実施形態における情報処理装置８００の画像再生時の処理手順は、第１の実施形態における図６のフローチャートとほぼ同様である。本実施形態では、図６のステップＳ６０３の処理に加えて、再生部１０６は、描画情報を描画オブジェクトテーブルから取得する。
また、ステップＳ６０５の処理に加えて、再生部１０６は、ページテーブルのオブジェクトＩＤの項目を基に、描画情報からページ中の描画オブジェクトの生成処理を行う。ここで、ウインドウオブジェクトを生成する際に、再生部１０６は、ウインドウオブジェクトを描画オブジェクトの１種である、ウインドウ属性を有する描画オブジェクトとして生成する。

このことによって、再生時における描画オブジェクトに対する操作に対し、ウインドウ属性を有する描画オブジェクトに対しては再生部１０６が処理し、ウインドウ属性を有しない描画オブジェクトに対しては描画制御部８０９が処理するようにすることができる。つまり、再生時における描画オブジェクトに対する操作に応じた処理を簡略化でき、また操作の統一を図ることができる。

本実施形態では図６のステップＳ６０６において、再生部１０６は、背景の画像を最背面に配置し、ステップＳ６０５で生成した描画オブジェクトを背景の画像上に配置して、再生指示されたページを生成する。

図１３は、本実施形態に係るページ再生時にウインドウ操作をしたときのウインドウの制御手順を示したフローチャートである。まず、ステップＳ１３０１において、入力部１０１は、入力装置１２０による操作を検知したか否かを判断する。入力部１０１は、入力装置１２０による操作を検知したと判断すると、ステップＳ１３０２に処理を進め、入力部１０１は、入力装置１２０による操作を検知していないと判断すると、ステップＳ１３０１の処理を繰り返す。

続いて、ステップＳ１３０２において、入力部１０１は、検知した操作の領域の判定を行い、操作の領域に応じて、検知した操作の内容（操作内容）及び操作対象を、処理部（構成部）に渡す。より具体的に説明すると、入力部１０１は、検知した操作の領域の判定を行い、ウインドウ属性を有する描画オブジェクト（以下、ウインドウオブジェクトという）に対する操作、即ちウインドウ操作であるか否かを判定する。入力部１０１は、ウインドウ操作であると判定すると、処理をステップＳ１３０３に進め、ウインドウ操作でないと判定すると、処理をステップＳ１３０４に進める。

ステップＳ１３０３において、入力部１０１は、操作内容及び操作対象のウインドウオブジェクトを識別するウインドウＩＤを再生部１０６に受け渡す。再生部１０６は、前記ウインドウＩＤに対応するウインドウオブジェクトに対して、前記操作内容に応じた表示の制御を行う。例えば、ウインドウオブジェクトの最大化ボタンが押下された場合は、再生部１０６は、前記ウインドウオブジェクトを最大化する制御を行う。

一方、ステップＳ１３０４において、入力部１０１は、ウインドウ属性を有しない描画オブジェクト（以下、描画オブジェクトという）に対する操作であるか否かを判定する。入力部１０１は、描画オブジェクトに対する操作であると判定すると、処理をステップＳ１３０５に進め、描画オブジェクトに対する操作でないと判定すると、処理をステップＳ１３０６に進める。

ステップＳ１３０５において、入力部１０１は、操作内容及び操作対象の描画オブジェクトを識別するオブジェクトＩＤを描画制御部８０９に受け渡す。描画制御部８０９は、前記オブジェクトＩＤに対応する描画オブジェクトに対して、前記操作内容に応じた表示の制御を行う。例えば、描画オブジェクトをドラッグして移動させる操作の場合は、描画制御部８０９は、前記描画オブジェクトを移動する制御を行う。

ステップＳ１３０６において、入力部１０１は、ウインドウオブジェクト及び描画オブジェクトに対する操作以外の操作であると判定し、再生ビューアでその制御を行う。例えば、ページ送り、ページ戻し等の操作である場合は、再生ビューアでページ送り、ページ戻し等の処理を行う。ステップＳ１３０３、ステップＳ１３０５ステップ及びＳ１３０６の処理が行われた後、ステップＳ１３０１に戻り、入力部１０１は、再び入力装置１２０による操作を検知したか否かを判断する。

このように、本実施形態によれば、電子描画機能を備えた会議システムにおいて記録したキャプチャ画面に描画オブジェクトが含まれていたとしても、再生時において、描画オブジェクトを再生でき、描画オブジェクトに対して操作をすることができる。

（他の実施形態）
上述した本発明の実施形態における情報処理装置を構成する各手段、並びにウインドウ再生方法の各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラム若しくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器からなるシステムに適用してもよい。

なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。更に、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

更に、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

このように、本発明によればウインドウを含む画面を保存した場合であっても、再生時において、保存時と同様のウインドウ操作を行うことができる。

第１の実施形態に係る情報処理装置を含む会議システムの構成の一例を示すブロック図である。 表示装置へ出力される画面の一例を示す図である。 記憶部に格納されるページテーブルの一例を示す図である。 記憶部に格納されるウインドウテーブルの一例を示す図である。 情報処理装置のキャプチャ時の処理手順を示すフローチャートである。 情報処理装置の画像再生時の処理手順を示すフローチャートである。 ページ再生時のウインドウの制御手順を示すフローチャートである。 第２の実施形態に係る情報処理装置を含む会議システムの構成の一例を示すブロック図である。 会議データの参照ビューアの画面表示の一例を示す図である。 記憶部に記憶される会議テーブルの一例を示す図である。 記憶部に格納されるページテーブルの一例を示す図である。 記憶部に格納される描画オブジェクトテーブル情報の一例を示す図である。 ページ再生時のウインドウの制御手順を示すフローチャートである。

符号の説明

１００ 情報処理装置
１０１ 入力部
１０２ 制御部
１０３ ウインドウ判別部
１０４ ウインドウ情報取得部
１０５ 画像取得部
１０６ 再生部
１０７ 記憶部
１０８ 映像出力部
１０９ 読み書き部
１２０ 入力装置
８００ 情報処理装置
８０１ 入力部
８０９ 描画制御部
８３０ 表示装置
８３１ 表示部
８３２ 入力部
８３３ 出力部
８４０ 入力装置

Claims (13)

1. 取り込み指示に応じて、表示装置の画面内に表示されているオブジェクトがウインドウか否かを判別するウインドウ判別手段と、
   前記ウインドウ判別手段においてウインドウと判別されたオブジェクトの画像を取得する画像取得手段と、
   前記ウインドウ判別手段においてウインドウと判別されたオブジェクトに関するウインドウ情報を取得するウインドウ情報取得手段と、
   前記画像取得手段が取得したウインドウの画像と、前記ウインドウ情報取得手段が取得したウインドウ情報とを関連付けて記憶手段に保存する保存手段と、
   再生指示に応じて、前記記憶手段に関連付けて保存されている前記ウインドウの画像と、前記ウインドウ情報とに基づいて、ウインドウを再生する再生手段と、
   を有し、
   前記再生手段は、前記再生したウインドウに対して行われるウインドウ操作に応じて、前記ウインドウを制御することを特徴とする情報処理装置。
2. 前記ウインドウ情報には、前記ウインドウの位置情報が含まれ、
   前記再生手段は、前記位置情報に基づいて、前記位置情報に応じた位置に関連するウインドウの画像を表示して、ウインドウを再生することを特徴とする請求項１に記載の情報処理装置。
3. 前記ウインドウ情報には、前記ウインドウの機能情報が含まれ、
   前記再生手段は、前記ウインドウの画像と、前記機能情報とに基づいて、前記機能情報に応じた機能を有するようにウインドウを再生することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記ウインドウ情報には、前記画面に含まれる複数のウインドウの表示前後情報が含まれ、
   前記再生手段は、前記表示前後情報に基づいて、前記表示前後情報に応じた表示順で関連するウインドウの画像を表示して、ウインドウを再生することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記画像取得手段は、前記ウインドウ判別手段においてウインドウと判別されたオブジェクトの画像及び前記画面内に表示されている背景の画像を取得し、
   前記保存手段は、前記画像取得手段が取得した背景の画像及びウインドウの画像と、前記ウインドウ情報取得手段が取得したウインドウ情報とを関連付けて記憶手段に保存し、
   前記再生手段は、前記記憶手段に関連付けて保存されている前記背景の画像と、前記ウインドウの画像と、前記ウインドウ情報とに基づいて、ウインドウを含む画面を再生することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記再生手段は、操作を検知すると、ウインドウに対して行われた操作か、前記画面に含まれるウインドウ以外の領域に対して行われた操作かを判定し、ウインドウに対して行われた操作であると判定した場合、ウインドウに対して行われた操作に応じて、前記ウインドウを制御することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 情報処理装置におけるウインドウ再生方法であって、
   取り込み指示に応じて、表示装置の画面内に表示されているオブジェクトがウインドウか否かを判別するウインドウ判別ステップと、
   前記ウインドウ判別ステップにおいてウインドウと判別されたオブジェクトの画像を取得する画像取得ステップと、
   前記ウインドウ判別ステップにおいてウインドウと判別されたオブジェクトに関するウインドウ情報を取得するウインドウ情報取得ステップと、
   前記画像取得ステップで取得したウインドウの画像と、前記ウインドウ情報取得ステップで取得したウインドウ情報とを関連付けて記憶手段に保存する保存ステップと、
   再生指示に応じて、前記記憶手段に関連付けて保存されている前記ウインドウの画像と、前記ウインドウ情報とに基づいて、ウインドウを再生する再生ステップと、
   を有し、
   前記再生ステップでは、前記再生したウインドウに対して行われるウインドウ操作に応じて、前記ウインドウを制御することを特徴とするウインドウ再生方法。
8. 前記ウインドウ情報には、前記ウインドウの位置情報が含まれ、
   前記再生ステップでは、前記位置情報に基づいて、前記位置情報に応じた位置に関連するウインドウの画像を表示して、ウインドウを再生することを特徴とする請求項７に記載のウインドウ再生方法。
9. 前記ウインドウ情報には、前記ウインドウの機能情報が含まれ、
   前記再生ステップでは、前記ウインドウの画像と、前記機能情報とに基づいて、前記機能情報に応じた機能を有するようにウインドウを再生することを特徴とする請求項７又は８に記載のウインドウ再生方法。
10. 前記ウインドウ情報には、前記画面に含まれる複数のウインドウの表示前後情報が含まれ、
    前記再生ステップでは、前記表示前後情報に基づいて、前記表示前後情報に応じた表示順で関連するウインドウの画像を表示して、ウインドウを再生することを特徴とする請求項７乃至９の何れか１項に記載のウインドウ再生方法。
11. 前記画像取得ステップでは、前記ウインドウ判別ステップにおいてウインドウと判別されたオブジェクトの画像及び前記画面内に表示されている背景の画像を取得し、
    前記保存ステップでは、前記画像取得ステップで取得した背景の画像及びウインドウの画像と、前記ウインドウ情報取得ステップで取得したウインドウ情報とを関連付けて記憶手段に保存し、
    前記再生ステップでは、前記記憶手段に関連付けて保存されている前記背景の画像と、前記ウインドウの画像と、前記ウインドウ情報とに基づいて、ウインドウを含む画面を再生することを特徴とする請求項７乃至１０の何れか１項に記載のウインドウ再生方法。
12. 前記再生ステップでは、操作を検知すると、ウインドウに対して行われた操作か、前記画面に含まれるウインドウ以外の領域に対して行われた操作かを判定し、ウインドウに対して行われた操作であると判定した場合、ウインドウに対して行われた操作に応じて、前記ウインドウを制御することを特徴とする請求項７乃至１１の何れか１項に記載のウインドウ再生方法。
13. 取り込み指示に応じて、表示装置の画面内に表示されているオブジェクトがウインドウか否かを判別するウインドウ判別ステップと、
    前記ウインドウ判別ステップにおいてウインドウと判別されたオブジェクトの画像を取得する画像取得ステップと、
    前記ウインドウ判別ステップにおいてウインドウと判別されたオブジェクトに関するウインドウ情報を取得するウインドウ情報取得ステップと、
    前記画像取得ステップで取得したウインドウの画像と、前記ウインドウ情報取得ステップで取得したウインドウ情報とを関連付けて記憶手段に保存する保存ステップと、
    再生指示に応じて、前記記憶手段に関連付けて保存されている前記ウインドウの画像と、前記ウインドウ情報とに基づいて、ウインドウを再生する再生ステップと、
    をコンピュータに実行させるためのプログラムであって、
    前記再生ステップでは、前記再生したウインドウに対して行われるウインドウ操作に応じて、前記ウインドウを制御することを特徴とするプログラム。

Images