JP5543055B2 - 表示制御方法、表示制御装置、および、プログラム - Google Patents

Description

本発明は、オブジェクトを描画するための描画領域上に描画された描画内容を再生するための表示制御技術に関するものである。

近年、プラズマディスプレイをはじめ、リアプロジェクションディスプレイ、フロントプロジェクタなど大画面表示装置の普及が進んでおり、このような大画面表示装置を用いてのプレゼンテーションや会議、授業等が行われるようになってきている。

大画面表示装置を用いて、会議、授業等を行うにあたり、これまでユーザは、表示画面上の特定の位置を指示する手段として、差し棒やレーザポインタ等を使用してきた。

しかし、最近ではユーザが指示した表示画面上の位置（指示位置）を検出するデジタイザを備えるポインティングシステムが開発され、これを利用するケースが増えてきている。かかるポインティングシステムによれば、表示画面上のユーザの指示位置に対応して、表示画面上のカーソルを移動させたり、指示位置に対応するツールを起動させ、表示画面上に文字や図形等の描画オブジェクトを生成することができる。また、該生成された描画オブジェクトを自由に編集することもできる。

一般に、このようなポインティングシステムでは、パーソナルコンピュータ等の表示制御装置のビデオ出力端子に大画面表示装置を接続することで、該パーソナルコンピュータで生成した表示データを大画面表示装置に表示している。また、デジタイザとパーソナルコンピュータとの間をインタフェースケーブルを用いて接続し、該インタフェースケーブルを介して指示位置に関する情報を送信している。

更に、パーソナルコンピュータ側には、インタフェースケーブルを介して入力される指示位置に関する情報をカーソル移動や文字・図形等の描画オブジェクトの生成等に反映させるためのアプリケーションがインストールされている。

このようにして構成されるポインティングシステムでは、インストールするアプリケーションを多機能化させることで、様々な機能を実現することができる。

例えば、表示画面上の指示位置にあわせて直接描画を行うようにすることで、手書き入力機能を実現することができる。この結果、大画面表示装置を電子ホワイトボードとして利用することもできる。

更に、ユーザの操作に伴って、表示画面上に表示された描画内容が変化した場合に、当該変化の内容を時刻データとともに記録しておき、時刻データに沿って再生するよう構成することで再生機能を実現することもできる。当該再生機能によれば、会議の時間経過に沿って、会議中に表示画面上に表示された描画内容について再生することができるため、例えば、大画面表示装置を電子ホワイトボードとして利用した場合に、該再生内容を会議中の議事録として利用することもできる。

ここで、時刻データとともに記録された変化の内容を再生する再生機能に関しては、これまで種々の提案がなされている。

例えば、再生機能による再生を目的として記録される記録対象として、特開２００４−３３６２８９号公報には、ホワイトボードのスナップショットが開示され、これにより会議や授業の再生を可能にしている。また、特開平６−２０５１５１号公報には、会議中の音声映像情報をあわせて再生する構成が開示されている。

さらに、再生機能を用いて再生する際のユーザの利便性の向上を目的とした提案もなされている。例えば、再生時間の短縮を目的として、等倍速のみならず、早送りモードや倍速再生モードなどの機能が提案されている。

また、特開平１１−１１２９２２号公報には、入力された映像や音声などのストリームデータから、映像のシーン変化点や音声の話者変化点などのイベント点を解析する構成が開示されている。同公報によれば、再生時にイベント点を検出した場合に、該イベント点付近におけるストリームをゆっくりと再生する構成とすることで、特定のストリームをユーザが認識しやすくしている。
特開２００４−３３６２８９号公報 特開平６−２０５１５１号公報 特開平１１−１１２９２２号公報

しかしながら、ユーザの利便性の向上を目的とした上記再生機能は、上記ポインティングシステムに適用するにあたりいくつかの問題がある。例えば、上記再生機能の場合、例えば一時的に手書き入力を行い、その後、直ぐに消去してしまった描画オブジェクトのように、会議等の内容把握には直接関係のない描画オブジェクトまでも再生することとなる。あるいは、一画一画のストロークにより手書き入力で文字が描画された場合は、当該手書き入力された各描画オブジェクトを、一画一画、順次再生していくこととなる。このため、再生時間がかかってしまうという問題がある。

一方で、早送りや倍速再生等を用いて再生することとすると、再生時間は短縮されるものの、再生内容の把握に必要な部分をも高速に再生されてしまうため、ユーザが再生内容を把握できないという問題がある。

これに対して、上記特許文献３のように、記録された描画オブジェクトを解析し、イベント点を検出することで、当該イベント点付近においてゆっくりと再生する構成も考えられる。しかしながら、当該方法の場合、記録された描画オブジェクトの解析が必要となり、処理が複雑になるという問題がある。

本発明は上記課題に鑑みてなされたものであり、描画内容を順次再生することが可能な表示制御装置において、再生時間を短縮しつつ、再生内容の把握が容易な再生を簡易な方法で実現することを目的とする。

上記の目的を達成するために本発明に係る表示制御装置は以下のような構成を備える。即ち、
表示装置と接続される表示制御装置であって、
オブジェクトを描画するための描画領域の描画内容が変化した場合に該変化の内容を記録する記録装置から、前記描画領域に描画された描画内容を変化させるユーザの操作情報を順次記録した操作情報テーブルと、該操作により変化した描画領域上のオブジェクトに関する情報を順次記録した描画オブジェクトテーブルとを取得する取得手段と、
前記取得手段により取得された前記操作情報テーブルに記録された操作情報が、前記描画領域に規定されたページを移動させるためのページ操作に関する操作情報であって、連続したページ操作であった場合、該連続したページ操作の最初のページ操作に関する操作情報と、最後のページ操作に関する操作情報とを、描画内容の再生に用いるべき操作情報と判断し、該連続したページ操作のうち、最初のページ操作に関する操作情報及び最後のページ操作に関する操作情報以外の操作情報を、前記描画内容の再生に用いるべき操作情報でないと判断する判断手段と、
前記判断手段により再生に用いるべきと判断された操作情報に対応するオブジェクトに関する情報を前記描画オブジェクトテーブルより抽出し、該抽出されたオブジェクトに関する情報を用いて、所定の再生タイミングで、描画内容を前記表示装置に再生する再生手段とを備える。

本発明によれば、表示内容を順次再生することが可能な表示制御装置において、再生時間を短縮しつつ、内容の把握が容易な再生を簡易な方法で実現することが可能となる。

以下、図面を参照しながら各実施形態の詳細について説明する。

［第１の実施形態］
１．会議システムの外観構成
図１は本発明の第１の実施形態にかかる表示制御装置を有する会議システム（表示制御システム）１００の外観構成を示す図である。

１０１はリアプロジェクション型ディスプレイであり、後述するパーソナルコンピュータに格納された、電子ホワイトボードを実現するためのアプリケーション（制御プログラム）の実行結果を表示画面上に表示する表示部としての機能を有する。

リアプロジェクション型ディスプレイ１０１内部には、光源ランプ、カラーフィルタ、液晶パネル、光学レンズ、ミラーなどからなる光学系が構成されている。光源ランプより発せられた光は、カラーフィルタなどによりＲＧＢの３色に分離され、それぞれ液晶パネルに照射される。液晶パネルにて変調された光は光学系によりリアプロジェクション型ディスプレイ１０１の表示画面上に拡大投影され、これにより表示画面上に電子ホワイトボードアプリケーションの実行結果が表示される。

１０２及び１０３は、表示画面上部の左右に配されたデジタイザモジュールである。デジタイザモジュール１０２及び１０３は赤外線を発信することで、表示画面の表面をスキャンする。そして表示画面上に障害物があった場合に、当該発信した赤外線が遮られ、受信信号のレベルが変化することで、障害物の位置及び大きさを検出する。このように、デジタイザモジュール１０２、１０３が配されることで、リアプロジェクション型ディスプレイ１０１はユーザからの表示画面への指示を受け付ける入力部としての機能を有する。

この結果、リアプロジェクション型ディスプレイ１０１は、例えば、指や指示棒などを用いて表示画面上の所定の位置が指示された場合に、その位置及び大きさを検出することが可能となる。

１０７は表示画面上の位置を指示するためのデジタイザペンであり、表示画面に対して指示を行うポインティング装置として機能する。デジタイザペン１０７は、ペン先にクリック判定用スイッチが、また、ペン側面に消しゴム用スイッチ１０８がそれぞれ取り付けられている。消しゴム用スイッチ１０８が押下されると一時的に消しゴムモードに遷移し、その状態で表示画面上の位置が指示されると、該指示位置に対応する描画オブジェクトが消去されることとなる。

１０４はパーソナルコンピュータであり、デジタイザペン１０７による指示等に基づいて、リアプロジェクション型ディスプレイ１０１に表示する描画オブジェクトを表示制御する表示制御装置として機能する。パーソナルコンピュータ１０４は、画像信号ケーブル１０５及び通信ケーブル１０６を介してリアプロジェクション型ディスプレイ１０１と接続されている。また、パーソナルコンピュータ１０４に対する入力装置として機能する不図示のキーボードと接続されており、パーソナルコンピュータ１０４内の各種アプリケーションは、該キーボードからの入力に基づいて、動作制御される。

２．会議システム１００を構成する各部の構成
図２は会議システム１００を構成する各部の構成を示すブロック図である。上述のように、会議システム１００は、ポインティング装置として機能するデジタイザペン１０７と、電子ホワイトボードとして機能するリアプロジェクション型ディスプレイ１０１とを備える。さらに、表示制御装置として機能するパーソナルコンピュータ１０４と、パーソナルコンピュータ１０４に対する入力装置として機能するキーボード２２０とを備える。

２．１ デジタイザペン
ポインティング装置として機能するデジタイザペン１０７は、デジタイザモジュール１０２及び１０３が、指示位置を検出する入力部２３２として機能することで、表示画面上の所定の位置を指示することができる。

２．２ リアプロジェクション型ディスプレイ
リアプロジェクション型ディスプレイ１０１は、表示部２３１と入力部２３２と出力部２３３とを備える。

入力部２３２では、デジタイザペン１０７による指示を受け付け、出力部２３３では、受け取った指示位置に関する情報をパーソナルコンピュータ１０４へ出力する。パーソナルコンピュータ１０４において、電子ホワイトボードアプリケーションの描画モードが実行され、該指示位置に関する情報に対応する各種処理が実行されることで、表示部２３１では該実行結果を受け取り、表示する。

これにより、リアプロジェクション型ディスプレイ１０１では、検出した指示位置へのカーソル移動や文字・図形等の描画オブジェクトの生成・消去、あるいは手書き入力による描画オブジェクトの生成・消去等の表示が可能となる。この結果、リアプロジェクション型ディスプレイ１０１は、電子ホワイトボートとして機能する。

また、リアプロジェクション型ディスプレイ１０１の表示部２３１では、パーソナルコンピュータ１０４の電子ホワイトボードアプリケーションの再生モードが実行されることで出力された再生内容を受け取り、表示する。つまり、リアプロジェクション型ディスプレイ１０１は、再生内容を表示する再生機器としても機能する。

２．３ パーソナルコンピュータ
表示制御装置として機能するパーソナルコンピュータ１０４は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、Ｆｌａｓｈメモリ２０４、入力部２０５、ハードディスク２０６、ネットワークインタフェース部２０７を備える。

入力部２０５は、リアプロジェクション型ディスプレイ１０１の出力部２３３より出力された指示位置に関する情報を受け付ける。また、パーソナルコンピュータ１０４に対する入力装置として機能するキーボード２２０からの指示を受け付ける。

Ｆｌａｓｈメモリ２０４に格納された電子ホワイトボードアプリケーション２４０は、描画モードにおいて実行される機能と、再生モードにおいて実行される機能とをそれぞれ備える。描画モードとは、リアプロジェクション型ディスプレイ１０１を電子ホワイトボードとして機能させるためのモードであり、再生モードとは、リアプロジェクション型ディスプレイ１０１を再生機器として機能させるためのモードである。

描画モードにおいて実行される機能として、電子ホワイトボードアプリケーション２４０は、認識部２４１、処理実行部２４２、描画制御部２４３、記録部２４４を備える。

認識部２４１は、入力部２０５にて受け付けた各種操作指示を認識する。具体的には、描画領域に規定されたページを移動させるためのページ操作指示や、描画オブジェクトの生成指示、また、既に生成されている描画オブジェクトの編集指示等を認識する。

処理実行部２４２は、認識部２４１において認識された各種指示に対応する処理を実行する。

描画制御部２４３は、処理実行部２４２において実行された処理の結果、表示部２３１に表示する描画オブジェクトが変化した場合には、変化後のオブジェクトを生成し、表示部２３１に出力する。

記録部２４４は、認識部２４１において認識された各種操作指示に伴って、表示部２３１に表示する描画オブジェクトが変化した場合に、該操作情報をハードディスク２０６の操作情報テーブル２５１に順次記録する。また、変化した描画オブジェクトに関する情報を描画オブジェクトテーブル２５２に順次記録する。

一方、再生モードにおいて実行される機能として、電子ホワイトボードアプリケーション２４０は、操作情報取得部２４５、再生部分抽出部２４６、再生部２４７を備える。

操作情報取得部２４５は、ハードディスク２０６に会議ごとに記録された複数の操作情報テーブル２５１及び描画オブジェクトテーブル２５２の中から、ユーザが指定する操作情報テーブル及び描画オブジェクトテーブルを取得する。

再生部分抽出部２４６は、取得された操作情報テーブル２５１及び描画オブジェクトテーブル２５２に基づいて、描画内容の再生に用いるべき操作情報と再生において不要な操作情報とを判断するとともに、該描画内容の再生タイミングを決定する。

なお、再生に用いるべき操作情報と再生において不要な操作情報とを判別するための条件は、以下の通りである。
・生成または編集された描画オブジェクトがグループ化されているか。
・生成または編集された描画オブジェクトが一時描画オブジェクトであるか。
・ページ操作が、連続ページ操作であるか。
・描画オブジェクトの編集操作が、所定の編集操作に該当するか。

なお、手書き入力により生成された描画オブジェクトに対しては文字処理（文字であるか否かの判断、及び文字認識処理）が実行されるものとし、該文字処理は再生部分抽出部２４６が実行するものとする。

再生部２４７では、再生に用いるべきと判断された操作情報を抽出し、該操作情報を用いて、決定された再生タイミングで描画内容を再生する。

電子ホワイトボードアプリケーション２４０及び操作情報テーブル２５１、描画オブジェクトテーブル２５２は、ＣＰＵ２０１の制御のもと、適宜ＲＡＭ２０２に取り込まれ、ＣＰＵ２０１によって実行される。

ネットワークインタフェース部２０７は、外部との通信を行う。

３．表示ウィンドウの構成
図３は、会議システム１００において、電子ホワイトボードアプリケーションの描画モードが起動されたことによりリアプロジェクション型ディスプレイ１０１に表示されたＵＩの一例を示す図である。

図３において、３００は表示ウィンドウである。３０１は表示ウィンドウ３００内の描画入力可能な領域（描画領域）である。描画モードのもとでは、デジタイザペン１０７を用いるポインティング入力することにより描画オブジェクトを描画することができる。３０２、３０３は描画された描画オブジェクトの一例である。

３０２は手書き入力モードにおいて手書きストローク５画で入力された「９月」という文字列である。３０３はツール入力モードにおいて入力された直線であり、１画で構成されている。手書き入力モードとツール入力モードとの切り替えは、図示しないメニューにより行われるものとする。

なお、メニューは表示ウィンドウ３００内に配置されていてもよいし、デジタイザペン１０７に取り付けられたスイッチの押下を条件にコンテキストメニューとして表示されるようにしてもよい。あるいは、デジタイザペン１０７に入力モード切り替え用の専用スイッチを別途付けて切り替えられるようにしてもよい。なお、ツール入力モードには、直線を描画するためのツールの他に、円や矩形などの図形ツールが備えられていてもよい。

なお、描画領域３０１に描画された描画オブジェクト３０２、３０３等に対しては、編集を行うこともできる。具体的には、描画オブジェクトを選択し、不図示のメニューから項目を選択することで、移動やリサイズ、消去、カット、コピー等の編集操作を行うことができる。

３０４は、描画領域３０１に規定されたページに対するページ操作を行うためのページ操作用の領域である。ページ操作用の領域３０５にはページのサムネイルが表示され、ページ操作用ボタン３０６を用いることによってページの切り替え、移動や削除、新規追加などのページ操作が可能である。

３０６は、ページ操作用ボタンである。ページ操作用ボタン３０６には表示中のページ番号と、ページ送り／戻し用のボタンが配置されており、当該ボタンを用いることによってもページの切り替えが可能である。

４．操作情報テーブル２５１の構成
図４は、電子ホワイトボードアプリケーション２４０の描画モードを実行中に、ユーザの操作に伴って、描画領域３０１に描画された描画内容が変化した場合に、該操作情報が記録された操作情報テーブル２５１の一例を示す図である。

操作情報テーブル２５１は会議毎に生成される。描画オブジェクトの生成操作、編集操作、ページ操作等により、描画領域３０１に描画された描画内容が変化した場合に、該変化の内容が操作情報として記録部２４４により順次ハードディスク２０６に記録されることで操作情報テーブルが生成される。

操作情報テーブル２５１に記録される各操作情報は、操作開始時刻、操作終了時刻、操作種別、オブジェクトＩＤ、ページ番号、ユーザＩＤ等の項目を備える。

操作開始時刻は操作を開始した時刻である。操作終了時刻は操作を終了した時刻である。操作種別は、操作の種類を表している。

オブジェクトＩＤは、ユーザの操作により変化した描画オブジェクトの識別子を示しており、図５に示す描画オブジェクトテーブルと対応している。ページ番号は操作が行われたページ又は切り替え先のページ番号を示している。ユーザＩＤは操作者のＩＤを示している。

５．描画オブジェクトテーブル２５２の構成
図５は、会議システム１００において、電子ホワイトボードアプリケーション２４０の再生モードを実行中に、生成または編集操作された描画オブジェクトに関する情報を記録する描画オブジェクトテーブル２５２の一例を示した図である。

描画領域３０１に描画された描画オブジェクトは、自動的にＩＤが割り振られる。描画オブジェクトに関する情報として、描画オブジェクトテーブル２５２には、描画オブジェクトＩＤ、データ種、グループＩＤ、描画オブジェクトの描画に必要なデータ（描画オブジェクトデータ）が記録される。

データ種は、描画オブジェクトの種類を示す項目であり、ストロークや直線・矩形・円など図形ツールの種類を示している。描画オブジェクトデータは、手書きストロークであれば（Ｘ，Ｙ）座標の配列、直線であれば始点・終点座標、矩形であれば左上座標・右下座標を保存する。また、この他に色データや線種データ、塗りつぶし色、などを保存してもよい。

グループＩＤは、複数の描画オブジェクトが同一グループに属する場合にグループ毎に割り当てられるＩＤである。

グループ化の方法としては、描画領域３０１に描画された時間が互いに近接した描画オブジェクトを同一グループとする方法や、描画された位置が互いに近接したストロークを同一グループとする方法、またその組み合わせによる方法等がある。さらに文字認識プログラムによる文字認識処理と組み合わせ、文字列単位でグループ化を行ってもよいが、この処理については後述する。あるいは表示ウィンドウ３００内のメニューに「グループ化」や「グループ解除」の項目を設けることにより手動でグループ化操作を行うように構成することも可能である。例えば手動で複数の描画オブジェクトを選択し、メニューからグループ化を選択することでグループ化するようにしてもよい。

なお、本実施形態では操作情報テーブル（図４）及び描画オブジェクトテーブル（図５）は会議毎に作成され、会議中または会議終了時に会議システム１００内のハードディスク２０６に記録されることとしている。しかし、記録先はハードディスク２０６に限られず、ネットワークインタフェース部２０７を介し、ネットワーク上のサーバなど、不図示の記録装置に記録するようにしてもよい。

６．再生ウィンドウの構成
図６は、会議システム１００において、操作情報テーブル２５１及び描画オブジェクトテーブル２５２に基づいて、会議中に描画領域３０１に描画された描画内容を再生する再生ウィンドウ６００の一例を示した図である。図６は、電子ホワイトボードアプリケーション２４０の再生モードにおけるＵＩの一例を示している。

図６に示すように、画面上部には再生結果表示領域６０１が、画面下部には再生操作用の領域６０２が表示される。

６０３は再生方法を制御する各種操作ボタンである。再生方法を制御する操作ボタン６０３には、通常再生、停止のほか、早送り、巻き戻しなど再生速度を変更するためのボタンが含まれる。また、再生時間を短くするために再生に必要な部分のみを抽出し、再生を行う抽出再生ボタン６０４が含まれる。

６０５は再生中の再生点を示すスライダである。ユーザはスライダ６０５のドラッグによって再生点を変更することが出来る。６０６は、操作情報テーブル２５１のページ番号に対応したページ遷移を表している。図６の場合、会議開始から順にページ１、２、３、４、３、２、１、３、４とページが切り替えられ、現在、ページ３が再生されていることを示している。

７．会議システム１００における全体処理の流れ
図７は会議システム１００の電子ホワイトボードアプリケーション２４０の再生モードにおける会議再生処理手順を示したフローチャートである。

ステップＳ７０１では、電子ホワイトボードアプリケーション２４０の動作に必要な初期化を行うとともに操作情報テーブルの一覧を読み込み、表示する。

ステップＳ７０２では、再生を開始する会議を指定する。会議の指定方法は問わないが、ステップＳ７０１で表示された操作情報テーブルの一覧からユーザが直接指定してもよいし、所定の検索条件で検索したうえでユーザが指定するようにしてもよい。

ステップＳ７０３では、ステップＳ７０２で指定された操作情報テーブルに記録された操作情報に基づいて再生を行う。なお、操作情報に基づく再生処理の詳細フローについては図８を用いて説明する。

ステップＳ７０４では、電子ホワイトボードアプリケーション２４０の終了の判断を行う。終了しない場合はステップＳ７０２へ戻り、再び別の操作情報テーブルに基づいて再生を行う。

８．再生処理の流れ
図８は指定された操作情報テーブルの操作情報に基づいて行う再生処理手順を示したフローチャートである。

ステップＳ８０１では、指定された操作情報テーブル２５１、及び対応する描画オブジェクトテーブル２５２を読み込むとともに、再生時刻制御用の進行タイマの初期化を行う。

ステップＳ８０２では、再生時刻制御用タイマを進める。ステップＳ８０３では、操作情報テーブルの各操作情報を操作開始時刻順に読み出していき、次の操作情報があるかどうかの判断を行う。次の操作情報がない場合はステップＳ８０５に進む。ステップＳ８０５では、現時点の操作情報の操作終了時刻が、会議終了時刻であった場合には、会議終了であると判断し、再生処理を終了する。

一方、次の操作情報があると判断された場合には、ステップＳ８０４に進む。ステップＳ８０４の再生処理については、図９のフローチャートを用いて説明する。

９．再生処理の詳細
図９は会議システム１００の再生処理手順における再生処理（ステップＳ８０４）の詳細を示したフローチャートである。

図９に示すように、ステップＳ９０１では、読み込まれた操作情報の操作種別がページ操作であった場合はステップＳ９０２へ進む。

ステップＳ９０２では、操作情報が、連続ページ操作に伴って記録されたものであるかの判定を行う。連続ページ操作とは、操作者が目的のページを探すためにページを連続して切り替える操作をいう。最初と最後以外の中間のページ表示時間が短いものや、ページ切替操作の間に他の描画オブジェクトの生成・編集などの操作が行われなかった場合に、連続ページ操作と判定する。

図４の操作情報テーブルの例では、ページが１→２→３→４→３→２→１と切り替えられている。このうち、ページ２から３と、３から４と、４から３と、３から２へのページ切替操作は表示時間も短く途中に他の操作も入っていないため、連続ページ操作と判定される。

ステップＳ９０２において連続ページ操作であると判定された場合には、ステップＳ９０３に進む。

ステップＳ９０３では再生不要な操作情報をスキップし、再生すべき操作情報及び再生時刻制御用タイマを最終ページ切替操作に変更する。そのため、再生時は、ページ２の操作情報に対応する描画内容が再生されたのち、ページ１の操作情報に対応する描画内容が再生されることとなる。

ステップＳ９０４では、操作情報が、長い編集操作に伴って複数記録された操作情報であるか否かの判定を行う。長い編集操作とは、描画オブジェクトをドラッグ＆ドロップで移動する際に、長い時間をかけて移動させた場合などである。

この場合、ドラッグ中の描画オブジェクトの動きを記録した操作情報は再生不要な操作情報であり、当該描画オブジェクトが開始位置にあった際に記録された操作情報に対応する描画内容が再生できれば良い。

あるいは例えば、描画されたオブジェクトの色を変えた場合では、色選択のダイアログボックスから色を選択しＯＫボタンを押すなどの操作があった際に記録された操作情報は再生時には不要である。この場合は色変更の操作開始時刻と操作終了時刻の間に記録された操作情報を再生不要部分とし、編集操作の開始と終了の際に記録された操作情報のみに基づいて描画内容を再生する省略再生を行う。

このように、操作開始時刻と操作終了時刻の差が大きい編集操作である場合は、長い編集操作であるとみなし、ステップＳ９０５へ進み、省略再生を行う。

ステップＳ９０４で長い編集操作でないと判断された場合はステップＳ９０６へ進み、通常再生を行う。ここで、前述の連続ページ切替操作の例では、ページ２からページ１への切り替え操作を再生するようにステップＳ９０３にて変更したため、ページ１への切り替え操作が通常再生される。

ステップＳ９０１でページ操作でないと判定された場合には、ステップＳ９０７で、一時描画オブジェクトか否かの判定を行う。

一時描画オブジェクトとは、描画されたが直ぐに消去操作がなされ、消去された描画オブジェクトである。本実施形態では、デジタイザペン１０７を用いて手書きストロークにて入力した際、誤った手書きストロークを入力してしまった場合でも、デジタイザペン１０７の消しゴムボタンを押しながら誤った手書きストロークをなぞることで直ぐに消すことが出来る。

図１０は、一時描画オブジェクトの表示画面例を示した図である。図１０は、図４の操作情報テーブルにおいて、手書きストローク５画を描画後、次の描画オブジェクト１００１（オブジェクトＩＤ＝０００６）を誤って入力した状態を示している。

図４において、描画オブジェクト１００１（オブジェクトＩＤ＝０００６）は生成後直ぐに消去されている。そして消去後正しいオブジェクト（オブジェクトＩＤ＝０００７）が描画されている。このような場合、描画オブジェクト１００１は一時描画オブジェクトとみなされる。

他に一時描画オブジェクトとみなす条件として、描画オブジェクト生成後の一定時間内の消去、生成後所定操作数内の消去、生成後所定操作を含まない場合の消去、特定操作による消去（消しゴムスイッチ・メニューによる消去）、等があげられる。このように、描画領域３０１に一時的に描画されたものの、すぐに消去された描画オブジェクトは一時描画オブジェクトと判定される。この結果、当該描画オブジェクトが描画された際に記録された操作情報（生成操作に関する操作情報）及び消去された際に記録された操作情報（消去操作に関する操作情報）は再生不要な操作情報と判断される。

ステップＳ９０７で一時描画オブジェクトであると判定された場合はステップＳ９０８へ進む。ステップＳ９０８では、再生不要と判断された操作情報をスキップし、操作情報及び再生時刻タイマを一時描画オブジェクトを消去後の次の操作情報に変更する。

ステップＳ９０４、ステップＳ９０５、ステップＳ９０６の処理については前述と同様のため省略する。

図４及び図１０の例では、描画オブジェクト(ＩＤ＝０００５)の描画後に描画オブジェクト（ＩＤ＝０００７）が描画されるように再生される。

ステップＳ９０７で、一時描画オブジェクトでないと判定された場合はステップＳ９０９へ進む。ステップＳ９０９では、手書きストロークであるかの判定を行う。

手書きストロークであると判定された場合はステップＳ９１０へ進む。それ以外の図形データやテキストデータ等である場合はステップＳ９１２へ進む。

ステップＳ９１０では、文字認識用プログラムによる文字処理を行う。文字処理は、描画領域３０１に描画された一つ以上の手書きストロークから文字または文字列を形成するものを抽出しグループ化する文字切り部と、抽出されたストロークから文字認識を行う文字認識部とから構成される。この文字処理により文字を形成すると認識された一つ以上の手書きストロークは、一つの文字または文字列として以降処理される。

また、文字処理後においても、単語辞書や意味辞書などを利用し複数の認識候補文字の中から最も確からしい文字の組み合わせの文字列を算出し区切る処理を行うことで、より高精度な文字処理を行うことが出来る。また、意味解析処理を行い、単語単位や行単位などで文字列として認識する処理を行ってもよい。上記のように処理された手書きストロークは、グループとして処理される。

ここで、本実施形態において文字処理及びグループ化は電子ホワイトボードアプリケーション２４０（再生モード）実行時に動的に行うとしているが、本発明はこれに限られない。例えば、会議中や会議終了時であってハードディスク２０６に操作情報等を記録する際や、電子ホワイトボードアプリケーション２４０（再生モード）起動時などに予め行っておき、文字列データを保存しておくようにしてもよい。

ステップＳ９１１では、再生時間を短縮するために、グループ化された描画オブジェクトを一度に再生するための処理を行い、ステップＳ９０５で時間を短縮した再生を行う。具体的には、グループ内の残りの描画オブジェクトを、現在再生しようとしている描画オブジェクトの再生と同じタイミングで再生し、再生時刻制御用タイマをグループ内の最終の操作終了時刻に設定する。このようにすることでグループ化された各描画オブジェクトを再生するにあたり、それぞれが記録された操作情報を省略し、再生時刻制御用タイマを進めることで再生時間を短縮させることが出来る。

ステップＳ９０９で手書きストロークでないと判定された場合にはステップＳ９１２へ進む。ステップＳ９１２では、描画オブジェクトがグループ化されているかどうかの判定を行う。グループ化されているかどうかは、図５の描画オブジェクトテーブルのグループＩＤの項目で判断する。グループＩＤの付与は、前述のように自動で行っても良いし手動で行ってもよい。

ステップＳ９１２でグループ化されていると判定された場合は、ステップＳ９１１に進み、以降同様の処理を行う。

ステップＳ９１２でグループ化されていないと判定された場合はステップＳ９０６へ進み、操作情報どおりに通常再生を行う。

以上の説明から明らかなように、本実施形態にかかる会議システムでは、描画領域の描画内容に変化があった場合に、変化の内容を操作情報テーブルに記録する。更に、描画内容の変化が描画領域上の各描画オブジェクトの変化であった場合には、該変化の内容を描画オブジェクトテーブルに記録する。これにより、描画内容を再生するにあたり、操作情報テーブル及び描画オブジェクトテーブルに基づいて、再生に必要な操作情報であるか否かを判別するとともに、再生タイミングを決定することが可能となる。

この結果、再生に必要な操作情報のみを適切なタイミングで再生することが可能となり、再生時間を短縮し、かつ内容を把握し易い再生を簡易に実現することが可能となる。

［第２の実施形態］
上記第１の実施形態では、リアプロジェクション型ディスプレイ１０１に接続されたパーソナルコンピュータ１０４にて、操作情報テーブル２５１及び描画オブジェクトテーブル２５２の記録並びに描画内容の再生を実行することとした。しかしながら、本発明はこれに限られない。例えば、操作情報テーブル及び描画オブジェクトテーブルの記録を行う機器と、描画内容の再生を行う機器とをネットワークを介して別個に設けるようにしてもよい。以下、本実施形態にかかる表示制御装置について説明する。なお、以下では、上記第１の実施形態との相違点についてのみ記載することとする。

図１１は、本実施形態にかかる表示制御装置を用いた会議システム（表示制御システム）の全体構成図である。図１１において、１１０１及び１１０２は、それぞれリアプロジェクション型ディスプレイとパーソナルコンピュータとデジタイザペンで構成される会議システムであり、図１に示す構成と同一である。

１１０３はインターネットなどのネットワークである。１１０４は会議サーバであり、各地点の会議システム１１０１、１１０２から受信した操作情報テーブル及び描画オブジェクトテーブルを格納する。１１０５は表示制御装置として機能するパーソナルコンピュータである。

会議は各地点の会議システム１１０１、１１０２で行われ、そこで記録された操作情報テーブル及び描画オブジェクトテーブルは、各会議システムのネットワークインタフェース部を通じ、ネットワーク１１０３を介して会議サーバ１１０４に格納される。

描画内容の再生は、会議システム１１０１や１１０２のほか、パーソナルコンピュータ１１０５など、ネットワーク１１０３を介し会議サーバ１１０４と接続可能な機器で行うことができる。これらの機器は、電子ホワイトボードアプリケーションの再生モードを実行するための機能を有する。

なお、本実施形態では、描画内容の再生において、操作情報の取得、再生部分の抽出はパーソナルコンピュータ１１０５で行うこととするが、本発明はこれに限られない。例えば、会議サーバ１１０４など外部の情報処理装置上で上記処理（操作情報の取得、再生部分の抽出）の一部又は全処理を行い、再生表示のみをパーソナルコンピュータで行うようにしても構わない。

以上説明したとおり、本実施形態によれば、遠隔会議を含む会議システムにおいて記録された操作情報を用いて描画内容を再生するにあたり、再生時間を短縮しかつ内容を把握し易い再生を実現することが可能となる。また、表示以外の一部又は全処理を再生機器以外の表示制御装置で行うことにより、再生機器の処理負荷を軽減させることが可能となる。

［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給するよう構成することによっても達成されることはいうまでもない。この場合、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行することにより、上記機能が実現されることとなる。なお、この場合、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

プログラムコードを供給するための記録媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、前述した実施形態の機能が実現される場合も含まれる。つまり、プログラムコードがメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって実現される場合も含まれる。

本発明の第１の実施形態にかかる表示制御装置を有する会議システム１００の外観構成を示す図である。 会議システム１００を構成する各部の構成を示すブロック図である。 会議システム１００において、電子ホワイトボードアプリケーションの描画モードが起動されたことによりリアプロジェクション型ディスプレイ１０１に表示されたＵＩの一例を示す図である。 電子ホワイトボードアプリケーション２４０の描画モードを実行中に、ユーザの操作に伴って、描画領域３０１に描画された描画内容が変化した場合に、該操作情報が記録された操作情報テーブル２５１の一例を示す図である。 会議システム１００において、電子ホワイトボードアプリケーション２４０の再生モードを実行中に、生成または編集操作された描画オブジェクトに関する情報を記録する描画オブジェクトテーブル２５２の一例を示した図である。 会議システム１００において、操作情報テーブル２５１及び描画オブジェクトテーブル２５２に基づいて、会議中に描画領域３０１に描画された描画内容を再生する再生ウィンドウ６００の一例を示した図である。 会議システム１００の電子ホワイトボードアプリケーション２４０の再生モードにおける会議再生処理手順を示したフローチャートである。 指定された操作情報テーブルの操作情報に基づいて行う再生処理手順を示したフローチャートである。 会議システム１００の再生処理手順における再生処理（ステップＳ８０４）の詳細を示したフローチャートである。 一時描画オブジェクトの表示画面例を示した図である。 本発明の第２の実施形態にかかる表示制御装置を用いた会議システムの全体構成図である。

Claims (6)

1. 表示装置と接続される表示制御装置における表示制御方法であって、
   オブジェクトを描画するための描画領域の描画内容が変化した場合に該変化の内容を記録する記録装置から、前記描画領域に描画された描画内容を変化させるユーザの操作情報を順次記録した操作情報テーブルと、該操作により変化した描画領域上のオブジェクトに関する情報を順次記録した描画オブジェクトテーブルとを取得する取得工程と、
   前記取得工程において取得された前記操作情報テーブルに記録された操作情報が、前記描画領域に規定されたページを移動させるためのページ操作に関する操作情報であって、連続したページ操作であった場合、該連続したページ操作の最初のページ操作に関する操作情報と、最後のページ操作に関する操作情報とを、描画内容の再生に用いるべき操作情報と判断し、該連続したページ操作のうち、最初のページ操作に関する操作情報及び最後のページ操作に関する操作情報以外の操作情報を、前記描画内容の再生に用いるべき操作情報でないと判断する判断工程と、
   前記判断工程において再生に用いるべきと判断された操作情報に対応するオブジェクトに関する情報を前記描画オブジェクトテーブルより抽出し、該抽出されたオブジェクトに関する情報を用いて、所定の再生タイミングで、描画内容を前記表示装置に再生する再生工程と
   を備えることを特徴とする表示制御方法。
2. 表示装置と接続される表示制御装置における表示制御方法であって、
   オブジェクトを描画するための描画領域の描画内容が変化した場合に該変化の内容を記録する記録装置から、前記描画領域に描画された描画内容を変化させるユーザの操作情報を順次記録した操作情報テーブルと、該操作により変化した描画領域上のオブジェクトに関する情報を順次記録した描画オブジェクトテーブルとを取得する取得工程と、
   前記取得工程において取得された前記操作情報テーブルに記録された操作情報に、前記描画領域におけるオブジェクトの生成操作に関する操作情報と、該生成操作により生成されたオブジェクトの消去操作であって該生成操作の直後に行われた消去操作に関する操作情報とが含まれていた場合、該生成操作に関する操作情報と、該消去操作に関する操作情報とを、前記描画内容の再生に用いるべき操作情報でないと判断する判断工程と、
   前記判断工程において再生に用いるべきでないと判断された操作情報を除く操作情報に対応するオブジェクトに関する情報を、前記描画オブジェクトテーブルより抽出し、該抽出されたオブジェクトに関する情報を用いて、所定の再生タイミングで、描画内容を前記表示装置に再生する再生工程と
   を備えることを特徴とする表示制御方法。
3. 表示装置と接続される表示制御装置における表示制御方法であって、
   オブジェクトを描画するための描画領域の描画内容が変化した場合に該変化の内容を記録する記録装置から、前記描画領域に描画された描画内容を変化させるユーザの操作情報を順次記録した操作情報テーブルと、該操作により変化した描画領域上のオブジェクトに関する情報を順次記録した描画オブジェクトテーブルとを取得する取得工程と、
   前記取得工程において取得された前記描画オブジェクトテーブルに記録された複数の前記オブジェクトに関する情報のうち、それぞれが再生されることで１つの文字、または１つの単語を形成する複数のオブジェクトに関する情報を、同一グループとしてグループ化するグループ化工程と、
   前記グループ化工程においてグループ化された前記複数のオブジェクトに関する情報を、該グループのうち、前記描画オブジェクトテーブルに最初に記録されたオブジェクトに関する情報の再生タイミングで再生する再生工程と
   を備えることを特徴とする表示制御方法。
4. 表示装置と接続される表示制御装置における表示制御方法であって、
   オブジェクトを描画するための描画領域の描画内容が変化した場合に該変化の内容を記録する記録装置から、前記描画領域に描画された描画内容を変化させるユーザの操作情報を順次記録した操作情報テーブルと、該操作により変化した描画領域上のオブジェクトに関する情報を順次記録した描画オブジェクトテーブルとを取得する取得工程と、
   前記取得工程において取得された前記操作情報テーブルに記録された操作情報が、前記描画領域におけるオブジェクトの編集操作に関する操作情報であった場合に、該編集操作に関する操作情報に基づいて描画内容を再生するにあたり、該編集操作により編集が終了した後のオブジェクトを前記描画オブジェクトテーブルより抽出し、再生する再生工程と
   を備えることを特徴とする表示制御方法。
5. 表示装置と接続される表示制御装置であって、
   オブジェクトを描画するための描画領域の描画内容が変化した場合に該変化の内容を記録する記録装置から、前記描画領域に描画された描画内容を変化させるユーザの操作情報を順次記録した操作情報テーブルと、該操作により変化した描画領域上のオブジェクトに関する情報を順次記録した描画オブジェクトテーブルとを取得する取得手段と、
   前記取得手段により取得された前記操作情報テーブルに記録された操作情報が、前記描画領域に規定されたページを移動させるためのページ操作に関する操作情報であって、連続したページ操作であった場合、該連続したページ操作の最初のページ操作に関する操作情報と、最後のページ操作に関する操作情報とを、描画内容の再生に用いるべき操作情報と判断し、該連続したページ操作のうち、最初のページ操作に関する操作情報及び最後のページ操作に関する操作情報以外の操作情報を、前記描画内容の再生に用いるべき操作情報でないと判断する判断手段と、
   前記判断手段により再生に用いるべきと判断された操作情報に対応するオブジェクトに関する情報を前記描画オブジェクトテーブルより抽出し、該抽出されたオブジェクトに関する情報を用いて、所定の再生タイミングで、描画内容を前記表示装置に再生する再生手段と
   を備えることを特徴とする表示制御装置。
6. 請求項１乃至４のいずれか１項に記載の表示制御方法をコンピュータに実行させるためのプログラム。

Images