JP6069898B2 - 画像処理装置、画像処理システム、方法およびプログラム - Google Patents

Description

本発明は、任意の画像を表示可能な画像処理装置に関し、より詳細には、他の情報処理装置の表示画面を表示すると共に、ユーザが生成する描画画像を表示する画像処理装置、画像処理システム、方法およびプログラムに関する。

従来、企業や教育機関、行政機関等における会議等において、大型ディスプレイに背景画像を表示させ、その上にユーザが文字や数字、図形等の描画画像を書き込み可能な電子黒板が利用されている。

このような電子黒板の一例として、特許文献１は、表示装置を制御するコンピュータ装置が背景画像に挿入画像を重畳して表示装置に表示させる電子情報ボードシステムを開示する。この電子情報ボードシステムでは、コンピュータ装置が表示装置を制御するドライバを備えており、ユーザが表示装置に設けられたタッチパネルを用いて生成した描画画像を背景画像に重畳して表示装置に表示する。

しかしながら、特許文献１に記載の電子情報ボードシステムに、例えば、ユーザが持ち寄ったノート型ＰＣ等の情報処理装置を接続して使用する場合には、電子情報ボードシステムの表示装置に情報処理装置を接続して、情報処理装置の画面を表示装置に表示することになるが、タッチパネルを用いて生成した描画画像を重畳するためには、情報処理装置に特別なソフトウェア（例えば、ドライバソフトウェア）をインストールしなければならず、ユーザにインストールや設定作業などの事前準備を強いることになり、ユーザの手間が発生するという問題があった。また、このようなソフトウェアを情報処理装置上で動作させることによって情報処理装置に負荷がかかるという問題もあった。

また、特許文献１の電子情報ボードシステムでは、１の情報処理装置の画面を表示することしかできず、複数の情報処理装置の画面を同時に表示することができないという問題があった。さらに、この電子情報ボードシステムでは、情報処理装置の画面をリアルタイムで表示することができないという問題があった。さらに、この電子情報ボードシステムでは、情報処理装置の操作を行うことができないという問題があった。

本発明は上述した課題を解決するものであり、複数の情報処理装置の表示画像をリアルタイムで表示することができると共に、当該情報処理装置を操作可能な画像処理装置、画像処理システム、方法およびプログラムを提供することを目的とする。

本発明によれば、画像を表示する表示手段と、
情報処理装置から前記表示手段に表示する表示画像を取得する取得手段と、
前記表示手段に対する物体の接触位置または接近位置を示す位置情報を取得する位置情報取得手段と、
前記位置情報に基づいて描画画像を生成する描画生成手段と、
前記表示画像を表示すべき表示ウィンドウを生成する画像生成手段と、
前記表示画像、前記表示ウィンドウ、及び前記描画画像を合成する合成手段と、
前記位置情報に基づいて入力装置の第１イベントを生成し、前記第１イベントを前記情報処理装置に提供するとともに、他の画像処理装置から受信した第２イベントを前記情報処理装置に送信する、イベント処理手段と、
前記他の画像処理装置に接続された情報処理装置に対し前記第１イベントを送信する第２の送信手段と、
を含む、画像処理装置が提供される。

また、本発明の画像処理装置は、情報処理装置から定期的に表示画像を取得し、表示画像と表示ウィンドウと描画画像とを定期的に合成する。さらに、本発明の画像処理装置は、接触位置または接近位置を使用して、情報処理装置の入力装置のイベントを生成し、当該イベントを情報処理装置に提供する。

本発明の画像処理装置は、上記構成を採用することにより、画像処理装置に接続された情報処理装置の表示画像に描画画像を合成して表示するとともに複数の情報処理装置の画面に表示された各画像をリアルタイムで表示することができると共に、当該情報処理装置を操作することができる。

本発明の画像処理システムの一実施形態を示す図。 図１に示す実施形態に係る画像処理装置のハードウェア構成および機能構成を示す図。 図１に示す実施形態に係る画像処理装置が実行する処理を示すフローチャート。 本発明の実施形態に係る画像処理装置の画像取得部が実行する処理を示すフローチャート。 本発明の画像処理装置のアプリ画像生成部が実行する処理を示すフローチャート。 図１に示す実施形態に係る画像処理装置のレイアウト管理部が実行する処理を示すフローチャート。 本発明の画像処理装置の合成部および表示制御部が実行する処理を示すフローチャート。 本発明の画像処理装置が実行するアプリ画像レイヤ、画像キャプチャレイヤおよび手書きレイヤの合成処理の概念図。 本発明の画像処理装置が表示部に表示する初期メニュー画面、表示選択メニュー画面およびレイアウト選択メニュー画面の一実施形態を示す図。 本発明の画像処理システムの別の実施形態を示す図。 図１０に示す実施形態に係る画像処理装置のハードウェア構成および機能構成を示す図。 画像処理システム１０００の画像処理装置１０１０ａ，１０１０ｂ，１０１０ｃが実行する処理を示すシーケンス図。 図１０に示す実施形態に係る画像フレームを提供する画像処理装置が実行する処理を示す図。 図１０に示す実施形態に係るサーバ機である画像処理装置が実行する処理を示す図。 図１０に示す実施形態に係るサーバ機である画像処理装置が実行する処理を示す図。 図１０に示す実施形態に係るクライアント機である画像処理装置が実行する処理を示す図。 図１０に示す実施形態に係るサーバ機である画像処理装置が実行する処理を示す図。 図１０に示す実施形態に係るクライアント機である画像処理装置が実行する処理を示す図。 図１０に示す実施形態に係るサーバ機である画像処理装置が実行する処理を示す図。 図１０に示す実施形態に係るサーバ機である画像処理装置が実行する処理を示す図。 図１０に示す実施形態に係るクライアント機である画像処理装置が実行する処理を示す図。 本発明の画像処理システムのさらに別の実施形態を示す図。

以下、本発明について実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。

図１は、本発明の画像処理システムの一実施形態を示す図である。画像処理システム１００は、画像処理装置１１０と、ユーザＰＣ１３０ａ，１３０ｂとを含んで構成されており、画像処理装置１１０およびユーザＰＣ１３０ａ，１３０ｂは、それぞれケーブル１２４，１２６によって接続される。

画像処理装置１１０は、ユーザＰＣ１３０ａ，１３０ｂの表示画像を表示することができるとともに、ユーザが生成する描画画像を表示可能な装置である。また、画像処理装置１１０は、表示部１１２に対する接触によってイベントを発生させ、このイベントをマウスやキーボード等の入力装置のイベントとしてユーザＰＣ１３０ａ，１３０ｂに送信する。

ユーザＰＣ１３０ａ，１３０ｂは、画像処理装置１１０に表示すべき画像を提供する情報処理装置である。ユーザＰＣ１３０ａ，１３０ｂは、画像信号を出力するインタフェースを備えており、ユーザＰＣ１３０ａ，１３０ｂの表示画像を形成する画像信号を所定のレート（例えば、毎秒３０フレーム等）で画像処理装置１１０に供給する。

本実施形態では、ユーザＰＣ１３０ａ，１３０ｂは、インタフェースとしてＶＧＡ出力端子（図示せず）を備えており、ＶＧＡケーブル等のケーブル１２４を介してＶＧＡ信号を画像処理装置１１０に送信することができる。他の実施形態では、ユーザＰＣ１３０ａ，１３０ｂは、各種無線通信プロトコルに準拠した無線通信により、表示画像を送信してもよい。

また、ユーザＰＣ１３０ａ，１３０ｂは、画像処理装置１１０が表示部１１２に表示した画像を取得することができる。ユーザＰＣ１３０ａ，１３０ｂは、ＵＳＢポート（図示せず）を備えており、ＵＳＢケーブル１２６を介して接続された画像処理装置１１０に格納されている表示画像を、USB Mass Storage Class等の汎用ドライバを使用して取得することができる。

図１に示す実施形態では、ユーザＰＣ１３０ａ，１３０ｂとしてノート型ＰＣを採用するが、他の実施形態では、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ等の画像フレームを供給可能な情報処理装置を採用することができる。また、図１に示す画像処理システム１００では、２のユーザＰＣ１３０ａ，１３０ｂを採用するが、他の実施形態では、１のユーザＰＣまたは３以上のユーザＰＣを採用することもできる。

図２は、図１に示す実施形態に係る画像処理装置１１０のハードウェア構成および機能構成を示す図である。以下、図２を参照して、画像処理装置１１０のハードウェア構成および機能構成について説明する。

画像処理装置１１０は、画像入力インタフェース２３２および画像出力インタフェース２３４を備えており、これらのインタフェースを介してユーザＰＣ１３０ａ，１３０ｂと接続される。

画像入力インタフェース２３２は、ユーザＰＣ１３０ａ，１３０ｂの表示画像を形成する画像信号を受信するインタフェースである。本実施形態では、画像入力インタフェース２３２としてＤＶＩ（Digital Visual Interface）端子によって構成されるＤＶＩコネクタを採用することができる。画像入力インタフェース２３２は、ユーザＰＣ１３０ａ，１３０ｂからＶＧＡケーブル等のケーブル１２４を介してＶＧＡ信号を受信し、画像処理装置１１０が備える画像取得部２０６にＶＧＡ信号を供給する。

他の実施形態では、ＶＧＡ（Video Graphics Array）コネクタ、ＨＤＭＩ（High-Definition Multimedia Interface）コネクタ、Ｄｉｓｐｌａｙｐｏｒｔコネクタ等を採用することができる。さらに他の実施形態では、画像入力インタフェース２３２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ等の無線通信プロトコルに準拠した無線通信により、ユーザＰＣ１３０ａ，１３０ｂから画像信号を受信してもよい。

画像出力インタフェース２３４は、画像処理装置１１０の表示画像をユーザＰＣ１３０ａ，１３０ｂなどの外部装置に出力する物理インタフェースである。本実施形態では、画像出力インタフェース２３４としてＵＳＢソケットを採用することができる。

画像処理装置１１０は、プロセッサ２００と、ＲＯＭ２０２と、ＲＡＭ２０４と、画像取得部２０６と、座標検出部２２４と、接触検知装置２２６と、表示部１１２とを含んで構成される。

プロセッサ２００は、ＣＰＵやＭＰＵ等の処理演算装置であり、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＴＲＯＮ、ＩＴＲＯＮ、μＩＴＲＯＮなどのＯＳを動作させ、これらのＯＳの管理下でアセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを実行する。ＲＯＭ２０２は、ＢＩＯＳやＥＦＩ等のブートプログラムなどが保存される不揮発性メモリである。

ＲＡＭ２０４は、ＤＲＡＭやＳＲＡＭ等の主記憶装置であり、本発明のプログラムを実行するための実行空間を提供する。プロセッサ２００は、ソフトウェアプログラムや種々のデータなどを持続的に保持するためのハードディスク装置（図示せず）から、本発明のプログラムを読み出し、ＲＡＭ２０４に展開して実行する。本発明のプログラムには、プログラムモジュールであるイベント処理部２１０、アプリ画像生成部２１２、レイアウト管理部２１４、描画生成部２１６、合成部２１８、表示制御部２２０、スナップショット生成部２２２およびリポジトリ管理部２２８が含まれる。

画像取得部２０６は、ユーザＰＣ１３０ａ，１３０ｂから画像信号を取得する機能手段である。画像取得部２０６は、ユーザＰＣ１３０ａ，１３０ｂから画像入力インタフェース２３２を介して画像信号を受信すると、当該画像信号を解析して、当該画像信号によって形成されるユーザＰＣ１３０ａ，１３０ｂの表示画像である画像フレームの解像度や当該画像フレームの更新頻度などの画像情報を導出し、アプリ画像生成部２１２に送信する。

また、画像取得部２０６は、当該画像信号を使用してユーザＰＣ１３０ａ，１３０ｂの表示画像である画像フレームをそれぞれ形成し、画像データを一時的に保存可能な記憶手段であるビデオＲＡＭ２０８にそれぞれ上書き保存する。

アプリ画像生成部２１２は、表示部１１２に表示すべき種々の表示ウィンドウを生成する機能手段である。表示ウィンドウには、ユーザＰＣ１３０ａ，１３０ｂの表示画像である画像フレームを表示する表示ウィンドウ、ユーザが生成する描画画像を表示する表示ウィンドウ、画像処理装置１１０の各種設定を行うためのボタンやメニュー等を表示する表示ウィンドウ、ファイルビューアやＷｅｂブラウザ等の表示ウィンドウなどが含まれる。アプリ画像生成部２１２は、これらの表示ウィンドウを、当該表示ウィンドウを描画すべき画像レイヤに描画する。

レイアウト管理部２１４は、アプリ画像生成部２１２が生成する表示ウィンドウにユーザＰＣ１３０ａ，１３０ｂの表示画像を描画する機能手段である。レイアウト管理部２１４は、画像取得部２０６から画像情報を取得すると、ビデオＲＡＭ２０８に格納されている画像フレームを取得し、画像情報を使用して、画像フレームの大きさをアプリ画像生成部２１２が生成した表示ウィンドウの大きさに適合するように変更し、当該画像フレームを描画すべき画像レイヤに描画する。

接触検知装置２２６は、描画装置２４０等の物体の接触を検知する機能手段である。本実施形態では、接触検知装置２２６として、特許文献２に示すような赤外線遮断方式による座標入力／検出装置を採用する。この座標入力／検出装置では、表示部１１２の下側両端部に設置された２の受発光装置が、表示部１１２に平行して複数の赤外線を放射し、表示部１１２の周囲に設けられた反射部材によって同一光路上に反射する光を受光する。接触検知装置２２６は、物体によって遮断された２の受発光装置が放射した赤外線の識別情報を座標検出部２２４に通知し、座標検出部２２４が、物体の接触位置である座標位置を特定する。

他の実施形態では、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を採用してもよい。

座標検出部２２４は、物体が表示部１１２に接触した位置である座標位置を算出すると共に、種々のイベントを発行する機能手段である。本実施形態では、座標検出部２２４は、接触検知装置２２６が通知する遮断された赤外線の識別情報を利用して、物体の接触位置の座標位置を算出する。座標検出部２２４は、接触位置の座標位置と共に、種々のイベントをイベント処理部２１０に発行する。

座標検出部２２４が発行するイベントには、物体の接触または接近したことを通知するイベント（ＴＯＵＣＨ）、物体が表示部１１２に接触または接近した状態で接触点または接近点が移動したことを通知するイベント（ＭＯＶＥ）、物体が表示部１１２から離れたことを通知するイベント（ＲＥＬＥＡＳＥ）が含まれる。これらのイベントには、接触位置座標および接近位置座標である座標位置情報が含まれる。

描画装置２４０は、画像処理装置１１０の接触検知装置２２６に接触させて描画する装置である。描画装置２４０は、先端部に物体の接触を検知する接触検知装置を備えたペン形状をしており、当該接触検知装置が物体に接触すると、接触したことを示す接触信号を当該描画装置の識別情報と共に座標検出部２２４に送信する。

また、描画装置２４０は、画像処理装置操作モードまたはユーザＰＣ操作モードを切り替えるモード切替スイッチを側面や後端部等に備えている。画像処理装置操作モードとは、ユーザが画像処理装置１１０の表示部１１２に任意の図形や文字等を描画可能なモードである共に、表示部１１２に表示されたメニューやボタン等のオブジェクトを選択可能なモードである。ユーザＰＣ操作モードとは、表示部１１２に表示されたメニューやボタン等のオブジェクトをユーザが選択可能なモードである。

例えば、ユーザがモード切替スイッチを押下した状態で、描画装置２４０を画像処理装置１１０に接触させた場合には、描画装置２４０は、接触信号および当該描画装置の識別情報と共に、ユーザＰＣ操作モードを示すモード種別信号を送信する。ユーザがモード切替スイッチを押下していない状態で、描画装置２４０を画像処理装置１１０に接触させた場合には、描画装置２４０は、接触信号および当該描画装置の識別情報と共に、画像処理装置操作モードを示すモード種別信号を送信する。

本実施形態では、座標検出部２２４は、接触検知装置２２６から赤外線の識別情報を受信すると、物体の接触位置である座標位置を算出し、次いで、描画装置２４０から接触信号を受信すると、各種イベントを発行する。このとき、座標検出部２２４は、モード種別を示す情報（以下、「モード種別情報」とする。）を当該イベントと共にイベント処理部２１０に通知する。

本実施形態では、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信によって各種信号を送信する。他の実施形態では、超音波や赤外線を利用した無線通信によって各種信号を送信することができる。

イベント処理部２１０は、座標検出部２２４が発行するイベントを処理する機能手段である。ユーザＰＣ操作モードが指定されている場合、イベント処理部２１０は、座標検出部２２４からイベントを受信すると、ユーザＰＣ１３０ａまたはユーザＰＣ１３０ｂに位置指示イベントを送信する。画像処理装置操作モードが指定されている場合、イベント処理部２１０は、座標検出部２２４からイベントを受信すると、画像処理装置１１０の他の機能手段に対して描画指示イベントおよび選択通知イベントを通知する。

位置指示イベントとは、ユーザＰＣ１３０ａ，１３０ｂのマウス等の入力装置が発行するイベントであり、ポインタの位置を指示するイベントである。ユーザＰＣ操作モードが指定されている場合に、描画装置２４０による接触に起因してユーザＰＣ１３０ａ，１３０ｂに対して発行される。イベント処理部２１０は、座標検出部２２４が発行したイベントに含まれる座標位置情報をユーザＰＣ１３０ａ，１３０ｂの画面サイズに応じた座標位置情報に変換し、位置指示イベントと共にユーザＰＣ１３０ａ，１３０ｂに送信する。ユーザＰＣ１３０ａ，１３０ｂは、位置指示イベントをマウス等の入力装置が発行するイベントと同様に処理する。

描画指示イベントとは、画像処理装置１１０に対して描画を指示するイベントである。描画指示イベントは、画像処理装置操作モードが指定されている場合に、描画装置２４０が表示部１１２に接触することに起因して発行される。

選択通知イベントとは、表示部１１２に表示された画面を構成するボタンやメニューバー等の種々のオブジェクトが選択されたことを示すイベントである。選択通知イベントは、画像処理装置操作モードが指定されている場合に、描画装置２４０が表示部１１２に接触することに起因して発行される。イベント処理部２１０は、座標検出部２２４が発行したイベントに含まれる座標位置情報がオブジェクトの座標領域内であるときに選択通知イベントを発行する。

本実施形態では、描画指示イベントおよび選択通知イベントには、それぞれ識別情報が割り当てられており、これらのイベントをトリガとして動作する画像処理装置１１０の機能手段は、当該識別情報を参照して種々の処理を実行する。また、選択通知イベントには、選択されたオブジェクトの識別情報が付加されており、選択通知イベントをトリガとして動作する画像処理装置１１０の機能手段は、当該オブジェクトの識別情報を参照して種々の処理を実行する。

描画生成部２１６は、ユーザが描画装置２４０を用いて描画した描画画像を生成する機能手段である。描画生成部２１６は、座標位置情報が示す座標位置の色を特定の色に変更した画像レイヤを生成する。描画生成部２１６は、当該座標位置を描画情報としてＲＡＭ２０４の描画情報の格納領域に保存する。

合成部２１８は、種々の画像を合成する機能手段である。合成部２１８は、アプリ画像生成部２１２が画像を描画すべき画像レイヤ（以下、「アプリ画像レイヤ」とする。）と、レイアウト管理部２１４がユーザＰＣ１３０ａ，１３０ｂの表示画像を描画すべき画像レイヤ（以下、「画像キャプチャレイヤ」とする。）と、描画生成部２１６が画像を描画すべき画像レイヤ（以下、「手書きレイヤ」とする。）とを合成する。

表示制御部２２０は、表示部１１２を制御する機能手段である。表示制御部２２０は、合成部２１８が生成した合成画像を表示部１１２に表示する。本実施形態では、合成部２１８は、表示制御部２２０を呼び出して合成画像を表示部１１２に表示する。他の実施形態では、合成部２１８および表示制御部２２０は、画像情報に含まれる画像フレームの更新頻度と同じ頻度で、画像レイヤを合成して表示部１１２に表示してもよい。

スナップショット生成部２２２は、ユーザＰＣ１３０ａ，１３０ｂの表示画像と描画生成部２１６が生成した描画画像との合成画像であるスナップショット画像を生成する機能手段である。スナップショット生成部２２２は、表示部１１２に表示されたスナップショットの取得を指示するスナップショットボタンが選択されたことを示す選択通知イベントを受信すると、画像キャプチャレイヤと手書きレイヤとを合成し、スナップショット画像を生成する。スナップショット生成部２２２は、スナップショット画像を生成すると、リポジトリ管理部２２８に対しスナップショット画像を記憶装置２３０に保存させる。

リポジトリ管理部２２８は、スナップショット画像を格納すべき記憶装置２３０を制御する機能手段である。リポジトリ管理部２２８は、上述したように、スナップショット生成部２２２の指示により、スナップショット画像を記憶装置２３０に保存する。また、リポジトリ管理部２２８は、ユーザＰＣ１３０ａ，１３０ｂの指示により、記憶装置２３０からスナップショット画像を取得し、ユーザＰＣ１３０ａ，１３０ｂに送信する。

図３は、図１に示す実施形態に係る画像処理装置が実行する処理を示すフローチャートである。以下、図３を参照して、ユーザが描画装置２４０を用いて種々の指示を与えた場合に、画像処理装置１１０が実行する処理について説明する。

図３の処理は、ステップＳ３００から開始し、ステップＳ３０１でイベント処理部２１０が、座標検出部２２４からイベントを受信したか否か判断する。イベントを受信していない場合には（ｎｏ）、ステップＳ３０１の処理を反復する。一方、イベントを受信した場合には（ｙｅｓ）、処理をステップＳ３０２に分岐する。ステップＳ３０２では、イベント処理部２１０は、イベントの種類が「ＭＯＶＥ」であるか否か判断する。イベントの種類が「ＭＯＶＥ」である場合には（ｙｅｓ）、処理をステップＳ３０３に分岐する。

ステップＳ３０３では、イベント処理部２１０は、座標検出部２２４から受信したイベントに含まれる座標位置情報を取得し、描画生成部２１６に対して描画指示イベントを発行する。ステップＳ３０４では、描画生成部２１６が、座標位置情報から描画情報を生成する。ステップＳ３０５では、描画生成部２１６は、描画情報を使用して手書きレイヤに描画画像を描画する。ステップＳ３０６では、描画生成部２１６は、描画情報をＲＡＭ２０４の描画情報の格納領域に保存し、処理をステップＳ３０１に戻す。

一方、ステップＳ３０２の判定でイベントの種類が「ＭＯＶＥ」でない、すなわち、イベントの種類が「ＴＯＵＣＨ」または「ＲＥＬＥＡＳＥ」であると判断した場合（ｎｏ）、処理をステップＳ３０７に分岐する。

ステップＳ３０７では、イベント処理部２１０は、イベントの種類が「ＲＥＬＥＡＳＥ」であるか否か判断する。イベントの種類が「ＲＥＬＥＡＳＥ」でない、すなわち、イベントの種類が「ＴＯＵＣＨ」である場合には（ｎｏ）、処理をステップＳ３０１に分岐する。一方、イベントの種類が「ＲＥＬＥＡＳＥ」である場合には（ｙｅｓ）、処理をステップＳ３０８に分岐する。

ステップＳ３０８では、イベント処理部２１０は、イベントに付加されたモード種別情報を使用してモードの種類を判断する。モードの種類がユーザＰＣ操作モードである場合には、処理をステップＳ３０９に分岐する。ステップＳ３０９では、イベント処理部２１０は、位置指示イベントを送信すべきユーザＰＣを特定する。

本実施形態では、レイアウト管理部２１４が１のユーザＰＣの表示画像を表示部１１２に表示する場合、当該ユーザＰＣの表示画像を識別する画面情報をＲＡＭ２０４に保存する。イベント処理部２１０は、当該画面情報を使用して、位置指示イベントを送信すべきユーザＰＣを特定する。

ステップＳ３１０では、イベント処理部２１０は、イベントに付加された座標位置情報を変換し、変換した座標位置情報および位置指示イベントを、ステップＳ３０９で特定したユーザＰＣに送信し、処理をステップＳ３０１に戻す。

一方、ステップＳ３０８の判定でモードの種類が画像処理装置操作モードであると判断した場合には、処理をステップＳ３１１に分岐する。ステップＳ３１１では、イベント処理部２１０は、表示部１１２に表示されたオブジェクトが選択されているか否か判断し、オブジェクトが選択されている場合には（ｙｅｓ）、処理をステップＳ３１２に分岐する。一方、オブジェクトが選択されていない場合には（ｎｏ）、処理をステップＳ３０３に戻す。

本実施形態では、アプリ画像生成部２１２がオブジェクトを描画する場合、当該オブジェクトの識別情報および当該オブジェクトの領域を示す座標位置情報をＲＡＭ２０４に保存する。イベント処理部２１０は、当該オブジェクトの座標位置情報を使用して、イベントに付加された座標位置情報がオブジェクトの領域内であるか否か判断することにより、オブジェクトが選択されているか否か判断する。

ステップＳ３１２では、イベント処理部２１０は、オブジェクトの識別情報と共に選択通知イベントを通知し、処理をステップＳ３０１に戻す。

図４は、本発明の画像処理装置の画像取得部２０６が実行する処理を示すフローチャートである。以下、図４を参照して、画像取得部２０６が実行する処理について説明する。

図４の処理は、ステップＳ４００から開始し、ステップＳ４０１で画像取得部２０６がユーザＰＣ１３０ａ,１３０ｂから画像信号を受信したか否か判断する。画像信号を受信していない場合には（ｎｏ）、ステップＳ４０１の処理を反復する。一方、画像信号を受信した場合には（ｙｅｓ）、処理をステップＳ４０２に分岐する。

ステップＳ４０２では、画像取得部２０６は、ビデオＲＡＭ２０８に対する画像フレームの上書き保存を停止する指示を受信したか否か判断する。画像フレームの上書き保存の停止指示を受信した場合には（ｙｅｓ）、処理をステップＳ４０１に戻す。一方、当該停止指示を受信していない場合には（ｎｏ）、処理をステップＳ４０３に分岐する。

本実施形態の画像処理装置１１０は、画像フレームの上書き保存を停止するボタン等を備えており、当該ボタンが押下されると、画像取得部２０６に対して画像フレームの上書き保存を停止する指示が送信される。これにより、ユーザは任意のタイミングで画像フレームの上書き保存を停止することができ、例えば、ユーザＰＣの交換等によって画像フレームの乱れが生じる虞がある場合等に、既にビデオＲＡＭ２０８に保存された画像フレームを表示部１１２に継続して表示することができる。

ステップＳ４０３では、画像取得部２０６は、画像信号を解析して画像情報を導出する。ステップＳ４０４では、画像取得部２０６は、画像情報をアプリ画像生成部２１２に送信する。ステップＳ４０５では、画像取得部２０６は、画像信号から画像フレームを形成し、ビデオＲＡＭ２０８に保存し、処理をステップＳ４０１に戻す。

図５は、本発明の画像処理装置のアプリ画像生成部が実行する処理を示すフローチャートである。以下、図５を参照して、アプリ画像生成部２１２が実行する処理について説明する。

図５の処理は、ステップＳ５００から開始し、ステップＳ５０１でアプリ画像生成部２１２が初期メニュー画面をアプリ画像レイヤに描画する。ステップＳ５０２では、アプリ画像生成部２１２は、画像取得部２０６から画像情報を受信したか否か判断し、当該情報を受信していない場合には（ｎｏ）、ステップＳ５０２の処理を反復する。一方、画像情報を受信した場合には（ｙｅｓ）、処理をステップＳ５０３に分岐する。ステップＳ５０３では、アプリ画像生成部２１２は、ビデオＲＡＭ２０８から画像フレームを取得し、当該画像フレームを含む表示選択メニュー画面をアプリ画像レイヤに描画する。

ステップＳ５０４では、アプリ画像生成部２１２は、図９を参照して説明する表示選択メニュー画面に表示されたユーザＰＣの表示画像が選択されたか否か判断する。アプリ画像生成部２１２は、表示選択メニュー画面内のユーザＰＣの表示画像が選択されたことを示す選択通知イベントを受信したか否か判断することにより、ユーザＰＣの表示画像が選択されたか否か判断することができる。ユーザＰＣの表示画像が選択されていない場合には（ｎｏ）、ステップＳ５０４の処理を反復する。一方、ユーザＰＣの表示画像が選択された場合には（ｙｅｓ）、処理をステップＳ５０５に分岐する。ステップＳ５０５では、アプリ画像生成部２１２は、図９を参照して説明するユーザＰＣの表示画像のレイアウトを選択可能なレイアウト選択メニュー画面をアプリ画像レイヤに描画し、処理をステップＳ５０２に戻す。

図６は、図１に示す実施形態に係る画像処理装置のレイアウト管理部２１４が実行する処理を示すフローチャートである。以下、図６を参照して、レイアウト管理部２１４が実行する処理について説明する。

図６の処理は、ステップＳ６００でレイアウト管理部２１４が、ユーザＰＣの表示画像のレイアウトが選択されたことを示す選択通知イベントを受信することにより開始する。ステップＳ６０１では、レイアウト管理部２１４は、選択通知イベントに付加されたレイアウト情報を取得する。ステップＳ６０２では、レイアウト管理部２１４は、レイアウトが指定された画像フレームをビデオＲＡＭ２０８から取得する。

本実施形態では、ビデオＲＡＭ２０８の保存されたユーザＰＣの表示画像である画像フレームには、ユーザＰＣの識別情報がメタデータとして付加されている。また、選択通知イベントに付加されたレイアウト情報には、レイアウトが指定されたユーザＰＣの表示画像の識別情報と、当該表示画像の表示位置や大きさを示す情報が含まれている。レイアウト管理部２１４は、レイアウト情報に含まれるユーザＰＣの表示画像の識別情報と、ビデオＲＡＭ２０８に保存されたユーザＰＣの表示画像である画像フレームの識別情報とを使用して、レイアウトが指定された画像フレームをビデオＲＡＭ２０８から取得することができる。

ステップＳ６０３では、レイアウト管理部２１４は、ステップＳ６０２で取得した画像フレームをレイアウト情報が指定する表示位置および大きさに適合させ、画像キャプチャレイヤに描画し、処理をステップＳ６０２に戻す。これにより、ビデオＲＡＭ２０８に保存された最新の画像フレームを画像キャプチャレイヤに描画することができ、ユーザＰＣ１３０ａ,１３０ｂの表示画像をリアルタイムで表示部１１２に表示することができる。

他の実施形態では、レイアウト管理部２１４が、ユーザＰＣの表示画像のレイアウトが選択されたことを示す選択通知イベントを受信した時点で、ビデオＲＡＭ２０８に対する画像フレームの上書き保存を停止する指示を画像取得部２０６に送信し、ビデオＲＡＭ２０８に対する画像フレームの上書き保存を停止させてもよい。これにより、画像取得部２０６が画像フレームをビデオＲＡＭ２０８に上書きすることによって生じる待機処理を回避することができ、画像フレームの画像キャプチャレイヤへの描画を高速化することができる。

図７は、本発明の画像処理装置の合成部および表示制御部が実行する処理を示すフローチャートである。以下、図７を参照して、合成部２１８および表示制御部２２０が実行する処理について説明する。

図７の処理は、ステップＳ７００から開始し、ステップＳ７０１で合成部２１８が、アプリ画像レイヤ、画像キャプチャレイヤおよび手書きレイヤを合成して合成画像を生成する。ステップＳ７０２では、表示制御部２２０が、当該合成画像を表示部１１２に表示し、処理をステップＳ７０１に戻す。

図８は、本発明の画像処理装置が実行するアプリ画像レイヤ、画像キャプチャレイヤおよび手書きレイヤの合成処理の概念図である。図８には、画像処理装置１１０が処理するアプリ画像レイヤ８１０、画像キャプチャレイヤ８２０および手書きレイヤ８３０が示されている。画像処理装置１１０は、これらのレイヤを合成して合成画像８４０を生成し、表示部１１２に当該合成画像を表示する。

図９は、本発明の画像処理装置が表示部１１２に表示する初期メニュー画面９１０、表示選択メニュー画面９２０およびレイアウト選択メニュー画面９３０の一実施形態を示す図である。

初期メニュー画面９１０は、画像処理装置１１０の起動時に表示部１１２に表示される画面である。初期メニュー画面９１０には、ユーザＰＣ１３０ａ，１３０ｂの表示画像を表示する表示領域９１２が含まれる。ユーザＰＣ１３０ａ，１３０ｂが画像処理装置１１０に接続されていない場合には、図９に示すように、初期メニュー画面９１０の表示領域９１２には、ユーザＰＣ１３０ａ，１３０ｂの表示画像は表示されない。

表示選択メニュー画面９２０は、ユーザＰＣ１３０ａ，１３０ｂを画像処理装置１１０に接続したときに表示部１１２に表示される画面である。表示選択メニュー画面９２０には、初期メニュー画面９１０と同様に、ユーザＰＣ１３０ａ，１３０ｂの表示画像を表示する表示領域９１２が含まれており、画像処理装置１１０に接続されたユーザＰＣの表示画像９２２が表示される。

レイアウト選択メニュー画面９３０は、表示選択メニュー画面９２０の表示領域９１２に表示されたユーザＰＣの表示画像９２２が選択された場合に表示される画面である。レイアウト選択メニュー画面９３０には、ユーザＰＣの表示画像のレイアウトを選択指定可能なレイアウト選択メニュー９３２が含まれており、ユーザは、いずれかのレイアウトを選択指定することができる。

図９に示す実施形態では、４のユーザＰＣの表示画像を表示するが、他の実施形態では、画像処理装置１１０に接続可能な数のユーザＰＣの表示画像を表示することができる。また、本発明の画像処理装置１１０が描画するレイアウト選択メニューに示すユーザＰＣの表示画像のレイアウトは、図９に示す実施形態に限られず、様々なレイアウトを採用することができる。

図１０は、本発明の画像処理システムの別の実施形態を示す図である。以下、図１０を参照して、画像処理システム１０００について、図１に示す画像処理システム１００との相違点を中心に説明する。

画像処理システム１０００は、画像処理装置１０１０ａと、画像処理装置１０１０ｂと、画像処理装置１０１０ｃとがネットワーク１０１４を介して接続される。ネットワーク１０１４は、ＬＡＮやインターネットなどのネットワークであり、画像処理装置１０１０ａ，１０１０ｂ，１０１０ｃの間で種々のデータを通信する。

画像処理装置１０１０ａは、ケーブル１２４，１２６を介してユーザＰＣ１３０ａ，１３０ｂが接続されている。画像処理装置１０１０ｂは、ケーブル１２４，１２６を介してユーザＰＣ１３０ｃが接続されている。画像処理装置１０１０ａ，１０１０ｂ１０１０ｃは、画像データおよびイベント等の情報をネットワーク１０１４を介して相互に通信する。

図１０に示す実施形態では、画像処理装置１０１０ａ，１０１０ｂ，１０１０ｃがネットワーク１０１４を介して接続されるが、他の実施形態では、これらの画像処理装置をネットワーク１０１４を介さずに、スター型等の接続形態で直接接続してもよい。

図１１は、図１０に示す実施形態に係る画像処理装置のハードウェア構成および機能構成を示す図である。以下、図１１を参照して、画像処理装置１０１０ａのハードウェア構成および機能構成について、画像処理装置１１０との相違点を中心に説明する。なお、画像処理装置１０１０ｂ，１０１０ｂのハードウェア構成および機能構成は、画像処理装置１０１０ａと同様であるため、説明を省略する。

画像処理装置１０１０ａは、通信制御部２５０と、通信部２５２とを備えている。通信制御部２５０は、ネットワーク１０１４を介した画像処理装置間の通信を制御する機能手段である。通信部２５２は、ネットワーク１０１４とのネットワークインタフェースである。通信制御部２５０は、認証情報、画像フレームやスナップショット画像等の画像データや描画情報、イベントなどの情報を、通信部２５２を介して通信する。

図１２は、画像処理システム１０００の画像処理装置１０１０ａ，１０１０ｂ，１０１０ｃが実行する処理を示すシーケンス図である。画像処理システム１０００では、画像処理装置１０１０ａ，１０１０ｂ，１０１０ｃのいずれかが、画像データやイベント等のデータ共有を図るサーバ機として機能し、他の画像処理装置がクライアント機として機能する。図１２に示す実施形態では、画像処理装置１０１０ａがサーバ機として機能し、画像処理装置１０１０ｂ，１０１０ｃがクライアント機として機能する。

初めに、画像処理装置１０１０ａが、サーバ機能を有効にさせるユーザ指示を受信することにより、サーバ機能フラグを有効にする（Ｓ１２００）。次に、画像処理装置１０１０ａが、画像処理装置１０１０ａとの接続を確立するための接続情報を表示部１１２に表示する（Ｓ１２０１）。接続情報には、画像処理装置１０１０ａの識別情報と、画像処理装置１０１０ａとの接続を確立するための認証情報とが含まれる。画像処理装置１０１０ａの識別情報は、例えば、画像処理装置１０１０ａのＩＰアドレスや電話番号等の識別情報である。認証情報は、例えば、任意の数字や記号、文字で構成されるパスコードである。

次に、クライアント機である画像処理装置１０１０ｂ,１０１０ｃが、画像処理装置１０１０ａに対して認証情報を送信し、接続を要求する（Ｓ１２０２，Ｓ１２０３）。画像処理装置１０１０ａは、画像処理装置１０１０ｂ,１０１０ｃから受信した認証情報を用いて、これらの画像処理装置を認証し（Ｓ１２０４）、その結果を通知する（Ｓ１２０５，Ｓ１２０６）。認証が成功した場合には、画像処理装置１０１０ａと画像処理装置１０１０ｂ,１０１０ｃとの通信が確立され、画像処理装置１０１０ｂ,１０１０ｃが、他の画像処理装置との間のデータ共有の有無を示す共有フラグを有効にする（Ｓ１２０７，Ｓ１２０８）。

次いで、図１２に示す実施形態では、ユーザＰＣが接続されたクライアント機である画像処理装置１０１０ｂが、ユーザＰＣの提供する画像信号を用いてユーザＰＣの表示画面である画像フレームを生成し、画像処理装置１０１０ｂの表示部１１２に表示する（Ｓ１２０９）。そして、画像処理装置１０１０ｂは、当該画像フレームを画像処理装置１０１０ａに送信する（Ｓ１２１０）。

画像処理装置１０１０ａは、クライアント機から画像フレームを受信すると、当該画像フレームを画像処理装置１０１０ａの表示部１１２に表示し（Ｓ１２１１）、画像フレームを提供した画像処理装置１０１０ｂ以外のクライアント機である画像処理装置１０１０ｃに画像フレームを送信する（Ｓ１２１２）。画像処理装置１０１０ｃは、サーバ機から画像フレームを受信すると、当該画像フレームを画像処理装置１０１０ｃの表示部１１２に表示する（Ｓ１２１３）。

次に、図１２に示す実施形態では、ユーザが描画装置を用いて画像処理装置１０１０ｂに描画画像を生成させる。画像処理装置１０１０ｂは、当該描画画像を画像処理装置１０１０ｂの表示部１１２に表示し（Ｓ１２１４）、当該描画画像を構成する描画情報を画像処理装置１０１０ａに送信する（Ｓ１２１５）。

画像処理装置１０１０ａは、クライアント機から描画情報を受信すると、当該描画情報を用いて描画画像を生成し、画像処理装置１０１０ａの表示部１１２に表示する（Ｓ１２１６）。そして、画像処理装置１０１０ａは、描画情報を提供した画像処理装置以外のクライアント機である画像処理装置１０１０ｃに描画情報を送信する（Ｓ１２１７）。画像処理装置１０１０ｃは、サーバ機から描画情報を受信すると、当該描画情報を用いて描画画像を生成し、画像処理装置１０１０ｃの表示部１１２に表示する（Ｓ１２１８）。

次に、図１２に示す実施形態では、画像処理装置１０１０ｃは、ユーザが入力装置を用いて指定した位置を示す位置指示イベントを発行し（Ｓ１２１９）、当該位置指示イベントを画像処理装置１０１０ａに送信する（Ｓ１２２０）。画像処理装置１０１０ａは、当該位置指示イベントを提供した画像処理装置以外のクライアント機である画像処理装置１０１０ｂに位置指示イベントを送信する（Ｓ１２２１）。画像処理装置１０１０ｂは、サーバ機から位置指示イベントを受信すると、画像処理装置１０１０ｂに接続されたユーザＰＣに当該位置指示イベントを送信する（Ｓ１２２２）。

次いで、図１２に示す実施形態では、画像処理装置１０１０ｃは、切断要求を画像処理装置１０１０ａに送信し（Ｓ１２２３）、通信を切断する（Ｓ１２２４）。画像処理装置１０１０ａは、クライアント機から切断要求を受信すると、当該切断要求を提供した画像処理装置以外のクライアント機である画像処理装置１０１０ｂとの通信を切断する（Ｓ１２２５）し、サーバ機能フラグを無効にする（Ｓ１２２６）。

図１２に示す実施形態では、クライアント機が画像フレームを提供するが、サーバ機が画像フレームを送信することもできる。また、本実施形態では、画像フレームを提供するクライアント機が描画情報を送信するが、他のクライアント機やサーバ機が描画情報を送信することもできる。さらに、本実施形態では、画像フレームを提供しないクライアント機が位置指示イベントを送信するが、画像フレームを提供しないサーバ機が位置指示イベントを送信することもできる。

本実施形態では、サーバ機が、いずれかの画像処理装置が生成する画像フレームをクライアント機に提供するため、複数の画像処理装置の間で同一の画像フレームや描画画像を共有することができる。また、サーバ機が、いずれかの画像処理装置が生成した位置指示イベントを他の画像処理装置に提供するため、他の画像処理装置に接続されたユーザＰＣを遠隔操作することができる。

図１３は、図１０に示す実施形態に係る画像フレームを提供する画像処理装置が実行する処理を示す図である。以下、図１３を参照して、サーバ機およびクライアント機が画像フレームを提供する処理について説明する。

図１３（Ａ）の処理は、サーバ機が実行する処理であり、ステップＳ１３００でサーバ機のレイアウト管理部２１４が、ユーザＰＣの表示画像のレイアウトが選択されたことを示す選択通知イベントを受信することにより開始する。ステップＳ１３０１では、レイアウト管理部２１４は、選択通知イベントに付加されたレイアウト情報を取得する。ステップＳ１３０２では、レイアウト管理部２１４は、レイアウトが指定された画像フレームをビデオＲＡＭ２０８から取得する。

ステップＳ１３０３では、レイアウト管理部２１４は、ステップＳ１３０２で取得した画像フレームをレイアウト情報が指定する表示位置および大きさに適合させ、画像キャプチャレイヤに描画する。ステップＳ１３０４では、通信制御部２５０が、ビデオＲＡＭから画像フレームを取得し、当該画像フレームを、サーバ機である画像処理装置に送信する。ステップＳ１３０５では、通信制御部２５０が、画像フレームを他の画像処理装置に提供していることを示す画像フレーム提供フラグを有効にし、処理をステップＳ１３０２に戻す。

図１３（Ｂ）の処理は、クライアント機が実行する処理であり、ステップＳ１３０６でクライアント機のレイアウト管理部２１４が、ユーザＰＣの表示画像のレイアウトが選択されたことを示す選択通知イベントを受信することにより開始する。ステップＳ１３０７では、レイアウト管理部２１４は、選択通知イベントに付加されたレイアウト情報を取得する。ステップＳ１３０８では、レイアウト管理部２１４は、レイアウトが指定された画像フレームをビデオＲＡＭ２０８から取得する。

ステップＳ１３０９では、レイアウト管理部２１４は、ステップＳ１３０８で取得した画像フレームをレイアウト情報が指定する表示位置および大きさに適合させ、画像キャプチャレイヤに描画する。ステップＳ１３１０では、通信制御部２５０が、ビデオＲＡＭから画像フレームを取得し、当該画像フレームを、サーバ機である画像処理装置に送信する。ステップＳ１３１１では、通信制御部２５０が、画像フレーム提供フラグを有効にし、処理をステップＳ１３０８に戻す。

図１４は、図１０に示す実施形態に係るサーバ機である画像処理装置が実行する処理を示す図である。以下、図１４を参照して、サーバ機がクライアント機から画像フレームを受信した場合に実行する処理について説明する。

図１４の処理は、ステップＳ１４００でサーバ機の通信制御部２５０が、クライアント機から画像フレームを受信することにより開始する。ステップＳ１４０１では、レイアウト管理部２１４は、当該画像フレームを画像キャプチャレイヤに描画する。ステップＳ１４０２では、通信制御部２５０が、当該画像フレームを当該画像フレームを提供してない他のクライアント機に送信し、ステップＳ１４０３で処理が終了する。

本実施形態では、サーバ機はクライアント機との接続時に当該クライアント機の識別情報を取得する。画像処理装置が送信する画像フレームには、当該画像処理装置の識別情報が付加されており、サーバ機は、当該画像フレームに付加された画像処理装置の識別情報と、接続時に取得したクライアント機の識別情報とを用いて、当該画像フレームを提供してないクライアント機を判断することができる。

図１５は、図１０に示す実施形態に係るサーバ機である画像処理装置が実行する処理を示す図である。以下、図１５を参照して、サーバ機がスナップショット画像をクライアント機に提供する処理について説明する。

図１５の処理は、ステップＳ１５００でユーザがスナップショット画像をクライアント機に提供する指示を発行することにより開始する。ステップＳ１５０１では、サーバ機の通信制御部２５０が、記憶装置２３０に保存されたスナップショット画像を取得する。ステップＳ１５０２では、通信制御部２５０は、接続時に取得したクライアント機の識別情報を使用して通信接続が確立されているクライアント機を判断し、スナップショット画像を当該クライアント機に送信し、ステップＳ１５０３で処理が終了する。

図１６は、図１０に示す実施形態に係るクライアント機である画像処理装置が実行する処理を示す図である。以下、図１６を参照して、クライアント機が、画像データである画像フレームまたはスナップショット画像をサーバ機から受信した場合に実行する処理について説明する。

図１６の処理は、ステップＳ１６００でクライアント機の通信制御部２５０が、サーバ機から画像データを受信することにより開始する。ステップＳ１６０１では、レイアウト管理部２１４は、当該画像データである画像フレームまたはスナップショット画像を画像キャプチャレイヤに描画し、ステップＳ１６０２で処理が終了する。

図１７は、図１０に示す実施形態に係るサーバ機である画像処理装置が実行する処理を示す図である。以下、図１７を参照して、ユーザが描画装置２４０を用いて種々の指示を与えた場合に、サーバ機が実行する処理について説明する。

図１７の処理は、ステップＳ１７００から開始し、ステップＳ１７０１でイベント処理部２１０が、座標検出部２２４または通信制御部２５０からイベントを受信したか否か判断する。イベントを受信していない場合には（ｎｏ）、ステップＳ１７０１の処理を反復する。一方、イベントを受信した場合には（ｙｅｓ）、処理をステップＳ１７０２に分岐する。ステップＳ１７０２では、イベント処理部２１０は、イベントの種類が「ＭＯＶＥ」であるか否か判断する。イベントの種類が「ＭＯＶＥ」である場合には（ｙｅｓ）、処理をステップＳ１７０３に分岐する。

ステップＳ１７０３では、イベント処理部２１０は、座標検出部２２４から受信したイベントに含まれる座標位置情報を取得し、描画生成部２１６に対して描画指示イベントを発行する。ステップＳ１７０４では、描画生成部２１６が、座標位置情報から描画情報を生成する。ステップＳ１７０５では、描画生成部２１６は、描画情報を使用して手書きレイヤに描画する。ステップＳ１７０６では、描画生成部２１６は、描画情報をＲＡＭ２０４の描画情報の格納領域に保存する。

ステップＳ１７０７では、通信制御部２５０が、共有フラグが有効か否か判断する。共有フラグが無効である場合には（ｎｏ）、処理をステップＳ１７０１に戻す。一方、共有フラグが有効である場合には（ｙｅｓ）、処理をステップＳ１７０８に分岐させる。ステップＳ１７０８では、通信制御部２５０は、ステップＳ１７０４で生成した描画情報を総てのクライアント機に送信し、処理をステップＳ１７０１に戻す。

一方、ステップＳ１７０２の判定でイベントの種類が「ＭＯＶＥ」でない、すなわち、イベントの種類が「ＴＯＵＣＨ」または「ＲＥＬＥＡＳＥ」であると判断した場合（ｎｏ）、処理をステップＳ１７０９に分岐する。

ステップＳ１７０９では、イベント処理部２１０は、イベントの種類が「ＲＥＬＥＡＳＥ」であるか否か判断する。イベントの種類が「ＲＥＬＥＡＳＥ」でない、すなわち、イベントの種類が「ＴＯＵＣＨ」である場合には（ｎｏ）、処理をステップＳ１７０１に分岐する。一方、イベントの種類が「ＲＥＬＥＡＳＥ」である場合には（ｙｅｓ）、処理をステップＳ１７１０に分岐する。

ステップＳ１７１０では、イベント処理部２１０は、イベントに付加されたモード種別情報を使用してモードの種類を判断する。モードの種類がユーザＰＣ操作モードである場合には、処理をステップＳ１７１１に分岐する。ステップＳ１７１１では、イベント処理部２１０は、画像フレーム提供フラグを参照し、位置指示イベントを送信すべきユーザＰＣが存在するか否か判断する。本実施形態では、画像フレーム提供フラグが有効である場合には、位置指示イベントを送信すべきユーザＰＣが存在すると判断する。

位置指示イベントを送信すべきユーザＰＣが存在しない場合には（ｎｏ）、処理をステップＳ１７０１に戻す。一方、位置指示イベントを送信すべきユーザＰＣが存在する場合には（ｙｅｓ）、処理をステップＳ１７１２に分岐させる。

ステップＳ１７１２では、イベント処理部２１０は、イベントに付加された座標位置情報を変換し、変換した座標位置情報および位置指示イベントをユーザＰＣに送信する。ステップＳ１７１３では、通信制御部２５０が、共有フラグが有効か否か判断する。共有フラグが無効である場合には（ｎｏ）、処理をステップＳ１７０１に戻す。一方、共有フラグが有効である場合には（ｙｅｓ）、処理をステップＳ１７１４に分岐させる。

ステップＳ１７１４では、通信制御部２５０は、変換前の座標位置情報を含む位置指示イベントを総てのクライアント機に送信し、処理をステップＳ１７０１に戻す。

一方、ステップＳ１７１０の判定でモードの種類が画像処理装置操作モードであると判断した場合には、処理をステップＳ１７１５に分岐する。ステップＳ１７１５では、イベント処理部２１０は、表示部１１２に表示されたオブジェクトが選択されているか否か判断し、オブジェクトが選択されている場合には（ｙｅｓ）、処理をステップＳ１７１６に分岐し、イベント処理部２１０は、オブジェクトの識別情報と共に選択通知イベントを通知し、処理をステップＳ１７０１に戻す。一方、オブジェクトが選択されていない場合には（ｎｏ）、処理をステップＳ１７０３に戻す。

図１８は、図１０に示す実施形態に係るクライアント機である画像処理装置が実行する処理を示す図である。以下、図１８を参照して、クライアント機がイベントの種類に応じて実行する処理について説明する。

図１８の処理は、ステップＳ１８００から開始し、ステップＳ１８０１でイベント処理部２１０が、座標検出部２２４または通信制御部２５０からイベントを受信したか否か判断する。イベントを受信していない場合には（ｎｏ）、ステップＳ１８０１の処理を反復する。一方、イベントを受信した場合には（ｙｅｓ）、処理をステップＳ１８０２に分岐する。ステップＳ１８０２では、イベント処理部２１０は、イベントの種類が「ＭＯＶＥ」であるか否か判断する。イベントの種類が「ＭＯＶＥ」である場合には（ｙｅｓ）、処理をステップＳ１８０３に分岐する。

ステップＳ１８０３では、イベント処理部２１０は、座標検出部２２４から受信したイベントに含まれる座標位置情報を取得し、描画生成部２１６に対して描画指示イベントを発行する。ステップＳ１８０４では、描画生成部２１６が、座標位置情報から描画情報を生成する。ステップＳ１８０５では、描画生成部２１６は、描画情報を使用して手書きレイヤに描画する。ステップＳ１８０６では、描画生成部２１６は、描画情報をＲＡＭ２０４の描画情報の格納領域に保存する。

ステップＳ１８０７では、通信制御部２５０が、共有フラグが有効か否か判断する。共有フラグが無効である場合には（ｎｏ）、処理をステップＳ１８０１に戻す。一方、共有フラグが有効である場合には（ｙｅｓ）、処理をステップＳ１８０８に分岐させる。ステップＳ１８０８では、通信制御部２５０は、当該イベントがサーバ機から受信したイベントであるか否か判断する。サーバ機から受信したイベントである場合には（ｙｅｓ）、処理をステップＳ１８０１に戻す。一方、サーバ機から受信したイベントでない場合には（ｎｏ）、処理をステップＳ１８０９に分岐させる。ステップＳ１８０９では、通信制御部２５０は、ステップＳ１８０４で生成した描画情報をサーバ機に送信し、処理をステップＳ１８０１に戻す。

一方、ステップＳ１８０２の判定でイベントの種類が「ＭＯＶＥ」でない、すなわち、イベントの種類が「ＴＯＵＣＨ」または「ＲＥＬＥＡＳＥ」であると判断した場合（ｎｏ）、処理をステップＳ１８１０に分岐する。

ステップＳ１８１０では、イベント処理部２１０は、イベントの種類が「ＲＥＬＥＡＳＥ」であるか否か判断する。イベントの種類が「ＲＥＬＥＡＳＥ」でない、すなわち、イベントの種類が「ＴＯＵＣＨ」である場合には（ｎｏ）、処理をステップＳ１８０１に分岐する。一方、イベントの種類が「ＲＥＬＥＡＳＥ」である場合には（ｙｅｓ）、処理をステップＳ１８１１に分岐する。

ステップＳ１８１１では、イベント処理部２１０は、イベントに付加されたモード種別情報を使用してモードの種類を判断する。モードの種類がユーザＰＣ操作モードである場合には、処理をステップＳ１８１２に分岐する。ステップＳ１８１２では、イベント処理部２１０は、画像フレーム提供フラグを参照し、位置指示イベントを送信すべきユーザＰＣが存在するか否か判断する。

位置指示イベントを送信すべきユーザＰＣが存在しない場合には（ｎｏ）、処理をステップＳ１８０１に戻す。一方、位置指示イベントを送信すべきユーザＰＣが存在する場合には（ｙｅｓ）、処理をステップＳ１８１３に分岐させる。

ステップＳ１８１３では、イベント処理部２１０は、イベントに付加された座標位置情報を変換し、変換した座標位置情報および位置指示イベントをユーザＰＣに送信する。ステップＳ１８１４では、通信制御部２５０が、共有フラグが有効か否か判断する。共有フラグが無効である場合には（ｎｏ）、処理をステップＳ１８０１に戻す。一方、共有フラグが有効である場合には（ｙｅｓ）、処理をステップＳ１８１５に分岐させる。

ステップＳ１８１５では、通信制御部２５０は、当該イベントがサーバ機から受信したイベントであるか否か判断する。サーバ機から受信したイベントである場合には（ｙｅｓ）、処理をステップＳ１８０１に戻す。一方、サーバ機から受信したイベントでない場合には（ｎｏ）、処理をステップＳ１８１６に分岐させる。ステップＳ１８１６では、通信制御部２５０は、変換前の座標位置情報を含む位置指示イベントをサーバ機に送信し、処理をステップＳ１８０１に戻す。

一方、ステップＳ１８１１の判定でモードの種類が画像処理装置操作モードであると判断した場合には、処理をステップＳ１８１７に分岐する。ステップＳ１８１７では、イベント処理部２１０は、表示部１１２に表示されたオブジェクトが選択されているか否か判断し、オブジェクトが選択されている場合には（ｙｅｓ）、処理をステップＳ１８１８に分岐し、ステップＳ１８１８でイベント処理部２１０が、オブジェクトの識別情報と共に選択通知イベントを通知し、処理をステップＳ１８０１に戻す。一方、オブジェクトが選択されていない場合には（ｎｏ）、処理をステップＳ１８０３に戻す。

図１９は、図１０に示す実施形態に係るサーバ機である画像処理装置が実行する処理を示す図である。以下、図１９を参照して、サーバ機がクライアント機から位置指示イベントを受信した場合に実行する処理について説明する。

図１９の処理は、ステップＳ１９００でサーバ機の通信制御部２５０が、クライアント機から位置指示イベントを受信することにより開始する。ステップＳ１９０１では、イベント処理部２１０が、画像フレーム提供フラグを参照し、サーバ機に接続された位置指示イベントを送信すべきユーザＰＣが存在するか否か判断する。位置指示イベントを送信すべきユーザＰＣが存在しない場合には（ｎｏ）、処理をステップＳ１９０３に分岐させる。一方、位置指示イベントを送信すべきユーザＰＣが存在する場合には（ｙｅｓ）、処理をステップＳ１９０２に分岐させる。

ステップＳ１９０２では、イベント処理部２１０は、イベントに付加された座標位置情報を変換し、変換した座標位置情報および位置指示イベントを、サーバ機に接続されたユーザＰＣに送信する。ステップＳ１９０３では、通信制御部２５０が、当該位置指示イベントを提供してないクライアント機に当該描画情報を送信し、ステップＳ１９０４で処理が終了する。

画像処理装置が送信する位置指示イベントには、当該画像処理装置の識別情報が付加されており、サーバ機は、当該位置指示イベントに付加された画像処理装置の識別情報と、接続時に取得したクライアント機の識別情報とを用いて、当該位置指示イベントを提供してないクライアント機を判断することができる。

図２０は、図１０に示す実施形態に係るサーバ機である画像処理装置が実行する処理を示す図である。以下、図２０を参照して、サーバ機がクライアント機から描画情報を受信した場合に実行する処理について説明する。

図２０の処理は、ステップＳ２０００でサーバ機の通信制御部２５０が、ネットワーク１０１４を介して描画情報を受信することにより開始する。ステップＳ２００１では、レイアウト管理部２１４は、当該描画情報を用いて手書きレイヤに描画画像を描画する。ステップＳ２００２では、通信制御部２５０が、当該描画情報を提供してないクライアント機に当該描画情報を送信し、ステップＳ２００３で処理が終了する。

画像処理装置が送信する描画情報には、当該画像処理装置の識別情報が付加されており、サーバ機は、当該描画情報に付加された画像処理装置の識別情報と、接続時に取得したクライアント機の識別情報とを用いて、当該描画情報を提供してないクライアント機を判断することができる。

図２１は、図１０に示す実施形態に係るクライアント機である画像処理装置が実行する処理を示す図である。以下、図２１を参照して、クライアント機がサーバ機から描画情報を受信した場合に実行する処理について説明する。

図２１の処理は、ステップＳ２１００でクライアント機の通信制御部２５０が、サーバ機から描画情報を受信することにより開始する。ステップＳ２１０１では、レイアウト管理部２１４は、当該描画情報を用いて手書きレイヤに描画画像を描画し、ステップＳ２１０２で処理が終了する。

図２２は、本発明の画像処理システムのさらに別の実施形態を示す図である。以下、図２２を参照して、画像処理システム２２００について、画像処理システム１００との相違点を中心に説明する。

画像処理システム２２００は、画像処理装置２２１０と、投影装置２２１２と、接触検知装置２２６と、ユーザＰＣ１３０ａとを含んで構成されている。画像処理装置２２１０は、ケーブルを介して、投影装置２２１２、接触検知装置２２６およびユーザＰＣ１３０と接続される。画像処理装置２２１０の表示制御部２２０は、投影装置２２１２を制御して、種々の画像データを接触検知装置２２６上に投影させる。

本実施形態では、投影装置２２１２が投影した画像と、接触検知装置２２６とがずれる可能性があるため、位置指示イベントに関連する座標位置情報を利用して、このずれを補正してもよい。

これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、本実施形態の構成要素を変更若しくは削除し、または本実施形態の構成要素を他の構成要素を追加するなど、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。

１００…画像処理システム、１１０…画像処理装置、１１２…表示部、１２４，１２６…ケーブル、１３０ａ，１３０ｂ，１３０ｃ…ユーザＰＣ、１０００…画像処理システム、１０１０ａ，１０１０ｂ，１０１０ｃ…画像処理装置、１０１４…ネットワーク、２２００…画像処理システム、２２１０…画像処理装置、２２１２…投影装置

特開２００８−９７３７１号公報 特許第４６２７７８１号公報

Claims (10)

1. 画像を表示する表示手段と、
   情報処理装置から前記表示手段に表示する表示画像を取得する取得手段と、
   前記表示手段に対する物体の接触位置または接近位置を示す位置情報を取得する位置情報取得手段と、
   前記位置情報に基づいて描画画像を生成する描画生成手段と、
   前記表示画像を表示すべき表示ウィンドウを生成する画像生成手段と、
   前記表示画像、前記表示ウィンドウ、及び前記描画画像を合成する合成手段と、
   前記位置情報に基づいて入力装置の第１イベントを生成し、前記第１イベントを前記情報処理装置に提供するとともに、他の画像処理装置から受信した第２イベントを前記情報処理装置に送信する、イベント処理手段と、
   前記他の画像処理装置に接続された情報処理装置に対し前記第１イベントを送信する第２の送信手段と、
   を含む、画像処理装置。
2. 前記取得手段は、前記情報処理装置から定期的に表示画像を取得し、
   前記合成手段は、前記表示画像、前記表示ウィンドウ、及び前記描画画像を定期的に合成する、請求項１に記載の画像処理装置。
3. 複数の情報処理装置から取得した表示画像を保存する記憶手段を備えており、
   前記取得手段は、前記表示画像の保存を停止する指示を受信した場合に、前記記憶手段への前記表示画像の保存を停止し、
   前記合成手段は、前記記憶手段に既に保存された表示画像、前記表示ウィンドウ、及び前記描画画像を合成する、請求項１または２のいずれか１項に記載の画像処理装置。
4. 前記表示手段に表示する画像を他の画像処理装置に対して送信する第１の送信手段を有し、
   前記表示手段は、他の画像処理装置から受信した画像を表示する、請求項１〜３のいずれか１項に記載の画像処理装置。
   
5. 表示手段に画像を表示する画像処理装置が実行する方法であって、前記方法は、前記画像処理装置が、
   情報処理装置から表示手段に表示する表示画像を取得するステップと、
   前記表示手段に対する物体の接触位置または接近位置を示す位置情報を取得するステップと、
   前記位置情報に基づいて描画画像を生成するステップと、
   前記表示画像を表示すべき表示ウィンドウを生成するステップと、
   前記表示画像、前記表示ウィンドウ、及び前記描画画像を合成するステップと
   前記位置情報に基づいて入力装置の第１イベントを生成し、前記第１イベントを前記情報処理装置に提供するとともに、他の画像処理装置から受信した第２イベントを前記情報処理装置に送信するステップと、
   前記他の画像処理装置に接続された情報処理装置に対し前記第１イベントを送信するステップと、
   を実行する、方法。
6. 前記取得するステップは、前記情報処理装置から定期的に表示画像を取得するステップを含み、
   前記合成するステップは、前記表示画像、前記表示ウィンドウ、及び前記描画画像を定期的に合成するステップを含む、請求項５に記載の方法。
   
7. さらに、
   前記位置情報に基づいて入力装置のイベントを生成し、前記イベントを前記情報処理装置に提供するステップをさらに含む、請求項５または６に記載の方法。
8. 前記画像処理装置は、複数の情報処理装置から取得した表示画像を保存する記憶手段を備えており、
   前記取得するステップは、前記表示画像の保存を停止する指示を受信した場合に、前記記憶手段への前記表示画像の保存を停止するステップを含み、
   前記合成するステップは、前記記憶手段に既に保存された表示画像、前記表示ウィンドウ、及び前記描画画像を合成するステップを含む、請求項５〜７のいずれか１項に記載の方法。
9. 請求項５〜８のいずれか１項に記載の方法を画像処理装置が実行するためのコンピュータ実行可能なプログラム。
10. 画像を表示する画像処理システムであって、
    画像を表示する表示手段と、
    情報処理装置から前記表示手段に表示する表示画像を取得する取得手段と、
    前記表示手段に対する物体の接触位置または接近位置を示す位置情報を取得する位置情報取得手段と、
    前記位置情報に基づいて描画画像を生成する描画生成手段と、
    前記表示画像を表示すべき表示ウィンドウを生成する画像生成手段と、
    前記表示画像、前記表示ウィンドウ、及び前記描画画像を合成する合成手段と、
    前記位置情報に基づいて入力装置の第１イベントを生成し、前記第１イベントを前記情報処理装置に提供するとともに、他の画像処理装置から受信した第２イベントを前記情報処理装置に送信する、イベント処理手段と、
    前記他の画像処理装置に接続された情報処理装置に対し前記第１イベントを送信する第２の送信手段と、
    を含む、画像処理システム。