JP2016143183A - 情報処理装置、画像処理システム、プログラム - Google Patents

Abstract

【課題】手書き情報の変換候補を他の装置に送信することができる情報処理装置を提供する。
【解決手段】ディスプレイ３に情報を表示する情報処理装置（電子黒板）２であって、情報の表示面に対する指示位置を検出する指示位置検出手段２５（イベント処理部）と、指示位置検出手段が検出した指示位置により視覚情報を生成する視覚情報生成手段３２（ストローク処理部）と、視覚情報生成手段が生成した１つ以上の視覚情報が形成する記号を認識すると共に記号の認識候補を決定する文字認識部３２１と、記号及び認識候補を送信可能なデータに変換するデータ変換手段３２２（シリアライズ／デシリアライズ部）と、データ変換手段が送信可能なデータに変換した記号及び認識候補を他の情報処理装置に送信する通信制御部６０と、を有する。
【選択図】図３

Description

本発明は、情報処理装置、画像処理システム及びプログラムに関する。

従来、企業や教育機関、行政機関等における会議等において、大型ディスプレイに背景画像を表示させ、この背景画像の上にユーザが文字や数字、図形等の手書き可能な電子黒板が利用されている。

このような電子黒板では、大型ディスプレイが表示装置と入力装置を兼ねており、ユーザは大型ディスプレイに対し専用ペンや指などを用いて座標を入力することができる。電子黒板は、座標を時系列に接続するなどしてユーザによって描画された文字や数字、図形などを背景画像に重畳して表示装置に表示する。

電子黒板はこのようにして表示された文字などを画像として保存することもできるが、文字認識することで文字や数字をテキストデータに変換することができる。テキストデータに変換すれば画像として保存される場合よりも記憶容量を低減でき、また、文字の再利用などが容易になる。

しかしながら、手書きされた文字の認識率は必ずしも１００％ではないことが知られている。このため文字の誤認識に対応するための技術が考案されている（例えば、特許文献１参照。）。特許文献１には、文字の認識後もその文字の再変換を可能にするため、文書の各文字に対して認識侯補を保持する候補バッファを備えた文字処理装置が開示されている。

しかしながら、特許文献１に開示された文字処理装置は、候補バッファにポインタにより指定可能な変換候補が格納されているが、候補バッファを他の装置に転送することが困難であるという問題がある。すなわち、文字認識された文字と変換候補を他の装置に転送することが困難なため、他の装置は変換候補を用いて文字を変換することができない。

本発明は、上記課題に鑑み、手書き情報の変換候補を他の装置に送信することができる情報処理装置を提供することを目的とする。

上記課題に鑑み、本発明は、表示装置に情報を表示する情報処理装置であって、情報の表示面に対する指示位置を検出する指示位置検出手段と、前記指示位置検出手段が検出した前記指示位置により視覚情報を生成する視覚情報生成手段と、前記視覚情報生成手段が生成した１つ以上の視覚情報が形成する記号を認識すると共に前記記号の認識候補を決定する記号認識手段と、前記記号及び前記認識候補を送信可能なデータに変換するデータ変換手段と、前記データ変換手段が送信可能なデータに変換した前記記号及び前記認識候補を他の情報処理装置に送信する送信手段と、を有する。

手書き情報の変換候補を他の装置に送信することができる情報処理装置を提供することができる。

本実施形態の画像処理システムの全体構成図の一例である。 電子黒板のハードウェア構成図の一例である。 電子黒板の機能ブロック図の一例である。 ファイル処理部の機能ブロック図の一例である。 通信制御部及びサーバ機の機能構成の一例を示す図である。 ストローク配列データを示す概念図の一例である。 座標配列データを示す概念図の一例である。 各画像レイヤの構成図の一例である。 各電子黒板の処理を示したシーケンス図の一例である。 各電子黒板の処理を示したシーケンス図の一例である。 文字認識部３２１が手書きされた視覚情報の座標から記号を認識する手順を示すフローチャート図の一例である。 ディスプレイに描画された記号とその認識結果の一例である。 認識処理候補が含まれるテキストをストローク処理部３２が保存する手順を示すフローチャート図の一例である。 シリアライズとデシリアライズを説明するための図の一例である。

以下、図面を用いて、本発明を実施するための形態について説明する。

＜用語について＞
以下の実施形態で用いられる用語について説明する。
・オブジェクト…１つ以上の座標が接続されディスプレイに表示された視覚情報。本実施形態のオブジェクトには、テキスト、図形、ストローク及び背景画像がある。
・テキスト…文字、数値、特殊記号（％、＆、＝、〜など）等の記号であり、コードで扱われることが可能な視覚情報である。テキストは記号の認識（文字認識と呼ばれる場合がある）によりコードに変換されるが、本実施形態では手書きされた状態もテキストに含める。
・図形…丸や四角形などの予め定められた形状の図形である。形状の認識により決まった図形を意味するコードへ変換されてもよいし、直線や曲線で囲まれた線図として認識されてもよい。
・ストローク…テキスト及び図形のどちらとも判別されない視覚情報がストロークになる。
・ページデータ…ディスプレイに表示された１ページ分のオブジェクトである。

＜システムの概要＞
図１は、本実施形態の画像処理システムの全体構成図である。なお、図１では、説明を簡略化するために、２台の電子黒板２ａ，２ｂ及びこれに付随する電子ペン４ａ，４ｂ等を示しているだけであって、３台以上の電子黒板や電子ペン等が利用されてもよい。電子黒板２ａと２ｂは別々の拠点に設置されている。

図１に示されているように、画像処理システム１は、複数の電子黒板２ａ，２ｂ、複数の電子ペン４ａ，４ｂ、ＵＳＢメモリ５ａ，５ｂ、ノートＰＣ(Personal Computer)６ａ，６ｂ、テレビ会議端末７ａ，７ｂ（ビデオ会議端末と称してもよい）、及び、ＰＣ８を有する。また、電子黒板２ａ，２ｂ及びＰＣ８は、通信ネットワーク９を介して通信可能に接続されている。ＰＣ８は電子黒板２と画面を共有するためのＰＣである。更に、複数の電子黒板２ａ，２ｂには、それぞれディスプレイ３ａ，３ｂ（ディスプレイ３は表示装置の一例であり、ディスプレイの表示面に情報が表示される。）が設けられている。また、電子黒板２ａは、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻をタッチすること）により描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子黒板２ａは、電子ペン４ａだけでなく、ユーザの手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。

また、電子黒板２ａには、ＵＳＢメモリ５ａが接続可能であり、電子黒板２ａはＵＳＢメモリ５ａからＰＤＦ（Portable Document Format）等の電子ファイルを読み出したり、ＵＳＢメモリ５ａに電子ファイルを記録したりすることができる。また、電子黒板２ａには、DisplayPort、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル１０ａ１を介して、ノートＰＣ６ａが接続されている。そして、電子黒板２ａは、ディスプレイ３ａに対する電子ペン４ａや手Ｈａの接触を検知してイベントを発生させ、このイベントを示すイベント情報をマウスやキーボード等の入力装置のイベントと同様に、ノートＰＣ６ａに送信する。

同じく、電子黒板２ａには、上記規格による通信が可能なケーブル１０ａ２を介してテレビ会議端末７ａが接続されている。なお、ノートＰＣ６ａ及びテレビ会議端末７ａは、Bluetooth（登録商標）や無線ＬＡＮ等の各種無線通信プロトコルに準拠した無線通信により、電子黒板２ａと通信してもよい。

一方、電子黒板２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた電子黒板２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、ノートＰＣ６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１及びケーブル１０ｂ２が利用される。更に、電子黒板２ｂはユーザの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。

これにより、一方の拠点で電子黒板２ａのディスプレイ３ａ上に描画された画像は、他の拠点で電子黒板２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で電子黒板２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で電子黒板２ａのディスプレイ３ａ上に表示される。このように、画像処理システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。

なお、以下では、複数の電子黒板のうち任意の電子黒板を示す場合には「電子黒板２」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数のノートＰＣのうち任意のノートＰＣを示す場合には「ノートＰＣ６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。

また、本実施形態では、画像処理装置の一例として、電子黒板を説明するが、これに限るものではなく、画像処理装置の他の例として、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、情報処理端末の一例としてノートＰＣ６を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型ＰＣやタブレット型ＰＣ、ウェアラブルＰＣ、スマートフォン、ＰＤＡ（Personal Digital Assistant）、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。

更に、通信ネットワーク９には、インターネット、ＬＡＮ(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、ＳＤカード等の各種記録メディアであってもよい。

＜電子黒板のハードウェア構成＞
続いて、図２を用いて、本実施形態の電子黒板のハードウェア構成を説明する。なお、図２は、電子黒板のハードウェア構成図の一例である。

図２に示されているように、電子黒板２は、電子黒板２全体の動作を制御するＣＰＵ１０１、ＩＰＬ（Initial Program Loader）等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３、電子黒板２の機能を提供するためのプログラム１０４１や各種データ等を記憶するＳＳＤ１０４、通信ネットワーク９との通信を制御するネットワークコントローラ１０５、及び、ＵＳＢメモリ５との通信を制御する外部記憶コントローラ１０６を備えている。

また、電子黒板２は、ノートＰＣ６のディスプレイに対して映像情報を静止画または動画として表示させるキャプチャデバイス１１１、グラフィクスを専門に扱うＧＰＵ(Graphics Processing Unit)１１２、及び、ＧＰＵ１１２からの出力画像をディスプレイ３やテレビ会議端末７へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ１１３を備えている。なお、キャプチャデバイス１１１はノートＰＣ６がノートＰＣ６のディスプレイに表示している静止画または動画の映像情報を取得してディスプレイコントローラ１１３に出力することができる。

更に、電子黒板２は、接触センサ１１５の処理を制御するセンサコントローラ１１４、ディスプレイ３上に電子ペン４やユーザの手Ｈ等が接触したことを検知する接触センサ１１５を備えている。この接触センサ１１５は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置が、ディスプレイ３に平行に複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって同一光路上に反射する光を受光する方法である。接触センサ１１５は、物体（電子ペン４や手Ｈ）によって遮断された赤外光の遮断位置を撮影してセンサコントローラ１１４に出力する。センサコントローラ１１４は、遮断位置に基づき物体の接触位置である座標位置（指示位置の一例）を特定する。

また、接触センサ１１５としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。

また、電子黒板２は、電子ペンコントローラ１１６を備えている。この電子ペンコントローラ１１６は、電子ペン４と通信することで、ディスプレイ３へのペン先やペン尻のタッチの有無を判断する。なお、電子ペンコントローラ１１６が、電子ペン４のペン先及びペン尻だけでなく、電子ペン４のユーザが握る部分や、電子ペン４のその他の部分のタッチの有無を判断するようにしてもよい。

更に、電子黒板２は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＳＳＤ１０４、ネットワークコントローラ１０５、外部記憶コントローラ１０６、キャプチャデバイス１１１、ＧＰＵ１１２、及びセンサコントローラ１１４を図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１２０を備えている。

なお、電子黒板２のＣＰＵ１０１が実行するプログラム１０４１は、ＣＤ−ＲＯＭ等のコンピュータで読み取り可能な記録媒体に記録して配布されてもよいし、プログラムを配信する情報処理装置から通信ネットワーク９を介して配布されてもよい。

＜電子黒板の機能構成＞
続いて、図３〜図５を用いて、電子黒板２の機能構成について説明する。まず、図３を用いて、電子黒板２の全体的な機能構成について説明する。図３は、電子黒板の機能ブロック図の一例である。

電子黒板２は、図２に示されているＣＰＵ１０１がプログラム１０４１を実行すると共に図２に示されているハードウェアを制御等することによって、図３に示されている各機能を実現する。電子黒板２は、クライアント機２０及びサーバ機９０を有する。すなわち、電子黒板２の１台の筐体内に、クライアント機２０及びサーバ機９０が含まれている。以下、順に説明する。

＜＜クライアント機２０の機能構成＞＞
主に図３〜図５を用いて、クライアント機２０の機能構成について説明する。クライアント機２０は、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、イベント処理部２５、操作処理部２６、ジェスチャ処理部２７、映像合成部２８、画像処理部３０、及び、通信制御部６０を有する。

映像取得部２１は、ケーブル１０に接続されたノートＰＣ６等の映像出力機器の出力映像を取得する。映像取得部２１は、映像出力機器（ノートＰＣ６）から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部３１に出力する。

座標検知部２２は、ディスプレイ３上でユーザによって生じたイベントの座標位置を検出する。また、座標検知部２２は、ユーザによってタッチされた面積も検出する。

自動調整部２３は、電子黒板２の起動時に（電源のＯＮ時や省エネモードからの復帰時など）座標検知部２２の調整を自動で行う。

接触検知部２４は、ユーザが生じさせたイベント（ディスプレイ３に電子ペン４のペン先、又は、電子ペン４のペン尻がタッチ）を検出する。

イベント処理部２５は、座標検知部２２によって検知されたイベントの座標位置と接触検知部２４によって検出された検出結果に基づいて、ストローク描画（オブジェクトの描画）、ＵＩ操作、及びジェスチャ操作に振り分ける。ここで、ストローク描画は、ユーザによる電子ペン４や手Ｈによる描画である。ＵＩ操作は、ユーザによるＵＩ画像（後述のＵＩ画像（Ａ））の操作であり、例えば、電子ペン４により描画される線の色や幅等を設定するための操作である。ジェスチャ操作は、ユーザによるジェスチャの操作であり、例えば、ユーザがディスプレイ３に手Ｈを接触させた状態で手Ｈを移動させることで、画像の拡大（若しくは縮小）、表示領域の変更、又は、ページ切り換え等を行うための操作である。

操作処理部２６は、イベント処理部２５によってＵＩ操作と判断されたものから、イベントが発生されたＵＩの要素に従って各種操作を実行する。このＵＩの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。

ジェスチャ処理部２７は、イベント処理部２５によってジェスチャ操作と判断されたものに対応した操作を実行する。

映像合成部２８は、後述の表示合成部３６で合成された画像を映像としてディスプレイ３などに表示する。また、映像合成部２８は、映像出力機器（ノートＰＣ６等）からの映像に対して、他の映像出力機器（テレビ会議端末７等）から送られて来た映像をピクチャ・イン・ピクチャしてディスプレイ３に表示する。更に、映像合成部２８は、ピクチャ・イン・ピクチャされてディスプレイ３の一部に表示された映像を、ディスプレイ３の全体に表示させるための切り替えを行う。

次に、画像処理部３０について説明する。画像処理部３０は、図８に示されているような各画像レイヤの合成処理等を行う。図８は各画像レイヤの構成図の一例である。画像処理部３０は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、背景生成部３４、レイアウト管理部３５、表示合成部３６、ページ処理部３７、ファイル処理部４０、ページデータ記憶部３００、及び遠隔ライセンス管理テーブル３１０を有している。

このうち、画像取得部３１は、映像取得部２１により取得された映像から、各フレームを画像として取得する。この画像は、図８に示されている映像出力機器（ノートＰＣ６）からの出力画像（Ｃ）に相当する。

ストローク処理部３２は、イベント処理部２５によって、電子ペン４のペン先のタッチ、ペン尻のタッチ、又は、ユーザの手Ｈによるタッチなどストローク等に基づいて画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストロークによって描画された画像は、図８に示されているストローク画像（Ｂ）に相当する。また、このストローク等に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、後述する操作データ記憶部８４０に記憶される。

ストローク処理部３２は文字認識部３２１とシリアライズ／デシリアライズ部３２２を有する。文字認識部３２１は、イベント処理部２５によって取得された座標データを解析し、テキスト（文字、数値、特殊記号などの記号）、丸や四角形などの図形、又は、ストロークに判別する。テキストと判別された場合、手書きされた視覚情報を記号として認識する。記号の認識には拡張セル特徴を用いる方式、加重方向ヒストグラムを特徴量として用いる方式、外郭方向寄与度特徴を用いる方式など様々な方式があるが、本実施形態ではどのような方式を用いてもよい。しかしながらどの方式でも各記号の特徴量の標準パターンが用意されており、手書きされたテキストの特徴量のパターンと最も近い標準パターンの記号がテキストとして認識される。

認識の際、文字認識部３２１は少なくとも１つ以上の認識処理候補（認識候補の一例）を各記号に対応付けて保存しておく。文字（記号）の認識では、パターンの類似度に基づいて手書きされたテキストと適合する確率が最も高いテキストが認識結果として特定される。そして、適合する確率が最も高いテキスト以外のテキストが、認識処理候補となる（本実施形態の認識処理候補には処理の便宜のため、適合する確率が最も高いテキストも含まれている）。認識処理候補は、適合確率の高い順に予め定められている最小数と最大数の範囲で抽出される。記号と認識処理候補はページ処理部３７に出力される。

シリアライズ／デシリアライズ部３２２はテキストと認識処理候補をシリアライズしたり、シリアライズされたテキストと認識処理候補をデシリアライズする。詳細は後述する。

ＵＩ画像生成部３３は、電子黒板２に予め設定されているＵＩ（ユーザインターフェース）画像を生成する。このＵＩ画像は、図８に示されているＵＩ画像（Ａ）に相当する。

背景生成部３４は、ディスプレイ３上に表示される背景画像を生成する。この背景画像は、図８に示されている背景画像（Ｄ）に相当する。背景画像のパターンは、無地、グリッド表示等である。

レイアウト管理部３５は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、及び背景生成部３４から出力された各画像のレイアウトを示すレイアウト情報を管理し、表示合成部３６に対して出力する。これにより、レイアウト管理部３５は、表示合成部３６に対して、出力画像（Ｃ）及びストローク画像（Ｂ）を、ＵＩ画像（Ａ）及び背景画像（Ｄ）中のどの位置に表示させるか又は非表示にさせるかを指示することができる。

表示合成部３６は、レイアウト管理部３５から出力されたレイアウト情報に基づき、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、及び背景生成部３４から出力された各画像のレイアウトを行う。

ページ処理部３７は、認識処理候補を含むテキスト、図形、ストローク及び背景画像（Ｄ）を１ページのページデータとしてページデータ記憶部３００に記録する。このうち認識処理候補を含むテキスト、図形、ストロークがストローク画像（Ｂ）である。また、ページ処理部３７は、記録したページを再表示し、ストロークの再編集を行う。更に、ページ処理部３７は、ページを削除したり複製したりする。

表示合成部３６は、画像取得部３１からの出力画像（Ｃ）、ストローク処理部３２からのストローク画像（Ｂ）、ＵＩ画像生成部３３からのＵＩ画像（Ａ）、及び、背景生成部３４からの背景画像（Ｄ）を、レイアウト管理部３５によって指定されたレイアウトに従って合成する。これにより、図８に示されているように、各画像が重なってもユーザが見える順に、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、及び背景画像（Ｄ）の各レイアの構成となっている。

また、表示合成部３６は、図８に示されている出力画像（Ｃ）と背景画像（Ｄ）を切り替えて合成することも可能である。例えば、電子黒板２と映像出力機器（ノートＰＣ６等）とを接続するケーブル１０が取り外された場合には、レイアウト管理部３５の指定によって出力画像（Ｃ）を合成対象から外すことができる。また、表示合成部３６は、合成された画像の拡大、表示の縮小、表示領域の移動処理も行う。

ページデータ記憶部３００は、表１に示されているようなページデータを記憶する。表１は、ページデータを示す概念図の一例である。ページデータは、ディスプレイ３に表示される１ページ分のデータ（テキスト、図形、ストローク及び背景画像）である。以下、ページデータの内容を説明する。

ページデータは、表１に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開示時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン４やユーザの手Ｈによるストロークによって生じたストローク配列データを識別するためのストローク配列データＩＤ、及び、メディアデータを識別するためのメディアデータＩＤが関連付けて記憶されている。これらのＩＤを含む全てのＩＤは、識別情報の一例である。

ここで、メディアデータは、ページデータの記憶時にディスプレイ３に表示されている画像のデータである。例えば、ディスプレイ３上に、背景画像（Ｄ）と、ストローク画像（Ｂ）が表示されている場合には、メディアデータは、背景画像（Ｄ）のデータとストローク画像（Ｂ）のデータの両方を意味する。また、ディスプレイ３上に、背景画像（Ｄ）が表示されず、ストローク画像（Ｂ）のみが表示されている場合には、メディアデータは、ストローク画像（Ｂ）のデータを意味する。

このようなページデータにより、例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、１つのストローク（次述するストロークデータＩＤが１つ）で一文字のアルファベット［Ｓ］が示される。ところが、電子ペン４によって、アルファベット「Ｔ」を描く場合、二筆書きとなるため、ストロークデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。

図６は、ストローク配列データを示す概念図の一例である。ストローク配列データは、図６に示されているように詳細な情報を示している。１つのストローク配列データは、複数のストロークデータによって表される。１つのストロークデータがペンダウンからペンアップまでの一筆を意味する。そして、１つのストロークデータは、このストロークデータを識別するためのストロークデータＩＤ、１つのストロークの書き始めの時刻を示す開始時刻、１つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、ストロークの通過点の配列を識別するための座標配列データＩＤ及び座標から判別された記号の記号ＩＤを示している。記号ＩＤは１つのページデータ内で一意に記号を識別するための識別情報である。例えば「Ｓ」のように１ストロークで１つの記号が手書きされる場合、１つのストロークデータＩＤに１つの記号ＩＤが対応付けられる。「Ｔ」のように２つのストロークで１つの記号が手書きされる場合、２つのストロークデータＩＤに１つの記号ＩＤが対応付けられる。

座標配列データＩＤによって特定される座標配列データは、図７に示されているように詳細な情報を示している。図７は、座標配列データを示す概念図の一例である。図７に示されているように、座標配列データは、ディスプレイ３上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときのストロークの描画の開示時刻からの差分時刻（ｍｓ）、及び、この１点における電子ペン４の筆圧の各情報を示している。すなわち、図８に示されている１点の集まりが、図７に示されているストロークデータＩＤで特定される１つの座標配列データを表す。例えば、電子ペン４によって、アルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データはこれら複数の通過点の情報を示している。

表２は記号データを概念的に示す例である。記号データは、記号を特定するための記号ＩＤ、手書きされた１つ以上のストロークから変換されたテキスト、及び、テキスト以外の１つ以上の認識処理候補を有する。ページデータに記号データが紐付けられているため、ユーザがページをディスプレイ３に表示すると認識処理候補からテキストを選択することができる。

次に、表３を用いてメディアデータについて説明する。表３は、メディアデータを示す概念的な表の一例である。メディアデータは、各メディアデータを識別するためのメディアデータＩＤ、メディアデータの種類を示すデータ種類、メディアデータが記録された時刻を示す記録時刻、メディアデータの左上コーナーの座標のＸ座標値、Ｙ座標値、メディアデータの幅、高さ、及び、メディアデータのファイルを示す画像データを有している。

図３に戻って説明する。遠隔ライセンス管理テーブル３１０は、遠隔共有処理を実行するために必要なライセンスデータを管理する。遠隔共有処理とは、一方の拠点の電子黒板２ａが他の拠点の電子黒板２ｂとディスプレイ３ａ、３ｂに表示する画像を共有する処理である。

表４は、遠隔ライセンス管理テーブルの概念図の一例を示す。遠隔ライセンス管理テーブル３１０では、電子黒板２のプロダクトＩＤ、認証に用いられるライセンスＩＤ、及びライセンスの有効期限が関連付けて管理されている。

続いて、図４を用いて図３に示されているファイル処理部４０の機能構成を説明する。図４は、ファイル処理部４０の機能ブロック図の一例である。なお、以下では、最初に遠隔共有処理を開始する電子黒板２を「主催装置」、既に開始されている遠隔共有処理に後から参加する電子黒板２を「参加装置」として示している。

ファイル処理部４０は、リカバリ処理部４１、ファイル入力部４２ａ、ファイル出力部４２ｂ、ファイル変換部４３、ファイル送信部４４、アドレス帳入力部４５、バックアップ処理部４６、バックアップ出力部４７、設定管理部４８、設定ファイル入力部４９ａ、及び設定ファイル出力部４９ｂを有している。更に、ファイル処理部４０は、アドレス帳管理テーブル４１０、バックアップデータ記憶部４２０、設定ファイル記憶部４３０、及び、接続先管理テーブル４４０を有している。

リカバリ処理部４１は、電子黒板２が動作異常によって終了した後に、異常終了を検知し、未保存のページデータを復旧する。

ファイル入力部４２ａは、ＵＳＢメモリ５から、ＰＤＦファイルを読み込み、各ページをページデータとして取り込む。

ファイル変換部４３は、ページデータ記憶部３００に記憶されているページデータを、ＰＤＦ形式のファイルに変換する。

ファイル出力部４２ｂは、ファイル変換部４２によって出力されたＰＤＦファイルをＵＳＢメモリ５に記録する。

ファイル送信部４４は、ファイル変換部４３によって生成されたＰＤＦファイルを、電子メールに添付して送信する。このファイルの送信先は、表示合成部３６によってディスプレイ３上にアドレス帳管理テーブル４１０の内容を表示し、ファイル送信部４４がユーザからの宛先の選択を受け付けることによって決定される。また、ファイル送信部４４が、ユーザによって宛先としてのメールアドレスの入力を受け付けることもできる。

表５はアドレス帳管理テーブル４１０の一例を示す。アドレス帳管理テーブル４１０には、宛先の名前及び宛先の電子メールのメールアドレスが関連付けて管理されている。

図４に戻り、アドレス帳入力部４５は、ＵＳＢメモリ５から電子メールアドレスの一覧ファイルを読み込み、アドレス帳管理テーブル４１０に管理する。

バックアップ処理部４６は、ファイル出力部４２ｂによって出力されたファイルや、ファイル送信部４４によって送信されたファイルを、バックアップデータ記憶部４２０に記憶することでバックアップする。なお、ユーザがバックアップ設定しない場合は、バックアップの処理は行われない。バックアップデータは、表６に示されているように、ＰＤＦ形式で記憶される。表６はバックアップデータの一例を示す。

バックアップ出力部４７は、バックアップされたファイルをＵＳＢメモリ５に記憶する。この記憶には、パスワードが必要である。

設定管理部４８は、電子黒板２の各種設定情報を管理する。この各種設定情報としては、例えば、ネットワーク設定、日付や時刻の設定、地域や言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定、及び、バックアップに関する設定が挙げられる。なお、ネットワーク設定は、例えば、電子黒板２のＩＰアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、又はＤＮＳ(Domain Name System)の設定等である。

設定ファイル出力部４９ｂは、電子黒板２の各種設定情報を、設定ファイルとしてＵＳＢメモリ５に記録させる。なお、設定ファイルはセキュリティー上の理由により暗号化され、ユーザは中身を見ることができない。

設定ファイル入力部４９ａは、ＵＳＢメモリ５に記憶されている設定ファイルを読み込み、各種設定情報を電子黒板の各種設定に反映させる。

アドレス帳入力部５０は、ＵＳＢメモリ５から遠隔共有処理の接続先ＩＰアドレスの一覧ファイルを読み込み、表７に示す接続先管理テーブル４４０に管理する。

表７は接続先管理テーブル４４０を概念的に示す。接続先管理テーブル４４０は、電子黒板２が遠隔共有処理に参加しようとする参加装置である場合、この参加装置のユーザが主催装置としての役割を果たす電子黒板のＩＰアドレスを入力する手間を削減するために、該ＩＰアドレスを予め管理しておくためのテーブルである。この接続先管理テーブル４４０では、参加可能な主催装置としての電子黒板２が設置されている拠点の名称、及び、主催装置としての電子黒板２のＩＰアドレスが関連付けて管理されている。なお、接続先管理テーブル４４０は無くてもよい。但し、この場合には、参加装置のユーザは、電話や電子メール等によって、主催装置のユーザから主催装置としての電子黒板２のＩＰアドレスを知る必要がある。

＜＜通信制御部６０の機能構成＞＞
続いて、図５を用いて、通信制御部６０の機能構成について説明する。図５は通信制御部６０及びサーバ機９０の機能構成の一例を示す図である。通信制御部６０は、通信ネットワーク９を介して他の電子黒板２と行う通信や、サーバ機９０における後述の通信制御部７０と行う通信を制御する。そのため、通信制御部６０は、遠隔開始処理部６１、遠隔参加処理部６２、遠隔画像送信部６３、遠隔画像受信部６４、遠隔操作送信部６５、遠隔操作受信部６６、及び、参加拠点管理テーブル６１０を有している。

このうち、遠隔開始処理部６１は、同一筐体内の電子黒板２のサーバ機９０に対して、新たに遠隔共有処理を開始する要求を行い、サーバ機９０から要求の結果を受信する。この場合、遠隔開始処理部６１は、遠隔ライセンス管理テーブル３１０を参照し、ライセンス情報（プロダクトＩＤ、ライセンスＩＤ、及び有効期限）が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。ライセンス情報が管理されていない場合には遠隔共有処理を開始する要求を行うことができない。

また、遠隔開始処理部６１は参加拠点管理テーブル６１０を参照する。参加拠点管理テーブル６１０は、電子黒板２が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての電子黒板を管理するテーブルである。この参加拠点管理テーブル６１０では、表８に示されているように、参加中の電子黒板２が設置されている拠点の名称及び当該電子黒板２のＩＰアドレスが関連付けて管理されている。表８は、参加拠点管理テーブルの一例を示す。

遠隔参加処理部６２は、通信ネットワーク９を介して、既に遠隔共有処理を開始している主催装置としての電子黒板２のサーバ機９０における遠隔接続要求受信部７１に対して、遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部６２は、遠隔ライセンス管理テーブル３１０を参照する。また、遠隔参加処理部６２が、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル４４０を参照して、参加先の電子黒板２のＩＰアドレスを取得する。なお、遠隔参加処理部６２によって接続先管理テーブルが参照されず、ユーザによって参加先の電子黒板２のＩＰアドレスが入力されてもよい。

遠隔画像送信部６３は、映像取得部２１から画像取得部３１を介して送られて来た出力画像（Ｃ）をサーバ機９０に送信する。

遠隔画像受信部６４は、サーバ機９０から、他の電子黒板２に接続された映像出力機器からの画像データを受信し、表示合成部３６に出力することで、遠隔共有処理を可能にする。

遠隔操作送信部６５は、遠隔共有処理に必要な各種操作データをサーバ機９０に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの削除、ストロークの編集（拡大、縮小、移動）、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部６６は、サーバ機９０から、他の電子黒板２で入力された操作データを受信し、画像処理部３０に出力することで、遠隔共有処理を行う。

＜サーバ機の機能構成＞
続いて、図５を用いてサーバ機９０の機能構成について説明する。サーバ機９０は、各電子黒板２に設けられており、いずれの電子黒板２であっても、サーバ機としての役割を果たすことができる。そのため、サーバ機９０は、通信制御部７０及びデータ管理部８０を有している。

＜＜通信制御部７０の機能構成＞＞
次に、通信制御部７０の機能構成について説明する。通信制御部７０は、同じ電子黒板２内のクライアント機２０における通信制御部６０との通信、及び、通信ネットワーク９を介して他の電子黒板２内のクライアント機２０における通信制御部６０との通信を制御する。データ管理部８０は、操作データや画像データ等を管理する。

更に詳細に説明すると、通信制御部７０は、遠隔接続要求受信部７１、遠隔接続結果送信部７２、遠隔画像受信部７３、遠隔画像送信部７４、遠隔操作受信部７５、及び、遠隔操作送信部７６を有している。

このうち、遠隔接続要求受信部７１は、遠隔開始処理部６１からの遠隔共有処理の開始要求を受信したり、通信ネットワーク９を介する遠隔参加処理部６２からの遠隔共有処理に対する参加要求を受信する。

遠隔接続結果送信部７２は、遠隔開始処理部６１へ遠隔共有処理の開始要求の結果を送信したり、通信ネットワーク９を介して遠隔参加処理部６２へ遠隔共有処理に対する参加要求の結果を送信する。

遠隔画像受信部７３は、遠隔画像送信部６３からの画像データ（出力画像（Ｃ）のデータ）を受信し、後述の遠隔画像処理部８２に送信する。遠隔画像送信部７４は、遠隔画像処理部８２から画像データを受信し、遠隔画像受信部６４に対してこの画像データを送信する。

遠隔操作受信部７５は、遠隔操作送信部６５からの各種操作データを受信し、後述の遠隔操作処理部８３に送信する。遠隔操作送信部７６は、遠隔操作処理部８３から操作データを受信し、遠隔操作受信部６６に対してこの操作データを送信する。

＜＜データ管理部８０の機能構成＞＞
次に、データ管理部８０の機能構成について説明する。データ管理部８０は、遠隔接続処理部８１、遠隔画像処理部８２、遠隔操作処理部８３、操作合成処理部８４及びページ処理部８５を有している。更に、データ管理部８０は、パスコード管理部８１０、参加拠点管理テーブル８２０、画像データ管理部８３０、操作データ記憶部８４０及びページデータ記憶部８５０を有している。

このうち、遠隔接続処理部８１は、遠隔共有処理の開始及び遠隔共有処理の終了を行う。また、遠隔接続処理部８１は、遠隔接続要求受信部７１が、遠隔開始処理部６１から遠隔共有処理の開始要求と共に受信したライセンス情報、又は、遠隔参加処理部６２から遠隔共有処理の参加要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。更に、遠隔接続処理部８１は、クライアント機としての他の電子黒板２からの参加要求が予め定められた参加可能数を超えていないかを確認する。

更に、遠隔接続処理部８１は、他の電子黒板２から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部８１０で管理されているパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に遠隔接続処理部８１によって発行され、遠隔共有処理に参加しようとする参加装置としての電子黒板２のユーザが、主催装置としての電子黒板２のユーザから、電話や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置としての電子黒板２のユーザが、この電子黒板２にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティーよりもユーザの使い勝手を優先して、ライセンス状況の確認だけで、パスコードの確認を省略してもよい。

また、遠隔接続処理部８１は、参加装置としての電子黒板２の遠隔参加処理部６２から通信ネットワーク９を介して送られて来た参加要求に含まれる参加拠点情報を、サーバ機９０の参加拠点管理テーブル８２０に記憶する。これにより、主催装置としての電子黒板２では、クライアント機２０及びサーバ機９０の両方で、同じ内容の参加拠点管理テーブルを管理することになる。更に、遠隔接続処理部８１は、参加拠点管理テーブル８２０に記憶されている遠隔拠点情報を読み出し、通信ネットワーク９を介してサーバ機としての電子黒板２の遠隔開始処理部６１に送る。

遠隔画像処理部８２は、遠隔共有処理中の各電子黒板２のクライアント機（主催装置である自己の電子黒板のクライアント機を含む）に接続された映像出力機器（ノートＰＣ６等）からの画像データ（出力画像（Ｃ））を受信し、主催装置である自己の電子黒板２のサーバ機９０に届いた時間順で遠隔共有処理すべき画像の表示順を判定する。また、遠隔画像処理部８２は、参加拠点管理テーブル８２０を参照し、遠隔共有処理に参加中の全ての電子黒板２のクライアント機２０（主催装置である自己の電子黒板のクライアント機を含む）に、通信制御部７０（遠隔画像送信部７４）を介して、上記判定した順番で画像データを送信する。

遠隔操作処理部８３は、遠隔共有処理中の各電子黒板２のクライアント機（主催装置である自己の電子黒板のクライアント機を含む）で描画されたストローク画像等の各種操作データ（ストローク画像（Ｂ）等）を受信し、主催装置である自己の電子黒板２のサーバ機９０に届いた時間順で遠隔共有処理すべき画像の表示順を判定する。なお、各種操作データは、上述の各種操作データと同じである。また、遠隔操作処理部８３は、参加拠点管理テーブル８２０を参照し、遠隔共有処理中の全ての電子黒板２のクライアント機２０（主催装置である自己の電子黒板のクライアント機を含む）に操作データを送信する。

操作合成処理部８４は、遠隔操作処理部８３から出力された各電子黒板２の操作データを合成し、この合成結果としての操作データを、操作データ記憶部８４０に記憶するとともに遠隔操作処理部８３に戻す。この操作データは、遠隔操作送信部７６から、主催装置である電子黒板のクライアント機、及び参加装置である電子黒板のクライアント機のそれぞれに送信されることで、各電子黒板２で同じ操作データに係る画像が表示される。

表９は、操作データ記憶部８４０に記憶されている操作データの概念図の一例である。操作データは、SEQ(Sequence)、操作データの操作名、操作データの送信元である電子黒板２のＩＰアドレス（クライアント機又はサーバ機のPort No.を含む）、操作データの送信先である電子黒板２のＩＰアドレス（クライアント機又はサーバ機のPort No.を含む）、操作データの操作種類、操作データの操作対象、及び、操作データの内容を示すデータが関連付けられて示されている。

例えば、SEQ1では、主催装置である電子黒板（ＩＰアドレス：192.0.0.1）のクライアント機（Port No.:50001）でストロークが描画されると、同じ主催装置である電子黒板（ＩＰアドレス：192.0.0.1）のサーバ機（Port No.:50000）に操作データが送られたことが示されている。この場合の操作種類は「STROKE」、操作対象はページデータＩＤ「p005」、及び、操作データの内容を示すデータはストロークを示すデータである。また、SEQ2では、主催装置である電子黒板（ＩＰアドレス：192.0.0.1）のサーバ機（Port No.:50000）から、参加装置である他の電子黒板（ＩＰアドレス：192.0.0.1）のクライアント機（Port No.:50001）に、操作データが送られたことが示されている。

なお、操作合成処理部８４は、この操作合成処理部８４に操作データが入力された順に合成を行うため、通信ネットワーク９が混雑していなければ、各電子黒板２のユーザによるストローク順に、遠隔共有処理中の全ての電子黒板２のディスプレイ３にストローク画像（Ｂ）が表示される。

ページ処理部８５は、クライアント機２０の画像処理部３０におけるページ処理部３７と同様の機能を有し、サーバ機９０でも、表１〜３及び図６、７に示されているページデータを、ページデータ記憶部８５０に記憶する。なお、ページデータ記憶部８５０は、画像処理部３０におけるページデータ記憶部３００と同じ内容であるため、その説明を省略する。

＜電子黒板２の処理又は動作＞
続いて、図９及び図１０を用いて、本実施形態の処理又は動作について説明する。なお、図９及び図１０は、各電子黒板の処理を示したシーケンス図の一例である。

図９及び図１０に示す実施形態では、電子黒板２ａが遠隔共有処理を主催する主催装置（サーバ機及びクライアント機）としての役割を果たしており、電子黒板２ｂ，２ｃが遠隔共有処理に参加する参加装置（クライアント機）としての役割を果たす場合について説明する。まず、電子黒板２ｂ，２ｃが遠隔共有処理に参加するための処理について説明する。

S21：主催装置である電子黒板２ａのサーバ機９０における遠隔接続要求受信部７１が、同じ電子黒板２ａのクライアント機２０における遠隔開始処理部６１からサーバ機能を有効にさせるユーザ指示を受け付けることにより、サーバ機能フラグを有効にする。
S22：電子黒板２ａのクライアント機２０におけるＵＩ画像生成部３３が電子黒板２ａとの接続を確立するための接続情報を生成し、映像合成部２８が、ＵＩ画像生成部３３から表示合成部３６を介して得た接続情報をディスプレイ３ａに表示させる。この接続情報には、主催装置のＩＰアドレス、及び今回の遠隔共有処理のために生成されたパスコードが含まれている。そして、接続情報は、電子黒板２ａのユーザによって、電話や電子メールにより、電子黒板２ｂ，２ｃのユーザに伝えられる。なお、接続先管理テーブル４４０があれば、接続情報には、主催装置のＩＰアドレスが含まれていなくても、参加装置は参加要求を行うことができる。
S23、S24：次に、電子黒板２ｂ，２ｃでは、各ユーザから接続情報の入力を受け付けて、各電子黒板２ａ，２ｂのクライアント機２０における遠隔参加処理部６２が、接続情報のＩＰアドレスに基づき、通信ネットワーク９を介して電子黒板２ａのサーバ機９０における遠隔接続要求受信部７１に対してパスコードを送信して参加要求を行う。
S25：サーバ機９０における遠隔接続処理部８１は、電子黒板２ｂ，２ｃの各クライアント機２０から受信したパスコードに対し、パスコード管理部８１０で管理されているパスコードを用いて認証する。
S26、S27：そして、遠隔接続結果送信部７２が、各電子黒板２ｂ，２ｃのクライアント機２０に認証結果を通知する。
S28,S29：ステップＳ２５の認証により、正当な電子黒板であると判断された場合には、主催装置である電子黒板２ａと、参加装置である電子黒板２ｂ，２ｃとの遠隔共有処理の通信が確立され、各電子黒板２ｂ，２ｃのクライアント機２０における遠隔参加処理部６２が、それぞれ他の電子黒板との間の遠隔共有処理の有無を示す共有フラグを有効にする。

続いて、遠隔共有処理における出力画像（Ｃ）の処理について説明する。
S30：図９に示す実施形態では、ユーザのノートＰＣ６ｂが接続されたクライアント機２０における画像取得部３１が、ノートＰＣ６ｂの提供する映像を用いてノートＰＣ６ｂの表示画面である画像データを生成し、表示合成部３６を介して、映像合成部２８が、電子黒板２ｂのディスプレイ３ｂに画像（出力画像（Ｃ））を表示している。
S31：そして、電子黒板２ｂのクライアント機２０における遠隔画像送信部６３は、画像データを主催装置である電子黒板２ａのサーバ機９０における遠隔画像受信部７３に送信する。
S32：次に、電子黒板２ａのクライアント機２０における映像合成部２８は、サーバ機９０における遠隔画像処理部８２及び遠隔画像送信部７４、並びにクライアント機２０における遠隔画像受信部６４及び表示合成部３６を介して送られて来た画像データ（出力画像（Ｃ））をディスプレイ３ａに表示させる。
S33：そして、主催装置としての電子黒板２ａのサーバ機９０における遠隔画像送信部７４は、画像データを提供した電子黒板２ｂ以外である電子黒板２ｃのクライアント機２０における遠隔画像受信部６４に、画像データを送信する。
S34：電子黒板２ｃのクライアント機２０における映像合成部２８は、遠隔画像受信部６４及び表示合成部３６を介して送られて来た画像データ（出力画像（Ｃ））をディスプレイ３ｃに表示させる（ステップＳ３４）。

続いて、遠隔共有処理におけるストローク画像（Ｂ）の処理について説明する。
S41：ユーザが電子ペン４ｂを用いて電子黒板２ｂにストローク画像（Ｂ）を描画している。
S42：次に、電子黒板２ｂのクライアント機２０における表示合成部３６は、図８に示されているように、ＵＩ画像（Ａ）、出力画像（Ｃ）、及び背景画像（Ｄ）に対して、ストローク画像（Ｂ）を合成し、映像合成部２８が、電子黒板２ｂのディスプレイ３ｂ上に、合成された合成画像（Ａ，Ｂ，Ｃ，Ｄ）を表示させる。
S43：電子黒板２ｂのクライアント機２０における遠隔操作送信部６５は、ストローク画像（Ｂ）のデータを、主催装置である電子黒板２ａのサーバ機９０における遠隔操作受信部７５に送信する。
S44：次に、電子黒板２ａのサーバ機９０における操作合成処理部８４が、遠隔操作受信部７５及び遠隔操作処理部８３を介して送られて来た操作データ（ここでは、ストローク画像（Ｂ）のデータのみとして説明する）を合成して遠隔操作処理部８３に戻す。これにより、ストローク画像（Ｂ）のデータは、電子黒板２ａのサーバ機９０における遠隔操作送信部７６、電子黒板２ａのクライアント機２０における遠隔操作受信部６６を介して、電子黒板２ａのクライアント機２０における表示合成部３６に送信される。よって、表示合成部３６は、ＵＩ画像（Ａ）、出力画像（Ｃ）、及び背景画像（Ｄ）に対してストローク画像（Ｂ）を合成する。そして、映像合成部２８が、表示合成部３６によって合成された合成画像（Ａ，Ｂ，Ｃ，Ｄ）をディスプレイ３ａ上に表示させる。
S45：また、電子黒板２ａのサーバ機９０における遠隔操作送信部７６は、操作合成処理部８４によって合成された操作データ（ここでは、ストローク画像（Ｂ）のデータのみとして説明する）を、ストローク画像（Ｂ）のデータを提供した電子黒板２ｂ以外である電子黒板２ｃのクライアント機２０における遠隔操作受信部６６に送信する。
S46：次に、電子黒板２ｃのクライアント機２０における表示合成部３６が、上記ステップＳ４３と同様に合成画像（Ａ，Ｂ，Ｃ，Ｄ）を生成し、映像合成部２８が、電子黒板２ｃのディスプレイ３ｃ上に、合成画像（Ａ，Ｂ，Ｃ，Ｄ）を表示させる。

続いて、遠隔共有処理の通信を終了させる処理について説明する。図１０に示す実施形態では、電子黒板２ｃが参加を終了する処理が示されている。
S47：電子黒板２ｃのクライアント機２０における遠隔参加処理部６２は、主催装置としての電子黒板２ａのサーバ機９０における遠隔接続要求受信部７１に対して、参加の終了要求を行う。
S48：そして、電子黒板２のサーバ機９０における遠隔接続処理部８１は、参加拠点管理テーブル８２０から、参加の終了要求を行った電子黒板２が設置されている拠点の名称及び当該電子黒板２のＩＰアドレスを削除し、遠隔接続結果送信部７２が、電子黒板２ｃのクライアント機２０における遠隔参加処理部６２に、参加の終了を指示する。
S49：これにより、電子黒板２ｃのクライアント機２０における遠隔参加処理部６２が、通信を切断することで、参加の終了処理を行う。

なお、図９及び図１０に示す実施形態では、クライアント機が画像フレームを提供するが、サーバ機が画像フレームを送信してもよい。また、本実施形態では、画像フレームを提供するクライアント機がストローク画像（Ｂ）を送信するが、他のクライアント機やサーバ機がストローク画像（Ｂ）を送信してもよい。さらに、本実施形態では、画像フレームを提供しないクライアント機が位置指示イベントを送信するが、画像フレームを提供しないサーバ機が位置指示イベント情報を送信してもよい。

＜＜記号の認識処理＞＞
続いて、図１１、図１２を用いて記号の認識処理について説明する。図１１は文字認識部３２１が手書きされた視覚情報の座標から記号を認識する手順を示すフローチャート図の一例であり、図１２はディスプレイ３に描画された記号とその認識結果の一例を示す。

まず、イベント処理部２５がイベントとして受け付けた視覚情報の座標をストローク処理部３２が取得する（Ｓ１０）。

次に、文字認識部３２１は視覚情報の座標を解析する（Ｓ２０）。

文字認識部３２１は視覚情報の座標の解析結果に基づき、テキスト、図形（丸や四角）又はストロークのどれが描画されたのかを判別する（Ｓ３０）。例えば、記号の認識を行い、一定以上の確度で適合する記号を特定できればテキストであると判定し、図形の認識を行い一定以上の確度で図形と適合すれば図形であると判定する。記号とも図形とも認識されない場合はストロークと判定される。

テキストでない場合（Ｓ３０のＮｏ）、ストローク処理部３２はストローク又は図形を作成する（Ｓ４０）。すなわち描画して表示合成部３６に送出する。

次に、ストローク処理部３２は、ストロークと図形をＲＡＭ１０３などのメモリ上に保存し、表示合成部３６に送出する（Ｓ４３）。ストロークと図形は図８のストローク画像（Ｂ）に表示される。

次に、シリアライズ／デシリアライズ部３２２はストロークと図形をシリアライズする（Ｓ４５）。

テキストであった場合（Ｓ３０のＹｅｓ）、文字認識部３２１は確度の高い順にテキストと認識処理候補を作成する（Ｓ５０）。ここで改めて記号の認識処理を行ってもよい。このテキストも図８のストローク画像（Ｂ）に表示される。

次に、文字認識部３２１は、テキストと認識処理候補をＲＡＭ１０３などのメモリ上に保存し、表示合成部３６に送出する（Ｓ６０）。

表示合成部３６はテキスト、ストローク及び図形をディスプレイ３に表示するので、ユーザがテキストを描画した場合は最も確度が高いテキストが表示される。

例えば、図１２（ａ）に示すように、ユーザが「あ」という文字を手書きしたが、文字認識部３２１は図１２（ｂ）に示すように「前」という字であると認識している。すなわち、誤変換している。本実施形態では、「前」の他に認識処理候補が生成されているので、ユーザは後に正しい認識結果を選択することができる。

次に、シリアライズ／デシリアライズ部３２２はテキストと認識処理候補をシリアライズする（Ｓ７０）。すなわち、テキストと認識処理候補がひとまとまりのデータに変換される。シリアライズについては図１４にて説明する。

次に、シリアライズ／デシリアライズ部３２２はシリアライズされたストロークと図形、及び、テキストと認識処理候補を通信制御部６０に送出する（Ｓ８０）。送信手順は、図１０のステップＳ４１〜Ｓ４５と同様でよい。記号を認識した電子黒板２がクライアント機の場合、シリアライズされた記号データは通信制御部６０の遠隔操作送信部６５がネットワーク９を介して他の電子黒板２の遠隔操作受信部７５に送信する。記号を認識した電子黒板２がサーバ機とクライアント機を兼ねる場合、遠隔操作送信部６５を介して遠隔操作受信部７５がシリアライズされた記号データを受け取る。

これにより、シリアライズされた記号データを他の電子黒板２に送信できる。他の電子黒板２は認識処理することなく、テキストを表示し、次述するように認識処理候補を表示したり、認識処理候補から別の文字を選択できる。

＜＜他の電子黒板２による記号の表示＞＞
続いて、図１３を用いて他の電子黒板２がテキストを表示する際の手順について説明する。図１３は認識処理候補が含まれるテキストをストローク処理部３２が保存する手順を示すフローチャート図の一例である。

まず、他の電子黒板２の通信制御部７０の遠隔操作受信部７５がシリアライズされたデータを受信する（Ｓ１０）。遠隔操作処理部８３は遠隔操作受信部７５を介してシリアライズされたデータを取得し、遠隔操作送信部７６を介して送信元以外の電子黒板２のクライアント機２０に送信する。これにより画像処理部３０のストローク処理部３２がシリアライズされたデータを取得する。

次に、シリアライズ／デシリアライズ部３２２はシリアライズされたデータをデシリアライズする（Ｓ２０）。

ストローク処理部３２はデシリアライズされたデータがテキストか否かを判定する（Ｓ３０）。図１１で説明したように、シリアライズされるデータは、ストロークと図形又はテキスト（認識処理候補）がある。テキストか否かの判定は、オブジェクトを識別するための識別情報を参照して行う。

テキスト以外の場合（Ｓ３０のＮｏ）、ストローク処理部３２はストローク又は図形を作成する（Ｓ４０）。ストローク処理部３２は操作データ（ＳＴＲＯＫＥ）として送信された座標データを描画してストロークを作成し、図形コードで示される図形の画像データを作成する。

テキストの場合（Ｓ３０のＹｅｓ）、ストローク処理部３２はテキストと認識処理候補を作成する（Ｓ５０）。すでに、記号の認識は行われているので、デシリアライズされたテキストと認識処理候補の文字コードでテキストの画像データを作成する。

次に、文字認識部３２１は、ストローク、図形、テキスト及び認識処理候補をＲＡＭ１０３に記憶させる（Ｓ６０）。デシリアライズにより、他の電子黒板２が記号の認識を行ったかのようにテキストと認識処理候補を復元できる。

この後、表示合成部３６はテキストと認識処理候補、ストローク又は図形をディスプレイ３に表示させる。図１２（ｂ）に示すように、他の電子黒板２がテキストを表示したものとする。ユーザは例えば変換するテキスト（前）を電子ペン４ａ等で一定時間タッチする。これにより、図１２（ｃ）に示すように認識処理候補が表示される。ユーザが認識処理候補の中から正しいテキスト（あ）を選択すると、図１２（ｄ）に示すようにディスプレイ３には選択されたテキストが表示される。

したがって、本実施形態の電子黒板２によれば、テキストだけでなく認識処理候補を他の電子黒板２と共有でき、他の電子黒板２のユーザが認識処理候補の中から正しいテキストを選択できる。

＜＜シリアライズ、デシリアライズ＞＞
図１４は、シリアライズとデシリアライズを説明するための図の一例である。シリアライズとは、オブジェクトの内部状態をバイトストリームに変換することをいう。また、バイトストリームから再び元と同じオブジェクトを再現することがデシリアライズである。

電子黒板２の中でこれらはプログラムが扱うデータとなっており、そのままでは保存や送信が困難な状態である。シリアライズは、プログラムが扱うデータをファイルで保存できる形式に変換する処理である。よって、送信可能になる。

また、デシリアライズにより、送信されたシリアライズされたデータは、元のプログラムが扱うデータに変換される。

図１４に示す、シリアライズされたテキストと認識処理候補が電子黒板２に送信される。送信先の電子黒板２はデシリアライズすることで自機が記号の認識を行ったかのように、送信元の電子黒板２が記号を認識した直後の状態を復元できる。

＜好適な適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、電子黒板２のディスプレイはフラットパネル型に限られず、プロジェクタが投影する画像により形成されてもよい。この場合、手Ｈや電子ペン４の座標はカメラなどにより取得されてもよいし、異なる計測点において電子ペンが発する超音波の到達時間の時間差などにより取得されてもよい。

また、図１などではテレビ会議端末７を電子黒板２とは別の装置として図示したが、テレビ会議端末７の機能を電子黒板２に内蔵してもよい。すなわち、電子黒板２はカメラ機能を有し、カメラが撮像した映像をディスプレイ３に表示したり、他の電子黒板２に送信したりする。

また、本実施形態では電子黒板２による記号の認識と再変換を説明したが、記号の認識と再変換は電子黒板２としての機能を備えていない情報処理装置により行われてもよい。

１ 画像処理システム
２ 電子黒板
３ ディスプレイ
４ 電子ペン
６ ノートＰＣ
７ テレビ会議端末
２０ クライアント機
２５ イベント処理部
３２ ストローク処理部
３６ 表示合成部
３７ ページ処理部
９０ サーバ機
３２１ 文字認識部
３２２ シリアライズ／デシリアライズ部

特許第３５３４４６９号公報

Claims (6)

1. 表示装置に情報を表示する情報処理装置であって、
   情報の表示面に対する指示位置を検出する指示位置検出手段と、
   前記指示位置検出手段が検出した前記指示位置により視覚情報を生成する視覚情報生成手段と、
   前記視覚情報生成手段が生成した１つ以上の視覚情報が形成する記号を認識すると共に前記記号の認識候補を決定する記号認識手段と、
   前記記号及び前記認識候補を送信可能なデータに変換するデータ変換手段と、
   前記データ変換手段が送信可能なデータに変換した前記記号及び前記認識候補を他の情報処理装置に送信する送信手段と、を有する情報処理装置。
2. 前記データ変換手段は前記記号だけでなく前記認識候補も合わせてシリアライズすることで、プログラムが扱う形式の前記記号及び前記認識候補を送信可能なデータに変換する請求項１に記載の情報処理装置。
3. 送信可能なデータに変換された前記記号及び前記認識候補を受信する受信手段を有し、
   前記データ変換手段は、前記受信手段が受信した送信可能なデータに変換された前記記号及び前記認識候補をプログラムが扱う形式のデータに変換する請求項１又は２に記載の情報処理装置。
4. 前記データ変換手段は、送信可能なデータに変換された前記記号及び前記認識候補をデシリアライズすることで、前記記号及び前記認識候補をプログラムが扱う形式のデータに変換する請求項３に記載の情報処理装置。
5. 表示装置に情報を表示する２つ以上の情報処理装置が通信可能に接続された画像処理システムあって、
   第１の情報処理装置は、情報の表示面に対する指示位置を検出する指示位置検出手段と、
   前記指示位置検出手段が検出した前記指示位置により視覚情報を生成する視覚情報生成手段と、
   前記視覚情報生成手段が生成した１つ以上の視覚情報が形成する記号を認識すると共に前記記号の認識候補を決定する記号認識手段と、
   前記記号及び前記認識候補を送信可能なデータに変換する第１のデータ変換手段と、
   前記データ変換手段が送信可能なデータに変換した前記記号及び前記認識候補を他の情報処理装置に送信する送信手段と、を有し、
   第２の情報処理装置は、
   送信可能なデータに変換された前記記号及び前記認識候補を受信する受信手段と、
   前記受信手段が受信した送信可能なデータに変換された前記記号及び前記認識候補を、プログラムが扱う形式のデータに変換する第２のデータ変換手段と、を有する画像処理システム。
6. 表示装置に情報を表示する情報処理装置を、
   情報の表示面に対する指示位置を検出する指示位置検出手段、
   前記指示位置検出手段が検出した前記指示位置により視覚情報を生成する視覚情報生成手段、
   前記視覚情報生成手段が生成した１つ以上の視覚情報が形成する記号を認識すると共に前記記号の認識候補を決定する記号認識手段、
   前記記号及び前記認識候補を送信可能なデータに変換するデータ変換手段、及び、
   前記データ変換手段が送信可能なデータに変換した前記記号及び前記認識候補を他の情報処理装置に送信する送信手段として機能させるためのプログラム。

Images