JP2011060115A - 情報処理システムおよび表示処理プログラム - Google Patents

Abstract

【課題】記入者の操作を簡易にしつつ、手書きされる文字の記入に対する書きにくさを解消させ、文字記入領域の回転角度に対して記入者の要望を確実に反映させることができる情報処理システムおよび表示処理プログラムを提供すること。
【解決手段】処理手段２４は、文字や記号が入力される文字記入領域４０６を制御する文字記入領域制御部２４３を有し、この文字記入領域制御部２４３は、文字記入領域４０６の回転制御処理を行うようになっており、記入者が電子ペン１により、スクリーン４に投影された回転制御マーク４０８にペンダウンしてストロークを描くことで、文字記入領域４０６を回転させるようになっている。
【選択図】図１

Description

本発明は、位置座標を示すコード化パターンを用いて情報を入力することができる情報処理システムに関し、特に、ユーザによって記入される文字や記号などの文字情報を記入するための領域の制御に関する。

近年、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのＡｎｏｔｏ社が開発した「アノトペン（Ａｎｏｔｏ Ｐｅｎ）」が知られている。このアノトペンは、所定のアルゴリズムによりパターン化された位置座標を示すドットパターンが印刷された専用紙（以下、単に「専用紙」という。）とともに使用される。

具体的には、このアノトペンは、ペン先部に、専用紙に印刷されたドットパターンを撮像するための小型カメラと、撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。また、ユーザが専用紙上にアノトペンで文字等を書いた場合に、または、専用紙上に図案化されている画像にチェックマークを記入した場合に、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンが撮像され、プロセッサによって演算された連続する位置座標から、ユーザが記入した文字、記号または図形などの情報（以下、「記入情報」という。）が取得されるようになっている。そして、この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信されるようになっている（例えば、特許文献１参照）。

また、最近、コンピュータ装置の表示画面上を専用のペンその他のもので触れることによって文字や記号などの文字情報を記入するシステムが提案されており、その一つとして、所定の画面上の領域にユーザによって手書きされた文字情報を記入するための文字記入領域を用いるものが知られている。

例えば、このような文字を記入して入力できるシステムとしては、文字記入領域が予め設定されており、当該文字記入領域に手書きされた文字や記号などを取得させることによって、文字の記入を行う記入者（いわゆる、ユーザ）に対してその記入時の負担を軽減させるようになっている（例えば、特許文献２）。

一方、最近では、このような手書き文字を入力する装置を自動車などの移動体におけるナビゲーション装置の入力インターフェースとして用いるものも知られている（例えば、特許文献３）。ここでは、文字記入領域の傾斜角度が記入者の指示に基づいて設定されるとともに、設定された傾斜角度に基づいて記入情報が記入されるようになっている。

さらに、上述の技術とは異なり、文字記入領域を設定せずに、記入者に自由に記入情報を記入させ、記入された記入情報に基づいて、筆記された方向（筆記方向）、文字の大きさおよび各文字の方向（文字方向）を解析して記入情報を取得するものも知られている（例えば、特許文献４）。

特表２００３−５１１７６１号公報 特開平８−５０５３０号公報 特開２００８−２５０６７９号公報 特開２００２−１７５４９８号公報

しかしながら、特許文献２乃至４に記載の手書き文字を入力するシステムの何れにおいても、記入者における文字の記入に際し、当該記入者による書きにくさを解消させるために文字記入領域を容易にかつ確実に傾斜させることが難しい。

例えば特許文献２に記載の手書き文字を入力する装置においては、傾斜された文字記入領域に文字を記入させる旨の記載はあるものの、文字記入領域をどの程度の角度でどのように傾斜させるのか、その設定の仕方について言及されていないので、この文字記入領域を容易にかつ確実に傾斜させることができない。

また、特許文献３に記載のナビゲーション装置にあっては、記入者によって文字記入領域における傾斜操作の実行中には、文字記入領域が表示されないので、どの程度の傾斜であれば記入者にとって入力しやすいかイメージしにくく、記入者の要望する角度に確実に設定することが難しい。

一方、特許文献４に記載の情報処理システムにあっては、そもそも、文字の入力位置をサポートし、かつ、認識処理などの処理負担を軽減するための文字記入領域を表示させる機能が無く、記入情報の入力が行われる位置が固定されていないので、文字記入領域を傾斜させる概念そのものがない。

本発明は、上記課題を解決するためになされたものであり、その目的は、直接的に文字記入領域を操作させることによって、記入者の操作を簡易にしつつ、手書きされる文字の記入に対する書きにくさを解消させ、文字記入領域の回転角度に対して記入者の要望を確実に反映させることができる情報処理システムおよび表示処理プログラムを提供することにある。

上記課題を解決するため、請求項１に記載の発明は、位置座標を示すコード化パターンが形成されたスクリーン上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、前記読取手段によって読み取ったコード化パターンのデータに基づいて移動経路の座標を算出する算出手段と、前記算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記スクリーンに投影する投影手段に出力する投影出力手段と、文字を記入するための文字記入領域を画定する画定マークを前記スクリーンに表示させつつ、前記文字記入領域が回転する際に基準となる回転制御マークを用いて前記文字記入領域を回転させる回転制御手段と、を備え、前記読取手段が前記回転制御マークの位置から前記スクリーン上を移動した場合に、前記回転制御手段が、所定の点を回転の中心点に設定し、当該設定された中心点と当該読取手段の移動経路とに基づいて前記文字記入領域を回転させる構成を有している。

この構成により、請求項１に記載の発明は、記入者によって、読取手段を回転制御マークの位置から移動させれば、所定の中心点を基準に文字記入領域を回転させることができるので、文字記入領域を回転させる際に中心点を設定するなどの他の操作をすることなく、直接的に文字記入領域を回転させることができる。また、文字記入領域を画定する画定マークをスクリーンに表示させつつ、当該文字記入領域が回転するので、手書きされる文字の記入に対する書きにくさを解消させるための文字記入領域の記入を記入者が要望する位置に確実に回転させることができる。したがって、記入者の操作を簡易にしつつ、手書きされる文字の記入に対する書きにくさを解消させ、文字記入領域の回転角度に対して記入者の要望を確実に反映させることができる。

また、請求項２に記載の発明は、位置座標を示すコード化パターンが形成された光透過性シート上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、前記読取手段によって読み取ったコード化パターンのデータに基づいて移動経路の座標を算出する算出手段と、前記算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記光透過性シートの背面から当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段と、文字を記入するための文字記入領域を画定する画定マークを前記表示手段に表示させつつ、前記文字記入領域が回転する際に基準となる回転制御マークを用いて前記文字記入領域を回転させる回転制御手段とを備え、前記読取手段が前記回転制御マークの位置から前記光透過性シート上を移動した場合に、前記回転制御手段が、所定の点を回転の中心点に設定し、当該設定された中心点と当該読取手段の移動経路とに基づいて前記文字記入領域を回転させる構成を有している。

この構成により、請求項２に記載の発明は、記入者によって、読取手段を回転制御マークの位置から移動させれば、所定の中心点を基準に文字記入領域を回転させることができるので、文字記入領域を回転させる際に中心点を設定するなどの他の操作をすることなく、直接的に文字記入領域を回転させることができる。また、文字記入領域を画定する画定マークを、光透過性シートを通して表示手段に表示させつつ、当該文字記入領域が回転するので、手書きされる文字の記入に対する書きにくさを解消させるための文字記入領域の記入を記入者が要望する位置に確実に回転させることができる。したがって、記入者の操作を簡易にしつつ、手書きされる文字の記入に対する書きにくさを解消させ、文字記入領域の回転角度に対して記入者の要望を確実に反映させることができる。

また、請求項３に記載の発明は、請求項１または２に記載の情報処理システムにおいて、前記回転制御マークは複数あり、前記回転制御手段は、前記文字記入領域が回転する際に、前記移動経路の開始位置の座標を有する回転制御マークとは異なる回転制御マークを前記回転の中心点に設定する構成を有している。

この構成により、請求項３に記載の発明は、回転制御マークは複数あるため、ユーザは任意の回転制御マークを選択することができ、いずれの回転制御マークが選択されたとしても、選択された回転制御マークとは異なる回転制御マークが回転の中心点として設定されているため、各記入者の要望に合わせて当該文字記入領域を任意に回転させることができる。

また、請求項４に記載の発明は、請求項１乃至３の何れか一項に記載の情報処理システムにおいて、前記文字記入領域内に含まれる前記移動経路の座標に基づいて文字認識を実行する文字認識処理手段を更に有し、前記文字認識処理手段が、前記文字記入領域が回転している場合に、当該文字記入領域の回転角度に基づいて、前記読取手段の移動経路を回転する前の文字記入領域に相当する移動経路に変換して前記文字認識を実行する構成を有している。

この構成により、請求項４に記載の発明は、文字記入領域の回転角度に基づいて、読取手段の移動経路を回転する前の文字記入領域に相当する移動経路に変換することができるので、記入された記入情報そのものから回転しているか否かの判別を行うより、迅速な認識処理の実行が可能で、かつ、その認識精度を向上させることができる。

また、請求項５に記載の発明は、請求項１に記載の情報処理システムにおいて、前記投影出力手段は、表示手段の表示画面に表示させるための画像信号を出力し、前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換部をさらに備え、前記回転制御手段は、前記座標変換部によって変換された座標に基づいて、前記回転制御マークの座標が指示されたことを認識する構成を有している。

この構成により、請求項５に記載の発明においては、算出手段によって算出された座標が座標変換部によって表示手段の表示画面の座標に変換されたうえで、回転制御手段が回転制御マークの座標が指示されたことを認識する構成となっているため、回転制御手段は、表示手段の表示画面における回転制御マークの座標系を基に、文字記入領域の回転処理を行うことができる。

また、請求項６に記載の発明は、請求項２に記載の情報処理システムにおいて、前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換部をさらに備え、前記回転制御手段は、前記座標変換部によって変換された座標に基づいて、前記回転制御マークの座標が指示されたことを認識する構成を有している。

この構成により、請求項６に記載の発明においても、算出手段によって算出された座標が座標変換部によって表示手段の表示画面の座標に変換されたうえで、回転制御手段が回転制御マークの座標が指示されたことを認識する構成となっているため、回転制御手段は、表示手段の表示画面における回転制御マークの座標系を基に、文字記入領域の回転処理を行うことができる。

また、請求項７に記載の発明は、位置座標を示すコード化パターンを読み取り移動経路の座標を算出する電子ペンが、当該コード化パターンが形成されたスクリーン上を移動した際に、当該電子ペンの移動経路を示す形状を当該スクリーンに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって、前記コンピュータを、前記電子ペンにより算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記スクリーンに投影する投影手段に出力する投影出力手段、文字を記入するための文字記入領域を画定する画定マークを前記スクリーンに表示させつつ、前記文字記入領域が回転する際に基準となる回転制御マークを用いて前記文字記入領域を回転させる回転制御手段、として機能させるとともに、前記電子ペンが前記回転制御マークの位置から前記スクリーン上を移動した場合に、所定の点を回転の中心点に設定し、当該設定された中心点と当該電子ペンの移動経路とに基づいて前記文字記入領域を回転させるように前記コンピュータを前記回転制御手段として機能させる構成を有している。

また、請求項８に記載の発明は、位置座標を示すコード化パターンを読み取り移動経路の座標を算出する電子ペンが、当該コード化パターンが形成された光透過性シート上を移動した際に、当該電子ペンの移動経路を示す形状を当該光透過性シートに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって、前記コンピュータを、前記電子ペンにより算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段、文字を記入するための文字記入領域を画定する画定マークを前記表示手段に表示させつつ、前記文字記入領域が回転する際に基準となる回転制御マークを用いて前記文字記入領域を回転させる回転制御手段、として機能させるとともに、前記電子ペンが前記回転制御マークの位置から前記光透過性シート上を移動した場合に、所定の点を回転の中心点に設定し、当該設定された中心点と当該電子ペンの移動経路とに基づいて前記文字記入領域を回転させるように前記コンピュータを前記回転制御手段として機能させる構成を有している。

上記プログラムをコンピュータ装置にインストールすることにより、本発明に係る情報処理システムを構成させることができる。

本発明は、記入者によって、読取手段を回転制御マークの座標上の位置から移動させれば、所定の中心点を基準に文字記入領域を回転させることができるので、文字記入領域を回転させる際に中心点を設定するなどの他の操作をすることなく、文字記入領域を回転させることができる。

また、本発明は、文字記入領域を画定する画定マークをスクリーンに表示させつつ、当該文字記入領域が回転するので、手書きされる文字の記入に対する書きにくさを解消させるための文字記入領域の記入を記入者が要望する位置に確実に回転させることができる。

したがって、本発明は、記入者の操作を簡易にしつつ、手書きされる文字の記入に対する書きにくさを解消させ、文字記入領域の回転角度に対して記入者の要望を確実に反映させることができる。

第１実施形態における情報処理システムの構成を示すシステム構成図である。 ドットパターンにおけるドットの配置とそのドットが変換される値との関係を説明する図である。 ドットパターンを説明するための図であり、（ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す図である。 電子ペンの構造を示す概略図であるとともに、その機能を示すブロック図である コンピュータ装置の機能を示す機能ブロック図である。 第１実施形態における文字記入領域とその回転および回転制御マークを説明するための図であり、（ａ）は、スクリーン４の一部に設定される文字記入領域と回転制御マークの一例、および、（ｂ）は、回転された文字記入領域の一例である。 第１実施形態において回転された文字記入領域と認識される文字の関係を説明するための図であり、（ａ）は、回転された文字記入領域の一例、および、（ｂ）は、回転された文字記入領域に記載される文字群の一例である。 第１実施形態の情報処理システムにおける回転制御処理を含む表示処理の動作を示すフローチャートである。 第１実施形態の情報処理システムにおける文字認識処理の動作を示すフローチャートである。 第２実施形態における情報処理システムの構成を示すシステム構成図である。

以下、本発明の各実施形態について、図面を参照しながら説明する。

なお、以下に説明する実施形態は、プロジェクターなどの投影手段によって予め定められたコード化パターンを有するスクリーンに所定の画像を投影させつつ、記入者によってスクリーンおよび後述する所定の電子ペンを用いて記入された記入情報を当該画像に重畳させる情報処理システムに本発明の情報処理システムおよび表示処理プログラムを適用した場合の実施形態である。

＜第１実施形態＞
はじめに、図１〜図９の各図を用いて本発明に係る情報処理システムの第１実施形態について説明する。

［情報処理システムのシステム構成］
まず、本実施形態における情報処理システム１０の構成について説明する。なお、図１は、本実施形態における情報処理システム１０の構成を示すシステム構成図である。

本実施形態における情報処理システム１０は、図１に示すように、ユーザが使用する電子ペン１と、当該電子ペン１を用いて文字、記号または図形などユーザの手書きによりスクリーン４に記入された記入情報を受信して処理するコンピュータ装置２と、コンピュータ装置２から画像信号を受信して、コンピュータ装置２の表示手段２６に表示されると同じ画像をスクリーン４に投影するプロジェクター３とから構成される。

なお、例えば、本実施形態の電子ペンは、本発明の読取手段および算出手段を構成するとともに、コンピュータ装置２が本発明の回転制御手段および認識手段を構成し、プロジェクター３は、本発明の投影手段を構成する。

［スクリーン］
次に、本実施形態におけるスクリーン４について説明する。

スクリーン４は、電子ペン１に十分に筆圧がかかる程度に硬いマグネット板４０１と、後述するドットパターン（コード化パターン）が印刷により全面に形成された用紙４０２とから構成される。特に、用紙４０２は、マグネット板４０１の前面に、当該用紙４０２の上からマグネットにて押さえ付けることによって、または、糊、粘着剤等で貼りつけることによって固定されている。なお、マグネット板４０１の代わりにホワイトボードやパーティションボードや部屋の壁面等を利用してもよい。また、用紙４０２の代わりに、ドットパターンが印刷されたシートでもよく、あるいは、スクリーン４にドットパターンが直接形成されていてもよい。

［ドットパターン］
次に、図２および図３を用いて本実施形態におけるスクリーン４の用紙４０２に印刷されているアノト方式のドットパターン（コード化パターン）について説明する。なお、図２は、ドットパターンのドットとそのドットが変換される値との関係を説明する図である。また、図３は、ドットパターンを説明するための図である。

図２に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を仮想格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できるようになっており、このようにして対応付けられた情報の組合せにより、スクリーン４上の位置座標が決定されるよう構成されている。なお、このドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されている。

図３（ａ）は、ある位置のドットパターンの配列を示している。図３（ａ）に示すように、縦横約２ｍｍの範囲内に６×６の３６個のドット（以下、「６×６ドット」という。）が、スクリーン４（用紙４０２）上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは、当該スクリーン４（用紙４０２）上における相対的な位置座標を保持している。なお、図３（ｂ）は、図３（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図２に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。

［電子ペン］
次に、図４を用いて本実施形態における電子ペン１の構造とその動作について説明する。なお、図４は、電子ペン１の構造を示す概略図であるとともに、その機能を示すブロック図である。

電子ペン１は、プロジェクター３により画像投影されるスクリーン４への、タップ（ペン先部１０３によるスクリーン４への軽叩）および文字や記号または図形の記入に用いられる。また、記入者となるユーザによって電子ペン１を用いてスクリーン４上にタップされたり、文字、記号または図形が描かれると、当該電子ペン１は、後述するペン先部１０３のスクリーン４上の移動経路（以下、「筆跡」、「ストローク」ともいう。）に沿って、用紙４０２に印刷されたドットパターンを局所的、かつ、連続的に読み取る。そして、この電子ペン１は、スクリーン４におけるその局所位置の座標を算出するとともに、その算出した位置座標データをコンピュータ装置２へ送信する。

具体的には、電子ペン１は、図４に示すように、その筐体１０１の内部に、ペン部１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。ペン部１０４の先端は、ペン先部１０３となっており、このペン先部１０３は、文字などの記入、または、タップを行う際に、ユーザによってスクリーン４の用紙４０２に当接される。なお、電子ペン１によって、スクリーン４に記入された筆跡は、コンピュータ装置２の処理によりプロジェクター３によって投影されるため、ペン部１０４には、インクが充填されていないものがよいが、消去可能なインクが充填されたものであってもよい。

バッテリー１１２は、電子ペン１内の各部材に電力を供給するためのものであり、例えば、電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うように構成されている。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１によりスクリーン４に文字などを記入したりタップしたりする際に、ペン先部１０３からペン部１０４を通じて与えられる圧力、すなわち、筆圧を検出し、その値をプロセッサ１０８へ伝送する。

プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、電子ペン１のペンダウン（スクリーン４に最初に接触すること）およびペンアップ（接触している状態からペン先部１０３が離れること）を判定してＬＥＤ１０５およびＣＭＯＳカメラ１０６のスイッチのオン／オフを切換える。すなわち、ユーザが電子ペン１にてスクリーン４に文字などを記入すると、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されるので、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５およびＣＭＯＳカメラ１０６を作動させる。そして、ユーザがスクリーン４から電子ペン１を離すと、圧力センサ１０７によって所定値以上の筆圧の検出がされなくなるので、その際には、プロセッサ１０８は、ユーザが１つの筆跡の記入を終了したと判定して、ＬＥＤ１０５およびＣＭＯＳカメラ１０６の作動を終了させるようになっている。

ＬＥＤ１０５およびＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５およびＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、スクリーン４上のペン先部１０３近傍に向けて赤外線を照射する。赤外線が照射される領域は、ペン先部１０３がスクリーン４に接触する位置とはわずかにずれるように構成されている。ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内における上述したドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。

上述のように、ドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されているので、ＬＥＤ１０５によって照射された赤外線は、ドットの位置においては吸収される。その結果、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多くなる。このため、ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図３（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。

プロセッサ１０８は、ユーザによってスクリーン４に文字等が記入されている間、すなわち、圧力センサ１０７から与えられる筆圧データに基づいてＬＥＤ１０５およびＣＭＯＳカメラ１０６のスイッチがオンの状態のときに、ＣＭＯＳカメラ１０６によって供給される各画像データのドットパターン毎に、スクリーン４上におけるＸ、Ｙ座標（以下、単に「位置座標」、「座標データ」ともいう。）を個々に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図３（ａ）に示されるようなドットパターンの画像データを、図３（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値及びＹ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データを演算する。

なお上述のように、スクリーン４における６×６のドットパターンは、スクリーン４内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置がスクリーン４のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。そして、プロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（Ｔ）と、筆圧データ（Ｐ）と、Ｘ，Ｙ座標データとを関連付けて一の座標属性情報を生成する。

メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」といったペンＩＤ（電子ペン識別情報）、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、座標属性情報等にペンＩＤが関連付けられた各記入情報をコンピュータ装置２へ順次送信する。通信ユニット１１１によるコンピュータ装置２への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって、即時的かつ逐次的に行われる。

次に、電子ペン１よりコンピュータ装置２へ送信される記入情報について説明する。ユーザが電子ペン１を用いてスクリーン４にストローク（筆跡）を記入する際、まず、電子ペン１をスクリーン４に接触させる。すると、電子ペン１の圧力センサ１０７によってペン先部１０３にかかる筆圧を検出する。電子ペン１のプロセッサ１０８は、圧力センサ１０７によって所定値以上の筆圧が検出されたと判断すると、電子ペン１の記入用紙４への接触を示すペンダウン情報ＰＤと、電子ペン１の識別情報であるペンＩＤ等とを関連付けた記入情報を生成して、通信ユニット１１１に、その記入情報をコンピュータ装置２へ送信させる。

ユーザは、電子ペン１のペン先部１０３の記入用紙４への接触後、ペン先部１０３を移動させてストロークを描くが、電子ペン１のプロセッサ１０８も引き続き、演算により求めた座標情報（Ｘ，Ｙ）と、圧力センサ１０７により検出される筆圧データ（Ｐ）、リアルタイムクロック１１０により発信された時刻情報（Ｔ）とを含む座標属性情報、及びペンＩＤを関連付けた記入情報を、ＣＭＯＳカメラ１０６によるドットパターンの撮影周期に応じて、逐次生成し、通信ユニット１１１に当該記入情報を順次、コンピュータ装置２へ送信させる。

ユーザがストロークを描き終え、電子ペン１を記入用紙４から離すと、圧力センサ１０７は筆圧を検出しなくなるため、プロセッサ１０８は、圧力センサ１０７によって所定値以上の筆圧が検出されなくなったと判断して、電子ペン１の記入用紙４への離脱を示すペンアップ情報ＰＵと、電子ペン１の識別情報であるペンＩＤ等とを関連付けた記入情報を生成して、通信ユニット１１１に、その記入情報をコンピュータ装置２へ送信させる。このように、電子ペン１がペンダウンと判定してからペンアップと判定するまでに、すなわち、ユーザの一つのストロークの記入により、電子ペン１によって生成される座標属性情報の集合をストローク情報と呼ぶ。

［コンピュータ装置］
次に、図１および図５の各図を用いて本実施形態のコンピュータ装置２について説明する。なお、図５は、コンピュータ装置２の各機能を示す機能ブロック図である。

コンピュータ装置２は、例えば、パーソナルコンピュータであって、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ、マウスやキーボード等によって構成される。また、コンピュータ装置２は、図５を示すように、機能的には、マウスやキーボードといった入力手段２１、受信手段２２、処理手段２４、記憶手段２５、表示手段２６及び送信手段２７を備え、電子ペン１から受信した各記入情報に基づいて所定の処理を行う。

受信手段２２は、アンテナや受信回路等により構成され、電子ペン１から送信された各記入情報を順次受信し、処理手段２４に伝送する。

処理手段２４は、ＣＰＵ等のプロセッサによって構成され、図５に示すように、後述するキャリブレーション処理を実行するキャリブレーション処理部２４１、キャリブレーション処理の結果に基づいて表示手段２６に表示するための座標変換を行う座標変換部２４２、文字や記号が入力される文字記入領域２０６を制御する文字記入領域制御部２４３、文字記入領域２０６内における文字や記号の認識を行う文字認識処理部２４４及び表示手段２６の表示制御を行う表示制御部２４５を有している。特に、文字記入領域制御部２４３は、文字記入領域２０６の回転制御処理を行うようになっており、ユーザが電子ペン１によりスクリーン４上に描いたストロークの記入情報に基づいて文字記入領域２０６を回転させる。なお、文字記入領域制御部２４３を含めて、処理手段２４の各部の詳細については後述する。

記憶手段２５は、ハードディスクやＲＯＭ、ＲＡＭなどのメモリによって構成され、キャリブレーション処理を実行するためのプログラム（以下、「キャリブレーションプログラム」という。）と、文字記入領域２０６を回転させるためのプログラム（以下、「文字記入領域回転プログラム」という。）と、文字認識処理を実行するためのプログラム（以下、「文字認識プログラム」という。）とが記憶されている。また、記憶手段２５は、電子ペン１から受信した記入情報や後述する処理手段２４の処理によって生成された各種データを記憶する。

さらに、記憶手段２５には、キャリブレーションプログラムに関して、表示手段２６に表示するキャリブレーション用マークの表示画面２０１上の位置座標および形状等の情報、スクリーン４の用紙に印刷されているドットパターンの座標領域の値が記憶されており、キャリブレーション処理の結果、求められた座標変換関数を記憶する。

さらに、記憶手段２５には、文字記入領域回転プログラムに関して、表示手段２６に表示する文字記入領域２０６の座標領域の初期値、その範囲を画定表示するためのマーク（以下、「画定マーク」ともいう。）２０７の形状等の情報、文字記入領域の回転制御に用いるマーク（以下、「回転制御マーク」という。）２０８の文字記入領域における相対的な位置および形状等の情報、その他の文字記入領域２０６の回転制御に必要な各情報が記憶されている。また、記憶手段２５は、ユーザの電子ペン１による操作によって回転された後における文字記入領域２０６の座標領域の値、回転角度、文字記入領域２０６等に記入されたストローク情報等を記憶する。

さらに、記憶手段２５には、文字認識プログラムに関して、スクリーン４上に投影された文字記入領域４０６内に描かれ、文字記入領域２０６への記入として取り込まれたストローク群の形状パターンを照合するための各文字や記号のパターンの情報（以下、「パターン情報」という。）その他の文字認識処理に必要な情報が記憶されている。

表示手段２６は、ディスプレイ等によって構成され、処理手段２４によって指示された内容を表示するものであり、図１に示すように、表示手段２６の表示画面２０１には、処理手段２４の表示制御部２４５の処理により、認識文字表示位置マーク２０５と、文字記入領域２０６と、画定マーク２０７と、回転制御マーク２０８とを表示する。

送信手段２７は、処理手段２４の指示によって、表示手段２６の画像表示に用いられる画像信号をプロジェクター３に送信する。したがって、スクリーン４には、コンピュータ装置２の表示画面２０１に表示された画像と同じ画像が、プロジェクター３によって画像投影領域４０３に拡大されて投影されている。図１に示す例では、表示画面２０１に表示された、画定マーク２０７により画定された文字記入領域２０６及び回転制御マーク２０８は、それぞれスクリーン４上に、対応する画定マーク４０７により画定された文字記入領域４０６及び回転制御マーク４０８として投影されている。なお、送信手段２７によるプロジェクター３へのデータ送信方式は、有線式であっても無線式であってもよい。

［処理手段］
次に、図６および図７の各図を用いてコンピュータ装置２における処理手段２４の各部の詳細について説明する。なお、図６は、文字記入領域４０６とその回転および回転制御マーク４０８を説明するための図であり、（ａ）は、プロジェクター３によってスクリーン４に投影された文字記入領域４０６、画定マーク４０７及び回転制御マーク４０８を示し、（ｂ）は、回転された文字記入領域４０６を示す。また、図７は、回転された文字記入領域４０６と認識される文字の関係を説明するための図であり、（ａ）は、回転された文字記入領域４０６を示し、（ｂ）は、回転された文字記入領域４０６に電子ペン１により記入されているストロークが表示されている様子を示す。

キャリブレーション処理部２４１は、スクリーン４上のドットパターンによる位置座標をコンピュータ装置２の表示手段２６における表示画面２０１上の位置座標に変換するための座標変換関数を求める処理を実行する。具体的には、例えばキャリブレーション処理部２４１は、表示手段２６の表示画面２０１にキャリブレーション用マークを２箇所以上表示させることで、スクリーン４に対してプロジェクター３によりキャリブレーション用マークを投影させる。そして、電子ペン１によってスクリーン４に投影されたキャリブレーション用マークをタップすることで生成されたスクリーン４上の座標データを受信手段２２が受信すると、キャリブレーション処理部２４１は、キャリブレーション用マークに係る表示手段２６の表示画面２０１上の位置座標と、スクリーン４上におけるドットパターンの位置座標との対応関係を取得して、座標変換関数を求める。

座標変換部２４２は、キャリブレーション処理部２４１によって求めた座標変換関数に基づいて、電子ペン１から送信されて受信した各記入情報毎に、当該各記入情報に含まれるスクリーン４上のＸ、Ｙ座標データを表示手段２６における表示画面２０１上のストロークのＸ、Ｙ座標に変換して、記憶手段２５に記憶する。このとき、座標変換部２４２は、当該変換後のＸ，Ｙ座標（以降、「較正座標」ともいう。）が、文字記入領域２０６の座標領域の範囲内であると認識すると、当該較正座標を、文字記入領域２０６への記入によるストローク情報として、記憶手段２５に記憶する。

文字記入領域制御部２４３は、記憶手段２５に記憶された文字記入領域２０６の座標領域の初期値、その範囲を画定表示するための画定マーク２０７の情報、文字記入領域２０６の回転制御に用いる回転制御マーク２０８の文字記入領域２０６における相対的な位置に基づいて、図１に示すように、表示手段２６の表示画面２０１に、文字記入領域２０６、画定マーク２０７、回転制御マーク２０８を表示させる。送信手段２７は、この画像と同じ画像を投影させるための画像信号をプロジェクター３へ送信し、プロジェクター３は、その画像信号に基づいて、スクリーン４へ画像を投影する。そのため、表示手段２６の表示画面２０１における、文字記入領域２０６、画定マーク２０７、回転制御マーク２０８と同じ画像が、図１及び図６（ａ）に示すように、文字記入領域４０６、画定マーク４０７、回転制御マーク４０８としてスクリーン４へ投影される。

ここで、文字記入領域２０６は、横長の長方形状に表示され、回転制御マーク２０８は、文字記入領域２０６の四つ角にそれぞれ小さい正方形状に表示されている。すなわち、文字記入領域２０６内の左上に回転制御マーク２０８Ａ、左下に回転制御マーク２０８Ｂ、右上に回転制御マーク２０８Ｃ、右下に回転制御マーク２０８Ｄが表示されている。したがって、スクリーン４には、プロジェクター３により、横長で長方形状の文字記入領域４０６が投影され、文字記入領域４０６内の左上に回転制御マーク４０８Ａ、左下に回転制御マーク４０８Ｂ、右上に回転制御マーク４０８Ｃ、右下に回転制御マーク４０８Ｄが表示されている（図１及び図６（ａ））。

なお、この例示においては、文字記入領域４０６（２０６）を外枠表示しているが、文字記入領域４０６（２０６）を黄色その他の色を用いて強調表示してもよく、記入情報の記入を促すための罫線（下線）によって文字記入領域４０６（２０６）を表示するようにしてもよい。

また、文字記入領域制御部２４３は、ユーザによって電子ペン１を用いてスクリーン４に記入されたストロークの開始位置（ペンダウン）における位置座標が、座標変換関数によって変換された結果、一の回転制御マーク２０８の座標領域内にある場合、当該入力されたストロークが文字記入領域２０６の回転を指示したものであると判断し、ペンダウンにより指定された回転制御マーク４０８（以下、「基準マーク」という。）とは異なる他の回転制御マーク４０８を回転の中心点（以下、「中心点マーク」という。）として、文字記入領域２０６の大きさ・形状を保持しつつ、当該入力されたストロークに基づいて文字記入領域２０６の回転制御を行う。このとき、各回転制御マーク２０８Ａ〜２０８Ｄの投影画像は、回転制御マーク４０８Ａ〜４０８Ｄに対応するため、ユーザは、スクリーン４上の回転制御マーク４０８Ａ〜４０８Ｄのいずれかに電子ペン１をペンダウンさせてストロークを描くことにより、文字記入領域制御部２４３は、文字記入領域２０６を回転させ、その画像は、そのままプロジェクター３により投影されることとなる。

ここで、中心点マークの設定に関し、回転制御マーク４０８Ａ（２０８Ａ）が基準マークとして指定された場合には、文字記入領域制御部２４３は、回転制御マーク４０８Ｃ（２０８Ｃ）を回転中心として設定し、回転制御マーク４０８Ｂ（２０８Ｂ）が基準マークとして指定された場合には、回転制御マーク４０８Ｄ（２０８Ｄ）を回転中心として設定する。また、回転制御マーク４０８Ｃ（２０８Ｃ）が基準マークとして指定された場合には、文字記入領域制御部２４３は、回転制御マーク４０８Ａ（２０８Ａ）を回転中心として設定し、回転制御マーク４０８Ｄ（２０８Ｄ）が基準マークとして指定された場合には、回転制御マーク４０８Ｄ（２０８Ｄ）を回転中心として設定するものとする。

したがって例えば、この文字記入領域制御部２４３は、図６（ｂ）に示すように、ユーザによってスクリーン４に記入された一のストロークに基づいて回転制御マーク４０８Ｃ（２０８Ｃ）が基準マークになると、回転制御マーク４０８Ａ（２０８Ａ）を中心点マークに設定するとともに、電子ペン１のストロークに従って文字記入領域４０６（２０６）を回転させる。そして、この文字記入領域制御部２４３は、ストロークの終了位置において文字記入領域４０６（２０６）の回転を停止し、中心点マークの座標、基準マークの開始位置（初期値）の座標、および基準マークの終了位置の座標から回転角度（θ）を算出して、文字記入領域４０６（２０６）が回転していることを示す回転フラグ情報とともに記憶手段２５に記憶する。したがって、電子ペン１によるストロークが、設定された中心点マークを中心とする正確な弧を描かなくとも、回転角度（θ）は、中心点マークの座標、基準マークの開始位置の座標、および基準マークの終了位置の座標によって決定され、文字記入領域４０６（２０６）も、その大きさ・形状を保持しつつ、回転角度（θ）だけ回転することとなる。

さらに、文字記入領域制御部２４３は、中心点マーク及び基準マーク以外の２つの回転制御マーク４０８（２０８）の回転角度（θ）による回転後の座標データを算出して、中心点マークの座標データ及び基準マークの座標データとともに、回転後の文字記入領域４０６（２０６）の座標領域データとして記憶手段２５に記憶する。したがって、文字記入領域４０６（２０６）が回転している場合であっても、座標変換部２４２は、電子ペン１から受信したストローク情報が、回転後の文字記入領域４０６（２０６）への記入によるものであるか否かを判別することができる。

文字認識処理部２４４は、所定の指示に基づいて、文字記入領域４０６内に記入された電子ペン１のストロークについて文字認識処理を実行する。具体的には、本実施形態の文字認識処理部２４４は、文字記入領域４０６に文字や記号などの手書き記入が実行された後にコンピュータ装置２などの図示しない認識開始キーまたは座標入力領域４０３内の図示しない認識開始領域または電子ペン１の文字記入領域４０６内でのタップ動作を検知した場合に、文字記入領域４０６内の記入情報として記憶手段２５に記憶されている較正座標（すなわち、電子ペン１のスクリーン４上のストロークの座標データに対応する、表示手段２６の表示画面上における当該ストロークの座標データ）を回転角度（θ）及び回転中心の座標データにより逆回転させる（−θの回転行列をかける）、その座標変換後の座標データに基づいて文字認識を行う。すなわち、文字認識処理部２４４は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）などの文字認識を行うプログラムと同様に、文字認識対象ストローク（文字記入領域４０６（２０６）に電子ペン１で記入されたストローク）における座標変換されたＸ、Ｙ座標のパターンと記憶手段２５に予め記憶された各文字や記号のパターン情報とを照合して文字または記号を特定する。

ここで、図７（ａ）および（ｂ）に示すように、文字認識処理を行う際に、文字記入領域４０６が回転していると判断された場合には（例えば、記憶手段２５にて回転フラグ情報が記憶されている場合には）、文字記入領域４０６内に記入されて得られたストローク情報として記憶手段２５に記憶されている較正座標群に対して、設定された中心点マークの位置を回転中心として、記憶されている回転角度（θ）の分、逆回転させる（−θの回転行列をかける）ことによって各ストロークの較正座標を正規化して、正規化後のＸ，Ｙ座標群によるパターンに対して文字認識処理を実行する。これにより、傾斜して記入された文字や記号を水平に書かれた状態に直して、文字等の特定における精度、すなわち、認識精度を向上させることができる。

表示制御部２４５は、キャリブレーション処理の際、キャリブレーション処理部２４１の指示により、キャリブレーション用マークを表示手段２６の表示画面２０１に表示させる。また、表示制御部２４５は、文字記入領域制御部２４３の指示により、文字記入領域２０６、画定マーク２０７、回転制御マーク２０８を表示させたり、電子ペン１を用いた操作による回転中及び回転後の状態をリアルタイムで表示手段２６の表示画面２０１に表示させる。また、表示制御部２４５は、座標変換部２４２によって電子ペン１から送信された記入情報の座標データが座標変換された位置座標（較正座標）によるストロークを、表示手段２６の表示画面２０１に表示させる。

また、この表示制御部２４５は、文字認識が実行された場合は、文字記入領域２０６に表示されている文字、記号およびその他の図形などの手書きストロークの表示を消去し、文字認識によって特定された文字および記号のテキストデータを、文字入力する位置として定められた場所に表示させる。具体的には、コンピュータ装置２がテキストエディタ等のプログラムを実行中で、表示手段２６の表示画面にそのプログラムウインドウを表示している場合、表示制御部２４５は、文字認識によって特定された文字等のテキストデータを、文字入力用のカーソルのある位置に表示させる。このとき、文字認識後のテキストデータ候補を一旦、文字記入領域４０６（２０６）に表示して、コンピュータ装置２などの図示しない確定キーまたは座標入力領域４０３内の図示しない確定領域または電子ペン１の文字記入領域４０６内でのタップ動作を検知することで、定められた文字入力位置に表示させるように構成してもよい。

なお、表示制御部２４５は、スクリーン４に種々の画像を投影して表示させるために、表示画面２０１に表示する各画像を同期させてプロジェクター３に投影させるための画像信号をそれぞれ送信手段２７に出力して、プロジェクター３へ送信させる。

また、プロジェクター３は、コンピュータ装置２の送信手段２７から受信した画像信号に基づいて、表示手段２６に表示された画像と同様の画像をスクリーン４の画像投影領域４０３に映し出す。

［回転制御処理］
次に、図８を用いて情報処理システム１０における回転制御処理の動作について、記入情報の受信に伴う各種の処理とともに説明する。なお、図８は、本実施形態の情報処理システム１０における回転制御処理を含む表示処理を示すフローチャートである。

本動作処理においては、予めキャリブレーション処理部２４１によりキャリブレーション処理が実行され、座標変換関数が求められて記憶手段２５に記憶されており、座標変換部２４２による座標変換が行われる状態にある。そして、文字記入領域制御部２４３は、記憶手段２５に記憶された文字記入領域２０６の座標領域の初期値を参照して、図１に示すように、表示手段２６の表示画面２０１の左下に、長方形状の画定マーク２０７によって画される文字記入領域２０６及び回転制御マーク２０８を表示させている。この画像と同じ画像を示すための画像信号が、送信手段２７からプロジェクター３へ送信されているため、プロジェクター３により、スクリーン４の画像投影領域４０３の左下には、画定マーク４０７によって画される文字記入領域４０６及び回転制御マーク４０８Ａ〜４０８Ｄが投影されて表示されている。

まず、記入者であるユーザによってスクリーン４上に一のストロークが記入されると、電子ペン１は、この記入されたストロークの各記入情報をコンピュータ装置２に送信する（ステップＳ１０１）。

具体的には、電子ペン１は、ユーザによってストロークの開始を圧力センサ１０７によって検出した筆圧に基づいてペンダウンを検知すると、ＬＥＤ１０５およびＣＭＯＳカメラ１０６をオンにし、圧力センサ１０７にてペンアップが検出されるまで、所定の時間間隔毎にスクリーン４のドットパターンを撮影して、当該撮影された画像毎にＸ，Ｙ座標データを含む記入情報を生成して順次コンピュータ装置２に送信する。

コンピュータ装置２において電子ペン１から送信された記入情報（ストローク情報）の受信を開始すると、処理手段２４は、当該記入情報をペンＩＤに対応づけて記憶手段２５に順次記憶させる（ステップＳ２０１）。

次いで、座標変換部２４２は、記憶手段２５に記憶されている座標変換関数に基づいて、受信した各記入情報の座標データを表示手段２６の表示エリア２０１に表示するための座標に順次変換して、座標変換後の較正座標をペンＩＤに対応付けて記憶手段２５に順次記憶させる（ステップＳ２０２）。

次いで、文字記入領域制御部２４３は、座標変換部２４２によって座標変換された座標（較正座標）のうち、ストロークの開始位置を示す座標、即ち、ペンダウン情報を含む記入情報の直後の記入情報に対応する較正座標（以下、「ストローク開始位置座標」という。）が、回転制御マーク２０８Ａ〜２０８Ｄのうちいずれかの座標領域にあるか否か（すなわち、基準マークとして指定されているか否か）を判断する（ステップＳ２０３）。この場合、スクリーン４上の回転制御マーク４０８Ａ〜４０８Ｄは、表示手段２６の表示画面２０１の回転制御マーク２０８Ａ〜２０８Ｄに対応する。そのため、ユーザがスクリーン４上の回転制御マーク４０８Ａ〜４０８Ｄのいずれかを電子ペン１で指定することで送信された記入情報の座標データから、座標変換部２４２による座標変換により、表示画面２０１の回転制御マーク２０８Ａ〜２０８Ｄのうち、対応する回転制御マーク２０８が基準マークとして指定されたことが分かる。

このステップＳ２０３の処理において、文字記入領域制御部２４３が、いずれかの回転制御マーク２０８がユーザによって指示されていると判断した場合には（ステップＳ２０３：Ｙｅｓ）、ステップＳ２０４の文字記入領域２０６の回転処理に移行する。文字記入領域制御部２４３が、いずれの回転制御マーク２０８もユーザによって指示されていないと判断した場合には（ステップＳ２０３：Ｎｏ）、ステップＳ２０６の処理に移行する。

文字記入領域制御部２４３は、文字記入領域２０６の回転処理において、指定された回転制御マーク２０８に対応して予め定められている他の回転制御マーク２０８を中心点マークに設定し、順次受信して記憶される各較正座標に基づいて、ペンアップ情報ＰＵを含む記入情報の受信により一のストロークの記入が終了したこと検知するまで文字記入領域２０６を回転させる（ステップＳ２０４）。この間、プロジェクター３によって、スクリーン４に、表示手段２０６の表示画面２０１と同じ画像が同期して投影されているため、文字記入領域２０６の回転に合わせて、スクリーン４上の文字記入領域４０６も、電子ペン１によるストロークに追従しつつ回転して表示される。文字記入領域２０６の回転は、当該ストロークの各記入情報におけるそれぞれの座標位置と、中心点マークの座標および当該基準マークの開始位置における座標とに基づいて記入情報毎に回転角度が算出されて行われる。

そして、ストロークが終了し、ペンアップ情報ＰＵを含む記入情報を受信手段２２により受信すると、文字記入領域４０６の回転を終了させる。次いで、文字記入領域制御部２４３は、回転が終了した際の基準マークの座標（例えば、基準マークの中心点の座標）と、中心点マークと基準マークの開始位置の座標（例えば、ストローク開始位置座標）とに基づいて文字記入領域４０６の最終的な回転角度θを算出して記憶させ（ステップＳ２０５）、本動作を終了させる。なお、文字記入領域２０６の回転を指示するためのストロークは、表示領域２０１に表示しないようにするか、回転角度θの確定後に消去するように構成するとよい。

一方、文字記入領域制御部２４３が、いずれの回転制御マーク２０８もユーザによって指示されていないと判断した場合には（ステップＳ２０３：Ｎｏ）、各較正座標を記憶手段２５に記憶するとともに、表示制御部２４５は、当該較正座標に基づいて所定の画像を表示手段２６に表示させる（ステップＳ２０６）。この間、プロジェクター３によって、スクリーン４に、表示手段２０６の表示画面２０１と同じ画像が同期して投影されているため、スクリーン４の画像投影領域４０３上に、電子ペン１によるストロークに追従しつつストロークが投影して表示される。

［文字認識処理］
次に、図９を用いて情報処理システム１０における文字認識処理の動作について説明する。なお、図９は、文字認識処理の動作を示すフローチャートである。

まず、コンピュータ装置２において当該コンピュータ装置２に設けられた図示しない認識開始キーが認識される等、所定の動作に基づく文字認識処理開始の指示を認識すると（ステップＳ３０１）、文字認識処理部２４４は、文字認識対象ストローク（文字記入領域４０６（２０６）に電子ペン１で記入されたストローク）の各較正座標に対して、ステップＳ２０５において算出された回転角度（θ）の分、逆回転させる（−θの回転行列をかける）ことによって各ストロークを正規化する（ステップＳ３０２）。なお、このときに、文字記入領域２０６を初期値、すなわち、記憶手段２５に記憶されている初期の座標の位置に戻してもよいし、そのままの位置を保持してもよい。

そして、文字認識処理部２４４は、記憶手段２５に記録されているパターン情報を照合して、正規化された文字記入領域２０６内のＸ，Ｙ座標群によるパターン（各ストロークの形状）から一または複数の文字または記号を認識する認識処理を行う（ステップＳ３０３）。この後、文字認識された文字、記号等を文字記入領域２０６から消去し、文字認識後に特定された文字および記号のテキストデータを、文字入力する位置として定められた場所に表示させる（ステップＳ３０４）。そして、本処理を終了させる。

［第１実施形態の作用効果］
以上のように、本実施形態の情報処理システム１０は、ユーザによって、電子ペン１をスクリーン４上の回転制御マーク４０８にペンダウンしてストロークを描けば、中心点マークを基準に文字記入領域４０６を回転させることができるので、文字記入領域４０６を回転させる際に中心点を設定するなどの他の操作をすることなく、直接的に文字記入領域４０６を回転させることができる。そして、この情報処理システム１０は、文字記入領域４０６を投影して表示させつつ、当該文字記入領域４０６を回転させるので、手書きされる文字または記号の記入に対する書きにくさを解消させるための文字記入領域４０６の記入をユーザが要望する位置に確実に回転させることができる。したがって、この情報処理システム１０は、ユーザの操作を簡易にしつつ、記入される文字に対する書きにくさを解消させ、文字記入領域４０６の回転角度に対して記入者の要望を確実に反映させることができる。

また、本実施形態の情報処理システム１０は、回転制御マーク４０８が視認可能に表示されているので、文字記入領域４０６の回転イメージを記入者に容易に着想させることができるとともに、文字記入領域４０６の中心以外に中心点マークを配設しているので、様々なパターンによって文字記入領域４０６を回転させることができ、各ユーザの要望に合わせて当該文字記入領域４０６を回転させることができる。

また、本実施形態の情報処理システム１０は、文字記入領域４０６を回転させる際に中心点を設定するなどの他の操作をすることなく、文字記入領域４０６を回転させることができるので、ユーザの操作を簡易にすることができるとともに、文字記入領域４０６を回転させる際に回転制御マーク４０８を替えれば、当該文字記入領域４０６の回転を異なるパターンにて実行することができる。したがって、この情報処理システム１０は、ユーザの要望に合わせて文字記入領域４０６を確実に回転させることができる。

また、本実施形態の情報処理システム１０は、文字記入領域４０６の回転角度に基づいて、電子ペン１の移動経路（ストローク）を、回転する前の文字記入領域４０６に相当する移動経路に変換することができるので、記入された記入情報そのものから回転しているか否かの判別を行うより、迅速な認識処理の実行が可能で、かつ、その認識精度を向上させることができる。

なお、本実施形態の情報処理システム１０は、記入者であるユーザの確定指示に基づいて当該認識された文字や記号を特定するように構成でき、ワードプロセッサなどの外部アプリケーションと連動させて当該アプリケーションの記入に用いることも可能である。

［変形例］
上記実施形態において、文字記入領域２０６は、コンピュータ装置２の表示手段２６の画面左下に表示するようになっているが、この位置に限らず、画面右上、画面右下または画面左上に配設されてもよいし、また、配設される位置を、電子ペン１を用いてまたはコンピュータ装置２の入力手段２１を用いて文字記入領域４０６の配設される位置（座標）を設定することができるようにしてもよい。この場合には、設定後の座標を記憶手段２５に記憶させておく。

また、回転制御マーク２０８は、視認可能に文字記入領２０６の各隅に配設されているが、当該回転制御マーク２０８が視認不能に設定されていてもよい。ただし、この場合には、例えば、本実施形態と同様の場所に回転制御マーク２０８を設定し、当該付近が電子ペン１によって指定された場合に、本実施形態と同様に文字記入領域２０６を回転させるようになる。

また、上記実施形態においては、文字記入領域２０６を基準に水平方向に隣接する回転制御マーク２０８を中心点マークに設定しているが、例えば、右上の回転制御マーク２０８Ｃが基準マークとして指定された場合に、左下の回転制御マーク２０８Ｂを中心点マークに設定する等、基準マークと対角にある回転制御マーク２０８を中心点マークに設定してもよい。また、図６（ｂ）に示すように、上述の長方形の文字記入領域２０６（４０６）において回転制御マーク２０８（４０８）が各角に複数設定されているが、これに限定されず、また文字記入領域２０６においても長方形に限定されない。さらには、このような基準マークと中心点マークに限らず、どのような組み合わせでもよい。

また、上記実施形態のドットパターン（コード化パターン）は、アノト方式に限らなくともよい。

＜第２実施形態＞
次に、図１０の各図を用いて本発明に係る情報処理システムの第２実施形態について説明する。なお、図１０は、本第２実施形態における情報処理システム１００の構成を示すシステム構成図である。

本第２実施形態の情報処理システム１００は、第１実施形態においてプロジェクター３を用いてスクリーン４に画像を表示するとともに当該スクリーン４を用いてストロークの記入を行う点に代えて、コンピュータ装置２上に配設された透明又は半透明の光透過性シートを用いてストロークの記入を行う点に特徴がある。なお、本実施形態において、第１実施形態と同一の部材については、同一の符号を付してその説明を省略する。

本第２実施形態の情報処理システム１００は、図１０に示すように、電子ペン１によって読取可能なドットパターン（コード化パターン）が印刷された光透過性シート９を有している。この光透過性シート９は、コンピュータ装置２の表示画面２０１の前面に貼り付けられるとともに、表示画面２０１に表示された画像が当該光透過性シート９の前面から視覚可能に表示される。このドットパターンは、赤外線を選択的に反射する特性を有するインキによって光透過性シート９に印刷されている。

電子ペン１では、プロセッサ１０８には、ＣＭＯＳカメラ１０６によって撮像された画像データから、赤外線反射の強い部分領域をドットであると認識するよう閾値を設けて判定される。その閾値は、ディスプレイから光透過性シート９を透過してくる赤外線のみの場合と、電子ペン１のＬＥＤ１０５から照射した赤外線がドットによって反射されることによる赤外線が含まれる場合とを区別できるよう設定される。

また、電子ペン１のＣＭＯＳカメラ１０６によって撮像された画像データからドットを認識しやすくするため、ＣＭＯＳカメラ１０６に照射される光が赤外線だけとなるように、赤外線透過フィルターを電子ペン１の開口部１０２付近に設けてもよい。

さらに、本実施形態のドットパターンは、アノト方式に限らなくともよい。

本発明の情報処理システムは、学校の授業や企業等での会議、講演会、プレゼンテーション、ワードプロセッサ等の外部アプリケーションでのペン入力操作などで利用することができる。

１ … 電子ペン
２ … コンピュータ装置
３ … プロジェクター
４ … スクリーン
９ … 光透過性シート
２１ … 入力手段
２２ … 受信手段
２４ … 処理手段
２５ … 記憶手段
２６ … 表示手段
２７ … 送信手段
２０１ … 表示画面
２０６ … 文字記入領域
２０７ … 画定マーク
２０８ … 回転制御マーク
２４１ … キャリブレーション処理部
２４２ … 座標変換部
２４３ … 文字記入領域制御部
２４４ … 文字認識処理部
２４５ … 表示制御部
４０１ … マグネット板（ホワイトボード）
４０２ … 用紙
４０３ … 座標入力領域（画像投影領域）
４０６ … 文字記入領域
４０７ … 画定マーク
４０８ … 回転制御マーク
１０，１００ … 情報処理システム

Claims (8)

1. 位置座標を示すコード化パターンが形成されたスクリーン上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、
   前記読取手段によって読み取ったコード化パターンのデータに基づいて移動経路の座標を算出する算出手段と、
   前記算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記スクリーンに投影する投影手段に出力する投影出力手段と、
   文字を記入するための文字記入領域を画定する画定マークを前記スクリーンに表示させつつ、前記文字記入領域が回転する際に基準となる回転制御マークを用いて前記文字記入領域を回転させる回転制御手段と
   を備え、
   前記読取手段が前記回転制御マークの位置から前記スクリーン上を移動した場合に、前記回転制御手段が、所定の点を回転の中心点に設定し、当該設定された中心点と当該読取手段の移動経路とに基づいて前記文字記入領域を回転させることを特徴とする情報処理システム。
2. 位置座標を示すコード化パターンが形成された光透過性シート上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、
   前記読取手段によって読み取ったコード化パターンのデータに基づいて移動経路の座標を算出する算出手段と、
   前記算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段と、
   文字を記入するための文字記入領域を画定する画定マークを前記表示手段に表示させつつ、前記文字記入領域が回転する際に基準となる回転制御マークを用いて前記文字記入領域を回転させる回転制御手段と
   を備え、
   前記読取手段が前記回転制御マークの位置から前記光透過性シート上を移動した場合に、前記回転制御手段が、所定の点を回転の中心点に設定し、当該設定された中心点と当該読取手段の移動経路とに基づいて前記文字記入領域を回転させることを特徴とする情報処理システム。
3. 請求項１または２に記載の情報処理システムにおいて、
   前記回転制御マークは複数あり、
   前記回転制御手段は、前記文字記入領域が回転する際に、前記移動経路の開始位置の座標を有する回転制御マークとは異なる回転制御マークを前記回転の中心点に設定することを特徴とする情報処理システム。
4. 請求項１乃至３の何れか一項に記載の情報処理システムにおいて、
   前記文字記入領域内に含まれる前記移動経路の座標に基づいて文字認識を実行する文字認識処理手段を更に有し、
   前記文字認識処理手段が、前記文字記入領域が回転している場合に、当該文字記入領域の回転角度に基づいて、前記読取手段の移動経路を回転する前の文字記入領域に相当する移動経路に変換して前記文字認識を実行することを特徴とする情報処理システム。
5. 請求項１に記載の情報処理システムにおいて、
   前記投影出力手段は、表示手段の表示画面に表示させるための画像信号を出力し、
   前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換部をさらに備え、
   前記回転制御手段は、前記座標変換部によって変換された座標に基づいて、前記回転制御マークの座標が指示されたことを認識することを特徴とする情報処理システム。
6. 請求項２に記載の情報処理システムにおいて、
   前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換部をさらに備え、
   前記回転制御手段は、前記座標変換部によって変換された座標に基づいて、前記回転制御マークの座標が指示されたことを認識することを特徴とする情報処理システム。
7. 位置座標を示すコード化パターンを読み取り移動経路の座標を算出する電子ペンが、当該コード化パターンが形成されたスクリーン上を移動した際に、当該電子ペンの移動経路を示す形状を当該スクリーンに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって、
   前記コンピュータを、
   前記電子ペンにより算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記スクリーンに投影する投影手段に出力する投影出力手段、
   文字を記入するための文字記入領域を画定する画定マークを前記スクリーンに表示させつつ、前記文字記入領域が回転する際に基準となる回転制御マークを用いて前記文字記入領域を回転させる回転制御手段、
   として機能させるとともに、
   前記電子ペンが前記回転制御マークの位置から前記スクリーン上を移動した場合に、所定の点を回転の中心点に設定し、当該設定された中心点と当該電子ペンの移動経路とに基づいて前記文字記入領域を回転させるように前記コンピュータを前記回転制御手段として機能させることを特徴とする表示処理プログラム。
8. 位置座標を示すコード化パターンを読み取り移動経路の座標を算出する電子ペンが、当該コード化パターンが形成された光透過性シート上を移動した際に、当該電子ペンの移動経路を示す形状を当該光透過性シートに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって、
   前記コンピュータを、
   前記電子ペンにより算出された移動経路の座標に基づいて当該移動経路の形状を画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段、
   文字を記入するための文字記入領域を画定する画定マークを前記表示手段に表示させつつ、前記文字記入領域が回転する際に基準となる回転制御マークを用いて前記文字記入領域を回転させる回転制御手段、
   として機能させるとともに、
   前記電子ペンが前記回転制御マークの位置から前記光透過性シート上を移動した場合に、所定の点を回転の中心点に設定し、当該設定された中心点と当該電子ペンの移動経路とに基づいて前記文字記入領域を回転させるように前記コンピュータを前記回転制御手段として機能させることを特徴とする表示処理プログラム。

Images