JP3151886U

JP3151886U - Information processing system

Info

Publication number: JP3151886U
Application number: JP2009002757U
Authority: JP
Inventors: 祐太郎小竹
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2009-04-28
Filing date: 2009-04-28
Publication date: 2009-07-09
Anticipated expiration: 2019-04-28

Abstract

【課題】キャリブレーション処理を行うにあたって、電子ペンによって読み取らせるドットパターンの位置を分かりやすく案内する情報処理システムを提供する。【解決手段】情報処理システムは、位置座標を示すドットパターンが形成されたスクリーン４と、そのドットを読み取る電子ペン１と、その電子ペン１から送信された記入情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、そのコンピュータ装置からの画像信号を受信して、スクリーン４に画像を投影するプロジェクターとを備える。コンピュータ装置は、キャリブレーション処理機能を有し、スクリーン４に画像投影領域を示すイメージ画像を表示して、電子ペン１でタップする位置を案内する。【選択図】図８Provided is an information processing system that guides the position of a dot pattern to be read by an electronic pen when performing calibration processing in an easy-to-understand manner. An information processing system receives a screen on which a dot pattern indicating position coordinates is formed, an electronic pen that reads the dot, and entry information transmitted from the electronic pen, and stores the information in the information. The computer apparatus which performs the process according to this, and the projector which receives the image signal from the computer apparatus and projects an image on the screen 4 are provided. The computer apparatus has a calibration processing function, displays an image image indicating an image projection area on the screen 4, and guides a position to be tapped with the electronic pen 1. [Selection] Figure 8

Description

本考案は、位置座標を示すコード化パターンを用いて情報を入力することができる情報処理システムに関し、特に、コード化パターンの位置座標とコンピュータ装置の表示画面の位置座標とのキャリブレーション処理に関する。 The present invention relates to an information processing system capable of inputting information using a coded pattern indicating position coordinates, and more particularly, to a calibration process between the position coordinates of a coded pattern and the position coordinates of a display screen of a computer device.

近年、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのAnoto 社が開発した「アノトペン（Anoto pen）」が知られている。アノトペンは、所定のアルゴリズムによりパターン化された位置座標を示すドットパターンが印刷された専用紙とともに使用される。アノトペンは、ペン先部に、専用紙に印刷されたドットパターンを撮像するための小型カメラと、撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。ユーザが専用紙上にアノトペンで文字等を書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを撮像し、プロセッサによって演算された連続する位置座標から、ユーザが書き込んだ文字、画像などの記入情報が認識される。そして、この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される（例えば、特許文献１参照）。 In recent years, electronic pens that digitize written information have been developed, and “Anoto pen” developed by Swedish company Anoto is known as a representative example. Anotopen is used together with special paper on which a dot pattern indicating a position coordinate patterned by a predetermined algorithm is printed. Anotopen has a small camera for imaging the dot pattern printed on the dedicated paper at the pen tip, a processor for calculating the position coordinates on the dedicated paper from the captured dot pattern, and the calculated position coordinates etc. It is equipped with a data communication unit that transmits to. When the user writes characters on the special paper with an anotopen or puts a check mark on the image designed on the special paper, the small camera captures the dot pattern printed on the special paper as the pen moves. The entry information such as characters and images written by the user is recognized from the continuous position coordinates calculated by the processor. Then, this entry information is transmitted from the Anotopen by the data communication unit to a nearby terminal device such as a personal computer or a mobile phone (for example, see Patent Document 1).

また、このような電子ペンと、コンピュータ、プロジェクター及びスクリーンを用いて、スクリーンに電子ペンで記入ないし走査すると、それに応じてコンピュータが所定の処理を行うとともに、コンピュータの表示画面をプロジェクターでスクリーンに投影するシステムが提案されている（例えば、特許文献２〜５）。電子ペンは、スクリーンに形成されたドットパターンを読み取り、コンピュータは、電子ペンから送信された情報に基づき、その位置座標を解析して、その位置座標に応じた処理を行うというものであり、これにより、インクのない電子ペンであっても、スクリーン上を電子ペンでなぞれば、その筆跡に応じて、プロジェクターから線が描画された画像を投影したり、画像の制御やソフトウェアを操作したりできるとされている。 In addition, using such an electronic pen, a computer, a projector, and a screen, when the screen is filled in or scanned with the electronic pen, the computer performs a predetermined process accordingly and projects the computer display screen onto the screen with the projector. The system which performs is proposed (for example, patent documents 2-5). The electronic pen reads the dot pattern formed on the screen, and the computer analyzes the position coordinates based on the information transmitted from the electronic pen and performs processing according to the position coordinates. Even if an electronic pen without ink is used, if you trace the screen with an electronic pen, you can project an image with lines drawn from the projector, control the image, and operate software. It is supposed to be possible.

また、ホワイトボードにパソコンの画面がプロジェクターによって投影され、ホワイトボードにマーカーで記入した座標を座標読取装置で超音波又は赤外線により読み取ってパソコンに送信することで、パソコンの画面上でクリックなどをすることができるシステムにおいて、最初にキャリブレーション用のポイントをプロジェクターにより投影し、マーカーでポイントを指示させることで、ホワイトボードの座標とパソコン画面の座標とをキャリブレーションすることも提案されている（特許文献６）。 Also, the computer screen is projected on the whiteboard by the projector, and the coordinates entered with the markers on the whiteboard are read with the coordinate reader using ultrasonic or infrared rays and sent to the computer, so that the user clicks on the computer screen. In a system capable of calibrating, it is also proposed to calibrate the coordinates of the whiteboard and the coordinates of the personal computer screen by first projecting a calibration point by a projector and instructing the point with a marker (patent) Reference 6).

また、コンピュータのディスプレイに、ドットパターンが印刷された透明シートを貼り付け、電子ペンで透明シートに手書きをすることにより、ドットパターンを電子ペンで読み取らせつつ、コンピュータに手書き入力することが提案されている（例えば、特許文献７）。さらには、コンピュータのディスプレイにおける位置座標と、そのディスプレイに貼り付けられた透明シートのドットパターンにおける位置座標とをキャリブレーションするために、ディスプレイの四隅付近のドットパターンを電子ペンで読み取らせることも提案されている（特許文献８）。 In addition, it has been proposed that a transparent sheet on which a dot pattern is printed is pasted on a computer display and handwritten on the transparent sheet with an electronic pen so that the dot pattern can be read with the electronic pen and handwritten on the computer. (For example, Patent Document 7). Furthermore, in order to calibrate the position coordinates on the computer display and the position coordinates on the dot pattern of the transparent sheet attached to the display, it is also proposed to read the dot pattern near the four corners of the display with an electronic pen. (Patent Document 8).

特表２００３−５１１７６１号公報Japanese translation of PCT publication No. 2003-511761 特開２００８−１５２７５５号公報JP 2008-152755 A 特開２００２−１４９３３１号公報JP 2002-149331 A 特開２００８−１５４２１１号公報JP 2008-155421 A 特表２００３−５０８８３１号公報Special table 2003-508831 gazette 特開２００７−２３３９９９号公報JP 2007-233999 A 特開２００３−２５６１２２号公報JP 2003-256122 A 特開２００８−１６５３８４号公報JP 2008-165384 A

キャリブレーション処理のため、電子ペン等にドットパターンを読み取らせる作業は、システムの製造時に製造者が行う場合や出荷後にユーザが行う場合が考えられる。そのため、どのような者がキャリブレーション処理を行うにあたっても、どの位置のドットパターンを電子ペン等に読み取らせるのかを分かりやすく案内する必要がある。 For the calibration process, the operation of causing the electronic pen or the like to read the dot pattern may be performed by the manufacturer at the time of manufacturing the system or by the user after shipment. For this reason, it is necessary to guide in an easy-to-understand manner what position the dot pattern is read by the electronic pen or the like when any person performs the calibration process.

そこで、本考案は、キャリブレーション処理を行うにあたって、電子ペン等の読取手段によって読み取らせるコード化パターン（ドットパターン）の位置を分かりやすく案内するシステムを提供することを目的とする。 Therefore, an object of the present invention is to provide a system that guides the position of a coded pattern (dot pattern) to be read by a reading unit such as an electronic pen when performing calibration processing.

本考案に係る情報処理システムは、位置座標を示すコード化パターンが形成されたスクリーンと、前記コード化パターンを読み取る読取手段と、前記読取手段から送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える情報処理システムであって、
前記コンピュータ装置は、
スクリーンに画像が投影されたイメージ画像を表示するとともに前記読取手段で指示する位置を案内するための案内画像を記憶する記憶手段と、
前記案内画像を読み出して前記表示手段に表示させ、前記読取手段によって読み取られた前記指示位置のコード化パターンにより演算された前記スクリーン上の位置座標を、前記コンピュータ装置の表示手段における表示画面上の位置座標に変換するための座標変換関数を求める処理手段とを備えることを特徴とする。 An information processing system according to the present invention receives a screen on which a coding pattern indicating position coordinates is formed, a reading unit that reads the coding pattern, and information on the coding pattern transmitted from the reading unit, An information processing system comprising a computer device that performs processing according to the information, and a projector that receives an image signal from the computer device and projects an image on the screen,
The computer device includes:
Storage means for displaying an image image projected on the screen and storing a guide image for guiding a position designated by the reading means;
The guide image is read out and displayed on the display means, and the position coordinates on the screen calculated by the coded pattern of the indicated position read by the reading means are displayed on the display screen in the display means of the computer device. And processing means for obtaining a coordinate conversion function for converting to position coordinates.

上記情報処理システムによれば、読取手段によってスクリーンに形成されたコード化パターンを読み取ると、読取手段は、コンピュータ装置へコード化パターンに関する情報を送信する。コンピュータ装置は、スクリーンに画像を投影するプロジェクターへ画像信号を送信するとともに、読取手段からコード化パターンに関する情報を受信する。このような情報処理システムにおいて、コンピュータ装置の表示手段に、案内画像として、スクリーンに画像が投影されたイメージ画像が、処理手段により記憶手段から読み出されて表示される。ユーザは、その案内画像に応じて、電子ペンでスクリーンを指示すれば、電子ペンは、指示した位置におけるコード化パターンを読み取って、当該コード化パターンに関する情報をコンピュータ装置へ送信する。コンピュータ装置は、その情報を受信し、処理手段により、スクリーン上の位置座標をコンピュータ装置の表示手段における表示画面上の位置座標に変換するための座標変換関数を求める。 According to the information processing system, when the coded pattern formed on the screen is read by the reading unit, the reading unit transmits information related to the coded pattern to the computer device. The computer device transmits an image signal to a projector that projects an image on a screen, and receives information on a coding pattern from a reading unit. In such an information processing system, an image image projected on a screen as a guide image is read from the storage means by the processing means and displayed on the display means of the computer device. If the user points the screen with the electronic pen in accordance with the guidance image, the electronic pen reads the coded pattern at the designated position and transmits information related to the coded pattern to the computer device. The computer apparatus receives the information, and obtains a coordinate conversion function for converting the position coordinates on the screen into the position coordinates on the display screen in the display means of the computer apparatus by the processing means.

または、本考案に係る情報処理システムは、位置座標を示すコード化パターンが形成された透明シートと、前記コード化パターンを読み取る読取手段と、前記読取手段から送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置とを備える情報処理システムであって、
前記透明シートは、前記コンピュータ装置の表示手段の表示画面に貼付されており、
前記コンピュータ装置は、
前記表示画面のイメージ画像を表示するとともに前記読取手段で指示する位置を案内するための案内画像を記憶する記憶手段と、
前記案内画像を読み出して前記表示手段に表示させ、前記読取手段によって読み取られた前記指示位置のコード化パターンにより演算された前記透明シート上の位置座標を、前記コンピュータ装置の表示手段における表示画面上の位置座標に変換するための座標変換関数を求める処理手段とを備えることを特徴とする。 Alternatively, an information processing system according to the present invention receives a transparent sheet on which a coding pattern indicating position coordinates is formed, reading means for reading the coding pattern, and information on the coding pattern transmitted from the reading means. An information processing system including a computer device that performs processing according to the information,
The transparent sheet is affixed to the display screen of the display means of the computer device,
The computer device includes:
Storage means for displaying an image on the display screen and storing a guide image for guiding a position designated by the reading means;
The guide image is read and displayed on the display means, and the position coordinates on the transparent sheet calculated by the coded pattern of the indicated position read by the reading means are displayed on the display screen of the display means of the computer device. And a processing means for obtaining a coordinate conversion function for converting into the position coordinates.

上記情報処理システムによれば、読取手段によって透明シートに形成されたコード化パターンを読み取ると、読取手段は、コンピュータ装置へコード化パターンに関する情報を送信する。コンピュータ装置は、読取手段からコード化パターンに関する情報を受信する。このような情報処理システムにおいて、コンピュータ装置の表示手段に、案内画像として、表示画面のイメージ画像が、処理手段により記憶手段から読み出されて表示される。ユーザは、その案内画像に応じて、電子ペンで表示画面を透明シートの上から指示すれば、電子ペンは、指示した位置におけるコード化パターンを読み取って、当該コード化パターンに関する情報をコンピュータ装置へ送信する。コンピュータ装置は、その情報を受信し、処理手段により、透明シート上の位置座標をコンピュータ装置の表示手段における表示画面上の位置座標に変換するための座標変換関数を求める。 According to the information processing system, when the coded pattern formed on the transparent sheet is read by the reading unit, the reading unit transmits information on the coded pattern to the computer device. The computer device receives information about the coding pattern from the reading means. In such an information processing system, the image of the display screen is read from the storage means by the processing means and displayed as a guide image on the display means of the computer device. In response to the guidance image, if the user points the display screen on the transparent sheet with the electronic pen, the electronic pen reads the coded pattern at the instructed position and sends information related to the coded pattern to the computer device. Send. The computer apparatus receives the information, and obtains a coordinate conversion function for converting the position coordinates on the transparent sheet into the position coordinates on the display screen in the display means of the computer apparatus by the processing means.

上述の情報処理システムにおいて、前記処理手段は、前記案内画像を前記表示画面よりも小さい範囲で中央に表示させ、前記読取手段で指示する前記指示位置は、前記表示画面の角隅に対応する位置とするとよい。この構成により、読取手段で指示する指示位置には、案内画像は表示されないため、指示の障害とならず、また、指示位置を表示画面の角隅とすることで、座標変換関数の精度を高めることができる。 In the information processing system described above, the processing unit displays the guide image in the center in a range smaller than the display screen, and the pointing position specified by the reading unit is a position corresponding to a corner of the display screen. It is good to do. With this configuration, the guidance image is not displayed at the designated position designated by the reading unit, so that the instruction is not hindered, and the accuracy of the coordinate conversion function is improved by setting the designated position as the corner of the display screen. be able to.

さらには、上述の情報処理システムにおいて、前記読取手段で指示する前記指示位置を矢印で示すよう構成するとよい。この構成により、より分かりやすく、読取手段による指示位置を示すことができる。 Furthermore, in the information processing system described above, it is preferable that the indicated position indicated by the reading unit is indicated by an arrow. With this configuration, it is possible to indicate the position indicated by the reading unit more easily.

本考案によれば、キャリブレーション処理を行うにあたり、電子ペン等の読取手段によって読み取らせるコード化パターンの位置を分かりやすく案内することができる。 According to the present invention, in performing the calibration process, the position of the coded pattern read by the reading means such as an electronic pen can be guided in an easy-to-understand manner.

第１実施形態における情報処理システムのシステム構成図である。It is a system configuration figure of the information processing system in a 1st embodiment. ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。It is explanatory drawing which shows the relationship between the arrangement | positioning of the dot in a dot pattern, and the value converted. （ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す図である。(A) shows a dot pattern typically, and (b) is a figure showing an example of information corresponding to it. 電子ペンの構造を示す概略図である。It is the schematic which shows the structure of an electronic pen. コンピュータ装置の機能ブロック図である。It is a functional block diagram of a computer apparatus. 第１実施形態におけるキャリブレーション起動処理のフロー図である。It is a flowchart of the calibration starting process in 1st Embodiment. キャリブレーション処理のフロー図である。It is a flowchart of a calibration process. スクリーンに認識基準点１の案内画像が投影された状態を示す図である。It is a figure which shows the state by which the guidance image of the recognition reference point 1 was projected on the screen. スクリーンに認識基準点２の案内画像が投影された状態を示す図である。It is a figure which shows the state by which the guidance image of the recognition reference point 2 was projected on the screen. コンピュータ装置の表示画面上における位置座標を示す図である。It is a figure which shows the position coordinate on the display screen of a computer apparatus. スクリーン上における認識基準点の位置座標を示す図である。It is a figure which shows the position coordinate of the recognition reference point on a screen. キャリブレーション処理後のスクリーンにおけるストローク描画を示す図である。It is a figure which shows the stroke drawing in the screen after a calibration process. 第１実施形態における案内画像の変形例を示す図である。It is a figure which shows the modification of the guidance image in 1st Embodiment. 第２実施形態におけるキャリブレーション起動処理のフロー図である。It is a flowchart of the calibration starting process in 2nd Embodiment. スクリーンに認識基準点１の案内画像が投影された状態を示す図である。It is a figure which shows the state by which the guidance image of the recognition reference point 1 was projected on the screen. スクリーンに認識基準点２の案内画像が投影された状態を示す図である。It is a figure which shows the state by which the guidance image of the recognition reference point 2 was projected on the screen. コンピュータ装置の表示画面上における位置座標を示す図である。It is a figure which shows the position coordinate on the display screen of a computer apparatus. スクリーン上における認識基準点の位置座標を示す図である。It is a figure which shows the position coordinate of the recognition reference point on a screen. 他の実施形態における情報処理システムのシステム構成図である。It is a system configuration figure of an information processing system in other embodiments. コンピュータ装置の表示画面に案内画像が表示された状態を示す図である。It is a figure which shows the state by which the guidance image was displayed on the display screen of a computer apparatus.

以下、図面を参照して、本考案の情報処理システムについて詳細に説明する。 Hereinafter, an information processing system according to the present invention will be described in detail with reference to the drawings.

＜第１実施形態＞
［情報処理システムのシステム構成］
図１は、本第１実施形態における情報処理システム１０のシステム構成図である。図１に示すように、本第１実施形態における情報処理システム１０は、ユーザが使用する電子ペン（読取手段）１と、電子ペン１から記入情報等を受信して処理するコンピュータ装置２と、コンピュータ装置２の表示手段２６に表示される画像をスクリーン４に投影するプロジェクター３とから構成される。 <First Embodiment>
[System configuration of information processing system]
FIG. 1 is a system configuration diagram of an information processing system 10 in the first embodiment. As shown in FIG. 1, an information processing system 10 according to the first embodiment includes an electronic pen (reading unit) 1 used by a user, a computer device 2 that receives and processes entry information from the electronic pen 1, The projector 3 is configured to project an image displayed on the display unit 26 of the computer device 2 onto the screen 4.

［スクリーン］
まず、スクリーン４について説明する。スクリーン４は、電子ペン１に十分に筆圧がかかる程度に硬いマグネット板（ホワイトボード）４０１の前面に、後述するドットパターン（コード化パターン）が印刷により全面に形成された用紙４０２を上からマグネットで押さえ付けたり、あるいは糊、粘着剤等で貼りつけたりしたものである。なお、マグネット板４０１の代わりに部屋の壁面等を利用してもよい。また、用紙４０２の代わりに、ドットパターンが印刷されたシートでもよく、あるいは、ホワイトボード４０にドットパターンを直接形成してもよい。ユーザが電子ペン１によってスクリーン４に文字などを書くと、電子ペン１は、ペン先部の移動軌跡に沿って、用紙４０２に印刷されたドットパターンを局所的、連続的に読み取り、スクリーン４におけるその局所位置の座標を算出し、その電子データ（記入情報）をコンピュータ装置２へ送信する。一方、プロジェクター３は、コンピュータ装置２から画像信号を受信して、表示手段２６に表示された画像と同じ画像をスクリーン４の画像投影領域４０３に投影する。 [screen]
First, the screen 4 will be described. The screen 4 has a sheet 402 having a dot pattern (coded pattern), which will be described later, formed on the entire surface by printing on the front surface of a magnet board (white board) 401 that is hard enough to apply sufficient pressure to the electronic pen 1 from above. It is pressed with a magnet or pasted with glue or adhesive. A wall surface of a room may be used instead of the magnet plate 401. Further, instead of the paper 402, a sheet on which a dot pattern is printed may be used, or the dot pattern may be directly formed on the whiteboard 40. When the user writes a character or the like on the screen 4 with the electronic pen 1, the electronic pen 1 reads the dot pattern printed on the paper 402 locally and continuously along the movement locus of the pen tip portion. The coordinates of the local position are calculated, and the electronic data (entry information) is transmitted to the computer device 2. On the other hand, the projector 3 receives the image signal from the computer apparatus 2 and projects the same image as the image displayed on the display unit 26 onto the image projection area 403 of the screen 4.

［ドットパターン］
続いて、スクリーン４の用紙４０２に印刷されているアノト方式のドットパターン（コード化パターン）について説明する。図２は、用紙４０２に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図２に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、スクリーン４上の位置座標が決定されるよう構成されている。このドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されている。 [Dot pattern]
Next, an Anoto dot pattern (coded pattern) printed on the sheet 402 of the screen 4 will be described. FIG. 2 is a diagram illustrating the relationship between the dots of the dot pattern printed on the paper 402 and the values to which the dots are converted. As shown in FIG. 2, each dot of the dot pattern is associated with a predetermined value depending on its position. In other words, each dot is associated with a value of 0 to 3 depending on which direction the top, bottom, left, or right is shifted from the reference position of the grid (intersection of the vertical line and horizontal line). The value of each dot can be further converted into a first bit value for the X coordinate and a second bit value for the Y coordinate. The position coordinates on the screen 4 are determined by the combination of information thus associated. This dot pattern is printed with an ink containing carbon that absorbs infrared rays.

図３（ａ）は、ある位置のドットパターンの配列を示している。図３（ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、スクリーン４上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは、用紙４０２における相対的な位置座標及びドットパターンアドレス（コード化パターンアドレス）を保持している。図３（ｂ）は、図３（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図３に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。 FIG. 3A shows an arrangement of dot patterns at a certain position. As shown in FIG. 3A, 6 × 6 dots are arranged within a range of about 2 mm in length and width so that a unique pattern can be obtained regardless of where 6 × 6 dots are taken on the screen 4. Yes. The dot pattern formed by these 36 dots holds relative position coordinates on the paper 402 and a dot pattern address (coded pattern address). FIG. 3B is a diagram in which each dot shown in FIG. 3A is converted into a value associated with the regularity shown in FIG. 3 according to the shift direction from the reference position of the lattice. This conversion is performed by the electronic pen 1 that captures an image of a dot pattern.

［電子ペン］
次に、電子ペン１について説明する。図４は、電子ペン１の構造を示す概略図である。図４に示すように、電子ペン１は、その筐体１０１の内部に、ペン部１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。ペン部１０４の先端は、ペン先部１０３となっており、ユーザは、電子ペン１のペン先部１０３をスクリーン４の用紙４０２に当接させて、文字を記入したり、タップ（ペン先部１０３によるスクリーン４への軽叩）したりする。なお、電子ペン１は、プロジェクター３により投影されるスクリーン４に、タップしたり文字を記入したりするのに用いるものであるので、ペン部１０４は、インクが充填されたものでなくともよい。 [Electronic pen]
Next, the electronic pen 1 will be described. FIG. 4 is a schematic diagram showing the structure of the electronic pen 1. As shown in FIG. 4, the electronic pen 1 includes a pen unit 104, an LED 105, a CMOS camera 106, a pressure sensor 107, a processor 108 including a CPU, a memory 109 such as a ROM and a RAM, A communication unit 111 including a real-time clock 110, an antenna, and the like, and a battery 112 are provided. The tip of the pen unit 104 is a pen point unit 103, and the user touches the pen point unit 103 of the electronic pen 1 against the paper 402 of the screen 4 to enter characters or tap (pen point unit). 103). Since the electronic pen 1 is used for tapping or writing characters on the screen 4 projected by the projector 3, the pen unit 104 does not have to be filled with ink.

バッテリー１１２は電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１によりスクリーン４に文字やマークを書いたりタップしたりする際にペン先部１０３からペン部１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。 The battery 112 is for supplying electric power to each component in the electronic pen 1. For example, the battery 112 is configured to turn on / off the electronic pen 1 itself by attaching and detaching a cap (not shown) of the electronic pen 1. May be. The real time clock 110 transmits time information indicating the current time (time stamp) and supplies the time information to the processor 108. The pressure sensor 107 detects the pressure applied through the pen unit 104 from the pen tip unit 103 when the user writes or taps a character or mark on the screen 4 with the electronic pen 1, that is, the writing pressure, and the value is detected by the processor. To 108.

プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、ＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切換える。即ち、ユーザが電子ペン１でスクリーン４に文字などを書くと、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。 The processor 108 switches on / off the switches of the LED 105 and the CMOS camera 106 based on the writing pressure data supplied from the pressure sensor 107. That is, when a user writes a character or the like on the screen 4 with the electronic pen 1, the pen pressure is applied to the pen tip portion 103, and when the pressure sensor 107 detects a writing pressure higher than a predetermined value, the processor 108 It is determined that entry has started, and the LED 105 and the CMOS camera 106 are operated.

ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、スクリーン４上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３がスクリーン４に接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤ１０５によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図３（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。 The LED 105 and the CMOS camera 106 are attached near the pen tip portion 103 of the electronic pen 1, and an opening 102 is formed in a portion of the housing 101 that faces the LED 105 and the CMOS camera 106. The LED 105 illuminates infrared rays toward the vicinity of the pen tip portion 103 on the screen 4. The region is slightly shifted from the position where the pen tip portion 103 contacts the screen 4. The CMOS camera 106 captures a dot pattern in the area illuminated by the LED 105 and supplies image data of the dot pattern to the processor 108. Here, since carbon absorbs infrared rays, the infrared rays irradiated by the LED 105 are absorbed by the carbon contained in the dots. Therefore, the dot portion has a small amount of infrared reflection, and the portion other than the dot has a large amount of infrared reflection. Therefore, by photographing with the CMOS camera 106, by setting a threshold value based on the difference in the amount of reflected infrared light, it is possible to distinguish the dot region containing carbon from the other regions. Note that the shooting area by the CMOS camera 106 is a range including a size of about 2 mm × about 2 mm as shown in FIG. 3A, and the shooting by the CMOS camera 106 is performed at regular intervals of about 50 to 100 times per second. Is called.

プロセッサ１０８は、ユーザの記入が行われる間、ＣＭＯＳカメラ１０６によって供給される画像データのドットパターンから、ユーザが記入するストローク（筆跡）のスクリーン４上におけるＸ，Ｙ座標（単に「位置座標」、「座標データ」とも呼ぶ）とスクリーン４に固有のドットパターンアドレス（コード化パターンアドレス）とを連続的に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図３（ａ）に示されるようなドットパターンの画像データを図３（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値及びＹ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データ及びドットパターンアドレスを演算する。そしてプロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ：記入された時刻情報）、筆圧データ、ドットパターンアドレス及びＸ，Ｙ座標データとを関連付ける。なお、スクリーン４における６×６のドットパターンは、スクリーン４内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置がスクリーン４のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。 The processor 108 performs X and Y coordinates (simply “position coordinates”, “position coordinates” on the screen 4 of the stroke (handwriting) to be entered by the user from the dot pattern of the image data supplied by the CMOS camera 106 during the user entry. (Also called “coordinate data”) and dot pattern addresses (coded pattern addresses) unique to the screen 4 are continuously calculated. That is, the processor 108 converts the image data of the dot pattern as shown in FIG. 3 (a) supplied by the CMOS camera 106 into the data array shown in FIG. 3 (b). The data is converted into a Y coordinate bit value, and X, Y coordinate data and a dot pattern address are calculated from the data array by a predetermined calculation method. Then, the processor 108 associates the current time (time stamp: entered time information) transmitted from the real-time clock 110, the writing pressure data, the dot pattern address, and the X and Y coordinate data. Since the 6 × 6 dot pattern on the screen 4 does not overlap in the screen 4, when the user enters characters or the like with the electronic pen 1, it indicates which position on the screen 4 the entered position corresponds to. It can be specified by coordinate calculation by the processor 108.

メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」といったペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、ペンＩＤ（電子ペン識別情報）と、時刻情報（タイムスタンプ）と、筆圧データと、ドットパターンアドレスと、Ｘ，Ｙ座標データとを関連付けて、記入情報としてコンピュータ装置２へ送信する。通信ユニット１１１によるコンピュータ装置２への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって、即時的かつ逐次的に行われる。 The memory 109 stores property information such as a pen ID such as “pen01” for identifying the electronic pen 1, a pen manufacturer number, and a pen software version. Then, the communication unit 111 associates a pen ID (electronic pen identification information), time information (time stamp), writing pressure data, dot pattern address, and X, Y coordinate data, and enters computer information as entry information. 2 to send. Transmission to the computer apparatus 2 by the communication unit 111 is performed immediately and sequentially by wireless transmission such as Bluetooth (registered trademark).

［コンピュータ装置］
次に、コンピュータ装置２について説明する。コンピュータ装置２は、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ、マウスやキーボード等で構成されるパーソナルコンピュータ等で構成される。図５は、コンピュータ装置２の機能ブロック図である。コンピュータ装置２は、機能的には、マウスやキーボードといった入力手段２１、受信手段２２、処理手段２４、記憶手段２５、表示手段２６及び送信手段２７を備える。そして、コンピュータ装置２は、電子ペン１から受信した記入情報に基づいて所定の処理を行う。 [Computer device]
Next, the computer apparatus 2 will be described. The computer device 2 includes, as hardware, an antenna device capable of data communication with the electronic pen 1, a processor such as a CPU, a memory such as ROM and RAM, a display, a personal computer including a mouse and a keyboard, and the like. . FIG. 5 is a functional block diagram of the computer apparatus 2. Functionally, the computer apparatus 2 includes an input unit 21 such as a mouse and a keyboard, a reception unit 22, a processing unit 24, a storage unit 25, a display unit 26, and a transmission unit 27. Then, the computer device 2 performs a predetermined process based on the entry information received from the electronic pen 1.

受信手段２２は、アンテナや受信回路等により構成され、電子ペン１から記入情報を受信し、処理手段２４に伝送する。送信手段２７は、処理手段２４の指示によって、表示手段２６の画像表示に用いられる画像信号をプロジェクター３に送信するもので、プロジェクター３へのデータ送信方式は、有線式であっても無線式であってもよい。表示手段２６は、ディスプレイ等によって構成され、処理手段２４によって指示された内容を表示する。 The receiving unit 22 includes an antenna, a receiving circuit, and the like, and receives entry information from the electronic pen 1 and transmits it to the processing unit 24. The transmission unit 27 transmits an image signal used for displaying an image on the display unit 26 to the projector 3 according to an instruction from the processing unit 24. A data transmission method to the projector 3 is a wireless method even if a wired method is used. There may be. The display means 26 is constituted by a display or the like, and displays the contents instructed by the processing means 24.

記憶手段２５は、ハードディスクやＲＯＭ、ＲＡＭといったメモリによって構成される。記憶手段２５には、スクリーン４上のドットパターン（コード化パターン）による位置座標とコンピュータ装置２の表示手段２６における表示画面上の位置座標との位置合わせ（キャリブレーション）処理を行うためのプログラムや案内画像が記憶されている。このプログラムに関して、記憶手段２５は、キャリブレーション処理の際に表示手段２６に表示されるウィンドウ６の表示座標範囲、表示基準点、認識基準点等の位置座標等を記憶する。さらに、記憶手段２５には、電子ペン１でスクリーン４に手書きを行うことによって生成された記入情報を処理するプログラム等も記憶されている。 The storage means 25 is configured by a memory such as a hard disk, ROM, or RAM. The storage means 25 includes a program for performing alignment processing between the position coordinates based on the dot pattern (coded pattern) on the screen 4 and the position coordinates on the display screen of the display means 26 of the computer device 2. A guide image is stored. With respect to this program, the storage means 25 stores the display coordinate range of the window 6 displayed on the display means 26 during the calibration process, the position coordinates of the display reference point, the recognition reference point, and the like. Further, the storage means 25 also stores a program for processing entry information generated by handwriting on the screen 4 with the electronic pen 1.

処理手段２４は、ＣＰＵ等のプロセッサによって構成され、受信手段２２により電子ペン１から受信した記入情報に基づいて、表示手段２６に対して種々の形態で記入内容を表示させたり、記憶手段２５に記憶されたキャリブレーション処理を行うプログラムを起動させて、キャリブレーション処理を行ったりする。また、処理手段２４は、表示手段２６に表示させる画像と同じ画像を同期させてプロジェクター３に投影させるための画像信号を、送信手段２７に対してプロジェクター３へ送信させる。 The processing means 24 is constituted by a processor such as a CPU, and based on the entry information received from the electronic pen 1 by the receiving means 22, displays the entry contents in various forms on the display means 26, or causes the storage means 25 to display it. A stored calibration program is activated to perform calibration processing. The processing unit 24 causes the transmission unit 27 to transmit the image signal for causing the projector 3 to project the same image as the image displayed on the display unit 26 in synchronization with the projector 3.

プロジェクター３は、コンピュータ装置２の送信手段２７から受信した画像信号に基づいて、表示手段２６に表示された画像と同様の画像をスクリーン４の画像投影領域４０３に映し出す。 The projector 3 projects an image similar to the image displayed on the display unit 26 on the image projection area 403 of the screen 4 based on the image signal received from the transmission unit 27 of the computer apparatus 2.

＜キャリブレーション起動処理のフロー＞
次に、図６〜図１１を参照して、情報処理システム１０におけるキャリブレーションの処理について説明する。 <Calibration startup process flow>
Next, calibration processing in the information processing system 10 will be described with reference to FIGS.

図６は、キャリブレーション起動処理のフロー図である。まず、ユーザが、電子ペン１を用いて、スクリーン４の用紙４０２上に記入ないしタップを行う。すると、電子ペン１は、圧力センサ１０７によって所定値以上の筆圧が検出されたことにより用紙４０２への接触を検出し、ＬＥＤ１０５によって赤外線を照射しつつカメラ１０６によって筆跡に沿ってドットパターンを撮像し、プロセッサ１０８によって、撮像されたドットパターンの画像データから筆跡に応じた位置座標を演算し、当該位置座標、リアルタイムクロック１１０により発信された現在時刻、筆圧データ（以上、「ストローク情報」）及びペンＩＤと関連付けて、記入情報として即時且つ逐次的にコンピュータ装置２へ送信する（ステップＳ１０１）。 FIG. 6 is a flowchart of the calibration activation process. First, the user performs writing or tapping on the paper 402 of the screen 4 using the electronic pen 1. Then, the electronic pen 1 detects contact with the paper 402 when the pressure sensor 107 detects a writing pressure equal to or higher than a predetermined value, and images a dot pattern along the handwriting with the camera 106 while irradiating infrared rays with the LED 105. Then, the processor 108 calculates position coordinates corresponding to the handwriting from the image data of the captured dot pattern, the position coordinates, the current time transmitted by the real-time clock 110, and writing pressure data (hereinafter, “stroke information”). Then, it is immediately and sequentially transmitted to the computer apparatus 2 as entry information in association with the pen ID (step S101).

コンピュータ装置２では、受信手段２２が、電子ペン１から記入情報（ストローク情報及びペンＩＤ）を受信すると、その記入情報を記憶手段２５に記憶する（ステップＳ２０１）。そして、処理手段２４は、キャリブレーション処理を行うための座標変換関数が定義されているか否かを確認する（ステップＳ２０２）。処理手段２４は、座標変換関数が定義されていないと認識した場合は（ステップＳ２０２：Ｎｏ）、キャリブレーション処理が実行されていないとして、キャリブレーション処理を開始する（ステップＳ２０４）。したがって、キャリブレーション処理が実行されていない状態のときに、ユーザが、電子ペン１でスクリーン４に書き込もうとすれば、キャリブレーション処理が開始される。 In the computer apparatus 2, when the receiving means 22 receives the entry information (stroke information and pen ID) from the electronic pen 1, the entry information is stored in the storage means 25 (step S201). Then, the processing unit 24 checks whether or not a coordinate conversion function for performing the calibration process is defined (step S202). When the processing unit 24 recognizes that the coordinate transformation function is not defined (step S202: No), the processing unit 24 starts the calibration process, assuming that the calibration process is not executed (step S204). Therefore, if the user tries to write on the screen 4 with the electronic pen 1 when the calibration process is not executed, the calibration process is started.

一方、処理手段２４は、座標変換関数が定義されていると認識した場合（ステップＳ２０２：Ｙｅｓ）、受信した記入情報のスクリーン４上のドットパターンによる位置座標を、座標変換関数を用いて、ディスプレイ２０１上の位置座標に変換して、ストロークを描画する（ステップＳ２０３）。 On the other hand, when the processing unit 24 recognizes that the coordinate conversion function is defined (step S202: Yes), the position coordinates of the received entry information by the dot pattern on the screen 4 are displayed using the coordinate conversion function. The position is converted into the position coordinates on 201, and the stroke is drawn (step S203).

＜キャリブレーション処理＞
次に、図６のステップＳ２０４におけるキャリブレーション処理について、図７〜図１１を参照しつつ説明する。 <Calibration process>
Next, the calibration process in step S204 of FIG. 6 will be described with reference to FIGS.

図７は、キャリブレーション処理のフロー図である。図８及び図９は、キャリブレーション処理中に、表示画面２０１の画像が投影されたスクリーン４の状態を示している。処理手段２４は、キャリブレーション処理を開始すると、図８に示すように、キャリブレーション処理を案内するための案内画像を記憶手段２５から読み出してウィンドウ６に表示させ、スクリーン４の画像投影領域４０３の左上隅を電子ペンでタップするよう案内する（操作ガイドＡ１：ステップＳ４０１）。ここで、案内画像として、スクリーン４と画像投影領域４０３とを模したイメージ画像が表示され、タップする位置（画像投影領域４０３の左上隅６０１）が分かりやすく案内される。すなわち、案内画像には、スクリーン４に画像が投影されたイメージ画像とともに、「投影された画像の左上隅をペンで触れてください」といったメッセージと、タップ位置に対応する位置を示す人影が表示される。なお、電子ペン１によるタップの障害とならないように、処理手段２４は、案内画像を表示画面２０１よりも小さい範囲のウィンドウ６で中央に表示させる。この案内画像は動画であっても静止画であってもよい。また、スクリーンの形状は製品により様々あるため、案内画像で表示するイメージ画像は、スクリーンの一般的な形状とすればよい。 FIG. 7 is a flowchart of the calibration process. 8 and 9 show the state of the screen 4 on which the image of the display screen 201 is projected during the calibration process. When the calibration process is started, the processing unit 24 reads a guide image for guiding the calibration process from the storage unit 25 and displays it on the window 6 as shown in FIG. Guide the user to tap the upper left corner with the electronic pen (operation guide A1: step S401). Here, an image image simulating the screen 4 and the image projection area 403 is displayed as the guide image, and the tapping position (the upper left corner 601 of the image projection area 403) is guided in an easy-to-understand manner. That is, in the guidance image, a message such as “Please touch the upper left corner of the projected image with a pen” and a human figure indicating the position corresponding to the tap position are displayed together with the image image projected on the screen 4. The Note that the processing unit 24 displays the guide image in the center of the window 6 in a range smaller than the display screen 201 so as not to obstruct the tap with the electronic pen 1. This guide image may be a moving image or a still image. In addition, since the shape of the screen varies depending on the product, the image image displayed as the guide image may be a general shape of the screen.

その画像に応じて、ユーザが電子ペン１を用いて、画像投影領域４０３の左上隅６０１へタップすると、電子ペン１は、タップ位置におけるドットパターンを読み取ってストローク情報を生成し、ペンＩＤと対応づけて得られた記入情報をコンピュータ装置２へ送信する（ステップＳ３０１）。 When the user taps the upper left corner 601 of the image projection area 403 using the electronic pen 1 according to the image, the electronic pen 1 reads the dot pattern at the tap position to generate stroke information, and corresponds to the pen ID. Then, the entry information obtained is transmitted to the computer apparatus 2 (step S301).

コンピュータ装置２では、電子ペン１より記入情報を受信手段２２によって受信すると、処理手段２４は、記入情報のうち、ペンアップの位置座標を、用紙４０２上の認識基準点１として、記憶手段２５に記憶する（ステップＳ４０２）。さらに、図９に示すように、処理手段２４は、ウィンドウ６に案内画像を表示して、その案内画像により、スクリーン４の画像投影領域４０３の右下隅を電子ペンでタップするよう案内する（操作ガイドＡ２：ステップＳ４０３）。ここでも、ステップＳ４０１と同様に、案内画像として、スクリーン４と画像投影領域４０３とを模したイメージ画像とともに、「投影された画像の右下隅をペンで触れてください」といったメッセージと、タップ位置に対応する位置を示す人影が表示され、タップする位置（画像投影領域４０３の右下隅６０２）が分かりやすく案内される。その画像に応じて、ユーザが電子ペン１を用いて、画像投影領域４０３の右下隅６０２へタップすると、電子ペン１は、タップ位置におけるドットパターンを読み取ってストローク情報を生成し、ペンＩＤと対応づけて得られた記入情報をコンピュータ装置２へ送信する（ステップＳ３０２）。 When the computer apparatus 2 receives the entry information from the electronic pen 1 by the receiving means 22, the processing means 24 stores the pen-up position coordinates in the entry information in the storage means 25 as the recognition reference point 1 on the paper 402. Store (step S402). Further, as shown in FIG. 9, the processing unit 24 displays a guide image on the window 6, and guides the user to tap the lower right corner of the image projection area 403 of the screen 4 with the electronic pen according to the guide image (operation). Guide A2: Step S403). Here, as in step S401, as a guide image, an image simulating the screen 4 and the image projection area 403, a message such as “Please touch the lower right corner of the projected image with a pen”, and a tap position are displayed. A human figure indicating the corresponding position is displayed, and the tapping position (the lower right corner 602 of the image projection area 403) is guided in an easy-to-understand manner. When the user taps the lower right corner 602 of the image projection area 403 using the electronic pen 1 according to the image, the electronic pen 1 reads the dot pattern at the tap position to generate stroke information, and corresponds to the pen ID. Then, the entry information obtained is transmitted to the computer apparatus 2 (step S302).

コンピュータ装置２では、電子ペン１より記入情報を受信手段２２によって受信すると、処理手段２４は、記入情報のうち、ペンアップの位置座標を、用紙４０２上の認識基準点２として、記憶手段２５に記憶する（ステップＳ４０４）。そして、処理手段２４は、ドットパターンの演算による用紙４０２上の認識基準点１，２の座標値に基づいて、スクリーン４の用紙４０２上の位置座標から、コンピュータ装置２における表示画面２０１上の位置座標を演算するための座標変換関数を求めて、記憶手段２５に記憶する。それとともに、処理手段２４は、キャリブレーション処理の結果、電子ペン１によりスクリーン４上で位置座標が表示画面２０１に対応して正確に入力可能な座標入力領域（画像投影領域）４０３を確定し、その座標領域を定義して、記憶手段２５に記憶する（ステップＳ４０５）。 In the computer apparatus 2, when the entry information is received from the electronic pen 1 by the receiving means 22, the processing means 24 stores the pen-up position coordinates in the entry information in the storage means 25 as the recognition reference point 2 on the paper 402. Store (step S404). Then, the processing means 24 calculates the position on the display screen 201 in the computer apparatus 2 from the position coordinates on the sheet 402 of the screen 4 based on the coordinate values of the recognition reference points 1 and 2 on the sheet 402 by the dot pattern calculation. A coordinate conversion function for calculating the coordinates is obtained and stored in the storage means 25. At the same time, as a result of the calibration process, the processing unit 24 determines a coordinate input area (image projection area) 403 on which the position coordinates can be accurately input on the screen 4 by the electronic pen 1 corresponding to the display screen 201. The coordinate area is defined and stored in the storage unit 25 (step S405).

ここで、キャリブレーション処理における座標変換関数の求め方について、図１０及び図１１を参照して説明する。 Here, how to obtain the coordinate conversion function in the calibration process will be described with reference to FIGS.

図１０は、コンピュータ装置２の表示画面２０１上における位置座標を示す図である。図１０に示すように、コンピュータ装置２の表示手段（ディスプレイ）２６の表示画面２０１において、Ｘ軸を右方向、Ｙ軸を下方向にとり、以下の座標を次のようにする。
左上隅の端点：座標２０２（Xamin，Yamin）、
右下隅の端点：座標２０３（Xamax，Yamax）、
ただし、Xamin ＜ Xamax、
Yamin ＜ Yamax、 FIG. 10 is a diagram illustrating position coordinates on the display screen 201 of the computer apparatus 2. As shown in FIG. 10, on the display screen 201 of the display means (display) 26 of the computer apparatus 2, the X axis is the right direction, the Y axis is the downward direction, and the following coordinates are as follows.
End point of upper left corner: Coordinate 202 (Xamin, Yamin),
Bottom right corner: coordinate 203 (Xamax, Yamax),
Where Xamin <Xamax,
Yamin <Yamax,

図１１は、スクリーン４の用紙４０２上における認識基準点１，２の位置座標を示す図である。認識基準点１，２は、コンピュータ装置２の表示画面２０１がスクリーン４に投影されて規定される座標入力領域４０３上の左上隅の端点、右下隅の端点を、電子ペン１によって筆記して得られたドットパターン（コード化パターン）の解析に基づく位置座標である。図１１に示すように、プロジェクター３によってスクリーン４に投影される座標入力領域（画像投影領域）４０３において、Ｘ軸を右方向、Ｙ軸を下方向にとり、以下の座標を次のようにする。
用紙４０２の左上隅の端点：座標４０５（Xb0，Yb0）、
座標入力領域４０３の左上隅の端点（認識基準点１）：座標４０６（Xbmin，Ybmin）、
座標入力領域４０３の右下隅の端点（認識基準点２）：座標４０７（Xbmax，Ybmax）、
ただし、Xb0 ≦ Xbmin ＜ Xbmax 、
Yb0 ≦ Ybmin ＜ Ybmax 、 FIG. 11 is a diagram illustrating the position coordinates of the recognition reference points 1 and 2 on the sheet 402 of the screen 4. The recognition reference points 1 and 2 are obtained by writing the end points of the upper left corner and the lower right corner of the coordinate input area 403 defined by projecting the display screen 201 of the computer apparatus 2 onto the screen 4 with the electronic pen 1. It is a position coordinate based on the analysis of the obtained dot pattern (coding pattern). As shown in FIG. 11, in the coordinate input area (image projection area) 403 projected onto the screen 4 by the projector 3, the X axis is the right direction and the Y axis is the downward direction, and the following coordinates are as follows.
End point of upper left corner of paper 402: coordinates 405 (Xb0, Yb0),
End point of the upper left corner of the coordinate input area 403 (recognition reference point 1): coordinates 406 (Xbmin, Ybmin),
End point of the lower right corner of the coordinate input area 403 (recognition reference point 2): coordinates 407 (Xbmax, Ybmax),
However, Xb0 ≤ Xbmin <Xbmax,
Yb0 ≤ Ybmin <Ybmax,

すると、コンピュータ装置２の表示画面２０１における左上隅の端点の座標２０２（Xamin，Yamin）及び右下隅の端点の座標２０３（Xamax，Yamax）が、スクリーン４の用紙４０２上のドットパターンにおける認識基準点１の座標４０６（Xbmin，Ybmin）及び認識基準点２の座標４０７（Xbmax，Ybmax）にそれぞれ対応する。つまり、この認識基準点１、認識基準点２の座標値を対角の各頂点とする長方形状の領域から、ステップＳ２０３における座標入力領域４０３を規定することができる。 Then, the coordinates 202 (Xamin, Yamin) of the upper left corner and the coordinates 203 (Xamax, Yamax) of the lower right corner on the display screen 201 of the computer apparatus 2 are the recognition reference points in the dot pattern on the paper 402 of the screen 4. 1 corresponding to the coordinates 406 (Xbmin, Ybmin) and the coordinates 407 (Xbmax, Ybmax) of the recognition reference point 2 respectively. That is, the coordinate input area 403 in step S203 can be defined from a rectangular area having the coordinate values of the recognition reference point 1 and the recognition reference point 2 as diagonal vertices.

そして、スクリーン４の用紙４０２上のドットパターンで規定される位置座標（Xbn，Ybn）から、コンピュータ装置２の表示手段２６における表示画面２０１上の位置座標（Xan，Yan）は、次の座標変換関数で求めることができる。 Then, from the position coordinates (Xbn, Ybn) defined by the dot pattern on the paper 402 of the screen 4, the position coordinates (Xan, Yan) on the display screen 201 in the display means 26 of the computer apparatus 2 are converted into the following coordinates. It can be obtained with a function.

[数式１] Xan ＝ Xamin＋{ Xbn−（Xbmin−Xb0）} ×（Xamax−Xamin）／（Xbmax−Xbmin)
[数式２] Yan ＝ Yamin＋{ Ybn−（Ybmin−Yb0）} ×（Yamax−Yamin）／（Ybmax−Ybmin) [Formula 1] Xan = Xamin + {Xbn− (Xbmin−Xb0)} × (Xamax−Xamin) / (Xbmax−Xbmin)
[Formula 2] Yan = Yamin + {Ybn− (Ybmin−Yb0)} × (Yamax−Yamin) / (Ybmax−Ybmin)

よって、処理手段２４は、上式により、スクリーン４上の位置座標（Xbn，Ybn）を、コンピュータ装置２の表示画面２０１上の位置座標（Xan，Yan）に変換して、各種処理を行っていく。なお、スクリーン４に対するプロジェクター３の角度によって、座標変換関数の項に歪みを補正する所定の係数をかけるようにしてもよい。 Therefore, the processing means 24 converts the position coordinates (Xbn, Ybn) on the screen 4 to the position coordinates (Xan, Yan) on the display screen 201 of the computer device 2 according to the above formula, and performs various processes. Go. Note that a predetermined coefficient for correcting distortion may be applied to the term of the coordinate conversion function depending on the angle of the projector 3 with respect to the screen 4.

キャリブレーション処理後、スクリーン４上で位置座標が表示画面２０１に対応して正確に入力可能であるとして定義された座標入力領域４０３内において、ユーザが、電子ペン１を用いて文字等を書き込む。すると、電子ペン１は、筆跡のストロークに応じたストローク情報を生成し、ペンＩＤと対応付けた記入情報をコンピュータ装置２へ送信する（ステップＳ１０１）。コンピュータ装置２では、受信手段２２によって記入情報を受信すると、処理手段２４は、その記入情報を記憶手段２５に記憶し（ステップＳ２０１）、座標変換関数が定義されていると判断し（ステップＳ２０２：Ｙｅｓ）、記入情報のストローク情報に含まれる位置座標（Xbn，Ybn）を、キャリブレーション処理によって得られた座標変換関数を用い、コンピュータ装置２の表示画面２０１上の位置座標（Xan，Yan）に変換して、ストロークを描画したり、各種処理を行ったりしていく。 After the calibration process, the user writes characters or the like using the electronic pen 1 in the coordinate input area 403 that is defined on the screen 4 so that the position coordinates can be accurately input corresponding to the display screen 201. Then, the electronic pen 1 generates stroke information corresponding to the stroke of the handwriting, and transmits entry information associated with the pen ID to the computer device 2 (step S101). In the computer apparatus 2, when the entry information is received by the receiving means 22, the processing means 24 stores the entry information in the storage means 25 (step S201), and determines that a coordinate conversion function is defined (step S202: Yes), the position coordinates (Xbn, Ybn) included in the stroke information of the entry information are used as the position coordinates (Xan, Yan) on the display screen 201 of the computer apparatus 2 using the coordinate conversion function obtained by the calibration process. Conversion is performed to draw strokes and perform various processes.

つまり、図１２に示すように、ユーザが、スクリーン４の座標入力領域４０３内に電子ペン１で文字等を記入すると、コンピュータ装置２は、筆跡に応じたストロークの線分を描画し、スクリーン４上の筆跡とずれることなく、ストロークの線分をプロジェクター３によって投影させる。また、キャリブレーション処理によって、スクリーン４上の位置座標とコンピュータ装置２の表示手段２６における表示画面２０１上の位置座標とが座標変換関数による座標変換により位置合わせされているため、スクリーン４の座標入力領域４０３内に投影されたメニューやアイコンを電子ペン１で選択することにより、アプリケーションを操作したり起動させたりすることも可能となる。 That is, as shown in FIG. 12, when the user enters a character or the like with the electronic pen 1 in the coordinate input area 403 of the screen 4, the computer device 2 draws a stroke line segment corresponding to the handwriting, and the screen 4 The line segment of the stroke is projected by the projector 3 without deviating from the above handwriting. Further, since the position coordinates on the screen 4 and the position coordinates on the display screen 201 of the display unit 26 of the computer apparatus 2 are aligned by the coordinate conversion by the coordinate conversion function by the calibration process, the coordinate input of the screen 4 is performed. By using the electronic pen 1 to select a menu or icon projected in the area 403, the application can be operated or started.

＜本第１実施形態の作用効果＞
本第１実施形態における情報処理システム１０においては、処理手段２４は、ウィンドウ６に案内画像を表示して、キャリブレーション処理のためのタップ位置を案内しているため、ユーザにとっても簡易に電子ペン１によるタップを行うことができる。また、キャリブレーション処理のためのタップ位置が、スクリーン４の画像投影領域４０３の左上隅と右下隅であるため、タップする位置としてユーザに分かりやすく、しかも、タップ位置を中央寄りとするよりも、キャリブレーションによる座標変換関数の精度を向上させることができる。また、案内画像が表示されるウィンドウ６は、表示画面２０１よりも小さい範囲で中央に表示されるため、電子ペン１によるタップの障害ともならない。 <Operational effect of the first embodiment>
In the information processing system 10 according to the first embodiment, the processing unit 24 displays a guide image on the window 6 and guides the tap position for the calibration process. The tap by 1 can be performed. In addition, since the tap positions for the calibration process are the upper left corner and the lower right corner of the image projection area 403 of the screen 4, it is easy for the user to understand as the tap positions, and moreover, the tap position is closer to the center. The accuracy of the coordinate transformation function by calibration can be improved. Further, since the window 6 on which the guide image is displayed is displayed in the center in a range smaller than the display screen 201, it does not become an obstacle to tapping with the electronic pen 1.

〔変形例〕
なお、上記第１実施形態は次のように構成してもよい。 [Modification]
The first embodiment may be configured as follows.

上記第１実施形態においては、キャリブレーション処理のためのタップ位置をスクリーン４に投影されている表示画面２０１の画像投影領域４０３の左上隅及び右下隅としたが、その代わりに、左下隅及び右上隅としてもよく、あるいは、４つある画像投影領域４０３の隅のうち、３つでも４つ全部としてもよい。このとき、座標変換関数は適宜修正すればよく、画像投影領域４０３の隅の３点以上とすれば、スクリーン４の製造過程や壁面等に貼り付けた際などに生じる、用紙４０２に印刷されているドットパターンによる座標軸とスクリーン４に投影されている表示画面２０１の画像投影領域４０３による座標軸との回転角度（傾き）が算出され、さらにキャリブレーション処理の精度が高まる。 In the first embodiment, the tap position for the calibration process is the upper left corner and the lower right corner of the image projection area 403 of the display screen 201 projected on the screen 4, but instead the lower left corner and the upper right corner. A corner may be used, or three or all four corners of the four image projection regions 403 may be used. At this time, the coordinate conversion function may be modified as appropriate. If the coordinate conversion function is set to three or more corners of the image projection area 403, the coordinate conversion function is printed on the paper 402, which is generated when the screen 4 is manufactured or pasted on a wall surface. The rotation angle (inclination) between the coordinate axis based on the dot pattern and the coordinate axis based on the image projection area 403 of the display screen 201 projected on the screen 4 is calculated, and the accuracy of the calibration process is further increased.

また、図７に示すキャリブレーション処理のフロー図のステップＳ４０１，Ｓ４０３においては、図１３に示すように、ウィンドウ６の案内画像とともに、タップ位置を指し示す矢印７０１を処理手段２４が表示手段２６に表示させてもよい。このとき、処理手段２４は、矢印７０１を点滅させたり、矢印７０１がタップ位置に近づいていくようなアニメーション表示をさせたりして、目立たせるようにしてもよい。また、情報処理システム１０のプロジェクター３を、フロントプロジェクター・タイプのものとしたが、リアプロジェクター・タイプのものとしてもよく、この場合、ドットパターンが印刷されたスクリーン４を画像が結像する程度の透明にするとよい。 Further, in steps S401 and S403 in the flow chart of the calibration process shown in FIG. 7, the processing means 24 displays an arrow 701 indicating the tap position on the display means 26 together with the guidance image of the window 6, as shown in FIG. You may let them. At this time, the processing means 24 may be made conspicuous by blinking the arrow 701 or displaying an animation such that the arrow 701 approaches the tap position. Further, although the projector 3 of the information processing system 10 is a front projector type, it may be a rear projector type, and in this case, an image is formed on the screen 4 on which a dot pattern is printed. It should be transparent.

＜第２実施形態＞
次に、第２実施形態における情報処理システム１１を説明する。第２実施形態の説明では、第１実施形態と異なる構成を中心に説明する。また、第２実施形態において、第１実施形態と同じ符号を付している構成は、特に言及しないものについては、第１実施形態と同様の構成である。 Second Embodiment
Next, the information processing system 11 in the second embodiment will be described. In the description of the second embodiment, the configuration different from the first embodiment will be mainly described. In the second embodiment, the same reference numerals as those in the first embodiment are the same as those in the first embodiment unless otherwise specified.

第２実施形態においては、キャリブレーション処理におけるタップ位置、案内画像および座標変換関数が異なる。この点について、図１４〜図１８を用いて説明する。 In the second embodiment, the tap position, the guide image, and the coordinate conversion function in the calibration process are different. This point will be described with reference to FIGS.

図１４は、第２実施形態の情報処理システム１１におけるキャリブレーション処理のフロー図である。第１実施形態では、認識基準点１のために、スクリーン４の画像投影領域４０３の左上隅をタップ位置とした（図７：ステップＳ４０１、図８参照）。第２実施形態では、図１５に示すように、処理手段２４は、ウィンドウ６内であって表示画面２０１の中央に円状のマーク８を表示させるともに、ウィンドウ６に、マーク８の中心（表示基準点）を電子ペン１でタップするよう案内する「円の中心をペンで触れてください」といったメッセージ画像を表示させる（操作ガイドＢ１：ステップＳ６０１）。ユーザが、その画像に応じて、電子ペン１を用いてマーク８の中心へタップすると、電子ペン１は、タップ位置におけるドットパターンを読み取ってストローク情報を生成し、ペンＩＤと対応づけて得られた記入情報をコンピュータ装置２へ送信する（ステップＳ５０１）。 FIG. 14 is a flowchart of calibration processing in the information processing system 11 according to the second embodiment. In the first embodiment, for the recognition reference point 1, the upper left corner of the image projection area 403 of the screen 4 is set as the tap position (see FIG. 7: step S401, FIG. 8). In the second embodiment, as shown in FIG. 15, the processing means 24 displays the circular mark 8 in the center of the display screen 201 in the window 6 and also displays the center (display) of the mark 8 in the window 6. A message image such as “Please touch the center of the circle with the pen” is displayed to guide the user to tap the reference point) with the electronic pen 1 (operation guide B1: step S601). When the user taps the center of the mark 8 using the electronic pen 1 according to the image, the electronic pen 1 reads the dot pattern at the tap position to generate stroke information, and is obtained in association with the pen ID. The entered information is transmitted to the computer apparatus 2 (step S501).

コンピュータ装置２では、電子ペン１より記入情報を受信手段２２によって受信すると、処理手段２４は、記入情報のうち、ペンアップの位置座標を、用紙４０２上の認識基準点１として、記憶手段２５に記憶する（ステップＳ６０２）。さらに、図１６に示すように、処理手段２４は、ウィンドウ６に案内画像を表示して、その案内画像により、スクリーン４の画像投影領域４０３の右下隅を電子ペンでタップするよう案内する（操作ガイドＢ２：ステップＳ６０３）。ここで、第１実施形態と同様に、案内画像には、スクリーン４と画像投影領域４０３とを模したイメージ画像とともに、「投影された画像の右下隅をペンで触れてください。」といったメッセージと、タップ位置に対応する位置を示す人影が表示され、タップする位置（画像投影領域４０３の右下隅６０２）が分かりやすく案内される。その画像に応じて、ユーザが電子ペン１を用いて、画像投影領域４０３の右下隅６０２へタップすると、電子ペン１は、タップ位置におけるドットパターンを読み取ってストローク情報を生成し、ペンＩＤと対応づけて得られた記入情報をコンピュータ装置２へ送信する（ステップＳ５０２）。 When the computer apparatus 2 receives the entry information from the electronic pen 1 by the receiving means 22, the processing means 24 stores the pen-up position coordinates in the entry information in the storage means 25 as the recognition reference point 1 on the paper 402. Store (step S602). Further, as shown in FIG. 16, the processing means 24 displays a guide image on the window 6, and guides the user to tap the lower right corner of the image projection area 403 of the screen 4 with the electronic pen according to the guide image (operation). Guide B2: Step S603). Here, as in the first embodiment, the guidance image includes an image imitating the screen 4 and the image projection area 403 and a message such as “Please touch the lower right corner of the projected image with a pen”. A human figure indicating the position corresponding to the tap position is displayed, and the tapping position (the lower right corner 602 of the image projection area 403) is guided in an easy-to-understand manner. When the user taps the lower right corner 602 of the image projection area 403 using the electronic pen 1 according to the image, the electronic pen 1 reads the dot pattern at the tap position to generate stroke information, and corresponds to the pen ID. Then, the entry information obtained is transmitted to the computer apparatus 2 (step S502).

コンピュータ装置２では、電子ペン１より記入情報を受信手段２２によって受信すると、処理手段２４は、記入情報のうち、ペンアップの位置座標を、用紙４０２上の認識基準点２として、記憶手段２５に記憶する（ステップＳ６０４）。そして、処理手段２４は、ドットパターンの演算による用紙４０２上の認識基準点１，２の座標値に基づいて、用紙４０２上の位置座標から、コンピュータ装置２における表示画面２０１上の位置座標を演算するための座標変換関数を求めて、記憶手段２５に記憶する。それとともに、処理手段２４は、キャリブレーション処理の結果、電子ペン１によりスクリーン４上で位置座標が表示画面２０１に対応して正確に入力可能な座標入力領域（画像投影領域）４０３を確定し、その座標領域を定義して、記憶手段２５に記憶する（ステップＳ６０５）。 In the computer apparatus 2, when the entry information is received from the electronic pen 1 by the receiving means 22, the processing means 24 stores the pen-up position coordinates in the entry information in the storage means 25 as the recognition reference point 2 on the paper 402. Store (step S604). Then, the processing means 24 calculates the position coordinates on the display screen 201 in the computer apparatus 2 from the position coordinates on the sheet 402 based on the coordinate values of the recognition reference points 1 and 2 on the sheet 402 by the dot pattern calculation. A coordinate conversion function for performing the calculation is obtained and stored in the storage means 25. At the same time, as a result of the calibration process, the processing unit 24 determines a coordinate input area (image projection area) 403 on which the position coordinates can be accurately input on the screen 4 by the electronic pen 1 corresponding to the display screen 201. The coordinate area is defined and stored in the storage unit 25 (step S605).

ここで、キャリブレーション用の座標変換関数の求め方について、図１７及び図１８を参照して説明する。 Here, how to obtain the coordinate conversion function for calibration will be described with reference to FIGS.

図１７は、コンピュータ装置２の表示画面２０１上における位置座標を示す図である。図１７に示すように、コンピュータ装置２の表示手段（ディスプレイ）２６の表示画面２０１において、Ｘ軸を右方向、Ｙ軸を下方向にとり、以下の座標を次のようにする。
左上隅の端点：座標２０２（Xamin，Yamin）、
右下隅の端点：座標２０３（Xamax，Yamax）、
表示基準点（マーク８の中心）：座標２０４（Xa1，Ya1）、
ただし、Xamin ≦ Xa1 ≦ Xamax、（Xamin ≠ Xamax）
Yamin ≦ Ya1 ≦ Yamax、（Yamin ≠ Yamax） FIG. 17 is a diagram illustrating position coordinates on the display screen 201 of the computer apparatus 2. As shown in FIG. 17, on the display screen 201 of the display means (display) 26 of the computer apparatus 2, the X axis is the right direction, the Y axis is the downward direction, and the following coordinates are as follows.
End point of upper left corner: Coordinate 202 (Xamin, Yamin),
Bottom right corner: coordinate 203 (Xamax, Yamax),
Display reference point (center of mark 8): coordinate 204 (Xa1, Ya1),
However, Xamin ≤ Xa1 ≤ Xamax, (Xamin ≠ Xamax)
Yamin ≤ Ya1 ≤ Yamax, (Yamin ≠ Yamax)

図１８は、スクリーン４の用紙４０２上における認識基準点１，２の位置座標を示す図である。認識基準点１は、コンピュータ装置２の表示画面２０１上における表示基準点のマーク８がスクリーン４に投影され、電子ペン１によって指示されたドットパターン（コード化パターン）の解析に基づく位置座標である。認識基準点２は、コンピュータ装置２の表示画面２０１がスクリーン４に投影されて規定される座標入力領域４０３上の右下隅の端点を、電子ペン１によって筆記して得られたドットパターンの解析に基づく位置座標である。図１８に示すように、プロジェクター３によってスクリーン４に投影される座標入力領域（画像投影領域）４０３において、Ｘ軸を右方向、Ｙ軸を下方向にとり、以下の座標を次のようにする。
用紙４０２の左上隅の端点：座標４０５（Xb0，Yb0）、
座標入力領域４０３の左上隅の端点：座標４０６（Xbmin，Ybmin）、
座標入力領域４０３の右下隅の端点（認識基準点２）：座標４０７（Xbmax，Ybmax）、
表示基準点（マーク８の中心）(認識基準点１)：座標４０８（Xb1，Yb1）、
ただし、Xb0 ≦ Xbmin ＜ Xb1 ≦ Xbmax、
Yb0 ≦ Ybmin ＜ Yb1 ≦ Ybmax、 FIG. 18 is a diagram illustrating the position coordinates of the recognition reference points 1 and 2 on the sheet 402 of the screen 4. The recognition reference point 1 is a position coordinate based on the analysis of a dot pattern (coded pattern) indicated by the electronic pen 1 by projecting the display reference point mark 8 on the display screen 201 of the computer apparatus 2 onto the screen 4. . The recognition reference point 2 is used to analyze the dot pattern obtained by writing the end point of the lower right corner on the coordinate input area 403 defined by the projection of the display screen 201 of the computer device 2 onto the screen 4 with the electronic pen 1. The position coordinates based on. As shown in FIG. 18, in the coordinate input area (image projection area) 403 projected onto the screen 4 by the projector 3, the X axis is in the right direction, the Y axis is in the downward direction, and the following coordinates are as follows.
End point of upper left corner of paper 402: coordinates 405 (Xb0, Yb0),
End point of upper left corner of coordinate input area 403: coordinates 406 (Xbmin, Ybmin),
End point of the lower right corner of the coordinate input area 403 (recognition reference point 2): coordinates 407 (Xbmax, Ybmax),
Display reference point (center of mark 8) (recognition reference point 1): coordinates 408 (Xb1, Yb1),
However, Xb0 ≤ Xbmin <Xb1 ≤ Xbmax,
Yb0 ≤ Ybmin <Yb1 ≤ Ybmax,

すると、コンピュータ装置２の表示画面２０１における表示基準点の座標２０４（Xa1，Ya1）及び右下端点の座標２０３（Xamax，Yamax）が、スクリーン４の用紙４０２上のドットパターンにおける認識基準点１の座標４０８（Xb1，Yb1）及び認識基準点２の座標４０７（Xbmax，Ybmax）にそれぞれ対応する。そして、スクリーン４に投影される座標入力領域４０３を規定する左上端点座標４０６（Xbmin，Ybmin）は次の数式で表すことができる。 Then, the coordinates 204 (Xa1, Ya1) of the display reference point and the coordinates 203 (Xamax, Yamax) of the lower right end point on the display screen 201 of the computer apparatus 2 are the recognition reference point 1 in the dot pattern on the paper 402 of the screen 4. The coordinates correspond to the coordinates 408 (Xb1, Yb1) and the coordinates 407 (Xbmax, Ybmax) of the recognition reference point 2, respectively. The upper left corner point coordinates 406 (Xbmin, Ybmin) that define the coordinate input area 403 projected on the screen 4 can be expressed by the following formula.

[数式３] Xbmin ＝ Xb1 − (Xa1 − Xamin）×（Xbmax − Xb1）／（Xamax − Xa1)
[数式４] Ybmin ＝ Yb1 − (Ya1 − Yamin）×（Ybmax − Yb1）／（Yamax − Ya1) [Formula 3] Xbmin = Xb1− (Xa1−Xamin) × (Xbmax−Xb1) / (Xamax−Xa1)
[Formula 4] Ybmin = Yb1− (Ya1−Yamin) × (Ybmax−Yb1) / (Yamax−Ya1)

したがって、処理手段２４は、数式３，４により演算した座標４０６と、認識基準点２の座標値を対角の各頂点とする長方形状の領域から、ステップＳ２０３における座標入力領域４０３を規定することができる。 Therefore, the processing unit 24 defines the coordinate input area 403 in step S203 from the coordinates 406 calculated by Equations 3 and 4 and the rectangular area having the coordinate values of the recognition reference point 2 as diagonal vertices. Can do.

[数式５] Xan ＝ Xamin＋{ Xbn − (Xbmin−Xb0）} ×（Xamax−Xa1）／（Xbmax−Xb1）
[数式６] Yan ＝ Yamin＋{ Ybn − (Ybmin−Yb0）} ×（Yamax−Ya1）／（Ybmax−Yb1） [Formula 5] Xan = Xamin + {Xbn− (Xbmin−Xb0)} × (Xamax−Xa1) / (Xbmax−Xb1)
[Formula 6] Yan = Yamin + {Ybn− (Ybmin−Yb0)} × (Yamax−Ya1) / (Ybmax−Yb1)

＜本第２実施形態の作用効果＞
本第２実施形態の情報処理システム１１においては、認識基準点１用のタップ位置が、スクリーン４に投影された表示画面２０１の画像投影領域４０３の上隅ではなく、画像投影領域４０３の中央であるため、上隅では、ユーザが電子ペン１でタップするのに届かなくとも、上隅よりも低い画像投影領域４０３の中央には届きやすい。しかも、画像投影領域４０３の中央に表示されるマーク８には、一緒に表示されるメッセージの吹き出し矢印等でタップする位置であることが案内されるため分かりやすい。また、電子ペン１で画像投影領域４０３の右下隅６０２をタップする場合には、案内画像は、表示画面２０１よりも小さい範囲のウィンドウ６で中央に表示されるため、タップの障害とならない。 <Operational effects of the second embodiment>
In the information processing system 11 of the second embodiment, the tap position for the recognition reference point 1 is not the upper corner of the image projection area 403 of the display screen 201 projected on the screen 4 but the center of the image projection area 403. Therefore, even if the user does not reach the tap with the electronic pen 1 at the upper corner, the user can easily reach the center of the image projection area 403 lower than the upper corner. Moreover, the mark 8 displayed in the center of the image projection area 403 is easy to understand because it is guided that the position is tapped by a balloon arrow or the like of a message displayed together. When the electronic pen 1 taps the lower right corner 602 of the image projection area 403, the guide image is displayed in the center of the window 6 in a range smaller than the display screen 201, so that there is no hindrance to the tap.

〔変形例〕
なお、上記第２実施形態は次のように構成してもよい。 [Modification]
The second embodiment may be configured as follows.

上記第２実施形態においては、表示基準点を表示画面２０１の中央に表示させて、認識基準点１用のタップ位置を画像投影領域４０３の中央としたが、これに限られない。また、認識基準点２用のタップ位置は、画像投影領域４０３の右下隅に限らず、他の隅であってもよい。また、キャリブレーション用のタップ位置は、３点以上としてもよい。また、認識基準点２用のタップ位置を指す矢印を、第1実施形態の変形例と同様に、図１３の矢印７０１のように表示させてもよい。また、情報処理システム１１のプロジェクター３を、フロントプロジェクター・タイプのものとしたが、リアプロジェクター・タイプのものとし、ドットパターンが印刷されたスクリーン４を画像が結像する程度の透明にするとよい。 In the second embodiment, the display reference point is displayed at the center of the display screen 201 and the tap position for the recognition reference point 1 is set at the center of the image projection area 403. However, the present invention is not limited to this. Further, the tap position for the recognition reference point 2 is not limited to the lower right corner of the image projection area 403 but may be another corner. Further, the calibration tap positions may be three or more. Further, an arrow indicating the tap position for the recognition reference point 2 may be displayed as shown by an arrow 701 in FIG. 13 as in the modification of the first embodiment. Further, although the projector 3 of the information processing system 11 is of the front projector type, it may be of the rear projector type, and the screen 4 on which the dot pattern is printed may be made transparent so that an image is formed.

〔他の実施形態〕
本考案は、上記実施形態に限られない。 [Other Embodiments]
The present invention is not limited to the above embodiment.

上記第１，２実施形態においては、情報処理システム１０，１１を、プロジェクター３を用いて構成したが、図１９に示すように、情報処理システム１００において、電子ペン１によって読取可能なドットパターン（コード化パターン）を透明シート９に印刷し、その透明シート９をコンピュータ装置２の表示画面２０１に貼り付けた構成としてもよい。このとき、キャリブレーション処理を行う場合には、図２０に示すように、処理手段２４は、表示画面２０１に、当該表示画面２０１とその枠とのイメージ画像を案内画像として表示させ、その案内画像によって電子ペン１でタップする位置を案内する。ユーザは、透明シート９の上から、表示画面２０１上の案内されたタップ位置を、電子ペン１を用いてタップして、ドットパターンを読み取らせることとなる。 In the first and second embodiments, the information processing systems 10 and 11 are configured using the projector 3, but as shown in FIG. 19, in the information processing system 100, a dot pattern (readable by the electronic pen 1) ( The encoding pattern) may be printed on the transparent sheet 9 and the transparent sheet 9 may be pasted on the display screen 201 of the computer apparatus 2. At this time, when performing the calibration process, as shown in FIG. 20, the processing means 24 causes the display screen 201 to display an image image of the display screen 201 and its frame as a guide image, and the guide image. To guide the position of tapping with the electronic pen 1. The user taps the guided tap position on the display screen 201 from the transparent sheet 9 using the electronic pen 1 to read the dot pattern.

この場合、赤外線を選択的に反射する特性を有するインキにより透明シート９にドットパターンを印刷し、電子ペン１では、プロセッサ１０８には、ＣＭＯＳカメラ１０６によって撮像された画像データから、赤外線反射の強い部分領域をドットであると認識するよう閾値を設けて判定させてもよい。その閾値は、ディスプレイから透明シート９を透過してくる赤外線と、ドットによって反射される赤外線とを区別できるよう設定する。 In this case, a dot pattern is printed on the transparent sheet 9 with ink having a characteristic of selectively reflecting infrared rays. In the electronic pen 1, the processor 108 has a strong infrared reflection from image data captured by the CMOS camera 106. A determination may be made by setting a threshold value so that the partial area is recognized as a dot. The threshold value is set so that the infrared rays transmitted through the transparent sheet 9 from the display can be distinguished from the infrared rays reflected by the dots.

また、上記実施形態において、電子ペン１はインクカートリッジを有していないものとしたが、ペン部１０４をインクカートリッジとして電子ペン１で用紙４０２に直接文字等を書くことができるようにしてもよい。この場合、コンピュータ装置２では、電子ペン１で描かれたストロークを表示画面２０１には表示するが、プロジェクター３では投影しないような画像信号をコンピュータ装置２からプロジェクター３へ出力するようにするとよい。また、電子ペン１のＣＭＯＳカメラ１０６によって撮像された画像データからドットを認識しやすくするため、ＣＭＯＳカメラ１０６に照射される光が赤外線だけとなるように、赤外線透過フィルターを電子ペン1の開口部１０２付近に設けてもよい。また、ドットパターン（コード化パターン）は、アノト方式に限らなくともよい。 In the above embodiment, the electronic pen 1 does not have an ink cartridge. However, the pen unit 104 may be used as an ink cartridge so that characters can be directly written on the paper 402 with the electronic pen 1. . In this case, the computer apparatus 2 displays the stroke drawn with the electronic pen 1 on the display screen 201, but the image signal that is not projected by the projector 3 may be output from the computer apparatus 2 to the projector 3. Further, in order to make it easy to recognize dots from the image data captured by the CMOS camera 106 of the electronic pen 1, an infrared transmission filter is provided in the opening of the electronic pen 1 so that only the infrared light is irradiated to the CMOS camera 106. You may provide near 102. Further, the dot pattern (coded pattern) is not limited to the Anoto method.

情報処理システムは、学校の授業や企業での会議室、講演会、プレゼンテーションなどで利用することができる。 The information processing system can be used in school classes, company conference rooms, lectures, presentations, and the like.

１…電子ペン
２…コンピュータ装置
２１…入力手段
２２…受信手段
２４…処理手段
２５…記憶手段
２６…表示手段
２７…送信手段
２０１…表示画面
３…プロジェクター
４…スクリーン
４０１…マグネット板（ホワイトボード）
４０２…用紙
４０３…座標入力領域（画像投影領域）
６…ウィンドウ
９…透明シート
１０，１１，１００…情報処理システム DESCRIPTION OF SYMBOLS 1 ... Electronic pen 2 ... Computer apparatus 21 ... Input means 22 ... Reception means 24 ... Processing means 25 ... Memory | storage means 26 ... Display means 27 ... Transmission means 201 ... Display screen 3 ... Projector 4 ... Screen 401 ... Magnet board (white board)
402: Paper 403 ... Coordinate input area (image projection area)
6 ... Window 9 ... Transparent sheet 10, 11, 100 ... Information processing system

Claims

位置座標を示すコード化パターンが形成されたスクリーンと、
前記コード化パターンを読み取る読取手段と、
前記読取手段から送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、
前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える情報処理システムであって、
前記コンピュータ装置は、
スクリーンに画像が投影されたイメージ画像を表示するとともに前記読取手段で指示する位置を案内するための案内画像を記憶する記憶手段と、
前記案内画像を読み出して前記表示手段に表示させ、前記読取手段によって読み取られた前記指示位置のコード化パターンにより演算された前記スクリーン上の位置座標を、前記コンピュータ装置の表示手段における表示画面上の位置座標に変換するための座標変換関数を求める処理手段と
を備えることを特徴とする情報処理システム。 A screen on which a coding pattern indicating position coordinates is formed;
Reading means for reading the coded pattern;
A computer device that receives information on the coding pattern transmitted from the reading unit and performs processing according to the information;
An information processing system comprising: a projector that receives an image signal from the computer device and projects an image on the screen;
The computer device includes:
Storage means for displaying an image image projected on the screen and storing a guide image for guiding a position designated by the reading means;
The guide image is read out and displayed on the display means, and the position coordinates on the screen calculated by the coded pattern of the indicated position read by the reading means are displayed on the display screen in the display means of the computer device. An information processing system comprising processing means for obtaining a coordinate conversion function for converting to position coordinates.

位置座標を示すコード化パターンが形成された透明シートと、
前記コード化パターンを読み取る読取手段と、
前記読取手段から送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置とを備える情報処理システムであって、
前記透明シートは、前記コンピュータ装置の表示手段の表示画面に貼付されており、
前記コンピュータ装置は、
前記表示画面のイメージ画像を表示するとともに前記読取手段で指示する位置を案内するための案内画像を記憶する記憶手段と、
前記案内画像を読み出して前記表示手段に表示させ、前記読取手段によって読み取られた前記指示位置のコード化パターンにより演算された前記透明シート上の位置座標を、前記コンピュータ装置の表示手段における表示画面上の位置座標に変換するための座標変換関数を求める処理手段と
を備えることを特徴とする情報処理システム。 A transparent sheet on which a coded pattern indicating position coordinates is formed;
Reading means for reading the coded pattern;
An information processing system comprising: a computer device that receives information related to the coding pattern transmitted from the reading unit and performs processing according to the information;
The transparent sheet is affixed to the display screen of the display means of the computer device,
The computer device includes:
Storage means for displaying an image on the display screen and storing a guide image for guiding a position designated by the reading means;
The guide image is read and displayed on the display means, and the position coordinates on the transparent sheet calculated by the coded pattern of the indicated position read by the reading means are displayed on the display screen of the display means of the computer device. An information processing system comprising: processing means for obtaining a coordinate conversion function for converting into the position coordinates.

前記処理手段は、前記案内画像を前記表示画面よりも小さい範囲で中央に表示させ、
前記読取手段で指示する前記指示位置は、前記表示画面の角隅に対応する位置であることを特徴とする請求項１又は２に記載の情報処理システム。 The processing means displays the guide image in the center in a range smaller than the display screen,
The information processing system according to claim 1, wherein the designated position designated by the reading unit is a position corresponding to a corner of the display screen.

前記案内画像は、前記読取手段で指示する前記指示位置を矢印で示すことを特徴とする請求項１〜３のいずれか一項に記載の情報処理システム。 The information processing system according to any one of claims 1 to 3, wherein the guide image indicates the indicated position indicated by the reading unit with an arrow.