JP3186361B2 - Data processing device - Google Patents
Data processing deviceInfo
- Publication number
- JP3186361B2 JP3186361B2 JP20845693A JP20845693A JP3186361B2 JP 3186361 B2 JP3186361 B2 JP 3186361B2 JP 20845693 A JP20845693 A JP 20845693A JP 20845693 A JP20845693 A JP 20845693A JP 3186361 B2 JP3186361 B2 JP 3186361B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- editing
- writing
- memory
- written
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Character Input (AREA)
- Processing Or Creating Images (AREA)
- Character Discrimination (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は、データ処理装置に係
り、詳細には、筆記具の軌跡を検出して記入情報の認識
及び編集コマンド情報を判別してデータ処理を実行する
データ処理装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a data processing apparatus, and more particularly, to a data processing apparatus which detects a trajectory of a writing instrument, recognizes entry information, determines edit command information, and executes data processing.
【０００２】[0002]
【従来の技術】従来、手書きにより記入された文書書類
等の紙面上の文字等の情報を認識してデータ処理を実行
するデータ処理装置としては、例えば、紙面上の文字等
の記入情報を画像として読み取るスキャナと、所定の文
字認識プログラムを利用してスキャナにより読み取られ
る文字画像を文字データとして認識処理するパーソナル
コンピュータとから構成されており、パーソナルコンピ
ュータを持つ個人でもスキャナと文字認識ソフトを用意
することにより利用可能である。2. Description of the Related Art Conventionally, as a data processing apparatus for recognizing information such as characters on a paper such as a written document written by hand and executing data processing, for example, information written on the paper such as characters is written in an image. And a personal computer for recognizing and processing a character image read by the scanner as character data using a predetermined character recognition program. Even individuals having a personal computer prepare a scanner and character recognition software. It is possible to use it.
【０００３】また、高速な文字認識を必要とする場合に
は、より高速の文字認識処理を行う専用装置として構成
されるため、パーソナルコンピュータで構成するものよ
りも高価になる。Further, when high-speed character recognition is required, the apparatus is configured as a dedicated apparatus for performing higher-speed character recognition processing, so that it is more expensive than a personal computer.
【０００４】また、筆記具の軌跡をタッチパネル等でコ
ンピュータに入力して筆記文字を入力認識させるための
装置として文字入力用のタブレットも実用化されてい
る。A tablet for character input has also been put into practical use as a device for inputting and recognizing written characters by inputting the locus of a writing instrument to a computer using a touch panel or the like.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、このよ
うな従来のデータ処理装置にあっては、個人で利用可能
な構成のものであってもスキャナ、文字認識ソフト及び
パーソナルコンピュータといった大掛かりなものが必要
であるとともに、頁単位でスキャナに読み取らせるよう
になっているため、文章への記入工程とは別の読取工程
が必要になり、使用環境が限られ、誰でも手軽に利用で
きないという問題点があった。However, such a conventional data processing apparatus requires a large-scale apparatus such as a scanner, character recognition software, and a personal computer, even if the apparatus can be used by an individual. In addition, since the scanner is made to read each page, a separate reading process is required from the process of writing text, which limits the use environment and makes it difficult for anyone to use it easily. there were.
【０００６】また、文字入力タブレットを利用する場合
は、専用のタブレットに記入された文字以外は認識でき
ず、やはり使用環境が限られてしまう。When a character input tablet is used, characters other than those written on a dedicated tablet cannot be recognized, and the use environment is still limited.
【０００７】また、文字認識した文字データを編集する
ためには、別の編集用ソフトを利用して編集処理を別途
行う必要があったため、認識した文字データを利用する
際の編集機能の点でも問題点があった。Further, in order to edit the character data whose character has been recognized, it is necessary to separately perform editing processing using another editing software. Therefore, the editing function when using the recognized character data is also required. There was a problem.
【０００８】本発明の課題は、手軽に利用可能で、かつ
使用環境を拡大可能な記入情報を認識し、認識したデー
タの編集処理を可能にするデータ処理装置を提供するこ
とである。An object of the present invention is to provide a data processing apparatus which recognizes entry information which can be easily used and whose use environment can be expanded, and enables editing processing of the recognized data.
【０００９】[0009]
【課題を解決するための手段】本発明は、複数の表示色
を切換えて各表示色で記入面に描画する筆記手段と、前
記記入面を逐次撮影し、各表示色で描画された軌跡に基
づいて描画データを認識する認識手段と、この認識手段
で認識された描画データを前記記入面に投影する投影手
段と、編集を示す表示色の描画データに基づく前記認識
手段による編集コマンドの認識に応じて、前記記入面に
投影される描画データの編集処理を実行する処理手段
と、を具備したことを特徴としている。SUMMARY OF THE INVENTION The present invention provides a method for displaying a plurality of display colors.
Writing means for switching the display and drawing on the entry surface with each display color,
The entry surface is photographed sequentially and based on the trajectory drawn in each display color.
Means for recognizing drawing data on the basis of
A projection hand for projecting the drawing data recognized in
Step and the recognition based on drawing data of a display color indicating editing
In response to the recognition of the edit command by the means,
Processing means for executing editing processing of projected drawing data
And characterized in that:
【００１０】[0010]
【作用】本発明によれば、筆記手段で記入面に描画する
と、認識手段は前記記入面を逐次撮影し、描画された軌
跡に基づいて描画データを認識する。認識された描画デ
ータは投影手段によって前記記入面に投影される。一
方、編集を示す表示色に切換えて筆記手段で記入面に描
画すると、認識手段は前記記入面を撮影し、描画された
軌跡に基づいて描画データを編集コマンドとして認識す
る。処理手段は認識されたこの編集コマンドに基づいて
前記記入面に投影される描画データの編集処理を実行す
る。 According to the present invention , drawing is performed on a writing surface by writing means.
And the recognizing means sequentially photographs the entry surface and draws the drawn gauge.
Recognize drawing data based on the trace. Recognized drawing data
The data is projected onto the writing surface by the projection means. one
Switch to the display color indicating editing, and draw on the entry surface with writing means
When the image is drawn, the recognizing means photographs the entry surface and draws the image.
Recognize drawing data as edit commands based on the trajectory
You. The processing means is based on this recognized editing command.
Execute editing processing of drawing data projected on the entry surface.
You.
【００１１】したがって、ユーザーは、手書き文字情報
の入力及び編集処理が容易になり、マンマシンインター
フェイスを向上させることができるとともに、データ処
理装置の使用環境の自由度を大幅に拡大することができ
る。Therefore, the user can easily input and edit handwritten character information, improve the man-machine interface, and greatly expand the degree of freedom of the use environment of the data processing device.
【００１２】[0012]
【実施例】以下、図１〜図５を参照して実施例を説明す
る。An embodiment will be described below with reference to FIGS.
【００１３】図１〜図５は、本発明のデータ処理装置の
一実施例を示す図である。FIGS. 1 to 5 show an embodiment of the data processing apparatus of the present invention.
【００１４】まず、構成を説明する。First, the configuration will be described.
【００１５】図１は、データ処理装置１の外観図であ
り、データ処理装置１は、前面投射型表示方式の表示部
とカメラによる撮影部とを備えている。FIG. 1 is an external view of the data processing apparatus 1. The data processing apparatus 1 includes a display unit of a front projection display type and a photographing unit using a camera.
【００１６】すなわち、データ処理装置１は、データ処
理装置１の主要なデータ処理部を収納するケース本体２
と、プロジェクター３及びカメラ４を収納するケース５
とから構成される。That is, the data processing device 1 is composed of a case main body 2 for housing a main data processing portion of the data processing device 1.
And a case 5 for housing the projector 3 and the camera 4
It is composed of
【００１７】プロジェクター３としては、例えば、レン
ズ、液晶パネル及び光源等が順次並べられており、液晶
パネルの背面から光源の光を投射して液晶パネルの表示
内容をレンズを介して記入用紙６の紙面に投射する。As the projector 3, for example, a lens, a liquid crystal panel, a light source, and the like are sequentially arranged. The light of the light source is projected from the back of the liquid crystal panel, and the display content of the liquid crystal panel is written on the entry sheet 6 through the lens. Project on paper.
【００１８】カメラ４は、例えば、ＣＣＤ（Charge Cou
pled Device ）カメラ等により構成され、記入用紙６の
紙面に対向して設置された時、筆記具７もしくは筆記具
７により紙面に記入されるデータを所定撮影範囲で走査
して撮影する。The camera 4 is, for example, a CCD (Charge Cou).
pled Device) When constituted by a camera or the like, and is installed so as to face the paper of the entry paper 6, the writing implement 7 or data written on the paper by the writing implement 7 is scanned and photographed in a predetermined photographing range.
【００１９】図２は、データ処理装置１のブロック構成
図である。この図において、データ処理装置１は、表示
部（プロジェクター）３、カメラ４、画像検出部１１、
画像認識部１２、ＲＡＭ１３、１４、メインメモリ１
５、処理装置１６、表示メモリ１７及びＩ／Ｏ１８によ
り構成され、画像検出部１１、画像認識部１２、ＲＡＭ
１３、１４、メインメモリ１５、処理装置１６、表示メ
モリ１７は、上記図１に示したケース本体２内に収納さ
れる。FIG. 2 is a block diagram of the data processing apparatus 1. In this figure, a data processing device 1 includes a display unit (projector) 3, a camera 4, an image detection unit 11,
Image recognition unit 12, RAMs 13, 14, main memory 1
5, a processing unit 16, a display memory 17, and an I / O 18, an image detecting unit 11, an image recognizing unit 12, a RAM
The main memory 13, the main memory 15, the processing device 16, and the display memory 17 are housed in the case body 2 shown in FIG.
【００２０】カメラ４は、その撮影した画像を逐次画像
検出部１１に出力する。The camera 4 sequentially outputs the photographed images to the image detecting section 11.
【００２１】画像検出部１１は、カメラ４により撮影さ
れる画像に基づいて筆記具７の記入座標を検出する後述
する筆記具軌跡サンプリングフローを実行し、筆記具７
の先端に表示される表示色により描画モードか編集モー
ドかを判別し、描画モードの場合は、記入される記入面
の原点座標及び紙面上で記入される際の筆記具７の先端
軌跡に基づく位置座標を逐次検出してＲＡＭ１３内に形
成されるスタックメモリＲに書込む処理を行う。The image detecting section 11 executes a writing tool trajectory sampling flow, which will be described later, for detecting writing coordinates of the writing tool 7 based on an image taken by the camera 4.
The drawing mode or the editing mode is determined based on the display color displayed at the tip of the writing tool. In the case of the drawing mode, the position based on the origin coordinates of the writing surface to be written and the tip trajectory of the writing instrument 7 when writing on the paper. A process of sequentially detecting the coordinates and writing the coordinates in the stack memory R formed in the RAM 13 is performed.
【００２２】また、画像検出部１１は、編集モードの場
合は、記入される記入面の原点座標及び紙面上で記入さ
れる際の筆記具７の先端軌跡に基づく位置座標を逐次検
出してＲＡＭ１３内に形成されるスタックメモリＳに書
込む処理を行う。In the editing mode, the image detecting section 11 sequentially detects the origin coordinates of the writing surface to be written and the position coordinates based on the tip trajectory of the writing implement 7 when writing on the paper. Is performed to write the data into the stack memory S formed in the memory.
【００２３】画像認識部１２は、画像検出部１１により
判別されるモードが描画モードのとき、画像検出部１１
により検出されてＲＡＭ１３内のスタックメモリＲに書
込まれた原点座標データ及位置座標データに基づいて筆
記文字の認識処理を実行し、このスタックメモリＲに書
込まれた原点座標データ及び位置座標データをＲＡＭ１
４内に形成されるメモリＴに読み込んだ後、ＲＡＭ１４
内に形成されるブロックメモリＢに展開し、この展開し
たデータに基づいて紙面に記入された文字あるいは図形
を認識し、認識した文字データあるいは図形データをメ
インメモリ１５に格納する。When the mode determined by the image detection unit 11 is the drawing mode, the image recognition unit 12
Performs the recognition processing of the written character based on the origin coordinate data and the position coordinate data written in the stack memory R in the RAM 13 and outputs the origin coordinate data and the position coordinate data written in the stack memory R. To RAM1
After reading into the memory T formed in the RAM 4,
The character data or graphic data written on the paper is recognized based on the expanded data, and the recognized character data or graphic data is stored in the main memory 15.
【００２４】また、画像認識部１２は、画像検出部１１
により判別されるモードが編集モードのとき、画像検出
部１１により検出されてＲＡＭ１３内のスタックメモリ
Ｓに書込まれた原点座標データ及び逐次書込まれる位置
座標データに基づいて筆記による編集コマンドの認識処
理を実行し、このスタックメモリＳに書込まれた原点座
標データ及び位置座標データをＲＡＭ１４内に形成され
るメモリＴに読み込んだ後、ＲＡＭ１４内に形成される
ブロックメモリＢに展開し、この展開したデータに基づ
いて紙面に記入された編集コマンドを認識し、認識した
編集コマンドをメインメモリ１５に格納する。The image recognizing unit 12 includes an image detecting unit 11
Is the edit mode, the recognition of the edit command by writing based on the origin coordinate data detected by the image detection unit 11 and written in the stack memory S in the RAM 13 and the position coordinate data sequentially written. After executing the processing, the origin coordinate data and the position coordinate data written in the stack memory S are read into the memory T formed in the RAM 14 and then developed in the block memory B formed in the RAM 14. The editing command written on the paper is recognized based on the obtained data, and the recognized editing command is stored in the main memory 15.
【００２５】ＲＡＭ（Random Accesss Memory ）１３
は、描画モードの場合、画像検出部１１により検出され
る記入面の原点座標及び位置座標が書込まれるスタック
メモリＲを形成するとともに、編集モードの場合、画像
検出部１１により検出される記入面の原点座標及び位置
座標が書込まれるスタックメモリＳを形成する。RAM (Random Access Memory) 13
Forms a stack memory R in which the origin coordinates and position coordinates of the entry surface detected by the image detection unit 11 are written in the drawing mode, and the entry surface detected by the image detection unit 11 in the edit mode. The stack memory S in which the origin coordinates and the position coordinates of are written.
【００２６】ＲＡＭ１４は、画像検出部１１により検出
されてＲＡＭ１３内のスタックメモリＳに書込まれた原
点座標データ及び位置座標データが読み出されて格納さ
れるメモリＴを形成するとともに、画像認識部１２によ
り認識される文字データ、図形データ及び編集コマンド
を展開するブロックメモリＢを形成する。The RAM 14 forms a memory T in which the origin coordinate data and the position coordinate data detected by the image detecting section 11 and written in the stack memory S in the RAM 13 are read and stored. A block memory B for expanding the character data, graphic data, and editing commands recognized by 12 is formed.
【００２７】メインメモリ１５は、処理装置１６が実行
する各種処理プログラムを格納するとともに、画像認識
部１２により認識された文字データ、図形データ及び編
集コマンドを格納するメモリエリアＭを形成する。The main memory 15 stores various processing programs to be executed by the processing device 16 and forms a memory area M for storing character data, graphic data, and editing commands recognized by the image recognition unit 12.
【００２８】処理装置１６は、画像認識部１２により認
識されてメインメモリ１４に格納された文字データ、図
形データ及び編集コマンドを順次読み出して表示メモリ
１７に書込み、表示部３に表示させる表示処理を実行す
るとともに、メインメモリ１５に書込まれた編集コマン
ドを判別し、その編集コマンドに対応する編集処理を実
行し、編集結果を表示メモリ１７に転送し、また、Ｉ／
Ｏ１８を介して外部のコンピュータに対する文字データ
の転送処理等を実行する。The processing device 16 performs a display process for sequentially reading out the character data, the graphic data and the editing command recognized by the image recognizing section 12 and stored in the main memory 14, writing them into the display memory 17, and displaying them on the display section 3. At the same time, the editing command written in the main memory 15 is determined, an editing process corresponding to the editing command is executed, and the editing result is transferred to the display memory 17.
The processing of transferring character data to an external computer via O18 is executed.
【００２９】表示メモリ１７は、表示部３の表示領域に
対応するメモリエリアを形成し、処理装置１６によりメ
インメモリ１５から読み出される文字データ、図形デー
タあるいは編集コマンドが順次書込まれると、その文字
データあるいは編集コマンドを表示部３に順次転送して
表示させるとともに、処理装置１６から転送される編集
結果を表示部３に転送して表示させる。The display memory 17 forms a memory area corresponding to the display area of the display unit 3. When character data, graphic data or edit commands read from the main memory 15 by the processing unit 16 are sequentially written, the character The data or the editing command is sequentially transferred to the display unit 3 for display, and the editing result transferred from the processing device 16 is transferred to the display unit 3 for display.
【００３０】表示部（プロジェクター）３は、液晶表示
パネルにより構成され、表示メモリ１７に順次書込まれ
て転送される文字データ、図形データ、編集コマンド及
び編集結果を記入用紙の紙面上に投射して表示する。The display unit (projector) 3 is composed of a liquid crystal display panel, and projects character data, graphic data, editing commands, and editing results sequentially written and transferred to the display memory 17 on the paper of an entry sheet. To display.
【００３１】Ｉ／Ｏ１８は、処理装置１６と外部のコン
ピュータとの間のデータの授受を制御し、メインメモリ
１５に書込まれた文字コードデータを外部のコンピュー
タ等へ出力する。The I / O 18 controls transmission and reception of data between the processing device 16 and an external computer, and outputs the character code data written in the main memory 15 to an external computer or the like.
【００３２】図３は、筆記具７の外観図であり、筆記具
７は、円筒形のケース本体２１の内部に電源２２を内蔵
し、このケース本体２１の先端に近い部分には、先端部
２３が記入用紙６の紙面に接触したか否かを検出する圧
力センサ２４が設けられている。また、図１において、
ケース本体２１の後端部には、先端部２３に設けられた
編集モード表示用の赤色ＬＥＤ２５及び描画モード表示
用の青色ＬＥＤ２６の表示色を切換えることによりモー
ドを切換えるモード切換スイッチ２７が設けられてい
る。FIG. 3 is an external view of the writing instrument 7. The writing instrument 7 has a power source 22 built in a cylindrical case body 21, and a tip 23 is provided near a tip of the case body 21. A pressure sensor 24 for detecting whether or not the paper of the entry form 6 has been contacted is provided. Also, in FIG.
At the rear end of the case body 21, a mode changeover switch 27 is provided to switch the mode by switching the display color of a red LED 25 for displaying an editing mode and a blue LED 26 for displaying a drawing mode provided at the front end 23. I have.
【００３３】また、各ＬＥＤ２５、２６の発光は、先端
部２３内に埋設されたグラスファイバー２８を通して先
端部２３の記入用紙の紙面に接触する発光部２９を発光
させる。The LEDs 25 and 26 emit light through a glass fiber 28 buried in the tip portion 23 and emit light from a light emitting portion 29 that comes into contact with the paper surface of the entry sheet at the tip portion 23.
【００３４】すなわち、本実施例では、図１において、
記入用紙６の紙面上に筆記具７の先端部２３が接触する
と、圧力センサ２４がメイクして電源２２をオンし、モ
ード切換スイッチ２７の切換え位置によって選択されて
いるモードに対応する赤色ＬＥＤ２５あるいは青色ＬＥ
Ｄ２６を点灯し、発光部２９を選択されたモードの発光
色で発光させる。That is, in this embodiment, in FIG.
When the tip 23 of the writing instrument 7 comes into contact with the paper surface of the entry sheet 6, the pressure sensor 24 makes the power and turns on the power supply 22, and the red LED 25 or the blue LED 25 corresponding to the mode selected by the switching position of the mode switching switch 27. LE
D26 is turned on, and the light emitting unit 29 emits light in the emission color of the selected mode.
【００３５】データ処理装置１は、記入用紙の紙面上を
カメラ４で撮影し、筆記具７の赤色ＬＥＤ２５あるいは
青色ＬＥＤ２６が点灯した時、その点灯色を画像検出部
１１で検出して描画モードか編集モードかを判別し、筆
記具７により紙面上で文字あるいは編集コマンドの記入
が行われると、発光部２９の光の軌跡を画像検出部１１
で検出し、描画モードの場合は、画像認識部１２で記入
された文字データあるいは図形データを認識して、プロ
ジェクター３により文字データあるいは図形データを紙
面上に投射して表示し、編集モードの場合は、画像認識
部１２で編集コマンドを認識し、処理装置１６により処
理された編集結果をプロジェクター３により紙面上に投
射して表示する。The data processing apparatus 1 takes an image of the entry sheet with the camera 4 and, when the red LED 25 or the blue LED 26 of the writing instrument 7 is lit, detects the lit color by the image detecting unit 11 and switches to the drawing mode or the edit mode. Mode, and when writing or editing commands are written on the paper surface by the writing implement 7, the light trajectory of the light emitting unit 29 is detected by the image detecting unit 11.
In the case of the drawing mode, the image recognition unit 12 recognizes the entered character data or graphic data, and the projector 3 projects the character data or the graphic data onto the paper for display. The editing command is recognized by the image recognition unit 12, and the editing result processed by the processing device 16 is projected on the paper by the projector 3 and displayed.
【００３６】次に、本実施例の動作を説明する。Next, the operation of this embodiment will be described.
【００３７】上記図１において、データ処理装置１のケ
ース５の下方に置かれた記入用紙６の紙面上を筆記具７
の発光部２９を接触させると、圧力センサ２４がメイク
して電源２２をオンし、赤色ＬＥＤ２５あるいは青色Ｌ
ＥＤ２６を点灯するとともに、発光部２９を選択モード
の点灯色で発光する。In FIG. 1, a writing instrument 7 is placed on the paper of an entry form 6 placed under the case 5 of the data processing apparatus 1.
, The pressure sensor 24 makes a make and the power supply 22 is turned on, and the red LED 25 or the blue L
The ED 26 is turned on, and the light emitting unit 29 emits light in the selected mode lighting color.
【００３８】データ処理装置１では、記入用紙６の紙面
をカメラ４で撮影し、筆記具７の画像を取込んで画像検
出部１１で筆記具軌跡サンプリングフローを実行する。In the data processing apparatus 1, the paper surface of the entry sheet 6 is photographed by the camera 4, the image of the writing instrument 7 is taken in, and the image detecting section 11 executes the writing instrument trajectory sampling flow.
【００３９】この筆記具軌跡サンプリングフローについ
て図４に示すフローチャートに基づいて説明する。な
お、本処理は、一定のサンプリングタイミングで繰り返
し実行される。The writing tool trajectory sampling flow will be described with reference to the flowchart shown in FIG. This processing is repeatedly executed at a fixed sampling timing.
【００４０】図４において、まず、筆記具７の赤色ＬＥ
Ｄ２５あるいは青色ＬＥＤ２６の点灯による指示信号の
検出の有無を判別し（ステップＳ１）、指示信号を検出
すると、その点灯色が“赤”か“青”かを判別する（ス
テップＳ２）。点灯色が“赤”の時は、編集モードであ
ると判断し、記入用紙６の紙面の基準位置の原点座標及
びＸ軸を検出する（ステップＳ３）。この紙面の基準位
置としては、例えば、記入用紙の左端上を原点座標とし
て検出し、記入用紙の上端をＸ軸として検出する。In FIG. 4, first, the red LE of the writing implement 7 is set.
It is determined whether or not an instruction signal is detected by lighting the D25 or the blue LED 26 (step S1). When the instruction signal is detected, it is determined whether the lighting color is "red" or "blue" (step S2). When the lighting color is "red", it is determined that the editing mode is set, and the origin coordinates and the X axis of the reference position on the paper surface of the entry sheet 6 are detected (step S3). As the reference position on the paper surface, for example, the upper left end of the entry sheet is detected as the origin coordinates, and the upper end of the entry sheet is detected as the X axis.
【００４１】次いで、文字、図形あるいは編集コマンド
を記入のために紙面上を動かされる筆記具７の発光部２
９の光の軌跡をカメラ４で撮影し、その光の軌跡により
記入中の位置座標を検出し（ステップＳ４）、その検出
した位置座標データが前回検出した位置座標データと同
一か否かを判別する（ステップＳ５）。すなわち、筆記
具７に動きがあるか否かを判別し、今回検出した位置座
標データと前回検出した位置座標データが同一の時は、
本処理を終了し、今回検出した位置座標データと前回検
出した位置座標データが同一でない時は、今回検出した
位置座標データをＲＡＭ１３内に形成されたスタックメ
モリＳに格納して本処理を終了する（ステップＳ６）。Next, the light emitting section 2 of the writing instrument 7 which is moved on the paper for writing characters, figures or editing commands.
9 is photographed by the camera 4, the position coordinates being written are detected based on the light path (step S4), and it is determined whether or not the detected position coordinate data is the same as the previously detected position coordinate data. (Step S5). That is, it is determined whether or not the writing implement 7 has movement. When the position coordinate data detected this time and the position coordinate data detected last time are the same,
When this processing is completed and the position coordinate data detected this time and the position coordinate data detected last time are not the same, the position coordinate data detected this time is stored in the stack memory S formed in the RAM 13 and the processing ends. (Step S6).
【００４２】一方、上記ステップＳ２で筆記具７の点灯
色が“青”の時は、描画モードであると判断し、記入用
紙６の紙面の基準位置の原点座標及びＸ軸を検出する
（ステップＳ７）。この紙面の基準位置としては、例え
ば、記入用紙の左端上を原点座標として検出し、記入用
紙の上端をＸ軸として検出する。On the other hand, when the lighting color of the writing implement 7 is "blue" in step S2, it is determined that the drawing mode is set, and the origin coordinates and the X axis of the reference position on the paper surface of the entry paper 6 are detected (step S7). ). As the reference position on the paper surface, for example, the upper left end of the entry sheet is detected as the origin coordinates, and the upper end of the entry sheet is detected as the X axis.
【００４３】次いで、文字、図形あるいは編集コマンド
を記入のために紙面上を動かされる筆記具７の発光部２
９の光の軌跡をカメラ４で撮影し、その光の軌跡により
記入中の位置座標を検出し（ステップＳ８）、その検出
した位置座標データが前回検出した位置座標データと同
一か否かを判別する（ステップＳ９）。すなわち、筆記
具７に動きがあるか否かを判別し、今回検出した位置座
標データと前回検出した位置座標データが同一の時は、
筆記具７に動きがないため本処理を終了し、今回検出し
た位置座標データと前回検出した位置座標データが同一
でない時は、筆記具７に動きがあるため今回検出した位
置座標データをＲＡＭ１３内に形成されたスタックメモ
リＲに格納して本処理を終了する（ステップＳ１０）。Next, the light emitting unit 2 of the writing instrument 7 which is moved on the paper for writing characters, figures or editing commands.
9 is photographed by the camera 4, the position coordinates being written are detected based on the light path (step S8), and it is determined whether or not the detected position coordinate data is the same as the previously detected position coordinate data. (Step S9). That is, it is determined whether or not the writing implement 7 has movement. When the position coordinate data detected this time and the position coordinate data detected last time are the same,
This processing is terminated because the writing implement 7 does not move. When the position coordinate data detected this time and the position coordinate data detected last time are not the same, the position coordinate data detected this time is formed in the RAM 13 because the writing implement 7 has movement. The process is terminated after being stored in the stack memory R (step S10).
【００４４】以上の筆記具軌跡サンプリングフローによ
って筆記具７の発光部２９の光の軌跡を位置座標データ
として逐次検出し、その検出した位置座標データがＲＡ
Ｍ１３内に形成されたスタックメモリＳに逐次格納され
る。The locus of light of the light emitting portion 29 of the writing implement 7 is sequentially detected as position coordinate data by the above-described writing implement locus sampling flow, and the detected position coordinate data is RA.
It is sequentially stored in a stack memory S formed in M13.
【００４５】次に、編集モードの場合に、上記筆記具軌
跡サンプリングフローに続いて画像認識部１２により実
行される編集対象の認識処理フローについて図５に示す
フローチャートに基づいて説明する。Next, a description will be given, with reference to the flowchart shown in FIG. 5, of an editing object recognition processing flow executed by the image recognition unit 12 subsequent to the writing tool trajectory sampling flow in the editing mode.
【００４６】まず、上記筆記具軌跡サンプリングフロー
によってＲＡＭ１３内のスタックメモリＳに格納された
全位置座標データを順次読み出してＲＡＭ１４内に形成
されたメモリＴに順次格納し（ステップＳ２１）、スタ
ックメモリＳをクリアする（ステップＳ２２）。次い
で、メモリＴから位置座標データを順次読み出し（ステ
ップＳ２３）、ＲＡＭ１４内に形成されたブロックメモ
リＢに順次展開する（ステップＳ２４、Ｓ２５）。この
ブロックメモリＢに展開した位置座標データから編集範
囲が認識可能か否かを判別し、すなわち、本実施例で
は、記入用紙６の紙面上に記入された編集対象を囲む図
形が、閉じた図形であるか否かを判別するものとする
（ステップＳ２６）。閉じた図形になっていない場合
は、編集対象範囲が認識できないため、ブロックメモリ
Ｂ内の位置座標データを読み出してメインメモリ１５内
に形成されたメモリエリアＭに格納する（ステップＳ２
７）。メモリエリアＭに格納された位置座標データは、
処理装置１６が読み出して表示メモリ１７に書込み、表
示部（プロジェクター）３により記入用紙６の紙面上に
投影して表示した後、上記ステップＳ２３のメモリＴか
らの位置座標データの読み出し処理に戻る（ステップＳ
２８）。First, all the position coordinate data stored in the stack memory S in the RAM 13 are sequentially read out according to the writing tool trajectory sampling flow, and are sequentially stored in the memory T formed in the RAM 14 (step S21). Clear (step S22). Next, the position coordinate data is sequentially read from the memory T (step S23), and is sequentially expanded in the block memory B formed in the RAM 14 (steps S24 and S25). From the position coordinate data developed in the block memory B, it is determined whether or not the editing range can be recognized. That is, in this embodiment, the figure surrounding the editing target written on the paper of the entry sheet 6 is a closed figure. Is determined (step S26). If the figure is not a closed figure, since the edit target range cannot be recognized, the position coordinate data in the block memory B is read and stored in the memory area M formed in the main memory 15 (step S2).
7). The position coordinate data stored in the memory area M is
The processing device 16 reads the data, writes it in the display memory 17, projects it on the paper of the entry paper 6 by the display unit (projector) 3, and displays it, and then returns to the process of reading the position coordinate data from the memory T in step S23 (step S23). Step S
28).
【００４７】このステップＳ２７及びステップＳ２８の
処理によって、筆記具７によって記入される編集対象を
囲む図形が、その筆記具７の筆記動作に合わせてリアル
タイムで記入用紙６の紙面上に投影されて表示される。By the processing in steps S27 and S28, the figure surrounding the object to be edited written by the writing implement 7 is projected and displayed on the paper of the entry form 6 in real time in accordance with the writing operation of the writing implement 7. .
【００４８】一方、上記ステップＳ２６でブロックメモ
リＢに展開した位置座標データが閉じた図形の場合は、
編集対象範囲が認識可能であるため、メインメモリ１５
内のメモリエリアＭに格納した図形データにより表示中
の閉じた図形に対応する編集対象範囲をブリンク表示し
（ステップＳ２９）、メモリエリアＭ内の図形データを
消去し（ステップＳ３０）、編集対象を囲む図形データ
の表示を停止する（ステップＳ３１）。On the other hand, if the position coordinate data developed in the block memory B in step S26 is a closed figure,
Since the range to be edited can be recognized, the main memory 15
The edit target range corresponding to the closed graphic being displayed is blink-displayed by the graphic data stored in the memory area M in the memory area M (step S29), and the graphic data in the memory area M is erased (step S30). The display of the surrounding graphic data is stopped (step S31).
【００４９】以上の編集対象の認識処理により記入用紙
６に筆記具７によって記入される編集対象を囲む図形が
リアルタイムで投影されて表示されるとともに、その記
入中の図形が閉じて編集対象範囲が認識されたとき、そ
の編集対象がブリンク表示されて、編集対象を認識した
旨が明確にユーザーに通知される。By the above-described editing object recognition processing, the figure surrounding the editing object to be written by the writing implement 7 on the entry sheet 6 is projected and displayed in real time, and the figure being written is closed to recognize the editing object range. When the editing is performed, the editing target is blinked and the user is clearly notified that the editing target is recognized.
【００５０】次に、上記編集対象の認識処理に続いて編
集対象内のデータを編集処理する際の編集コマンドの認
識処理フローについて図６に示すフローチャートに基づ
いて説明する。Next, referring to the flowchart shown in FIG. 6, a description will be given of a flow of processing for recognizing an edit command when editing data in the object to be edited following the above-described processing for recognizing the object to be edited.
【００５１】まず、上記筆記具軌跡サンプリングフロー
によってＲＡＭ１３内のスタックメモリＳに格納された
全位置座標データを順次読み出してＲＡＭ１４内に形成
されたメモリＴに順次格納し（ステップＳ４１）、スタ
ックメモリＳをクリアする（ステップＳ４２）。次い
で、メモリＴから位置座標データを順次読み出し（ステ
ップＳ４３）、ＲＡＭ１４内に形成されたブロックメモ
リＢに順次展開する（ステップＳ４４、Ｓ４５）。この
ブロックメモリＢに展開した位置座標データから編集コ
マンドが認識可能か否かを判別し、すなわち、本実施例
では、記入用紙６の紙面上に記入された編集コマンド
が、予め設定された編集コマンドに対応する指示データ
であるか否かを判別するものとする（ステップＳ４
６）。編集コマンドに対応する指示データになっていな
い場合は、その記入中の編集コマンドが認識できないた
め、ブロックメモリＢ内の位置座標データを読み出して
メインメモリ１５内に形成されたメモリエリアＭに格納
する（ステップＳ２７）。メモリエリアＭに格納された
位置座標データは、処理装置１６が読み出して表示メモ
リ１７に書込み、表示部（プロジェクター）３により記
入用紙６の紙面上に投影して表示した後、上記ステップ
Ｓ４３のメモリＴからの位置座標データの読み出し処理
に戻る（ステップＳ４８）。First, all the position coordinate data stored in the stack memory S in the RAM 13 are sequentially read out according to the writing tool trajectory sampling flow, and are sequentially stored in the memory T formed in the RAM 14 (step S41). Clear (step S42). Next, the position coordinate data is sequentially read from the memory T (step S43), and is sequentially expanded in the block memory B formed in the RAM 14 (steps S44, S45). From the position coordinate data developed in the block memory B, it is determined whether or not the edit command can be recognized. That is, in the present embodiment, the edit command written on the paper of the entry sheet 6 is replaced with the preset edit command. (Step S4).
6). If the instruction data does not correspond to the editing command, the editing command being written cannot be recognized, so the position coordinate data in the block memory B is read and stored in the memory area M formed in the main memory 15. (Step S27). The position coordinate data stored in the memory area M is read out by the processing device 16 and written into the display memory 17, projected on the paper of the entry paper 6 by the display unit (projector) 3 and displayed, and then stored in the memory in step S 43. The process returns to the reading process of the position coordinate data from T (step S48).
【００５２】このステップＳ４７及びステップＳ４８の
処理によって、筆記具７によって記入される編集コマン
ドに対応する指示データが、その筆記具７の筆記動作に
合わせてリアルタイムで記入用紙６の紙面上に投影され
て表示される。例えば、本実施例では、先に指示された
編集対象範囲を移動させる編集コマンドととして“→”
の指示データを認識するものとする。By the processing in steps S47 and S48, the instruction data corresponding to the editing command written by the writing implement 7 is projected and displayed on the paper of the entry form 6 in real time in accordance with the writing operation of the writing implement 7. Is done. For example, in the present embodiment, “→” is used as an editing command to move the editing target range specified in advance.
Is recognized.
【００５３】一方、上記ステップＳ４６でブロックメモ
リＢに展開した位置座標データが移動に対応する編集コ
マンドの指示データであると認識できた場合は、その移
動先を検出し（ステップＳ４９）、先に認識した編集対
象範囲のデータを“→”で指示された方向に移動し（ス
テップＳ５０）、メモリエリアＭに格納した編集コマン
ドを消去し（ステップＳ５１）、処理装置１６が、その
編集コマンドに基づいて移動先に編集対象範囲を“→”
で指示された方向に移動表示させて本処理を終了する
（ステップＳ５２）。On the other hand, if the position coordinate data developed in the block memory B can be recognized as the instruction data of the edit command corresponding to the movement in the step S46, the movement destination is detected (step S49). The data of the recognized edit target range is moved in the direction indicated by “→” (step S50), the edit command stored in the memory area M is deleted (step S51), and the processing device 16 performs processing based on the edit command. To change the edit target range to “→”
The display is moved in the direction indicated by and the process ends (step S52).
【００５４】以上の編集コマンドの認識処理により記入
用紙６に筆記具７によって記入される編集コマンドがリ
アルタイムで投影されて表示されるとともに、その記入
した編集コマンドが認識されたとき、先に認識された編
集対象範囲の編集結果が表示される。By the above-described editing command recognition processing, the editing commands to be written by the writing implement 7 on the entry sheet 6 are projected and displayed in real time, and when the written editing commands are recognized, they are recognized first. The edit result of the edit target range is displayed.
【００５５】したがって、本実施例によれば、先端部が
発光する発光部２９を備えた筆記具７により記入用紙６
の記入面上で文字や図形を記入すると、その発光部２９
の筆記軌跡が逐次検出されて認識され、プロジェクター
３により記入面上にリアルタイムに記入データが投影表
示されるるとももに、編集対象範囲や編集コマンドも同
様に発光部２９の筆記軌跡が逐次検出されて認識され
て、投影表示される。Therefore, according to the present embodiment, the writing paper 6 is provided with the writing implement 7 having the light emitting portion 29 whose tip emits light.
When characters or figures are entered on the entry surface of the
Are sequentially detected and recognized, the entry data is projected and displayed on the entry surface in real time by the projector 3, and the writing trajectory of the light-emitting unit 29 is also successively detected in the editing target range and the editing command. Is recognized and projected.
【００５６】その結果、ユーザーは、手書き文字情報の
入力及び編集処理が容易になり、マンマシンインターフ
ェイスを向上させることができるとともに、データ処理
装置の使用環境の自由度を大幅に拡大することができ
る。As a result, the user can easily input and edit handwritten character information, improve the man-machine interface, and greatly expand the degree of freedom of the use environment of the data processing device. .
【００５７】また、本実施例のデータ処理装置を利用す
れば、従来のキーボードからコマンドを入力する場合や
表示されたコマンドのアイコンをマウス等のポインティ
ング装置により操作する場合に比べて、より簡単に編集
コマンドの入力操作を行うことができる。Further, the use of the data processing apparatus of this embodiment is easier than when a command is input from a conventional keyboard or when a displayed command icon is operated by a pointing device such as a mouse. An input operation of an edit command can be performed.
【００５８】なお、上記実施例では、編集コマンドとし
て“→”による移動指示の場合を説明したが、他の編集
コマンドととして、例えば、複写や消去等の編集コマン
ドも同様に記入用紙６の紙面上で指示することが可能で
あることは勿論である。In the above-described embodiment, the case where the edit command is a move instruction by “→” has been described. However, as other edit commands, for example, edit commands such as copying and erasing are similarly written on the paper of the entry sheet 6. Of course it is possible to indicate above.
【００５９】[0059]
【発明の効果】本発明によれば、記入された描画データ
が逐次撮影されて認識され、これが前記記入面に投影さ
れるので、各種の描画データの入力操作が簡単に行え、
筆記手段の表示色を切換えることにより編集処理を行わ
せることもでき、データ入力及び編集に対するマンマシ
ンインターフェースを向上させることができる。 According to the present invention, written drawing data
Are successively photographed and recognized, and this is projected on the entry surface.
The input operation of various drawing data can be performed easily,
Edit processing by switching the display color of writing means
Data entry and editing.
Interface can be improved.
【図１】本発明のデータ処理装置の一実施例の外観構成
図。FIG. 1 is an external configuration diagram of an embodiment of a data processing device according to the present invention.
【図２】図１のデータ処理装置のブロック構成図。FIG. 2 is a block diagram of the data processing device of FIG. 1;
【図３】図１の筆記具の一実施例の外観構成図。FIG. 3 is an external configuration diagram of an embodiment of the writing instrument of FIG. 1;
【図４】図２の画像検出部による筆記具軌跡サンプリン
グ処理のフローチャート。FIG. 4 is a flowchart of a writing instrument trajectory sampling process performed by the image detection unit in FIG. 2;
【図５】図２の画像認識部による編集対象の認識処理の
フローチャート。FIG. 5 is a flowchart of a process of recognizing an edit target by the image recognition unit of FIG. 2;
【図６】図２の画像認識部による編集コマンドの認識処
理のフローチャート。FIG. 6 is a flowchart of an edit command recognition process performed by the image recognition unit in FIG. 2;
１ データ処理装置 ２ ケース本体 ３ 表示部（プロジェクター） ４ カメラ ５ ケース ６ 記入用紙 ７ 筆記具 １１ 画像検出部 １２ 画像認識部 １３ ＲＡＭ １４ ＲＡＭ １５ メインメモリ １６ 処理装置 １７ 表示メモリ １８ Ｉ／Ｏ ２１ ケース本体 ２２ 電源 ２３ 先端部 ２４ 圧力センサ ２５ 赤色ＬＥＤ ２６ 青色ＬＥＤ ２７ モード切換スイッチ ２８ グラスファイバー ２９ 発光部 DESCRIPTION OF SYMBOLS 1 Data processing device 2 Case main body 3 Display part (projector) 4 Camera 5 Case 6 Entry paper 7 Writing implement 11 Image detection part 12 Image recognition part 13 RAM 14 RAM 15 Main memory 16 Processing device 17 Display memory 18 I / O 21 Case main body 22 Power Supply 23 Tip 24 Pressure Sensor 25 Red LED 26 Blue LED 27 Mode Switch 28 Glass Fiber 29 Light Emitting Part
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｇ０６Ｋ 9/20 ３４０ Ｇ０６Ｋ 9/20 ３４０Ｂ 9/62 9/62 Ｇ Ｇ０６Ｔ 11/60 Ｇ０６Ｔ 11/60 (56)参考文献 特開 平６−266498（ＪＰ，Ａ) 特開 平６−89125（ＪＰ，Ａ) 特開 平５−330289（ＪＰ，Ａ) 特開 平５−150901（ＪＰ，Ａ) 特開 平２−242320（ＪＰ，Ａ) 特開 平２−132510（ＪＰ，Ａ) 特開 昭63−303420（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 3/033 - 3/037 G06F 3/00 601 - 680 G06F 3/03 G06K 9/20 340 G06K 9/62 G06T 11/60 ────────────────────────────────────────────────── ─── Continued on the front page (51) Int.Cl. 7 Identification code FI G06K 9/20 340 G06K 9/20 340B 9/62 9/62 G G06T 11/60 G06T 11/60 (56) References JP JP-A-6-266498 (JP, A) JP-A-6-89125 (JP, A) JP-A-5-330289 (JP, A) JP-A-5-150901 (JP, A) JP-A-2-242320 (JP) JP-A-2-132510 (JP, A) JP-A-63-303420 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) G06F 3/033-3/037 G06F 3/00 601-680 G06F 3/03 G06K 9/20 340 G06K 9/62 G06T 11/60
Claims (1)
に描画する筆記手段と、 前記記入面を逐次撮影し、各表示色で描画された軌跡に
基づいて描画データを認識する認識手段と、 この認識手段で認識された描画データを前記記入面に投
影する投影手段と、 編集を示す表示色の描画データに基づく前記認識手段に
よる編集コマンドの認識に応じて、前記記入面に投影さ
れる描画データの編集処理を実行する処理手段と、 を具備したことを特徴とするデータ処理装置。1. A display surface in which a plurality of display colors are switched to each of the display colors.
Writing means for drawing on the writing surface, and sequentially photographing the entry surface, and forming a trajectory drawn in each display color.
Recognition means for recognizing drawing data based on the drawing data, and the drawing data recognized by the recognition means being projected on the entry surface.
The projection means for shadowing and the recognition means based on the drawing data of the display color indicating the editing
On the entry surface according to the recognition of the editing command by
And a processing unit for executing editing processing of the drawing data to be processed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20845693A JP3186361B2 (en) | 1993-07-29 | 1993-07-29 | Data processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20845693A JP3186361B2 (en) | 1993-07-29 | 1993-07-29 | Data processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0744314A JPH0744314A (en) | 1995-02-14 |
| JP3186361B2 true JP3186361B2 (en) | 2001-07-11 |
Family
ID=16556498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20845693A Expired - Fee Related JP3186361B2 (en) | 1993-07-29 | 1993-07-29 | Data processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3186361B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3344018B2 (en) * | 1993-07-29 | 2002-11-11 | カシオ計算機株式会社 | Information recognition device |
| JPH09258943A (en) * | 1996-03-19 | 1997-10-03 | Brother Ind Ltd | Auxiliary operation device for equipment |
-
1993
- 1993-07-29 JP JP20845693A patent/JP3186361B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0744314A (en) | 1995-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2669717C2 (en) | Handbook input / output system, digital ink sheet, information intake system and sheet supporting information input | |
| JP4250884B2 (en) | Electronic blackboard system | |
| JP3997566B2 (en) | Drawing apparatus and drawing method | |
| CN104166509B (en) | A kind of contactless screen exchange method and system | |
| EP0718748A2 (en) | Pointed-position detecting apparatus and method | |
| JP4513830B2 (en) | Drawing apparatus and drawing method | |
| WO1995034881A1 (en) | Interactive projected video image display system | |
| KR20020052217A (en) | Electronics device applying an image sensor | |
| JP5772390B2 (en) | Display device, display device control method, and program | |
| JPH08106354A (en) | Interpreting method of handwritten mark | |
| JPS63109591A (en) | Optical character reader | |
| JP2000259338A (en) | Input system, display system, presentation system and information storage medium | |
| JP3355708B2 (en) | Command processing device | |
| JP3186361B2 (en) | Data processing device | |
| JP3131859B2 (en) | Information recognition device | |
| JP3344018B2 (en) | Information recognition device | |
| JPS5935277A (en) | Controlling method by real-time recognition of handwritten character pattern | |
| JP3200642B2 (en) | Information recognition device | |
| JPH06131111A (en) | Device and method for character recognition | |
| JP3200643B2 (en) | Information recognition device | |
| JPH1078844A (en) | Information inputting device by camera and medium for recording program for the same | |
| US20230260079A1 (en) | Display method for and display apparatus | |
| JPH0749748A (en) | Command indicating device | |
| KR20180074833A (en) | Apparatus and Method for Presentation Image Processing considering Motion of Indicator | |
| JP2007018261A (en) | Image editing device, image sampling method, program, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080511 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090511 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090511 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100511 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |