JP3641485B2 - 記録方法および装置 - Google Patents
記録方法および装置 Download PDFInfo
- Publication number
- JP3641485B2 JP3641485B2 JP52128898A JP52128898A JP3641485B2 JP 3641485 B2 JP3641485 B2 JP 3641485B2 JP 52128898 A JP52128898 A JP 52128898A JP 52128898 A JP52128898 A JP 52128898A JP 3641485 B2 JP3641485 B2 JP 3641485B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pen
- images
- character
- characters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/17—Image acquisition using hand-held instruments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
- H04N1/10—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
- H04N1/107—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with manual scanning
- H04N1/1075—Arrangements for facilitating holding of the scanner, e.g. shapes, grips
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
- H04N1/10—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
- H04N1/107—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with manual scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
- H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
- H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/04—Scanning arrangements
- H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
- H04N2201/0414—Scanning an image in a series of overlapping zones
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Character Input (AREA)
- Image Input (AREA)
- Position Input By Displaying (AREA)
- Application Of Or Painting With Fluid Materials (AREA)
- Manufacturing Of Electric Cables (AREA)
- Vehicle Body Suspensions (AREA)
- Printers Characterized By Their Purpose (AREA)
- Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
- Sewing Machines And Sewing (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
- Power Steering Mechanism (AREA)
- Editing Of Facsimile Originals (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
Description
本発明は、請求項1の前段部分による、選択した文字列を記録するためのペン、並びに請求項7の前段部分による、そのような記録を行う方法に関するものである。
発明の背景
文章(テキスト)の読者は、文章の最も重要な部分に印を付け、次回その文章を通読するときに容易にこれを見つけ、関係のない部分を読まずに済むようにすることを、しばしば望む。この目的に対し、いわゆるハイライトペン(光彩ペン)を使うことが知られている。
読者はまた、文章の選択した部分を新しい文書としてまとめることが必要なこともあり、文書はコンピュータのワープロソフトで編集ができる。文章をコンピュータに入れるための既知の方法は、スキャナ(走査装置)を使うことである。スキャナには据置型スキャナと携帯型スキャナがある。据置型スキャナは、ページ全体の文章を走査するために使用し、スキャナは文章の上を自動的に一定速度で通される。この種のスキャナは、あるページのある文章の選択した部分を走査することには適していない。一方、携帯型スキャナは、これを目的として使うことができる。
米国特許第5,301,243号は、支持体上の文字列から文字を読むための手持式スキャナを開示している。このスキャナは、支持体と接触して読み込む文字の上を通過し、この支持体の細かい部分を「見る」光学系を有する。この光学系には、CCD(電荷結合素子)型のラインセンサがあり、それは一列の並ぶ複数の感光素子を有する。このスキャナが支持体上の文字の上を通過するとき、一連の文字およびその間のスペースを縦に「スライス(切断)したもの」として記録する。この「スライスしたもの」はディジタルビットマップ(digital bitmap)としてこのスキャナの中に記憶される。次に,OCR(光学式文字認識)ソフトを使って走査した文字を識別し、それらを文字コードのフォーマット(体裁)で、例えば、アスキー(ASCII)コードを使って、メモリ(記憶装置)に記憶する。文字認識は、スキャナの中、またはビットマップになされた文字が送られる外部のコンピュータで行うことができる。
携帯型スキャナを使うことに関する問題は、文字を正しく識別するために、このスキャナが、走査した「スライスしたもの」の間隔を知らねばならないことである。これは、スキャナを文字の上で一定の速度で通過させるか、そうでなければスキャナが非常に正確な距離計を有していなければならいことを意味するが、前者を手動で達成することは困難である。
上述の米国特許第5,301,243号では、この距離問題を車輪の形状の機械的距離計を使って除去している。しかし、機械的距離計は可動部品を有し、このことは耐久性および製造に関する限り欠点である。更に、この距離計が新聞等から情報を記録する場合、これらを堅い面上に置かなければ困難である。その上、この距離計は記録する情報を採る面に車輪を当接しなければ成らず、従ってこの面に当接するスキャナの端を大きくするので、記録すべき情報を見る可能性が減ぜられる。
既知の携帯型スキャナに関する別の問題は、それらを全時間実質的に一つの所定の方向に向けて保持しなければならないことである。更に詳しくは、センサを、ペンが動かされる方向と垂直に、即ち文字列に垂直に向けなければならない。もし、文字列を記録するときに、スキャナを他の方向に保持またはその縦軸周りに回転させると、走査した「スライス」に方向情報がないので、スキャナは記録した文字を識別することが困難であろう。これは、人が違えばスキャナの持ち方が違うことが多いので、先行技術の重大な欠点である。特に、右利きと左利きのスキャナの持ち方に違いがある。更に、スキャナを線に沿って動かすとき、人はしばしば手の位置を変える。これは、手に本等を持っており、この文章を記録したいときに特に問題である。
米国特許第4,949,391号は、距離計のない光学式スキャナを開示している。更に詳しくは、この光学式スキャナには2次元センサがあり、これがスキャナの通過する文章の内容を、部分的に重複して画像に記録する。しかし、この手持式スキャナは、実際は文字を解釈せずに記録する「愚鈍な」記録ユニットに過ぎない。その代りに、このスキャナを接続したコンピュータでOCR処理を行う。このスキャナは、画像から冗長な情報を持つ列を除去するために、逐次記録した画像を互いに関連づけ、保管場所が少ししか要らないようにしている。このスキャナは、車輪が決める所定の方向にしか動かせない。
発明の要約
この発明の一つの目的は、携帯型スキャナの先行技術の上述の問題を除去し、または少なくとも軽減すること、並びに、特に距離計を使わずに且つ一定速度で動かす必要なしに、選択した文字列の記録に使える方法およびペンを提供することである。
これに関連して、別の目的は、縦軸周りの異なる方法で回転して保持することができ、および、特に選択した文字列を記録する間、記録した文字の識別の信頼性を決定的に下げることなくペンをその縦軸周りに回転可能にする方法およびペンを提供することである。
これらの目的は、それぞれ請求項1および請求項7に述べる特徴を有する、選択した文字列を記録するためのペンおよび方法によって達成される。
上述のように、この発明によるペンおよび方法は、このペンを選択した文字列の上を通すことによって、文字列を記録するために使用する。この選択した列は、例えば1ないし数語または長い文章から選択した1ないし数文から成ってもよい。これらの文字は、英字、数字および/またはその他書かれた文字若しくは記号でもよい。これらの文字は、光学的に走査できる紙またはその他の媒体から走査してもよい。
このペンは、2次元センサ面を備える感光センサを含む。ここで、2次元センサ面とは、互いに垂直な二つの方向それぞれに二つ以上の画素を記録できるセンサ面を指す。このセンサは、CCD型が好ましい。それは、2次元画像をグレースケール(grey scale)またはカラーで記録できる。これらの画像は、各々明暗値によって決る複数の画素から成る。これらの画像の高さは、記録すべき最も高い文字に対して、本質的に余裕があるべきである。これらの画像の幅は、所望する画像記録頻度および利用できるセンサに基づいて選択できる。
更に、このペンは、少なくとも中央処理ユニット、メモリ、入/出力回路、およびこの発明による方法を実行するための指示プログラムを含む信号処理ユニットを含む。この信号処理ユニットは、適当にプログラムしたマイクロプロセッサを含むのが好ましい。この信号処理ユニットは、内容が部分的に重複する画像を使って、記録した画像を一つの画像に編集する。この編集は、これらの画像の水平方向情報は勿論、垂直情報も利用するように、垂直および水平の両方で行う。結果として、この複合画像に内容の重複はない。
画像を編集し終ったとき、信号処理ユニットがこの画像の中の文字を識別し、それらを文字コードのフォーマットでこのペンの中のメモリに記憶する。これは、このペンがスタンドアロン型(独立型)であることを意味する。しかし、外部コンピュータに適当に接続し、これに情報を伝送することができる。複合画像は、所定の最大長さであるのが好ましい。記録したがまだ編集してない画像の処理速度を増し、必要メモリを減らすために、画像を記録すると編集を逐次適当に実施する。そして、編集を同時に実行できるという事実が、記録した画像に対する必要メモリを減少する。この編集は、通常記録した画像を全て編集するまで続く。しかし、それは複合画像の所定の最大長さに達すると中断される。これに対して、記録完了後に編集を行ってもよく、この場合は所定の最大数の画像が記録でき、その後これらの画像が一つの画像に編集される。ペンは記録を再開する準備ができたことを表示する表示装置を有することができる。
2次元センサ面を備えるセンサを使うこと、内容が部分的に重複する画像を記録できることおよびそれらの画像を一つの画像に編集することによって、一定速度の運動または距離計の具備に対する必要性をなくすることができる。画像の内容が部分的に重複するために、これらの画像はそれ自体が相対位置についての情報、即ち距離情報を含み、この結果、距離計を使ってこの情報を記録する必要がない。更に、これらの重複画像がその相対位置を示す方向情報を含むので、ユーザは、文字識別を損うことなくこのペンを文章に対して任意の回転角度で保持でき、且つ画像を記録しながらペンを回転することさえできる。これは、使い勝手を可成り改善する。
ユーザが記録した文字列を、最初にそれを普通のコンピュータへ伝送する必要なく読めるように、このペンがディスプレーを有することが好ましい。
上述のように、編集の実行が可能であるように、記録した画像の内容に幾つかの重複がなければならない。この重複程度は、20%以上、好ましくは50%以上である。
記録した画像のコントラストを十分に大きくし、ペンを文字列に対して動かすことにより生ずるぼけを避けるため、ペンを文字列の上を通すとき、記録すべき文字を光パルスで照明するのが好ましい。この照明は、この装置に内蔵または取付けた照明手段、例えば、LED(発光ダイオード)を使って適宜達成することができる。この光パルスの周波数は、画像を記録するための周波数、即ち感光センサの内容を読むための周波数と同じとし、それと同期させるべきである。例えば、速くて機械的なシャッター(開閉器)をパルス照明の代りに使うことができる。しかし、これは装置を複雑にする。
画像を編集するとき、対となる各画像の対の内容間の最善の一致をもたらす重複位置を決定するために、逐次記録した画像を、可能性ある重複位置に関して二つ一組で調べるのが好ましい。この様に決定した重複位置を、この対の画像を編集するときに使用する。
この最善の重複位置を決定したとき、各重複画素に対して画素明暗度を決定するのが好ましい。この画素明暗度は、対となる画像そのものの画素の明暗度に基づく。この様にして決定した画素明暗度を最終複合画像に使う。
全画像を編集し終ったとき、この画像を、各々が1文字を含む複数のサブ画像に分割するのが好ましい。この分割は、物理的分割ではなく、全画像で行うべきで、実際の文字認識の準備を構成し、各文字を別々に解釈するのが好ましい。また、その代りに語全体またはその部分を解釈してもよい。
画素の明暗度を行毎におよび列毎に合計することによって複数の行和および列和を得、さらに得た行和および列和間の局部的最小値を識別することによって、画像をサブ画像に分割することができる。
複合画像の中の文字の識別は、ニューラルネットワークを使って行うのが都合がよい。
これに関連して、サブ画像の中の各画素の明暗度が決められ、入力信号を使って前記サブ画像の中の文字を識別するニューラルネットワークに、入力信号として送られるのが適当である。
文字の識別に先立って、もし必要なら、画像の中の文字が水平な行を形成するように、複合画像を回転することができる。これは、識別を容易にする。
この発明によるペンは、例えば、勉強しながら文章を記録するため、数値を走査するため、紙の形でだけ存在する古い文書に基づいて新しい文書を作るため、およびその他の多くの用途に使うことができる。
【図面の簡単な説明】
以下に本発明をその実現方法および使い方の例によって説明する。説明は、以下の添付図面を参照する。
図1は、本発明によるハイライトペンの実施例を示した概略的図である。
図2は、本発明によるハイライトペンの実施例における電子回路のブロック線図である。
図3は、本発明による方法の流れ線図で、その実行方式を示す。
図4a〜図4eは、本発明による方法の実施例を示す。
図5a〜図5cは、本発明による方法の他の実施例を示す。
図6a〜図6cは、本発明による方法の別の実施例を示す。
発明の詳細な説明
図1の本発明によるペンの実施例は、従来のハイライトペンとほぼ同じ形状のケーシング1を有する。このケーシング1は一つの短い端面に窓2を有し、これは文字を読取るべき、通常1枚の紙である記録媒体に当接または少し隔離して保持することが意図されている。窓2の幅は、所望の画像記録頻度、所望の最大牽引速度および利用できるセンサに基づいて選択する。窓2の高さは、記録すべき文字の最大高さより幾らか大きい。窓2は、このペンの縦軸と鋭角を成し、ユーザがこのペンを紙と所定の角度に保持するように案内する。更に、この窓は、紙と接して疲労することがないように、ケーシングの中に幾らか引込んでいる。
ケーシング1は、本質的に光学部分3、電子部分4および電源5を含む。
光学部分3には、LED6、レンズ系7および電子部分4とのインタフェースを構成する感光センサ8がある。
LED6は、記録媒体の目下窓の下にある部分を照明する役割を持つ。拡散体9をLED6の前に取付け、光を拡散する。
レンズ系7の役割は、感光センサ8の窓2の下にある記録媒体の部分の画像をできるだけ正確に投射することである。もし、センサ8の感光面積が窓2より小さければ、レンズ系7は画像の縮小もしなければならない。当業者は、この目的を満足する多数の異なるレンズ系を構成できるであろう。
この実施例では、感光センサ8がA/D変換器内蔵の2次元正方形CCDユニットから成る。そのようなセンサは市販されている。ここで、センサ8は、窓2に対して小さな角度で、それ自体のプリント基板11に取付けられる。
このペンの電源は、ケーシング内の別の区画13に取付けた電池12から供給される。
図2のブロック線図は、電子部分4を概略的に示す。それはプロセッサ(演算装置)20を含み、プロセッサはバス(母線)21の仲介によって、プロセッサのプログラムを記憶するROM22、このプロセッサの作業メモリを構成し且つセンサからの画像並びに識別および解釈した文字を記憶する読み/書きメモリ23、制御論理ユニット24、並びにセンサ8およびLED6に接続する。次に、この制御論理ユニット24は、ケーシングに取付けたディスプレー25、外部コンピュータに情報を送受信するための赤外線トランシーバ(赤外線無線送受信機)26、ユーザがこの装置を制御するためのボタン27、ユーザが文章を追跡するのを容易にする光ビームを出すトレーサ(追跡用)LED28、およびこのペンが文字を記録する用意ができたことを表示するLEDを含む表示装置29といった多数の周辺ユニットに接続されている。これらのメモリ、センサ、および周辺ユニットへの制御信号は、制御論理ユニット24で発生する。この制御論理ユニットは、プロセッサへの割込みの発生および優先順位づけも扱う。ボタン27、赤外線トランシーバ26、ディスプレー25およびトレーサLED28、並びにLED6は、この制御論理ユニットのレジスタ(一時記憶装置)でプロセッサの読み書きが行われることによってアクセスされる。ボタン27は、それらを作動しているとき、プロセッサ20への割込みを発生させる。
このペンは、次のように作動する。ユーザがこのペンを文章のある紙に向けて文字列の記録を始めたい位置に保持する。ボタン27を押してこのペンを作動させ、ペンを記録したい文章の上で動かし、文章を読むときと同様にこの文章をなぞる。トレーサLED28がこれらの行の追跡を容易にする光ビームを出す。ユーザがこのペンを作動させるとき、プロセッサ20は、LED6に25Hzの所定の周波数でストロボパルスの発生開始を指示し、センサが記録した画像を同じ周波数で読み/書きメモリ23に記憶する。しかし、画像の形で記憶される文章は、大量のメモリスペースを要し、また、コンピュータ例えばワープロソフトで直ちに使うことができない。従って、画像の文字は、アスキーコードを使って識別し、記憶する。ユーザが選択した文字列の上でペンを動かし終った、または行の終りまで来たときは、ペンを紙から上げて、作動状態にあるボタンを開放し、それによってプロセッサ20がLED6を消す。選択した文字列を記録したとき、ユーザは、記録した文章をディスプレー25上に表すように、またはこの文章を赤外線トランシーバ26を通じて外部コンピュータへ伝送するようにペンを制御できる。ユーザがしばしば正しい文字を走査したことを確かめたがるので、操作した文字情報を直接ディスプレー上に示し得ることが、非常に本質的であることが分った。
図3の流れ図は、この発明による方法の実行方式を示す。段階301で、内容の重複する画像を上に説明したペンを使って走査し、読み/書きメモリ23の現画像領域に記憶する。これらの画像は、画像の状態で、即ち各々白から黒までの範囲のグレースケール値を有する複数の画素を用いて記憶される。
全画像を現画像領域に記憶すると、直ちにこの画像の先の画像との編集を、もしそのような画像があれば、適当に始める(段階302)。もし先の画像が何もなければ、現行画像を読み/書きメモリの行画像領域に直接入れる。
画像の内容間で最善の一致を達成するために、現行画像を先の画像と如何に編集するかを決める必要があり、画像間のあらゆる可能性ある重複位置を画素レベルで調べ、重複量を次のように決定する:
(1)各重複画素位置に対して、含まれる二つの画素のグレースケール値を、もし後者が白でなければ、合計する。どの画素も白でない画素位置をプラス位置と称する。
(2)全てのプラス位置に対するグレースケール値を合計する。
(3)各画素位置の隣の画素を調べる。もし、重複する画素位置がプラス位置の隣でなく、白の画素および白でない画素からなる画素位置であれば、この白でない画素のグレースケール値を項目(2)の和から、事によると定数を掛けて、引く。
(4)上に述べたような最高重複量をもたらす重複位置を選択する。できた複合画像では、グレースケール値の平均値を使う。この様にして、重複領域でノイズを抑えることができる。編集は、この様にして垂直と水平の両方で行う。もし、編集したとき、画像が水平線に終らないことを検出したならば、複合画像を適当に調整して、例えば、複合画像を回転することによって、それが水平になるようにする。
この複合画像は、読み/書きメモリの行画像領域で次第に発展する。この行画像領域は、通常のタイプライターで打ち込まれたA4の文章の行を記憶するに十分な大きさであるのが好ましい。
段階303で、プロセッサ20のソフトウェアが行画像メモリ領域の複合画像を、各々1文字しか含まないサブ画像に分割する。この目的は、これらの文字を解釈するニューラルネットワークソフトウェアへの入力信号を創ることである。この分割は、複合画像の各画素行および各画素列に対するグレースケール値を合計することによって行う。得られた行の和および列の和に対する局部的な最小明暗度を検討することによって、各文字の広がりの境界を知ることができる。
もし、複合画像が1行を越える文章を含むならば、このようなことは文章が小さい場合に有り得るが、このときはサブ画像に分割する前に文章の行を分離し、且つ問題の行を選択しなければならない。この分離は、サブ画像に分けるために使うような手法を使って行うことができる。
段階304で、サブ画像を、各々の画素がグループ内の画素の平均グレースケール値に一致した画素で置換えられた画素のグループに分割することによって、所定の画素フォーマットに縮小する。もし必要なら、類似の縮小を、この発明による方法の他の段階の間で行うことができる。更に、文字をその平衡点に関して芯出しし、グレースケール値を、各画素のグレースケール値の二乗の和を値として与えて標準化する。
次に、段階305で、描かれた文字列の複合画像の各文字を解釈する。一緒に1文字しか含まないサブ画像を構成する画素のグレースケール値を、ニューラルネットワークへ入力信号として送る。このニューラルネットワークからの各出力は、このネットワークが認識できる文字を表している。このネットワークからの最高出力信号を有する出力を選択し、この様に選択される文字を、段階306で、所定の文字コードフォーマット、例えばアスキーコードを使って解釈した文字用であるメモリ領域の読み/書きメモリ23に記憶する。文字コードフォーマットでの文字識別および記憶を完了したとき、プロセッサは表示装置29を作動させてユーザに新しい文字列を記録する準備ができたことを知らせる(段階307)。次に、段階301へ戻る。
前記説明した段階は、関連するユニットおよび適当なソフトウェアを使って、プロセッサ20で実行される。そのようなソフトウェアは、当業者が前記の指示を使って創ることができる。文字認識は、適当な方法でプログラミングされたニューラルネットワークを使って行う。ニューラルネットワークは、例えば、米国014760マサチューセッツ州ネーティック、プライムパークウェー24、マスワーク社からMATLABニューラルネットワークツールボックスとして市販されている。
図4aから図4eは、文字列
を走査するとき、この発明による方法が如何に作用するかを説明する。図4aは、紙の上に小さい黒点の形の、ある程度の「ドットノイズ」も含む文章を示す。図4bは、センサを使って記録する画像を示す。この図から分るように、この画像の内容は一部重複する。文字「l」が1番画像に完全に見え、2番画像に部分的に見える。重複程度は、牽引速度、即ちセンサの内容を読出す周波数に関連して、ユーザがこの装置を文章の上を引く速度に依る。図4cは、複合画像全体がどの様に見えるかを示す。注意すべきは、画像がまだ画素の形で記憶されていることである。図4dは、全画像の、サブ画像への分割を示す。図4eは、ニューラルネットワークへの入力信号として使用する、基準化および正規化した文字を示す。この方法を実行し終ったとき、文章
がこのペンの読み/書きメモリにアスキーコードとして記憶される。
図示した実施例では、ペンを真っ直ぐ保持し、文字列を記録する間全く回転しなかった。もし、ペンをその縦軸周りに一定角度で回転して保持すると、画像は図5aのものになるだろう。この場合、画像を編集すると、傾斜した画像が得られ(図5b参照)、文字列を水平にする(図5c)ためには、それを回転しなければならない。どの程度の回転をすべきかを決定するためには、複合画像の文字の位置を2、3の場所で検出する。
もし、ペンを記録するときその縦軸の周りに回転すると、画像の傾斜が異なる。この例を図6aに示す。これらの画像を編集すると(図6b参照)、波形の文字列が得られる。それは、複合画像の文字の位置を複数の場所で検出し、異なる部分を異なる程度に回転することによって(図6c参照)、水平な線に整えることができる。
Claims (15)
- 文字列の上を通すことによって選択した文字列を記録するためのペンであって、文字を画像化するための感光センサ(8)および画像化した文字を識別し且つこれらをペンに文字コードフォーマットで記憶する信号処理ユニット(20〜24)を含むペンにおいて、感光センサ(8)が2次元センサ面を有し、このセンサが、各画像の内容が先の画像の内容と一部は重なるように、部分的に重複する内容の複数の画像を使って選択した文字列を画像化するようになされ、信号処理ユニット(20〜24)が、前記複数の画像から複合画像を創り且つペンの異なる運動速度および異なる回転角度に対して補償が得られるように、重複した画像だけを使って各画像を先の画像と垂直および水平の両方で編集するようになされ、画像化した文字の識別がこの複合画像に基づいて行われることを特徴とするペン。
- 請求項1によるペンであって、更に、記録すべき文字を証明するための光パルスを出すようにされた照明手段(6)を含むペン。
- 請求項1または請求項2によるペンにおいて、前記信号処理ユニット(20〜24)が文字を識別するためのニューラルネットワークを含むペン。
- 請求項1から請求項3の何れか一項によるペンにおいて、前記信号処理ユニットが前記複合画像を、各々1文字しか含まない複数の画像に分割するようにされたペン。
- 請求項1から請求項4の何れか一項によるペンであって、更に、このペンが文字を走査する準備ができたことを表示するための表示装置(29)を含むペン。
- 請求項1から請求項5の何れか一項によるペンであって、更に、識別した文字を示すためのディスプレー(25)を含むペン。
- ペンを使って選択した文字列を記録するための方法であって、
ペンを選択した文字列の上を通過させ、同時に、この選択した文字列を、各画像の内容が先の画像の内容と部分的に重複するように、複数の画像を使って画像化する工程、
前記複数の画像から複合画像を創り且つペンの異なる運動速度および異なる回転角度に対して補償が得られるように、重複した画像だけを使って各画像を先の画像と垂直および水平の両方で編集するために、このペンの中の信号処理ユニットを使う工程、
複合画像の中の文字を識別する工程、および
所定の文字コードフォーマットを使って、識別した文字を、このペンの中に記憶する工程を含む方法。 - 請求項7による方法であって、更に、前記ペンを記録すべき文字の上を通過させるとき、それらを光パルスで照明する工程を含む方法。
- 請求項7または請求項8による方法において、前記複数の画像を編集する工程が、逐次記録した各画像の対の内容間の最善の一致をもたらす重複位置を決定するために、逐次記録した画像を可能性ある重複位置に関して二つ一組で調べることを含み、この様に決定した重複位置をこの対の画像を編集する際に使用する方法。
- 請求項7から請求項9の何れか一項による方法において、前記記録した画像の編集をリアルタイムで行う方法。
- 請求項9による方法において、前記記録した画像が各々明暗度によって決る複数の画素から成り、更に、
前記最善の重複位置を決定してから前記対の画像を編集するとき、各重複画素に対する画素明暗度を、好ましくは平均値で決定する工程であって、その画素明暗度は対となる画像そのものの画素の明暗度に基づく工程、および
この様にして決定した画素明暗度を複合画像に使う工程を含む方法。 - 請求項7から請求項11の何れか一項による方法において、前記文字を識別する工程が、前記複合画像を各々1文字しか含まない複数のサブ画像に分割する工程を含む方法。
- 請求項12による方法において、前記複合画像が各々明暗度によって決る複数の画素から成り、前記複合画像を複数のサブ画像に分割する工程が、複数の行の和および列の和を得るために前記複合画像の画素の明暗度を行毎におよび列毎に合計する工程と、この複合画像をサブ画像に分割するために得た、これらの行の和および列の和間の局部的な最小値を識別する工程とを含む方法。
- 請求項12または請求項13による方法において、各サブ画像が各々明暗度によって決る複数の画素から成り、記録した画像の中の文字を識別する工程が、サブ画像の中の各画素の明暗度を決める工程と、それを、前記サブ画像の文字を入力信号を使って識別するようにされたニューラルネットワークに対する入力信号として送る工程とを含む方法。
- 請求項7から請求項14の何れか一項による方法であって、更に、前記文字の識別に先立って、前記画像の中の文字が水平な行を形成するように、前記複合画像を回転する工程を含む方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE9604008-4 | 1996-11-01 | ||
SE9604008A SE509327C2 (sv) | 1996-11-01 | 1996-11-01 | Sätt och anordning för registrering av tecken med hjälp av en penna |
PCT/SE1997/001827 WO1998020446A1 (en) | 1996-11-01 | 1997-11-03 | Recording method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001508204A JP2001508204A (ja) | 2001-06-19 |
JP3641485B2 true JP3641485B2 (ja) | 2005-04-20 |
Family
ID=20404465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP52128898A Expired - Fee Related JP3641485B2 (ja) | 1996-11-01 | 1997-11-03 | 記録方法および装置 |
Country Status (20)
Country | Link |
---|---|
US (1) | US6529645B2 (ja) |
EP (1) | EP1010131B1 (ja) |
JP (1) | JP3641485B2 (ja) |
KR (1) | KR20010033610A (ja) |
CN (1) | CN1160657C (ja) |
AT (1) | ATE258323T1 (ja) |
AU (1) | AU719267B2 (ja) |
BG (1) | BG63478B1 (ja) |
BR (1) | BR9712470A (ja) |
CA (1) | CA2270477C (ja) |
CZ (1) | CZ151999A3 (ja) |
DE (1) | DE69727320T2 (ja) |
ES (1) | ES2210502T3 (ja) |
ID (1) | ID21362A (ja) |
IL (1) | IL129663A0 (ja) |
PL (1) | PL333022A1 (ja) |
RU (1) | RU2198428C2 (ja) |
SE (1) | SE509327C2 (ja) |
WO (1) | WO1998020446A1 (ja) |
YU (1) | YU49124B (ja) |
Families Citing this family (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL118914A0 (en) | 1996-07-22 | 1996-10-31 | Zohar Argamanit Ltd | Hand-holdable optical scanner particularly useful as electronic translator |
JP3821267B2 (ja) * | 1999-01-18 | 2006-09-13 | 富士通株式会社 | 文書画像結合装置、文書画像結合方法及び文書画像結合プログラムを記録した記録媒体 |
WO2001001263A1 (en) * | 1999-06-28 | 2001-01-04 | C Technologies Ab | Recording of information |
EP1214681A1 (en) * | 1999-06-28 | 2002-06-19 | C Technologies AB | Reading pen |
SE516561C2 (sv) | 1999-06-28 | 2002-01-29 | C Technologies Ab | Läspenna för inläsning och behandling av text |
CN1206584C (zh) | 1999-08-30 | 2005-06-15 | 阿诺托知识产权许可贸易公司 | 记事本 |
SE517445C2 (sv) | 1999-10-01 | 2002-06-04 | Anoto Ab | Positionsbestämning på en yta försedd med ett positionskodningsmönster |
US20030061188A1 (en) | 1999-12-23 | 2003-03-27 | Linus Wiebe | General information management system |
US7295193B2 (en) | 1999-12-23 | 2007-11-13 | Anoto Ab | Written command |
US6992655B2 (en) | 2000-02-18 | 2006-01-31 | Anoto Ab | Input unit arrangement |
US7054487B2 (en) | 2000-02-18 | 2006-05-30 | Anoto Ip Lic Handelsbolag | Controlling and electronic device |
US7143952B2 (en) | 2000-03-21 | 2006-12-05 | Anoto Ab | Apparatus and methods relating to image coding |
US8418052B2 (en) | 2000-03-21 | 2013-04-09 | Anoto Aktiebolag (Anoto Ab) | Processing of documents |
SE0000949L (sv) | 2000-03-21 | 2001-09-22 | Anoto Ab | Positionsinformation |
US6586688B2 (en) | 2000-04-05 | 2003-07-01 | Anoto Ab | Information-related devices and methods |
US7050653B2 (en) | 2000-04-05 | 2006-05-23 | Anoto Ab | Identification of virtual raster pattern |
SE519145C2 (sv) | 2000-06-02 | 2003-01-21 | C Technologies Ab | Förfarande och anordning för registrering av information |
SE516567C2 (sv) * | 2000-06-07 | 2002-01-29 | Anoto Ab | Förfarande och anordning för säker trådlös överföring av information |
US6722574B2 (en) | 2000-09-07 | 2004-04-20 | Anoto Ab | Business card |
US7221810B2 (en) | 2000-11-13 | 2007-05-22 | Anoto Group Ab | Method and device for recording of information |
SE0004144L (sv) * | 2000-11-13 | 2002-05-14 | C Technologies Ab | Textpussling |
US7333947B2 (en) | 2000-11-13 | 2008-02-19 | Anoto Ab | Network-based system |
WO2002093467A1 (en) | 2001-05-11 | 2002-11-21 | Anoto Ab | Electronic pen with actuation through removal of cap |
US7916124B1 (en) | 2001-06-20 | 2011-03-29 | Leapfrog Enterprises, Inc. | Interactive apparatus using print media |
SE0102232L (sv) | 2001-06-25 | 2003-02-06 | Anoto Ab | Förfarande och anordning i ett digitalt kommunikationssystem |
DE60110218D1 (de) * | 2001-06-25 | 2005-05-25 | Suisse Electronique Microtech | Lichtgriffel |
US7202963B2 (en) | 2001-06-28 | 2007-04-10 | Anoto Ab | Method for processing information |
JP2004118563A (ja) * | 2002-09-26 | 2004-04-15 | Fuji Photo Film Co Ltd | 文字画像処理方法および装置並びにプログラム |
US7200560B2 (en) * | 2002-11-19 | 2007-04-03 | Medaline Elizabeth Philbert | Portable reading device with display capability |
US20050060644A1 (en) * | 2003-09-15 | 2005-03-17 | Patterson John Douglas | Real time variable digital paper |
SE0303370D0 (sv) | 2003-12-16 | 2003-12-16 | Anoto Ab | Method, apparatus, computer program and storage medium for recording a movement of a user unit |
JP5006049B2 (ja) * | 2004-01-13 | 2012-08-22 | ザ・ユニバーシティ・オブ・トレド | 非侵襲複屈折補償感知旋光計 |
US20060078866A1 (en) * | 2004-03-17 | 2006-04-13 | James Marggraff | System and method for identifying termination of data entry |
US20060077184A1 (en) * | 2004-03-17 | 2006-04-13 | James Marggraff | Methods and devices for retrieving and using information stored as a pattern on a surface |
US20060067576A1 (en) * | 2004-03-17 | 2006-03-30 | James Marggraff | Providing a user interface having interactive elements on a writable surface |
US7327868B2 (en) * | 2004-06-04 | 2008-02-05 | Hewlett-Packard Development Company, L.P. | Magnetic stripline scanner |
US7565034B2 (en) * | 2004-06-17 | 2009-07-21 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Determination of a navigation window in an optical navigation system |
JP2006301941A (ja) * | 2005-04-20 | 2006-11-02 | Hitachi Maxell Ltd | ペン型入力装置のフレーム構造、ペンのフレーム構造、電子ペンのフレーム構造および電子ペン |
JP4881584B2 (ja) * | 2005-06-28 | 2012-02-22 | 株式会社ブリヂストン | 凹凸図形検査のためのマスターデータの作成方法 |
US7922099B1 (en) | 2005-07-29 | 2011-04-12 | Leapfrog Enterprises, Inc. | System and method for associating content with an image bearing surface |
CN100446536C (zh) * | 2005-09-30 | 2008-12-24 | 中国科学院长春光学精密机械与物理研究所 | 采用面阵探测器的便携式电子记录笔及扫描方法 |
RU2457532C2 (ru) * | 2006-03-10 | 2012-07-27 | Кенджи Йошида | Система обработки ввода для устройства обработки информации |
US8261967B1 (en) | 2006-07-19 | 2012-09-11 | Leapfrog Enterprises, Inc. | Techniques for interactively coupling electronic content with printed media |
US8054512B2 (en) * | 2007-07-30 | 2011-11-08 | Palo Alto Research Center Incorporated | System and method for maintaining paper and electronic calendars |
JP5305757B2 (ja) * | 2008-06-30 | 2013-10-02 | 株式会社東芝 | 画像処理装置、超音波診断装置、および画像処理プログラム |
US8441695B2 (en) * | 2009-05-20 | 2013-05-14 | Dacuda Ag | Handheld scanner with high image quality |
US8582182B2 (en) * | 2009-05-20 | 2013-11-12 | Dacuda Ag | Automatic sizing of images acquired by a handheld scanner |
US9300834B2 (en) * | 2009-05-20 | 2016-03-29 | Dacuda Ag | Image processing for handheld scanner |
CN101882212B (zh) * | 2010-06-01 | 2012-12-12 | 福建新大陆电脑股份有限公司 | 一种条码图像的获取方法 |
EP2660754A4 (en) | 2010-12-27 | 2018-01-17 | Hanwang Technology Co., Ltd. | Device and method for scanning and recognizing |
CN102222222A (zh) * | 2011-05-27 | 2011-10-19 | 汉王科技股份有限公司 | 跳帧扫描识别装置和方法 |
CN102393903B (zh) * | 2011-07-15 | 2013-10-30 | 汉王科技股份有限公司 | 基于三轴加速计的扫描识别装置和方法 |
WO2013084560A1 (ja) * | 2011-12-07 | 2013-06-13 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 電子文書の表示を行う方法、並びにその装置及びコンピュータ・プログラム |
US8873892B2 (en) * | 2012-08-21 | 2014-10-28 | Cognex Corporation | Trainable handheld optical character recognition systems and methods |
US10068153B2 (en) | 2012-08-21 | 2018-09-04 | Cognex Corporation | Trainable handheld optical character recognition systems and methods |
AU2013306539B2 (en) | 2012-08-23 | 2016-02-25 | Samsung Electronics Co., Ltd. | Information transmission method and system, device, and computer readable recording medium thereof |
EP3703001A1 (en) | 2013-08-31 | 2020-09-02 | ML Netherlands C.V. | User feedback for real-time checking and improving quality of scanned image |
US10142522B2 (en) | 2013-12-03 | 2018-11-27 | Ml Netherlands C.V. | User feedback for real-time checking and improving quality of scanned image |
WO2015104235A1 (en) | 2014-01-07 | 2015-07-16 | Dacuda Ag | Dynamic updating of composite images |
EP3748953B1 (en) | 2014-01-07 | 2024-04-17 | ML Netherlands C.V. | Adaptive camera control for reducing motion blur during real-time image capture |
US10484561B2 (en) | 2014-05-12 | 2019-11-19 | Ml Netherlands C.V. | Method and apparatus for scanning and printing a 3D object |
US9679179B2 (en) | 2015-08-31 | 2017-06-13 | I.R.I.S. | Method for processing information from a hand-held scanning device |
BE1023380B1 (fr) * | 2015-08-31 | 2017-03-01 | I.R.I.S. S.A. | Procédé de traitement d'informations provenant d'un dispositif de numérisation à main |
BE1023388B1 (fr) * | 2015-08-31 | 2017-03-01 | I.R.I.S. S.A. | Procédé et système pour corriger une image provenant d'un dispositif de numérisation à main |
US9692929B2 (en) | 2015-08-31 | 2017-06-27 | I.R.I.S. | Method and system for correction of an image from a hand-held scanning device |
DE102016119510B4 (de) * | 2015-10-16 | 2024-06-27 | Cognex Corporation | Lernfähige tragbare Systeme zur optischen Zeichenerkennung und Verfahren |
CN108182433B (zh) * | 2017-12-29 | 2020-07-14 | 北京易达图灵科技有限公司 | 一种表计读数识别方法及*** |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4441205A (en) * | 1981-05-18 | 1984-04-03 | Kulicke & Soffa Industries, Inc. | Pattern recognition system |
US5023922A (en) * | 1985-06-07 | 1991-06-11 | Soricon Corporation | Optical character reader |
US4949391A (en) * | 1986-09-26 | 1990-08-14 | Everex Ti Corporation | Adaptive image acquisition system |
US5280545A (en) * | 1988-12-29 | 1994-01-18 | Canon Kabushiki Kaisha | Image information processing apparatus capable of synthesizing front- and back-surface information |
US5301243A (en) * | 1990-12-21 | 1994-04-05 | Francis Olschafskie | Hand-held character-oriented scanner with external view area |
US5251268A (en) * | 1991-08-09 | 1993-10-05 | Electric Power Research Institute, Inc. | Integrated method and apparatus for character and symbol recognition |
US5657402A (en) | 1991-11-01 | 1997-08-12 | Massachusetts Institute Of Technology | Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method |
JP3647885B2 (ja) * | 1993-05-07 | 2005-05-18 | 日本電信電話株式会社 | 画像処理装置 |
GB2288512B (en) * | 1994-04-14 | 1998-08-26 | Matsushita Electric Ind Co Ltd | Image processing apparatus |
US5787194A (en) * | 1994-11-08 | 1998-07-28 | International Business Machines Corporation | System and method for image processing using segmentation of images and classification and merging of image segments using a cost function |
US5812704A (en) * | 1994-11-29 | 1998-09-22 | Focus Automation Systems Inc. | Method and apparatus for image overlap processing |
US6148118A (en) * | 1995-07-05 | 2000-11-14 | Minolta Co., Ltd. | Image processing apparatus capable of reproducing large-sized document |
-
1996
- 1996-11-01 SE SE9604008A patent/SE509327C2/sv not_active IP Right Cessation
-
1997
- 1997-11-03 CZ CZ991519A patent/CZ151999A3/cs unknown
- 1997-11-03 CN CNB971802076A patent/CN1160657C/zh not_active Expired - Fee Related
- 1997-11-03 EP EP97911571A patent/EP1010131B1/en not_active Expired - Lifetime
- 1997-11-03 JP JP52128898A patent/JP3641485B2/ja not_active Expired - Fee Related
- 1997-11-03 PL PL97333022A patent/PL333022A1/xx unknown
- 1997-11-03 AT AT97911571T patent/ATE258323T1/de not_active IP Right Cessation
- 1997-11-03 RU RU99111749/09A patent/RU2198428C2/ru not_active IP Right Cessation
- 1997-11-03 IL IL12966397A patent/IL129663A0/xx unknown
- 1997-11-03 DE DE1997627320 patent/DE69727320T2/de not_active Expired - Lifetime
- 1997-11-03 ES ES97911571T patent/ES2210502T3/es not_active Expired - Lifetime
- 1997-11-03 WO PCT/SE1997/001827 patent/WO1998020446A1/en not_active Application Discontinuation
- 1997-11-03 KR KR1019997003869A patent/KR20010033610A/ko not_active Application Discontinuation
- 1997-11-03 ID IDW990274A patent/ID21362A/id unknown
- 1997-11-03 CA CA002270477A patent/CA2270477C/en not_active Expired - Fee Related
- 1997-11-03 YU YU20699A patent/YU49124B/sh unknown
- 1997-11-03 AU AU48905/97A patent/AU719267B2/en not_active Ceased
- 1997-11-03 BR BR9712470-2A patent/BR9712470A/pt not_active IP Right Cessation
-
1999
- 1999-04-28 BG BG103367A patent/BG63478B1/bg unknown
- 1999-04-29 US US09/301,856 patent/US6529645B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
SE9604008D0 (sv) | 1996-11-01 |
CA2270477A1 (en) | 1998-05-14 |
ID21362A (id) | 1999-05-27 |
ATE258323T1 (de) | 2004-02-15 |
US20020001418A1 (en) | 2002-01-03 |
IL129663A0 (en) | 2000-02-29 |
EP1010131B1 (en) | 2004-01-21 |
YU20699A (sh) | 2000-03-21 |
YU49124B (sh) | 2004-03-12 |
BG63478B1 (bg) | 2002-02-28 |
CN1239563A (zh) | 1999-12-22 |
ES2210502T3 (es) | 2004-07-01 |
KR20010033610A (ko) | 2001-04-25 |
BR9712470A (pt) | 1999-12-21 |
AU719267B2 (en) | 2000-05-04 |
PL333022A1 (en) | 1999-11-08 |
BG103367A (en) | 2000-02-29 |
WO1998020446A1 (en) | 1998-05-14 |
CN1160657C (zh) | 2004-08-04 |
DE69727320T2 (de) | 2004-11-18 |
EP1010131A1 (en) | 2000-06-21 |
CZ151999A3 (cs) | 1999-08-11 |
RU2198428C2 (ru) | 2003-02-10 |
SE509327C2 (sv) | 1999-01-11 |
AU4890597A (en) | 1998-05-29 |
CA2270477C (en) | 2007-07-31 |
SE9604008L (sv) | 1998-05-02 |
US6529645B2 (en) | 2003-03-04 |
DE69727320D1 (de) | 2004-02-26 |
JP2001508204A (ja) | 2001-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3641485B2 (ja) | 記録方法および装置 | |
AU752626B2 (en) | Recording of information | |
US6906699B1 (en) | Input unit, method for using the same and input system | |
US8119975B2 (en) | High speed deterministic, non-contact, 3-axis free trajectory measurement device and free trajectory imaging device | |
AU758036B2 (en) | Input unit, method for using the same and input system | |
JPH07508365A (ja) | ハンドヘルドの文字に適したスキャナ | |
US6985643B1 (en) | Device and method for recording hand-written information | |
US4962432A (en) | Selective retrieval of data from microfilm images of different forms by reading a memory index form cord (bar code) recorded on each image frame | |
JP3980798B2 (ja) | 筆記情報入力システム | |
EP1073945B1 (en) | Device and method for recording hand-written information | |
US20120008820A1 (en) | Microform Word Search Method and Apparatus | |
US6715686B1 (en) | Device for recording information in different modes | |
EP1073990A1 (en) | Device for recording information in different modes | |
EP1073989A1 (en) | Device for recording information in different modes | |
WO2009123750A2 (en) | High speed deterministic, non-contact, 3-axis free trajectory measurement device and free trajectory imaging device | |
JPH0223492A (ja) | 光学的文字読取装置 | |
JP2833040B2 (ja) | 光学的文字読み取り装置 | |
JP2005070980A (ja) | バーコード読み取り装置、バーコード読み取り方法及びバーコード読み取りプログラム | |
Craig | Interactive digital processing of optical data | |
JPH02247782A (ja) | スキャナ | |
JPS6368890A (ja) | 画像処理方法 | |
JPS62147856A (ja) | 表示機能付携帯用複写機 | |
KR20000065659A (ko) | 인쇄된 활자를 줄 단위로 읽거나 사용자의 메모를 인식하여 기억해두는 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050124 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080128 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090128 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090128 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100128 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110128 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110128 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120128 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130128 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130128 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |