JP2005092436A - 符号情報読み出し装置、そのプログラム、及びそれを利用したペン型データ入力装置 - Google Patents
符号情報読み出し装置、そのプログラム、及びそれを利用したペン型データ入力装置 Download PDFInfo
- Publication number
- JP2005092436A JP2005092436A JP2003323290A JP2003323290A JP2005092436A JP 2005092436 A JP2005092436 A JP 2005092436A JP 2003323290 A JP2003323290 A JP 2003323290A JP 2003323290 A JP2003323290 A JP 2003323290A JP 2005092436 A JP2005092436 A JP 2005092436A
- Authority
- JP
- Japan
- Prior art keywords
- code
- mark
- synchronization
- image
- pen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005484 gravity Effects 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 18
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 101000579646 Penaeus vannamei Penaeidin-1 Proteins 0.000 description 32
- 239000011159 matrix material Substances 0.000 description 29
- 239000013598 vector Substances 0.000 description 26
- 238000010586 diagram Methods 0.000 description 21
- 230000001133 acceleration Effects 0.000 description 15
- 239000000463 material Substances 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 8
- 238000002156 mixing Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 101000579647 Penaeus vannamei Penaeidin-2a Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Character Discrimination (AREA)
Abstract
【課題】 紙面上に付された符号をカメラを用いて紙面に対して斜め方向から撮影した場合、その符号を正確に読み取り、かつ高速で読み取ることができる符号読み取り装置を提供する。
【解決手段】 同期マークと符号マークからなる2次元符号が記録された面から2次元イメージセンサによりその2次元符号を読み出し、読み出した画像から同期マークと符号マークを分離し、同期マークおよび符号マークの重心を計算し、分類された同期マークの重心から射影効果の補正も含むマークの格子パラメータを計算し、この格子パラメータを用いて、分類された符号マークから、符号ドット位置を計算し、計算された符号位置から2次元符号のブロック番号を検出することにより、課題の解決を図る。
【選択図】 図1
【解決手段】 同期マークと符号マークからなる2次元符号が記録された面から2次元イメージセンサによりその2次元符号を読み出し、読み出した画像から同期マークと符号マークを分離し、同期マークおよび符号マークの重心を計算し、分類された同期マークの重心から射影効果の補正も含むマークの格子パラメータを計算し、この格子パラメータを用いて、分類された符号マークから、符号ドット位置を計算し、計算された符号位置から2次元符号のブロック番号を検出することにより、課題の解決を図る。
【選択図】 図1
Description
本発明は、筆記者により筆記された文字又は図形をコンピュータに取り込むための装置及びプログラムに関する。
現在、個人携帯用端末機またはコンピュータ応用機器にペンの筆記内容を入力するためにLCD(Liquid Crystal Display)タブレットやデジタイザタブレットのような2次元センサ配列を含む入力装置が広く使われている。このような入力装置は、比較的大面積の2次元センサ配列を必要とするために、別の感知平面が必要である。したがって、携帯し難くて所定の空間を占め、またコスト面でも短所がある。
よって、従来においてこのような問題を解消するために、物理的タブレットなしに一般の平面上で単一電子ペンだけを利用した。このとき、この単一電子ペンが文書入力が可能であれば、従来のペン入力装置に比べて広い入力空間を提供されるために自然な筆記入力が可能なので非常に効果的である。
このような自己運動感知方式の電子ペンを利用した文書または絵の入力のためには、ある基準座標系に対する電子ペンチップの位置座標を連続的に求められなければならない。
しかし、大部分の筆記動作はペンを筆記面と接触させたダウン状態で行い、移動する場合にはペンを筆記面と接触しないアップ状態となる。ペンの連続的な座標値を求めるためには、接触または非接触状態でもその位置値を精密に測定できる手段を必要とする。
しかし、大部分の筆記動作はペンを筆記面と接触させたダウン状態で行い、移動する場合にはペンを筆記面と接触しないアップ状態となる。ペンの連続的な座標値を求めるためには、接触または非接触状態でもその位置値を精密に測定できる手段を必要とする。
従来の電子ペン状の入力装置のタイプには、外部座標測定法、内部座標測定法、及び紙面座標印刷法の大きく3種類ある。
外部座標測定法とは、ペン外部でペンチップの座標を測定する方式のことであり、例えば、3角測量方式(特許文献1)、電磁波(特許文献2)、または超音波(特許文献3)の飛行時間差を利用する方式などがある。
外部座標測定法とは、ペン外部でペンチップの座標を測定する方式のことであり、例えば、3角測量方式(特許文献1)、電磁波(特許文献2)、または超音波(特許文献3)の飛行時間差を利用する方式などがある。
内部座標測定法とは、ペン内部でペンチップの座標を測定する内蔵方式で、ペン内部でペンチップの運動を感知する方式であって、初期にはペン内部に装着された2軸または3軸加速度センサを利用して二重積分を通じて電子ペンの位置運動を求める方式(特許文献4、特許文献5、特許文献6)が提案された。
紙面座標印刷法とは、紙面上一面に細かい点で座標の記録を行い、この座標をペンに実装された2次元イメージセンサ(カメラ)にて読み込み、その座標にてペンの軌跡を算出する方法が提案されている(特許文献7)。
さて、平面状の素材に記録されたシンボルを光学的に読み取り、得られた画像データを処理して座標を入力する方法がある。座標データを表すシンボルの選定と配列のやり方によって以下のようなものが考えられてきた。
さて、平面状の素材に記録されたシンボルを光学的に読み取り、得られた画像データを処理して座標を入力する方法がある。座標データを表すシンボルの選定と配列のやり方によって以下のようなものが考えられてきた。
(1)固定ブロック法:ブロックと座標を表す数値を異なるシンボルで表現し、所定のブロック単位で並べる。ブロックサイズ以下の分解能はブロックの基準点が撮像画面のどの位置にあるかで割り出す方法である。これには、ブロック同期を検出するために数値とは別の同期方法が必要である(例えば、特許文献8。)。また、バーコードを拡張した2次元コードを用いて座標を表す方法もある(例えば、特許文献9、特許文献10、特許文献11。)。
(2)巡回パターン法:ブロック同期用のシンボルは用いず、シンボルの並びとしてパターンを順次構成し、パターン自体の自己同期性を利用して座標を決める。自己同期性のあるパターンの代表的なものは1次元のM系列(最大長周期系列)で、周期2^k−1のM系列は、系列から切出した連続kビットのパターン(以下、ウィンドウパターンと呼ぶ)が、1周期中の他のどの位置から切出したウィンドウパターンとも異なるという性質がある。
始点から順に観測されるパターンを順番と対応付けて求めておけば、観測されたウィンドウパターンからその始点からの位置がわかる。シンボルを直線ないしは円周上に1次元に配置したものがリニアエンコーダやロータリーエンコーダとして、長さや回転角の測定に使われている(例えば、特許文献12)。
M系列を2次元に拡張したM平面から面上の位置計測をすることが考えられてきた。平面上の異なる位置から切出したウィンドウパターンがいずれも他と異なるという性質を利用するものである(例えば、非特許文献1、非特許文献2、特許文献13。)。M平面を構成するための生成多項式には制限があるので、拡張性をもたせるためにx,yそれぞれの方向に1次元のM系列を用いるパターン構成法が考えられた(例えば、特許文献7、特許文献14)。
特許文献7は、縦方向の第1のM系列を、横方向の第2のM系列で巡回シフトして2次元の全面パターンを形成するものである。
特許文献14は、M系列に類似の巡回パターンを座標軸に直交する方向に位相を変えて並べるもので、x,y方向に独立に復号できるシンボルを用いている。この方法では、隣接する巡回パターンの位相差に制限を加えてブロックを構成するとともに、ブロック内で観測される位相の組み合わせてブロックの基準座標値を表現する。ブロックサイズ以下の分解能は固定ブロック法と同様にして割り出すことになる。
米国特許第5166668号明細書
米国特許第5977958号明細書
米国特許第4478674号明細書
米国特許第5247137号
国際公開WO第94/09447号パンフレット
米国特許第5587558号明細書
国際公開第WO92/17859号パンフレット
米国特許第5852434号明細書
米国特許第4924078号明細書
米国特許第4939354号明細書
特開平7−254037号公報
米国特許第3531798号明細書
特開平6−309084号公報
国際公開第WO00/73981号パンフレット
今井,片山「M平面を用いた2次元面の1位置検出装置」,電子通信学会論文誌(A),vol.J59−A,no.3,PP.260−262(1976−03)
MacWilliams,Sloane「pseudo−Random Sequences and Arrays」,PIEEE vol.64,no.12,pp.1715−1729(1976−12)
特許文献14は、M系列に類似の巡回パターンを座標軸に直交する方向に位相を変えて並べるもので、x,y方向に独立に復号できるシンボルを用いている。この方法では、隣接する巡回パターンの位相差に制限を加えてブロックを構成するとともに、ブロック内で観測される位相の組み合わせてブロックの基準座標値を表現する。ブロックサイズ以下の分解能は固定ブロック法と同様にして割り出すことになる。
さて、ペンを使用して紙面に文字等を筆記する場合、通常、ペン先は紙面に対して傾斜した状態となる。もし、このとき、そのペン先付近をカメラで撮影した場合には、撮影した画像は紙面の正面から撮影した画像と比べ、歪んでしまう。
したがって、紙面に座標を示す所定のシンボルを付し、そのシンボルをペンに取り付けたカメラで撮影しペン位置の座標を取得しようとすると、そのシンボルは画像内で歪んだ状態となっているので、そのシンボルを正しく読み取ることができない場合が生じる。
したがって、紙面に座標を示す所定のシンボルを付し、そのシンボルをペンに取り付けたカメラで撮影しペン位置の座標を取得しようとすると、そのシンボルは画像内で歪んだ状態となっているので、そのシンボルを正しく読み取ることができない場合が生じる。
また、このような歪んだ画像を画像処理でこのひずみを修正するにしても、かなりの処理時間を要してしまう。
上記の問題点を解決するために、本発明では、紙面上に付された符号をカメラを用いて紙面に対して斜め方向から撮影した場合、その符号を正確に読み取り、かつ高速で読み取ることができる符号読み取り装置、それを搭載した電子ペン、およびプログラムを提供する。
上記の問題点を解決するために、本発明では、紙面上に付された符号をカメラを用いて紙面に対して斜め方向から撮影した場合、その符号を正確に読み取り、かつ高速で読み取ることができる符号読み取り装置、それを搭載した電子ペン、およびプログラムを提供する。
上記課題は、特許請求の範囲の請求項1に記載の発明によれば、所定の情報を表す符合マークと、該符号マークの前記情報を読み出す場合に同期をとるための同期マークと、からなる格子が複数記録された面を撮像する撮像手段と、前記撮像手段により撮像された前記面の画像から前記同期マークと前記符号マークとを分類する分類手段と、前記分類手段により分類された前記同期マークと前記符号マークとのひずみを修正するひずみ修正手段と、前記修正手段により修正された前記同期マークと前記符号マークに基づいて、該符号マークの座標を算出する算出手段と、前記算出手段により算出された前記符号マークの前記座標に基づいて、該符号マークの表す情報を読み出す符号情報読み出し手段と、を備えることを特徴とする符号情報読み出し装置を提供することによって達成できる。
このように構成することによって、紙面上に付された符号をカメラを用いて紙面に対して斜め方向から撮影した場合、その符号を正確に読み取り、かつ高速で読み取ることができる。
また上記課題は、特許請求の範囲の請求項2に記載の発明によれば、前記分類手段は、2値化された前記画像内の隣接する相互の画素において、相互に所定の画素値を有する場合に該画素群から構成されるそれぞれの領域に一意の番号を付与し、該領域の大きさに基づいて、前記同期マークと前記符号マークとを分類することを特徴とする請求項1に記載の符号読み出し装置を提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項2に記載の発明によれば、前記分類手段は、2値化された前記画像内の隣接する相互の画素において、相互に所定の画素値を有する場合に該画素群から構成されるそれぞれの領域に一意の番号を付与し、該領域の大きさに基づいて、前記同期マークと前記符号マークとを分類することを特徴とする請求項1に記載の符号読み出し装置を提供することによって達成できる。
このように構成することによって、撮影した画像内の同期マークと符号マークをラベリングすることができる。
また上記課題は、特許請求の範囲の請求項3に記載の発明によれば、前記ひずみ修正手段は、前記画像の前記同期マークと前記符号マークとより求められる座標系を示す第1の座標系を、直交座標系である第2の座標系へ変換することを特徴とする請求項1に記載の符号読み出し装置を提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項3に記載の発明によれば、前記ひずみ修正手段は、前記画像の前記同期マークと前記符号マークとより求められる座標系を示す第1の座標系を、直交座標系である第2の座標系へ変換することを特徴とする請求項1に記載の符号読み出し装置を提供することによって達成できる。
このように構成することによって、画像内の歪んだ被写体情報の座標を直交座標系に換算することができる。
また上記課題は、特許請求の範囲の請求項4に記載の発明によれば、前記ひずみ修正手段は、前記分類手段により分類された前記同期マークのうち少なくとも4つの該同期マークに基づいて、前記第1の座標系から前記第2の座標系へ変換するためのアフィン変換のパラメータを算出することを特徴とする請求項3に記載の符号読み出し装置を提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項4に記載の発明によれば、前記ひずみ修正手段は、前記分類手段により分類された前記同期マークのうち少なくとも4つの該同期マークに基づいて、前記第1の座標系から前記第2の座標系へ変換するためのアフィン変換のパラメータを算出することを特徴とする請求項3に記載の符号読み出し装置を提供することによって達成できる。
このように構成することによって、アフィン変換のパラメータを算出することで、画像内の歪んだ被写体情報の座標を直交座標系に換算することができる。
また上記課題は、特許請求の範囲の請求項5に記載の発明によれば、前記ひずみ修正手段は、前記同期マークを表す前記領域の重心を補正することを特徴とする請求項1、3又は4に記載の符号読み出し装置を提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項5に記載の発明によれば、前記ひずみ修正手段は、前記同期マークを表す前記領域の重心を補正することを特徴とする請求項1、3又は4に記載の符号読み出し装置を提供することによって達成できる。
このように構成することによって、同期マークの重心を補正することができる。
また上記課題は、特許請求の範囲の請求項6に記載の発明によれば、前記同期マークは所定の図形によって表されるマークであり、前記ひずみ修正手段は前記図形の形状に基づいて該図形の向きを決定することを特徴とする請求項1、3、4、又は5に記載の符号読み出し装置を提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項6に記載の発明によれば、前記同期マークは所定の図形によって表されるマークであり、前記ひずみ修正手段は前記図形の形状に基づいて該図形の向きを決定することを特徴とする請求項1、3、4、又は5に記載の符号読み出し装置を提供することによって達成できる。
このように構成することによって、同期マークの向きを検出することができる。
また上記課題は、特許請求の範囲の請求項7に記載の発明によれば、前記ひずみ修正手段は、前記図形で表される前記領域内の所定の点から該領域の境界までの長さに基づいて、前記図形の向きを決定することを特徴とする請求項1、3、4、5、又は6に記載の符号読み出し装置を提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項7に記載の発明によれば、前記ひずみ修正手段は、前記図形で表される前記領域内の所定の点から該領域の境界までの長さに基づいて、前記図形の向きを決定することを特徴とする請求項1、3、4、5、又は6に記載の符号読み出し装置を提供することによって達成できる。
このように構成することによって、所定の点から領域の境界までの距離が最も短い箇所がL型の同期マークの窪んだ部分であると算出することができる。
また上記課題は、特許請求の範囲の請求項8に記載の発明によれば、所定の情報を表す符合マークと、該符号マークの前記情報を読み出す場合に同期をとるための同期マークと、からなる格子が複数記録された面を撮像する撮像処理と、前記撮像処理により撮像された前記面の画像から前記同期マークと前記符号マークとを分類する分類処理と、前記分類処理により分類された前記同期マークと前記符号マークとのひずみを修正するひずみ修正処理と、前記修正処理により修正された前記同期マークと前記符号マークに基づいて、該符号マークの座標を算出する算出処理と、前記算出処理により算出された前記符号マークの前記座標に基づいて、該符号マークの表す情報を読み出す符号情報読み出し処理と、をコンピュータに実行させるための符号読み出しプログラムを提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項8に記載の発明によれば、所定の情報を表す符合マークと、該符号マークの前記情報を読み出す場合に同期をとるための同期マークと、からなる格子が複数記録された面を撮像する撮像処理と、前記撮像処理により撮像された前記面の画像から前記同期マークと前記符号マークとを分類する分類処理と、前記分類処理により分類された前記同期マークと前記符号マークとのひずみを修正するひずみ修正処理と、前記修正処理により修正された前記同期マークと前記符号マークに基づいて、該符号マークの座標を算出する算出処理と、前記算出処理により算出された前記符号マークの前記座標に基づいて、該符号マークの表す情報を読み出す符号情報読み出し処理と、をコンピュータに実行させるための符号読み出しプログラムを提供することによって達成できる。
このように構成することによって、紙面上に付された符号をカメラを用いて紙面に対して斜め方向から撮影した場合、その符号を正確に読み取り、かつ高速で読み取ることができる。
また上記課題は、特許請求の範囲の請求項9に記載の発明によれば、前記ひずみ修正処理は、前記画像の前記同期マークと前記符号マークとより求められる座標系を示す第1の座標系を、直交座標系である第2の座標系へ変換することをコンピュータに実行させるための請求項8に記載の符号読み出しプログラムを提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項9に記載の発明によれば、前記ひずみ修正処理は、前記画像の前記同期マークと前記符号マークとより求められる座標系を示す第1の座標系を、直交座標系である第2の座標系へ変換することをコンピュータに実行させるための請求項8に記載の符号読み出しプログラムを提供することによって達成できる。
このように構成することによって、画像内の歪んだ被写体情報の座標を直交座標系に換算することができる。
また上記課題は、特許請求の範囲の請求項10に記載の発明によれば、前記ひずみ修正処理は、前記分類処理により分類された前記同期マークのうち少なくとも4つの該同期マークに基づいて、前記第1の座標系から前記第2の座標系へ変換するためのアフィン変換のパラメータを算出することをコンピュータに実行させるための請求項9に記載の符号読み出しプログラムを提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項10に記載の発明によれば、前記ひずみ修正処理は、前記分類処理により分類された前記同期マークのうち少なくとも4つの該同期マークに基づいて、前記第1の座標系から前記第2の座標系へ変換するためのアフィン変換のパラメータを算出することをコンピュータに実行させるための請求項9に記載の符号読み出しプログラムを提供することによって達成できる。
このように構成することによって、アフィン変換のパラメータを算出することで、画像内の歪んだ被写体情報の座標を直交座標系に換算することができる。
また上記課題は、特許請求の範囲の請求項11に記載の発明によれば、前記同期マークは所定の図形によって表されるマークであり、前記ひずみ修正処理は前記図形の形状に基づいて該図形の向きを決定することをコンピュータに実行させるための請求項8、9、又は10に記載の符号読み出しプログラムを提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項11に記載の発明によれば、前記同期マークは所定の図形によって表されるマークであり、前記ひずみ修正処理は前記図形の形状に基づいて該図形の向きを決定することをコンピュータに実行させるための請求項8、9、又は10に記載の符号読み出しプログラムを提供することによって達成できる。
このように構成することによって、同期マークの向きを検出することができる。
また上記課題は、特許請求の範囲の請求項12に記載の発明によれば、筆記対象媒体に筆記した文字又は図形を、電子データとして取得するペン型データ入力装置において、所定の情報を表す符合マークと、該符号マークの前記情報を読み出す場合に同期をとるための同期マークと、からなる格子が複数記録された面を撮像する撮像手段と、前記撮像手段により撮像された前記面の画像から前記同期マークと前記符号マークとを分類する分類手段と、前記分類手段により分類された前記同期マークと前記符号マークとのひずみを修正するひずみ修正手段と、前記修正手段により修正された前記同期マークと前記符号マークに基づいて、前記格子における該符号マークの座標を算出する算出手段と、前記算出手段により算出された前記符号マークの前記座標に基づいて、該符号マークを読み出す符号情報読み出し手段と、前記筆記対象媒体に前記文字又は前記図形を筆記する筆記手段と、を備えることを特徴とするペン型データ入力装置を提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項12に記載の発明によれば、筆記対象媒体に筆記した文字又は図形を、電子データとして取得するペン型データ入力装置において、所定の情報を表す符合マークと、該符号マークの前記情報を読み出す場合に同期をとるための同期マークと、からなる格子が複数記録された面を撮像する撮像手段と、前記撮像手段により撮像された前記面の画像から前記同期マークと前記符号マークとを分類する分類手段と、前記分類手段により分類された前記同期マークと前記符号マークとのひずみを修正するひずみ修正手段と、前記修正手段により修正された前記同期マークと前記符号マークに基づいて、前記格子における該符号マークの座標を算出する算出手段と、前記算出手段により算出された前記符号マークの前記座標に基づいて、該符号マークを読み出す符号情報読み出し手段と、前記筆記対象媒体に前記文字又は前記図形を筆記する筆記手段と、を備えることを特徴とするペン型データ入力装置を提供することによって達成できる。
このように構成することによって、カメラ付き電子ペンで紙面に筆記するとき、紙面上に付された符号を紙面に対して斜め方向からそのカメラで撮影した場合、その符号を正確に読み取り、かつ高速で読み取ることができる。
また上記課題は、特許請求の範囲の請求項13に記載の発明によれば、前記ペン型データ入力装置は、さらに、前記符号情報読み出し手段により読み出した前記符号マークの表す前記情報を外部装置に送信する送信手段を備えることを特徴とする請求項12に記載のペン型データ入力装置を提供することによって達成できる。
また上記課題は、特許請求の範囲の請求項13に記載の発明によれば、前記ペン型データ入力装置は、さらに、前記符号情報読み出し手段により読み出した前記符号マークの表す前記情報を外部装置に送信する送信手段を備えることを特徴とする請求項12に記載のペン型データ入力装置を提供することによって達成できる。
このように構成することによって、電子ペンで筆記した内容を無線通信等を介してホストコンピュータに送信することができる。
本発明を用いることにより、カメラを使用して紙面に対して斜め撮影などを行っても、紙面上に付された2次元符号を正確にかつ高速に復号化しその情報を読み取ることが可能である。また、L型の同期マークにもかかわらず、2次元符号の格子点上の位置を簡単に計算できるので、高速な2次元符号を復号が可能である。また、同期マークの方向検出を高速に正確に行うことができる。また、高速でかつ精度のよい軌跡記録が可能な電子ペンを実現することができる。
本発明では、大きさの異なる同期マークと符号マークとからなる2次元符号を2次元イメージセンサにて読み取る際に、各マークのラベリングを行い、そのラベリングのサイズに従って同期マークと符号マークの分類を行い、分類された同期マークにより、射影効果補正も含む符号のアフィンパラメータの計算を行い、そのパラメータに従って2次元符号を復号することを実現する。
また、L型同期マークの中心を得る方法に、ラベリングされた重心点を用いる手法は簡単であるが、正しい格子点上の位置からずれている。そのため、同期マークの重心データから、X,Y方向の基底ベクトルを予測し、そのベクトルを用いて行い、同期マークの方向の検出を行い、その方向に従って、重心点から格子点上の位置の補正を行うようにしたので、これにより簡単に格子パラメータを得ることを実現する。
また、L型同期マークの方向を検出するのに、符号のX,Y方向に沿って調べるより、X,Y軸の合成ベクトル方向に沿って調べたほうが、精度がよい検出をすることを実現する。
また、2次元符号の復号器をもつ電子ペンで、2次元符号に書き込まれたX,Yのブロック番号だけではなく、そのブロック起点から、ペン先までのベクトルまでを、上記の格子パラメータを用いて、計算を行うことを電子ペンで実現する。
また、2次元符号の復号器をもつ電子ペンで、2次元符号に書き込まれたX,Yのブロック番号だけではなく、そのブロック起点から、ペン先までのベクトルまでを、上記の格子パラメータを用いて、計算を行うことを電子ペンで実現する。
それでは、以下に本発明にかかる実施形態を示す。本実施形態における電子ペンの特徴は、以下の4つの機能を有していることである。
(1)筆圧に応じてインクの量を電子で制御を行い、ペン字の太さが調整できる。
(2)普通紙に書いた文字や図形のペン軌跡と筆圧を記憶することができる。
(3)無線通信にて上記ペン軌跡をパーソナルコンピュータ(以下、PCという)に転送を行うことができる。
(4)特定符号が書き込まれた紙面からその符号を読み出し正確なペンの軌跡の検出ができる。
(1)筆圧に応じてインクの量を電子で制御を行い、ペン字の太さが調整できる。
(2)普通紙に書いた文字や図形のペン軌跡と筆圧を記憶することができる。
(3)無線通信にて上記ペン軌跡をパーソナルコンピュータ(以下、PCという)に転送を行うことができる。
(4)特定符号が書き込まれた紙面からその符号を読み出し正確なペンの軌跡の検出ができる。
さらに、上記の4機能に付け加えて、特定符号の情報を読み出し、PCに送り出し、様々な機能の実現を行うことができる。それでは、本実施形態について以下に説明する。
図1は、本実施形態における電子ペン1の構成図である。筆圧に応じてペン字の太さが調整できるように、インクジェット17とインクを紙面上に吹き付けるためのインクジェットノズル2を有している。ノズル2は直接紙面上と接しないように、ペン先3がノズル2の隣に実装されている。このペン先3からインクは出ることはなく、ペン1で図形を書いたときに違和感の無いような材料を選んで実装するものとする。
図1は、本実施形態における電子ペン1の構成図である。筆圧に応じてペン字の太さが調整できるように、インクジェット17とインクを紙面上に吹き付けるためのインクジェットノズル2を有している。ノズル2は直接紙面上と接しないように、ペン先3がノズル2の隣に実装されている。このペン先3からインクは出ることはなく、ペン1で図形を書いたときに違和感の無いような材料を選んで実装するものとする。
ペン先3の根元には圧力センサ4が実装されており、ペン先3にかかる圧力をこのセンサ4で検出している。これにより、圧力に応じてペン字の太さを調整できるようにしている。さらに、この電子ペン1はカラーインクカートリッジ5を装着できるようになっており、インクカートリッジ5には黒インクだけではなくフルカラーの色が作成可能なようにCMYK(シアン、マゼンタ、イエロー、ブラック)の4種類の色を含んでいる。ペン1の色は選択制御が可能になっており、ペン1の色に応じたインクとインクの量が前述したインクジェット17によって、ノズル2を介して筆記面に吹き付け選択された色になるように描画される。
また、ペン1の軌跡を検出するために3軸加速センサ6を有しており、加速センサの精度不足を補うために、紙面に描かれた図形を読み出すためにレンズ7、CMOSイメージセンサ8も有している。また、読み出された画像を処理したり、ペン軌跡などを計算したりするためのプロセッサ9と計算された軌跡や筆圧などを記憶するためのメモリ10も有する。電子回路を動作させるための電池11も実装されている。
また、イメージセンサ8を用いて、特殊紙面に書かれた座標点などを読み出すために用いる赤外LED14および赤外線のみ透過させるための赤外フィルタ15を有しており、電磁バネ16にて赤外フィルタ15を駆動してCMOSセンサ8に赤外線のみ透過するように切り替えられるようになっている。RF通信回路13は、ホストコンピュータへペンの軌跡等の情報を送信するための回路である。次に、電子ペン1の描画の動作を図2、図3を用いて説明する。
図2は、本実施形態におけるインクジェットの制御ブロック図を示す。同図は、本実施形態における電子ペン1の構成図である図1の一部ブロックを信号の流れを加えて詳細な回路図にしたものである。本実施形態にかかる電子ペン1を用いて紙(筆記物)に描画を行う場合には、通常のペンと同じようにペン先3を筆記物に当てて滑らして描画を行えばよい。
ペン先3は圧力センサ4と直結しており、ペン先3にかかる圧力がそのまま圧力センサ4に到達できるよう実装されている。したがって、ユーザ(筆記者)がペン1を使用する場合、その筆圧を圧力センサ4で検出できるようになっている。本実施形態での圧力センサ4はピエゾ抵抗型圧力センサを用いており、圧力に応じて抵抗値の変わる性質の材料を用いている。
センサ4には定電流を流して、センサ4端の電圧をプロセッサ9内のAD変換器902で圧力値に応じたデジタル値を得ている。このデジタル圧力値はCPU901で読み出される。CPU901はこの数値に応じて、カラーインクカートリッジ5からインクジェット17に送られるインクの量の調整を行う。インク量の調整は次のような方法で行う。
まず、黒色を描画するときに使う黒インク(K)の量を1としたときの、現在の描画を行おうとしている色(C1)を作成するためのCMYKのインク混合比をKc,Km,Ky,Kkとする。
この混合比は予め描画したい色に最も近い色になるためのインク混合比を調べておき、その混合比を導出する方法のプログラミングを行うか、またはそれぞれの色に対応するインクの混合比をメモリなどに記憶されることで容易に混合比は得ることはできる。
この混合比は予め描画したい色に最も近い色になるためのインク混合比を調べておき、その混合比を導出する方法のプログラミングを行うか、またはそれぞれの色に対応するインクの混合比をメモリなどに記憶されることで容易に混合比は得ることはできる。
次に、ペン先3にかかる最大の圧力の値をPmaxとし、現在のペン圧力をPとすると、それぞれインクの混合比はKc*P/Pmax,Km*P/Pmax,Ky*P/Pmax,Kk*P/Pmaxとなる。これらの混合比に応じてCPU901はインクカートリッジ5からインクジェット17に流れるように、各弁103(103a,103b,103c,103d)を制御する。小型の弁は通常流出量をアナログ的に中間値を制御できないので、弁の開いている時間(開)とOFF時間(閉)を高速に制御することで中間量を作成する。
図3は、本実施形態におけるデューティ変調によるペンの線の太さ制御を示す。同図は、3種類の開閉時間に応じて紙面上のインクの径(ペン時の太さ)を変化させるためのデューティ変調を示す。
図3(a)は筆圧が小さいときのデューティ変調を示し、この場合、インクの流出量が少ないので、細い線(図3(a)右図)を描くことができる。図3(b)は筆圧が中間のときのデューティ変調を示し、この場合、インクの流出量が中程度であるので、中間の太さの線(図3(b)右図)を描くことができる。図3(c)は筆圧が大きいときのデューティ変調を示し、この場合、インクの流出量が多いので、太い線を描くことができる(図3(c)右図)。
図3(a)は筆圧が小さいときのデューティ変調を示し、この場合、インクの流出量が少ないので、細い線(図3(a)右図)を描くことができる。図3(b)は筆圧が中間のときのデューティ変調を示し、この場合、インクの流出量が中程度であるので、中間の太さの線(図3(b)右図)を描くことができる。図3(c)は筆圧が大きいときのデューティ変調を示し、この場合、インクの流出量が多いので、太い線を描くことができる(図3(c)右図)。
このようにデューティ変調により、弁103の開閉時間を制御することによって、ペンの圧力に応じてインクジェットノズル2からインクを噴出させることが可能になるから、所望の色のペンの太さの制御が可能である。
さて、本実施形態における電子ペン1は、上述の通り、3軸加速度センサ6とイメージセンサ8を備えている。これらのセンサを用いることによりペンの軌跡を取得することができる。そして、この取得の方法には次の2種類の方法がある。
さて、本実施形態における電子ペン1は、上述の通り、3軸加速度センサ6とイメージセンサ8を備えている。これらのセンサを用いることによりペンの軌跡を取得することができる。そして、この取得の方法には次の2種類の方法がある。
1つ目の方法が、電子ペン1を用いて普通紙に描画している画像を定期的に読み出し、以前の画像と今回の画像とをずらしながらマッチングを行い、最大の類似度を得たときの移動ベクトルから2枚の画像間で移動したペンの移動ベクトルを推定して、ペンの軌跡を得るものである。さらに、電子ペン1が紙面を離れて移動したときのおよその移動ベクトルを得るために3次元加速度センサを用いて軌跡解析も行っている(以下、マッチング法という)。
もう1つの方法は、座標位置などを含むデータを一面に記録を行った紙面からそのデータを読み出し、電子ペンの位置を特定する方法である(以下、符号法という)。本明細書では詳細は省き、簡単にその技術内容を簡単に以下に記載する。
まず、マッチング法による軌跡解析について説明する。
まず、マッチング法による軌跡解析について説明する。
図4は、本実施形態における3軸加速度センサを用いた位置検出回路の構成を示したものであり、マッチング法による軌跡解析を行うための装置を示したブロック図である。本実施形態の電子ペン1を用いて、紙(筆記物)への描画の動作を前述したが、その描画したときのペン1の軌跡を解析し、データとして取得が可能になっている。
3軸加速度センサ6は、ペン1の動きに応じて加速度を検出する装置である。これを用いてペン1の座標を特定するには、ペン1の位置を計算するのに加速度から2重積分を行うことで求めることができる。
3軸加速度センサ6は、空間3軸方向それぞれに加速度を検出できるピエゾ抵抗などを利用したものなどが開発されている。これらは加速度に応じた電圧値が出力されるので、それぞれの電圧値はセレクタ903を経由して、プロセッサ9内のAD変換器902で加速度の値を時分割に連続に読み出せるように構成される。
3軸加速度センサ6は、空間3軸方向それぞれに加速度を検出できるピエゾ抵抗などを利用したものなどが開発されている。これらは加速度に応じた電圧値が出力されるので、それぞれの電圧値はセレクタ903を経由して、プロセッサ9内のAD変換器902で加速度の値を時分割に連続に読み出せるように構成される。
本実施形態ではペン1の軌跡を解析する他の手段として、イメージセンサ8も有している。図4左下に示しているものは筆記面20である。電子ペン1ではこのような筆記面20の画像はレンズ7にてCMOSイメージセンサ8に集光され、イメージセンサ8にて画像データに変換される。
本実施形態では、この画像データはDMA(Direct Memory Accessing)回路904にてメモリ10に送られる。これによってCPU901から画像データを操作することが可能になる。ちなみに、CMOSセンサ8は秒100枚の周期(10m秒間隔)で画像データのサンプリングを行い、順番にメモリに送り出すように構成されている。
以後、プロセッサ9によってメモリから画像を読み出し、前回(今回の画像に対する10m秒前の画像)の画像と今回の画像とをずらしながらマッチングを行う。
このようにして得られたペンの位置と画像マッチングによって推測される移動ベクトルを用いてペンの軌跡を得るようにしている。
このようにして得られたペンの位置と画像マッチングによって推測される移動ベクトルを用いてペンの軌跡を得るようにしている。
図5は、本実施形態におけるカメラから読み出した文字の筆記例を示す。ここで、カメラとは、本実施形態においてレンズ7とイメージセンサ8とからなる撮像系をいう。同図において、筆記者が電子ペン1で「あ」の文字を描画している途中の連続(10m秒間隔)で撮影された2つの画像図5(a),(b)を示している。上述の例でいえば、図5(b)が今回の画像に対応し、図5(a)が前回の画像に対応する。
次に、符号法による軌跡解析について説明する。本実施形態の電子ペン1では、座標位置などを含むデータを一面に記録を行った紙面(専用用紙)からそのデータを読み出すこともできる。このデータは少ない面積に少ない情報点で効率よく紙面上に記録されている。この方法を用いた符号化の一例を、図6,図7に示している。
図6は、本実施形態における専用用紙上に割り当てられた情報シンボルと符号の割り当てを示す。同図において、データビットに対応する一枡の領域に点を記録する(1)か、記録しない(0)かで表記を行う。4枡を1つの符号シンボルとすると、左上に点が記憶されている場合、「00」の符号を表現し、右上に点が記憶されている場合、「01」の符号を表現し、左下に点が記憶されている場合、「10」の符号を表現し、右下に点が記憶されている場合、「11」の符号を表現するものとする。このように各情報シンボルは2ビットの情報を表すこと。
図7は、本実施形態におけるブロックのシンボル配置を示す。左上隅にあるかぎ形(L字型)のシンボルを同期シンボルといい、この同期シンボルを左上隅に配した9×9の単位をブロックと呼び、紙面全体をブロックで構成する。ブロックには、同期シンボル以外に図6で述べた情報シンボルが8個存在する。図7において、X軸方向の座標表現にx0〜x5、Y方向の座標表現にy0〜y5、その他の用途にz0〜z3(オプションデータ)の合計16ビットを割り当てる。
かぎ形の同期シンボルは単独でもこれを検出することによってブロックの向きが分かると同時に4個の隣接するブロックの同期シンボルを頂点に対応付けた方形を検出することができる。同期シンボルの間をx方向、y方向にそれぞれ9等分して仮想的な格子を作り、前記の2×2格子8個のそれぞれどの位置にドットが存在するかを検出することにより、x,y,z各情報が復元できる。
実際は、撮像分解能などの制約から、被写体の傾きや明るさによって同期シンボルの検出位置(たとえば重心)には誤差が含まれる。この影響を減らすため、参照点を増やす方法として、画像の取り込み範囲を広げて参照点となる同期シンボルの数を増やしたり、情報シンボルを参照点に組み入れたり(情報シンボルと格子のずれを利用する)する等が可能である。
また、1ビットの大きさをペンの軌跡の分解能とすることが可能である。この一枡のサイズを100DPI(Dot Per Inch)にすれば、ペンの軌跡(座標位置を特定すること)の分解能も同等以上に可能になる。
図8は、本実施形態における紙面一面に付されたシンボル(符号データ)の例である。この符号データは、赤外LED14、スイッチ905を用いることにより読み出される。この符号は予めプリンターや印刷などによって予め記録しておく。また、この符号を記録するのに使うインクは、ペン1で用いる通常のインクとは違う成分の素材を用いるのが望ましい。
図8は、本実施形態における紙面一面に付されたシンボル(符号データ)の例である。この符号データは、赤外LED14、スイッチ905を用いることにより読み出される。この符号は予めプリンターや印刷などによって予め記録しておく。また、この符号を記録するのに使うインクは、ペン1で用いる通常のインクとは違う成分の素材を用いるのが望ましい。
さて、交差するような文字を描画する場合、ペンが符号の上に筆記された後、その同じ位置に上書きする場合がある。このような場合に一度ペンのインクで符号を上書きされても、この符号を読み出せるようにしなければならない。そのため本実施形態では、ペン1のインクは赤外線を透過する素材のインクを、符号を記録するインクは赤外線を吸収する材料を用いる。
この符号を読むときは、CPU901はスイッチ905を制御し、赤外LED14を点灯させる。また、赤外透過フィルタ15は、電磁バネ16によって、縦向きから横向き方向へ回転軸を中心に回転し、レンズ7とイメージセンサ8の間にこのフィルタ15が挿入された形になる。そのように得られた符号の含んだ画像をCPUで解析を行い、電子ペン1の座標位置を得る。
次に、本実施形態におけるペンの軌跡情報のホストへの転送について説明する。上述した方法によって、ペン1を用いて紙面20上に描画した場合、ペンの軌跡と筆圧をメモリに保存している。このメモリ内容を無線がサービスされているときには、リアルタイムで内容を読み出し無線でPC等のホストへ送り出して、また無線がサービスされていないときは、無線がサービスされるまでメモリ10に保存したままにしておき、無線がサービスされたときに保存しておいたデータを一気に呼び出し、PC等のホストへ転送を行う。
これは無線の性格上、通信が不安定になったりするので、それを考慮した設計を施している。また、もちろん、ホスト側がなんらなの理由で動作していない場合、たとえば、出張先でホストであるPCを持たずにペンだけ持ち出しておいて、出張先で議事などを筆記した内容はペンの中にデータを保存しておき、帰社後オフィスのPCにて読み出すことが可能である。なお、本実施形態では、無線によりPCでデータを転送したが、これに限らずに有線でもよい。
次に、専用用紙上に付された符号データを電子ペン1が読み出す動作について説明する。
図9は、本実施形態における電子ペン1に内蔵されている符号データの読み出し機構の概要を示す。同図は、CPU901によって読み出されて実行される符号データ処理を機能ごとに示したものである。画像と圧力のデータは、イメージセンサ8および圧力センサ4から入力される。同図の動作原理については後述する。
図9は、本実施形態における電子ペン1に内蔵されている符号データの読み出し機構の概要を示す。同図は、CPU901によって読み出されて実行される符号データ処理を機能ごとに示したものである。画像と圧力のデータは、イメージセンサ8および圧力センサ4から入力される。同図の動作原理については後述する。
図10は、本実施形態における入力画像の一例を示す。実施形態では、画像は128×128のサイズで、各ドットの濃淡は8ビットのデータになっている。取り込まれた画像は、符号画像処理部201で画像処理されて、最終的には画像データ1ドットが符号シンボルの1ドット(1格子とも呼ぶ。図6の四角マス1つに対応するものであり、1ブロックは9×9ドットから構成される)に対応する格子行列の呼ばれるデータに変換される。
格子行列L(m,n) (0≦m,n)は、符号が配置可能な位置を配列データの1つに割り当て、その配列にマークの有無を記録したものである。つまり、格子行列L(m,n)は、次のような要素をもつものである。
行列のサイズは、特に入力画像とは関係ない。
これにより、予め取り込まれる可能性のあるブロックサイズに対応した最大の配列の大きさを確保することができる。m=n=0の原点も入力画像とは関係ない。また、検出された符号マークが、適切にこの配列内に収まるように決定される。
これにより、予め取り込まれる可能性のあるブロックサイズに対応した最大の配列の大きさを確保することができる。m=n=0の原点も入力画像とは関係ない。また、検出された符号マークが、適切にこの配列内に収まるように決定される。
図11は、本実施形態における格子行列データをイメージ化したものを示す。通常、格子点に符号シンボルがある場合には、画像処理で得られた符号のラベリング番号(後述する)が記録される。
格子行列データは、画像撮影における影響を受ける部分が全て取り除かれる。図9において、符号画像処理部201で格子データが生成されると、この格子データは符号デコード部202に送られ、符号の復号処理がなされ、座標データとZデータ(オプションデータ)が抽出される。抽出された座標は、軌跡記録部203に送られる。他方、ペン1の圧力データは、筆圧変換部204で筆記者の筆圧に応じた複数の段階のうちのいずれかの段階に変換される。
格子行列データは、画像撮影における影響を受ける部分が全て取り除かれる。図9において、符号画像処理部201で格子データが生成されると、この格子データは符号デコード部202に送られ、符号の復号処理がなされ、座標データとZデータ(オプションデータ)が抽出される。抽出された座標は、軌跡記録部203に送られる。他方、ペン1の圧力データは、筆圧変換部204で筆記者の筆圧に応じた複数の段階のうちのいずれかの段階に変換される。
本実施形態では、検出された筆圧から変換される値として、0〜255までの256段階がある。例えば、変換後の値が0の場合はペン先が紙面から離れた状態にあり、変換後の値が1以上の場合には紙面に接している、すなわち、ペンダウン状態である。この値は、筆圧に応じて大きくなり、最大255までの値に変換される。この変換された値も軌跡記録部203に送られて、前述した座標データ共にセットで軌跡データとしてメモリ205に記録される。
記録された軌跡データは、ホストコンピュータと通信可能状態にある場合に軌跡読み出し部207によってメモリ205から読み出され、RF通信回路13に転送し、ホストへデータ転送される。符号デコード部202で抽出されたZコードは、座標データと共にオプションデータ記録部206にて、座標位置でアドレスされる領域にオプションデータが格納される。
次に、符号画像処理について説明する。前述したように、符号画像処理部201は符号を撮影した入力画像から格子行列を作成する。入力画像は、所定時間ごとに撮影され、取り込まれる。ここで、撮影開始後n枚目の画像をPn(x,y)とする。x,yは画素のインデックスである。1≦x≦128,1≦y≦128の値をとるものとする。
各画素インデックスに対応する画素値はグレースケールで表され,その値は0〜255の256段階の範囲内で表される。この画像の一例が図10である。図10の横方向がX軸で、縦方向がY軸で描画されている。
図12は、本実施形態における符号画像処理部201の処理フローを示す。符号画像処理部201に読み込まれた画像は、同図に従って処理される。読み取られた画像は、まず、2値化され、符合シンボルと背景(紙面)とに分けられ、2値画像BW(x,y)を生成する(S1)。
図12は、本実施形態における符号画像処理部201の処理フローを示す。符号画像処理部201に読み込まれた画像は、同図に従って処理される。読み取られた画像は、まず、2値化され、符合シンボルと背景(紙面)とに分けられ、2値画像BW(x,y)を生成する(S1)。
次に画像へのラベリング処理が行われる。ラベリングとは、2値画像から画素連結している領域に対して番号を付加し、その領域に対応する画素の値をその番号に置き換えたラベル画像データLI(x,y)を生成することである。背景を0とし、符号シンボルと思われる領域を順番に1から番号を割り当てられたラベリング画像が作成される(S2)。
次に、ラベリング領域の特徴パラメータが抽出され、各領域の重心とサイズの計算がされる(S3)。ここでは、次のことが行われている。まず、S2の処理で検出された領域の個数をM個とする。このラベリング画像からM個の各領域の重心LM(i)とサイズ(面積)LS(i)を求める。
LS(i)=ラベル領域iに含まれる画素数
LM(i)=ラベル領域iの画素ベクトルの平均
次に、領域を分割する(S4)。本実施形態で用いている符号パターンは、四角の形状の符号マーク(図6、図7参照)とL型の同期マーク(図7参照)であるが、符号マークの面積を1とした場合、同期マークは3になる。ここで、同期マークが正しく検出可能な大きさの最大限度は、図13に示すように面積8である。
LM(i)=ラベル領域iの画素ベクトルの平均
次に、領域を分割する(S4)。本実施形態で用いている符号パターンは、四角の形状の符号マーク(図6、図7参照)とL型の同期マーク(図7参照)であるが、符号マークの面積を1とした場合、同期マークは3になる。ここで、同期マークが正しく検出可能な大きさの最大限度は、図13に示すように面積8である。
また、1ブロック内に1つの同期マークと3つの符号マークが生成されるので、これらのマークの平均面積は、符号マークの面積をsとすると、3/4*s+1/4*s*3=1.5sである。これらの条件から、次の方法により、ラベリングされた領域の大きさに従って分類する。ラべリングされた領域の面積の平均値MeanSを次の式より求める。
MeanS=(ΣLS(i))/M
これから予測符合マーク面積s’=MeanS/1.5を計算する。
・ケース1: LS(i) < s’/2 ノイズとして除去する
・ケース2: s’/2 < LS(i) < 2s’ 符号マークと判断する
・ケース3: 2*s’ < LS(i) < 8s’ 同期マークと判断する
・ケース4: 8*s’ < LS(i) ノイズとして除去する
さて、一度分類した後に上記のケース4が多く検出される場合には、予測符号マーク面積がこれらのノイズによって違っている可能性があるので、これらのノイズを除去して再度分類し直した方が良い場合も考えられるが、正常な範囲においてはそのようなノイズが多く検出されることはない。ただし、ペン先の像などが撮影した画像の領域内に含まれているのであれば、予め除去しておくことが必要がある。
これから予測符合マーク面積s’=MeanS/1.5を計算する。
・ケース1: LS(i) < s’/2 ノイズとして除去する
・ケース2: s’/2 < LS(i) < 2s’ 符号マークと判断する
・ケース3: 2*s’ < LS(i) < 8s’ 同期マークと判断する
・ケース4: 8*s’ < LS(i) ノイズとして除去する
さて、一度分類した後に上記のケース4が多く検出される場合には、予測符号マーク面積がこれらのノイズによって違っている可能性があるので、これらのノイズを除去して再度分類し直した方が良い場合も考えられるが、正常な範囲においてはそのようなノイズが多く検出されることはない。ただし、ペン先の像などが撮影した画像の領域内に含まれているのであれば、予め除去しておくことが必要がある。
このようにして分類できた2つのグループ(符号マーク、同期マーク)をそれぞれ、符号シンボル群と同期シンボル群と呼ぶことにする。また、符号シンボルの重心ベクトルデータ群をPxc(i)i=1〜Nc,同期シンボルの重心データ群をPxs(i)i=1〜Nsとする。ここでNc,Nsはそれぞれのシンボル群に属するマークのラベル数である。
次に、符号画像の判定を行う(S5)。NsとNcの数を調べて、読みとった画像が専用紙の符号画像であるか否かを推定する。次の条件を全て充足した場合に、その画像を符号画像とする。
1.同期シンボル数Nsが4以上 (少なくとも符号を読み取るために最低必要な数)
2.符号シンボルが16以上 (少なくとも符号を読み取るために最低必要な数)
3.符号シンボル数が128以下 (理論的にとれる最大数)
上記より、符号画像と判断されない場合には(S5で「No」へ進む)、読み込んだ画像は専用用紙表面に割り振られた符号の画像ではないということになるので、本フローは失敗となる。また、符号画像と判断される場合、すなわち、専用用紙上に電子ペン1で筆記している場合(S5で「Yes」へ進む)にはS6の処理を行う。
1.同期シンボル数Nsが4以上 (少なくとも符号を読み取るために最低必要な数)
2.符号シンボルが16以上 (少なくとも符号を読み取るために最低必要な数)
3.符号シンボル数が128以下 (理論的にとれる最大数)
上記より、符号画像と判断されない場合には(S5で「No」へ進む)、読み込んだ画像は専用用紙表面に割り振られた符号の画像ではないということになるので、本フローは失敗となる。また、符号画像と判断される場合、すなわち、専用用紙上に電子ペン1で筆記している場合(S5で「Yes」へ進む)にはS6の処理を行う。
次に、同期マークパラメータを求める(S6)。このS6の処理では、S6−1,S6−2,S6−3の3ステップからなっており、このS6−1,S6−2,S6−3の順番にしたがってパラメータを決定していく。ここでの処理の概要を説明すると、読み取った画像は、紙面に対して斜め方向から撮影される場合が多いので、概して台形ひずみが生じているので、そのひずみを修正し、位置座標を特定することである。
まず、S6−1では基底ベクトルの概算を検出する。これを、図14を参照しながら説明する。
図14は、本実施形態における基底ベクトルEu,Evを示す。縦と横の隣接した同期マークまでのベクトルEu,Evを計算し、このベクトルを基準に同期マークの位置を次の手順で求める。
図14は、本実施形態における基底ベクトルEu,Evを示す。縦と横の隣接した同期マークまでのベクトルEu,Evを計算し、このベクトルを基準に同期マークの位置を次の手順で求める。
(a1)同期マーク位置集合Ps(i)から中心に最も近いマークMs1を選ぶ。ここの座標をPsc=(xc,yc)とする。(ここで、中心に近い点を選ぶのは、この点近
傍には少なくとも2点以上存在するであろうから、近傍の点は少なくとも一つは対角点でないものが選ばれるようにしているため)
(a2)他のマークとの差分ベクトルと距離を計算する。
傍には少なくとも2点以上存在するであろうから、近傍の点は少なくとも一つは対角点でないものが選ばれるようにしているため)
(a2)他のマークとの差分ベクトルと距離を計算する。
(a3)最も近いマークを選び、差分ベクトルをEuベクトルEu=(xu,yu)とする。それに直行するEvベクトルをEv=(xv,yv)とする。
(a4)射影の影響が強いと、入力画像が正しく格子インデックスが求まらない場合がある。Psc+Ev付近で最も近いマークを探す。見つかったマーク座標をPsvとすると、Evの値をPsv−Pscと書き換える。見つからない場合にはPsc−Ev付近のマークを捜し、EvはPsc−Psvで書き換える。
(a4)射影の影響が強いと、入力画像が正しく格子インデックスが求まらない場合がある。Psc+Ev付近で最も近いマークを探す。見つかったマーク座標をPsvとすると、Evの値をPsv−Pscと書き換える。見つからない場合にはPsc−Ev付近のマークを捜し、EvはPsc−Psvで書き換える。
次に、S6−2の格子行列のインデックスの算出について説明する。
(b1)下の式を使って、全てのマークにおいて、差分ベクトルから描く同期マークのu,v座標系の位置座標Pus=(u,v)を求める。u,vベクトルを基底ベクトルと
する座標系の変換式(射影なし)は、
(b1)下の式を使って、全てのマークにおいて、差分ベクトルから描く同期マークのu,v座標系の位置座標Pus=(u,v)を求める。u,vベクトルを基底ベクトルと
する座標系の変換式(射影なし)は、
の関係があるから、
(b2)必要であればu、vの検証を行う。たとえば、u、vの切捨てが0.3以上の
場合は、主軸が間違っていたとして他のEuベクトル候補を探す。
(b3)このようにして得られた各格子マークに対応する(u,v)座標を、
Psu(i)=(ui,vi)
とする。
場合は、主軸が間違っていたとして他のEuベクトル候補を探す。
(b3)このようにして得られた各格子マークに対応する(u,v)座標を、
Psu(i)=(ui,vi)
とする。
(b4)このままでは、Psuの最大値・最小値が分からないので、調べておく。
Pusmin=(min(ui)−1,min(vi)−1)
Pusmax=(max(ui)+1,maX(vi)+1)
次に、S6−3の同期マークによる詳細格子構造パラメータ計算について説明する。同期マークのu,v座標が得られたので、これから逆に格子構造のアフィンパラメータ(uv座標からxy座標変換式)を精度よく求める方法を検討する。
Pusmin=(min(ui)−1,min(vi)−1)
Pusmax=(max(ui)+1,maX(vi)+1)
次に、S6−3の同期マークによる詳細格子構造パラメータ計算について説明する。同期マークのu,v座標が得られたので、これから逆に格子構造のアフィンパラメータ(uv座標からxy座標変換式)を精度よく求める方法を検討する。
アフィン変換は、
である。今回は射影パラメータも考慮する。したがって、最終的なマッピングは、
である。
上記のアフィン変換は、ロスなしで正規化できるので、a33=1とできる。したがって、a33以外の8変数を求めればよいので、4点で(x,y)と(u,v)の関係が分かっ
ていれば良い。(uk,vk)と(xk,yk) (k=0,1,2,3) をこの4点とすると、上の式は
上記のアフィン変換は、ロスなしで正規化できるので、a33=1とできる。したがって、a33以外の8変数を求めればよいので、4点で(x,y)と(u,v)の関係が分かっ
ていれば良い。(uk,vk)と(xk,yk) (k=0,1,2,3) をこの4点とすると、上の式は
となる。したがって、この式からパラメータを求めればよい。
上記の処理によって得られた同期シンボルの座標値(u,v)を調べて、なるべく離れ
た4点を抽出して、アフィンパラメータを求めた方がカメラの分解能からいって望ましい。ここでは、計算を簡単にするため、4点はさらに四角形(長方形を含む)の形で最大の4点の抽出を行う。
上記の処理によって得られた同期シンボルの座標値(u,v)を調べて、なるべく離れ
た4点を抽出して、アフィンパラメータを求めた方がカメラの分解能からいって望ましい。ここでは、計算を簡単にするため、4点はさらに四角形(長方形を含む)の形で最大の4点の抽出を行う。
(uc,vc),(u+ku,vc),(uc,vc+kv),(uc+ku,vc+kv) <ku,kv=整数> が非零で、なるべく大きい値のものを探す。見つかった4点でアフィン変換Tfのパラメータを求める。
次に、格子パラメータを求める(S7)。S6では同期マークのアフィンパラメータを求めたが、さらに符号点のアフィンパラメータを求めていく。符号マークについても、同期マークと同様に台形ひずみが生じているので、そのひずみを修正して位置座標を特定させる。
図15は、本実施形態における同期マークの幅から格子点幅へ座標スケールを変換した図である。同期マークは、同図のように格子点g=9個おきに存在するので、この格子点座標系(u’,v’)とすると、格子点のアフィン変換のパラメータTscは、
次に、同期マークがどの方向に向いているかを決定する(対角サンプリング・距離検出方法)。
図16は、本実施形態における同期マークの方向の定義を示す。図16(a)において、右方向への矢印を0度とすると、そこから時計回りに90度、180度、270度となっている。図16(b)においては、同期マークが0度と90度で表される場合を、BR(ボトムライト)方向という。同期マークが90度と180度で表される場合を、BL(ボトムレフト)方向という。同期マークが0度と270度で表される場合を、UR(アッパーライト)方向という。同期マークが180度と270度で表される場合を、UL(アッパーレフト)方向という。
図16は、本実施形態における同期マークの方向の定義を示す。図16(a)において、右方向への矢印を0度とすると、そこから時計回りに90度、180度、270度となっている。図16(b)においては、同期マークが0度と90度で表される場合を、BR(ボトムライト)方向という。同期マークが90度と180度で表される場合を、BL(ボトムレフト)方向という。同期マークが0度と270度で表される場合を、UR(アッパーライト)方向という。同期マークが180度と270度で表される場合を、UL(アッパーレフト)方向という。
図17は、本実施形態におけるm’−n’軸を楔形の向く方向に設定したのを示す。図18は、対角上をスキャンした図である。
格子点幅を1とする格子点幅座標系において、同期マークはそのマークのウィング(羽の伸びた)方向において2つの格子点においてマークが存在することになる。図18のように配置された同期マークにおいて右方向をu軸、下方向をv軸としたときに、そのマーク方向を検出するのに、同期マークの重心点から、4方向(Eu,Ev,−Eu,−Ev)に対して、1格子距離だけ離れたところのマークがあるかを確認することで、そのマークの方向が検出できることが期待できる。
格子点幅を1とする格子点幅座標系において、同期マークはそのマークのウィング(羽の伸びた)方向において2つの格子点においてマークが存在することになる。図18のように配置された同期マークにおいて右方向をu軸、下方向をv軸としたときに、そのマーク方向を検出するのに、同期マークの重心点から、4方向(Eu,Ev,−Eu,−Ev)に対して、1格子距離だけ離れたところのマークがあるかを確認することで、そのマークの方向が検出できることが期待できる。
しかし、図18のように重心は格子点からずれたところに位置しているので、u軸、v軸に沿って4方向を検査するより、図18に示したように斜め方向で検査したほうが、検出率が向上することが期待できる。この場合、同期マークに対して右下方向(++方向)が格子点幅座標系(u’,v’)で、重心点から(1/6,1/6)でマークの領域外になることがわかる。
さて、このような方法で検出する場合において、格子点幅座標でu軸方向に+1移動すると入力画像座標系(x,y)での移動量をdPu,v軸方向に+1移動したきの移動量をdPvとすると、(A−7)式の関係から
dPu=(1,0,1)*Tsc*Tf,
dPv=(0,1,1)*Tsc*Tf
が成り立つ。これにより、4つの斜め方向のベクトルは、
Px++ = Px(i)+k*(dPu+dPv),
Px−− = Px(i)+k*(−dPu−dPv),
Px+− = Px(i)+k*(dPu−dPv),
Px−+ = Px(i)+k*(−dPu+dPv)
で表される。ここで、kは重心点からどれだけ離れた距離にあるかを格子点幅座標系で示したものでk=1で斜め隣の格子点の座標点になる。前述したように(++方向)でk=1/6で領域外、それ以外の方向はk=5/6で領域外になる。本実施形態では、k=0.7で各方向にマークが存在したかで投票を行った。
dPu=(1,0,1)*Tsc*Tf,
dPv=(0,1,1)*Tsc*Tf
が成り立つ。これにより、4つの斜め方向のベクトルは、
Px++ = Px(i)+k*(dPu+dPv),
Px−− = Px(i)+k*(−dPu−dPv),
Px+− = Px(i)+k*(dPu−dPv),
Px−+ = Px(i)+k*(−dPu+dPv)
で表される。ここで、kは重心点からどれだけ離れた距離にあるかを格子点幅座標系で示したものでk=1で斜め隣の格子点の座標点になる。前述したように(++方向)でk=1/6で領域外、それ以外の方向はk=5/6で領域外になる。本実施形態では、k=0.7で各方向にマークが存在したかで投票を行った。
P++が勝者=V(BR)、すなわち同期マークはBR方向を向いている。
P−−が勝者=V(UL)、すなわち同期マークはUL方向を向いている。
P+−が勝者=V(UR)、すなわち同期マークはUR方向を向いている。
P−+が勝者=V(BL)、すなわち同期マークはBL方向を向いている。
P−−が勝者=V(UL)、すなわち同期マークはUL方向を向いている。
P+−が勝者=V(UR)、すなわち同期マークはUR方向を向いている。
P−+が勝者=V(BL)、すなわち同期マークはBL方向を向いている。
それから、座標軸の回転させる。ここで後の処理を行い易くするために、(m’,n’)座標において楔形がBR方向に向くように変換する。ここで、m−n座標系について説明する。u,v座標は、格子点幅座標系であって、格子点に沿って格子幅を1とした座標系を意味する。この座標系では同期マークの向きまでは指定されていない。そこで、格子点幅座標系(u,v座標系)であって、さらに座標系の軸(u,vの軸)が、同期マークの長手方向に向いた座標系のものを、特に向きが指定された格子点座標系(m,n座標系)と呼ぶことにする。したがって、u,vとm,n座標との関係は単純な回転変換にある。
(u,v)座標において楔形の方向が回転変換させるTrは、
BR方向:回転なし Tr0
BL方向:90度回転 Tr90
UR方向:270度回転 Tr270
UL方向:180度回転 Tr180
と表すことができ、このとき、式(A−7)の変換式は、
BR方向:回転なし Tr0
BL方向:90度回転 Tr90
UR方向:270度回転 Tr270
UL方向:180度回転 Tr180
と表すことができ、このとき、式(A−7)の変換式は、
である。このとき、Trは、以下のいずれかである。
それから、同期パターンの重心補正を行う。楔形の場合、その重心は格子点のグリッド上にないので、重心がずれている分、格子行列を補正する必要がある。図19は、本実施形態におけるm−n座標系とm’ −n’座標系の関係を示す。同図のように、楔形型がBR方向の場合、格子の中心点cから
(1・(0,0)+1・(0,1)+1・(1,0))/3=(1/3,1/3)
ずれている。
(1・(0,0)+1・(0,1)+1・(1,0))/3=(1/3,1/3)
ずれている。
ゆえに、本来の(m,n)座標は、前述の(m’,n’)座標との関係でいえば、(m’,n’)=(m−1/3,n−1/3)である。(A−8)式を修正して、
以上より、補正変換Tcが求まる。
最終的に格子座標(m,n)から入力画像座標(x,y)の関係式は次式で得られる(
格子パラメータ)。
最終的に格子座標(m,n)から入力画像座標(x,y)の関係式は次式で得られる(
格子パラメータ)。
また、(m,n)−(u,v)座標の関係は、
次に、符号点の格子位置の計算を行う(S8)。前述したように、アフィン逆行列が分かっていれば、マークの重心点から格子座標への変換を行うことで、一番近い座標点を計算することができる。
ここで、Tai(=Ta-1)は次式から計算できる。
(参考:結局m’,n’はδで割るので、Taiを求めるときにdet(Ta)で割る必要は無い)。S4で得られたNc個の符号点の重心座標Pxc(i)を順番に(A−11)式に代入して、それぞれの符号点に対応するm,n座標Pmc(i)を求める。
次に、符号行列の作成(S9)と出力(S10)について説明する。格子行列Lは、同期マークの向きが右下(m軸+、n軸+)方向(BR方向)になるようになる。また、マークは、9の倍数の座標点に位置するようになる。
次に、符号行列の作成(S9)と出力(S10)について説明する。格子行列Lは、同期マークの向きが右下(m軸+、n軸+)方向(BR方向)になるようになる。また、マークは、9の倍数の座標点に位置するようになる。
次に、格子行列L(m,n) (−umin*g<m<umax*g,vmin*g<n<vmax*g)を作成する。ここで、g=9であり、umin,umax,vmin,vmaxは検出できた格子点のu,v座標系での最小、最大のことを意味する。本実施形態では、同期マークが縦、横で最大5×5が入るような入力画像の画角にしているので、この部分は−45<m<45,−45<n<45となる。このとき、L(m,n)のすべての要素を全てを0に初期化する(ただし、−45<m<45,−45<n<45)。
S6−2にて、同期マークの重心データPxsを同期マークの位置を基準とした座標系に変換を行った。これによって各PxsはPusに変換された。S6−2では、直行する同期マーク差分ベクトルEu,Evを探し出して変換を行った。さて、同期マーク座標系Pusと向きが指定された格子座標系Pmsとの関係は、Tr*Tscの関係があるので、Pus=Pms*Tr*Tsc となる。逆に、Pmsは、
Pms=Pus*(Tr*Tsc)-1 (A−13)
から求められる。
Pms=Pus*(Tr*Tsc)-1 (A−13)
から求められる。
そして、S6−2で求めたPus(i)から、各同期マークのPus(i)を(A−13)に代入して、各同期マークの格子行列の座標点Pms(i)を求める。求めた(m,n)の格子行列に対応する同期マークのラベルを代入する。同期マークのラベルはPms(i)のインデックスiです。したがって、下記の手順で同期マークを格子行列に記録を行う。
(c1)i=0
(c2)Pms=(m,n)を次式で求める。
(m,n)=Pms(i)=Pus(i)*(Tr*Tsc)-1
(c3)格子行列に該当同期マークのインデックスを記録する。
(c2)Pms=(m,n)を次式で求める。
(m,n)=Pms(i)=Pus(i)*(Tr*Tsc)-1
(c3)格子行列に該当同期マークのインデックスを記録する。
L(m,n)=i;
(c4)i=i+1
(c5)i<Ns(同期シンボル数)ならば、(c2)へ戻る。
このようにして得られた格子行列Lを出力する。
(c4)i=i+1
(c5)i<Ns(同期シンボル数)ならば、(c2)へ戻る。
このようにして得られた格子行列Lを出力する。
次に、符号復号について説明する。まず、格子行列を入力し、これから復号を行う。これは、シンボル2ブロック×2ブロックの読み出し(4個の隣接するブロックの同期シンボルを頂点に対応づけた方形)によって、読み出した画像の位置の特定化が可能である。さらに、ごみなどによるドロップアウトの影響も考慮して、3×3ブロック以上を読み取れるように、イメージセンサの画角と分解能を決定している。
読み出した符号ビットに応じて、二次元符号のどのブロック番号に該当するパターンであるかをテーブルなどで参照して検索する。これによって、どの位置(X,Y方向)のブロックパターンを読み取ったかを判別できる。
次に、ペン先座標点の補正について説明する。前述の通り、画像内にある複数ブロックパターンから2×2のブロックパターンを用いて、そのブロック番号が判別され、撮影された紙面の位置が特定できた。
次に、ペン先座標点の補正について説明する。前述の通り、画像内にある複数ブロックパターンから2×2のブロックパターンを用いて、そのブロック番号が判別され、撮影された紙面の位置が特定できた。
しかし、このブロック番号は紙面上の一領域を示すもので、ペンの軌跡の座標位置を示すには粗すぎる。そこで、検出されたブロック番号の位置と、ペン先の相対位置を精度よく特定することで、精度のよいペン先の位置を得ることにする。実装上、ペンが紙面上に接地した状態において、ペン先の位置はカメラ画像の座標系で固定である。図20に本実施形態におけるカメラ画像とペン先の位置関係の例を示しているが、同図に画像の座標系x,yを加えた。このとき1画素を1単位とする。
ペン先が紙面上のどの位置にあろうとも、その位置は図20に示される位置から動かない。例ではペン先の位置を撮影画像の外ではあるが、画像領域を越えた範囲も数値拡張して扱うことができる。本実施形態ではペン先のy座標は負の値をとるが数学上問題はない。ここで、カメラ画像の座標系でのペン先の位置をPxpen=(xpen、ypen)とする。前述したように、これは予め決定している定数になる。
図21は、図20の画像から得られた格子行列をイメージ化したものである。同図には、格子行列の座標系(m,n)も記載している。格子行列では配列の中心を原点とした。点線で囲まれた部分は、ブロック番号が判別された領域の符号ブロックである。便宜上、ブロックの原点をL型同期マークの左下を基点としている。今回の格子行列データから検出されたブロック領域の起点座標を格子行列の座標系での位置をPm_s=(msyn,nsyn)とする。
次に、格子行列座標系におけるペン先の位置Pm_penの求め方を記述する。(A−11)式において、Tai(=Ta-1)は既知であるので、(x、y)に(xpen,y
pen)を代入して得られる(m,n)がPm_pen=(mpen,npen)である。
pen)を代入して得られる(m,n)がPm_pen=(mpen,npen)である。
最後に、いま検出されたXおよびYのブロック番号がXblk、Yblkであるとすると、格子行列座標系における符号ブロックの大きさは9ドット×2ブロックであるので、ペン先の紙面座標(Xpen,Ypen)は、
Xpen = Xblk*9*2−msyn+mpen
Ypen = Yblk*9*2−nsyn+npen
で計算できる。
Xpen = Xblk*9*2−msyn+mpen
Ypen = Yblk*9*2−nsyn+npen
で計算できる。
以上によって、紙面上でのペン先座標が、2次元符号ドットの分解能以上で得ることができる。
また、ペン軌跡の記録と転送について説明する。前述の通り、定期的に読み込まれる画像を解析することで、ペンの座標が得られる。したがって、これをそのときのペン圧と共にメモリ205に保存、転送することが可能になるので、転送先のホスト装置において、ペンの軌跡を再現描画が可能になる。
また、ペン軌跡の記録と転送について説明する。前述の通り、定期的に読み込まれる画像を解析することで、ペンの座標が得られる。したがって、これをそのときのペン圧と共にメモリ205に保存、転送することが可能になるので、転送先のホスト装置において、ペンの軌跡を再現描画が可能になる。
また、同時に読み出したオプショナル符号(オプションデータ)もホストに送ることが可能なので、このオプショナル符号を用いて様々な制御も可能になる。
以上より、紙面上に付された符号をカメラを用いて紙面に対して斜め方向から撮影した場合、その符号を正確に読み取り、かつ高速で読み取ることができる。また、L型の同期マークにもかかわらず、2元符号の格子点上の位置を簡単に計算できるので、高速な2次元符号を復号が可能である。また、同期マークの方向検出を高速に正確に行うことができる。また、高速でかつ精度のよい軌跡記録が可能な電子ペンを実現することができる。
以上より、紙面上に付された符号をカメラを用いて紙面に対して斜め方向から撮影した場合、その符号を正確に読み取り、かつ高速で読み取ることができる。また、L型の同期マークにもかかわらず、2元符号の格子点上の位置を簡単に計算できるので、高速な2次元符号を復号が可能である。また、同期マークの方向検出を高速に正確に行うことができる。また、高速でかつ精度のよい軌跡記録が可能な電子ペンを実現することができる。
(実施形態2)
本実施形態は、実施形態1の変形例である。実施形態1では、同期シンボルから、同期シンボルの射影パラメータを求めるのに、最大外郭の4点を選び出したが、4点以上の点から、QL分解などの手法をもちいて最小2乗誤差をもつようにパラメータを求めても良い。
本実施形態は、実施形態1の変形例である。実施形態1では、同期シンボルから、同期シンボルの射影パラメータを求めるのに、最大外郭の4点を選び出したが、4点以上の点から、QL分解などの手法をもちいて最小2乗誤差をもつようにパラメータを求めても良い。
これにより、パラメータの精度が向上する。
1 電子ペン
2 インクジェットノズル
3 ペン先
4 圧力センサ
5 カラーインクカートリッジ
6 3軸加速センサ
7 レンズ
8 CMOSイメージセンサ
9 プロセッサ
10 メモリ
11 電池
13 RF通信回路
14 赤外LED
15 赤外フィルタ
16 電磁バネ
17 インクジェット
103(103a、103b、103c、103c) 弁
201 符号画像処理部
202 符号デコード部
203 軌跡記録部
204 筆圧変換部
205 メモリ
206 オプションデータ記録部
207 軌跡読み出し部
208 オプションデータ処理部
901 CPU
902 AD変換器
903 セレクタ
904 DMA
2 インクジェットノズル
3 ペン先
4 圧力センサ
5 カラーインクカートリッジ
6 3軸加速センサ
7 レンズ
8 CMOSイメージセンサ
9 プロセッサ
10 メモリ
11 電池
13 RF通信回路
14 赤外LED
15 赤外フィルタ
16 電磁バネ
17 インクジェット
103(103a、103b、103c、103c) 弁
201 符号画像処理部
202 符号デコード部
203 軌跡記録部
204 筆圧変換部
205 メモリ
206 オプションデータ記録部
207 軌跡読み出し部
208 オプションデータ処理部
901 CPU
902 AD変換器
903 セレクタ
904 DMA
Claims (13)
- 所定の情報を表す符合マークと、該符号マークの前記情報を読み出す場合に同期をとるための同期マークと、からなる格子が複数記録された面を撮像する撮像手段と、
前記撮像手段により撮像された前記面の画像から前記同期マークと前記符号マークとを分類する分類手段と、
前記分類手段により分類された前記同期マークと前記符号マークとのひずみを修正するひずみ修正手段と、
前記修正手段により修正された前記同期マークと前記符号マークに基づいて、該符号マークの座標を算出する算出手段と、
前記算出手段により算出された前記符号マークの前記座標に基づいて、該符号マークの表す情報を読み出す符号情報読み出し手段と、
を備えることを特徴とする符号情報読み出し装置。 - 前記分類手段は、2値化された前記画像内の隣接する相互の画素において、相互に所定の画素値を有する場合に該画素群から構成されるそれぞれの領域に一意の番号を付与し、
該領域の大きさに基づいて、前記同期マークと前記符号マークとを分類する
ことを特徴とする請求項1に記載の符号読み出し装置。 - 前記ひずみ修正手段は、前記画像の前記同期マークと前記符号マークとより求められる座標系を示す第1の座標系を、直交座標系である第2の座標系へ変換する
ことを特徴とする請求項1に記載の符号読み出し装置。 - 前記ひずみ修正手段は、前記分類手段により分類された前記同期マークのうち少なくとも4つの該同期マークに基づいて、前記第1の座標系から前記第2の座標系へ変換するためのアフィン変換のパラメータを算出する
ことを特徴とする請求項3に記載の符号読み出し装置。 - 前記ひずみ修正手段は、前記同期マークを表す前記領域の重心を補正する
ことを特徴とする請求項1、3又は4に記載の符号読み出し装置。 - 前記同期マークは所定の図形によって表されるマークであり、前記ひずみ修正手段は前記図形の形状に基づいて該図形の向きを決定する
ことを特徴とする請求項1、3、4、又は5に記載の符号読み出し装置。 - 前記ひずみ修正手段は、前記図形で表される前記領域内の所定の点から該領域の境界までの長さに基づいて、前記図形の向きを決定する
ことを特徴とする請求項1、3、4、5、又は6に記載の符号読み出し装置。 - 所定の情報を表す符合マークと、該符号マークの前記情報を読み出す場合に同期をとるための同期マークと、からなる格子が複数記録された面を撮像する撮像処理と、
前記撮像処理により撮像された前記面の画像から前記同期マークと前記符号マークとを分類する分類処理と、
前記分類処理により分類された前記同期マークと前記符号マークとのひずみを修正するひずみ修正処理と、
前記修正処理により修正された前記同期マークと前記符号マークに基づいて、該符号マークの座標を算出する算出処理と、
前記算出処理により算出された前記符号マークの前記座標に基づいて、該符号マークの表す情報を読み出す符号情報読み出し処理と、
をコンピュータに実行させるための符号読み出しプログラム。 - 前記ひずみ修正処理は、前記画像の前記同期マークと前記符号マークとより求められる座標系を示す第1の座標系を、直交座標系である第2の座標系へ変換すること
をコンピュータに実行させるための請求項8に記載の符号読み出しプログラム。 - 前記ひずみ修正処理は、前記分類処理により分類された前記同期マークのうち少なくとも4つの該同期マークに基づいて、前記第1の座標系から前記第2の座標系へ変換するためのアフィン変換のパラメータを算出すること
をコンピュータに実行させるための請求項9に記載の符号読み出しプログラム。 - 前記同期マークは所定の図形によって表されるマークであり、前記ひずみ修正処理は前記図形の形状に基づいて該図形の向きを決定すること
をコンピュータに実行させるための請求項8、9、又は10に記載の符号読み出しプログラム。 - 筆記対象媒体に筆記した文字又は図形を、電子データとして取得するペン型データ入力装置において、
所定の情報を表す符合マークと、該符号マークの前記情報を読み出す場合に同期をとるための同期マークと、からなる格子が複数記録された面を撮像する撮像手段と、
前記撮像手段により撮像された前記面の画像から前記同期マークと前記符号マークとを分類する分類手段と、
前記分類手段により分類された前記同期マークと前記符号マークとのひずみを修正するひずみ修正手段と、
前記修正手段により修正された前記同期マークと前記符号マークに基づいて、前記格子における該符号マークの座標を算出する算出手段と、
前記算出手段により算出された前記符号マークの前記座標に基づいて、該符号マークを読み出す符号情報読み出し手段と、
前記筆記対象媒体に前記文字又は前記図形を筆記する筆記手段と、
を備えることを特徴とするペン型データ入力装置。 - 前記ペン型データ入力装置は、さらに、
前記符号情報読み出し手段により読み出した前記符号マークの表す前記情報を外部装置に送信する送信手段
を備えることを特徴とする請求項12に記載のペン型データ入力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003323290A JP2005092436A (ja) | 2003-09-16 | 2003-09-16 | 符号情報読み出し装置、そのプログラム、及びそれを利用したペン型データ入力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003323290A JP2005092436A (ja) | 2003-09-16 | 2003-09-16 | 符号情報読み出し装置、そのプログラム、及びそれを利用したペン型データ入力装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005092436A true JP2005092436A (ja) | 2005-04-07 |
Family
ID=34454406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003323290A Pending JP2005092436A (ja) | 2003-09-16 | 2003-09-16 | 符号情報読み出し装置、そのプログラム、及びそれを利用したペン型データ入力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005092436A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100726473B1 (ko) | 2005-11-05 | 2007-06-19 | 주식회사 칼라짚미디어 | 이미지 분별 장치 및 그 방법 |
JP2009140159A (ja) * | 2007-12-05 | 2009-06-25 | Seiko Epson Corp | 画像処理システム、位置検出装置およびプログラム |
JP2009176250A (ja) * | 2008-01-28 | 2009-08-06 | Fuji Xerox Co Ltd | 画像処理装置及びプログラム |
JP2013088260A (ja) * | 2011-10-17 | 2013-05-13 | Canon Inc | 三次元計測装置、三次元計測装置の制御方法、情報処理装置、情報処理装置の制御方法、およびプログラム |
WO2014020820A1 (ja) * | 2012-07-31 | 2014-02-06 | パナソニック株式会社 | 符号読取装置および符号読取方法 |
-
2003
- 2003-09-16 JP JP2003323290A patent/JP2005092436A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100726473B1 (ko) | 2005-11-05 | 2007-06-19 | 주식회사 칼라짚미디어 | 이미지 분별 장치 및 그 방법 |
JP2009140159A (ja) * | 2007-12-05 | 2009-06-25 | Seiko Epson Corp | 画像処理システム、位置検出装置およびプログラム |
JP2009176250A (ja) * | 2008-01-28 | 2009-08-06 | Fuji Xerox Co Ltd | 画像処理装置及びプログラム |
JP2013088260A (ja) * | 2011-10-17 | 2013-05-13 | Canon Inc | 三次元計測装置、三次元計測装置の制御方法、情報処理装置、情報処理装置の制御方法、およびプログラム |
US9733072B2 (en) | 2011-10-17 | 2017-08-15 | Canon Kabushiki Kaisha | Three dimensional measurement apparatus, control method therefor, information processing apparatus, control method therefor, and non-transitory computer-readable storage medium |
WO2014020820A1 (ja) * | 2012-07-31 | 2014-02-06 | パナソニック株式会社 | 符号読取装置および符号読取方法 |
US9129171B2 (en) | 2012-07-31 | 2015-09-08 | Panasonic Intellectual Property Management Co., Ltd. | Code reading device and code reading method |
JPWO2014020820A1 (ja) * | 2012-07-31 | 2016-07-21 | パナソニックIpマネジメント株式会社 | 符号読取装置および符号読取方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1532577B1 (en) | Position-coding pattern | |
CN100472554C (zh) | 照相机-笔尖映射和校准方法和*** | |
US9010640B2 (en) | Stream dot pattern, method of forming stream dot pattern, information input/output method using stream dot pattern, and dot pattern | |
US6517266B2 (en) | Systems and methods for hand-held printing on a surface or medium | |
US7108370B2 (en) | Hand held printing of text and images for preventing skew and cutting of printed images | |
US8125678B2 (en) | Handheld printer | |
US7175095B2 (en) | Coding pattern | |
US6335727B1 (en) | Information input device, position information holding device, and position recognizing system including them | |
KR101122822B1 (ko) | m-어레이 디코딩 및 오류 정정에 대한 향상된 접근 | |
CA2491843C (en) | Global localization by fast image matching | |
EP1620828B1 (en) | Methods, apparatus, computer program and storage medium for position decoding | |
US20110304548A1 (en) | Mouse provided with a dot pattern reading function | |
JP2006527355A (ja) | 光学センサーを用いた位置検出法および該方法を利用した装置 | |
AU2004242566A1 (en) | Local localization using fast image match | |
EP1697880B1 (en) | Method, apparatus, computer program and storage medium for recording a movement of a user unit | |
JPH04503271A (ja) | 走査画素データをマッピングする方法 | |
WO2000025293A1 (en) | Pen-input device | |
JP2017010271A (ja) | 情報処理装置、画像形成システム、画像形成装置、プログラム | |
JP4292927B2 (ja) | ペン型データ入力装置及び該プログラム | |
CN113306308B (zh) | 基于高精度视觉定位的便携式打印复印机的设计方法 | |
JP2005092436A (ja) | 符号情報読み出し装置、そのプログラム、及びそれを利用したペン型データ入力装置 | |
JP4325332B2 (ja) | ペン型データ入力装置及び該プログラム | |
KR20080084394A (ko) | 디지털 페이퍼 및 디지털 펜을 이용하여 디지타이저 기능을제공하는 방법 및 장치 | |
US10706319B2 (en) | Template creation apparatus, object recognition processing apparatus, template creation method, and program | |
JP2009181514A (ja) | 筆跡情報生成装置、プログラムおよび筆跡情報管理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060427 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090804 |