JP4612751B2 - 入出力一体型装置 - Google Patents
入出力一体型装置 Download PDFInfo
- Publication number
- JP4612751B2 JP4612751B2 JP9156499A JP9156499A JP4612751B2 JP 4612751 B2 JP4612751 B2 JP 4612751B2 JP 9156499 A JP9156499 A JP 9156499A JP 9156499 A JP9156499 A JP 9156499A JP 4612751 B2 JP4612751 B2 JP 4612751B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- coordinate
- signal
- image
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Description
【発明の属する技術分野】
本発明は、大型表示システムに用いられる座標入力装置を含む入出力一体型装置に関する。より詳しくは、大型ディスプレイの画面に指示具によって座標を入力することにより、外部接続されたコンピュータを制御したり、文字や図形などを書き込むために用いられる座標入力装置を含む入出力一体型装置に関する。
【0002】
【従来の技術】
従来の座標入力装置としては、CCDエリアセンサやリニアセンサを用いて画面上の発光ペン等からの光スポットを撮像し、重心座標あるいはパターンマッチングを用いるなどの画像処理を行って、座標値を演算して出力するものや、PSDと呼ばれる位置検出素子(スポットの位置に対応した出力電圧が得られるアナログデバイス)を用いるものなどが知られている。
【0003】
例えば、特公平7−76902号公報には、可視光の平行ビームによる光スポットをビデオカメラで撮像して座標を検出し、同時に赤外拡散光で制御信号を送受する装置について開示されている。また、特開平6−274266号公報には、リニアCCDセンサと特殊な光学マスクを用いて座標検出を行う装置が開示されている。
【0004】
一方、特許第2503l82号には、PSDを用いた装置について、その構成と出力座標の補正方法が開示されている。
【0005】
【発明が解決しようとする課題】
近年、大画面ディスプレイの画面の明るさが改善され、明るく照明された環境においても十分使用できるようになってきており、プレゼンテーションや電子会議システムにおいて有効な入出力一体型デバイスを構成することができるので需要が拡大されつつある。
【0006】
そして、座標入力装置は、そのような大画面ディスプレイと組み合わせた環境においても使用できるように、外乱光に強いことがますます必要になってきている。
【0007】
また、近年、無線通信手段として、赤外線を利用する機器が増加しており、赤外、可視光ともに外乱光は、増加傾向にあるため、外乱光に強いことは、装置の重要な特性の一つである。
【0008】
しかしながら、前記特公平7−76902号公報、前記特開平6−274266号公報からもわかるように、従来のCCDセンサを用いるものは、光学フィルタでしか外乱光を抑制することができない。
【0009】
これに対して、前記特許出願第2503l82号のように、PSDを用いる装置では、光強度を周波数変調し、この変調波を同期検波することにより、外乱光の影響を抑制できるため、光学フィルタと併用することによって、外乱光に対しては強い特性を持っている。
【0010】
また、大画面ディスプレイは、明るさの改善と同時に高解像度化も進められている。このため、座標入力装置の分解能も向上させる必要があるが、外乱光に強いPSDを用いた装置ではこの点において問題がある。
【0011】
すなわち、センサ出力電圧のダイナミックレンジが入力範囲にそのまま対応しているため、例えば全体をl000の座標に分解する場合には少なくとも60dB以上のS/N比が必要になり、さらに前記特許第2503l82号で述べられているように、直線性誤差のデジタル補正が必須であるため、高精度なアナログ回路と多ビットのAD変換器と演算回路とが必要になる。
【0012】
さらに、センサ出力信号のS/N比は光量と光スポットのシャープさに依存するため、前述した外乱光の抑圧だけでは不十分であり、明るく高精度な光学系も必要になる。このようなことから、装置自体が非常に高価で、大型なものになってしまう。
【0013】
さらに、CCDセンサを用い、分解能を高める手法として、前記特公平7−76902号公報では、ビデオカメラを複数台同時使用することが開示されているが、これは装置が大型化し、高価になる。また、一台で画素数の多いビデオカメラの場合には、複数のカメラを用いるよりもさらに大型化し、高価となる。
【0014】
また、画像処理によって、画素数よりも高い分解能を達成するには、膨大な画像データの高速処理が必要となり、リアルタイム動作をさせるには非常に大型で、高価なものとなってしまう。
【0015】
また、前記特開平6−274266号公報では、特殊な光学マスクと信号処理とによって高分解能が得られるようにしており、外乱光が小さく良好なS/N比が確保できれば高分解能化が可能である。
【0016】
しかし、実際には、リニアセンサでは結像が線状であり、点像となるエリアセンサに比べて面内で外乱光との分離ができないため、外乱光の影響を受けやすく、外乱光の少ない特殊な環境でしか実用にならないという問題がある。
【0017】
また、上記座標入力装置を投射型大画面ディスプレイと組み合わせる場合、この投射型大画面ディスプレイに用いるスクリーンとしては、入力側であり画面鑑賞側である前面の視野角を広く確保するために、フレネルレンズとレンチキュラーレンズ面をもったスクリーンを用い、更に拡散材等を併用する構成とするのは公知の技術である。
【0018】
しかし、単純にセンサの位置を考慮せずこのスクリーンを上記座標入力装置と投射型大画面ディスプレイと組み合わせた装置に用いたのでは、ペン等の指示具からの光スポットの光はセンサへ集光せず、光量が不足してしまうという問題がある。更に、例えば特開昭58-59436に開示されているように、水平方向に曲率を持つ凸のレンチキュラーレンズを表裏両面に持ち、コントラストの向上を図るために、レンチキュラーレンズの鑑賞側の面(画像光の出力側)にレンチキュラーレンズの背面の谷部と対向した平面の黒状細状面(ブラックストライプ)をフレネル板と共に形成するスクリーン構成が知られている。
【0019】
ところが、上記スクリーン画面上のペン等の指示具からの光スポットの座標を検出する場合、上記ブラックストライプによりセンサへ入力する光が遮られてしまい、十分な検出光量を確保できないという問題がある。このような場合、図13(a)及び図13(b)で示すように上記レンチキュラーレンズの背面の谷部と対向した平面にブラックストライプを形成しないレンチ板を用いることが容易に考案される。
【0020】
但し、この場合、図13(a)で示すような画像光に関しては、フレネル板通過後画像光の光軸と平行になった光線群(矢印→)に対し水平方向に強い拡散を行い、視野角の向上効果があるものの、ペン等の指示具からの光ビーム(矢印←)に対しては上記レンズ部及び上記平面いずれの領域に於ける入射に関してフレネル板へは光軸に平行な光線でなく拡散光となってしまい、センサへ十分な検出光量を確保できないという問題がある。
【0021】
そこで、本発明の目的は、投射画像の視野角を広く保持した上で、十分なセンサへの入射光量を確保した、高分解能で高性能な座標入力装置を提供することにある。
【0022】
【課題を解決するための手段】
上記課題を解決するために、本発明は、指示具からの光を座標入力画面の所定位置に照射して光スポットを生成し、前記光スポットを撮像する撮像手段と、該撮像手段の出力信号から該スポットの前記座標入力画面の所定位置に対応した座標出力信号を生成する座標演算手段からなる座標入力装置と、前記座標入力画面に画像を投射し結像させる投射型表示手段より構成される入出力一体型装置であって、前記撮像手段を前記投射型表示手段の投射レンズの略近傍に配置し、前記座標入力画面を画像投射側の画像投射光を上記投射レンズの光軸に平行にし、且つ、指示具からの光を前記撮像手段へ集光するフレネルレンズを有するフレネル板と、座標入力面側の画像投射光を拡散させるレンチキュラーレンズを有するレンチ板から構成され、該レンチ板は、前記指示具からの光が透過後投射レンズの光軸と略平行になる光学特性領域を備え、該レンチ板の光学特性領域が、座標入力面側の凸曲率面と画像投射側の凹曲率面により構成されることを特徴とする入出力一体型装置を提供する。
【0024】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【0025】
図1は、本発明の座標入力装置の全体構成を示す概略図である。
【0026】
まず、図1を用いて、本発明に係る光学式座標入力装置の概略構成について説明すると、本装置は大別して、座標入力面であるスクリーン10に対して光スポットを形成する指示具4と、光スポット5のスクリーン10上の位置座標等を検出する座標検出器1とからなり、図1にはそれらの構成と合わせて、出力装置としてスクリーン10に画像、或いは前述の位置情報等を表示する投射型表示装置8が記載されている。
【0027】
次に図3を用いて指示具4の概略構成について説明する。
【0028】
指示具4は、赤外光ビームを発射する半導体レーザ、或いはLED等の発光素子41と、その発光を駆動制御する発光制御手段42、複数の操作用スイッチ手段43、電池等の電源手段44とを内蔵している。発光制御手段42は、操作用スイッチ43の状態により、発光のON(オン)/OFF(オフ)と、後述する変調方法とによって、制御信号を重畳した発光制御を行う。
【0029】
図1の座標検出器1は、座標検出センサ部2と、このセンサ部の制御および座標演算などを行うコントローラ3、制御信号検出センサ6、信号処理部7とから構成されており、光スポット5のスクリーン10上の座標位置、及び指示具4の後述する各スイッチの状態に対応する制御信号とを検出して、コントローラ3によって外部接続装置(不図示)にその情報を通信するようにしている。
【0030】
図1の投射型表示装置8は、コンピュータ(図示せず)などの外部接続装置である表示信号源からの画像信号が入力される画像信号処理部81と、これにより制御される液晶パネル82、ランプ83、ミラー84、コンデンサーレンズ85からなる照明光学系と、液晶パネル82の像をスクリーンl0上に投影する投影レンズ86とからなり、所望の画像情報をスクリーン10に表示することができる。
【0031】
スクリーンl0は、投射画像の観察範囲を広くするために、上記投影レンズ86からの画像光線をその光軸に平行にするフレネルレンズよりなる画像投射側のフレネル板10−1と水平方向に拡散作用するレンチキュラーレンズよりなる座標入力面側のレンチ板10−2より構成され、また、更に垂直方向にも適度な視野範囲を確保するため、光拡散剤を上記フレネル板10−1及びレンチ板10−2に混入させてある。
【0032】
上記フレネル板10−1は、上記の画像光線をその光軸に平行にすると共に、指示具4によりスクリーン10に入力した光ビームを撮像手段である座標検出器1を構成する上記座標検出センサ部2と制御信号検出センサ6に向かわせる作用をする。
【0033】
従って、上記座標検出センサ部2と制御信号検出センサ6は上記投影レンズ86の略近傍に配置し、更に望ましくは、上記フレネル板10−1のフレネルレンズの物体側焦点が、上記投影レンズ86の射出位置と上記座標検出センサ部2と制御信号検出センサ6の位置に略合致する様に配置する。
【0034】
図1では、上記投影レンズ86に比べて小型である上記座標検出センサ部2と制御信号検出センサ6を投影レンズ86の周囲に配置した一実施形態を示す。
【0035】
また、フレネル板10−1のフレネルレンズの物体側焦点を上記投影レンズ86の射出位置からわずかに上記座標検出センサ部2と制御信号検出センサ6の位置側へずらした位置にしてもよい。実際には、上記の通りスクリーン10は拡散特性を持っているので指示具4からの光ビームはある程度の幅があり、上記構成により、図1に示すように指示具4のスクリーン10への入力位置が(a)の位置の場合でも(b)の位置の場合でも指示具4からの光ビームは、効率よく座標検出器1を構成する上記座標検出センサ部2及び制御信号検出センサ6へ入射することができる。
【0036】
また更に、光スポット5の光がより効率よく座標検出器1に入射するためには、上記指示具4からの光がレンチ板10−2透過後、フレネル板10−1のフレネルレンズに入射する前に、光軸と平行になる様な光学特性をレンチ板10−2が具えることが望ましい。その特性を持った領域を具えたレンチ板10−2の構成に係わる詳しい説明は、後述する。
【0037】
この様に構成することで、指示具4によりスクリーン10上で文字情報や線画情報を入力し、その情報を投射型表示装置8で表示することにより、あたかも『紙と鉛筆』の様な関係で情報の入出力を可能とする他、ボタン操作やアイコンの選択決定などの入力操作を自由に行える様に構成したものである。
【0038】
以下、本願発明の光学式座標入力装置の詳細について具体的に説明する。
【0039】
<指示具4の詳細説明>
図3は指示具4の概略構造図であり、赤外光ビームを発射する半導体レーザからなる発光素子41と、その発光を駆動制御する発光制御手段42、電源部44、並びに本願発明の実施例では4個の操作用スイッチ43A〜43Dとを内蔵している。発光制御手段42は、4個の操作用スイッチ43A〜43Dの状態により、発光のON(オン)/OFF(オフ)と、後述する変調方法とによって、制御信号を重畳した発光制御を行う。図14は、指示具4の動作モードを示すものであり、スイッチA〜Dは、図3のスイッチ43A〜43Dに対応している。なお図14中、「発光」とは発光信号(座標信号)に対応し、「ペンダウン」、「ペンボタン」とは制御信号に対応する。
【0040】
操作者は、指示具4を握ってスクリーン10にその先端を向ける。このとき、スイッチ43Aは親指が自然に触れる位置に配置されており、これを押すことによって光ビーム45が発射される。これにより、スクリーン10上に光スポット5が生成され、所定の処理によって座標信号が出力され始めるが、この状態ではペンダウン及びペンボタンの制御信号はOFFの状態である。このため、スクリーン10上では、カーソルの動きやボタンのハイライト切換えなどによる操作者への指示位置の明示のみが行われる。
【0041】
また、人差し指及び中指が自然に触れる位置に配置されたスイッチ43C,43Dを押すことによって、図14に示すようにペンダウン及びペンボタンの制御信号が、発光信号に重畳された信号となる。すなわち、スイッチ43Cを押すことによってペンダウンの状態となり、文字や線画の入力を開始したり、ボタンを選択決定するなどの画面制御が実行できる。スイッチ43Dを押すことによってペンボタンの状態となり、メニューの呼び出しなどの別機能に対応させることができる。これにより、操作者は、片手でスクリーン10上の任意の位置で、すばやく正確に文字や図形を描いたり、ボタンやメニューを選択したりすることによって、軽快に操作することができる。
【0042】
また、指示具4の先端部には、スイッチ43Bが設けられていて、スクリーン10に指示具4を押し付けることによって動作するスイッチである。操作者が、指示具4を握り、指示具の先端部をスクリーン10に押し付けることでペンダウン状態となるので、余分なボタン操作を行うことなしに自然なぺン入力操作を行うことができる。
【0043】
また、スイッチ43Aはペンボタンの役割を持つ。もちろん画面に押し付けないでスイッチ43Aを押せば、カーソルのみを動かすこともできる。実際上、文字や図形の入力は画面から離れて行うより、直接画面に触れた方が遥に操作性、正確性が良い。本実施形態例では、このように4個のスイッチを用いて画面から離れていても、また、直前にいても、自然で快適な操作が可能であり、場合によって使い分けることができるように構成されている。さらには、直接入力専用(ポインタとして使用しない)ならば、光ビームでなく拡散光源でよいので、半導体レーザよりも安価で長寿命のLEDを用いることも可能である。
【0044】
また、このように近接用、遠隔用の2種類の指示具4を用いたり、同時に2人以上で操作する、あるいは色や太さなど属性の異なる複数の指示具4を用いる場合のために、発光制御手段42は、固有のID番号を制御信号と共に送信するように設定されている。送信されたID番号に対応して、描かれる線の太さや色などの属性を外部接続機器側のソフトウェアなどで決定するようになっており、スクリーン10上のボタンやメニューなどで設定変更することができる。この操作は、指示具4に別途操作ボタン等を設けて変更指示信号を送信するようにしてもよく、これらの設定については指示具4内部あるいは座標検出器1内に状態を保持するようにしてID番号ではなく、属性情報を外部接続機器へ送信するように構成することも可能である。
【0045】
また、このような追加の操作ボタンは、他の機能、例えば表示装置の点滅や信号源の切換、録画装置などの操作などを行えるようにも設定可能である。さらに、スイッチ43A,43Bのいずれか一方、または両方に圧力検出手段を設けることによって筆圧検出を行い、この筆圧データを制御信号と共に送信するなど各種の有用な信号を送信することが可能である。
【0046】
指示具4のスイッチ43Aまたはスイッチ43BがONになると発光が開始され、その発光信号は比較的長い連続するパルス列からなるリーダ部と、これに続くコード(メーカーIDなど)とからなるへッダ部をまず出力し、その後、ペンIDや制御信号などからなる送信データ列が予め定義された順序と形式に従ってその情報を順次出力する(図7、LSG信号参照)。
【0047】
なお本実施形態例では、各データビットにおいて、“1”ビットは“0”ビットに対して2倍の間隔をもつような変調形式で形成しているが、データの符号化方式については種々のものが使用可能である。
【0048】
しかしながら、後述する様に座標検出のためには平均光量が一定している事、またPLLの同調を行うにはクロック成分が十分大きい事等が望ましく、送信すべきデータ量から見て冗長度を比較的高くしても支障はない等を勘案して、本実施形態例においては、6ビット(64個)のデータを10ビット長のコードのうち、1と0が同数で、かつ、1あるいは0の連続数が3以下の108個のコードに割り付ける方法で符号化している。このような符号化方式をとることによって、平均電力が一定になり、また十分なクロック成分が含まれるので、復調時に容易に安定した同期信号を生成することができる。
【0049】
また、前述したように、ペンダウンおよびペンボタンの制御信号は、2ビットであるがIDなどその他の長いデータも送信しなければならない。そこで、本実施形態例では、24ビットを1ブロックとして、先頭の2ビットは制御信号、次の2ビットは内容識別コード(例えば、筆圧信号は00、IDは11等)、次の2ビットはこれらのパリティ、その後に、16ビットのデータと2ビットのパリティとを並べて、1ブロックのデータとして構成する。このようなデータを前述したような方式により符号化すると、40ビット長の信号になる。その先頭に10ビット長のシンクコードを付加する。このシンクコードは0が4個、1が5個連続する、あるいはその反転パターン(直前のブロックの終わりが、1か0かで切り替える)という特殊なコードを使用して、データワードとの識別が容易で、データ列の途中においても確実にその位置を識別してデータの復元ができるようになっている。従って、1ブロックで50ビット長の伝送信号となり、制御信号と16ビットのIDまたは筆圧等のデータを送信していることになる。
【0050】
本実施形態例では、第1の周波数60kHzの1/8の7.5kHzを第2の周波数としているが、前述のような符号化方式を採用しているため、平均伝送ビットレートは、この2/3の5kHzとなる。さらに、1ブロックが50ビットなので、100Hzでは1ブロック24ビットのデータを送信していることになる。したがって、パリティを除いた実効ビットレートは、2000ビット/秒である。このように冗長性は高いが、誤検出を防止し、同期を容易にすることが非常に簡単な構成で実現できる方式となっている。
【0051】
また、後述のセンサ制御のための位相同期信号と、シンクコードの繰り返し周期のチェックとを併用することによって、信号に短いドロップアウトが発生した場合でも追従ができ、逆に実際に、ペンアップやダブルタップのような素早い操作を行った場合との識別は、ヘッダ信号の有無によって確実に行えるようにもなっている。
【0052】
<座標検出器1の詳細説明>
図4は、座標検出器1の内部構成を示す図である。この座標検出器1には、集光光学系によって高感度に光量検出を行う受光素子6と、結像光学系によって光の到来方向を検出する2つのリニアセンサ20X,20Yとが設けられており、指示具4に内蔵された発光素子41からの光ビームにより、スクリーンl0上に生成された光スポット5からの拡散光をそれぞれ受光する。
【0053】
<集光光学系の動作説明>
受光素子6には、集光光学系としての集光レンズ6aが装着されており、スクリーンl0上の全範囲から高感度で所定波長の光量を検知する。この検知出力は、周波数検波手段71によって検波された後、制御信号検出手段72において制御信号(指示具4の発光制御手段42によって重畳された信号)などのデータを含むデジタル信号が復調される。
【0054】
図7は、その制御信号の復元動作を説明するタイミングチャートである。先に述べたようなビット列からなるデータ信号は、受光素子6で光出力信号LSGとして検出され、周波数検波手段71で検波される。周波数検波手段71は、光出力信号LSGの中で最も高い第1の周波数のパルス周期に同調するように構成され、光学的なフィルタと併用することによって、外乱光の影響を受けることなく、変調信号CMDを復調する。この検波方法は広く実用されている赤外線リモートコントローラと同様であり、信頼性の高い無線通信方式である。
【0055】
本実施形態例では、この第1の周波数としては、一般に使用されている赤外線リモートコントローラより高い帯域である60KHzを用い、同時に使用しても誤動作することの無いように構成したが、この第1の周波数を一般に使用されている赤外線リモートコントローラと同じ帯域にすることも可能であり、このような場合にはIDなどで識別することによって誤動作を防止する。
【0056】
さて、図4の周波数検波手段71により検波された変調信号CMDは、制御信号検出手段72によってデジタルデータとして解釈され、前述したペンダウンやペンボタンなどの制御信号が復元される。この復元された制御信号は、通信制御手段33に送られる。また変調信号CMDに含まれる第2の周波数であるコード変調の周期は、センサ制御手段31によって検出され、この信号によってリニアセンサ20X,20Yを制御する事になる。すなわち、センサ制御手段31では、図7に示したヘッダ部のタイミングでリセットし、その後、変調信号CMDの立ち下がりに位相同期した信号LCKを生成する。従って、この生成された信号LCKは、指示具4の発光の有無に同期した一定周波数の信号となる。
【0057】
また、変調信号CMDからは、光入力の有無を示す信号LONと、この信号LONによって起動されるセンサリセット信号RCLとが生成される。このセンサリセット信号RCLがハイレベルの間に2つのリニアセンサ20X,20Yはリセットされ、信号LCKの立ち上がりに同期したセンサリセット信号RCLの立ち下がりのタイミングによって後述する同期積分動作が開始される。
【0058】
一方、制御信号検出手段72はヘッダ部を検出し、他の機器やノイズではなく、指示具4からの入力が開始されたことを確認すると、この確認を示す信号が通信制御手段33からセンサ制御手段3lに伝達され、リニアセンサ20X,20Yの動作有効を示す信号CONがハイレベルにセットされ、座標演算手段32の動作が開始される。
【0059】
図8は、光出力信号LSGが無くなり、一連動作の終了時におけるタイミングチャートを示す。光出力信号LSGから検波された変調信号CMDがローレベルを一定時間以上続けると、光入力の有無を示す信号LONがローレベルになり、さらに、センサ動作有効を示す信号CONもローレベルとなり、その結果、リニアセンサ20X,20Yによる座標の出力動作を終了する。
【0060】
<結像光学系の動作説明>
図5に、2つのリニアセンサ20X,20Yの配置関係を示す。結像光学系としての円筒レンズ90X、90Yによって光スポット5の像が各センサの感光部2lX、21Yに線状91X,91Yに結像する。これら2つのセンサを正確に直角に配置することによって、それぞれがX座標、Y座標を反映した画素にピークを持つ出力が得られる。そして、これら2つのセンサは、センサ制御手段31によって制御され、出力信号はセンサ制御手段31に接続されたAD変換手段3lAによってデジタル信号として座標演算手段32に送られ、出力座標値を計算し、その結果を制御信号検出手段72からの制御信号などのデータと共に通信制御手段33を介して、所定の通信方法で外部制御装置(図示せず)に送出する。
【0061】
また、調整時など通常と異なる動作(例えば、ユーザ校正値の設定)を行わせるために、通信制御手段33の方からセンサ制御手段31、座標演算手段32へモード切換え信号が送られる。
【0062】
本実施形態では、光スポット5の像が各センサの画素の数倍の像幅となるように焦点調節を行って、故意にボケを生じさせている。直径1.5mmのプラスチック製の円筒レンズと画素ピッチ約15μm、有効64画素のリニアCCD、赤外線LEDを用いた実験によれば、最もシャープな結像をさせると、約40度の画角全面にわたって15μm以下の像幅となり、このような状態では画素間分割演算結果が階段状に歪んでしまうことがわかった。
【0063】
そこで、像幅が30から60μm程度となるように、レンズの位置を調節すると、非常に滑らかな座標データが得られた。もちろん、大きくぼけさせると、ピークレベルが小さくなってしまうので、数画素程度の像幅が最適である。画素数の少ないCCDと、適度にボケた光学系を用いることが、本実施形態のポイントの一つであり、このような組み合わせを用いることによって、演算データ量が少なく、小さなセンサと光学系で非常に高分解能、高精度、高速でかつ低コストな座標入力装置を実現できるものである。
【0064】
アレイ状に配置されたX座標検出用リニアセンサ20X,Y座標検出用リニアセンサ20Yは同一の構成であり、その内部構成を図6に示す。
【0065】
受光部であるセンサアレイ2lはN個の画素(本実施例では64画素)からなり、受光量に応じた電荷が積分部22に貯えられる。積分部22は、N個からなり、ゲートICGに電圧を加えることによってリセットできるため、電子シャッタ動作が可能である。この積分部22に貯えられた電荷は、電極STにパルス電圧を加えることによって蓄積部23に転送される。この蓄積部23は、2N個からなり、指示具4の発光タイミングに同期した信号LCKのH(ハイレベル)とL(ローレベル)とにそれぞれ対応して別々に電荷が蓄積される。その後、光の点滅に同期して各々別々に蓄積された電荷は、転送クロックを簡単にするために設けられた2N個からなるシフト部24を介して、2N個からなるリニアCCD部25に転送される。
【0066】
これにより、リニアCCD部25には、N画素のセンサ出力の光の点滅に各々対応した電荷が隣接して並んで記憶されることになる。これらリニアCCD部25に並べられた電荷は、2N個からなるリングCCD部26に順次転送される。このリングCCD26は、信号RCLによってCLR部27で空にされた後、リニアCCD部25からの電荷を順次蓄積していく。
【0067】
このようにして蓄積された電荷は、アンプ29によって読み出される。このアンプ29は、非破壊で蓄積電荷量に比例した電圧を出力するものであり、実際には、隣接した電荷量の差分、すなわち、発光素子41の点灯時の電荷量から非点灯時の電荷量を差し引いた分の値を増幅して出力する。
【0068】
この時得られるリニアセンサ20X,20Yの出力波形の一例を図9に示す。図中、Bの波形は発光素子41の点灯時の信号のみを読み出したときの波形であり、Aの波形は非点灯時の波形、すなわち、外乱光のみの波形である(図6に示したように、リングCCD26には、これらA,Bの波形に対応する画素の電荷が隣接して並んでいる)。
【0069】
図6のアンプ29は、その隣接する電荷量の差分値(B−Aの波形)を非破壊増幅して出力することになるが、これにより指示具4からの光のみの像の信号を得ることができ、外乱光(ノイズ)の影響を受けることなく安定した座標入力が可能となった。
【0070】
また図9に示したB−Aの波形の最大値をPEAK値と定義すれば、光に対してセンサが機能する蓄積時間を増大させれば、その時間に応じてPEAK値は増大する。言い換えれば、信号LCKの1周期分の時間を単位蓄積時間とし、それを単位として蓄積回数nを定義すれば、蓄積回数nを増大させることでPEAK値は増大し、このPEAK値が所定の大ささTH1に達したことを検出することで、常に一定した品位の出力波形を得ることができる。
【0071】
一方、外乱光が非常に強い場合、差分波形B−Aのピークが十分な大きさになる前に、リングCCD26の転送電荷が飽和してしまう恐れがある。このような場合を考慮して、センサにはスキム機能を有するスキム部28が付設されている。スキム部28は、非点灯信号のレベルを監視し、図10に於いて、n回目のAnで信号レベルが所定の値を超えている場合(図中、一点鎖線)、一定量の電荷をA,Bの各画素から抜き取るようにする。これにより、次のn+1回目には、An+1に示すような波形となり、これを繰り返すことによって、非常に強い外乱光があっても飽和することなく、信号電荷の蓄積を続けることができる。
【0072】
従って、点滅光の光量が微弱であっても、多数回積分動作を継続することによって、十分な大きさの信号波形を得ることが可能になる。特に指示具4に可視光域の発光源を用いる場合、表示画像の信号が重畳するので、前述したスキム機能と差分出力を用いることによって、非常にノイズの少ないシャープな波形を得ることが可能となる。
【0073】
図11は、リニアセンサ20X,20Yのセンサ制御の一連の動作を示すものである。センサ制御手段31は、まず、ステップS101によりセンサ制御動作を開始し、ステップS102において信号CONを監視する。そして、信号CONがハイレベルになると、ステップS103で蓄積回数nを0にリセットし、ステップS104でセンサ出力のPEAK値(ピークレベル)が所定の大きさTH1より大きいか否かを判定する。
【0074】
TH1より小さい場合は、ステップS105で蓄積回数nが第1の所定回数n0を超えているかを判定する。超えていなければ、ステップS106に移り、蓄積回数nを1インクリメントしてステップS104に戻る。そして、PEAK値がTH1より大きくなるか、nがn0を超えると、ステップS107に進み、積分停止信号RONがハイレベル(H)になって積分動作は停止される。そして、座標演算手段32による座標値演算の処理が開始される。
【0075】
その後、ステップS108とステップS109のループで第2の所定回数n1を超えると、積分停止信号RONがローレベルになり、同時に、信号LCKの周期の数倍(図8では2倍)の間センサリセット信号RCLがハイレベルになって、ステップS112に進み、信号CONがハイレベルである間はこの動作が繰り返され、前記の所定回数n1で決まる周期ごとに座標値演算が行われる。
【0076】
また、ごみなどの影響で、信号CONがドロップしても、1回のみは状態を保持するように、ステップS111が設けられている。もし、連続して2周期の間、信号CONがローレベルであれば、ステップS102からステップS113に進み、フラグponが0にリセットされ、シンク信号待ちの状態になってステップS101に戻る。
【0077】
このドロップアウト対策部分は、1周期でなくもっと長くすることも可能であり、外乱が少なければ、逆に無くしてしまってもよいことは言うまでもない。なお、ここの1周期を前述のデータブロックの周期の自然数倍として、シンクコードのタイミングと一致させ、信号CONの代りにシンクコード検出信号を用いても同様の動作を行える。
【0078】
また、座標検出器に到達する指示具4の光は、指示具4に内蔵された電源(電池)44の消耗により変動する他、指示具4の姿勢によっても変動する。特に、スクリーン10の光拡散性が小さい場合、表示画像の正面輝度は向上するが、この指示具4の姿勢によるセンサへの入力光量の変動が大きくなってしまう。
【0079】
しかしながら本実施形態では、このような場合であっても、積分回数が自動的に追従して常に安定した出力信号を得ることができるので、安定した座標検出が可能となる優れた効果が得られる。またレーザポインタのビームがあまり散乱されずにセンサに入射した場合は、かなり強い光が入る事になるがが、このような場合であっても安定した座標検出ができることは明らかである。
【0080】
また、画面に直接接触させて使用するLEDを用いたペンタイプとレーザポインタとを併用する場合、LEDはより大きな光量のものが使用可能であるので、前記図11に示した積分回数n0,n1をID信号によってペンかポインタかを判別して切換え、ペンの場合はサンプリングを高速に、ポインタの場合は低速にすることも可能である。実際、文字入力のように繊細な描画作業はポインタでは不可能であり、むしろ低速サンプリングによって滑らかな線を描けるほうが使い勝手がよく、このような切換えを設けることも有効である。
【0081】
以上述べてきたように、点滅光に高周波数のキャリアを加え、そのキャリアを周波数検波して得た所定周期の復調信号によって積分動作のタイミング制御を行うようにしたので、指示具と搬像部とをコードレスで同期させることができ、使い勝手の良い座標入力装置を実現することができるようになった。
【0082】
また、レーザービームを用いることによって画面から離れた位置で容易に操作することが可能となる優れた利点も得られる。また、積分手段からの差分信号中のピークレベルが所定レベルを超えことを検出し積分動作を停止させる積分制御手段を設けたので、光量が変化してもほぼ一定レベルの光スポット像の信号を作成でき、これにより、常に安定した高分解能な座標演算結果を得ることができる。
【0083】
<座標値演算>
以下、図4の座標演算手段32における座標演算処理について説明する。
【0084】
上述したようにして得られた2つのリニアセンサ20X,20Yの出力信号(アンプ29からの差分信号)は、センサ制御手段31に設けられたAD変換手段31Aでデジタル信号として座標演算手段32に送られ、座標値が計算される。座標値の演算は、まず、X座標、Y座標の各方向の出力データに対して、センサ上の座標値(X1、Y1)が求められる。なお、演算処理は、X,Y同様であるので、Xのみについて説明する。
【0085】
図12は、座標演算の処理の流れを示すものである。
【0086】
ステップS201で処理を開始し、ステップS202では、任意の座標入力点(後述する基準点設定モードでは座標が既知の所定点)での各画素の差分信号である差分データDx(n)(本実施例の場合画素数n=64)が読み込まれ、バッファメモリに貯えられる。次に、ステップS203では、あらかじめ設定しておいた閾値Vと比較し、閾値以上のデータ値Ex(n)を導出する。このデータを用いて、ステップS204でセンサ上の座標X1を算出する。本実施例では、重心法により出力データの重心を算出しているが、出力データEx(n)のピーク値を求める方法(例えば微分法による)等、計算の方法は複数あることは言うまでもない。
【0087】
ステップS205で座標演算処理のモード判定を行う。出力データの重心X1から座標を算出するためには、あらかじめ所定値を求めておく必要があり、その所定値を導出する方法(基準点設定モード)に付いて述べる。
【0088】
同様にX方向のみについて説明すれば、スクリーン10上のX座標、Y座標が既知の点(α1、β1)、及び(α2、β2)で、指示具4を位置せしめ、前述のステップS202〜S204を各々実行し、各々の点で得られるX方向センサの重心値を、X11、X12として導出、その値、及び既知の座標値α1、α2を各々ステップ210で記憶する。この記憶された値を用いて、通常の座標算出時にはステップS206で導出すべき座標入力点のX座標を算出することができる。ステップS207ではより高性能な座標入力装置を提供することを目的として、必要に応じて座標値の校正(例えば光学系のレンズ収差を補正するためにソフト的な演算でその歪みを補正する等)をし、座標値を確定する。
【0089】
確定した座標をそのままリアルタイムで出力する事も可能であるし、目的に応じてデータを間引く(例えば確定座標10個毎で1個のデータのみ出力)等も可能である事は言うまでもないが、以下の仕様等を想定する場合には、重要である。
【0090】
指示具4をペンのように使う場合と、ポインタとして画面から離れて使う場合では、使用者の手の安定性が異なる。ポインタとして使う場合には、画面上のカーソルが細かく震えてしまうので、このような細かい動きを抑制したほうが使いやすい。一方、ペンのように使う場合には、できるだけ忠実に速く追従することが求められる。特に文字を書く場合などには小さな素早い操作ができないと、正しく入力できなくなってしまう。
【0091】
本実施形態例では、制御信号によりIDを送信しているため、ポインタタイプか否か、先端のスイッチが押されているか否かを判定可能なので、これにより、ポインタとして、或いはペンとして使っているかどうかを判定できる。
【0092】
もし、ポインタであれば、例えば前回及び前々回の出力座標値(X−1,Y−1)、(X−2,Y−2)を用いて移動平均を計算して今回の出力座標値(X,Y)を求める様にすれば、ぶれの少ない操作性の良い構成となる。本例では、単純な移動平均を用いているが、このような平滑化処理に用いる関数としては、他にも差分絶対値を大きさにより非線型圧縮したり、移動平均による予測値を用いてこれとの差分を非線型圧縮するなどの各種方式が使用可能である。要は、ポインタとして使用している場合は平滑化を強目にし、そうでない場合は弱めに切り替えることが、制御信号により可能であるため、それぞれ使い勝手のよい状態を実現可能であり、この点でも本発明の効果は大きい。
【0093】
なお、これらの演算処理は、前述したように座標サンプリング周波数が100Hzの場合には10msecの間に終了すればよく、原データは64画素×2(xおよびy)×AD変換手段8ビットと非常に少ない上、収束演算も必要ないので低速の8ビット1チップマイクロプロセッサーで十分処理が可能である。このようなことは、コスト的に有利なだけでなく、仕様変更が容易で、開発期間の短縮や様々な派生商品の間発が容易になる利点もある。特に、エリアセンサを用いる場合のように、高速の画像データ処理を行う専用のLSIの開発などは不要であり、開発費用、開発期間などの優位性は非常に大きなものである。
【0094】
上述したような演算処理によって求めた座標値(X,Y)を示すデータ信号は、座標演算手段32から通信制御手段33に送られる。この通信制御手段33には、そのデータ信号と、制御信号検出手段72からの制御信号とが入力される。そして、これらデータ信号および制御信号は、ともに所定の形式の通信信号に変換され、外部の表示制御装置に送出される。これにより、スクリーン10上のカーソルやメニュー、文字や線画の入力などの各種操作を行うことができる。前述したように、64画素のセンサを使った場合でも、1000超の分解能と十分な精度とが得られ、センサ、光学系ともに小型、低コストな構成でよく、また、演算回路も非常に小規模な構成とすることが可能な座標入力装置を得ることができる。
【0095】
また、センサを、エリアセンサとして構成する場合は、分解能を2倍にするには、4倍の画素数と演算データとが必要となるのに対して、リニアセンサとして構成する場合には、X座標,Y座標各々2倍の画素数にするだけで済む。従って、画素数を増やしてさらに高分解能にすることも容易にできる。
【0096】
以上説明したように、本発明によれば、指示具により所定の周期で点滅する光スポットの点灯時と非点灯時との信号を別々に積分して差信号を求め、ピーク画素の位置を精度よく求める様に構成したので、高精度、高分解能の座標値を得ることができ、さらには外乱光の影響を抑制し、小型、軽量、低コストな装置を実現することができる優れた効果が得られた。
【0097】
<スクリーンに係わる説明>
前述した本装置で用いるスクリーン10についての詳細な説明を行なう。スクリーン10は前述の通り、上記投影レンズ86からの画像光線をその光軸に平行にするフレネルレンズよりなるフレネル板10−1と水平方向に拡散作用するレンチキュラーレンズよりなるレンチ板10−2より構成されるが、図2(a)、図2(b)には、本発明の特徴を具えたレンチ板10−2のみの水平方向の断面構造を示す。図2(a)、図2(b)はいずれも本発明の同一のレンチ板10−2の構造を示すものであるが、図2(a)は、上記投影レンズ86からの画像光線の光路を説明した図であり、図2(b)は、座標入力面側からの指示具4よりの光ビームの光路を説明した図である。
【0098】
図2の10−2−1はレンチキュラーレンズであり、フレネルレンズにより略平行になった上記投影レンズ86からの画像光線を図示の通り水平方向に拡散作用する。図2(a)、図2(b)では、両面にレンチキュラーレンズ10−2−1を設けた構成を示す。また、画像投射側のレンチキュラーレンズ10−2−1を楕円面とし、この焦点が射出面となるように座標入力面側のレンチキュラーレンズ10−2−1を設け、射出面の上記投影レンズ86からの画像光の射出に必要な面積を小さくする。また、楕円面のパワーを大きくすることによりレンチ板10−2を薄くでき、画像光の拡散角を広げることができる。上記の様に画像光の拡散に係わる座標入力面側のレンチキュラーレンズ10−2−1の面積を小さく構成し、それ以外の領域に凸レンズ10−2−2を設ける。また、画像投射側レンチキュラーレンズ10−2−1の谷部で座標入力面側の凸レンズ10−2−2と対向した領域に凹レンズ10−2−3を設ける。このレンズ群の形状・曲率は図1(b)で示す様に座標入力面側の指示具4からの光が透過後画像光の光軸と平行になる様に形成される。
【0099】
以上の本実施形態の構成のレンチ板10−2を用いることにより、上記投影レンズ86からの画像光線の光路は、図1(a)に示す様に領域的にほとんどの面積を占める図のAの領域に入射した画像光線は、上記両面のレンチキュラーレンズ10−2−1により画像光を拡散し、視野角を広くする。画像投射側の凹レンズ10−2−3に対応するA‘領域に入射した画像光線は、正面方向に平行光となるが、面積が小さいためほとんど視野角には影響を及ぼさない。
【0100】
一方、座標入力面側からの指示具4よりの光ビームの光路は、図1(b)に示す様に、Bのレンチキュラーレンズ10−2−1領域に入射した指示具4よりの光ビームは拡散射出されるが、従来かなりの領域を占めたB′領域に入射した指示具4よりの光ビームは、上記凸レンズ10−2−2及び凹レンズ10−2−3の作用により画像光の光軸と平行となり、上記のように位置・焦点が調整されたフレネル板10−1により、座標検出器1を構成する上記座標検出センサ部2及び制御信号検出センサ6へ効率よく入射する。
【0101】
【発明の効果】
以上説明したように、本発明は、撮像手段を投射型表示手段の投射レンズの略近傍に配置し、座標入力画面を画像投射側の画像投射光を投射レンズの光軸に平行にし、且つ、指示具からの光を撮像手段へ集光するフレネルレンズを有するフレネル板と、座標入力面側の、画像投射光を拡散させるレンチキュラーレンズを有するレンチ板により構成することにより、センサへの入射光量を十分に確保することが可能になった。
【0102】
更に、レンチ板が指示具からの光が透過後光軸と平行になる様なレンズ領域を具えることによって、投射画像の視野角を広く保持した上で、より一層十分なセンサへの入射光量を確保することができ、高分解能で高性能な装置を提供することが可能になった。
【図面の簡単な説明】
【図1】本発明の入出力一体型装置の全体構成を示す外略図である。
【図2】本発明のスクリーンの特徴を説明する説明図である。
【図3】指示具4の概略構成図を示す図である。
【図4】座標検出器1の概略構成を示す図である。
【図5】リニアセンサの配置関係を示す斜視図である。
【図6】リニアセンサの内部構成を示すブロック図である。
【図7】受光素子の出力信号から制御信号を復元する動作を表わす信号波形のタイミングチャートである。
【図8】受光素子の出力信号から制御信号を復元する一連の動作の終了時のタイミングチャートである。
【図9】リニアセンサの出力波形の1例を示す波形図である。
【図10】リニアセンサのスキム動作を示す波形図である。
【図11】リニアセンサの動作制御を示すフローチャートである。
【図12】座標演算の処理を示すフローチャートである。
【図13】従来のスクリーンの特徴を説明する説明図である。
【図14】指示具4の動作モードを示す図である。
【符号の説明】
1 座標検出器
2 座標検出センサ部
4 指示具
6 制御信号検出センサ
10 スクリーン
10−1 フレネル板
10−2 レンチ板
20X,20Y 撮像手段
21 センサアレイ
22 積分手段
28 スキム手段
29 差分手段
32 座標演算手段
42 発光制御手段
Claims (2)
- 指示具からの光を座標入力画面に照射して光スポットを生成し、前記光スポットを撮像する撮像手段と、該撮像手段の出力信号から該スポットの位置に対応した座標出力信号を生成する座標演算手段からなる座標入力装置と、前記座標入力画面に画像を投射し結像させる投射型表示手段より構成される入出力一体型装置であって、
前記撮像手段を前記投射型表示手段の投射レンズの近傍に配置し、
前記座標入力画面は、画像投射側の画像投射光を上記投射レンズの光軸に平行にし、且つ、指示具からの光を前記撮像手段へ集光するフレネルレンズを有するフレネル板と、座標入力面側の画像投射光を拡散させるレンチキュラーレンズを有するレンチ板から構成され、
前記レンチ板は、前記指示具からの光が透過後投射レンズの光軸と略平行になる光学特性領域を備え、該レンチ板の光学特性領域が、座標入力面側の凸曲率面と画像投射側の凹曲率面により構成されることを特徴とする入出力一体型装置。 - 前記フレネルレンズの物体側焦点が、前記投射型表示手段の投射レンズの射出位置と前記座標入力装置の前記撮像手段のセンサ位置に略合致していることを特徴とする請求項1に記載の入出力一体型装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9156499A JP4612751B2 (ja) | 1999-03-31 | 1999-03-31 | 入出力一体型装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9156499A JP4612751B2 (ja) | 1999-03-31 | 1999-03-31 | 入出力一体型装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2000284908A JP2000284908A (ja) | 2000-10-13 |
JP2000284908A5 JP2000284908A5 (ja) | 2006-05-11 |
JP4612751B2 true JP4612751B2 (ja) | 2011-01-12 |
Family
ID=14030018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9156499A Expired - Fee Related JP4612751B2 (ja) | 1999-03-31 | 1999-03-31 | 入出力一体型装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4612751B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6847483B2 (en) * | 2001-12-21 | 2005-01-25 | Bose Corporation | Selective reflecting |
JP2007066080A (ja) * | 2005-08-31 | 2007-03-15 | Casio Comput Co Ltd | ポインティングデバイス |
JP4961891B2 (ja) * | 2006-08-11 | 2012-06-27 | 大日本印刷株式会社 | 対話型リアープロジェクションテレビシステム |
US8081368B2 (en) | 2007-03-29 | 2011-12-20 | Bose Corporation | Selective absorbing |
US7710645B2 (en) | 2007-06-29 | 2010-05-04 | Bose Corporation | Selective reflecting for laser projector |
JP5799801B2 (ja) * | 2011-12-28 | 2015-10-28 | 富士通株式会社 | ポインティング検出装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05233148A (ja) * | 1992-02-19 | 1993-09-10 | Sony Tektronix Corp | 座標入力機能付プロジェクタ装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07128743A (ja) * | 1993-11-04 | 1995-05-19 | Mitsubishi Rayon Co Ltd | 透過型スクリーン |
JPH09230510A (ja) * | 1996-02-20 | 1997-09-05 | Mitsubishi Rayon Co Ltd | 背面投射型スクリーン |
JPH09251188A (ja) * | 1996-03-15 | 1997-09-22 | Matsushita Electric Ind Co Ltd | 画像投写装置 |
-
1999
- 1999-03-31 JP JP9156499A patent/JP4612751B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05233148A (ja) * | 1992-02-19 | 1993-09-10 | Sony Tektronix Corp | 座標入力機能付プロジェクタ装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2000284908A (ja) | 2000-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4422851B2 (ja) | 座標入力装置及び方法 | |
JP2001075736A (ja) | 座標入力装置 | |
US6229601B1 (en) | Coordinate input apparatus and method, and storage medium | |
JP4697916B2 (ja) | 座標入力装置及びその制御方法、プログラム | |
US6847356B1 (en) | Coordinate input device and its control method, and computer readable memory | |
JP3530758B2 (ja) | 座標入力用指示具 | |
US6906702B1 (en) | Coordinate input device and its control method, and computer readable memory | |
CA2615228A1 (en) | Automatic projection calibration | |
JP2001075735A (ja) | 座標入力装置及びその方法、コンピュータ可読メモリ | |
JP2017142726A (ja) | 電子黒板システム、表示装置及び表示方法 | |
US6317266B1 (en) | Coordinate input apparatus | |
US6664954B1 (en) | Coordinate input indicator | |
US6714310B1 (en) | Coordinate input apparatus and method, and computer-readable memory therefor | |
JP4612751B2 (ja) | 入出力一体型装置 | |
JP4434381B2 (ja) | 座標入力装置 | |
US6795061B2 (en) | Coordinate input apparatus, control method therefor and computer-readable memory | |
JP2002229726A (ja) | 座標入力装置 | |
JP2000276290A (ja) | 座標入力装置及びその制御方法、コンピュータ可読メモリ | |
JP2002351612A (ja) | 座標入力装置及びその制御方法、プログラム | |
JP2002073267A (ja) | 座標入力装置 | |
JP2000181627A (ja) | 座標入力用の指示具および座標入力装置 | |
JP2000207118A (ja) | 座標入力指示具 | |
JP2000347806A (ja) | 座標入力ペン | |
JP2001051797A (ja) | 座標入力装置及びその制御方法、コンピュータ可読メモリ | |
JP2020071573A (ja) | 表示装置、表示システム、及び表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060316 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090804 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101005 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101016 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |