JPH0991079A - Information input device and image processing method - Google Patents
Information input device and image processing methodInfo
- Publication number
- JPH0991079A JPH0991079A JP25041895A JP25041895A JPH0991079A JP H0991079 A JPH0991079 A JP H0991079A JP 25041895 A JP25041895 A JP 25041895A JP 25041895 A JP25041895 A JP 25041895A JP H0991079 A JPH0991079 A JP H0991079A
- Authority
- JP
- Japan
- Prior art keywords
- light
- modulated light
- shaped object
- rod
- light receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、電子機器などを操
作するための情報入力装置に関し、また、入力された画
像から重心を抽出する画像処理方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an information input device for operating electronic equipment and the like, and to an image processing method for extracting a center of gravity from an input image.
【0002】[0002]
【従来の技術】従来、パーソナルコンピュータなどに対
する、文字情報以外の情報入力にはマウスなどのポイン
ティングデバイスが多く用いられている。ポインティン
グデバイスは、コンピュータに位置情報を簡単に入力す
るための装置で、様々な形態の装置がある。最もポピュ
ラーなのがマウスである。これは、装置の中に、自由な
方向に回転できるように支持された球が入っていて、マ
ウスを机上に置くと球の1点が机に接するようになって
いる。マウスを前後左右に動かすことによって、中の球
がマウス本体に対して回転し、その回転量を2つの方向
で機械的もしくは光学的に検出し、コンピュータに送っ
ている。コンピュータ側では、送られてきた移動量の情
報から、画面上のカーソルを動かす方向と距離を決定
し、カーソルを再表示させる。2. Description of the Related Art Conventionally, a pointing device such as a mouse is often used for inputting information other than character information to a personal computer or the like. The pointing device is a device for easily inputting position information into a computer, and there are various types of devices. The mouse is the most popular. This has a sphere supported in the device so that it can be rotated freely, and one point of the sphere comes into contact with the desk when the mouse is placed on the desk. By moving the mouse back and forth and left and right, the sphere inside rotates with respect to the mouse body, and the amount of rotation is mechanically or optically detected in two directions and sent to the computer. On the computer side, the direction and distance of moving the cursor on the screen is determined from the sent information on the amount of movement, and the cursor is displayed again.
【0003】マウス以外にも、タッチパッド、トラック
ボール、小型ジョイスティック、タッチパネル、ペンデ
バイスなどさまざまなポインティングデバイスが、電子
機器の入力装置として、実現されている。In addition to a mouse, various pointing devices such as a touch pad, a trackball, a small joystick, a touch panel, and a pen device have been realized as input devices for electronic equipment.
【0004】[0004]
【発明が解決しようとする課題】マウスは簡便に位置情
報を入力することができるが、いくつかの欠点を持って
いる。まず、マウスを操作するためには机上のようなあ
る程度の広さを持った平らな面が必要である。従って、
平らな面を確保できないような場所、状態での使用は難
しい。Although the mouse can easily input the position information, it has some drawbacks. First, to operate a mouse, a flat surface with a certain amount of space such as a desk is required. Therefore,
It is difficult to use in places and conditions where a flat surface cannot be secured.
【0005】例えば、携帯パソコンを会社や自宅から持
ち出して、屋外で使用しようとするときは、マウスを操
作できる平面があるところを探さなくては快適に使用す
ることができない。For example, when a portable personal computer is taken out of a company or home and is to be used outdoors, it cannot be used comfortably without looking for a plane where a mouse can be operated.
【0006】例えば、電車や車の中で座っていて、膝の
上にパソコンを置き使用するのには不便である。また、
単に社内、自宅内で持ち歩くときでも、マウスごと移動
させるのは面倒である。また、机の上で使うときでも、
ごちゃごちゃと書類が散乱していれば、まず机の上を整
理する必要がある。[0006] For example, it is inconvenient to use the personal computer while sitting on a train or car and placing the personal computer on the lap. Also,
It is troublesome to move the mouse even when carrying it around in the office or at home. Also, even when using it on a desk,
If the documents are cluttered, you'll need to clean up your desk first.
【0007】現在はマウス以外のポインティングデバイ
スを搭載した携帯パソコンも増えている。マウスの替わ
りにトラックボールやタッチパッド、小型のジョイステ
ィックなどを利用する。トラックボールは、ボールを指
で動かし、その回転方向・量をカーソル移動方向・量に
変換し入力する。タッチパッドは様々な方式があるが、
指先でパッドに触ることで、その位置を検出できるよう
になっている。通常は、パッドをなでるように指を動か
すと、その移動方向・量をカーソル移動方向・量に変換
して入力する。At present, the number of portable personal computers equipped with a pointing device other than a mouse is increasing. Instead of a mouse, use a trackball, touchpad, or small joystick. The trackball is input by moving the ball with a finger, converting the rotation direction / amount into the cursor movement direction / amount. There are various types of touchpads,
The position can be detected by touching the pad with a fingertip. Normally, when a finger is moved so as to stroke the pad, the movement direction / amount is converted into the cursor movement direction / amount and the input is performed.
【0008】小型のジョイスティックは、キーボードの
「G」と「H」と「B」の間の隙間に小型のレバー状の
ものがついており、これを任意方向に傾けると、その傾
き方向と大きさをカーソル移動方向・量に変換して入力
する、方法を採るものが製品化されている。The small joystick has a small lever-shaped one in the gap between "G", "H" and "B" of the keyboard. When this is tilted in any direction, the tilt direction and size of the small joystick. The one that adopts the method of converting the cursor into the cursor movement direction / quantity and inputting it has been commercialized.
【0009】マウス、トラックボール、タッチパッド、
小型ジョイスティックなどによるポインティングは、基
本的に、 (1)現在のカーソル位置の把握 (2)カーソルの移動目標位置の決定 (3)移動方向・量の確認 (4)移動方向・量の入力 というプロセスに従って行われる。ここで(1)(2)
の順序は逆のこともありうる。また、(3)(4)のプ
ロセスは1回だけで終了するものではなく、カーソル移
動中も、常に移動方向・量の修正を続けている。Mouse, trackball, touch pad,
Pointing with a small joystick is basically a process of (1) grasping the current cursor position (2) deciding the target position for moving the cursor (3) confirming the moving direction / amount (4) inputting the moving direction / amount Is done according to. Here (1) (2)
The order of can be reversed. Further, the processes (3) and (4) are not completed only once, and the movement direction and amount are constantly corrected while the cursor is moving.
【0010】ここで、操作者の手の動きに注目してみる
と、マウスと、それ以外のポインティングデバイスの間
では違いがある。マウスを用いてポインティングする場
合は、マウスの位置と、カーソルの位置はほぼ対応づい
ている。もっとも、マウスをいったん持ち上げて、移動
させればその時点でマウス位置とカーソル位置の関係は
変わるし、カーソルの速度を加速させる機能の付いたマ
ウスドライバを用いた場合も、マウス位置とカーソル位
置の関係は完全には対応しない。しかし、短い操作単位
で考えれば、マウスの位置と、カーソルの位置はほぼ対
応づいていると言っていい。つまり、カーソルを動かす
ときにカーソルの動きと同じようにマウスを持っている
手を動かせばよい。Here, focusing on the movement of the operator's hand, there is a difference between the mouse and the other pointing devices. When pointing with a mouse, the position of the mouse and the position of the cursor substantially correspond to each other. However, if you lift and move the mouse once, the relationship between the mouse position and the cursor position will change at that time, and even if you use a mouse driver with a function to accelerate the cursor speed, The relationship does not correspond completely. However, in short operation units, it can be said that the position of the mouse and the position of the cursor correspond approximately. In other words, when you move the cursor, you can move the hand holding the mouse in the same way as you move the cursor.
【0011】これに比べて、トラックボール、タッチパ
ッド、小型ジョイスティックの場合は、カーソルの動き
と手の動きは対応づいていない。トラックボールは、ボ
ールの回転方向・量をカーソル移動方向・量に対応づけ
ているが、ある程度以上の距離をカーソル移動する場合
は、ボールを何回か回すことになる。つまり手の動きは
往復運動をする。タッチパネルも同様である。小型ジョ
イスティックの場合は、レバーの傾き方向・量をカーソ
ル移動方向・量に対応づけるため、カーソルの動きと手
の動きは似ていない。つまり、カーソルが等速で動いて
いるとき、手は静止しているし、カーソル位置を微調整
するときは、レバーを小刻みに動かすことになる。On the other hand, in the case of a trackball, a touch pad, and a small joystick, the movement of the cursor does not correspond to the movement of the hand. In the trackball, the rotation direction / amount of the ball is associated with the cursor movement direction / amount, but when the cursor is moved over a certain distance, the ball is turned several times. In other words, the movement of the hand makes a reciprocating motion. The same applies to the touch panel. In the case of a small joystick, since the tilt direction / amount of the lever is associated with the cursor movement direction / amount, the movement of the cursor is not similar to the movement of the hand. That is, when the cursor moves at a constant speed, the hand is stationary, and when finely adjusting the cursor position, the lever is moved in small steps.
【0012】これらの違いは、上記(3)(4)のプロ
セスの繰り返しにおいて現れる。(3)(4)の繰り返
しでは、まず大まかなカーソル移動を行い、次第に細か
な移動を制御するという順序をたどることが多い。大ま
かなカーソル移動において、マウスを使う場合は、マウ
スの移動量とカーソルの移動量の比をだいたいの感覚で
掴んでおけば、かなり高速に行うことができる。それに
比べて、トラックボールやタッチパッドの場合は、移動
距離が大きい場合は、ボールを何度か回す、あるいはパ
ッドを何度かなぞる、という動作をしなくてはならな
い。また小型ジョイスティックの場合は、レバーを傾け
て、カーソルを動かしながら、カーソルの動きを監視
し、目標に近づいたら、レバーの傾きをゆるめるという
動作をしなくてはならない。細かな移動を制御する場
合、マウスを使用するときは、カーソルを動かしたい方
向に動かしたいだけ、マウスを動かせばよい。タッチパ
ッドの場合も同様であるが、指とパッドの摩擦であまり
細かい移動をスムーズに行うことは難しい。また細かい
移動をスムーズにするために、指とパッドが軽く触れる
ように操作すると、時として指がパッドから離れてしま
い、クリック入力を誤ってしてしまうこともある。また
小型ジョイスティックの場合は、細かく移動する度に、
レバーをちょっと倒してすぐ戻す、という動作を繰り返
さなくてはならず、時間がかかってしまう。概して、操
作性はマウスの方が優れているが携帯性に劣るし、携帯
性に勝るタッチパッド、トラックボール、小型ジョイス
ティックは操作性に劣る、と言うことができる。These differences appear in the repetition of the above processes (3) and (4). In the repetition of (3) and (4), it is often the case that the cursor is first roughly moved, and then the fine movement is gradually controlled. When using a mouse to roughly move the cursor, if the ratio of the amount of movement of the mouse to the amount of movement of the cursor is roughly grasped, it can be performed at a considerably high speed. On the other hand, in the case of a trackball or a touch pad, if the moving distance is large, the ball must be rotated several times or the pad must be traced several times. In the case of a small joystick, the movement of the cursor must be monitored while moving the cursor by tilting the lever, and the tilt of the lever must be loosened when approaching the target. To control fine movement, when using the mouse, move the mouse as much as you want to move the cursor in the desired direction. The same applies to the case of the touch pad, but it is difficult to smoothly perform fine movement due to friction between the finger and the pad. Also, in order to make fine movements smooth, if the finger and the pad are touched lightly, the finger sometimes separates from the pad, and the click input may be mistaken. In the case of a small joystick,
It takes time to repeat the operation of tilting the lever a little and returning it immediately. In general, it can be said that the mouse is superior in operability but inferior in portability, and the touchpad, the trackball, and the small joystick which excel in portability are inferior in operability.
【0013】またマウスを用いずにポインティングする
ために、透明タッチパネルを使うこともできる。指で押
したときにその位置を検出できる透明タッチパネルを、
ディスプレイ上に重ねれば、直接画面上の任意の点を指
示できる環境が実現できる。これは前記(1)〜(4)
のプロセスのほとんどを省略でき、 (1)ポインティングしたい位置を確認する (2)その場所を指でタッチする というシンプルなプロセスで実現できる。しかし、問題
点も多い。まず指で直接画面を押すので、押すときには
画面のその部分、および周辺が見にくくなる。また、そ
のために指の大きさより細かい精度でのポインティング
は原理的に難しい。さらに直接触るので、画面が汚れや
すいという問題もある。ドラッグをするために画面の上
を指でなぞるというのは汚れの面でも、指先の摩擦の感
触の面でも抵抗がある。ドラッグに関しては、1回のタ
ッチでアイコンなどを拾い、2回目のタッチで別の場所
へドロップすることもできるが、指がタッチパネルに触
れていないときはその位置を検出できないので、アイコ
ンを引きずって見せるという、視覚的な効果は出せな
い。実際、銀行のATMの操作パネルなど、大きなボタ
ンを押すものによく用いられ、一部のワープロに採用さ
れている以外は、携帯パソコンなどへの搭載はあまりな
されていない。Further, a transparent touch panel can be used for pointing without using a mouse. A transparent touch panel that can detect the position when pressed with your finger,
By overlaying it on the display, it is possible to realize an environment in which any point on the screen can be specified directly. This is the above (1) to (4)
Most of the process can be omitted, and it can be realized by a simple process of (1) confirming the position you want to point (2) touching the place with your finger. However, there are many problems. First of all, since the finger directly presses the screen, it becomes difficult to see that part of the screen and its periphery when pressing. Therefore, it is theoretically difficult to point with a precision smaller than the size of the finger. In addition, since there is direct contact, there is a problem that the screen is easily soiled. Tracing the screen with your finger to drag is both dirty and rubbing. Regarding dragging, you can pick up an icon etc. with one touch and drop it to another place with a second touch, but if the finger is not touching the touch panel, its position cannot be detected, so drag the icon. There is no visual effect of showing it. In fact, it is often used for pushing a large button such as an ATM operation panel of a bank, and has not been mounted on a portable personal computer or the like except for being used in some word processors.
【0014】タッチパネルではペンデバイスと併用する
ものもあり、パーソナルな電子機器への入力方法として
はこちらの方がポピュラーである。これはペンコンピュ
ータやPDA(パーソナル・デジタル・アシスタント)
の入力インタフェースとして、数多く商品化している。
ペンを併用すると、指でタッチするのとは異なり、細か
いポインティングも可能であるし、画面が汚れることも
なく、ドラッグなどの作業も快適に行える。さらに、手
書き文字などの入力が好適に行えるという特徴も持って
いる。しかし、これはペンを手に持たなくてはならな
い、という欠点がある。ペンだけで全ての操作が行える
ようなPDAには良いが、携帯パソコンのようにキーボ
ードを併用する場合は、いちいち画面をポインティング
するためにペンを持つというのは面倒である。またPD
Aなどにおいても、文字入力をするならともかく、画面
の操作だけで終わるような、情報検索のような作業をす
るのにもいちいちペンを取り出さなくてはならないのは
操作上の負担になる。また、ペンはなくなる可能性があ
り、またなくならないように線でつながったペンは使い
づらい。Some touch panels are used in combination with a pen device, and this is the more popular input method for personal electronic devices. This is a pen computer or PDA (Personal Digital Assistant)
Has been commercialized as an input interface for.
When used with a pen, unlike touching with a finger, fine pointing is possible, the screen does not get dirty, and work such as dragging can be performed comfortably. Furthermore, it has a feature that input of handwritten characters can be suitably performed. However, this has the disadvantage that you have to hold the pen in your hand. It is good for a PDA that can perform all operations with only a pen, but when using a keyboard together like a portable personal computer, it is troublesome to have a pen for pointing the screen one by one. Also PD
Even in A or the like, it is an operational burden that the pen has to be taken out every time when performing a task such as information retrieval, which is completed only by operating the screen regardless of inputting characters. In addition, there is a possibility that the pen will disappear, and it is difficult to use a pen connected by a line so as not to disappear.
【0015】全く別のアプローチとして、画像処理によ
って手の形、位置を認識し、入力手段とする方法も試み
られている。これが実現すれば、画面を指差すだけでポ
インティングが可能なので、カーソルの動きと指の動き
はマウス程度に対応し、タッチパッド、トラックボー
ル、小型ジョイスティックなどに比べて、操作しやす
い。加えて、マウスのように平面を必要としないので、
どこでも操作することができる。またタッチパネルのよ
うに画面を汚すこともなく、ペンデバイスのようなもの
をいちいち手に取る必要もない。処理が簡単なものとし
て、色マーカーを付けた手を撮像し、マーカー部分を検
出する方法が考えられるが、この方法は動作測定・分析
装置などの特定用途で製品化されることが多い。携帯パ
ソコンのポインティング手段として応用できなくはない
が、画像処理ハードウエアが高価である、マーカーと同
じ色が服などにあると誤動作する、マーカーを付けるの
が面倒などといった問題点があり、適しているとは考え
にくい。何も付けない裸の手の画像から手の形状や指先
の位置を認識して、ポインティングに利用するシステム
は、研究レベルではいくつか試作されている。しかしこ
れらは、手の画像を背景から容易に切り出せるような環
境でしか適切に動作させることができず、複雑でかつ動
きのある背景の下で手の形を切り出すのは非常に難し
い。As a completely different approach, a method of recognizing the shape and position of a hand by image processing and using it as an input means has been attempted. If this is realized, pointing can be done simply by pointing the screen, so the movement of the cursor and the movement of the finger correspond to those of a mouse, and are easier to operate than a touchpad, trackball, small joystick, or the like. Plus, it doesn't need a flat surface like a mouse, so
It can be operated anywhere. Also, unlike the touch panel, the screen is not polluted, and there is no need to pick up a pen device. As a simple process, a method of picking up an image of a hand with a color marker and detecting the marker portion can be considered, but this method is often commercialized for a specific purpose such as a motion measurement / analysis device. It is not inapplicable as a pointing means of a portable personal computer, but there are problems such as expensive image processing hardware, malfunction when clothes have the same color as the marker, troublesome to attach the marker, etc. It is hard to think that At the research level, several prototypes of systems have been created that recognize the shape of the hand and the position of the fingertip from an image of a bare hand with nothing attached and use it for pointing. However, these can be properly operated only in an environment in which the image of the hand can be easily cut out from the background, and it is very difficult to cut out the hand shape under a complicated and moving background.
【0016】以上述べたように、現在実現されているポ
インティング技術はどれも一長一短であり、特に携帯パ
ソコンなどを屋外に持ち出して自由に使用したいとき、
それに適したポインティング手段が十分あるとは言いが
たい。本発明において、携帯パソコンに使用して、その
自由度を十分発揮できるようなポインティング方法及び
装置を実現する。As described above, all of the currently realized pointing technologies have advantages and disadvantages, and especially when it is desired to take a portable personal computer or the like outdoors and use it freely.
It is hard to say that there are enough pointing means suitable for it. The present invention realizes a pointing method and device which can be used in a portable personal computer and can fully exhibit its degree of freedom.
【0017】[0017]
【課題を解決するための手段】本発明は、変調光を出力
するための発光手段と、この発光手段によって出力され
た変調光であって、物体に反射した前記変調光を受ける
ための受光手段と、この受光手段で受けた変調光の成分
を取り出すための手段と、この手段で取り出した変調光
の成分の大きさを求めるための測定手段とを有すること
を特徴とする情報入力装置である。The present invention is directed to a light emitting means for outputting modulated light, and a light receiving means for receiving the modulated light output from the light emitting means and reflected by an object. An information input device comprising: a means for taking out the component of the modulated light received by the light receiving means; and a measuring means for obtaining the magnitude of the component of the modulated light taken out by the means. .
【0018】また、変調光を出力するための発光手段
と、この発光手段によって出力された変調光であって、
物体に反射した前記変調光を受けるための受光手段と、
この受光手段で受けた変調光の成分を取り出すための手
段と、この手段で取り出した変調光の成分の大きさを求
めるための測定手段と、この測定手段で求めた変調光の
成分の大きさをもとに、入力情報とすべき特徴量を検出
するための特徴量検出手段と、この特徴量検出手段で検
出した特徴量をもとに、操作すべき電子機器を制御する
手段とを有することを特徴とする情報入力装置である。The light emitting means for outputting the modulated light, and the modulated light output by the light emitting means,
Light receiving means for receiving the modulated light reflected by an object,
Means for taking out the modulated light component received by the light receiving means, measuring means for obtaining the magnitude of the modulated light component taken out by this means, and the magnitude of the modulated light component obtained by the measuring means Based on the feature amount detecting means for detecting a feature amount to be input information, and means for controlling an electronic device to be operated based on the feature amount detected by the feature amount detecting means This is an information input device characterized by the above.
【0019】さらに、棒状物体を含む画像から、先端の
棒状物体の一部を構成する画素の画素値の合計がある条
件を満たすように、いくつかの画素の画素値を修正し、
修正された前記画素値もとに、前記棒状物体の一部の重
心を求め、求めた前記棒状物体の一部の重心をもとに、
棒状物体の先端位置求めることを特徴とする画像処理方
法である。Further, from the image containing the rod-shaped object, the pixel values of some pixels are modified so that the sum of the pixel values of the pixels forming a part of the rod-shaped object at the tip satisfies a certain condition,
Based on the corrected pixel value, the center of gravity of a part of the rod-shaped object is obtained, and based on the center of gravity of the part of the obtained bar-shaped object,
This is an image processing method characterized by obtaining the tip position of a rod-shaped object.
【0020】そして、変調光を出力するための発光手段
と、この発光手段によって出力された変調光であって、
物体に反射した前記変調光を受けるための受光手段と、
この受光手段で受けた変調光の成分を取り出すための手
段と、この手段で取り出した変調光の成分の大きさを求
めるための測定手段と、この測定手段で求めた変調光の
成分の大きさをもとに、前記物体の画像を生成する手段
と、この手段で生成された画像であって、棒状物体を含
む画像から先端の棒状物体の一部を構成する画素の画素
値の合計がある条件を満たすように、いくつかの画素の
画素値を修正する修正手段と、この修正手段によって修
正された前記画素値もとに、前記棒状物体の一部の重心
を求める重心検出手段とを有することを特徴とする情報
入力装置である。The light emitting means for outputting the modulated light, and the modulated light output by the light emitting means,
Light receiving means for receiving the modulated light reflected by an object,
Means for taking out the modulated light component received by the light receiving means, measuring means for obtaining the magnitude of the modulated light component taken out by this means, and the magnitude of the modulated light component obtained by the measuring means A means for generating an image of the object based on, and a sum of the pixel values of the pixels which are images generated by this means and which form a part of the rod-shaped object at the tip from the image containing the rod-shaped object. It has a correction means for correcting the pixel values of some pixels so as to satisfy the condition, and a center of gravity detection means for obtaining the center of gravity of a part of the rod-shaped object based on the pixel values corrected by the correction means. This is an information input device characterized by the above.
【0021】このように、本発明では、装置を付けない
裸の手指で、画面を指さし、動かすことで、電子機器の
操作ができる環境を提供する。例えば、携帯パソコンを
使用しているときには、キーボードから手を少し浮かせ
て画面を指さし、動かすことで、画面内のカーソルを制
御できる。また、指を指文字のように決められた動きに
従って動かすことでコマンドを発生させることもでき
る。As described above, the present invention provides an environment in which electronic equipment can be operated by pointing and moving the screen with bare fingers without the device. For example, when using a portable personal computer, the cursor on the screen can be controlled by slightly lifting the hand from the keyboard, pointing to the screen, and moving. A command can also be generated by moving a finger according to a predetermined movement like a finger character.
【0022】しかし、CCDエリアイメージセンサなど
で撮像した手の画像を認識する、といった手法は取らな
い。本発明では、この環境を実現するために、発光部と
受光部を組み合わせる。すなわち、操作者の手に光を当
て、手指からの反射光を受光部で受ける。この受光部は
複数用意しておき、例えばアレイ状に並べておく。受光
部の前方には受光レンズ系があり、これにより各受光部
は指向性を持ち、ある方向のある範囲からの光を受け
る。ある受光部は手からの反射光を受け、ある受光部は
その指向性のある方向に手がなかったため反射光を受け
ない。However, a method of recognizing an image of a hand picked up by a CCD area image sensor or the like is not taken. In the present invention, the light emitting unit and the light receiving unit are combined to realize this environment. That is, light is applied to the operator's hand, and reflected light from the fingers is received by the light receiving unit. A plurality of the light receiving parts are prepared and arranged in an array, for example. A light-receiving lens system is provided in front of the light-receiving unit, whereby each light-receiving unit has directivity and receives light from a certain range in a certain direction. A certain light receiving portion receives the reflected light from the hand, and a certain light receiving portion does not receive the reflected light because there is no hand in the directional direction.
【0023】また、各々の受光部の指向性のある方向に
ある手指の距離や、そこが手指の端なのか真ん中なの
か、などによって、その受光量が異なる。この系での受
光量は、光を反射する物体の距離の4乗に反比例するの
で、手の後ろに体があるような場合でも、手からの反射
か、体からの反射かは、その受光量によって十分弁別で
きる。従って、これらの受光部からの出力は、手指の位
置や形を反映している。従って、これらの出力を処理す
ることによって指先の位置を求め、ポインティング情報
として利用することができる。Further, the amount of received light differs depending on the distance of the fingers in the directionality of each light receiving section, whether the finger is the end of the finger or the middle of the finger. The amount of light received by this system is inversely proportional to the fourth power of the distance of the object that reflects light, so even if there is a body behind the hand, whether it is reflected from the hand or reflected from the body It can be sufficiently discriminated by the amount. Therefore, the outputs from these light receiving units reflect the positions and shapes of fingers. Therefore, by processing these outputs, the position of the fingertip can be obtained and used as pointing information.
【0024】しかし、受光部には発光部の手指による反
射光だけでなく、太陽や電灯などの光も入射してくる。
これらの影響を排し、受光部からの光だけを取り出さな
くては正確な情報は得られない。そのために、発光部は
変調光を出力する。受光部あるいはそれ以降のアナログ
処理部において、その変調成分だけを取り出すことで、
正確に手指からの反射光だけを取り出すことができる。However, not only the light reflected by the fingers of the light emitting portion but also the light of the sun, electric lamp, etc. are incident on the light receiving portion.
Accurate information cannot be obtained unless these effects are eliminated and only the light from the light receiving portion is extracted. Therefore, the light emitting section outputs the modulated light. By extracting only the modulated component in the light receiving part or the analog processing part after that,
Only reflected light from fingers can be accurately extracted.
【0025】このようにして取り出した出力は、各々の
受光量を画素値とすれば、画像のように扱うことができ
る。従って、画像処理によって、その出力を処理し、指
先の情報を得ることができる。しかしこの画像はCCD
エリアイメージセンサなどで撮像した画像とは違い、近
くにある手の形状だけを表し、後ろの方にある背景は画
像には現れない。操作するときは指を1本伸ばしている
と仮定すると、画像の中から、ほぼ上方に向かって伸び
ている、細長い部分を取り出し、その先端部などの特徴
点を取り出せばそれが指先であると判断することができ
る。これは、粗い画像でしかないが、指先が(画素の大
きさに比べて)微少に動いたことが、各画素の画素値の
微少な変化に反映されるので、これらを反映する特徴量
を用いれば、画素数以上のポインティングが可能にな
る。The output thus taken out can be treated like an image by setting the amount of received light as a pixel value. Therefore, the output can be processed and the information on the fingertip can be obtained by image processing. But this image is CCD
Unlike an image picked up by an area image sensor or the like, only the shape of a nearby hand is shown, and the background in the back does not appear in the image. Assuming that one finger is extended during the operation, a long and thin part extending almost upward from the image is taken out, and if a characteristic point such as the tip part is taken out, that is the fingertip. You can judge. This is only a rough image, but a slight movement of the fingertip (compared to the size of the pixel) is reflected in a slight change in the pixel value of each pixel. If it is used, it is possible to carry out pointing more than the number of pixels.
【0026】また、マウスのボタンに対応する機能も様
々な方法で実現できる。上述の画像の処理によりカーソ
ル位置が求められたとき、そのカーソルの静止状態を検
出するようにしておき、カーソルが一定時間静止したと
きにクリックが行われたようにすることができる。ま
た、指の受光センサからの距離に反映した特徴量を計算
し、その変化を見ることで、「押す」(近づいて、遠ざ
かる)という動作を検出することができる。従って、
「押す」という動作をクリック動作に関連づけることも
できる。さらに、他にボタンを用意しておきこれをマウ
スのボタンと同様に利用することもできる。この場合は
右手でカーソルを動かし、左手でボタンを押すというよ
うに両手で操作できる環境では便利である。Further, the function corresponding to the mouse button can be realized by various methods. When the cursor position is obtained by the above-described image processing, the stationary state of the cursor may be detected, and the click may be performed when the cursor remains stationary for a certain period of time. Further, by calculating the characteristic amount reflected on the distance from the light receiving sensor of the finger and observing the change, it is possible to detect the motion of "pushing" (approaching, moving away). Therefore,
The action of "pressing" can be associated with the clicking action. Furthermore, it is also possible to prepare another button and use it like a mouse button. In this case, it is convenient in an environment in which the cursor can be moved with the right hand and the buttons can be pressed with the left hand.
【0027】以上のようにして、裸の手指を画面に向け
て指さすだけで、ポインティングできる環境が実現でき
る。またその指先の動きを追跡することで、ジェスチャ
ーによるコマンド入力も実現できる。さらに、画像処理
をさらに工夫すれば、指先位置だけでなく手の形や向
き、距離などの情報も得ることができ、さらに複雑な情
報を入力することも可能である。As described above, it is possible to realize an environment in which pointing can be achieved simply by pointing a bare finger toward the screen. Also, by tracking the movement of the fingertip, command input by gesture can be realized. Further, if the image processing is further devised, not only the fingertip position but also the information such as the shape, direction and distance of the hand can be obtained, and more complicated information can be input.
【0028】[0028]
【発明の実施の形態】これより本発明について、実施例
を用いて詳細に説明する。図1は本発明の実施例の全体
構成を表している。使用者は発光部の光が当たって受光
部に返っていくような位置に手を差し出し、その指先を
動かすことで、2次元情報を入力できる。操作のイメー
ジを図2に示す。ここでは、使用者はブック型などの小
型パソコンを使用している。使用者は、キーボードを操
作している手を、キーボードよりやや情報に持ち上げ
(図では分かりづらいが、画面に触れてはいない)、指
先を動かすことによって、画面内のカーソルの動きを制
御することができる。この図ではカーソルが左上のメニ
ュー上にあり、このメニューが反転表示されている。本
体とディスプレイのつなぎ目あたり、キーボードのすこ
し上にある2つの丸い物体はレンズであり、それぞれの
奥に後述する発光部、受光部が配置されている。BEST MODE FOR CARRYING OUT THE INVENTION The present invention will now be described in detail with reference to Examples. FIG. 1 shows the overall configuration of an embodiment of the present invention. The user can input two-dimensional information by extending his or her hand to a position where the light from the light emitting unit is reflected and returning to the light receiving unit, and moving the fingertip. The image of the operation is shown in FIG. Here, the user is using a small personal computer such as a book type. The user controls the movement of the cursor on the screen by lifting the hand operating the keyboard slightly above the keyboard (not touching the screen although it is difficult to see in the figure) and moving the fingertip. You can In this figure, the cursor is on the upper left menu, which is highlighted. Around the joint between the main body and the display, two round objects slightly above the keyboard are lenses, and a light emitting unit and a light receiving unit, which will be described later, are arranged behind them.
【0029】図1に戻って、その詳細を説明する。全体
の構成は大まかに分けて、発光部119と発光駆動回路
118、受光素子アレイ101、アナログスイッチ10
2、アナログ信号処理部103、A/D変換器109、
デジタル信号処理部110、およびそれらを制御する制
御部117から成る。Returning to FIG. 1, the details will be described. The overall configuration is roughly divided into a light emitting section 119, a light emitting drive circuit 118, a light receiving element array 101, and an analog switch 10.
2, analog signal processing unit 103, A / D converter 109,
It includes a digital signal processing unit 110 and a control unit 117 that controls them.
【0030】各構成要素について詳しく説明する。ま
ず、LEDなどの発光部119が発光して操作者の手1
22を照らす。この発光部は発光駆動回路118によっ
て変調発光される。この変調光を図3の301に示す。
変調光は操作者の手122に反射して、その一部が受光
光学系120を経て、受光部に捉えられる。ここでは受
光部はフォトダイオードをアレイ状に並べた受光素子ア
レイ101を用いる。この受光素子アレイからの複数の
出力をアナログスイッチ102で選択してアナログ信号
処理部103に導く。アナログ信号処理部103はI/
V変換アンプ104、プリアンプ105、バンドパスフ
ィルタ106、絶対値回路107、積分器108で構成
される。フォトダイオードは光により電流を発生させる
ため、まず電流−電圧(I/V)変換を行い、プリアン
プ105でもう1段増幅する。受光素子アレイ101に
はLEDの手による反射光だけでなく、太陽光や白熱
灯、蛍光灯のような電灯の光などが入射し、これはノイ
ズとなる。バンドパスフィルタ106はこれらのノイズ
成分を遮断し、変調光成分だけを通過させる。バンドパ
スフィルタ106の出力を絶対値回路107、積分器1
08を通過させることにより、手によって反射した変調
光の強さに応じた信号123を取り出すことができる。Each component will be described in detail. First, the light emitting unit 119 such as an LED emits light to allow the operator's hand 1
Illuminate 22. This light emitting section emits modulated light by the light emission drive circuit 118. This modulated light is shown by 301 in FIG.
The modulated light is reflected by the operator's hand 122, and a part thereof passes through the light receiving optical system 120 and is captured by the light receiving section. Here, the light receiving unit uses a light receiving element array 101 in which photodiodes are arranged in an array. A plurality of outputs from the light receiving element array are selected by the analog switch 102 and guided to the analog signal processing unit 103. The analog signal processing unit 103
It is composed of a V conversion amplifier 104, a preamplifier 105, a bandpass filter 106, an absolute value circuit 107, and an integrator 108. Since the photodiode generates a current by light, first, a current-voltage (I / V) conversion is performed, and the preamplifier 105 amplifies another stage. Not only the light reflected by the hands of the LEDs but also the light of sunlight, electric lights such as incandescent lamps, and fluorescent lamps enter the light-receiving element array 101, and this becomes noise. The bandpass filter 106 blocks these noise components and passes only the modulated light component. The output of the bandpass filter 106 is the absolute value circuit 107, the integrator 1
By passing 08, the signal 123 according to the intensity of the modulated light reflected by the hand can be extracted.
【0031】ここで、アナログ信号処理部103の各部
での信号を図3に表す。まず、発光部からは、ある周波
数のパルス光がある時間間隔をおいて、繰り返し出力さ
れる。アナログ信号処理部103の入力部においては、
太陽光のような定常的な外光、蛍光灯のような周期的な
外光の成分がノイズとして乗っているので302のよう
になっている。バンドパスフィルタ106を通過させる
と、ノイズは除かれ、変調されたパルス成分だけが取り
出され、303のようになる。これを絶対値回路に通し
た波形が304、積分器の出力が305である。受光量
の大きさが変われば、303の波形の振幅が変わるの
で、305における積分後の信号レベルが変わる。従っ
て、変調されたパルス光の反射光の大きさだけが忠実に
取り出せる。Here, the signals in each part of the analog signal processing unit 103 are shown in FIG. First, the light emitting section repeatedly outputs pulsed light of a certain frequency at certain time intervals. In the input section of the analog signal processing section 103,
Since the components of stationary external light such as sunlight and periodic external light such as fluorescent light are carried as noise, they are indicated by 302. After passing through the bandpass filter 106, the noise is removed and only the modulated pulse component is extracted, as in 303. The waveform obtained by passing this through the absolute value circuit is 304, and the output of the integrator is 305. If the magnitude of the amount of received light changes, the amplitude of the waveform of 303 changes, so the signal level after integration in 305 changes. Therefore, only the magnitude of the reflected light of the modulated pulsed light can be faithfully extracted.
【0032】この図ではある周波数のパルスを複数発光
して一つの受光部の出力を得ているが、S/Nの性能を
許容できるならば、代わりに短パルスを用いても良い。
この変調光の強さに応じた信号をA/D変換器109で
デジタルデータに変換する。アナログスイッチ102の
切り替えが一巡し、全ての受光部からの出力をA/D変
換し終わったところで、1フレーム分のデータができあ
がる。以下の説明において、一つの受光素子に対して、
その出力がアナログ処理されて(ノイズ成分を除去され
て)、A/D変換された後の値を、その受光部の反射受
光量と呼ぶことにする。In the figure, a plurality of pulses of a certain frequency are emitted to obtain the output of one light receiving section. However, if the S / N performance is acceptable, a short pulse may be used instead.
A signal corresponding to the intensity of the modulated light is converted into digital data by the A / D converter 109. When the analog switch 102 has been switched once and the outputs from all the light receiving units have been A / D converted, data for one frame is completed. In the following description, for one light receiving element,
The value after the output is analog-processed (the noise component is removed) and A / D-converted is referred to as a reflected light reception amount of the light receiving unit.
【0033】ここで受光部の数はそれ程多くなくても良
い。同じ受光センサアレイであるCCDなどは数十万画
素程度のフォトダイオードを集積化しているが、ここで
はそれほどの数は必要としない。それよりも、各々の受
光部で反射受光量を正確に捉えられることが大事であ
る。本発明の受光系の目的は、対象物を正確に撮像する
ことにあるのではなく、指先の位置を検出するのに十分
な情報を捉えることにある。本実施例では20×26に
受光部を並べている。1つの受光部当たり、操作空間内
で約10mm四方の範囲からの光を捉える。従って、全
部で200mm×260mmの空間をカバーする。操作
者はこの空間内に指先が入るようにして動かすことによ
って、カーソルを動かすことができる。図4は、この受
光素子アレイが捉える領域の一部とそこにある操作者の
手を表したものである。マスの1つが、1つの受光素子
が捉える領域である。10mmという数字は、指の幅を
超えないできるだけ大きな値であり、任意の受光部に対
し、適当な指の位置で、その捉える領域が指先で占めら
れるようできる。図4ではマス403がこれに相当す
る。この条件が満たされないと、後述するように、指の
動きに伴ってカーソルがスムーズに動かない。そして反
射受光量は、その捉える領域を手指がどのくらい占めて
いるか、またその距離、によって決まる。Here, the number of light-receiving sections need not be so large. A CCD, which is the same light receiving sensor array, has photodiodes of several hundreds of thousands of pixels integrated, but not so many here. Rather, it is more important that the amount of reflected light received by each light receiving unit can be accurately captured. The purpose of the light-receiving system of the present invention is not to accurately image an object, but to capture sufficient information to detect the position of the fingertip. In this embodiment, the light receiving parts are arranged in a size of 20 × 26. One light receiving unit captures light from a range of about 10 mm square in the operation space. Therefore, a total space of 200 mm × 260 mm is covered. The operator can move the cursor by moving the fingertip so that the finger is placed in this space. FIG. 4 shows a part of a region captured by the light receiving element array and an operator's hand there. One of the squares is a region captured by one light receiving element. The number of 10 mm is a value as large as possible that does not exceed the width of the finger, and it is possible to occupy the captured area with the fingertip at an appropriate finger position with respect to any light receiving unit. In FIG. 4, the cell 403 corresponds to this. If this condition is not satisfied, the cursor does not move smoothly with the movement of the finger, as will be described later. The amount of reflected light received is determined by how much the fingers occupy the captured area and the distance.
【0034】従って、捉える領域を手指が全て占めてい
れば、反射受光量は大きいし、半分程度占めていれば反
射受光量はその半分になることになる。マス403に対
応する受光素子の反射受光量は大きく、マス404に対
応する受光素子の反射受光量は403の半分程度とな
る。図5は図4の各マスに対応する反射受光量を垂直軸
にとって表したものである。各受光部の反射受光量を画
素値とすれば、これは粗い濃淡画像になるが、これを以
下で反射受光画像と呼ぶことにする。Therefore, if all the fingers occupy the captured area, the amount of reflected light received is large, and if it occupies about half, the amount of reflected light received is half. The amount of reflected light received by the light receiving element corresponding to the mass 403 is large, and the amount of reflected light received by the light receiving element corresponding to the mass 404 is about half that of 403. FIG. 5 shows the amount of reflected light received corresponding to each square in FIG. 4 on the vertical axis. If the reflected / received light amount of each light receiving unit is taken as a pixel value, this becomes a rough grayscale image, which will be hereinafter referred to as a reflected / received image.
【0035】次にこのデータを処理して指先を求めるの
がデジタル処理部110である。通常の操作状態では、
操作者の手は指示する指(一般的には人差し指)を上に
伸ばした形になっており、その上方には変調光を反射す
る物体は存在しない。厳密には、操作者の頭などが変調
光を反射しているわけであるが、前述したとおり、反射
受光量は距離の4乗に反比例するので、手までの距離の
4倍の距離に頭があっても、その反射受光量は256分
の1になってしまい、影響はほとんどない。手の距離の
2倍だったとしても、16分の1になり、あるしきい値
を設ければ十分に取り除ける。Next, the digital processing unit 110 processes this data to obtain the fingertip. In normal operating conditions,
The operator's hand has a shape in which a pointing finger (generally the index finger) is extended upward, and there is no object that reflects the modulated light above it. Strictly speaking, the operator's head or the like reflects the modulated light, but as described above, the amount of reflected light received is inversely proportional to the fourth power of the distance, so the distance to the hand is four times the distance to the hand. Even if there is, the amount of reflected light received is 1/256, and there is almost no effect. Even if it is twice the distance of the hand, it becomes 1/16 and can be sufficiently removed by setting a certain threshold value.
【0036】図6に示すように、反射受光画像606を
上部から水平にスキャンしていくと、あるところまでは
画素値が0に近い画素ばかりであるが(601〜60
2)、あるところまで来ると、ごく一部だけに大きな画
素値が現れる。そのような水平ラインがいくつか続き、
しかも大きな画素値が現れる画素の横方向の位置がほぼ
同じであれば(603〜605)、細長い物体が縦に存
在していると分かる。つまり伸ばした指が存在していれ
ば、それを検出することができる。次にその指先部分か
らポインティングに利用する特徴点を抽出する。As shown in FIG. 6, when the reflected and received light image 606 is horizontally scanned from the upper part, only pixels having pixel values close to 0 are found up to a certain point (601 to 60).
2) At a certain point, a large pixel value appears only in a small part. Several such horizontal lines continue,
Moreover, if the horizontal positions of the pixels in which a large pixel value appears are substantially the same (603 to 605), it can be understood that the elongated object exists vertically. In other words, if there is an extended finger, it can be detected. Next, feature points used for pointing are extracted from the fingertip portion.
【0037】一般的には指の先端を使うのが良いと思わ
れがちであるが、ここでは1画素の大きさが大きく、反
射受光画像の指先付近は、図7のようになっているの
で、単純に指先が存在している座標701を使うとポイ
ンティングの精度は画素の数と同じになってしまう(こ
こでは、20×26ポイント)。ちなみにこの図に現れ
ている格子は、そのひとマスからの反射光が1つの受光
部に入射することを表している。ここでは実際の画素の
数よりはるかに細かい精度で指先の位置を検出する。In general, it is often thought that it is better to use the tip of a finger, but here, the size of one pixel is large, and the vicinity of the fingertip of the reflected / received image is as shown in FIG. If the coordinates 701 in which the fingertip exists is simply used, the pointing accuracy becomes the same as the number of pixels (here, 20 × 26 points). By the way, the lattice shown in this figure represents that the reflected light from the one mass enters one light receiving part. Here, the position of the fingertip is detected with a precision much smaller than the actual number of pixels.
【0038】本実施例では、指先端ではなくて、図のX
印702の位置を画素以上の分解能で求め、これを特徴
点としてポインティングに用いる。これは指先の一部分
の(像の)重心である。この重心を粗い反射受光画像か
らどのように抽出するかを説明する。In the present embodiment, not the tip of the finger but the X in the figure.
The position of the mark 702 is obtained with a resolution of pixels or more, and this is used for pointing as a feature point. This is the center of gravity (of the image) of a part of the fingertip. How the center of gravity is extracted from the coarse reflected light reception image will be described.
【0039】デジタル信号処理部110は棒状物体検出
部111、棒状物体先端切り出し部112および重心検
出部113から成る。棒状物体検出部111では、縦方
向に伸びた棒状の物体、すなわち操作者の手の中で上方
に伸びた指(通常は人差し指)を検出する。次に、棒状
物体先端切り出し部112では、縦方向に伸びた棒状の
物体(人差し指)の上部先端を切り出し、後の重心検出
部113でその切り出した部分の重心を求める。この
時、画素単位で切り出してしまうと、画素が粗いため切
り出し部分の画素値合計が大きく変動してしまい、検出
された重心の精度が悪くなる。従って、棒状物体先端切
り出し部112では、切り出し部分の画素値合計がある
条件を満足するように一部画素値を修正しながら切り出
す。The digital signal processing unit 110 comprises a rod-shaped object detection unit 111, a rod-shaped object tip cutout unit 112, and a center of gravity detection unit 113. The rod-shaped object detection unit 111 detects a rod-shaped object extending in the vertical direction, that is, a finger (usually the index finger) extending upward in the operator's hand. Next, the rod-shaped object tip cutout unit 112 cuts out the upper tip of a rod-shaped object (index finger) that extends in the vertical direction, and the center of gravity detection unit 113 after that determines the center of gravity of the cut out portion. At this time, if the pixels are cut out on a pixel-by-pixel basis, the total pixel value of the cut-out portions fluctuates greatly because the pixels are coarse, and the accuracy of the detected center of gravity deteriorates. Therefore, the rod-shaped object tip cutout unit 112 cuts out while correcting some pixel values so that the total pixel value of the cutout portion satisfies a certain condition.
【0040】さらに各部について詳しく説明する。ま
ず、棒状物体検出部111について述べる。ここでは、
使用者が操作をするために指を出したとき、指示する指
(通常は人差し指)が、反射受光画像の上方向に伸びて
いる、と仮定している。従って、この仮定に合わない形
状で手を出すと(例えば、グーで差すなど)正常に検出
できない恐れはある。Further, each part will be described in detail. First, the rod-shaped object detection unit 111 will be described. here,
It is assumed that when the user puts out a finger to perform an operation, the pointing finger (usually the index finger) extends upward in the reflected light reception image. Therefore, if the user hands out with a shape that does not conform to this assumption (for example, using a goo), detection may not be performed properly.
【0041】まず、反射受光画像606を、上方から水
平方向にスキャンしていく。指先が、反射受光画像の上
端になければ、通常は上の方は、1ライン全ての画素が
ほぼ0に近い画素値を持つ(601〜602)。水平方
向の1ラインの中で、部分的に画素値が大きくなるとこ
ろがあった場合(603)、そのその位置と、そのライ
ンを覚えておく。これを数ライン繰り返し(604、6
05)、部分的に画素値が大きくなるところが数ライン
の中で一致すれば、そこに縦方向に伸びた棒状の物体
(例えば、人差し指)があると判定できる。そして、伸
ばした指がありそうな所を、大きめに囲う。この部分画
像について、さらに以下の処理を行う。First, the reflected / received image 606 is horizontally scanned from above. If the fingertip is not located at the upper end of the reflected / received image, normally, in the upper part, all pixels in one line have pixel values close to 0 (601 to 602). When there is a portion where the pixel value is partially large in one horizontal line (603), the position and the line are remembered. Repeat this for several lines (604, 6
05) If there is a partial increase in pixel value in several lines, it can be determined that there is a rod-shaped object extending vertically (for example, the index finger). Then, the area where the extended finger is likely to be surrounded is large. The following processing is further performed on this partial image.
【0042】ここからは、棒状物体先端切り出し部11
2での処理である。図8の801がもともとの反射受光
画像であり、802は棒状物体検出部111で、この中
に指先があると判定された部分画像である。一番左上の
画素値をP(1,1)とし右上をP(n,1)、左下を
P(1,n)、右下をP(n,n)とする。ここで、あ
るしきい値THを設定しておき、From here, the rod-shaped object tip cut-out portion 11
It is the process in 2. Reference numeral 801 in FIG. 8 is the original reflected and received light image, and reference numeral 802 is the rod-shaped object detection unit 111, which is a partial image in which it is determined that there is a fingertip. The pixel value at the upper left is P (1,1), the upper right is P (n, 1), the lower left is P (1, n), and the lower right is P (n, n). Here, a certain threshold value TH is set,
【0043】[0043]
【数1】 となるような、k、aを求める。次にaを用いて、P
(1,k)〜P(n,k)の画素値を修正する。つま
り、古い画素値をP’(1,k)〜P’(n,k)とし
たとき、[Equation 1] K and a are determined so that Then, using a, P
The pixel values of (1, k) to P (n, k) are corrected. That is, when the old pixel values are P ′ (1, k) to P ′ (n, k),
【0044】[0044]
【数2】 とする。この修正されたP(1,k)〜P(n,k)を
含む、P(1,1)〜P(n,k)が切り出された部分
803となる。803の上部2行は802の上部2行と
同じであり、803の最下行は802の3行目のそれぞ
れの画素値にaを乗じて修正されている。次に重心検出
部において、切り出されたP(1,1)〜P(n,k)
を使って、重心(xx,yy)は次の式を満たすように
決定される。[Equation 2] And P (1,1) to P (n, k) including the corrected P (1, k) to P (n, k) are cut out portions 803. The top two rows of 803 are the same as the top two rows of 802, and the bottom row of 803 is modified by multiplying each pixel value of the third row of 802 by a. Next, in the center of gravity detection unit, P (1,1) to P (n, k) cut out
The center of gravity (xx, yy) is determined by using
【0045】[0045]
【数3】 (Equation 3)
【0046】[0046]
【数4】 [Equation 4]
【0047】ここで求められた(xx,yy)は、図4
の絵の中の伸ばした指のうち上方からある長さだけ切り
取ったもの(切り取る長さがしきい値THと関連する)
の像の重心とほぼ一致する。ここでは通常のTV画像に
比べて画素が粗いため、切り取る長さを一定に保つため
に、上記のような修正が必要になる。ここでは、各画素
の値P(x,y)が精度良く求まれば求まるほど、(x
x,yy)の値も精度良く求められる。The (xx, yy) obtained here is shown in FIG.
A part of the extended finger in the picture of the figure cut out from above (the cut length is related to the threshold TH)
Almost coincides with the center of gravity of the statue. Here, since the pixels are coarser than in a normal TV image, the above correction is necessary to keep the cut length constant. Here, the more accurately the value P (x, y) of each pixel is obtained, the more
The values of (x, yy) can also be accurately obtained.
【0048】ここで、P(1,k)〜P(n,k)の値
を上のように修正した理由を述べる。もし、P(1,
k)〜P(n,k)の値を修正しないで、(xx,y
y)を計算したらどうなるかを図9を用いて考えてみ
る。今、仮に水平ラインで一部だけ大きい画素値が現れ
るところから、3画素分下がったところまで(斜線部
分)計算に用いるとすると、指が(a)から(b)のよ
うに移動したとき、指の位置変化に比べて、(xx,y
y)の位置の変化が大きくなってしまう。逆に図10
(a)と(b)は指の位置変化に比べて(xx,yy)
の位置の変化が小さくなってしまう。Here, the reason why the values of P (1, k) to P (n, k) are corrected as described above will be described. If P (1,
k) to P (n, k) without modifying the values (xx, y
Consider what happens when y) is calculated using FIG. Now, if it is used in the calculation from the place where a pixel value that is only partially large on the horizontal line appears to the place where it falls by 3 pixels (hatched portion), when the finger moves from (a) to (b), Compared to the position change of the finger, (xx, y
The change in the position of y) becomes large. Conversely, FIG.
(A) and (b) are (xx, yy) compared to the change in the position of the finger.
The change in position will be small.
【0049】つまり、実際の指の位置と計算された(x
x,yy)の値に、線形性がなくなってしまう。従っ
て、上述のように、まず重心を計算するときの全画素の
画素値の合計が一定になるように補正をしてから重心の
計算をしなくてはならない。That is, it is calculated as the actual finger position (x
The value of (x, yy) has no linearity. Therefore, as described above, it is necessary to first perform correction so that the sum of the pixel values of all the pixels when calculating the center of gravity becomes constant, and then calculate the center of gravity.
【0050】前述したが、任意の受光部に対し、適当な
指の位置で、その捉える領域が指先で占められるような
条件を満たさなくてはならない理由についてここで述べ
る。もし、画素の捕らえる領域の幅が、指の幅より小さ
くなってしまうと、図11のように、ある範囲において
は指を動かしているにも関わらず、(xx,yy)は動
かない、という状況が発生してしまう。そうすると、上
述したのと同様に、実際の指の位置と(xx,yy)の
値に線形性がなくなってしまう。As described above, the reason why an arbitrary light receiving portion must satisfy the condition that the captured area is occupied by the fingertip at an appropriate finger position will be described below. If the width of the area captured by the pixels becomes smaller than the width of the finger, (xx, yy) does not move even though the finger moves in a certain range as shown in FIG. 11. The situation arises. Then, as described above, there is no linearity between the actual finger position and the value of (xx, yy).
【0051】以上で求められた座標(xx,yy)を使
って、画面のカーソルを制御する。(xx,yy)と画
面内のカーソル位置を対応づけておけば、指を差し出し
たときその場所に対応した場所にカーソルが表示され
る。また指を動かせばカーソルも動く。指を引っ込めれ
ば、カーソルは消える。ただこれだけでは、マウスのボ
タンに対応するものがない。マウスのボタンを押す(ク
リックする)代わりにここでは、カーソルを静止させ
る。すなわち、重心点静止状態検出部114が重心点の
動き(カーソル位置に対応している)を監視しており、
ある一定時間での移動距離がしきい値以下だった場合、
カーソルが静止状態であったと判定し、クリック信号1
23を出力する。プルダウンメニューの中から1つを選
択する作業を考えてみる。まず指を差し出すことでカー
ソルが現れるので、まず操作者は指を動かして、カーソ
ルをメニューの項目の所へ動かす。カーソルをメニュー
項目の上に移動させて一定時間静止させると、プルダウ
ンメニューが現れる。ここでさらに指を下方に動かす
と、メニューを反転させながらカーソルが動く。希望の
メニューの所でまたカーソルを静止させると、そのメニ
ューコマンドが起動される。マウスなどを用いるときは
マウスを操作していないときは常にカーソルは静止して
いるため、この方法では誤操作が多いように一見思える
かもしれない。Using the coordinates (xx, yy) obtained above, the cursor on the screen is controlled. If (xx, yy) is associated with the cursor position on the screen, the cursor is displayed at a position corresponding to the position when the finger is extended. Move your finger to move the cursor. If you retract your finger, the cursor disappears. There is no equivalent to a mouse button. Instead of pressing (clicking) the mouse button, the cursor is frozen here. That is, the center-of-gravity point stationary state detection unit 114 monitors the movement of the center of gravity (corresponding to the cursor position),
If the distance traveled in a certain time is below the threshold,
It is determined that the cursor is in a stationary state, and click signal 1
23 is output. Consider the task of selecting one from the pull-down menu. First, the cursor appears when the finger is put out. The operator first moves the finger and moves the cursor to the menu item. Move the cursor over a menu item and let it rest for a period of time to bring up a pull-down menu. If you move your finger further down here, the cursor will move while reversing the menu. When the cursor is paused again at the desired menu, the menu command is activated. When using a mouse or the like, since the cursor is always stationary when the mouse is not operated, it may seem at first glance that there are many erroneous operations in this method.
【0052】しかし、本実施例においては、指を差し出
してないときはカーソルは現れていないし、指を出すと
きはある目的を持っているため(あのメニューを選択し
よう、など)、目標の場所にカーソルが到達する前にカ
ーソルが静止することはあまりない。従って、本実施例
においては、カーソルを静止させることでクリック動作
を代用することは自然である。However, in this embodiment, the cursor does not appear when the finger is not extended, and has a certain purpose when the finger is extended (select that menu, etc.). The cursor is rarely stationary before it arrives. Therefore, in the present embodiment, it is natural to substitute the click operation by stopping the cursor.
【0053】次に、デジタル信号処理部における処理の
流れを図18〜20に示したフローチャートを用いて説
明する。ここでは、上で述べたよりもやや細かい工夫が
施されているところもあるが、それらも含めて以下で説
明する。このフローチャートをそのままプログラムにす
れば、デジタル信号処理部をソフトウエアで実現するこ
とができる。もちろん、ハードウエアで構成することも
可能であるし、ソフトウエア、ハードウエア両方で構成
されることもあり得る。Next, the flow of processing in the digital signal processing section will be described with reference to the flow charts shown in FIGS. Here, there are some places that are slightly more ingenious than those described above, but these are also described below. If this flowchart is directly used as a program, the digital signal processing unit can be realized by software. Of course, it can be constituted by hardware, or it can be constituted by both software and hardware.
【0054】図19は棒状物体検出部の処理を表してい
る。ここでは既に述べたように、反射受光画像を水平方
向にスキャンしながら、部分的に画素値が大きくなると
ころを見つけ、これが複数ラインで、近い位置に現れる
と、棒状物体があると判断する。この部分的に画素値が
大きくなるところ(以下で部分画素列と呼ぶ)、および
部分画素列の複数の集まりで、まだ棒状物体とは判断さ
れてはいないが棒状物体になる可能性のあるものを棒状
物体候補と呼ぶ。水平方向にスキャンしていくと、棒状
物体候補が見つかり、スキャンが進むにつれその中から
棒状物体が検出される。FIG. 19 shows the processing of the rod-shaped object detecting section. Here, as described above, while the reflected light reception image is scanned in the horizontal direction, a portion where the pixel value becomes large is found, and if this appears on a plurality of lines and in a close position, it is determined that there is a bar-shaped object. A part where the pixel value is partially increased (hereinafter referred to as a partial pixel column) and a plurality of partial pixel columns, which have not yet been determined to be a rod-shaped object but may be a rod-shaped object Are called rod-shaped object candidates. When scanning is performed in the horizontal direction, rod-shaped object candidates are found, and as the scanning proceeds, a rod-shaped object is detected from among them.
【0055】まず、この棒状物体候補の情報を格納して
おく構造体を複数用意する(1901)。ここでは構造
体名はinfoStick[n]とする([n]がつい
ているのは複数あるから)。複数用意するのは、棒状物
体候補は必ずしも1つではなく複数現れる可能性もある
からである。この構造体は5つのメンバーを持ち、その
うち2つは配列である。図21の2102にも示すよう
に、メンバーは、 ystart:棒状物体が始まったラインのy座標、 xstart[i]:棒状物体候補の上からiライン目
(最上段は0ライン)の部分画素列の始まりのx座標、 xend[i]:棒状物体候補の上からiライン目(最
上段は0ライン)の部分画素列の終わりのx座標、 length:棒状物体候補の縦方向の長さ(部分画素
列の数)、 status:現在の状態(STICK、NOSTIC
K、EXTENDEDの3つの値を取る。詳細は後
述。)、をそれぞれ表す。始まりのx座標、終わりのx
座標は、複数のラインにそれぞれあるので、これらは配
列となっている。First, a plurality of structures for storing information on the rod-shaped object candidates are prepared (1901). Here, the structure name is infoStick [n] (because there are multiple [n] 's). The reason why a plurality of rod-shaped object candidates are prepared is that there is a possibility that a plurality of rod-shaped object candidates do not always appear but a plurality. This structure has five members, two of which are sequences. As indicated by 2102 in FIG. 21, the members are: ystart: y-coordinate of the line where the rod-shaped object starts, xstart [i]: partial pixel string of the i-th line from the top of the rod-shaped object candidate (0 line at the top) Xend [i]: the x coordinate of the end of the partial pixel row on the i-th line (0 line at the top) from the top of the rod-shaped object candidate, length: the vertical length of the rod-shaped object candidate (part Number of pixel columns), status: Current state (STICK, NOTIC)
It takes three values, K and EXTENDED. See below for details. ), Respectively. Start x coordinate, end x
Since the coordinates are on each of a plurality of lines, these are an array.
【0056】以下で処理を説明していくが、わかりやす
いように図21を併用しながら述べる。2101は反射
受光画像を表しており、各画素の色の濃さは画素値の大
きさを表している。また上部と左部の数字はそれぞれx
座標、y座標を示している。2102には前述の構造体
の概要を表す。右側の2103〜2105は処理の途中
での構造体の内容である。The processing will be described below, but will be described together with FIG. 21 for the sake of clarity. Reference numeral 2101 represents a reflected light receiving image, and the color density of each pixel represents the magnitude of the pixel value. The upper and left numbers are x
The coordinates and the y coordinate are shown. 2102 shows an outline of the aforementioned structure. 2103 to 2105 on the right side are the contents of the structure during the processing.
【0057】水平ラインをスキャンしていき、条件を満
たす(ここでは、画素値がs以上の画素が、c個以上連
続しない)部分画素列が見つかると(1902)、これ
までの棒状物体候補に統合するか(1907)、新規に
棒状物体候補にする(1906)。1番始めに見つかっ
た部分画素列は必ず新規棒状物体候補になる。例えば、
図21では、y=3のラインをスキャンしているとき
に、始めて部分画素列が見つかり、これを新規棒状物体
候補として登録する(2103)。The horizontal line is scanned, and when a partial pixel string satisfying the condition (here, the number of pixels having pixel values of s or more does not continue for c or more) is found (1902), the past rod-shaped object candidates are selected. It is integrated (1907) or is newly made into a rod-shaped object candidate (1906). The partial pixel sequence found first is always a new rod-like object candidate. For example,
In FIG. 21, when scanning a line of y = 3, a partial pixel row is first found, and this is registered as a new rod-shaped object candidate (2103).
【0058】このラインのy座標、すなわち3をinf
oStick[0].ystartに入れる。部分画素
列の長さは1なので、infoStick[0].xs
tart[0]、infoStick[0].xend
[0]ともに6を代入する。The y coordinate of this line, that is, 3 is inf
o Stick [0]. Put in ystart. Since the length of the partial pixel column is 1, infoStick [0]. xs
start [0], infoStick [0]. xend
Substitute 6 for both [0].
【0059】新規なので、infoStick[0].
lengthは1とし、infoStick[0].s
tatusにはEXTENDEDを格納する(新規登録
でもEXTENDEDを使う。理由は後述)。Since it is new, infoStick [0].
The length is 1, and infoStick [0]. s
EXTENDED is stored in status (EXTENDED is used even for new registration. The reason will be described later).
【0060】y=4のラインのスキャンで見つかった部
分画素列は今度は、既にある棒状物体候補とつながる。
つながるかどうかの判断は、棒状物体候補の最後のライ
ンの部分画素列と新たな部分画素列のx方向の位置関係
で決める。The partial pixel string found by scanning the line of y = 4 is connected to an existing rod-shaped object candidate this time.
The determination as to whether or not the connection is made is determined based on the positional relationship in the x direction between the partial pixel column of the last line of the rod-shaped object candidate and the new partial pixel column.
【0061】この場合はinfoStick[0].x
start[0]=6,infoStick[0].x
end[0]=6である。新たな部分画素列のx座標は
5〜7なので、これらはつながっていると判断する。そ
の結果、新たな部分画素列につながっていると判断され
た棒状物体候補の情報を更新する(2104)。In this case, infoStick [0]. x
start [0] = 6, infoStick [0]. x
end [0] = 6. Since the x-coordinates of the new partial pixel row are 5 to 7, it is determined that they are connected. As a result, the information of the rod-shaped object candidate determined to be connected to the new partial pixel row is updated (2104).
【0062】新たな部分画素列の(x方向の)位置を下
式で代入し、infoStick[0].xstart
[1]=5,infoStick[0].xend
[1]=7。The position (in the x direction) of the new partial pixel row is substituted by the following equation, and info Stick [0]. xstart
[1] = 5, infoStick [0]. xend
[1] = 7.
【0063】棒状物体候補の長さを1増やす。 infoStick[0].length=2 さらに、y=5のラインで見つかった部分画素列を先の
棒状物体候補にさらにつなげると、2105のようにな
る。ここでdを3とすると、1908の条件式が成り立
ち、棒状物体が決定され、次の処理へ移る(190
9)。この条件が満たされるまで繰り返され、条件が満
たされる前に1画面分のスキャンが終了してしまった
ら、棒状物体は検出できなかったことになる。The length of the rod-shaped object candidate is increased by 1. infoStick [0]. length = 2 Furthermore, when the partial pixel string found in the line of y = 5 is further connected to the previous rod-shaped object candidate, the result is 2105. Here, if d is 3, the conditional expression of 1908 is established, the rod-shaped object is determined, and the process proceeds to the next processing (190
9). This process is repeated until the condition is satisfied. If the scanning for one screen is completed before the condition is satisfied, the bar-shaped object cannot be detected.
【0064】上の説明では、infoStick
[n].statusの使い方の説明が不十分なので、
次にこれについて説明する。これは、STICK、NO
STICK、EXTENDEDの3つの値を取りうる。In the above description, infoStick
[N]. The explanation of how to use status is insufficient,
Next, this will be described. This is STICK, NO
It can take three values, STICK and EXTENDED.
【0065】NOSTICKは、その構造体が棒状物体
候補でないことを表す(つまり、一番はじめは全ての構
造体のstatusメンバーはNOSTICKになって
いる)。STICKはその構造体が棒状物体候補である
ことを表す。NOSTICK indicates that the structure is not a rod-shaped object candidate (that is, the status members of all the structures are initially NOSTICK). STICK represents that the structure is a rod-shaped object candidate.
【0066】EXTENDEDの場合も棒状物体候補で
あるがこの値の用い方は少し異なる。新たな水平ライン
のスキャンを始めるとき、全ての棒状物体候補はSTI
CKを持つ。1ラインのスキャンの中で新たに見つけら
れた部分画素列とつながった棒状物体候補はEXTEN
DEDに変わる。1ラインのスキャンが終了したとき、
まだSTICKになったままの棒状物体候補は、そのラ
イン上のどの部分画素列ともつながっていないことにな
り、棒状物体候補でなくなったと考える。EXTENDED is also a rod-shaped object candidate, but the use of this value is slightly different. When starting a scan of a new horizontal line, all candidate rods are STI
Have CK. The rod-shaped object candidate connected to the newly found partial pixel row in the scan of one line is EXTEN.
Change to DED. When the scan of one line is completed,
It is considered that the rod-shaped object candidate still in the STICK state is not connected to any partial pixel row on the line, and is considered not to be the rod-shaped object candidate.
【0067】従って、1ラインのスキャンが終わると、
STICKになったままの棒状物体候補はNOSTIC
Kに変え、EXTENDEDを持つ棒状物体候補だけに
再びSTICKを与える。この処理により図22の22
01のように、浮いた部分画素列(ノイズである場合も
考えられる)は、いったんは棒状物体候補としてinf
oStick[0]に登録されるが(2203)、画素
列がとぎれた時点で棒状物体候補から外される(220
4、実際には1903の処理で削除される)。Therefore, after scanning one line,
A rod-like object candidate that remains STICK is NOSTIC
In place of K, STICK is given again only to the rod-shaped object candidate having EXTENDED. By this process, 22 in FIG.
Like 01, the floating partial pixel row (which may be noise) is once inf as a rod-shaped object candidate.
Although it is registered in oStick [0] (2203), it is excluded from the rod-shaped object candidates when the pixel row is interrupted (220).
4, actually deleted in the process of 1903).
【0068】本来の指先部分はinfoStick
[1]で登録されている。棒状物体候補から外すために
statusをNOSTICKに変えているだけであ
る。これで次のスキャン時の1905での判断時には、
STICKを持つ構造体だけを見るので、NOSTIC
Kになった構造体は無視される。またこのように一度使
われた構造体も、NOSTICKになれば、再び新規棒
状物体の登録に用いることができメモリを節約できる。The original fingertip portion is infoStick
It is registered in [1]. The only thing that changes the status to NOSTICK is to remove it from the bar-like object candidates. With this, at the time of judgment at 1905 at the next scan,
Only the structure with STICK is seen, so NOTIC
Structures that become K are ignored. In addition, if the structure once used becomes NOSTICK, it can be used again for registration of a new rod-shaped object, and the memory can be saved.
【0069】このような処理を行うことでノイズから受
ける影響を少なくすることができる。1905において
は、STICKを持つ構造体に対してだけ、つながるか
どうかの判断を行う。また、新規棒状物体候補を登録す
るときにはNOSTICKを持つ構造体を探し、そこに
新しい情報を格納する。By performing such processing, the influence of noise can be reduced. At 1905, it is determined whether or not the structure having STICK is connected. Further, when registering a new rod-shaped object candidate, a structure having NOSTICK is searched for and new information is stored therein.
【0070】図20は棒状物体先端切り出し部、および
重心検出部の処理を表す。図19の1908での条件が
満たされると、図20の2001に処理が移る。200
2では、棒状物体の先端を切り出すためのパラメータT
Hを求めている。このしきい値は固定でも良いが、20
01のように棒状物体の先端部の大きさや画素値によっ
て決めても良い。ここで挙げた式を用いると、指の太さ
が違ったり、距離が違ったりして、画素値が変動して
も、切り出した先端部の縦横方向の長さの差がそれ程大
きくならない。棒の太さ(1ラインの画素値合計。0ラ
イン目は先端なので太さを表さないことが多いので計算
から除く)と1画素の最大値との比を求めて、TH(切
り出し部分の全画素値合計)と最大画素値の比がこれの
2乗になるようにしている。これ以外の計算方法でTH
を求めることも可能である。FIG. 20 shows the processing of the rod-shaped object tip cutout portion and the center of gravity detection portion. When the condition of 1908 in FIG. 19 is satisfied, the process proceeds to 2001 in FIG. 200
In 2, the parameter T for cutting out the tip of the rod-shaped object is
Seeking H. This threshold may be fixed, but 20
It may be determined by the size of the tip of the rod-like object or the pixel value like 01. By using the formulas described above, even if the pixel value fluctuates due to a difference in the thickness of the finger or a difference in the distance, the difference between the lengths in the vertical and horizontal directions of the cut end portion does not increase so much. Calculate the ratio of the thickness of the bar (total pixel value of 1 line. This is not included in the calculation because the 0th line is the tip and thus does not represent the thickness in most cases) and the maximum value of 1 pixel. The ratio of the sum of all pixel values) and the maximum pixel value is set to the square of this. TH is calculated by other methods.
It is also possible to ask
【0071】2003では、2002で求められたTH
を用いて、式1で述べたa、kを求める。式1では矩形
領域で計算しているが、ここでは、各ラインの部分画素
列だけを用いて計算している。これにより、矩形内の棒
状物体と関係のないところにノイズがあるような場合の
影響を小さくできる(例えば図23のように指が斜め方
向を向いているとき、2301のようなノイズの影響を
受けない)。2003で求めたaをkライン目の各画素
値に乗ずる。2002から2004までの処理が棒状物
体先端切り出し部である。a、kと修正された画素値を
用いて、2005において重心を計算する。基本的に
は、kライン目までの部分画素列の中の、各画素値とx
座標の積を全て足してTH(これは各画素値の合計に等
しい)で割ったものが重心のx座標であり、各画素値と
y座標の積を全て足してTH(これは各画素値の合計に
等しい)で割ったものが重心のy座標である。ここで
は、xsum[i]が分かっているので、これにy座標
(infoStick[n].ystart+i)を掛
けたものの積をTHで割って重心のy座標を求めている
(もちろん、xsum[k]は修正された画素値で再計
算される)。xpsum[i]はiライン目の部分画素
列の各画素値とそのx座標の積を全て足したものであ
り、2005に示した式で重心のx座標が求められる。In 2003, TH calculated in 2002 is calculated.
Is used to find a and k described in Equation 1. In Equation 1, the calculation is performed in a rectangular area, but here, the calculation is performed using only the partial pixel column of each line. This makes it possible to reduce the influence when noise is present in a place unrelated to the rod-shaped object within the rectangle (for example, when the finger is directed obliquely as shown in FIG. 23, the influence of noise such as 2301 Not receive). The pixel value of the k-th line is multiplied by a obtained in 2003. The processing from 2002 to 2004 is the rod-shaped object tip cutout portion. The center of gravity is calculated in 2005 using a, k and the modified pixel values. Basically, each pixel value and x in the partial pixel row up to the kth line
The x-coordinate of the center of gravity is obtained by adding all the products of the coordinates and dividing by TH (which is equal to the sum of each pixel value), and adding all the products of each pixel value and the y-coordinate TH (this is each pixel value Divided by) is the y-coordinate of the center of gravity. Since xsum [i] is known here, the product of the product of multiplying this by the y coordinate (infoStick [n] .ystart + i) is divided by TH to obtain the y coordinate of the center of gravity (of course, xsum [k] Is recalculated with the corrected pixel values). xpsum [i] is the sum of the product of each pixel value of the i-th line partial pixel row and its x coordinate, and the x coordinate of the center of gravity is obtained by the formula shown in 2005.
【0072】以上述べた、実施例により、ノートパソコ
ン、PDAなど携帯型情報機器により好適な入力環境、
すなわち指を差し出して動かすだけでカーソル制御を行
える環境を実現することができた。According to the embodiments described above, the input environment more suitable for the portable information equipment such as the notebook personal computer and the PDA,
In other words, it was possible to realize an environment in which the cursor can be controlled simply by pointing out and moving the finger.
【0073】次に、この実施例を基本とした、いくつか
の別の実施例について説明する。ここで、さらに低コス
ト化、小型化のための実施例を述べる。ここでは受光セ
ンサとアナログスイッチ、アナログ信号処理部、A/D
変換部が集積されて1チップ化されている。Next, some other embodiments based on this embodiment will be described. Here, an example for further cost reduction and size reduction will be described. Here, the light receiving sensor, analog switch, analog signal processing unit, A / D
The converters are integrated into one chip.
【0074】このICの概要を図12に示す。ここでは
フォトダイオード1201とMOSスイッチ1202で
1画素分を構成し、縦横に配列する。縦に並んだ画素の
MOS出力をまとめ、縦1列分の出力をさらに後段のM
OSスイッチ1203を介してまとめて後段のアナログ
信号処理回路1206に導いている。The outline of this IC is shown in FIG. Here, one pixel is composed of the photodiode 1201 and the MOS switch 1202, and they are arranged vertically and horizontally. The MOS outputs of vertically arranged pixels are combined, and the output for one vertical column is added to the M in the subsequent stage.
They are collectively led to the analog signal processing circuit 1206 at the subsequent stage via the OS switch 1203.
【0075】そして、後段のMOSスイッチ1203を
X駆動回路1204で制御し、各画素のMOSスイッチ
のゲートは横1列で共通化し、これらをY駆動回路12
05で制御している。つまり、X駆動回路1204が制
御する制御線のうち1本だけをONにし、Y駆動回路1
205が制御する制御線のうち1本だけをONにすれ
ば、ただ1つのフォトダイオードの出力が後段のアナロ
グ処理回路1206に導かれる。Then, the MOS switch 1203 in the subsequent stage is controlled by the X drive circuit 1204, the gates of the MOS switches of each pixel are made common in one horizontal row, and these are shared by the Y drive circuit 12.
It is controlled by 05. That is, only one of the control lines controlled by the X drive circuit 1204 is turned on, and the Y drive circuit 1 is turned on.
When only one of the control lines controlled by 205 is turned on, the output of only one photodiode is guided to the analog processing circuit 1206 at the subsequent stage.
【0076】アナログ信号処理回路1206はI/V変
換アンプ1207、プリアンプ1208、バンドパスフ
ィルタ1209、絶対値回路1210、積分回路121
1からなっており、これらの働きは前述の実施例とほぼ
同じである。A/D変換部1212で変換されたデジタ
ルデータが出力端子1214より出力される。制御部1
213は外部からの制御信号1215をもとに、X駆動
回路1204、Y駆動回路1205の制御、A/D変換
器1212のタイミング制御、積分回路1211のリセ
ット(放電)動作制御などを行う。The analog signal processing circuit 1206 includes an I / V conversion amplifier 1207, a preamplifier 1208, a bandpass filter 1209, an absolute value circuit 1210, and an integrating circuit 121.
1 and their functions are almost the same as those in the above-mentioned embodiment. The digital data converted by the A / D converter 1212 is output from the output terminal 1214. Control unit 1
213 performs control of the X drive circuit 1204 and Y drive circuit 1205, timing control of the A / D converter 1212, reset (discharge) operation control of the integration circuit 1211, etc. based on a control signal 1215 from the outside.
【0077】このようにセンサ部を集積化することによ
り、装置全体を小型化することができるだけでなく、対
ノイズ性能を向上させることができる。このICを用い
れば、あとはデジタル信号処理を行うIC(CPU、D
SP、専用LSIなど)と組み合わせ、全体でも数個の
ICで本入力装置を構成することができる。また、デジ
タル信号処理を、本入力装置を組み込む携帯パソコン
(あるいはPDAなど)のCPUに行わせることにすれ
ば、センサICとインタフェース用のICのみで本入力
装置を構成することもでき、さらに低コスト化、小型化
できる。By integrating the sensor section in this way, not only can the size of the entire apparatus be reduced, but also the noise performance can be improved. If this IC is used, then the IC (CPU, D
This input device can be composed of several ICs as a whole in combination with SP, dedicated LSI, etc.). Further, if the CPU of the portable personal computer (or PDA or the like) incorporating the input device is made to perform the digital signal processing, the input device can be configured with only the sensor IC and the interface IC, which is further low. Cost and size can be reduced.
【0078】また別のセンサICの例として図13のよ
うなものもある。これはアナログ信号処理回路を複数持
ち、受光素子アレイを分けて同時に処理している。アレ
イ型に並んだ受光素子を左右2つに分け、それぞれにア
ナログ信号処理回路を設けている。アナログ信号処理部
は図12と同様に、I/V変換アンプ、プリアンプ、バ
ンドパスフィルタ、絶対値回路、積分器から成ってい
る。またX駆動回路1301から出ているゲート信号は
1本につき、2つに分けた受光素子アレイのそれぞれの
1つずつの後段MOSスイッチを同時に制御する。There is also another sensor IC as shown in FIG. It has a plurality of analog signal processing circuits and divides the light receiving element array for simultaneous processing. The light receiving elements arranged in an array are divided into two parts on the left and right sides, and an analog signal processing circuit is provided for each. Similar to FIG. 12, the analog signal processing unit is composed of an I / V conversion amplifier, a preamplifier, a bandpass filter, an absolute value circuit, and an integrator. Further, each gate signal output from the X drive circuit 1301 controls simultaneously the subsequent MOS switch of each of the two divided light receiving element arrays.
【0079】つまり、X駆動回路1301、Y駆動回路
1302それぞれが1本づつの制御線をONにすれば、
左半分にある1つの受光素子の出力が第1のアナログ信
号処理回路1304に導かれ、右半分にある1つの受光
素子の出力が第2のアナログ信号処理回路1303に導
かれる。That is, if each of the X drive circuit 1301 and the Y drive circuit 1302 turns on one control line,
The output of one light receiving element in the left half is guided to the first analog signal processing circuit 1304, and the output of one light receiving element in the right half is guided to the second analog signal processing circuit 1303.
【0080】この2つのアナログ信号処理回路が所定の
出力を出したとき、それぞれの出力をサンプルホールド
回路1305、1306でラッチし、これをマルチプレ
クサ1307に入力し、時分割でA/D変換する。When the two analog signal processing circuits output predetermined outputs, the respective outputs are latched by the sample and hold circuits 1305 and 1306, which are input to the multiplexer 1307 and A / D converted in time division.
【0081】制御部1309は図12で説明したほか
に、サンプルホールド回路1305、1306、マルチ
プレクサ1307のコントロールも行う。このようにア
ナログ信号処理回路を複数持ち、並列処理させることの
一番の効果は省電力化である。1回の発光で2つの受光
素子出力を処理できるため、発光回数が半分になる。こ
れは発光に必要な電力を半分に減らせることを意味して
いる。The control unit 1309 controls the sample and hold circuits 1305 and 1306 and the multiplexer 1307 in addition to the control described in FIG. In this way, the most effective effect of having a plurality of analog signal processing circuits and performing parallel processing is power saving. Since two light receiving element outputs can be processed by one light emission, the number of light emission is halved. This means that the power required for light emission can be cut in half.
【0082】図13では、2分割した例を述べたが、も
ちろんいくつに分割して並行処理させてもかまわない
し、それだけ発光電流を節約できる。このようなフォト
ダイオードをアレイ状にした受光センサとしては、似た
ようなものに、CCDエリアイメージセンサがある。受
光するだけであれば、広く普及しているCCDエリアイ
メージセンサを用いることもできるが、これはある一定
時間チャージした電荷を30分の1秒毎に順番に取り出
す構造をしており、本実施例のように変調された光を捉
える場合、その変調成分を取り出すことはできない。そ
れに、前述したように伸ばした指の位置を求めるという
だけの目的であれば、CCDエリアイメージセンサのよ
うに多くのフォトダイオードを集積化する必要もなく、
またCCDエリアイメージセンサほど高速動作を要求さ
れないので省電力化でも有利である。In FIG. 13, an example in which the light source is divided into two has been described, but it is of course possible to divide the number into two and perform the parallel processing, and the light emitting current can be saved accordingly. A CCD area image sensor is similar to the light receiving sensor in which the photodiodes are arrayed. A widespread CCD area image sensor can be used as long as it receives light, but this has a structure in which the charge charged for a certain period of time is sequentially taken out every 1/30 second. When capturing modulated light as in the example, the modulation component cannot be extracted. For the purpose of finding the position of the extended finger as described above, it is not necessary to integrate many photodiodes like a CCD area image sensor,
Further, since it is not required to operate at high speed as much as the CCD area image sensor, it is advantageous in power saving.
【0083】次に、デジタル信号処理が異なる例を説明
する。先の実施例では指先の画像から、その先端部分を
切り出し、その重心を求めただけであった。重心は指の
左右上下方向の移動に伴い変化する特徴量であるが、こ
こでは、さらに奥行き方向の動き(受光系に近づく/遠
ざかる)を反映した特徴量を捕らえる。これまでの実施
例では、2次元情報を入力するのみであったが、奥行き
方向の情報を捉えることができれば、2次元情報+αあ
るいは3次元情報を入力することができる。Next, an example in which digital signal processing is different will be described. In the previous embodiment, the tip portion was cut out from the image of the fingertip and the center of gravity thereof was obtained. The center of gravity is a feature amount that changes with the movement of the finger in the left-right and up-down directions, but here, the feature amount that reflects movement in the depth direction (approaching / moving away from the light receiving system) is captured. In the above embodiments, only two-dimensional information was input, but if information in the depth direction can be captured, two-dimensional information + α or three-dimensional information can be input.
【0084】例えば、奥行き方向の動きを監視してお
き、ボタンを押すように、少し近づいて少し戻るという
奥行き方向の動きを検出した場合に、マウスのクリック
に対応する信号を発生させることができる。これによ
り、指でカーソルを動かし、「押す」動作をすること
で、メニューを選択をさせたりすることができる。For example, when a movement in the depth direction is monitored and a movement in the depth direction is detected such that the button approaches a little and returns a little like a button is pressed, a signal corresponding to a mouse click can be generated. . Thus, the menu can be selected by moving the cursor with a finger and performing a “push” operation.
【0085】また、厳密に指までの距離を入力すること
はできないが、相対的に「近づいた」「遠ざかった」と
いう検出はできるので、表示でのフィードバックと組み
合わせれば3次元位置情報を入力することができる。Further, although it is not possible to input the distance to the finger exactly, it is possible to detect relatively "approaching" and "moving away". Therefore, when combined with feedback on the display, three-dimensional position information can be input. can do.
【0086】受光量は反射物体までの距離の4乗に反比
例することは前述した。従って、指が奥行き方向に動く
と、指からの反射光を受光している受光素子の受光量が
増減する。また1つの受光素子の出力だけでなく、指の
占める画素の数も増える。この様子を図14に示す。
(a)→(b)のように指が近づいてくると、手指の形
の反射受光画像全体に対する相対的な大きさが大きくな
る。As described above, the amount of received light is inversely proportional to the fourth power of the distance to the reflecting object. Therefore, when the finger moves in the depth direction, the amount of light received by the light receiving element that receives the reflected light from the finger increases or decreases. Further, not only the output of one light receiving element but also the number of pixels occupied by the finger increases. This is shown in FIG.
When the finger approaches as shown in (a) → (b), the size of the finger is relatively large with respect to the entire reflected / received image.
【0087】従って、3行目の水平1ライン1401に
ついて1.1画素程度の範囲を指が占めていたのに対
し、(b)では1.5画素程度の範囲を指が占めており
(1402)、3行目1ラインの画素値合計が大きくな
っていることが分かる。また占める範囲が広がるだけで
なく、指の距離が近くなるので、捉える領域全てを指が
占めている1403、1404のような画素も、(b)
の方がその画素値は大きくなっている。前述のように受
光量は反射物体までの距離の4乗に反比例するので、例
えば距離が10cmから9cmに近くなったとすると、
画素値はほぼ1.5倍になっている。Therefore, the finger occupies a range of about 1.1 pixels in the horizontal one line 1401 of the third row, whereas the finger occupies a range of about 1.5 pixels in (b) (1402). ) It can be seen that the total pixel value of the third line and the first line is large. Further, not only the range to be expanded is widened, but also the distance of the finger is shortened, so pixels such as 1403 and 1404 in which the finger occupies the entire captured area are also (b).
Has a larger pixel value. As described above, the amount of received light is inversely proportional to the fourth power of the distance to the reflecting object, so if the distance becomes close to 10 cm to 9 cm, for example,
The pixel value is almost 1.5 times.
【0088】この図から、水平1ラインでの画素値合計
の大きさが、指までの距離を反映していることが分か
る。この実施例でのデジタル信号処理部(図15全体)
は、棒状物体検出部1501、水平1ライン総画素値検
出部1502、棒状物体先端切り出しパラメータ演算部
1503、棒状物体先端切り出し部1504、重心検出
部1505から成る。まず、反射受光画像1506が入
力されると、棒状物体検出部1501が指先を検出す
る。これは図1の棒状物体検出部111と働きは同じで
ある。次に棒状物体検出部1501で検出された部分画
像1507の各水平ラインの画素値合計を演算する。From this figure, it can be seen that the total size of pixel values in one horizontal line reflects the distance to the finger. Digital signal processing unit in this embodiment (entire FIG. 15)
Is composed of a rod-shaped object detection unit 1501, a horizontal 1-line total pixel value detection unit 1502, a rod-shaped object tip cutout parameter calculation unit 1503, a rod-shaped object tip cutout unit 1504, and a center of gravity detection unit 1505. First, when the reflected / received image 1506 is input, the rod-shaped object detection unit 1501 detects the fingertip. This has the same function as the rod-shaped object detection unit 111 in FIG. Next, the pixel value total of each horizontal line of the partial image 1507 detected by the rod-shaped object detection unit 1501 is calculated.
【0089】棒状物体先端切り出しパラメータ演算部1
503では、この画素値合計から、棒状物体先端切り出
し部1504で用いるしきい値THを計算する。棒状物
体先端切り出し部では、棒状物体先端切り出しパラメー
タ演算部で計算されたTHを受け取り(1508)、図
1のそれと同様に、先端部を切り出す。重心検出部15
05もその働きは図1のそれと同じである。そしてこの
重心データ1509と切り出しパラメータ1510の両
方が特徴量として出力される。Bar-shaped object tip cutting parameter calculation unit 1
In 503, the threshold value TH used in the rod-shaped object tip cutout unit 1504 is calculated from the total pixel value. The rod-shaped object tip cutout unit receives TH calculated by the rod-shaped object tip cutout parameter calculation unit (1508), and cuts out the tip portion as in the case of FIG. Center of gravity detector 15
The function of 05 is the same as that of FIG. Then, both the center-of-gravity data 1509 and the cutout parameter 1510 are output as the feature amount.
【0090】このデジタル信号処理部の効果は距離に対
応した信号が得られるだけではない。THが一定だと、
指が近いほど、すなわち水平1ラインの総画素値が大き
くなると切り出された部分の垂直方向の1ラインあたり
の画素値合計は小さくなる。ポインティングの精度を高
く保つためには、切り出された部分の1ラインあたりの
画素値合計が縦でも横でも同じ程度が望ましい。The effect of this digital signal processing section is not only that a signal corresponding to the distance is obtained. If TH is constant,
The closer the finger is, that is, the larger the total pixel value of one horizontal line is, the smaller the total pixel value per line in the vertical direction of the cutout portion is. In order to keep the pointing accuracy high, it is desirable that the total pixel value per line of the cut out portion is the same in both vertical and horizontal directions.
【0091】従って、水平1ラインあたりの画素値合計
から、垂直1ラインあたりの総画素値も同程度になるよ
うにTHを決める方が望ましい。また先に述べた、マウ
スのクリックとしての動作だけを行わせるのであれば、
棒状物体先端切り出しパラメータ演算部1503の後に
図示しないクリック動作検出部を設け、これが切り出し
パラメータを監視しており、「押す」動作を検出したと
きにクリック信号を出力するようにすればよい。Therefore, it is desirable to determine TH so that the total pixel value per horizontal line becomes approximately the same as the total pixel value per horizontal line. In addition, if you want to perform only the operation as a mouse click described above,
A click motion detection unit (not shown) is provided after the rod-shaped object tip cutout parameter calculation unit 1503, and this cutout parameter is monitored, and a click signal may be output when a “push” motion is detected.
【0092】「押す」だけでなく、様々な指先のジェス
チャーをコマンドとして利用することも効果的である。
図17に示す実施例では操作者の指の動きを認識して入
力情報として利用する者である。例えばあるアイコンの
上にカーソルを移動させて、チェックマークの形「#」
に指を動かすと、そのアイコンに関連づけられたコマン
ドが起動する、または、円を描くとその中のオブジェク
トが選択される、といった具合に利用することができ
る。It is effective to use not only “push” but also various fingertip gestures as commands.
In the embodiment shown in FIG. 17, the person who recognizes the movement of the operator's finger and uses it as input information. For example, move the cursor over an icon and check mark "#"
When you move your finger to, the command associated with that icon is activated, or when you draw a circle, the object inside is selected, and so on.
【0093】センサ部1701は図1の受光素子アレイ
101とアナログスイッチ102に相当する。アナログ
信号処理部1702、A/D変換器1703、デジタル
信号処理部1704は図1のそれと働きは同じであり、
重心データ1705を出力する。発光部もあるがここで
は図示しない。重心点動き検出部1706は重心点の動
きを監視しており、あらかじめ登録された動きが合った
場合にそれに対応する信号1707を出力する。The sensor section 1701 corresponds to the light receiving element array 101 and the analog switch 102 shown in FIG. The analog signal processing unit 1702, the A / D converter 1703, and the digital signal processing unit 1704 have the same functions as those of FIG.
The center of gravity data 1705 is output. There is also a light emitting part, but it is not shown here. The center-of-gravity point movement detection unit 1706 monitors the movement of the center-of-gravity point, and outputs a signal 1707 corresponding to the movement registered in advance when the registered movement matches.
【0094】次に、重心データとボタンの状態とを関連
づけて、入力情報とする実施例について説明する。例え
ば、指を動かしてカーソルをあるメニューの上に動かし
たところで、ボタンを押すとメニューが選択される、ま
たは、あるアイコンの上でボタンを押したまま、さらに
指を動かすとアイコンを移動できるなど、マウスのボタ
ンの同じように用いてクリックやドラッグなどの操作が
できるようになる。Next, an embodiment in which the barycentric data and the button state are associated with each other and used as input information will be described. For example, when you move your finger to move the cursor over a menu, press the button to select the menu, or press the button on an icon and move your finger to move the icon. , You can use the same operation as mouse button to click and drag.
【0095】この実施例の構成は図16に示される。セ
ンサ部1601は図1の受光素子アレイ101とアナロ
グスイッチ102に相当する。アナログ信号処理部16
02、A/D変換器1603、デジタル信号処理部16
04は図1のそれと働きは同じであり、重心データ16
05を出力する。発光部もあるがここでは図示しない。
ボタン1606は操作者の画面を差している手と反対の
手で押しやすい所に配置されており、ボタン状態検出部
1607が押されたかどうか、押され続けているかどう
か、といったボタンの状態を検出し、その状態を表す信
号1608を出力する。図示しないコンピュータ側では
これら両者の出力を参考にして、カーソルを動かした
り、アイコンを起動したり、ドラッグしたりする。これ
により、指を静止させたり、「押す」動作をさせるより
は、高速にクリック操作などをすることができる。ま
た、操作したという確実な実感を操作者に与えることも
できる。The structure of this embodiment is shown in FIG. The sensor unit 1601 corresponds to the light receiving element array 101 and the analog switch 102 in FIG. Analog signal processing unit 16
02, A / D converter 1603, digital signal processing unit 16
04 has the same function as that of FIG.
05 is output. There is also a light emitting part, but it is not shown here.
The button 1606 is arranged in a place where it is easy to push with the hand opposite to the hand holding the screen of the operator, and detects the state of the button such as whether the button state detection unit 1607 has been pushed or whether it has been pushed continuously. Then, a signal 1608 representing that state is output. On the computer side (not shown), referring to these outputs, the cursor is moved, the icon is activated, and the icon is dragged. As a result, a click operation or the like can be performed at a higher speed than when the finger is stopped or a "push" operation is performed. In addition, it is possible to give the operator a certain feeling of operation.
【0096】これは、両手が自由に使えるような場合に
有効である。腕時計型のPDAを左腕に装着して右手で
カーソル操作したり、小型のPDAを左手に持って右手
でカーソル操作するような場合は、片手でクリック操作
ができる方が望ましい。また、ブックパソコンのような
場合、このボタンをキーボードのキーで代用することも
できる。This is effective when both hands can be used freely. When the wristwatch type PDA is attached to the left arm and the cursor is operated by the right hand, or when the small PDA is held by the left hand and the cursor is operated by the right hand, it is preferable to be able to perform the click operation with one hand. Also, in the case of a book computer, this button can be replaced by a key on the keyboard.
【0097】例えば、スペースバーを使った場合、通常
はスペースの入力として働くようにしておき、指を差し
てカーソル表示させているときにスペースキーが押され
た場合は、クリック、ドラッグとして働くようにする。For example, when the space bar is used, it normally works as a space input, and when the space key is pressed while the cursor is displayed by pointing the finger, it works as a click or a drag. To
【0098】また、少し違う使い方になるが、ボタンを
押したときにだけこの情報入力装置が動作するようにす
ることもできる。すなわち、カーソル操作をしたいとき
はボタンを押しながら指を差して動かすことになる。こ
うすることにより、カーソル操作する意志がないのに操
作領域に指が入ってしまい誤動作するのを防ぐことがで
きる。また、そのため操作領域をキーボードのホームポ
ジションのごく近いところに設定し、最小限の手の動き
で操作領域に手が入るようにすることもできる。またボ
タンが押されたときだけ、発光部が発光するので、消費
電力を節約することもできる。Further, although it is used in a slightly different way, the information input device can be operated only when the button is pressed. That is, when the cursor is desired to be operated, the finger is moved while pressing the button. By doing so, it is possible to prevent a malfunction due to a finger entering the operation area even though there is no intention to operate the cursor. Therefore, the operation area can be set very close to the home position of the keyboard so that the operation area can be reached with a minimum hand movement. Further, since the light emitting unit emits light only when the button is pressed, power consumption can be reduced.
【0099】最後に、2つ、この入力装置を備えた携帯
情報機器のイメージを載せる。図18は片手で持てるP
DAである。本入力装置は外側には発光、受光できるだ
けの窓があればよいので、スペースを有効に使える。こ
こでは、1801が発光部、受光部の窓である。窓の前
で指1803を動かせば、画面内のカーソル1804の
位置を制御できる。窓がこれだけ小さいので、残りのス
ペースを大きな表示部1802として使える。Finally, two images of portable information equipment equipped with this input device are put. Figure 18 can be held with one hand P
DA. This input device only needs a window on the outside to emit and receive light, so that space can be effectively used. Here, 1801 is a window of the light emitting portion and the light receiving portion. By moving the finger 1803 in front of the window, the position of the cursor 1804 on the screen can be controlled. Since the window is so small, the remaining space can be used as a large display portion 1802.
【0100】図24は、本入力装置が付いた腕時計型の
PDAである。やはり指2401の動きでカーソル24
02を制御することができる。2403、2404が発
光部、受光部の窓である。これだけ本体が小さいともは
やペンを格納するスペースさえなく、本入力装置による
入力の好適さは言うまでもないことである。また、目と
表示装置の間からずらしたところに操作空間を配せば、
指によって表示が見にくくなるということもない。FIG. 24 shows a wrist watch type PDA equipped with this input device. After all, the cursor 24 moves with the movement of the finger 2401.
02 can be controlled. 2403 and 2404 are windows of the light emitting portion and the light receiving portion. With such a small body, there is no more space for storing the pen, and it goes without saying that the input by the input device is suitable. In addition, if you arrange the operation space in a place shifted from between the eyes and the display device,
The finger does not obscure the display.
【0101】[0101]
【発明の効果】本発明により、マウスのように操作する
ための平面を必要としないポインティング環境を実現で
きる。また、マウスのように指の動きとカーソルの動き
が一致するため、トラックボールやタッチパッドや小型
ジョイスティックよりも素早く、正確にポインティング
することができる。またこれらに不向きなジェスチャー
入力も実現できる。According to the present invention, a pointing environment that does not require a plane for operating like a mouse can be realized. In addition, since the movement of the finger and the movement of the cursor are the same as with a mouse, pointing can be performed faster and more accurately than with a trackball, touch pad, or small joystick. Also, gesture input unsuitable for these can be realized.
【0102】また、タッチパネルを指で押す方式のよう
に、画面が汚れることもなく、ペンデバイスのように、
いちいち手に装置を持つ必要もない。これらの特徴を総
合すると、携帯パソコンを操作するに当たり、既存のポ
インティング装置よりも快適な操作環境を実現すること
ができる。Further, unlike the method of pressing the touch panel with a finger, the screen does not become dirty, and like a pen device,
You don't even have to hold the device in each hand. When these features are combined, a more comfortable operating environment can be realized when operating a portable personal computer than with an existing pointing device.
【0103】またPDAのようなさらに小型の電子機器
に対する操作もより手軽に行えるようになる。さらにペ
ンを収納するスペースもなく、指で触るには画面が小さ
すぎるような、腕時計ほどの小型のPDAを考えた場
合、本発明は既存のポインティングデバイスに比べはる
かに快適な環境を提供しうる。Further, it becomes possible to more easily perform the operation for a smaller electronic device such as a PDA. Further, when considering a PDA as small as a wrist watch, which has no space for accommodating a pen and the screen is too small to be touched with a finger, the present invention can provide a much more comfortable environment than existing pointing devices. .
【0104】また本発明の受光部は指先の位置を求める
のに必要最小限の受光アレイで実現している。従って、
CCDのように高い集積度で受光アレイを作る必要がな
く、低コストで生産することができる。Further, the light receiving section of the present invention is realized by the minimum light receiving array necessary for obtaining the position of the fingertip. Therefore,
It is not necessary to make a light receiving array with a high degree of integration like CCD, and it can be manufactured at low cost.
【図1】 本発明の構成を表す図である。FIG. 1 is a diagram showing a configuration of the present invention.
【図2】 本発明の情報入力装置を搭載した携帯型パソ
コンを操作しているイメージ図である。FIG. 2 is an image diagram of operating a portable personal computer equipped with the information input device of the present invention.
【図3】 アナログ信号処理部の各部での信号を表す図
である。FIG. 3 is a diagram illustrating a signal in each unit of an analog signal processing unit.
【図4】 受光素子アレイが捉える領域の一部と操作者
の手の関係を表す図である。FIG. 4 is a diagram showing a relationship between a part of a region captured by a light receiving element array and an operator's hand.
【図5】 反射受光画像をその画素値を垂直軸に取り表
したグラフを表す図である。FIG. 5 is a diagram showing a graph in which a pixel value of a reflection / reception image is represented on a vertical axis.
【図6】 反射受光画像の水平ラインをスキャンした様
子を表す図である。FIG. 6 is a diagram showing a state in which a horizontal line of a reflected / received light image is scanned.
【図7】 本発明で検出する特徴量を説明する図であ
る。FIG. 7 is a diagram illustrating a feature amount detected by the present invention.
【図8】 反射受光画像と、指先が含まれる部分画像
と、切り出された先端部画像を示す図である。FIG. 8 is a diagram showing a reflected light-receiving image, a partial image including a fingertip, and a clipped front end image.
【図9】 棒状物体先端切り出し部がなかったときに、
指先の動きと重心の動きに線形性がなくなる例の図であ
る。[Fig. 9] When there is no rod-shaped object tip cutout portion,
It is a figure of an example where movement of a fingertip and movement of a center of gravity lose linearity.
【図10】 棒状物体先端切り出し部がなかったとき
に、指先の動きと重心の動きに線形性がなくなる例の図
である。FIG. 10 is a diagram of an example in which there is no linearity in the movement of the fingertip and the movement of the center of gravity when there is no rod-shaped object tip cutout portion.
【図11】 1画素の捉える範囲が大きすぎる場合に、
指先の動きと重心の動きの線形例がなくなる例の図であ
る。FIG. 11 shows a case where the range captured by one pixel is too large,
It is a figure of an example which disappears a linear example of a movement of a fingertip and a movement of a center of gravity.
【図12】 受光素子アレイ、アナログスイッチ、アナ
ログ信号処理部、A/D変換部を集積したICの構成を
表す図である。FIG. 12 is a diagram showing a configuration of an IC in which a light receiving element array, an analog switch, an analog signal processing section, and an A / D conversion section are integrated.
【図13】 アナログ信号処理を並列に行う、センサ部
ICを示す図である。FIG. 13 is a diagram showing a sensor unit IC that performs analog signal processing in parallel.
【図14】 指までの距離が変わったときの受光画像の
変化を説明する図である。FIG. 14 is a diagram illustrating a change in a received light image when a distance to a finger is changed.
【図15】 指までの距離の変化を捉えるための、デジ
タル信号処理部の図である。FIG. 15 is a diagram of a digital signal processing unit for capturing a change in distance to a finger.
【図16】 重心点とボタン状態を関連づける情報入力
装置の構成の一部の図である。FIG. 16 is a diagram of a part of the configuration of the information input device that associates the center of gravity with the button state.
【図17】 指の動きをコマンドに変換できる情報入力
装置の構成の一部の図である。FIG. 17 is a diagram showing a part of the configuration of the information input device capable of converting finger movements into commands.
【図18】 本入力装置を搭載した小型PDAの外観を
表す図である。FIG. 18 is a diagram illustrating an appearance of a small PDA equipped with the present input device.
【図19】 棒状物体検出部の処理を表す図である。FIG. 19 is a diagram illustrating a process of a rod-shaped object detection unit.
【図20】 棒状物体先端切り出し部および重心検出部
の処理を表す図である。FIG. 20 is a diagram illustrating a process of a rod-shaped object tip cutout unit and a center of gravity detection unit.
【図21】 棒状物体候補を格納する構造体の図であ
る。FIG. 21 is a diagram of a structure that stores rod-shaped object candidates.
【図22】 反射受光画像にノイズが乗っている場合の
棒状物体候補の変遷の様子を表す図である。FIG. 22 is a diagram showing a state of transition of a rod-shaped object candidate when noise is included in the reflected / received image.
【図23】 棒状物体の先端近くにノイズが乗っている
場合にその影響を除くことができることを説明する図で
ある。FIG. 23 is a diagram illustrating that the influence can be removed when noise is present near the tip of a rod-shaped object.
【図24】本入力装置を搭載した腕時計型のPDAの外
観を表す図である。FIG. 24 is a diagram illustrating an appearance of a wrist watch type PDA equipped with the present input device.
101 受光素子アレイ 102 アナログスイッチ 103 アナログ信号処理部 104 I/V変換アンプ 105 プリアンプ 106 バンドパスフィルタ 107 絶対値回路 108 積分器 109 A/D変換器 110 デジタル信号処理部 111 棒状物体検出部 112 棒状物体先端切り出し部 113 重心検出部 114 重心点静止状態検出部 117 制御部 118 発光駆動回路 119 発光部 1201 フォトダイオード 1202 前段MOSスイッチ 1203 後段MOSスイッチ 1204 X駆動回路 1205 Y駆動回路 1307 マルチプレクサ 1502 水平1ライン総画素演算部 1503 棒状物体先端切り出しパラメータ演算部 1606 ボタン 1607 ボタン状態検出部 1706 重心点動き検出部 2102 棒状物体候補を格納しておく構造体 2103〜2105 棒状物体候補を格納する構造体の
値の変化の例101 light receiving element array 102 analog switch 103 analog signal processing unit 104 I / V conversion amplifier 105 preamplifier 106 bandpass filter 107 absolute value circuit 108 integrator 109 A / D converter 110 digital signal processing unit 111 rod-shaped object detection unit 112 rod-shaped object Tip cutting section 113 Center of gravity detection section 114 Center of gravity stationary state detection section 117 Control section 118 Light emission drive circuit 119 Light emission section 1201 Photodiode 1202 Pre-stage MOS switch 1203 Post-stage MOS switch 1204 X drive circuit 1205 Y drive circuit 1307 Multiplexer 1502 Horizontal 1 line total Pixel calculation unit 1503 Rod-shaped object tip cutout parameter calculation unit 1606 Button 1607 Button state detection unit 1706 Center-of-gravity point movement detection unit 2102 Stores rod-shaped object candidates Examples of changes in the value of the structure that contains the structure from 2103 to 2105 bar-like object candidate leave
Claims (4)
に反射した前記変調光を受けるための受光手段と、 この受光手段で受けた変調光の成分を取り出すための手
段と、 この手段で取り出した変調光の成分の大きさを求めるた
めの測定手段とを有することを特徴とする情報入力装
置。1. A light emitting means for outputting a modulated light, a light receiving means for receiving the modulated light output from the light emitting means and reflected by an object, and a light receiving means for receiving the modulated light. An information input device comprising: a means for taking out a component of modulated light; and a measuring means for obtaining the magnitude of the component of the modulated light taken out by this means.
に反射した前記変調光を受けるための受光手段と、 この受光手段で受けた変調光の成分を取り出すための手
段と、 この手段で取り出した変調光の成分の大きさを求めるた
めの測定手段と、 この測定手段で求めた変調光の成分の大きさをもとに、
入力情報とすべき特徴量を検出するための特徴量検出手
段と、 この特徴量検出手段で検出した特徴量をもとに、操作す
べき電子機器を制御する手段とを有することを特徴とす
る情報入力装置。2. A light emitting means for outputting modulated light, a light receiving means for receiving the modulated light output from the light emitting means and reflected by an object, and a light receiving means for receiving the modulated light. Based on the means for extracting the modulated light component, the measuring means for determining the magnitude of the modulated light component extracted by this means, and the magnitude of the modulated light component obtained by this measuring means,
It is characterized by having a feature amount detecting means for detecting a feature amount to be input information and a means for controlling an electronic device to be operated based on the feature amount detected by the feature amount detecting means. Information input device.
の一部を構成する画素の画素値の合計がある条件を満た
すように、いくつかの画素の画素値を修正し、 修正された前記画素値もとに、前記棒状物体の一部の重
心を求め、 求めた前記棒状物体の一部の重心をもとに、棒状物体の
先端位置求めることを特徴とする画像処理方法。3. The pixel values of some pixels are corrected so that the sum of the pixel values of the pixels forming a part of the rod-shaped object at the tip of the image including the rod-shaped object satisfies a certain condition. An image processing method, wherein a barycenter of a part of the rod-shaped object is calculated based on the pixel value, and a tip position of the bar-shaped object is calculated based on the calculated barycenter of the bar-shaped object.
に反射した前記変調光を受けるための受光手段と、 この受光手段で受けた変調光の成分を取り出すための手
段と、 この手段で取り出した変調光の成分の大きさを求めるた
めの測定手段と、 この測定手段で求めた変調光の成分の大きさをもとに、
前記物体の画像を生成する手段と、 この手段で生成された画像であって、棒状物体を含む画
像から先端の棒状物体の一部を構成する画素の画素値の
合計がある条件を満たすように、いくつかの画素の画素
値を修正する修正手段と、 この修正手段によって修正された前記画素値もとに、前
記棒状物体の一部の重心を求める重心検出手段とを有す
ることを特徴とする情報入力装置。4. A light emitting means for outputting modulated light, a light receiving means for receiving the modulated light output from the light emitting means and reflected by an object, and a light receiving means for receiving the modulated light. Based on the means for extracting the modulated light component, the measuring means for determining the magnitude of the modulated light component extracted by this means, and the magnitude of the modulated light component obtained by this measuring means,
A means for generating an image of the object, and an image generated by the means, wherein the sum of the pixel values of the pixels forming a part of the rod-shaped object at the tip from the image containing the rod-shaped object satisfies a certain condition. And a center of gravity detection unit that determines a center of gravity of a part of the rod-shaped object based on the pixel values corrected by the correction unit. Information input device.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25041895A JP3529510B2 (en) | 1995-09-28 | 1995-09-28 | Information input device and control method of information input device |
US08/614,502 US5900863A (en) | 1995-03-16 | 1996-03-13 | Method and apparatus for controlling computer without touching input device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25041895A JP3529510B2 (en) | 1995-09-28 | 1995-09-28 | Information input device and control method of information input device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0991079A true JPH0991079A (en) | 1997-04-04 |
JP3529510B2 JP3529510B2 (en) | 2004-05-24 |
Family
ID=17207600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25041895A Expired - Fee Related JP3529510B2 (en) | 1995-03-16 | 1995-09-28 | Information input device and control method of information input device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3529510B2 (en) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11134089A (en) * | 1997-10-29 | 1999-05-21 | Takenaka Komuten Co Ltd | Hand pointing device |
JP2000132317A (en) * | 1998-10-21 | 2000-05-12 | Sharp Corp | Area sensor and input device using the same |
JP2001092590A (en) * | 1999-09-21 | 2001-04-06 | Nec Corp | Optical pointing device |
JP2004145723A (en) * | 2002-10-25 | 2004-05-20 | Keio Gijuku | Hand pattern switching device |
JP2004348739A (en) * | 2003-05-19 | 2004-12-09 | Agilent Technol Inc | Method and system for detecting click optically |
US6900790B1 (en) | 1998-03-17 | 2005-05-31 | Kabushiki Kaisha Toshiba | Information input apparatus, information input method, and recording medium |
JP2006040271A (en) * | 2004-06-28 | 2006-02-09 | Microsoft Corp | Recognition and use of gesture for interacting with software application |
JP2006099749A (en) * | 2004-08-31 | 2006-04-13 | Matsushita Electric Works Ltd | Gesture switch |
JP2007272927A (en) * | 2007-06-25 | 2007-10-18 | Sony Corp | Information input/output device and information input/output method |
JP2007323660A (en) * | 2007-06-25 | 2007-12-13 | Sony Corp | Drawing device and drawing method |
JP2008251020A (en) * | 2008-04-18 | 2008-10-16 | Sony Corp | Image display device and method of driving image display device |
US7453511B2 (en) | 1998-03-17 | 2008-11-18 | Kabushiki Kaisha Toshiba | Apparatus and method for inputting reflected light image of a target object |
JP2010003325A (en) * | 2005-10-05 | 2010-01-07 | Sony Corp | Display apparatus and display method |
JP2010033158A (en) * | 2008-07-25 | 2010-02-12 | Sony Corp | Information processing apparatus and information processing method |
JP2010238094A (en) * | 2009-03-31 | 2010-10-21 | Sony Corp | Operation input device, operation input method and program |
JP2011081825A (en) * | 2004-05-06 | 2011-04-21 | Apple Inc | Multipoint touchscreen |
JP4771951B2 (en) * | 2003-05-15 | 2011-09-14 | エフ・ポスザツト・ヒユー・エル・エル・シー | Non-contact human computer interface |
JP2013008368A (en) * | 2011-06-24 | 2013-01-10 | Ricoh Co Ltd | Virtual touch screen system and two-way mode automatic switching method |
KR20130035715A (en) * | 2011-09-30 | 2013-04-09 | 삼성전자주식회사 | Method and apparatus for scrolling screen according to touch input in a mobile terminal |
US8704804B2 (en) | 2005-10-05 | 2014-04-22 | Japan Display West Inc. | Display apparatus and display method |
JP2014075127A (en) * | 2012-10-03 | 2014-04-24 | Hon Hai Precision Industry Co Ltd | Touch sensor device and touch sensitive method |
JP2015084028A (en) * | 2013-10-25 | 2015-04-30 | シャープ株式会社 | Image formation apparatus |
US9025090B2 (en) | 2010-12-22 | 2015-05-05 | Apple Inc. | Integrated touch screens |
US9244561B2 (en) | 2006-06-09 | 2016-01-26 | Apple Inc. | Touch screen liquid crystal display |
US9268429B2 (en) | 2006-06-09 | 2016-02-23 | Apple Inc. | Integrated display and touch screen |
JP2016071408A (en) * | 2014-09-26 | 2016-05-09 | 裕一朗 今田 | Pointing device |
JP2016139396A (en) * | 2014-08-25 | 2016-08-04 | キヤノン株式会社 | User interface device, method and program |
US9710095B2 (en) | 2007-01-05 | 2017-07-18 | Apple Inc. | Touch screen stack-ups |
US10120481B2 (en) | 2011-09-30 | 2018-11-06 | Samsung Electronics Co., Ltd. | Method and apparatus for handling touch input in a mobile terminal |
JP2019174623A (en) * | 2018-03-28 | 2019-10-10 | Eizo株式会社 | Display system, and program |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104700603A (en) * | 2015-03-11 | 2015-06-10 | 四川和芯微电子股份有限公司 | System for remotely controlling intelligent mobile terminal |
-
1995
- 1995-09-28 JP JP25041895A patent/JP3529510B2/en not_active Expired - Fee Related
Cited By (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11134089A (en) * | 1997-10-29 | 1999-05-21 | Takenaka Komuten Co Ltd | Hand pointing device |
US7348962B2 (en) | 1998-03-17 | 2008-03-25 | Kabushiki Kaisha Toshiba | Information input apparatus, information input method, and recording medium |
US6900790B1 (en) | 1998-03-17 | 2005-05-31 | Kabushiki Kaisha Toshiba | Information input apparatus, information input method, and recording medium |
US7453511B2 (en) | 1998-03-17 | 2008-11-18 | Kabushiki Kaisha Toshiba | Apparatus and method for inputting reflected light image of a target object |
JP2000132317A (en) * | 1998-10-21 | 2000-05-12 | Sharp Corp | Area sensor and input device using the same |
JP2001092590A (en) * | 1999-09-21 | 2001-04-06 | Nec Corp | Optical pointing device |
JP2004145723A (en) * | 2002-10-25 | 2004-05-20 | Keio Gijuku | Hand pattern switching device |
JP4771951B2 (en) * | 2003-05-15 | 2011-09-14 | エフ・ポスザツト・ヒユー・エル・エル・シー | Non-contact human computer interface |
JP2004348739A (en) * | 2003-05-19 | 2004-12-09 | Agilent Technol Inc | Method and system for detecting click optically |
US9454277B2 (en) | 2004-05-06 | 2016-09-27 | Apple Inc. | Multipoint touchscreen |
US11604547B2 (en) | 2004-05-06 | 2023-03-14 | Apple Inc. | Multipoint touchscreen |
US10331259B2 (en) | 2004-05-06 | 2019-06-25 | Apple Inc. | Multipoint touchscreen |
US10908729B2 (en) | 2004-05-06 | 2021-02-02 | Apple Inc. | Multipoint touchscreen |
US9035907B2 (en) | 2004-05-06 | 2015-05-19 | Apple Inc. | Multipoint touchscreen |
US8982087B2 (en) | 2004-05-06 | 2015-03-17 | Apple Inc. | Multipoint touchscreen |
US8928618B2 (en) | 2004-05-06 | 2015-01-06 | Apple Inc. | Multipoint touchscreen |
JP2011081825A (en) * | 2004-05-06 | 2011-04-21 | Apple Inc | Multipoint touchscreen |
US8872785B2 (en) | 2004-05-06 | 2014-10-28 | Apple Inc. | Multipoint touchscreen |
JP2006040271A (en) * | 2004-06-28 | 2006-02-09 | Microsoft Corp | Recognition and use of gesture for interacting with software application |
JP2006099749A (en) * | 2004-08-31 | 2006-04-13 | Matsushita Electric Works Ltd | Gesture switch |
JP2010003325A (en) * | 2005-10-05 | 2010-01-07 | Sony Corp | Display apparatus and display method |
US8704804B2 (en) | 2005-10-05 | 2014-04-22 | Japan Display West Inc. | Display apparatus and display method |
US9244561B2 (en) | 2006-06-09 | 2016-01-26 | Apple Inc. | Touch screen liquid crystal display |
US11886651B2 (en) | 2006-06-09 | 2024-01-30 | Apple Inc. | Touch screen liquid crystal display |
US11175762B2 (en) | 2006-06-09 | 2021-11-16 | Apple Inc. | Touch screen liquid crystal display |
US10976846B2 (en) | 2006-06-09 | 2021-04-13 | Apple Inc. | Touch screen liquid crystal display |
US9575610B2 (en) | 2006-06-09 | 2017-02-21 | Apple Inc. | Touch screen liquid crystal display |
US10191576B2 (en) | 2006-06-09 | 2019-01-29 | Apple Inc. | Touch screen liquid crystal display |
US9268429B2 (en) | 2006-06-09 | 2016-02-23 | Apple Inc. | Integrated display and touch screen |
US9710095B2 (en) | 2007-01-05 | 2017-07-18 | Apple Inc. | Touch screen stack-ups |
US10521065B2 (en) | 2007-01-05 | 2019-12-31 | Apple Inc. | Touch screen stack-ups |
JP2007323660A (en) * | 2007-06-25 | 2007-12-13 | Sony Corp | Drawing device and drawing method |
JP4513830B2 (en) * | 2007-06-25 | 2010-07-28 | ソニー株式会社 | Drawing apparatus and drawing method |
JP2007272927A (en) * | 2007-06-25 | 2007-10-18 | Sony Corp | Information input/output device and information input/output method |
JP2008251020A (en) * | 2008-04-18 | 2008-10-16 | Sony Corp | Image display device and method of driving image display device |
US9442601B2 (en) | 2008-07-25 | 2016-09-13 | Sony Corporation | Information processing apparatus and information processing method |
JP4609543B2 (en) * | 2008-07-25 | 2011-01-12 | ソニー株式会社 | Information processing apparatus and information processing method |
JP2010033158A (en) * | 2008-07-25 | 2010-02-12 | Sony Corp | Information processing apparatus and information processing method |
JP2010238094A (en) * | 2009-03-31 | 2010-10-21 | Sony Corp | Operation input device, operation input method and program |
US9025090B2 (en) | 2010-12-22 | 2015-05-05 | Apple Inc. | Integrated touch screens |
US9727193B2 (en) | 2010-12-22 | 2017-08-08 | Apple Inc. | Integrated touch screens |
US9146414B2 (en) | 2010-12-22 | 2015-09-29 | Apple Inc. | Integrated touch screens |
US10409434B2 (en) | 2010-12-22 | 2019-09-10 | Apple Inc. | Integrated touch screens |
JP2013008368A (en) * | 2011-06-24 | 2013-01-10 | Ricoh Co Ltd | Virtual touch screen system and two-way mode automatic switching method |
US10120481B2 (en) | 2011-09-30 | 2018-11-06 | Samsung Electronics Co., Ltd. | Method and apparatus for handling touch input in a mobile terminal |
KR20130035715A (en) * | 2011-09-30 | 2013-04-09 | 삼성전자주식회사 | Method and apparatus for scrolling screen according to touch input in a mobile terminal |
JP2014075127A (en) * | 2012-10-03 | 2014-04-24 | Hon Hai Precision Industry Co Ltd | Touch sensor device and touch sensitive method |
JP2015084028A (en) * | 2013-10-25 | 2015-04-30 | シャープ株式会社 | Image formation apparatus |
JP2016139396A (en) * | 2014-08-25 | 2016-08-04 | キヤノン株式会社 | User interface device, method and program |
JP2016071408A (en) * | 2014-09-26 | 2016-05-09 | 裕一朗 今田 | Pointing device |
JP2019174623A (en) * | 2018-03-28 | 2019-10-10 | Eizo株式会社 | Display system, and program |
US11321042B2 (en) | 2018-03-28 | 2022-05-03 | Eizo Corporation | Display system and program |
Also Published As
Publication number | Publication date |
---|---|
JP3529510B2 (en) | 2004-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3529510B2 (en) | Information input device and control method of information input device | |
US5900863A (en) | Method and apparatus for controlling computer without touching input device | |
US8022928B2 (en) | Free-space pointing and handwriting | |
KR100811015B1 (en) | Method and apparatus for entering data using a virtual input device | |
JP3321053B2 (en) | Information input device, information input method, and correction data generation device | |
US6151015A (en) | Pen like computer pointing device | |
KR101851264B1 (en) | System and Method for a Virtual Multi-touch Mouse and Stylus Apparatus | |
US7313255B2 (en) | System and method for optically detecting a click event | |
US9494415B2 (en) | Object position determination | |
JP3876942B2 (en) | Optical digitizer | |
CN1928801B (en) | Position detection system using laser speckle | |
US9063577B2 (en) | User input using proximity sensing | |
RU2456659C2 (en) | Image capturing device, image display and capturing device and electronic device | |
US20110298708A1 (en) | Virtual Touch Interface | |
JP2000222097A (en) | Solid state image pickup device | |
KR19980033069A (en) | Information input device, information input method and solid state imaging device | |
JP2004318892A (en) | System and method for time space multiplexing in finger image inputting application | |
WO2010093570A1 (en) | Light-based touch screen | |
KR102300290B1 (en) | Smart mouse that works in conjunction with finger movement using camera and method for controlling mouse cursor using the same | |
KR101053679B1 (en) | Key input and point input method of input device and input device performing the same | |
WO2020078223A1 (en) | Input device | |
JP2000200144A (en) | Optical mouse |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040225 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080305 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090305 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |