JPH05298016A - Input device for graphics - Google Patents
Input device for graphicsInfo
- Publication number
- JPH05298016A JPH05298016A JP2253893A JP2253893A JPH05298016A JP H05298016 A JPH05298016 A JP H05298016A JP 2253893 A JP2253893 A JP 2253893A JP 2253893 A JP2253893 A JP 2253893A JP H05298016 A JPH05298016 A JP H05298016A
- Authority
- JP
- Japan
- Prior art keywords
- input device
- panel
- graphics
- main body
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は対話型のコンピュータグ
ラフィックス分野に用いられるグラフィックス用入力機
器に関し、さらに詳しくは、対話型コンピュータグラフ
ィックスを制御する上で用いられるスクリーン上に接触
する複数の物体（例えばユーザーの複数の指）を光学的
方法で検出する入力機器に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a graphics input device used in the field of interactive computer graphics, and more particularly to a plurality of touching screens used to control interactive computer graphics. The present invention relates to an input device that optically detects an object (for example, a plurality of fingers of a user).
【０００２】[0002]
【従来の技術】広義に解釈として、対話型のコンピュー
タグラフィックス用入力機器とは、ユーザーの動作を検
出しそれを入力するものである。このようなグラフィッ
クス用入力機器はユーザーによって操作される。そし
て、この範疇に入る入力機器としては、パーソナルコン
ピュータに関連したものとし、光ペン，マウス，ジョイ
スティック，トラックボールの如き座標入力機器および
キーボード等がある。しかし、ユーザーの動作を直接的
に検出する入力機器もあり、コンピュータ画面上のタッ
チスクリーン等はその例である。Myron W. Krueger（マ
イロン ダブル クルーガー）はその著書『Artificial
Reality II （人工現実II）』（１９９１年発行）の中
で、ビデオカメラを用いてユーザーの手や体の動きを検
出することによるグラフィックス用入力機器を示してい
る。Krueger の上記の書著に記述されているVIDEODESK
（ビデオディスク）の概念は、U.S.Patent 4,843,568
（タイトル：Real Time Perception of and Response t
o the Actions of an Unencumbered Paticipant/User，
１９８９年６月２７日認可）にも記述されている。しか
し、この入力機器は、光を放つ机表面のスクリーン上に
ユーザーの手を置き、そのスクリーンと手の映像を机上
部にあるビデオカメラで検出する仕組みとなっている。
さらに、この入力機器を用いる際は、手の動きを検出す
るビデオカメラの視界を妨げることのないように使用す
る必要があるため、不便であり、また入力機器自体が簡
素なものではない。2. Description of the Related Art In a broad sense, an interactive input device for computer graphics is a device that detects a user's motion and inputs it. Such a graphics input device is operated by a user. Input devices that fall into this category include those related to personal computers, such as a light pen, a mouse, a joystick, a coordinate input device such as a trackball, and a keyboard. However, there are also input devices that directly detect the motion of the user, such as a touch screen on a computer screen. Myron W. Krueger wrote in his book Artificial
"Reality II" (published in 1991) shows an input device for graphics by detecting movement of a user's hand or body using a video camera. VIDEO DESK as described in the above book by Krueger
The concept of (video disc) is USPatent 4,843,568
(Title: Real Time Perception of and Response t
o the Actions of an Unencumbered Paticipant / User,
(Approved June 27, 1989). However, this input device has a mechanism in which the user's hand is placed on the screen of the desk surface that emits light, and the image of the screen and the hand is detected by the video camera on the top of the desk.
Furthermore, when using this input device, it is necessary to use it so as not to obstruct the field of view of the video camera that detects the movement of the hand, which is inconvenient and the input device itself is not simple.
【０００３】１９８５年米国サンフランシスコにおいて
開催されたSIGGRAPH学会でRichardGreene （リチャー
ド グリーン）によって発表されたDrawing Prism （ド
ローイング プリズム）と呼ばれる入力機器は、その入
力機器表面に大きな透明プリズムを用いている。この入
力機器は、ACM Volume 19, Number 3,１９８５ ページ
１０３−１１０およびU.S.Patent 4,561,017（タイト
ル：Graphic Input Apparatus ，１９８５年１２月２４
日認可）に示されているように、ビデオカメラが入力機
器表面と入力の道具の接触点の画像を指定された角度か
ら検出する仕組みとなっている。しかし、この入力機器
は絶縁体表面における光の反射と屈折を利用したもので
あり、きわめて精密でコストの高い光学部品を使用する
必要があり、その部品の配列も高い精度を要求される。An input device called Drawing Prism, which was presented by Richard Greene at the SIGGRAPH Society held in San Francisco, USA in 1985, uses a large transparent prism on the surface of the input device. This input device is ACM Volume 19, Number 3, 1985 page 103-110 and US Patent 4,561,017 (Title: Graphic Input Apparatus, December 24, 1985).
As shown in (Japanese approval), the video camera detects the image of the contact point between the input device surface and the input tool from the specified angle. However, this input device utilizes reflection and refraction of light on the surface of the insulator, and it is necessary to use extremely precise and costly optical parts, and the arrangement of the parts is also required to have high accuracy.
【０００４】Sensor Frame Corporation（センサ フレ
ーム コーポレーション）のSensorFrame（センサフレ
ーム）は、フレーム上で対角に配置された複数のカメラ
の視界をさえぎる複数の物体を検出することができる入
力機器である。この入力機器はU.S.Patent 4,746,770
（タイトル：Method and Apparatus for Isolating and
Manipulating Graphics Objects on Computer Video Mo
nitor，１９８８年５月２４日認可）に記述されてい
る。この入力機器はフレーム内の複数の指の位置を同時
に検出することができるが、複数のカメラを用いなけれ
ばならない。さらに、この入力機器は複数の物体の検出
の際に発生する“ゴーストイメージ”の問題も含有して
いる。A Sensor Frame of Sensor Frame Corporation is an input device capable of detecting a plurality of objects that obstruct the view of a plurality of cameras diagonally arranged on the frame. This input device is US Patent 4,746,770
(Title: Method and Apparatus for Isolating and
Manipulating Graphics Objects on Computer Video Mo
nitor, approved May 24, 1988). This input device can detect the positions of multiple fingers in the frame at the same time, but it must use multiple cameras. In addition, this input device also contains the problem of "ghost images" that occur when detecting multiple objects.
【０００５】[0005]
【発明が解決しようとする課題】ユーザーにとって望ま
しいグラフィックス用入力機器とは、通常ジェスチャー
と呼ばれるような自由な入力方法を可能とし、特殊な道
具のユーザーへの装着、あるいはその道具の保持あるい
は他の拘束をユーザーに与えることなく、ユーザーの動
作を検出し、さらに複数の入力動作を同時に受け入れる
性能を持ったものである。さらに、上記の入力性能を可
能にする上で、画像処理に関する負担を低減するような
新しい手法を用いることにより、通常のコンピュータ環
境において、実時間処理ができる入力機器が望ましいと
考える。A desirable graphics input device for a user is a free input method which is usually called a gesture, and a special tool is attached to the user, or the tool is held or otherwise. It has the ability to detect the user's actions and to accept multiple input actions at the same time without giving the user the constraint of. Furthermore, in order to enable the above-mentioned input performance, it is considered desirable to have an input device that can perform real-time processing in a normal computer environment by using a new method that reduces the load related to image processing.
【０００６】本発明の目的は、上述の点に鑑みて、上述
の従来技術の問題点を解消し、画像処理をきわめて簡素
化できると同時に、ユーザーにいかなる拘束を与えるこ
となく、自由な入力動作環境を保証し、ユーザーの複数
の指の接触やジェスチャーを直接的に検出することを可
能とするきわめて便利で効率的なグラフィックス用入力
機器を提供することにある。In view of the above points, an object of the present invention is to solve the above-mentioned problems of the prior art and to greatly simplify image processing, and at the same time, to freely input an input without imposing any constraint on the user. An object is to provide an extremely convenient and efficient graphics input device that guarantees an environment and can directly detect a touch or a gesture of a plurality of fingers of a user.
【０００７】[0007]
【課題を解決するための手段】上記目的を達成するた
め、本発明は、対話型コンピュータシステムに使用され
るグラフィックス用入力機器であって、半透明の光拡散
パネルを有する入力機器本体と、該入力機器本体の内側
に配置されて該内側から前記光拡散パネルの画像を撮像
するビデオカメラとを具備し、該ビデオカメラからの出
力信号は、該出力信号を用いて前記光拡散パネル上の暗
い部分を検出し、検出した該暗い部分に対応して表示機
器の表示画面上に物体を表示させ、かつ該暗い部分の動
きに応じて該表示画面の物体が動くように画像処理を行
う前記対話型コンピュータシステムの画像処理手段に接
続されていることを特徴とする。To achieve the above object, the present invention is an input device for graphics used in an interactive computer system, the input device main body having a translucent light diffusing panel, A video camera disposed inside the input device body to capture an image of the light diffusion panel from the inside, and an output signal from the video camera is output on the light diffusion panel using the output signal. A dark portion is detected, an object is displayed on the display screen of the display device corresponding to the detected dark portion, and image processing is performed so that the object on the display screen moves in accordance with the movement of the dark portion; It is characterized in that it is connected to an image processing means of an interactive computer system.
【０００８】好ましくは、本発明は、その一態様とし
て、前記入力機器本体の内側に設置されて前記光拡散パ
ネルの内側表面を照明する光源をさらに有することを特
徴とすることができる。Preferably, the present invention, as one aspect thereof, can further be characterized by further comprising a light source installed inside the main body of the input device to illuminate an inner surface of the light diffusion panel.
【０００９】好ましくは、本発明は、他の態様として、
光源の光が反射されて前記光拡散パネルの外側表面を照
らすように前記入力機器本体の外側に取り付けられた反
射体をさらに有することを特徴とすることができる。[0009] Preferably, the present invention, in another aspect,
The display device may further include a reflector attached to the outside of the input device body so that the light from the light source is reflected to illuminate the outside surface of the light diffusion panel.
【００１０】また、本発明は、他の形態として、対話型
コンピュータシステムに使用されるグラフィックス用入
力機器であって、格子間にマトリックス配列で取り付け
られた複数の透明のセルを有する格子形状のパネルを備
えた入力機器本体と、該入力機器本体の内側に配置され
て該内側から前記格子形状のパネルの画像を撮像するビ
デオカメラとを具備し、該ビデオカメラからの出力信号
は、該出力信号を用いて前記格子形状のパネル上の暗い
部分を検出し、検出した該暗い部分に対応して表示機器
の表示画面上に物体を表示させ、かつ該暗い部分の動き
に応じて該表示画面の物体が動くように画像処理を行う
前記対話型コンピュータの画像処理手段に接続されてい
ることを特徴とする。According to another aspect of the present invention, there is provided a graphics input device used in an interactive computer system, the device having a grid shape having a plurality of transparent cells mounted in a matrix array between the grids. An input device main body having a panel, and a video camera disposed inside the input device main body and capturing an image of the lattice-shaped panel from the inside are provided, and an output signal from the video camera is output by the output device. A dark portion on the grid-shaped panel is detected using a signal, an object is displayed on the display screen of a display device corresponding to the detected dark portion, and the display screen is displayed according to the movement of the dark portion. Is connected to the image processing means of the interactive computer for performing image processing so that the object of FIG.
【００１１】好ましくは、本発明は、他の態様として、
前記格子形状のパネルはさらに使用者の加える力に敏感
に応答して該力の強さに応じた信号を発生し、該信号が
前記対話型コンピュータシステムに供給されて処理され
ることを特徴とすることができる。[0011] Preferably, the present invention, in another aspect,
The grid-shaped panel is further responsive to a force applied by a user to generate a signal according to the strength of the force, and the signal is supplied to the interactive computer system for processing. can do.
【００１２】好ましくは、本発明は、他の態様として、
前記入力機器本体の内側に設置されて前記格子形状のパ
ネルの内側表面を照明する光源をさらに有することを特
徴とする。[0012] Preferably, the present invention, in another aspect,
The light emitting device may further include a light source installed inside the input device body to illuminate an inner surface of the lattice-shaped panel.
【００１３】好ましくは、本発明は、他の態様として、
光源の光が反射されて前記格子形状のパネルの外側表面
を照らすように前記入力機器本体の外側に取り付けられ
た反射体をさらに有することを特徴とすることができ
る。[0013] Preferably, the present invention, in another aspect,
The display device may further include a reflector attached to the outside of the input device body so that the light from the light source is reflected to illuminate the outside surface of the grid-shaped panel.
【００１４】好ましくは、本発明は、他の態様として、
前記画像処理手段は、各前記セルの画像を識別する機能
および複数の該セルの中の暗い状態のセルの位置をデジ
タル数値化する機能を有し、これら機能により画像処理
に必要な処理作業を簡素化していることを特徴とするこ
とができる。Preferably, the present invention, in another aspect,
The image processing means has a function of identifying an image of each cell and a function of digitizing a position of a dark cell among a plurality of the cells, and by these functions, processing work necessary for image processing is performed. It can be characterized by simplification.
【００１５】[0015]
【作用】本発明の好適な実施例に従うグラフィックス用
入力機器はスクリーンとその後部にビデオカメラを配置
したものである。このカメラはスクリーンに接触する指
等の物体の複数の影を検出するように設定されている。
この構成はきわめて画像処理を簡素化すると同時に、ユ
ーザーにいかなる拘束を与えることなく、自由な入力動
作環境を提供する。この好適な実施例において、カメラ
はスクリーン上における複数の指の接触により生じる検
出パッドの接触点を検出するものである。カメラはスク
リーン上の影を検出するのみで良いため、その画像処理
は２次元で良い。さらに、その画像がきわめて大きなコ
ントラストを持つため、その画像処理は暗い部分と明る
い部分の分離のみであり、その処理方法はきわめて簡素
化される。これらの特徴を反映した本発明の入力機器
は、ユーザーの複数の指の接触やジェスチャーを直接的
に検出することを可能とするきわめて便利で効率的な入
力装置である。The input device for graphics according to the preferred embodiment of the present invention comprises a screen and a video camera at the rear thereof. This camera is set to detect a plurality of shadows of an object such as a finger touching the screen.
This configuration greatly simplifies image processing, and at the same time provides a free input operation environment without imposing any constraint on the user. In the preferred embodiment, the camera detects contact points on the detection pad caused by the contact of a plurality of fingers on the screen. Since the camera only needs to detect the shadow on the screen, the image processing may be two-dimensional. Further, since the image has a very large contrast, the image processing is only the separation of the dark portion and the light portion, and the processing method is greatly simplified. The input device of the present invention that reflects these features is a very convenient and efficient input device that enables direct detection of touches and gestures of a plurality of fingers of a user.
【００１６】他の本発明の好適な実施例としては格子状
パターンを持つスクリーンを利用している。この例にお
ける画像処理では、格子状パターン内のセル群（格子に
囲まれた部分）の明暗の度合を検出するのみで良い。こ
の格子状パターンの利用は、ユーザーの指等の入力動作
検出における必要な画像処理をさらに低減することがで
きる。Another preferred embodiment of the present invention utilizes a screen having a grid pattern. In the image processing in this example, it is only necessary to detect the degree of lightness and darkness of the cell group (portion surrounded by the grid) in the grid pattern. The use of this grid pattern can further reduce the image processing required in detecting the input operation of the user's finger or the like.
【００１７】さらに、透明薄膜セルと電導体によって作
られた不透明な格子とによって構成される力を感知する
格子状の膜をスクリーンとして利用することもできる。
力に敏感な格子状パターンの薄膜を用いた本発明による
入力機器は、Ｚ方向（垂直方向）の入力（３次元要素）
を可能とし、コンピュータグラフィックス上の物体の操
作のための入力機器として用いることができる。Further, a force-sensitive lattice-like membrane composed of a transparent thin film cell and an opaque lattice made of an electric conductor may be used as a screen.
The input device according to the present invention, which uses a thin film having a grid pattern that is sensitive to force, inputs in the Z direction (vertical direction) (three-dimensional element).
And can be used as an input device for manipulating objects on computer graphics.
【００１８】[0018]
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。Embodiments of the present invention will now be described in detail with reference to the drawings.
【００１９】（第１実施例）図１は、本発明の好適な一
実施例の構成を示す。入力機器本体１００は通常立方体
の形をした箱である。しかしこの本体の形状はユーザー
の応用要求に対応して自由に決定できる。(First Embodiment) FIG. 1 shows the configuration of a preferred embodiment of the present invention. The input device body 100 is usually a box in the shape of a cube. However, the shape of the main body can be freely determined according to the application requirements of the user.
【００２０】本体１００はスクリーンに相当するそのパ
ネル１０５が半透明である点を除けば、他の面は不透明
となっている。半透明のパネル１０５は平坦な形状であ
るが、その応用要求に対応して他の形状を採用すること
もできる。本体１００の箱の内部には小型のビデオカメ
ラであるＣＣＤカメラ１１０が取り付けられ、このカメ
ラ１１０はユーザーが接触するパネル１０５の表面にお
ける物体の影（ユーザーの指等）を検出することができ
るように、カメラ角度や焦点が調整されている。The body 100 is opaque on the other side, except that its panel 105, which corresponds to the screen, is semi-transparent. The translucent panel 105 has a flat shape, but other shapes can be adopted depending on the application requirements. A CCD camera 110, which is a small video camera, is attached inside the box of the main body 100, and this camera 110 can detect a shadow of an object (a user's finger or the like) on the surface of the panel 105 with which the user comes into contact. In addition, the camera angle and focus are adjusted.
【００２１】半透明のパネル１０５は光を多少通す物質
のものであるが、パネルの裏にある物体をその背景が見
える程透明ではない。したがって、このパネル１０５は
光を拡散し、ＣＣＤカメラ１１０から得られるパネルの
画像は一様で灰色である。しかし、ユーザーがパネル１
０５の表面に指を接触すると、ＣＣＤカメラ１１０から
得られるパネル画像は、その指による接触点１１５が黒
くなり、周囲の光によって照らされているパネル１０５
の他の部分と指の接触部分１１５とは容易に区別できる
画像である。The translucent panel 105 is of a material that allows some light to pass through, but is not so transparent that the background behind objects behind the panel is visible. Therefore, this panel 105 diffuses light and the image of the panel obtained from the CCD camera 110 is uniform and gray. However, if the user selects panel 1
When a finger touches the surface of 05, the panel image obtained from the CCD camera 110 has a blackened contact point 115 by the finger, and the panel 105 illuminated by ambient light.
The other portion and the contact portion 115 of the finger are easily distinguishable images.
【００２２】さらに、パネル１０５のまわりの照明を増
強することも可能である。一例としては、図１に示すご
とく、光源１２０を入力機器本体１００の外側に取り付
けることである。入力機器本体１００の外側に取り付け
た鏡１２５は、パネル１０５の表面に光を向けるために
用いられる。ＣＣＤカメラ１１０が入力機器本体１００
の内部の暗い環境下においてパネル１０５の裏面の画像
を認識するために、パネル１０５への照明はそのパネル
前面から一様に光をあてることが望ましい。それゆえ
に、鏡１２５はパネル１０５の外側表面に光を一様に拡
散させるように取り付けられている。図１において、ま
た入力機器本体１００の内部にも光源１２７が取り付け
られており、この光源はパネル上の明るい部分と暗い部
分のコントラストをより強調するために用いられてい
る。It is also possible to enhance the illumination around the panel 105. As an example, as shown in FIG. 1, the light source 120 is attached to the outside of the input device body 100. The mirror 125 attached to the outside of the input device body 100 is used to direct light to the surface of the panel 105. The CCD camera 110 is the input device main body 100.
In order to recognize the image on the back surface of the panel 105 in a dark environment inside the panel, it is desirable that the panel 105 be illuminated uniformly from the front surface of the panel 105. Therefore, the mirror 125 is mounted on the outer surface of the panel 105 to evenly diffuse the light. In FIG. 1, a light source 127 is also attached inside the input device body 100, and this light source is used to further emphasize the contrast between the bright portion and the dark portion on the panel.
【００２３】ＣＣＤカメラ１１０は画像処理用コンピュ
ータ１３０に接続しており、このコンピュータ１３０は
ＣＣＤカメラ１１０で得られた画像データを利用して、
対話型コンピュータシステムのグラフィックス用入力信
号を発生させる。これらの入力信号は、複数の物体
（指）の位置を同時に提供するものであり、コンピュー
タグラフィックスディスプレイ１３５上に映し出された
物体（以下、表示物体と称する）の操作用信号として利
用される。一例としては、グラフィックスディスプレイ
１３５において、入力機器パネル１０５の表面における
暗い部分の位置に対応してグラフィックスディスプレイ
上に物体を表示することができる。さらに、グラフィッ
クスディスプレイ上の表示物体１４０は入力機器パネル
１０５の表面上の一部分１１５の動きに対応して、グラ
フィックスディスプレイ上の表示物体１４０も動く。も
し、ユーザーの指がパネル１０５表面上で回転するよう
に動くならば、コンピュータグラフィックスディスプレ
イ上の表示物体１４０もユーザーの指に対応して回転す
る。The CCD camera 110 is connected to a computer 130 for image processing, and this computer 130 uses the image data obtained by the CCD camera 110 to
Generate an input signal for graphics of an interactive computer system. These input signals provide the positions of a plurality of objects (fingers) at the same time, and are used as operation signals for objects displayed on the computer graphics display 135 (hereinafter referred to as display objects). As an example, in the graphics display 135, an object can be displayed on the graphics display corresponding to the position of the dark portion on the surface of the input device panel 105. Further, the display object 140 on the graphics display also moves in response to the movement of the portion 115 on the surface of the input device panel 105. If the user's finger rolls on the surface of the panel 105, the display object 140 on the computer graphics display also rotates corresponding to the user's finger.
【００２４】さらに、グラフィックスディスプレイ上の
表示物体１４０は他のグラフィックス表示物体を操作す
ることに使用することも可能である。一例として、図１
におけるグラフィックスディスプレイ上の表示物体１４
０は他のグラフィックス表示物体１４５に接触してい
る。そして、コンピュータプログラミング技術を用い
て、グラフィックス表示物体１４０の回転動作が入力と
なって、他のグラフィックス表示物体１４５を回転させ
ることも可能である。In addition, the display object 140 on the graphics display can be used to manipulate other graphics display objects. As an example, FIG.
Objects on the graphics display 14
0 is in contact with another graphics display object 145. Then, by using a computer programming technique, the rotation operation of the graphics display object 140 can be used as an input to rotate the other graphics display object 145.
【００２５】（第２の実施例）図２は上記パネル１０５
の代わりに透明薄膜セルを含む格子２０５を使用した本
発明の他の実施例における入力機器の構成を示す。図１
の入力機器本体から考えた場合、図２は入力機器本体の
内部から見た斜視図であり、ＣＣＤカメラ１１０は入力
機器本体の内側からパネル１０５方向に向けられてお
り、ユーザーの指２３０は入力機器本体の外側である。
格子２０５は不透明の電導体が行２１０と列２１５を形
成するように配置されている。このマトリックス状の透
明薄膜において、透明薄膜セル２２０と２２５を含んで
いる透明薄膜の全領域は、格子２０５の全領域の約２５
％程度である。(Second Embodiment) FIG. 2 shows the panel 105.
5 shows a configuration of an input device in another embodiment of the present invention in which a grating 205 including a transparent thin film cell is used instead of. Figure 1
2 is a perspective view as seen from the inside of the input device main body, the CCD camera 110 is directed toward the panel 105 from the inside of the input device main body, and the user's finger 230 is input. Outside the device body.
The grid 205 is arranged so that opaque conductors form rows 210 and columns 215. In this matrix of transparent thin films, the total area of the transparent thin film containing the transparent thin film cells 220 and 225 is about 25 of the total area of the grating 205.
%.
【００２６】ＣＣＤカメラ１１０は格子２０５に焦点が
合うように設定されており、かつ相対的に限定された焦
点進度である、大きな“f-stop”値を持っている。この
性質は格子２０５表面を超えた画像の検出を不能にす
る。もし、透明薄膜セルがユーザーの指２３０といった
物体によって覆われたならば、その部分２２５は暗い部
分としてＣＣＤカメラ１１０によって検出される。この
時、暗い部分となった透明薄膜セル２２５は、物体によ
って覆われていない薄膜（例えばセル２２０等）セル群
の中から簡単に識別できるので、ユーザーの指の位置を
容易に認識することが可能である。この物***置の認識
技術は、そのデータのバイナリー性（明るいか暗いかの
２種類のデータ特性のみ）、限られた数のセル、および
セル位置の事前情報の利用といった技術的利点を持った
ものである。すなわち、これらの技術的利点を有効に使
用して、画像処理計算をきわめて簡素化することが可能
であり、特に複数の物体の位置を同時に認識する時にき
わめて有効である。The CCD camera 110 is set to focus on the grating 205 and has a large "f-stop" value, which is a relatively limited focus advance. This property makes it impossible to detect images beyond the surface of the grating 205. If the transparent thin film cell is covered by an object such as the user's finger 230, that portion 225 will be detected by the CCD camera 110 as a dark portion. At this time, since the transparent thin film cell 225 that becomes a dark portion can be easily identified from the thin film (for example, the cell 220 etc.) cell group not covered by the object, the position of the user's finger can be easily recognized. It is possible. This object position recognition technology has technical advantages such as the binary nature of the data (only two kinds of data characteristics, light and dark), a limited number of cells, and the use of prior information of cell positions. Is. That is, it is possible to make effective use of these technical advantages to greatly simplify the image processing calculation, and it is particularly effective when recognizing the positions of a plurality of objects at the same time.
【００２７】格子の行２１０と列２１５から発生する電
気信号は、透明薄膜セルに与えられた力に対応してい
る。この行２１０と列２１５のデータは、コンピュータ
１３０による画像処理とともに処理され、３次元に対応
する情報（Ｚ方向入力）として利用される。The electrical signals generated by the rows 210 and columns 215 of the grid correspond to the forces applied to the transparent thin film cells. The data in the rows 210 and the columns 215 are processed together with the image processing by the computer 130 and are used as information (Z direction input) corresponding to three dimensions.
【００２８】上記の力検出用セルとして、米合衆国、ニ
ューヨーク州アルバニー所在のIntelligent Music Syst
em, Inc （インテリジェント ミュージック システム
インコーポレーション）のTouch SurfaceTM モジュー
ルは本発明の好適な実施例に適したものである。このモ
ジュールは、ユーザーの力に対応し、複数の接触点が存
在する時は、その接触点の平均された位置と力の平均値
を出力する。したがって、このモジュールを用いると、
入力機器に加えられるユーザーからの複数の接触点の各
々の２次元座標をＣＣＤカメラ１１０が検出し、ユーザ
ーの加える平均的力がＺ方向の入力情報としてそのモジ
ュールから提供されることになる。As the above-mentioned force detecting cell, an Intelligent Music Syst located in Albany, NY, USA
The Touch Surface ™ module from em, Inc (Intelligent Music Systems, Inc.) is suitable for the preferred embodiment of the present invention. This module outputs the averaged position of the contact points and the average value of the forces when there are a plurality of contact points corresponding to the user's force. So with this module,
The CCD camera 110 detects the two-dimensional coordinates of each of the plurality of contact points from the user applied to the input device, and the average force applied by the user is provided from the module as input information in the Z direction.
【００２９】以上、本発明の好適な実施例について説明
してきたが、当業者は、本発明の精神および範囲を逸脱
することなく、これら実施例に種々の変形，変更を加え
ることができるものである。しかし、そのような変形，
変更は本発明の技術的範囲に属すると考えられる。Although the preferred embodiments of the present invention have been described above, those skilled in the art can make various modifications and changes without departing from the spirit and scope of the present invention. is there. But such a transformation,
Modifications are considered to be within the scope of the invention.
【００３０】[0030]
【発明の効果】以上説明したように、本発明によれば、
半透明の光拡散パネルを含む入力機器本体の内側にビデ
オカメラを配置し、そのパネル上の暗い部分をビデオカ
メラで検出するようにしたので、画像処理をきわめて簡
素化できると同時に、ユーザーにいかなる拘束を与える
ことなく自由な入力動作環境を保証し、ユーザーの複数
の指の接触やジェスチャーを直接的に検出することがで
きるという効果が得られる。As described above, according to the present invention,
The video camera is placed inside the main body of the input device including the semi-transparent light diffusion panel, and the dark part on the panel is detected by the video camera, which greatly simplifies the image processing and at the same time prevents the user from seeing anything. As a result, it is possible to obtain a free input operation environment without constraint and directly detect a touch or a gesture of a plurality of fingers of the user.
【００３１】また、本発明では、半透明の光拡散パネル
の代りに、透明のセルを含みかつユーザーの加える力に
敏感な性質を持つ格子形状のパネルを用いることによ
り、さらに画像処理を簡素化すると同時に、“Ｚ方向”
の入力信号も提供することができる。Further, in the present invention, instead of the semitransparent light diffusing panel, a grid-shaped panel including transparent cells and having a property sensitive to the force applied by the user is used to further simplify the image processing. At the same time, "Z direction"
Input signals can also be provided.
【図１】本発明の好適な一実施例における対話型のコン
ピュータグラフィックスシステムとそのグラフィックス
用入力機器の構成を描いた斜視図である。FIG. 1 is a perspective view illustrating a configuration of an interactive computer graphics system and an input device for graphics according to a preferred embodiment of the present invention.
【図２】図１に描いた入力用パネルの表面に格子状パタ
ーンを持つ透明の薄膜検出器を描いた斜視図である。FIG. 2 is a perspective view showing a transparent thin film detector having a grid pattern on the surface of the input panel shown in FIG.
１００ 入力機器本体 １０５ パネル １１０ ＣＣＤカメラ １１５ 接触点 １２０ 光源 １２５ 鏡 １２７ 光源 １３０ 画像処理用コンピュータ １３５ グラフィックスディスプレイ １４０ 表示物体 １４５ 表示物体 ２０５ 格子 ２１０ 格子の行 ２１５ 格子の列 ２２０ 物体によって覆われていない透明薄膜セル ２２５ ユーザーの指で覆われて暗い部分となった透明
薄膜セル ２３０ ユーザーの指100 Input Device Main Body 105 Panel 110 CCD Camera 115 Contact Point 120 Light Source 125 Mirror 127 Light Source 130 Image Processing Computer 135 Graphics Display 140 Display Object 145 Display Object 205 Grid 210 Grid Row 215 Grid Column 220 Not Covered by Object Transparent thin film cell 225 Transparent thin film cell darkened by user's finger 230 User's finger
Claims (8)
るグラフィックス用入力機器であって、 半透明の光拡散パネルを有する入力機器本体と、 該入力機器本体の内側に配置されて該内側から前記光拡
散パネルの画像を撮像するビデオカメラとを具備し、 該ビデオカメラからの出力信号は、該出力信号を用いて
前記光拡散パネル上の暗い部分を検出し、検出した該暗
い部分に対応して表示機器の表示画面上に物体を表示さ
せ、かつ該暗い部分の動きに応じて該表示画面の物体が
動くように画像処理を行う前記対話型コンピュータシス
テムの画像処理手段に接続されていることを特徴とする
グラフィックス用入力機器。1. An input device for graphics used in an interactive computer system, comprising: an input device main body having a translucent light diffusing panel; and a light input from the inside of the input device main body. And a video camera for capturing an image of the diffusion panel, wherein an output signal from the video camera detects a dark portion on the light diffusion panel using the output signal and corresponds to the detected dark portion. Connected to the image processing means of the interactive computer system for displaying an object on the display screen of a display device and performing image processing so that the object on the display screen moves in accordance with the movement of the dark portion. Characteristic input device for graphics.
記光拡散パネルの内側表面を照明する光源をさらに有す
ることを特徴とする請求項１に記載のグラフィックス用
入力機器。2. The input device for graphics according to claim 1, further comprising a light source installed inside the main body of the input device to illuminate an inner surface of the light diffusion panel.
の外側表面を照らすように前記入力機器本体の外側に取
り付けられた反射体をさらに有することを特徴とする請
求項２に記載のグラフィックス用入力機器。3. The graphic according to claim 2, further comprising a reflector mounted on the outside of the main body of the input device so that the light of the light source is reflected to illuminate the outer surface of the light diffusion panel. Input device for computer.
るグラフィックス用入力機器であって、 格子間にマトリックス配列で取り付けられた複数の透明
のセルを有する格子形状のパネルを備えた入力機器本体
と、 該入力機器本体の内側に配置されて該内側から前記格子
形状のパネルの画像を撮像するビデオカメラとを具備
し、 該ビデオカメラからの出力信号は、該出力信号を用いて
前記格子形状のパネル上の暗い部分を検出し、検出した
該暗い部分に対応して表示機器の表示画面上に物体を表
示させ、かつ該暗い部分の動きに応じて該表示画面の物
体が動くように画像処理を行う前記対話型コンピュータ
の画像処理手段に接続されていることを特徴とするグラ
フィックス用入力機器。4. An input device for graphics used in an interactive computer system, the input device main body comprising a grid-shaped panel having a plurality of transparent cells mounted in a matrix array between grids. A video camera disposed inside the input device body and capturing an image of the lattice-shaped panel from the inside, wherein an output signal from the video camera is the lattice-shaped panel using the output signal. An upper dark portion is detected, an object is displayed on the display screen of the display device corresponding to the detected dark portion, and image processing is performed so that the object on the display screen moves according to the movement of the dark portion. An input device for graphics, which is connected to an image processing means of the interactive computer.
加える力に敏感に応答して該力の強さに応じた信号を発
生し、 該信号が前記対話型コンピュータシステムに供給されて
処理されることを特徴とする請求項４に記載のグラフィ
ックス用入力機器。5. The grid-shaped panel is further responsive to a force applied by a user to generate a signal according to the strength of the force, the signal being supplied to the interactive computer system for processing. The input device for graphics according to claim 4, characterized in that:
記格子形状のパネルの内側表面を照明する光源をさらに
有することを特徴とする請求項４または５に記載のグラ
フィックス用入力機器。6. The input device for graphics according to claim 4, further comprising a light source installed inside the main body of the input device to illuminate an inner surface of the grid-shaped panel.
ネルの外側表面を照らすように前記入力機器本体の外側
に取り付けられた反射体をさらに有することを特徴とす
る請求項４〜６のいずれかに記載のグラフィックス用入
力機器。7. The reflector according to claim 4, further comprising a reflector attached to the outside of the main body of the input device so that the light from the light source is reflected to illuminate the outside surface of the grid-shaped panel. The input device for graphics according to any one.
を識別する機能および複数の該セルの中の暗い状態のセ
ルの位置をデジタル数値化する機能を有し、これら機能
により画像処理に必要な処理作業を簡素化していること
を特徴とする請求項４〜７のいずれかに記載のグラフィ
ックス用入力機器。8. The image processing means has a function of identifying an image of each of the cells and a function of digitizing a position of a dark cell among a plurality of the cells, and these functions enable image processing. The graphics input device according to any one of claims 4 to 7, wherein necessary processing work is simplified.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US83737292A | 1992-02-14 | 1992-02-14 | |
| US837372 | 1992-02-14 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05298016A true JPH05298016A (en) | 1993-11-12 |
Family
ID=25274261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2253893A Pending JPH05298016A (en) | 1992-02-14 | 1993-02-10 | Input device for graphics |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05298016A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001290585A (en) * | 2000-01-31 | 2001-10-19 | Canon Inc | Position information processor, position information processing method and program, and operation device and its method and program |
| JP2006040271A (en) * | 2004-06-28 | 2006-02-09 | Microsoft Corp | Recognition and use of gesture for interacting with software application |
| KR100660125B1 (en) * | 2006-02-10 | 2006-12-20 | 주식회사 엠씨넥스 | Pointing device using camera |
| KR100751093B1 (en) * | 2005-12-29 | 2007-08-21 | 엠텍비젼 주식회사 | Device and method for Input in digital device |
| JP2010033604A (en) * | 2009-11-09 | 2010-02-12 | Sony Corp | Information input device and information input method |
| US8849506B2 (en) | 2009-09-04 | 2014-09-30 | Hyundai Motor Japan R&D Center, Inc. | Operation system for vehicle |
-
1993
- 1993-02-10 JP JP2253893A patent/JPH05298016A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001290585A (en) * | 2000-01-31 | 2001-10-19 | Canon Inc | Position information processor, position information processing method and program, and operation device and its method and program |
| JP2006040271A (en) * | 2004-06-28 | 2006-02-09 | Microsoft Corp | Recognition and use of gesture for interacting with software application |
| KR100751093B1 (en) * | 2005-12-29 | 2007-08-21 | 엠텍비젼 주식회사 | Device and method for Input in digital device |
| KR100660125B1 (en) * | 2006-02-10 | 2006-12-20 | 주식회사 엠씨넥스 | Pointing device using camera |
| US8849506B2 (en) | 2009-09-04 | 2014-09-30 | Hyundai Motor Japan R&D Center, Inc. | Operation system for vehicle |
| JP2010033604A (en) * | 2009-11-09 | 2010-02-12 | Sony Corp | Information input device and information input method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5483261A (en) | Graphical input controller and method with rear screen image detection | |
| Han | Low-cost multi-touch sensing through frustrated total internal reflection | |
| US8441467B2 (en) | Multi-touch sensing display through frustrated total internal reflection | |
| US8466893B2 (en) | Use of a two finger input on touch screens | |
| KR101098015B1 (en) | Touchless gesture based input | |
| KR101831350B1 (en) | Camera-based multi-touch interaction and illumination system and method | |
| US5250929A (en) | Interactive overlay-driven computer display system | |
| CA1196086A (en) | Apparatus and method for remote displaying and sensing of information using shadow parallax | |
| US20060044282A1 (en) | User input apparatus, system, method and computer program for use with a screen having a translucent surface | |
| US20070252821A1 (en) | Use of a Two Finger Input on Touch Screens | |
| US20110298708A1 (en) | Virtual Touch Interface | |
| JPH07182101A (en) | Apparatus and method for input of graphic, operating method of graphic object and supply method of graphic input signal | |
| JPH11506237A (en) | Light pen input system | |
| JP2009545828A (en) | Multi-contact detection display device with total reflection interference | |
| JPH0683512A (en) | Method and device for inputting command and data | |
| KR20100072207A (en) | Detecting finger orientation on a touch-sensitive device | |
| JP2006509269A (en) | Apparatus and method for inputting data | |
| EP0671018A4 (en) | Diffusion-assisted position location, particularly for visual pen detection | |
| EP1917572A1 (en) | Free-space pointing and handwriting | |
| JP4054847B2 (en) | Optical digitizer | |
| EP0880752A1 (en) | A method and system for determining the point of contact of an object with a screen | |
| US20230057020A1 (en) | Meeting interaction system | |
| US11556211B2 (en) | Displays and information input devices | |
| JP2001265475A (en) | Menu display controller and information processor and electronic blackboard system and method for controlling menu display system and method for controlling information processing system and computer readable recording medium with program for allowing the same method to be performed by computer recorded | |
| JPH05298016A (en) | Input device for graphics |