JPH09185456A - Interface device - Google Patents
Interface deviceInfo
- Publication number
- JPH09185456A JPH09185456A JP8096481A JP9648196A JPH09185456A JP H09185456 A JPH09185456 A JP H09185456A JP 8096481 A JP8096481 A JP 8096481A JP 9648196 A JP9648196 A JP 9648196A JP H09185456 A JPH09185456 A JP H09185456A
- Authority
- JP
- Japan
- Prior art keywords
- shape
- cursor
- interaction
- display
- interface device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、コンピュータ、ワ
ードプロセッサ等の情報機器やテレビ等のディスプレイ
を有する機器の入出力を行うインターフェイス装置に関
するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an interface device for inputting / outputting information equipment such as a computer and a word processor and equipment having a display such as a television.
【０００２】[0002]
【従来の技術】この種の従来のインターフェイス装置と
して、表示装置内の情報に何か別の情報を加えたり、表
示の情報を変更したり、選択したりするのに、表示画面
中のマウスによって検出した座標位置にカーソルを表示
して行うものがある。2. Description of the Related Art As a conventional interface device of this kind, a mouse in a display screen is used to add some other information to the information in the display device, change the displayed information, or make a selection. There is one in which a cursor is displayed at the detected coordinate position.
【０００３】図３０はこの種の従来のインターフェイス
装置の概要を示すものである。図３０において、501は
ホストコンピュータ、502はディスプレイで、ディスプ
レイ502中にはホストコンピュータ501により、仮想の操
作ボタン503,504,505が表示されている。506はマウスカ
ーソルで、マウス507によって検出したマウス507の移動
量に基づき、マウス507の動きに同期して画面中を動く
ように、ホストコンピュータ501が表示制御する。ユー
ザーは、マウス507を動かす事により、表示画面中の任
意の仮想の操作ボタンの位置にマウスカーソル506を移
動させ、マウス507上のスイッチ508を押すことにより、
操作ボタンを選択し、ホストコンピュータ501に動作の
指示を与えられるようになっている。FIG. 30 shows an outline of a conventional interface device of this type. In FIG. 30, 501 is a host computer, 502 is a display, and virtual operation buttons 503, 504, and 505 are displayed by the host computer 501 in the display 502. Reference numeral 506 denotes a mouse cursor, which is controlled by the host computer 501 so as to move on the screen in synchronization with the movement of the mouse 507 based on the movement amount of the mouse 507 detected by the mouse 507. The user moves the mouse 507 to move the mouse cursor 506 to the position of an arbitrary virtual operation button on the display screen, and presses the switch 508 on the mouse 507.
An operation button can be selected to give an operation instruction to the host computer 501.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら上記従来
の構成では、機器の本体とは別にマウスという入力装置
が必要で、又マウスを操作するテーブル等の基台が必要
であり、携帯情報機器等に用いる事は適さない。又、マ
ウスを介して操作を行なうため、必ずしも直接的で分か
りやすいインターフェイスにはなっていない。However, in the above-described conventional configuration, an input device called a mouse is required in addition to the main body of the device, and a base such as a table for operating the mouse is required. Not suitable for use. Moreover, since the operation is performed via the mouse, the interface is not always direct and easy to understand.
【０００５】本発明はかかる点に鑑み、キーボードやマ
ウス等の入力装置を必要とせず、簡単に機器の操作が可
能であり、更にはより操作性が良く、直接的で分かりや
すいインターフェイス装置を提供しようとするものであ
る。In view of the above, the present invention provides an interface device that does not require an input device such as a keyboard or a mouse, can easily operate the device, and has better operability, which is direct and easy to understand. Is what you are trying to do.
【０００６】[0006]
【課題を解決するための手段】本発明は、操作者の手の
形状を認識する認識手段と、この認識手段により認識さ
れた手の形状の特徴を特殊形状として画面に表示する表
示手段と、この表示手段により画面に表示された特殊形
状により、画面内に表示された情報を制御する制御手段
とを備えたインターフェイス装置であって、手の形状を
変えるだけで画面に表示された情報を制御できるもので
ある。SUMMARY OF THE INVENTION The present invention comprises a recognition means for recognizing the shape of an operator's hand, and a display means for displaying on the screen the features of the hand shape recognized by this recognition means as a special shape. An interface device having a control means for controlling the information displayed on the screen by the special shape displayed on the screen by the display means, and controlling the information displayed on the screen simply by changing the shape of the hand. It is possible.
【０００７】さらに、手の動きをも認識する事により、
さらに操作性の良いインターフェイス手段を提供するも
のである。その動き認識には、手の形状又は動きを撮像
した画像を保存するフレームメモリと、前記フレームメ
モリ中に保存した画像よりも前の時間に撮像した画像を
基準画像として蓄積する基準画像メモリとを設け、フレ
ームメモリ中の画像と、基準画像メモリ中に蓄積してい
る基準画像との差異を抽出することにより達成する。
又、他の認識方法として、撮像した画像中の使用者の手
の形状及び又は動きを使用者の輪郭として抽出し、その
輪郭を追跡し、輪郭線の角度と輪郭線の長さとの関係、
即ち輪郭波形を演算しフィルタリングして所定の形状を
表わす形状波形を生成することにより達成している。Furthermore, by recognizing the movement of the hand,
Further, it provides an interface means with good operability. For the motion recognition, a frame memory that stores an image of the shape or motion of the hand and a reference image memory that stores an image captured at a time earlier than the image stored in the frame memory as a reference image are stored. This is achieved by providing the difference between the image in the frame memory and the reference image stored in the reference image memory.
As another recognition method, the shape and / or motion of the user's hand in the captured image is extracted as the contour of the user, the contour is tracked, and the relationship between the angle of the contour line and the length of the contour line,
That is, this is achieved by calculating and filtering the contour waveform to generate a shape waveform representing a predetermined shape.
【０００８】更には、手の形状の特徴を特殊形状として
画面に表示してカーソルとして操作するためのカーソル
表示手段と、そのカーソル表示以外の表示物との関連
を、カーソル表示以外の表示物の位置を代表する代表点
座標および形状として記憶する手段と、カーソル表示と
前記表示物との間の相互作用を演算判定する手段とを設
け、カーソル表示を仮想のマニピュレータ化して表示す
る場合などに、表示された仮想物体をつかむときに操作
者の意図に沿った相互作用により操作がなめらかに実現
できるものである。Furthermore, the relation between the cursor display means for displaying the characteristic of the shape of the hand as a special shape on the screen and operating it as a cursor and the display object other than the cursor display is described as follows. Means for storing as a representative point coordinates and shape representative of the position, and means for calculating and determining the interaction between the cursor display and the display object, when displaying the cursor display as a virtual manipulator, etc. When grasping the displayed virtual object, the operation can be smoothly realized by the interaction according to the intention of the operator.
【０００９】以上のように構成したインターフェイス装
置は、認識手段にユーザーが向い、例えば手をかざすと
手の形状に相当する特殊形状が画面内にいわゆる画面操
作のためのアイコン表示がなされ、そのアイコン表示に
従った制御が可能となる。In the interface device configured as described above, when the user faces the recognition means, for example, when the user holds his hand, a special shape corresponding to the shape of the hand is displayed on the screen as an icon for so-called screen operation. Control according to the display is possible.
【００１０】又は手振りによって指示を与えると、与え
た手振りが表示画面上に手の形状に対応して設定された
特殊形状が表示されると共に、その動きも表示され、例
えば表示画面に表示した仮想スイッチ等を手振りによっ
て選択したり、画面上に表示された表示物を目的に応じ
て掴んだり運んだりすることが出来るものであり、マウ
ス等の入力装置を必要とせず、非常に簡便な機器の操作
が可能となるものである。When an instruction is given by hand gesture, the given hand gesture is displayed on the display screen with a special shape set corresponding to the shape of the hand, and its movement is also displayed. For example, the virtual gesture displayed on the display screen is displayed. It is a very simple device that does not require an input device such as a mouse, as it allows you to select switches etc. by hand and grabs or carries the display object displayed on the screen according to your purpose. It is possible to operate.
【００１１】また手の形状に対応して設定された特殊形
状が単なるカーソル以外に仮想マニピュレータとして動
作して、仮想マニピュレータで操作したい表示物との相
互作用を、操作者の操作意図にあった判定が逐次自動的
になされることにより操作性がさらに向上したインター
フェイスが実現できるものである。。Further, the special shape set corresponding to the shape of the hand operates as a virtual manipulator in addition to the simple cursor, and the interaction with the display object to be operated by the virtual manipulator is determined according to the operator's operation intention. It is possible to realize an interface with further improved operability by automatically and sequentially performing. .
【００１２】[0012]
（第１の実施の形態）本発明の第１の実施形態は、操作
者の手の形状を認識するために撮像装置などの認識手段
と、この認識手段により認識された手の形状の特徴をア
イコンなどで特殊形状として画面に表示する表示手段
と、この表示手段により画面に表示されたアイコンなど
の特殊形状をいわゆるカーソルとして動作させて画面内
に表示された情報を手の形状を変えることにより制御す
る制御手段とを備えたインターフェイス装置である。(First Embodiment) In the first embodiment of the present invention, a recognition means such as an image pickup device for recognizing the shape of an operator's hand and a feature of the hand shape recognized by this recognition means are provided. By changing the shape of the hand displayed on the screen, the display means that displays a special shape such as an icon on the screen and the special shape such as the icon displayed on the screen by this display means operate as a so-called cursor It is an interface device provided with control means for controlling.
【００１３】（第２の実施の形態）本発明の第２の実施
形態は、少なくとも撮像部と、撮像した画像中の物体の
形状及び又は動きを認識する動作認識部と、この動作認
識部によって認識した物体の形状及び又は動きを表示す
る表示部とによって構成し、前記撮像部で撮像した画像
を保存するフレームメモリと、このフレームメモリ中に
保存した画像よりも前の時間に撮像した画像を基準画像
として蓄積する基準画像メモリとを設け、動作認識部
に、フレームメモリ中の画像と、基準画像メモリ中に蓄
積している基準画像との差異を抽出する画像変化抽出部
を設けたインターフェイス装置である。(Second Embodiment) In a second embodiment of the present invention, at least an imaging section, a motion recognition section for recognizing the shape and / or motion of an object in a captured image, and this motion recognition section are used. A frame memory configured by a display unit that displays the shape and / or movement of a recognized object, stores a frame memory that stores the image captured by the image capturing unit, and an image captured at a time earlier than the image stored in the frame memory. An interface device provided with a reference image memory for accumulating as a reference image, and provided with an image change extraction unit for extracting a difference between the image in the frame memory and the reference image stored in the reference image memory in the motion recognition unit. Is.
【００１４】（第３の実施の形態）本発明の第３の実施
の形態は、少なくとも撮像部と、撮像した画像中の使用
者の手の形状及び又は動きを認識する動作認識部と、こ
の動作認識部によって認識した使用者の手の形状及び又
は動きを表示する表示部を有し、撮像した使用者の輪郭
を抽出する輪郭抽出手段と、この抽出した輪郭を追跡
し、輪郭線の角度と輪郭線の長さとの関係、即ち輪郭波
形を演算する輪郭波形演算部と、この輪郭波形演算部に
よって演算した輪郭波形をフィルタリングして、所定の
形状を表わす形状波形を生成する形状フィルタとを設け
て前記動作認識部を構成したインターフェイス装置であ
る。(Third Embodiment) In a third embodiment of the present invention, at least an image pickup section, and a motion recognition section for recognizing the shape and / or movement of a user's hand in a picked-up image, A contour extraction unit that has a display unit that displays the shape and / or movement of the user's hand recognized by the motion recognition unit, and a contour extraction unit that extracts the contour of the user who has been imaged, and the contour that is extracted, and the angle of the contour line And a length of the contour line, that is, a contour waveform calculation unit that calculates a contour waveform and a shape filter that filters the contour waveform calculated by the contour waveform calculation unit to generate a shape waveform that represents a predetermined shape. It is an interface device that is provided and constitutes the motion recognition unit.
【００１５】以上のように構成したインターフェイス装
置の撮像部にユーザーが向い、例えば手振りによって指
示を与えると、撮像部は、ユーザーの画像を撮像する。
輪郭抽出手段はユーザーの画像の輪郭を抽出し、この輪
郭は、輪郭波形演算部によって、輪郭上の基準点を開始
点とした輪郭線の長さを横軸として、水平線に対する輪
郭線の角度、即ち輪郭波形として変換される。この輪郭
波形は、所定の帯域のバンドパスフィルタ、例えば、指
の凹凸に相当するバンドパスフィルタによって構成した
形状フィルタによって指の凹凸形状を表わす形状波形に
変換され、手のある位置を演算すると同時に、この形状
波形中に存在するパルス数を数えるだけで、出されてい
る指の本数、即ち手の形状を正確に判断させることが出
来る。この手の位置や形状に基づき、与えた手振りが表
示部の表示画面上に表示され、例えば表示画面上に表示
した仮想スイッチ等を手振りによって選択出来るもので
あり、マウス等の入力装置を必要とせず、非常に簡便な
機器の操作が可能となるものである。When the user turns to the image pickup unit of the interface device configured as described above and gives an instruction by, for example, a hand gesture, the image pickup unit picks up an image of the user.
The contour extracting means extracts the contour of the image of the user, and this contour is calculated by the contour waveform calculation unit, with the length of the contour line starting from the reference point on the contour as the horizontal axis, and the angle of the contour line with respect to the horizontal line, That is, it is converted as a contour waveform. This contour waveform is converted into a shape waveform representing the uneven shape of the finger by a bandpass filter of a predetermined band, for example, a shape filter configured by a bandpass filter corresponding to the unevenness of the finger, and at the same time the position of the hand is calculated. By counting the number of pulses existing in this shape waveform, it is possible to accurately determine the number of fingers that have been ejected, that is, the shape of the hand. Based on the position and shape of this hand, the given hand gesture is displayed on the display screen of the display unit.For example, virtual switches displayed on the display screen can be selected by hand gesture, and an input device such as a mouse is not required. Therefore, it is possible to operate the device very easily.
【００１６】また、帯域の異なる複数のバンドパスフィ
ルタによって複数の形状フィルタを構成し、前記複数の
形状フィルタによって生成した形状波形に基づいて、使
用者の動作を判定させるように構成してもよい。これに
より、複数の形状が認識できるようになる。Further, a plurality of shape filters may be constituted by a plurality of band pass filters having different bands, and the motion of the user may be judged based on the shape waveform generated by the plurality of shape filters. . This makes it possible to recognize a plurality of shapes.
【００１７】また、少なくとも手の凹凸に対応する輪郭
波形形状のバンドパスフィルタと、指の凹凸に対応する
輪郭波形形状のバンドパスフィルタとによって複数の形
状フィルタを構成してもよい。これにより、手の部分の
凹凸のみを反映した滑らかな形状波形に変換され、又指
の凹凸のみを反映した形状波形に変換される。Further, a plurality of shape filters may be constituted by at least a bandpass filter having a contour waveform shape corresponding to the irregularities of the hand and a bandpass filter having a contour waveform shape corresponding to the irregularities of the finger. As a result, the waveform is converted into a smooth waveform that reflects only the irregularities of the hand, and is also converted into the waveform that reflects only the irregularities of the finger.
【００１８】また、撮像した使用者の輪郭形状の座標
と、輪郭波形演算部によって演算した輪郭波形との対応
を記憶させる座標テーブルを設け、形状波形の波高存在
位置と前記座標テーブルとを用いて、撮像画像中の所定
の形状が存在する座標を演算する座標演算部を設けて動
作認識部を構成してもよい。これにより、輪郭形状の座
標が演算され、その座標が出力される。Further, a coordinate table is provided for storing the correspondence between the coordinates of the contour shape of the imaged user and the contour waveform calculated by the contour waveform calculating section, and the wave height existing position of the shape waveform and the coordinate table are used. The motion recognition unit may be configured by providing a coordinate calculation unit that calculates coordinates in which a predetermined shape exists in the captured image. As a result, the coordinates of the contour shape are calculated and the coordinates are output.
【００１９】また、形状フィルタによって生成した形状
波形中のパルス数を数える形状判定部を設けて動作認識
部を構成し、前記形状判定部の出力値によって、物体の
形状を判定させるようにしてもよい。これにより、パル
ス数によって、二本指の形状であるのか、手を握った形
状であるのかの判定が容易になされる。Further, a shape determination unit for counting the number of pulses in the shape waveform generated by the shape filter is provided to constitute the motion recognition unit, and the shape of the object is determined by the output value of the shape determination unit. Good. This makes it easy to determine whether the shape is a two-finger shape or a shape with a hand held, based on the number of pulses.
【００２０】また、形状フィルタによって生成した形状
波形を微分する微分器を設けて動作認識部を構成しても
よい。微分によって、波形がよりパルス状になり、パル
ス数のカウントが容易となる。The motion recognition unit may be configured by providing a differentiator that differentiates the shape waveform generated by the shape filter. The differentiation makes the waveform more pulse-shaped and facilitates counting the number of pulses.
【００２１】（第４の実施の形態）これまでの実施の形
態は表示画面に表示された２次画面について操作を行う
例について述べてきたが、本実施の形態は仮想的な３次
元を２次元表示画面に表示した場合の操作に係るもので
ある。一般的には表示された仮想的な３次元空間におい
て、カーソルを用いて仮想空間内の仮想物体をつかむ動
作を想定すると、以下のような構成となる。(Fourth Embodiment) Although the above-mentioned embodiments have described the example of operating the secondary screen displayed on the display screen, the present embodiment shows that a virtual three-dimensional image can be displayed in two dimensions. It relates to the operation when displayed on the dimension display screen. Generally, in the displayed virtual three-dimensional space, assuming the operation of grasping a virtual object in the virtual space using a cursor, the following configuration is obtained.
【００２２】図２１において、Ａ１は入力装置、Ａ２は
カーソル座標記憶部、Ａ３は物体座標記憶部、Ａ４は表
示装置、Ａ５は接触判断部である。図２２は既に述べて
きた実施の形態と同様に、操作者の手の形状から表示す
ることができる二指のマニピュレータ形状のカーソルを
示す。図２２(ａ)，(ｃ)，(ｅ)は指を開いた状態、図２
２(ｂ)，(ｄ)，(ｆ)は指を閉じた状態を示す。図２３は
仮想空間内の仮想物体の例を示す。ここで操作者は二指
のカーソルを用いて仮想３次元空間内の仮想物体をつか
む動作を想定する。図２４(ａ)、図２４(ｂ)はカーソル
を用いて仮想物体をつかむ時の仮想空間内のカーソルお
よび仮想物体の配置を示す。図２５は表示装置Ａ４の表
示を示す。In FIG. 21, A1 is an input device, A2 is a cursor coordinate storage unit, A3 is an object coordinate storage unit, A4 is a display device, and A5 is a contact determination unit. FIG. 22 shows a two-finger manipulator-shaped cursor that can be displayed from the shape of the operator's hand, as in the previously described embodiments. 22 (a), (c), and (e) show a state in which the finger is opened,
2 (b), (d), and (f) show the state in which the finger is closed. FIG. 23 shows an example of a virtual object in the virtual space. Here, it is assumed that the operator uses a two-finger cursor to grab a virtual object in the virtual three-dimensional space. 24A and 24B show the arrangement of the cursor and the virtual object in the virtual space when the virtual object is grabbed by the cursor. FIG. 25 shows the display of the display device A4.
【００２３】操作者の操作が入力部Ａ１に与えられる
と、カーソル座標記憶部Ａ２に記憶するカーソル座標お
よびカーソルの二指の間隔が前記操作に基づいて更新さ
れる。表示装置Ａ４はカーソル座標記憶部Ａ２の記憶す
る情報および物体座標記憶部Ａ３の記憶する仮想物体の
位置情報を用いてカーソルと仮想物体を含む仮想空間を
描画する。ここで、接触判断部Ａ５はカーソル座標記憶
部Ａ２の記憶する情報および物体座標記憶部Ａ３の記憶
する仮想物体の位置情報を用いてカーソルと仮想物体が
仮想空間内で接触するか否かを計算する。具体的には、
カーソルおよび仮想物体を構成する複数の面の間の仮想
空間内での距離をそれぞれの面の間について計算し、カ
ーソルの二指の間に仮想物体が接触すれば、カーソルが
仮想物体をつかんだと判断し、以後カーソルの移動にあ
わせて物体の座標を変更する。When the operator's operation is given to the input section A1, the cursor coordinates and the distance between the two fingers of the cursor stored in the cursor coordinate storage section A2 are updated based on the operation. The display device A4 draws a virtual space including the cursor and the virtual object using the information stored in the cursor coordinate storage unit A2 and the position information of the virtual object stored in the object coordinate storage unit A3. Here, the contact determination unit A5 uses the information stored in the cursor coordinate storage unit A2 and the position information of the virtual object stored in the object coordinate storage unit A3 to calculate whether or not the cursor and the virtual object are in contact with each other in the virtual space. To do. In particular,
Calculate the distance in virtual space between the cursor and multiple surfaces that make up the virtual object, and if the virtual object touches between the two fingers of the cursor, the cursor grabs the virtual object. After that, the coordinates of the object are changed according to the movement of the cursor.
【００２４】しかしながらこのような手法では図２４
(ａ)、(ｂ)に示すような配置の場合に表示装置による表
示が図２５のようになり、仮想空間内でカーソルと仮想
物体の位置が完全に一致しない場合でも座標が一致して
いると操作者が誤判断する場合がある。また、３次元表
示装置を用いた場合や図２４(ａ)、(ｂ)を併記したよう
な表示でも、実空間内と仮想空間内の距離感覚の違いか
らなめらかな操作が困難となる。However, in such a method, FIG.
In the case of the arrangements shown in (a) and (b), the display by the display device is as shown in FIG. 25, and the coordinates match even if the positions of the cursor and the virtual object do not completely match in the virtual space. The operator may misjudge. Further, even when a three-dimensional display device is used or a display as shown in FIGS. 24 (a) and 24 (b) is combined, a smooth operation becomes difficult due to a difference in sense of distance between the real space and the virtual space.
【００２５】このように、表示空間である仮想的な空間
における距離感覚と実空間での距離感覚との差異や、操
作者が意図するカーソルの動きと実際のカーソルの動き
との差異により、カーソルと仮想空間内の仮想物体との
相互作用（例えば仮想のマニピュレータによって仮想物
体をつかむ場合など）において操作者の意図に沿った相
互作用（前記の例では仮想物体をつかむ）がなめらかに
実現できない。As described above, the difference between the sense of distance in the virtual space, which is the display space, and the sense of distance in the real space, and the difference between the cursor movement intended by the operator and the actual movement of the cursor, In the interaction between the virtual object and the virtual object in the virtual space (for example, when the virtual object is grasped by the virtual manipulator), the interaction (grab the virtual object in the above example) according to the intention of the operator cannot be realized smoothly.
【００２６】本実施の形態では、仮想空間において操作
者が手振り等で非接触で操作性良くカーソル制御が出来
ると共に、仮想空間内の仮想物体との相互作用の発生の
有無を、仮想空間内のカーソルと仮想物体の構成要素
（仮想空間が３次元の場合は表面）間の距離のみによっ
て決定するのではなく、相互作用判定手段が必ずしも仮
想空間内での距離が近接していない対象物に対しても相
互作用を起こすことで、カーソルが仮想物体と相互作用
を起こすか否かの判定を操作者の意図に近づけ、インタ
ーフェイスの操作性をさらに向上させることが出来る。
さらに、必ずしも仮想空間内での距離が近接していない
対象物に対しても相互作用を起こすことが可能となる。In the present embodiment, the operator can control the cursor in the virtual space with a non-contact, such as by waving, with good operability, and determine whether or not the interaction with the virtual object in the virtual space has occurred in the virtual space. It is not determined only by the distance between the cursor and the component of the virtual object (the surface when the virtual space is three-dimensional), but the interaction determination means does not necessarily have to be close to the object in the virtual space. However, by causing the interaction, the determination as to whether or not the cursor interacts with the virtual object can be made closer to the operator's intention, and the operability of the interface can be further improved.
Furthermore, it is possible to cause an interaction even with an object that is not necessarily close in the virtual space.
【００２７】本実施の形態の第１の構成は、表示手段
と、前記表示手段に表示するカーソルの位置および形状
を変更する入力手段と、前記カーソルの位置を代表する
代表点座標および前記カーソルの形状を記憶するカーソ
ル記憶手段と、前記カーソル以外の表示物の位置を代表
する代表点座標および前記表示物体の形状を記憶する物
体記憶手段と、前記カーソル記憶手段に記憶するカーソ
ルの位置および形状と前記物体記憶手段に記憶する表示
物の位置および形状を用いて、前記カーソルと前記表示
物との間の相互作用を判定する相互作用判定手段とから
構成し、前記相互作用判定手段は、少なくとも１点の前
記カーソルの代表点と少なくとも１点の前記表示物の代
表点との間の距離を計算する距離計算手段と、前記カー
ソルの移動または形状の変化を認識する動作認識手段
と、前記距離計算手段が計算する距離と前記動作認識手
段の認識結果を用いて前記カーソルと前記表示物との相
互作用を決定する総合判定手段とから成ることを特徴と
するインターフェイス装置である。The first configuration of the present embodiment is the display means, the input means for changing the position and shape of the cursor displayed on the display means, the representative point coordinates representative of the position of the cursor, and the cursor. Cursor storage means for storing the shape, object storage means for storing the representative point coordinates representative of the position of the display object other than the cursor and the shape of the display object, and the position and shape of the cursor stored in the cursor storage means The interaction determination means determines the interaction between the cursor and the display object by using the position and shape of the display object stored in the object storage means, and the interaction determination means is at least 1 Distance calculation means for calculating a distance between a representative point of the cursor and at least one representative point of the display object, and movement or shape of the cursor Motion recognition means for recognizing a change in the movement, and a comprehensive judgment means for determining the interaction between the cursor and the display object using the distance calculated by the distance calculation means and the recognition result of the motion recognition means. It is a characteristic interface device.
【００２８】本構成により、仮想空間において操作者が
操作するカーソルと仮想空間内の仮想物体との相互作用
の発生の有無を、仮想空間内の前記カーソルと前記仮想
物体の構成要素（仮想空間が３次元の場合は表面）間の
距離のみによって決定するのではなく、距離計算手段が
算出する代表点間の距離および動作認識手段が認識する
カーソルの動作によって総合判定手段が相互作用の発生
の有無を判定することにより、必ずしも仮想空間内での
距離が近接していない対象物に対しても相互作用を起こ
すことが可能となる。With this configuration, whether or not interaction between the cursor operated by the operator in the virtual space and the virtual object in the virtual space has occurred is determined by the constituent elements of the cursor and the virtual object in the virtual space. In the case of three dimensions, not only the distance between the surfaces) but not the distance between the representative points calculated by the distance calculation means and the movement of the cursor recognized by the movement recognition means, the comprehensive determination means determines whether or not an interaction occurs. By determining, it is possible to cause an interaction even with an object that is not necessarily close in distance in the virtual space.
【００２９】また、第１の構成において、動作認識手段
が予め登録した動作を認識した場合に、距離計算手段が
計算する距離が予め定めた基準以下の表示物に対して相
互作用判定手段が相互作用を発生させる第２の構成とし
てもよい。Further, in the first configuration, when the motion recognition means recognizes a previously registered motion, the interaction determination means performs mutual interaction with a display object whose distance calculated by the distance calculation means is less than a predetermined reference. A second configuration for generating an action may be adopted.
【００３０】また、第１、第２の構成において、表示空
間内におけるカーソルの移動方向と移動量を算出する移
動ベクトル算出手段を設けて相互作用判定手段を構成
し、前記移動方向算出手段が算出するカーソルの移動方
向およびカーソルの移動量に基づいて相互作用判定手段
が前記カーソルと表示物との相互作用を決定する第３の
構成としてもよい。In the first and second configurations, a movement vector calculation means for calculating the movement direction and the movement amount of the cursor in the display space is provided to constitute the interaction determination means, and the movement direction calculation means calculates the movement direction. The interaction determining means may determine the interaction between the cursor and the display object based on the moving direction of the cursor and the moving amount of the cursor.
【００３１】また、第３の構成において、移動ベクトル
算出手段が算出するカーソルの移動量が予め定めた基準
値以下の場合に相互作用判定手段が相互作用を発生させ
る第４の構成としてもよい。Further, in the third configuration, the interaction determining means may cause the interaction when the amount of movement of the cursor calculated by the movement vector calculating means is equal to or less than a predetermined reference value.
【００３２】また、第３、第４の構成において、移動ベ
クトル算出手段が算出するカーソルの移動方向の延長線
近傍に存在する表示物に対して相互作用判定手段が相互
作用を発生させる第５の構成としてもよい。In the third and fourth configurations, the interaction determination means causes the interaction with the display object existing in the vicinity of the extension line of the movement direction of the cursor calculated by the movement vector calculation means. It may be configured.
【００３３】また、第１〜第５の構成において、カーソ
ルの形状と表示物の形状とが予め登録した組み合わせに
なる場合に相互作用判定手段が相互作用を発生させる第
６の構成としてもよい。In addition, in the first to fifth configurations, the interaction determining means may have a sixth configuration in which the interaction determining means causes an interaction when the shape of the cursor and the shape of the display object are a registered combination.
【００３４】また、第１〜第６の構成において、カーソ
ル形状および表示物の形状を認識する形状判定手段を備
えて相互作用判定手段を構成し、前記形状認識手段が認
識するカーソルの形状と表示物の形状とが一致する場合
について相互作用判定手段が相互作用を発生させる第７
の構成としてもよい。In the first to sixth configurations, the interaction determining means is configured by including shape determining means for recognizing the shape of the cursor and the shape of the display object, and the shape and display of the cursor recognized by the shape recognizing means. The interaction determining means causes an interaction when the shape of the object matches the seventh.
May be configured.
【００３５】また、第１〜第７の構成において、視線方
向を検出する視線入力手段を設け、前記視線入力手段が
検出する視線の延長線上近傍の表示物に対し、動作認識
手段が予め登録した動作を認識した場合に、相互作用判
定手段が相互作用を発生させる第８の構成としてもよ
い。In addition, in the first to seventh configurations, the line-of-sight input means for detecting the line-of-sight direction is provided, and the motion recognition means preliminarily registers the display object near the extension line of the line-of-sight detected by the line-of-sight input means. The eighth configuration may be such that the interaction determination means causes an interaction when the motion is recognized.
【００３６】また、第８の構成において、視線入力手段
が検出する視線の延長線上近傍の表示物に対し、前記視
線の延長線上近傍にカーソルが存在し、かつ動作認識手
段が予め登録した動作を認識した場合に、相互作用判定
手段が相互作用を発生させる第９の構成としてもよい。Further, in the eighth configuration, for a display object near the extension line of the line of sight detected by the line-of-sight input means, there is a cursor near the extension line of the line of sight, and the action recognized by the action recognition means is registered in advance. The ninth configuration may be such that the interaction determination means causes an interaction when the recognition is made.
【００３７】また、第１〜第９の構成において、相互作
用を発生させた場合、カーソルと対象とする表示物との
位置関係および前記カーソルの形状および前記表示物の
形状を学習する学習手段を設け、相互作用判定手段が学
習手段の学習結果に基づいて、相互作用を決定する第１
０の構成としてもよい。Further, in the first to ninth configurations, a learning means for learning the positional relationship between the cursor and the target display object and the shape of the cursor and the shape of the display object when interaction is generated. Firstly, the interaction determination means determines the interaction based on the learning result of the learning means.
The configuration may be 0.
【００３８】また、第１０の構成において、カーソルと
対象とする表示物との位置関係または前記カーソルの形
状および前記表示物の形状が学習手段が過去に学習した
位置関係または形状と類似する場合に、相互作用判定手
段が相互作用を発生させる第１１の構成としてもよい。In the tenth structure, when the positional relationship between the cursor and the target display object or the shape of the cursor and the shape of the display object are similar to the positional relationship or shape that the learning means has learned in the past. The eleventh configuration may be adopted in which the interaction determining means causes the interaction.
【００３９】また、第１〜第１１の構成において、カー
ソル記憶部および物体記憶部から距離計算手段への入力
に対して座標変換を行う座標変換手段を設けて相互作用
判定手段を構成する第１２構成としてもよい。In addition, in the first to eleventh configurations, the interaction determining means is configured by providing coordinate converting means for performing coordinate conversion with respect to an input to the distance calculating means from the cursor storing section and the object storing section. It may be configured.
【００４０】また、第１２の構成において、相互作用を
発生させた場合、カーソルと対象とする表示物との位置
関係を接近させるように座標変換を行う第１３の構成と
してもよい。Further, in the twelfth structure, the coordinate conversion may be carried out so that, when an interaction is generated, the positional relationship between the cursor and the target display object is approximated.
【００４１】（第１の実施例）図１は、本発明によるイ
ンターフェイス装置の第１の実施例の外観を示したもの
である。図１において、１はホストコンピュータ、２は
表示に用いるディスプレイ、３は画像を撮像するＣＣＤ
カメラである。ＣＣＤカメラ３は、ディスプレイ２の表
示方向と同一方向に撮像面を配置してあり、ユーザーが
表示面に向かうことにより、ユーザーの手形状を撮像で
きるようになっている。ディスプレイ２上には、メニュ
ー201,202及び前記手形状を反映した表示を行うアイコ
ン200が表示できるようになっている。(First Embodiment) FIG. 1 shows the appearance of a first embodiment of an interface device according to the present invention. In FIG. 1, 1 is a host computer, 2 is a display used for display, and 3 is a CCD for capturing an image.
Camera. The CCD camera 3 has an imaging surface arranged in the same direction as the display direction of the display 2, and the user can image the hand shape of the user by facing the display surface. On the display 2, menus 201 and 202 and an icon 200 for displaying the hand shape can be displayed.
【００４２】図２は、本実施例の詳細ブロック図を示す
ものである。ＣＣＤカメラ３から入力された画像は、フ
レームメモリ21に蓄えられる。基準画像メモリ25には、
予め撮像された人を含まない背景の画像を、基準画像と
して保存している。基準画像は必要に応じて随時更新す
る事ができる。FIG. 2 is a detailed block diagram of this embodiment. The image input from the CCD camera 3 is stored in the frame memory 21. In the standard image memory 25,
A background image that does not include a person that has been captured in advance is stored as a reference image. The reference image can be updated at any time as needed.
【００４３】形状識別手段22は、フレームメモリ21中に
蓄えた画像と、基準画像メモリ25に保存された画像との
差を抽出する事により、画像中から背景画像を取り除く
と共に、例えばユーザーの手に相当する部分を抽出し、
その形状が、例えば図３(ａ)に示すような、一本指の形
状であるのか、又図３(ｂ)に示すような二本指の形状で
あるのか又はそれ以外図３(ｃ)であるのかを判断する。The shape identifying means 22 removes the background image from the image by extracting the difference between the image stored in the frame memory 21 and the image stored in the reference image memory 25 and, for example, the user's hand. Extract the part corresponding to
Whether the shape is, for example, a one-finger shape as shown in FIG. 3 (a), or a two-finger shape as shown in FIG. 3 (b), or other than that, FIG. To determine if.
【００４４】図４は、形状識別手段22の詳細実施の形態
を示したもので、画像差演算部221と輪郭抽出部222と形
状識別部223とによって構成した例を示したものであ
る。画像差演算部221 は、前述のように、フレームメモ
リ中に蓄えた画像と、基準画像メモリに保存された画像
との差を演算する。これにより、抽出したい物体、例え
ばユーザーと背景の部分を分離できるわけである。例え
ば、画像差演算部221 を単純な引算回路で構成した場
合、図５に示すように、フレームメモリ中の画像中のユ
ーザーの手の部分だけを抽出することが出来るわけであ
る。輪郭抽出部222は、画像差演算部221 によって演算
した結果の画像中に存在する物体の輪郭形状を抽出す
る。具体的な方法例としては、画像のエッジを抽出する
ことにより、簡単に輪郭形状が抽出できる。FIG. 4 shows a detailed embodiment of the shape identifying means 22, and shows an example constituted by the image difference calculating section 221, the contour extracting section 222 and the shape identifying section 223. The image difference calculation unit 221 calculates the difference between the image stored in the frame memory and the image stored in the reference image memory, as described above. By this, the object to be extracted, for example, the user and the background part can be separated. For example, when the image difference calculation unit 221 is composed of a simple subtraction circuit, as shown in FIG. 5, only the user's hand part in the image in the frame memory can be extracted. The contour extraction unit 222 extracts the contour shape of the object existing in the image calculated as a result of the image difference calculation unit 221. As a concrete example of the method, the contour shape can be easily extracted by extracting the edge of the image.
【００４５】形状識別部223は、輪郭抽出部222によって
抽出した、手の輪郭形状を詳細識別し、例えばその形状
が、図３(ａ)に示すような、一本指の形状であるのか、
又図３(ｂ)に示すような二本指の形状であるのかを判断
する。形状の識別法としては例えば、テンプレートマッ
チング、形状モデルとのマッチング手法、ニューラルネ
ットワークなどを用いることが可能である。The shape identification unit 223 identifies the outline shape of the hand extracted by the outline extraction unit 222 in detail, and for example, whether the shape is the shape of one finger as shown in FIG.
Further, it is determined whether or not the shape is a two-finger shape as shown in FIG. As a shape identification method, for example, template matching, a shape model matching method, a neural network, or the like can be used.
【００４６】アイコン生成部24は、形状識別部223 によ
る手の形状の識別結果に基づき、ディスプレイに表示す
べき特殊形状としてアイコン画像を生成する。例えば、
手の形状の識別結果が一本指の形状であれば、例えば図
６(ａ)に示すような数字”１”のアイコンを生成し、ま
た二本指の形状であれば、例えば図６(ｂ)に示すよう
な、数字”２”のアイコンを生成する。アイコンの形状
としては手の形状の識別結果が一本指の形状であれば、
図６(ｃ)に示すような一本指型のアイコンを、又二本指
の形状であれば、図６(ｄ)に示すような二本指型のアイ
コンなどを生成してもよい。表示制御部23は、形状識別
部223 による手の形状の識別結果に基づき表示を制御す
る。例えば、識別結果に基づいた前記アイコンを表示す
るとともに識別結果と予め対応づけてあるメニューを手
形状の識別結果に基づいて強調して表示を行う。The icon generating section 24 generates an icon image as a special shape to be displayed on the display, based on the result of hand shape identification by the shape identifying section 223. For example,
If the result of hand shape identification is a one-finger shape, for example, an icon with the number "1" as shown in FIG. 6A is generated. An icon with the number "2" is generated as shown in b). As for the shape of the icon, if the recognition result of the shape of the hand is the shape of one finger,
A one-finger type icon as shown in FIG. 6C, or a two-finger type icon as shown in FIG. 6D may be generated if it has a two-finger shape. The display control unit 23 controls display based on the result of hand shape identification by the shape identification unit 223. For example, the icon based on the identification result is displayed, and the menu previously associated with the identification result is highlighted based on the identification result of the hand shape.
【００４７】以上の様に構成した本実施例による操作例
を以下に示す。図７(ａ)に示すように、本実施例のイン
ターフェイス装置を備えた機器にユーザーが向い、手を
一本指の形状にすると、ディスプレイ上に数字”１”の
アイコンが表示されるとともに、１番目のメニューであ
るテレビの表示が強調表示される。このとき強調表示に
あわせてディスプレイ装置から音あるいは音声を出力す
ることで操作者の注意を更に喚起することが可能であ
る。ここで、図７(ｂ)のように手を二本指の形状にする
と、ディスプレイ上に数字”２”のアイコンが表示され
るとともに、２番目のメニューであるネットワークの表
示が強調表示される。この状態で例えば一定時間同じ手
の形状を維持することで２番目のメニューが選択され、
ホストコンピュータにネットワーク端末の表示を行うよ
うに指令を与えることができる。メニューの選択には音
声などを併用してもよい。図７(ｃ)のように予め決めら
れた手の形状以外の場合にはディスプレイ上にはアイコ
ンおよびメニューは表示されず、ホストコンピュータに
命令は送られない。An operation example according to the present embodiment configured as described above will be shown below. As shown in FIG. 7 (a), when the user faces the device equipped with the interface device of the present embodiment and has a one-fingered hand, the icon of the number "1" is displayed on the display, and The first menu, the television display, is highlighted. At this time, it is possible to further draw the operator's attention by outputting sound or voice from the display device in accordance with the highlighted display. Here, if the hand is made into a two-finger shape as shown in FIG. 7 (b), the icon of the numeral "2" is displayed on the display and the network display which is the second menu is highlighted. . In this state, for example, by keeping the same hand shape for a certain time, the second menu is selected,
The host computer can be instructed to display a network terminal. Voice or the like may be used together to select the menu. If the shape of the hand is other than the predetermined shape as shown in FIG. 7C, no icon and menu are displayed on the display and no command is sent to the host computer.
【００４８】このように本実施例によれば、撮像した画
像中の手の形状を識別し、識別結果に応じてコンピュー
タ等の機器を制御することが可能であり、キーボードや
マウスなどの機器を用いずに遠隔から非接触で操作を行
うことが可能である。また、手の形状を識別した結果を
画面に反映させることで使用者が識別結果を確認しなが
ら操作を行うことができ、使いやすくかつ確実な操作が
可能となる。As described above, according to this embodiment, it is possible to identify the shape of the hand in the captured image and control the device such as the computer according to the identification result. It is possible to perform non-contact operation remotely without using it. Further, by reflecting the result of identifying the shape of the hand on the screen, the user can perform the operation while checking the identification result, and the operation is easy and reliable.
【００４９】なお、本実施例では単にメニュー選択に適
用した例を示したが、手のある形状に従ったをアイコン
表示が、絵や文章などと置き換わるように前もって設定
することにより、絵や文字を表示に書き込み制御するこ
とも容易であることは言うまでもない。In the present embodiment, an example in which the present invention is simply applied to menu selection is shown. However, by setting in advance that the icon display according to the shape of the hand is replaced with a picture or a text, a picture or a character can be displayed. It is needless to say that it is easy to control writing on the display.
【００５０】（第２の実施例）図８は、本発明によるイ
ンターフェイス装置の第２の実施例の外観を示したもの
である。図８において、第１の実施例と同様の機能を有
する部分には同じ数値で構成要素を示す。即ち、１はホ
ストコンピュータ、２は表示に用いるディスプレイ、３
は画像を撮像するＣＣＤカメラである。ＣＣＤカメラ３
は、ディスプレイ２の表示方向と同一方向に撮像面を配
置してあり、ユーザーが表示面に向かうことにより、ユ
ーザーの手振りを撮像できるようになっている。ディス
プレイ２の表示面上には、仮想スイッチ204,205,206,及
び前記仮想スイッチを選択する矢印カーソルのアイコン
203が表示できるようになっている。(Second Embodiment) FIG. 8 shows the appearance of a second embodiment of the interface device according to the present invention. In FIG. 8, components having the same functions as those in the first embodiment are indicated by the same numerical values. That is, 1 is a host computer, 2 is a display used for display, 3
Is a CCD camera for capturing an image. CCD camera 3
Has an imaging surface arranged in the same direction as the display direction of the display 2, and the user can image the hand gesture by moving toward the display surface. On the display surface of the display 2, virtual switches 204, 205, 206 and an icon of an arrow cursor for selecting the virtual switch.
203 can be displayed.
【００５１】図９は、本実施の形態の詳細な構成のブロ
ック図を示すものである。ＣＣＤカメラ３から入力され
た画像は、フレームメモリ21に蓄えられる。基準画像メ
モリ25には、予め撮像された画像が、基準画像として保
存されている。基準画像更新部26は、タイマ261と画像
更新部262とによって構成してあり,タイマ261で指示さ
れる一定の時間間隔でフレームメモリ21に保存した最新
画像を基準画像メモリ25に転送し、基準画像を更新す
る。FIG. 9 is a block diagram showing the detailed structure of this embodiment. The image input from the CCD camera 3 is stored in the frame memory 21. In the reference image memory 25, an image captured in advance is stored as a reference image. The reference image updating unit 26 is composed of a timer 261 and an image updating unit 262, and transfers the latest image stored in the frame memory 21 to the reference image memory 25 at a fixed time interval designated by the timer 261 and transfers it to the reference image memory 25. Update the image.
【００５２】動作認識部22は、フレームメモリ中に蓄え
た画像と、基準画像メモリに保存された画像との差を抽
出することにより、画像中から背景画像を取り除くと共
に、例えばユーザーの手に相当する部分を抽出し、その
形状が、例えば図１０(ａ)に示すような一本指の形状で
あるのか、又図１０(ｂ)に示すような握り拳の形状であ
るのかを判断する。The motion recognition unit 22 extracts the background image from the image by extracting the difference between the image stored in the frame memory and the image stored in the reference image memory, and corresponds to, for example, the hand of the user. The portion to be extracted is extracted and it is determined whether the shape is, for example, the shape of a single finger as shown in FIG. 10A or the shape of a clenched fist as shown in FIG. 10B.
【００５３】図１１は、動作認識部22の詳細を示したも
ので、画像差演算部221と輪郭抽出部222と形状変化識別
部225と位置検出部224とによって構成した例を示したも
のである。FIG. 11 shows the details of the motion recognition section 22, and shows an example constituted by the image difference calculation section 221, the contour extraction section 222, the shape change identification section 225, and the position detection section 224. is there.
【００５４】画像差演算部221は、前述のようにフレー
ムメモリ21中に蓄えた画像と,基準画像メモリ25に保存
された画像との差を演算する。これにより、動きとして
抽出したい物体、例えばユーザーの手の部分と背景の部
分を分離できると同時に、動いている物体画像だけを抽
出できるわけである。例えば,画像差演算部221を単純な
引算回路で構成した場合、図１２に示すように、基準画
像中の手の部分と、フレームメモリ中の最新画像中の手
の部分だけを抽出することが出来るわけであり、動いて
いる手の部分だけを簡単に同定できるわけである。輪郭
抽出部222は,画像差演算部221によって演算した結果の
画像中に存在する物体、即ち,動く前と、動いた後の手
の部分の輪郭形状を抽出する。具体的な方法例として
は、画像のエッジを抽出することにより、簡単に輪郭形
状が抽出できる。The image difference calculation unit 221 calculates the difference between the image stored in the frame memory 21 and the image stored in the reference image memory 25 as described above. This makes it possible to separate the object desired to be extracted as a motion, for example, the user's hand part and the background part, and at the same time to extract only the moving object image. For example, when the image difference calculation unit 221 is configured by a simple subtraction circuit, as shown in FIG. 12, only the hand part in the reference image and the hand part in the latest image in the frame memory should be extracted. Therefore, it is possible to easily identify only the moving hand part. The contour extracting unit 222 extracts the contour shapes of the object existing in the image calculated by the image difference calculating unit 221, that is, the part of the hand before moving and the part of the hand after moving. As a concrete example of the method, the contour shape can be easily extracted by extracting the edge of the image.
【００５５】形状変化識別部225は、輪郭抽出部222によ
って抽出した、動いた後の手の部分の輪郭形状を詳細識
別し、例えばその形状が、図１０(ａ)に示すような、一
本指の形状であるのか、又図１０(ｂ)に示すような握り
拳の形状であるのかを判断する。同時に位置検出部224
は,前記動いた後のユーザーの手の部分の輪郭形状の重
心座標を演算する。The shape change identifying section 225 identifies in detail the contour shape of the part of the hand after movement, which is extracted by the contour extracting section 222. For example, the shape is one line as shown in FIG. It is determined whether it is the shape of a finger or the shape of a clenched fist as shown in FIG. At the same time, the position detector 224
Calculates the barycentric coordinates of the contour shape of the user's hand after the movement.
【００５６】アイコン生成部24は、形状変化識別部225
による手の形状の識別結果に基づき,ディスプレイに表
示すべきアイコン画像を生成する。アイコン画像の例と
しては例えば、手の形状の識別結果が一本指の形状であ
れば、例えば図１３(ａ)に示すような矢印のアイコンを
生成し、又握り拳の形状であれば、例えば図１３(ｂ)に
示すようなＸ印のアイコンを生成する。また、手の形状
の識別結果が二本指の形状であれば、例えば図１３(ｃ)
に示すような二本指の形状を模した形状のアイコンを生
成し、又握り拳の形状であれば、例えば図１３(ｄ)に示
すような、握り拳の形状を模した形状のアイコンを生成
する構成としてもよい。The icon generating section 24 includes a shape change identifying section 225.
An icon image to be displayed on the display is generated based on the recognition result of the hand shape by. As an example of the icon image, for example, if the recognition result of the shape of the hand is the shape of one finger, an icon of an arrow as shown in FIG. 13A is generated, and if it is the shape of a clenched fist, for example, An icon with an X mark as shown in FIG. 13B is generated. If the result of hand shape identification is the shape of two fingers, for example, as shown in FIG.
An icon having a shape imitating the shape of a two-finger as shown in Fig. 13 is generated, and if the shape is a clenched fist, an icon having a shape imitating the shape of a clenched fist as shown in Fig. 13D is generated. It may be configured.
【００５７】表示制御部23は、アイコン生成部24によっ
て生成したアイコンのディスプレイ２上での表示位置を
制御するもので、座標変換部231と座標反転部232から成
る。座標変換部231は,撮像した画像の座標からディスプ
レイ２の表示座標への変換を行ない、又座標反転部232
は、変換した表示座標の左右位置を反転する。The display control unit 23 controls the display position of the icon generated by the icon generation unit 24 on the display 2, and includes a coordinate conversion unit 231 and a coordinate reversal unit 232. The coordinate conversion unit 231 performs conversion from the coordinates of the captured image to the display coordinates of the display 2, and the coordinate inversion unit 232
Reverses the horizontal position of the converted display coordinates.
【００５８】即ち、位置検出部224 によって検出したユ
ーザーの手に相当する部分の画像中の重心座標から、デ
ィスプレイ２の表示座標への変換を行い、左右の座標を
反転させてディスプレイ２にアイコンを表示するわけで
ある。この操作により、ユーザーが手を右に動かせば、
この動作を鏡に写したのと同様に、表示画面上でアイコ
ンが向かって右に動く。That is, the barycentric coordinates in the image of the portion corresponding to the user's hand detected by the position detecting unit 224 are converted into the display coordinates of the display 2, and the left and right coordinates are reversed to display the icon on the display 2. It is displayed. By this operation, if the user moves his hand to the right,
The icon moves to the right on the display screen, as if this action was mirrored.
【００５９】以上の様に構成した本実施例による操作例
を以下に示す。図８に示すように、本実施例によるイン
ターフェイス装置を備えた機器にユーザーが向い、手を
一本指の形状にして動かすと、ディスプレイ上に表示し
た矢印カーソルが、手の動きに対応した任意の位置に移
動する。次に、ディスプレイ２上に表示した任意の仮想
スイッチ204,205,206の上に手を動かすことによって矢
印カーソルを移動させ、手を握り、握り拳形状にする
と、その仮想スイッチ204,205,206 が選択され、ホスト
コンピュータ１に指令を与えることができるわけであ
る。An operation example according to the present embodiment configured as described above will be shown below. As shown in FIG. 8, when the user turns to a device equipped with the interface device according to the present embodiment and moves the hand in the shape of one finger, the arrow cursor displayed on the display displays an arbitrary arrow corresponding to the movement of the hand. Move to position. Next, when the arrow cursor is moved by moving the hand on any of the virtual switches 204, 205, 206 displayed on the display 2 and the hand is grasped and made into a clenched fist shape, the virtual switch 204, 205, 206 is selected, and the host computer 1 is instructed. Can be given.
【００６０】尚、本実施例では、撮像した画像中の物体
の形状及び動きを認識する構成としたが、撮像した画像
中の物体の形状または動きのいずれかを認識する構成と
してもよいことは言うまでもない。In this embodiment, the shape and movement of the object in the picked-up image are recognized, but the shape or movement of the object in the picked-up image may be recognized. Needless to say.
【００６１】以上のように本実施例によれば、撮像した
画像中の物体の形状及び又は動きを認識する動作認識部
と、動作認識部によって認識した物体の形状及び又は動
きを表示する表示部と、撮像部で撮像した画像を保存す
るフレームメモリと、フレームメモリ中に保存した画像
よりも前の時間に撮像した画像を基準画像として蓄積す
る基準画像メモリとを設け、動作認識部に、フレームメ
モリ中の画像と、基準画像メモリ中に蓄積している基準
画像との差異を抽出することにより、撮像部にユーザー
が向い、例えば手振りによって指示を与えると、与えた
手振りが表示画面上に表示され、例えば表示画面上に表
示した仮想スイッチ等を手振りによって選択でき、マウ
ス等の入力装置を必要とせず、非常に簡便な機器の操作
が可能となるものである。As described above, according to this embodiment, the motion recognition unit that recognizes the shape and / or motion of an object in a captured image, and the display unit that displays the shape and / or motion of the object recognized by the motion recognition unit. A frame memory for storing an image captured by the image capturing section, and a reference image memory for accumulating an image captured at a time earlier than the image stored in the frame memory as a reference image. By extracting the difference between the image in the memory and the reference image stored in the reference image memory, the user faces the imaging unit, and when the user gives an instruction, for example, by hand gesture, the given hand gesture is displayed on the display screen. For example, it is possible to select a virtual switch displayed on the display screen by hand, and it is possible to operate the device very easily without the need for an input device such as a mouse. A.
【００６２】（第３の実施例）本発明によるインターフ
ェイス装置の第３の実施例の外観は第２の実施例で示し
た図８と同様であり、第２の実施例と同じ部分は図８、
図１０を用いて説明し、その他異なる部分のみを図１４
以降に示している。(Third Embodiment) The external appearance of the third embodiment of the interface device according to the present invention is similar to that of FIG. 8 shown in the second embodiment, and the same parts as those of the second embodiment are shown in FIG. ,
Description will be given with reference to FIG. 10, and only other different portions will be described with reference to FIG.
It is shown below.
【００６３】図１４は、第３の実施例の詳細ブロック図
を示すものである。ＣＣＤカメラ３から入力された画像
は、フレームメモリ３１に蓄えられる。動作認識部３２
は、フレームメモリ３１中に蓄えた画像中から、例えば
ユーザーの手に相当する部分を抽出し、その形状が、例
えば図１０(ａ)に示すような一本指の形状であるのか図
１０(ｂ)に示すような握り拳の形状であるのかを判断す
る。FIG. 14 is a detailed block diagram of the third embodiment. The image input from the CCD camera 3 is stored in the frame memory 31. Motion recognition unit 32
Is extracted from the image stored in the frame memory 31, for example, a portion corresponding to the hand of the user, and the shape thereof is, for example, the shape of a single finger as shown in FIG. It is judged whether it is the shape of a clenched fist as shown in b).
【００６４】図１５は、動作認識部32の詳細を示したも
のであり、図１６〜図２０を用いてその詳細動作を説明
する。まず、輪郭抽出部321 は、画像中に存在する物体
の輪郭形状を抽出する。具体的な方法例としては、画像
を二値化し、そのエッジを抽出することにより、簡単に
輪郭形状が抽出できる。図１７(ａ)は、抽出した輪郭線
の一例であり、手の部分は一本指の形状を示している。FIG. 15 shows the details of the motion recognition section 32, and the detailed operation will be described with reference to FIGS. 16 to 20. First, the contour extraction unit 321 extracts the contour shape of the object existing in the image. As a concrete example of the method, the contour shape can be easily extracted by binarizing the image and extracting the edges thereof. FIG. 17A is an example of the extracted contour line, and the hand portion shows the shape of one finger.
【００６５】次に輪郭波形演算部322は、図１７(ａ)に
示すような輪郭抽出部321によって抽出した物体の輪郭
形状を図中の開始点ｓを起点として、図の矢印の方向
（反時計回り）に輪郭線をたどり、図１９に示すよう
に、輪郭線上の各点ｘにおける輪郭線の水平線からの角
度θを、開始点ｓからの距離ｌに対する関数として抽出
し、図１７(ｂ)に示すような、距離ｌを時間軸とみなし
た波形形状に変換すると同時に、距離ｌに対応する輪郭
線上の各点の座標をテーブルにして、変換テーブル324
に保存する。3231及び3232に示す形状フィルタ１及び形
状フィルタ２は、それぞれ図１７(ｂ)に示した輪郭波形
中の手の部分の凹凸、及び指の部分の凹凸に対応する帯
域を通過させるフィルタである。Next, the contour waveform calculation unit 322 uses the contour shape of the object extracted by the contour extraction unit 321 as shown in FIG. (Clockwise), the angle θ from the horizontal line of the contour line at each point x on the contour line is extracted as a function of the distance l from the start point s, as shown in FIG. ), The distance 1 is converted into a waveform shape that is regarded as a time axis, and at the same time, the coordinates of each point on the contour line corresponding to the distance 1 are converted into a table, and the conversion table 324
To save. The shape filter 1 and the shape filter 2 shown in 3231 and 3232 are filters that pass the bands corresponding to the unevenness of the hand and the unevenness of the finger in the contour waveform shown in FIG. 17B, respectively.
【００６６】形状フィルタ１により、図１７(ｂ)は、図
１７(ｃ)に示すように、手の部分の凹凸のみを反映した
滑らかな形状波形に変換され、又形状フィルタ２によっ
て、図１７(ｄ)に示すように、指の凹凸のみを反映した
形状波形に変換され、それぞれ微分器3251及び3252によ
って微分され、最終的に、図１７(ｅ)及び図１７(ｆ)に
示す形状微分波形が得られる。形状判定部3262は、手の
部分の輪郭形状が、図１０(ａ)に示すような二本指の形
状であるのか、又図１０(ｂ)に示すような握り拳の形状
であるのかを判断し、同時に座標演算部3261は、前記ユ
ーザーの手の部分の輪郭形状の重心座標を演算するもの
である。座標演算部3261は、図１７(ｅ)に示す形状微分
波形中の、大きなパルス波形が存在する位置、ｌｃ１、
ｌｃ２を求め、座標変換テーブル324 により、図２０に
示すｃ１点、ｃ２点へ変換し、ｃ１点からｃ２点までの
手の部分の輪郭線より、手の部分の重心を演算して、手
座標として出力する。17B is converted by the shape filter 1 into a smooth shape waveform that reflects only the irregularities of the hand, as shown in FIG. As shown in (d), it is converted into a shape waveform that reflects only the unevenness of the finger, and differentiated by differentiators 3251 and 3252, respectively, and finally, the shape differentiation shown in FIGS. 17 (e) and 17 (f). The waveform is obtained. The shape determination unit 3262 determines whether the contour shape of the hand portion is a two-finger shape as shown in FIG. 10 (a) or a clenched fist shape as shown in FIG. 10 (b). At the same time, the coordinate calculation unit 3261 calculates the barycentric coordinates of the contour shape of the user's hand. The coordinate calculation unit 3261 determines the position where a large pulse waveform is present in the shape differential waveform shown in FIG.
lc2 is calculated and converted into the points c1 and c2 shown in FIG. 20 by the coordinate conversion table 324, and the center of gravity of the hand is calculated from the contour of the hand from c1 to c2 to calculate the hand coordinate. Output as.
【００６７】又、形状判定部3262は、図１７(ｆ)の形状
微分波形中の指の部分の相当するパルス波形の数をカウ
ントして出力する。即ち、図１７(ｆ)の場合には、指の
部分に相当する２つの大きなパルス波形が存在するた
め、図１０(ａ)に示すような、二本指の形状であると判
定して出力するわけである。又、図１８(ａ)に示すよう
に、手を握った形状の場合、指の部分の凹凸がほとんど
無く、形状フィルタ２の出力は、図１８(ｃ)に示すよう
に、凹凸の無い形状波形となり、従って微分器3262の出
力も、図１８(ｄ)に示すように、パルス波形が無いよう
な形状微分波形となり、パルス波形のカウントは０とな
り、図１０(ｂ)に示すような握り拳の形状であると判定
して出力できるわけである。この形状判定部3262の具体
的構成例としては、単純なしきい値処理法や、ニューラ
ルネットワーク等を用いることができる。The shape determination unit 3262 counts and outputs the number of pulse waveforms corresponding to the finger portion in the shape differential waveform of FIG. 17 (f). That is, in the case of FIG. 17F, since there are two large pulse waveforms corresponding to the finger portion, it is determined that the two-finger shape as shown in FIG. It does. Further, as shown in FIG. 18 (a), in the case of the shape of holding a hand, there is almost no unevenness of the finger portion, and the output of the shape filter 2 has a shape without unevenness as shown in FIG. 18 (c). Therefore, the output of the differentiator 3262 also becomes a shape-differentiated waveform with no pulse waveform as shown in FIG. 18 (d), the pulse waveform count becomes 0, and the grip fist as shown in FIG. 10 (b). It is possible to determine and output the shape. As a specific configuration example of the shape determination unit 3262, a simple threshold value processing method, a neural network, or the like can be used.
【００６８】図１４のアイコン生成部34は、図１５中の
形状判定部3262による手の形状の識別結果に基づき、デ
ィスプレイに表示すべきアイコン画像を生成する。例え
ば、手の形状の識別結果が一本指の形状であれば、例え
ば図１６(ａ)に示すような矢印のアイコンを、又握り拳
の形状であれば、例えば図１６(ｂ)に示すような、Ｘ印
のアイコンを生成する。表示制御部33は、アイコン生成
部34によって生成したアイコンのディスプレイ上での表
示位置を制御するもので、座標変換部331 と座標反転部
332から成る。座標変換部331は、撮像した画像の座標か
らディスプレイの表示座標への変換を行ない、又、座標
反転部332 は、変換した表示座標の左右位置を反転す
る。即ち、図１５中の座標演算部3261が出力したユーザ
ーの手に相当する部分の画像中の重心座標から、ディス
プレイの表示座標への変換を行い、左右の座標を反転さ
せてディスプレイにアイコンを表示するわけである。こ
の操作により、ユーザーが手を右に動かせば、この動作
を鏡に写したのと同様に、表示画面状でアイコンが向か
って右に動く。The icon generator 34 of FIG. 14 generates an icon image to be displayed on the display, based on the result of hand shape identification by the shape determiner 3262 of FIG. For example, if the identification result of the shape of the hand is the shape of a single finger, for example, an arrow icon as shown in FIG. 16 (a), and if it is the shape of a clenched fist, as shown in FIG. 16 (b), for example. The icon with the X mark is generated. The display control unit 33 controls the display position of the icon generated by the icon generation unit 34 on the display, and includes the coordinate conversion unit 331 and the coordinate inversion unit.
Consists of 332. The coordinate conversion unit 331 converts the coordinates of the captured image to the display coordinates of the display, and the coordinate reversal unit 332 reverses the left and right positions of the converted display coordinates. That is, the barycentric coordinates in the image of the portion corresponding to the user's hand output by the coordinate calculation unit 3261 in FIG. 15 are converted into the display coordinates on the display, and the left and right coordinates are reversed to display the icon on the display. It does. By this operation, when the user moves his or her hand to the right, the icon moves to the right on the display screen in the same manner as when this action is mirrored.
【００６９】以上の様に構成した本実施例の操作例を以
下に示す。図８に示すように、本実施例によるインター
フェイス装置を備えた機器にユーザーが向い、手を一本
指の形状にして動かすと、ディスプレイ２上に表示した
アイコン203 の矢印カーソルが、手の動きに対応した任
意の位置に移動する。次に、ディスプレイ２上に表示し
た任意の仮想スイッチ204,205,206 の上に手を動かすこ
とによって矢印カーソルを移動させ、手を握り、握り拳
形状にすると、その仮想スイッチが選択され、ホストコ
ンピュータ１に指令を与えることができるわけである。An operation example of this embodiment having the above-mentioned configuration will be shown below. As shown in FIG. 8, when the user turns to a device equipped with the interface device according to the present embodiment and moves the hand in the shape of one finger, the arrow cursor of the icon 203 displayed on the display 2 shows the movement of the hand. Move to any position corresponding to. Next, when the arrow cursor is moved by moving the hand on any of the virtual switches 204, 205, 206 displayed on the display 2 and the hand is grasped to make a clenched fist shape, the virtual switch is selected and a command is given to the host computer 1. It can be given.
【００７０】又、表示するアイコンの例としては、図１
６(ｃ)、(ｄ)に示すように、手の形状そのものをアイコ
ン化すれば、実際の手の動きと対応が取れ、分かりやす
い。具体的には、図１６(ｃ)、(ｄ)のような画像を予め
登録しておいてもよいし、又輪郭抽出部によって抽出し
た手の輪郭形状データを任意の大きさに縮小又は拡大
し、アイコン画像として用いることもできる。Further, as an example of the icon to be displayed, FIG.
As shown in FIGS. 6 (c) and 6 (d), if the shape of the hand itself is iconized, it can be easily understood because it can correspond to the actual movement of the hand. Specifically, images such as those in FIGS. 16C and 16D may be registered in advance, or the contour shape data of the hand extracted by the contour extraction unit may be reduced or enlarged to an arbitrary size. However, it can also be used as an icon image.
【００７１】このように、本実施例はインターフェイス
装置の撮像部にユーザーが向い、例えば手振りによって
指示を与えると、撮像部は、ユーザーの画像を撮像し、
ユーザーの画像の輪郭を抽出し、輪郭上の基準点を開始
点とした輪郭線の長さを横軸として、水平線に対する輪
郭線の角度、即ち輪郭波形として変換される。この輪郭
波形は、所定の帯域のバンドパスフィルタ、例えば、指
の凹凸に相当するバンドパスフィルタによって構成した
形状フィルタによって指の凹凸形状を表わす形状波形に
変換され、手のある位置を演算すると同時に、この形状
波形中に存在するパルス数を数えるだけで、出されてい
る指の本数、即ち手の形状を正確に判断させることが出
来る。この手の位置や形状に基づき、与えた手振りが表
示画面上に表示され、例えば表示画面上に表示した仮想
スイッチ等を手振りによって選択出来るものであり、マ
ウス等の入力装置を必要とせず、非常に簡便な機器の操
作が可能となるものである。As described above, in this embodiment, when the user turns to the image pickup unit of the interface device and gives an instruction by, for example, a hand gesture, the image pickup unit picks up an image of the user,
The contour of the image of the user is extracted, and the length of the contour line with the reference point on the contour as the starting point is taken as the horizontal axis, and the angle of the contour line with respect to the horizontal line, that is, the contour waveform is converted. This contour waveform is converted into a shape waveform representing the uneven shape of the finger by a bandpass filter of a predetermined band, for example, a shape filter configured by a bandpass filter corresponding to the unevenness of the finger, and at the same time the position of the hand is calculated. By counting the number of pulses existing in this shape waveform, it is possible to accurately determine the number of fingers that have been ejected, that is, the shape of the hand. Based on the position and shape of this hand, the given hand gesture is displayed on the display screen, and for example, virtual switches displayed on the display screen can be selected by hand gesture, which does not require an input device such as a mouse, This makes it possible to operate the device easily.
【００７２】（第４の実施例）本発明の第４の実施例に
ついて図面を参照して説明する。図２６はインターフェ
イス装置の第４の実施例のブロック図を示すものであ
る。(Fourth Embodiment) A fourth embodiment of the present invention will be described with reference to the drawings. FIG. 26 shows a block diagram of a fourth embodiment of the interface device.
【００７３】図２６において、４１は入力手段、４２は
カーソル記憶手段、４３は物体記憶手段、４４は表示手
段、４５は相互作用判定手段、４５ａは距離計算手段、
４５ｂは動作認識手段、４５ｃは総合判定手段、４５ｄ
は移動ベクトル算出手段、４５ｅは形状判定手段、４５
ｆは学習手段、４５ｇは座標変換手段、４６は視線入力
手段である。In FIG. 26, 41 is input means, 42 is cursor storage means, 43 is object storage means, 44 is display means, 45 is interaction determination means, 45a is distance calculation means,
45b is a motion recognition means, 45c is a comprehensive determination means, 45d
Is a movement vector calculation means, 45e is a shape determination means, 45e
f is a learning unit, 45g is a coordinate conversion unit, and 46 is a line-of-sight input unit.
【００７４】図２６において操作者が入力手段４１に対
して操作を行い、前記操作結果に基づいて、カーソル記
憶手段４２がカーソルの仮想空間内での位置を代表する
代表点座標および形状を変更・記憶し、表示手段４４は
カーソル記憶手段４２が記憶するカーソルの仮想空間内
での位置を代表する代表点座標および形状と物体記憶手
段４３が記憶する仮想物体の仮想空間内での位置を代表
する代表点座標および形状とに基づいて前記カーソルお
よび前記仮想物体を２次元表示あるいは３次元表示す
る。In FIG. 26, the operator operates the input means 41, and based on the operation result, the cursor storage means 42 changes the representative point coordinates and the shape representing the position of the cursor in the virtual space. The display means 44 stores the representative point coordinates and shape representative of the position of the cursor stored in the cursor storage means 42 in the virtual space, and the position of the virtual object stored in the object storage means 43 in the virtual space. The cursor and the virtual object are displayed two-dimensionally or three-dimensionally based on the representative point coordinates and the shape.
【００７５】視線入力手段４６は前記表示上における操
作者の視線の位置を検出する。距離計算手段４５ａはカ
ーソル記憶手段４２と物体記憶手段４３に記憶する代表
点の座標に基づいてカーソルと仮想物体との仮想空間内
における距離を計算する。動作認識手段４５ｂはカーソ
ル記憶手段４２と物体記憶手段４３に記憶する内容に基
づいて操作動作の認識を行う。移動ベクトル算出手段４
５ｄは仮想空間内におけるカーソルの移動方向および移
動距離を算出する。形状判定手段４５ｅはカーソルの形
状と仮想物体の形状が相互作用を起こすのに適切か否か
を判定する。学習手段４５ｆは総合判定手段４５ｃがカ
ーソルと仮想物体の間の相互作用を起こした場合の前記
カーソルと前記仮想物体の位置及び形状の関係を記憶
し、現在の状態が過去に相互作用を起こした状態に類似
しているか否かを出力する。The line-of-sight input means 46 detects the position of the line of sight of the operator on the display. The distance calculation means 45a calculates the distance in the virtual space between the cursor and the virtual object based on the coordinates of the representative points stored in the cursor storage means 42 and the object storage means 43. The motion recognition means 45b recognizes the operation motion based on the contents stored in the cursor storage means 42 and the object storage means 43. Movement vector calculation means 4
5d calculates the moving direction and moving distance of the cursor in the virtual space. The shape determining means 45e determines whether or not the shape of the cursor and the shape of the virtual object are suitable for causing an interaction. The learning unit 45f stores the relationship between the position and the shape of the cursor and the virtual object when the comprehensive determination unit 45c causes the interaction between the cursor and the virtual object, and the present state has caused the interaction in the past. It outputs whether or not it is similar to the state.
【００７６】総合判定手段４５ｃは距離計算手段４５ａ
の出力するカーソルと仮想物体間との距離と、動作認識
手段４５ｂが認識した認識結果と、移動ベクトル算出手
段４５ｄが算出するカーソルの移動方向と移動距離と、
視線入力手段４６が検出する視線の位置と、形状判定手
段４５ｅの判定結果と、学習手段４５ｆが出力する過去
の相互作用との類似度合とに基づいて前記カーソルと前
記仮想物体が相互作用するか否かを判定し、相互作用の
結果に応じて前記カーソルや前記仮想物体の代表点座標
や形状を変更する。座標変換手段４５ｇは相互作用判定
手段４５が相互作用を起こした場合に距離計算手段４５
ａが距離計算に用いるカーソルと対象となる仮想物体と
の仮想空間内での座標を両者の位置が近づくように座標
変換を行う。The comprehensive judgment means 45c is the distance calculation means 45a.
, The distance between the cursor and the virtual object, the recognition result recognized by the motion recognition unit 45b, the moving direction and the moving distance of the cursor calculated by the moving vector calculation unit 45d,
Whether the cursor interacts with the virtual object based on the position of the line of sight detected by the line-of-sight input unit 46, the determination result of the shape determination unit 45e, and the degree of similarity with the past interaction output by the learning unit 45f. It is determined whether or not, and the representative point coordinates and shapes of the cursor and the virtual object are changed according to the result of the interaction. The coordinate transformation means 45g is a distance calculation means 45 when the interaction determination means 45 causes an interaction.
The coordinate conversion is performed so that the coordinates of the cursor used in the distance calculation and the target virtual object in the virtual space are close to each other.
【００７７】図２２(ａ)，(ｂ)は、本発明のインターフ
ェイス装置に用いるカーソルの第一の実施の形態で二指
のマニピュレータ形状のものである。図２２において、
(ａ)は指を開いた状態、(ｂ)は指を閉じた状態である。
図２２(ｃ)、(ｄ)は本発明のインターフェイス装置に用
いるカーソルの第二の実施の形態で二指二関節のマニピ
ュレータ形状のものである。図において(ｃ)は指を開い
た状態、(ｄ)は指を閉じた状態である。図２２(ｅ)、
(ｆ)は本発明のインターフェイス装置に用いるカーソル
の第三の実施の形態であり五指の手形状のものである。
図２２において、(ｅ)は手を開いた状態、(ｆ)は手を閉
じた状態である。図２３(ａ)，(ｂ)は本発明のインター
フェイス装置に用いる仮想空間内の物体の例である
（(a)は立方体、(b)は平面体）。22A and 22B show a cursor used in the interface device according to the first embodiment of the present invention, which has a two-fingered manipulator shape. In FIG.
(a) shows a state in which the finger is open, and (b) shows a state in which the finger is closed.
22C and 22D show a second embodiment of a cursor used in the interface device of the present invention, which is a manipulator shape with two fingers and two joints. In the figure, (c) shows a state in which the finger is open, and (d) shows a state in which the finger is closed. FIG. 22 (e),
(f) shows a third embodiment of a cursor used in the interface device of the present invention, which has a shape of a five-fingered hand.
In FIG. 22, (e) shows a state in which the hand is open, and (f) shows a state in which the hand is closed. 23A and 23B are examples of objects in the virtual space used in the interface device of the present invention ((a) is a cube, (b) is a plane).
【００７８】以上のように構成したインターフェイス装
置の動作を説明する。本実施例は操作者が３次元の仮想
空間内において図２２のようなカーソルを移動し、前記
仮想空間内に存在する図２３のような仮想物体をつかん
で移動する動作を想定する。操作者の操作は入力手段４
１に対して行う。The operation of the interface device configured as above will be described. In the present embodiment, it is assumed that the operator moves a cursor as shown in FIG. 22 in a three-dimensional virtual space and grabs and moves a virtual object existing in the virtual space as shown in FIG. The operation of the operator is input means 4
Do for 1.
【００７９】ここで、入力にはカーソルの位置あるいは
形状を変化させるための情報を入力する入力装置とし
て、図２７(ａ)〜(ｃ)に示すような手段あるいはカメラ
やキーボード、音声認識などによるコマンド入力などを
用いることができる。図２７(ａ)はマウスで、マウス本
体の移動とボタンのクリックなどによってカーソルを操
作する。図２７(ｂ)はデータグローブで、人の手に装着
し、指の関節角やデータグローブの実空間内での位置を
カーソルの位置と形状に反映させ、カーソルを操作す
る。図２７(ｃ)はジョイスティックで、レバーの操作お
よび操作ボタンとの併用によりカーソルを操作する。カ
メラを用いる場合には、身体または身体の一部（手な
ど）をカメラで撮像し、手の形状および位置を読みと
る。Here, as an input device for inputting information for changing the position or shape of the cursor, means such as those shown in FIGS. 27 (a) to 27 (c), a camera, a keyboard, voice recognition, or the like is used. Command input or the like can be used. FIG. 27A shows a mouse in which the cursor is operated by moving the mouse body and clicking buttons. FIG. 27B shows a data glove, which is attached to a human hand, and the joint angle of the finger and the position of the data glove in the real space are reflected in the position and shape of the cursor to operate the cursor. FIG. 27 (c) shows a joystick in which a cursor is operated by operating a lever and operating buttons. When a camera is used, the body or a part of the body (hand, etc.) is imaged by the camera and the shape and position of the hand are read.
【００８０】図２８は、手のみをカメラで撮像した場合
の形状抽出の一実施の形態を示す。図２８(ａ)はカメラ
で手を撮像した例である。図２８(ａ)の画像の各画素の
輝度を二値化したものが図２８(ｂ)である。図２８(ｂ)
において、黒画領域に外接する長方形の縦の辺の長さと
横の辺の長さとの比率等により手の開閉の度合いの判定
が可能となり、黒画素全体の重心座標と面積から位置と
距離の入力が可能となる。入力手段４１は前記操作内容
（カーソルの移動量やカーソル形状の変更量など）をカ
ーソル記憶手段４２に出力する。FIG. 28 shows an embodiment of shape extraction when only the hand is imaged by the camera. FIG. 28 (a) is an example of capturing an image of a hand with a camera. The brightness of each pixel of the image of FIG. 28 (a) is binarized to obtain FIG. 28 (b). Figure 28 (b)
In, the degree of opening and closing of the hand can be determined by the ratio of the length of the vertical side and the length of the horizontal side circumscribing the black image area. Input becomes possible. The input unit 41 outputs the operation content (the amount of movement of the cursor, the amount of change of the cursor shape, etc.) to the cursor storage unit 42.
【００８１】カーソル記憶手段４２は入力手段４１が出
力した操作内容に基づき、カーソル記憶手段で記憶する
カーソルの代表点の仮想空間内での座標と形状を記憶す
る。代表点としてはカーソルの重心座標（X0,Y0,Z0）を
代表点として用いる。The cursor storage means 42 stores the coordinates and shape of the representative point of the cursor stored in the cursor storage means in the virtual space based on the operation contents output by the input means 41. As the representative point, the barycentric coordinates (X0, Y0, Z0) of the cursor are used as the representative point.
【００８２】尚、代表点としては、カーソルを構成する
各面の中心座標や頂点の座標などを用いてもよい。形状
としては図２２(ａ)の場合は二指の間隔ｄ、図２２
(ｂ)、(ｃ)の場合は各指の関節の内角θｎ（ｎは関節の
番号：θｎが小さくなると関節が曲がる状態を示す）を
記憶情報とする。なお形状としては各指の指先や各関節
の仮想空間内での座標などを用いてもよい。As the representative point, the center coordinates of the respective surfaces forming the cursor, the coordinates of the vertices, etc. may be used. As for the shape, in the case of FIG.
In the cases of (b) and (c), the internal angle θn of the joint of each finger (n indicates a state in which the joint bends when the joint number: θn decreases) is used as the storage information. As the shape, the fingertip of each finger or the coordinates of each joint in the virtual space may be used.
【００８３】物体記憶手段４３は操作の対象となる図２
３に示す仮想空間内の仮想物体の代表点の座標と形状を
記憶する。代表点としては 仮想物体の重心座標（立方体：(X1,Y1,Z1),平面体：（X
2,Y2,Z2）） を代表点として用いる。なお代表点としては、仮想物体
を構成する各面の中心座標や頂点の座標などを用いても
よい。形状としては予め定めた形状を表すパラメータα
を形状として記憶する（ここで立方体をα＝１、平面体
をα＝２と定義する）。なお形状としては頂点座標など
を用いてもよい。The object storage means 43 is the object of the operation shown in FIG.
The coordinates and shape of the representative point of the virtual object in the virtual space shown in 3 are stored. As the representative point, the barycentric coordinates of the virtual object (cube: (X1, Y1, Z1), plane: (X
2, Y2, Z2)) is used as a representative point. It should be noted that as the representative point, the center coordinates of each surface forming the virtual object, the coordinates of the vertices, or the like may be used. As the shape, a parameter α representing a predetermined shape
Is stored as a shape (here, a cube is defined as α = 1 and a plane is defined as α = 2). In addition, you may use vertex coordinates etc. as a shape.
【００８４】表示手段４４はカーソル記憶手段４２と物
体記憶手段４３が記憶するカーソルと仮想物体の位置と
形状の情報に基づいて仮想空間を予め指定した視点から
眺めた像を２次元表示する。図２９(ａ)に表示手段の表
示例を示す。操作者が操作を行うとカーソルの表示位置
あるいは形状が変化し、操作者はその表示に基づいて操
作を続ける。The display means 44 two-dimensionally displays an image of the virtual space viewed from a predesignated viewpoint on the basis of the cursor and the position and shape information of the virtual object stored in the object storage means 43. FIG. 29A shows a display example of the display means. When the operator operates, the display position or shape of the cursor changes, and the operator continues the operation based on the display.
【００８５】相互作用判定手段４５はカーソル位置が変
化する毎にカーソルが物体をつかんだか否か（相互作用
の有無）を判定し、カーソルが物体をつかんだと判断し
た場合にはカーソルの移動にあわせて仮想物体の座標も
移動させる。距離計算手段４５ａは、カーソル記憶手段
４２に記憶するカーソルの重心座標（X0,Y0,Z0）と物体
記憶手段４３に記憶する仮想物体の重心座標（X1,Y1,Z
1),（X2,Y2,Z2）との距離を計算する。The interaction determining means 45 determines whether or not the cursor has grabbed an object (whether there is interaction) every time the cursor position changes, and if the cursor grabs an object, the interaction determination means 45 moves the cursor. At the same time, the coordinates of the virtual object are also moved. The distance calculation means 45a includes the barycentric coordinates (X0, Y0, Z0) of the cursor stored in the cursor storage means 42 and the barycentric coordinates (X1, Y1, Z) of the virtual object stored in the object storage means 43.
1), Calculate the distance from (X2, Y2, Z2).
【００８６】動作認識手段４５ｂ手段は予め登録した動
作として”つかむ”という動作をカーソルの形状の変化
を用いて認識する。図２２(ａ)のカーソルの場合には二
指の間隔ｄが減少し続ける状態を”つかむ”動作と認識
し、図２２(ｂ)、(ｃ)のカーソルの場合には全指の角度
θnが減少し続ける状態を”つかむ”動作と認識する。
なお、動作の認識手法としては形状を表すパラメータ
(前記ｄやθnなど）の時系列的な変化を時系列パターン
認識手法（テーブルマッチング、ＤＰマッチング、ヒド
ゥンマルコフモデル(ＨＭＭ)、リカレントニューラルネ
ットワークなど）を用いて予め特定の動作を学習させた
後、認識手法として用いてもよい。The motion recognizing means 45b means recognizes a "grab" motion as a motion registered in advance by using a change in the shape of the cursor. In the case of the cursor shown in FIG. 22A, the state in which the distance d between the two fingers continues to decrease is recognized as a "grab" action, and in the case of the cursor shown in FIGS. 22B and 22C, the angle θn of all fingers is recognized. Recognize that the state of decreasing is a "grab" action.
In addition, as a method of recognizing motion, a parameter that represents a shape
After learning the specific behavior in advance using the time-series pattern recognition method (table matching, DP matching, Hidden Markov Model (HMM), recurrent neural network, etc.) , May be used as a recognition method.
【００８７】移動ベクトル算出手段４５ｄはカーソルの
重心座標（X0,Y0,Z0）の変化を用いて仮想空間内におけ
るカーソルの移動方向と移動量を算出する。例えば現時
刻ｔの重心座標（X0,Y0,Z0)t と一時刻前の重心座標（X
0,Y0,Z0)t-1 との差分ベクトルの方向と大きさをカーソ
ルの移動方向と移動量とする。The movement vector calculation means 45d calculates the movement direction and movement amount of the cursor in the virtual space by using the change of the barycentric coordinates (X0, Y0, Z0) of the cursor. For example, the barycentric coordinates (X0, Y0, Z0) t at the current time t and the barycentric coordinates (X0, Y0, Z0) t one time before (X
The direction and magnitude of the difference vector from 0, Y0, Z0) t-1 are the moving direction and moving amount of the cursor.
【００８８】形状判定手段４５ｅはカーソル記憶手段に
記憶するカーソルの形状が物体記憶手段に記憶する形状
の仮想物体をつかむのに適切な形状か否か（カーソルの
形状が仮想物体と相互作用を起こすのに適切か否か）を
判定する。ここでは物体の形状を表すパラメータαの値
が１の時はカーソルの指が開いている状態を適切な状態
とする。カーソルの指が開いている状態の判断として
は、例えば、図２２(ａ)のカーソルの場合にはｄの値が
ｄの最大値ｄmax と０との中間値よりも大きい場合と
し、図２２(ｂ)、(ｃ)の場合には各関節角θnがそれぞ
れの最大値θn maxと０との中間値よりもすべて大きい
場合とする。The shape determining means 45e determines whether or not the shape of the cursor stored in the cursor storage means is suitable for grasping the virtual object having the shape stored in the object storage means (the shape of the cursor interacts with the virtual object). Whether or not it is appropriate). Here, when the value of the parameter α representing the shape of the object is 1, the state in which the finger of the cursor is open is regarded as an appropriate state. For example, in the case of the cursor shown in FIG. 22 (a), it is determined that the value of d is larger than the intermediate value between the maximum value dmax of d and 0 in the case of the cursor of FIG. In the cases of b) and (c), it is assumed that each joint angle θn is larger than the intermediate value between the respective maximum values θn max and 0.
【００８９】物体の形状を表すパラメータαの値が０の
時にはカーソルの指先の間隔が狭い状態を適切な状態と
する。カーソルの指先が狭い状態の判断としては、例え
ば図２２(ａ)のカーソルの場合には、ｄの値がｄの最大
値ｄmax と０との中間値よりも小さい場合とし、図２２
(ｂ),(ｃ)の場合には各関節角θnがそれぞれの最大値θ
n max と０との中間値よりもすべて小さい場合とする。
なお、形状の判定法としては、仮想空間においてカーソ
ルが仮想物体を接触する状態でつかんだ時のカーソル形
状を表すパラメータ(ｄあるいはθn）を予め記憶してお
き、それぞれのパラメータの値が±３０％の範囲で一致
すれば つかむ 動作に適切であると判断することなども
できる。When the value of the parameter α representing the shape of the object is 0, the state in which the distance between the fingertips of the cursor is narrow is regarded as an appropriate state. 22A, for example, in the case of the cursor of FIG. 22A, the value of d is smaller than the intermediate value between the maximum value dmax of d and 0.
In the case of (b) and (c), each joint angle θn has its maximum value θ.
It is assumed that all are smaller than the intermediate value between n max and 0.
As the shape determination method, parameters (d or θn) representing the cursor shape when the cursor grasps a virtual object in virtual space are stored in advance, and the value of each parameter is ± 30. If it matches within the range of%, it can be judged that it is appropriate for the grabbing action.
【００９０】視線入力手段４６は操作者の視線を検出
し、表示手段４４が表示する画面上で操作者が注視する
座標(注視点の座標)を算出する。視線の検出手段として
はＣＣＤカメラや光センサー等を用いて操作者の瞳の向
きを検出する方法などを用い、操作者の頭部の位置をカ
メラなどを用いて計測することにより前記画面上の注視
点を算出する。The line-of-sight input means 46 detects the line of sight of the operator and calculates the coordinates on the screen displayed by the display means 44 (the coordinates of the gazing point). As a means for detecting the line of sight, a method of detecting the direction of the operator's pupil using a CCD camera, an optical sensor, or the like is used, and the position of the operator's head is measured by using a camera or the like on the screen. Calculate the point of interest.
【００９１】学習手段４５ｆは総合判定手段４５ｃがカ
ーソルが仮想物体をつかんだと判断したときのカーソル
の形状を表すパラメータ(ｄまたはθn）とつかんだ仮想
物体の形状を表すパラメータαおよび前記カーソルの位
置と前記仮想物体の位置との相対的な位置関係（カーソ
ルの重心と仮想物体の重心とを結ぶベクトル）を記憶
し、現在の仮想物体の形状を表すパラメータと周囲の仮
想物体の形状を表すパラメータおよび現在のカーソルの
重心と周囲の仮想物体の重心との位置関係が、過去に物
体をつかんだ場合に近い場合（例えば、各パラメータお
よび位置関係を表すベクトルの各次元の要素の値が過去
の値と±３０％の範囲で一致する場合等）には過去の状
況と類似していると判断し１を出力し、その他の場合に
は０を出力する。なお、他の学習手段として過去に物体
をつかんだ場合のカーソルの形状を表すパラメータとつ
かんだ仮想物体の形状を表すパラメータαおよび前記カ
ーソルの位置と前記仮想物体の位置との相対的な位置関
係をニューラルネットワークなどを用いて学習してもよ
い。また、学習する項目として視線検出手段４６で検出
した画面上での注視点座標とカーソルの表示画面上での
座標との位置関係などとを含めて学習することもでき
る。The learning means 45f has a parameter (d or θn) representing the shape of the cursor when the comprehensive determining means 45c determines that the cursor has grasped the virtual object, the parameter α representing the shape of the virtual object grasped and the cursor. A relative positional relationship between the position and the position of the virtual object (a vector connecting the center of gravity of the cursor and the center of gravity of the virtual object) is stored, and the parameter representing the shape of the current virtual object and the shape of the surrounding virtual objects are represented. When the positional relationship between the center of gravity of the parameter and the current cursor and the center of gravity of the surrounding virtual object is close to when an object is grabbed in the past (for example, the value of the element of each dimension of the vector representing each parameter and the positional relationship is past). When the value is equal to the value of ± 30%), it is determined that the situation is similar to the past situation, and 1 is output. In other cases, 0 is output. As another learning means, a parameter representing the shape of the cursor when an object is grabbed in the past, a parameter α representing the shape of the grabbed virtual object, and the relative positional relationship between the position of the cursor and the position of the virtual object. May be learned using a neural network or the like. Further, it is also possible to learn as an item to be learned, including the positional relationship between the gazing point coordinates on the screen detected by the line-of-sight detecting means 46 and the coordinates of the cursor on the display screen.
【００９２】座標変換手段４５ｇは物体をつかんだ場合
（相互作用を起こした場合）に、距離計算手段が距離計
算に用いる座標を仮想空間内でのカーソルと対象となる
仮想物体との距離が近づくように座標変換する。例え
ば、カーソルが仮想物体をつかんだときのそれぞれの座
標が（１００、１５０、２０）と（１０５、１４５、５
０）の場合、座標変換手段は各座標軸の内、差のもっと
も大きいＺ座標について(１)式のように変換を行う。When the coordinate transformation means 45g grabs an object (when interaction occurs), the coordinates used by the distance calculation means for distance calculation are closer to the cursor in the virtual space and the target virtual object. Coordinate conversion. For example, when the cursor grasps the virtual object, the respective coordinates are (100, 150, 20) and (105, 145, 5).
In the case of 0), the coordinate transformation means transforms the Z coordinate having the largest difference among the coordinate axes as shown in equation (1).
【００９３】Ｚ’＝0.8×ｚ ・・・・・ (１) ここで、ｚは座標変換手段が入力とするカーソル及び仮
想物体の重心のＺ座標、Ｚ’は座標変換手段の出力する
Ｚ座標を示す。Z ′ = 0.8 × z (1) where z is the Z coordinate of the center of gravity of the cursor and the virtual object which the coordinate transformation means inputs, and Z ′ is the Z coordinate output by the coordinate transformation means. Indicates.
【００９４】この場合Ｘ座標の値およびＹ座標の値は変
更しない。また、カーソル記憶手段と物体記憶手段に記
憶する値は変更しないため、表示手段が表示する画面は
変化しない。上記のような変換を行うことで、仮想空間
内での距離が離れている場合にでも操作者がつかむ動作
を行えば、それ以後は距離計算を行う場合のカーソルと
仮想物体間の距離が小さくなり、距離計算手段が操作者
の知覚する距離感覚に近い距離を計算することが可能と
なる。In this case, the X coordinate value and the Y coordinate value are not changed. Further, since the values stored in the cursor storage means and the object storage means are not changed, the screen displayed by the display means does not change. By performing the conversion as described above, if the operator performs a motion even when the distance in the virtual space is long, the distance between the cursor and the virtual object in the distance calculation after that becomes small. Thus, it becomes possible for the distance calculation means to calculate a distance close to the sense of distance perceived by the operator.
【００９５】総合判定手段４５ｃは距離計算手段４５ａ
の出力するカーソルと仮想物体間との距離が予め定めた
基準以下の場合、動作認識手段４５ｂが予め登録した”
つかむ”という動作を認識した場合に、”つかむ”とい
う相互作用が発生したと判定し、以後”つかむ”相互作
用が終了するまで物体記憶手段４３に記憶するつかんで
いる仮想物体の重心座標の値をカーソルの重心座標に一
致させる。ここで、予め定める前記基準値は実際にカー
ソルと物体が仮想空間内で接触できる距離よりも大きい
値でもよい。例えば図２５（図２４の配置）の場合、仮
想物体とカーソルとの距離が前記距離の基準値以下であ
れば、操作者がつかむ動作を入力手段１に指示し、動作
認識手段４５ｂがつかむ動作を認識すれば仮想物体をつ
かんで移動することが可能となる。The comprehensive judgment means 45c is the distance calculation means 45a.
When the distance between the cursor and the virtual object output by is less than or equal to a predetermined standard, the motion recognition means 45b registers in advance ”
When the "grab" motion is recognized, it is determined that the "grab" interaction has occurred, and the value of the barycentric coordinate of the grasped virtual object stored in the object storage means 43 until the "grab" interaction ends thereafter. To the coordinates of the center of gravity of the cursor. Here, the predetermined reference value may be a value larger than the distance at which the cursor and the object can actually contact each other in the virtual space, for example, in the case of FIG. If the distance between the virtual object and the cursor is less than or equal to the reference value of the distance, the operator instructs the input means 1 to perform a grasping operation, and if the movement recognition means 45b recognizes the grasping operation, the operator grasps the virtual object and moves. Is possible.
【００９６】また、総合判定手段４５ｃは前記距離の基
準以下に複数の仮想物体が存在する場合、図２９(ｂ)に
示すようにカーソルと仮想物体とを結ぶ線分（波線）と
移動ベクトル算出手段４５ｄが算出するカーソルの移動
方向（矢印）とのなす角度がある基準（例えば９０度）
以下の物体をのみを対象とし、操作者の操作においてカ
ーソルの移動方向を考慮した相互作用の判定が可能とな
る（図では３物体中最も上部に位置するものを選択す
る）。When there are a plurality of virtual objects below the distance reference, the comprehensive judgment means 45c calculates a line segment (a wavy line) connecting the cursor and the virtual object and a movement vector as shown in FIG. 29 (b). A reference (for example, 90 degrees) having an angle with the moving direction (arrow) of the cursor calculated by the means 45d.
For the following objects only, the interaction can be determined in consideration of the moving direction of the cursor in the operation of the operator (in the figure, the one located at the top of the three objects is selected).
【００９７】また、カーソルの移動距離については、移
動距離が予め定めた移動距離基準よりも大きい場合に
は、相互作用を起こさない。これにより、単にカーソル
を移動している場合に操作者が意図しない相互作用を起
こさないことが可能となる。Regarding the moving distance of the cursor, if the moving distance is larger than a predetermined moving distance reference, no interaction occurs. This makes it possible to prevent interaction that is not intended by the operator when simply moving the cursor.
【００９８】また、図２９(ｃ)に示すように、複数の仮
想物体が前記基準を満たしている場合、視線入力手段４
６が検出する注視点の位置に近い仮想物体を総合判定手
段４５ｃが”つかむ”対象とする（図では注視点を意味
する”＋”印に近い左側の物体を選択する）。これによ
り、操作者の視線を用いて容易に対象を選択することが
可能となる。Further, as shown in FIG. 29C, when a plurality of virtual objects satisfy the above criteria, the line-of-sight input means 4
A virtual object close to the position of the gazing point detected by 6 is targeted by the comprehensive determination means 45c for "grabbing" (in the figure, an object on the left side close to the "+" mark meaning the gazing point is selected). This makes it possible to easily select the target using the line of sight of the operator.
【００９９】また、図２９(ｄ)に示すように画面上で近
接した物体が存在する場合、形状判定手段４５ｅが判定
したカーソルの形状に一致する仮想物体を総合判定手段
４５ｃが”つかむ”対象とする（図ではカーソルの指の
間隔が狭い為、”つかむ”動作の対象として平面体が適
切と判断し、平面体を選択する）。これにより、操作者
の意図する仮想物体をカーソルの形状によって選択する
ことが可能となり、操作者が仮想物体をつかむ場合に連
想しやすいカーソル形状を対応づけることで操作が容易
となる。When there is a close object on the screen as shown in FIG. 29D, the comprehensive judging means 45c "grabbs" the virtual object which matches the shape of the cursor judged by the shape judging means 45e. (In the figure, the distance between the fingers of the cursor is small, so the plane object is judged to be appropriate as the target of the "grab" operation, and the plane object is selected). As a result, the virtual object intended by the operator can be selected according to the shape of the cursor, and the operation is facilitated by associating the cursor shape with which the operator can easily associate when grasping the virtual object.
【０１００】また、学習手段４５ｆが過去に物体をつか
んだ場合と類似していると判断した仮想物体を総合判定
手段４５ｃが優先的に選択する。これにより操作者が過
去に行った操作に近い判断を再現し、操作性を向上する
ことが可能となる。Further, the comprehensive judging means 45c preferentially selects the virtual object which is judged to be similar to the case where the learning means 45f grasped the object in the past. This makes it possible to reproduce the judgment close to the operation performed by the operator in the past and improve the operability.
【０１０１】このように本実施例は、仮想空間において
操作者が操作するカーソルと仮想空間内の仮想物体との
相互作用の発生の有無を、カーソルと仮想物体との距離
のみで決定するのではなく、操作者の操作における動作
や視線、あるいは過去の事例に基づいて決定することに
より、仮想空間内におけるカーソルを用いた仮想物体と
の相互作用を行うインターフェイスにおいて操作性を向
上させることが可能である。As described above, in this embodiment, whether or not the interaction between the cursor operated by the operator and the virtual object in the virtual space occurs in the virtual space is not determined only by the distance between the cursor and the virtual object. Instead, it is possible to improve the operability of the interface that interacts with a virtual object using a cursor in the virtual space by making a decision based on the operation and line of sight of the operator's operation, or past cases. is there.
【０１０２】尚、本実施例では相互作用としてカーソル
を用いて仮想物体をつかむ動作を用いて説明したが、他
に仮想物体に対する指示（ポインティング）や衝突、摩
擦、打撃、遠隔操作等の動作についても同様な扱いが可
能である。また、仮想空間が２次元空間の場合や、表示
手段が３次元立体表示ディスプレイなどを用いた場合に
も同様の効果が得られる。また、実現手段としてはハー
ドウェアを用いても、コンピュータ上のソフトウェアを
用いて実現してもよい。In this embodiment, the operation of grasping a virtual object by using a cursor is used as the interaction, but other operations such as pointing (pointing) to the virtual object, collision, friction, striking, and remote operation are also performed. Can be treated similarly. Further, the same effect can be obtained when the virtual space is a two-dimensional space or when the display means uses a three-dimensional stereoscopic display. Further, as the realization means, hardware or software on a computer may be used.
【０１０３】以上のように本実施例は、仮想空間におい
て操作者が操作するカーソルと仮想空間内の仮想物体と
の相互作用の発生の有無を、仮想空間内の前記カーソル
と前記仮想物体とを構成要素間の距離のみによって決定
するのではなく、距離計算手段が算出する代表点間の距
離および動作認識手段が認識するカーソルの動作によっ
て総合判定手段が相互作用の発生の有無を判定すること
により、必ずしも仮想空間内での距離が近接していない
対象物に対しても相互作用を起こすことが可能となり、
操作性の良い入出力インターフェイスを提供することが
可能となる。また、従来の接触判定法のように仮想空間
内の前記カーソルと前記仮想物体とを構成要素間の距離
をすべて計算する必要がないため計算量を軽減し、処理
の高速化を図ることが可能となる。As described above, according to the present embodiment, the presence / absence of interaction between the cursor operated by the operator in the virtual space and the virtual object in the virtual space is determined by determining whether the cursor and the virtual object in the virtual space occur. Instead of determining only by the distance between the constituent elements, the comprehensive determination means determines whether or not an interaction has occurred by the distance between the representative points calculated by the distance calculation means and the movement of the cursor recognized by the movement recognition means. , It becomes possible to interact even with objects that are not necessarily close in virtual space,
It is possible to provide an input / output interface with good operability. Further, unlike the conventional contact determination method, it is not necessary to calculate the distances between the constituent elements of the cursor and the virtual object in the virtual space, so the calculation amount can be reduced and the processing speed can be increased. Becomes
【０１０４】[0104]
【発明の効果】以上のように本発明は、操作者の手の形
状あるいは又その動きを認識し、認識された手の形状の
特徴を特殊形状として画面にカーソル表示することによ
り、画面内に表示された情報を、手の形状や動きにより
画面に表示された情報を容易に操作性良く制御できるも
のである。INDUSTRIAL APPLICABILITY As described above, the present invention recognizes the shape or movement of the operator's hand, and displays the characteristic of the recognized shape of the hand as a special shape on the screen by the cursor to display it on the screen. The displayed information can be easily controlled with good operability by the shape and movement of the hand.
【０１０５】さらに、手の形状の特徴を特殊形状として
画面に表示してカーソル表示すると共に、そのカーソル
表示以外の表示物との関連を操作者の意図に沿った相互
作用の判定が逐次自動的になされることにより、表示物
を指示したり、掴んだりする操作の操作性がさらに向上
したインターフェイスが実現できるものである。Further, the feature of the hand shape is displayed as a special shape on the screen and the cursor is displayed, and the relation with the display object other than the cursor display is automatically judged sequentially according to the operator's intention. By doing so, it is possible to realize an interface in which the operability of pointing and grasping a display object is further improved.
【図１】本発明の第１の実施例によるインターフェイス
装置の外観図FIG. 1 is an external view of an interface device according to a first embodiment of the present invention.
【図２】本発明の第１の実施例によるインターフェイス
装置の詳細ブロック図FIG. 2 is a detailed block diagram of the interface device according to the first embodiment of the present invention.
【図３】(ａ)〜(ｃ) 同インターフェイス装置によって
判断する手の形状の例を示す図3A to 3C are diagrams showing examples of the shape of a hand determined by the interface device.
【図４】同実施例によるインターフェイス装置の形状識
別手段の詳細例を示す図FIG. 4 is a diagram showing a detailed example of shape identifying means of the interface apparatus according to the embodiment.
【図５】同実施例の画像差演算部による演算の一例を示
す図FIG. 5 is a diagram showing an example of calculation by an image difference calculation unit of the same embodiment.
【図６】(ａ)〜(ｄ) 同実施例のアイコン生成部が生成
するアイコンの例を示す図6A to 6D are diagrams showing examples of icons generated by an icon generation unit of the embodiment.
【図７】(ａ)〜(ｃ) 同実施例によるインターフェイス
装置の動作例を示す外観図7A to 7C are external views showing an operation example of the interface device according to the embodiment.
【図８】本発明の第２の実施例によるインターフェイス
装置の外観図FIG. 8 is an external view of an interface device according to a second embodiment of the present invention.
【図９】本発明の第２の実施例によるインターフェイス
装置の詳細ブロック図FIG. 9 is a detailed block diagram of an interface device according to a second embodiment of the present invention.
【図１０】(ａ),(ｂ) 同インターフェイス装置によって
判断する手の形状の例を示す図10 (a) and 10 (b) are diagrams showing examples of the shape of a hand judged by the interface device.
【図１１】同実施例のインターフェイス装置の動作認識
部の詳細実施例を示す図FIG. 11 is a diagram showing a detailed example of a motion recognition unit of the interface apparatus of the embodiment.
【図１２】同実施例の画像差演算部による演算の一例を
示す図FIG. 12 is a diagram showing an example of calculation by the image difference calculation unit of the embodiment.
【図１３】(ａ)〜(ｄ) 同実施例のアイコン生成部が生
成するアイコンの例を示す図13A to 13D are diagrams showing examples of icons generated by the icon generation unit of the embodiment.
【図１４】本発明の第３の実施例によるインターフェイ
ス装置の詳細ブロック図FIG. 14 is a detailed block diagram of an interface device according to a third embodiment of the present invention.
【図１５】本発明による第３の実施例のインターフェイ
ス装置の動作認識部を示す図FIG. 15 is a diagram showing an operation recognition unit of an interface device according to a third embodiment of the present invention.
【図１６】(ａ)〜(ｄ) 同実施例によるインターフェイ
ス装置によって表示画面上に表示するアイコンの例を示
す図16A to 16D are views showing examples of icons displayed on the display screen by the interface device according to the embodiment.
【図１７】(ａ)〜(ｆ) 同実施例によるインターフェイ
ス装置の動作認識部の動作を示す図17A to 17F are diagrams showing the operation of the operation recognition unit of the interface device according to the embodiment.
【図１８】(ａ)〜(ｆ) 同実施例によるインターフェイ
ス装置の動作認識部の動作を示す図18A to 18F are diagrams showing the operation of the operation recognition unit of the interface apparatus according to the embodiment.
【図１９】同実施例によるインターフェイス装置の動作
認識部の動作を示す図FIG. 19 is a view showing the operation of the operation recognition unit of the interface device according to the embodiment.
【図２０】同実施例によるインターフェイス装置の動作
認識部の動作を示す図FIG. 20 is a diagram showing the operation of the operation recognition unit of the interface apparatus according to the embodiment.
【図２１】本発明の第４の実施例におけるインターフェ
イス装置を示すブロック図FIG. 21 is a block diagram showing an interface device according to a fourth embodiment of the present invention.
【図２２】(ａ) 同実施例のインターフェイス装置に用
いるカーソルの一例においてカーソルが開いた状態を示
す図 (ｂ) 同閉じた状態を示す図 (ｃ) 同実施例のインターフェイス装置に用いるカーソ
ルの他の例においてカーソルが開いた状態を示す図 (ｄ) 同閉じた状態を示す図 (ｅ) 同実施例のインターフェイス装置に用いるカーソ
ルのさらに他の例においてカーソルが開いた状態を示す
図 (ｆ) 同閉じた状態を示す図FIG. 22 (a) is a diagram showing a state in which the cursor is open in an example of the cursor used in the interface device of the embodiment. FIG. 22 (c) is a diagram showing a closed state of the cursor. The figure which shows the state which the cursor opened in other examples. (D) The figure which shows the same closed state. (E) The figure which shows the state in which the cursor was opened in still another example of the cursor used for the interface apparatus of the same Example. ) Diagram showing the same closed state
【図２３】(ａ) 同実施例のインターフェイス装置に用
いる仮想物体の一例の形を示す図 (ｂ) 同仮想物体の他の例の形を示す図FIG. 23 (a) is a diagram showing an example of the shape of a virtual object used in the interface apparatus of the embodiment. FIG. 23 (b) is a diagram showing the shape of another example of the virtual object.
【図２４】(ａ) 仮想空間のカーソルと仮想物体の配置
を示す正面図 (ｂ) 仮想空間のカーソルと仮想物体の配置を示す側面
図24A is a front view showing the arrangement of a cursor and a virtual object in the virtual space. FIG. 24B is a side view showing the arrangement of the cursor and a virtual object in the virtual space.
【図２５】同実施例を説明するための仮想空間の表示例
を示す図FIG. 25 is a diagram showing a display example of a virtual space for explaining the embodiment.
【図２６】同実施例のインターフェイス装置の一例を示
すブロック図FIG. 26 is a block diagram showing an example of an interface device of the same embodiment.
【図２７】(ａ) 同実施例のインターフェイス装置に用
いる入力手段における入力装置の一例を示す図 (ｂ) 同実施例のインターフェイス装置に用いる入力手
段における入力装置の他の例を示す図 (ｃ) 同実施例のインターフェイス装置に用いる入力手
段における入力装置のさらに他の例を示す図FIG. 27 (a) is a diagram showing an example of the input device in the input means used in the interface device of the embodiment. FIG. 27 (b) is a diagram showing another example of the input device in the input means used in the interface device of the embodiment. ) A diagram showing still another example of the input device in the input means used in the interface device of the embodiment.
【図２８】(ａ) 同実施例のカメラを用いて手を撮像し
た画像の一例を示す図 (ｂ) 同実施例のカメラを用いて手を撮像した画像を二
値化した一例を示す図FIG. 28 (a) is a diagram showing an example of an image obtained by picking up a hand using the camera of the same embodiment. FIG. 28 (b) is a diagram showing an example of binarizing an image obtained by taking a hand of the camera according to the same example.
【図２９】(ａ) 本実施例のインターフェイス装置に用
いる表示手段が表示する画面の一例を示す図 (ｂ) 同表示画面の第二の例を示す図 (ｃ) 同表示画面の第三の例を示す図 (ｄ) 同表示画面の第四の例を示す図FIG. 29 (a) is a diagram showing an example of a screen displayed by the display means used in the interface device of the present embodiment (b) is a diagram showing a second example of the same display screen (c) is a third screen of the same display screen Figure showing an example (d) Figure showing a fourth example of the same display screen
【図３０】従来のインターフェイス装置を示す図FIG. 30 is a diagram showing a conventional interface device.
１ ホストコンピュータ ２ ディスプレイ ３ ＣＣＤカメラ ２１ フレームメモリ ２２ 形状識別手段 ２３ 表示制御部 ２４ アイコン生成部 ２５ 基準画像メモリ ２６ 基準画像更新部 ３１ フレームメモリ ３２ 動作認識部 ３３ 表示制御部 ３４ アイコン生成部 ４１ 入力手段 ４２ カーソル記憶手段 ４３ 物体記憶手段 ４４ 表示手段 ４５ 相互作用判定手段 ４５ａ 距離計算手段 ４５ｂ 動作認識手段 ４５ｃ 総合判定手段 ４５ｄ 移動ベクトル算出手段 ４５ｅ 形状判定手段 ４５ｆ 学習手段 ４５ｇ 座標変換手段 ２００ アイコン ２０１，２０２ メニュー ２０３ アイコン ２０４，２０５，２０６ 仮想スイッチ ２２１ 画像差演算部 ２２２ 輪郭抽出部 ２２３ 形状識別部 ２２４ 位置検出部 ２２５ 形状変化識別部 ２３１ 座標変換部 ２３２ 座標反転部 ２６１ タイマ ２６２ 画像更新部 ３２１ 輪郭抽出部 ３２２ 輪郭波形演算部 ３２４ 座標テーブル ３３１ 座標変換部 ３３２ 座標反転部 ３２３１ 形状フィルタ１ ３２３２ 形状フィルタ２ ３２５１ 微分器 ３２５２ 微分器 ３２６１ 座標演算部 ３２６２ 形状判定部 1 Host Computer 2 Display 3 CCD Camera 21 Frame Memory 22 Shape Identification Means 23 Display Control Section 24 Icon Generation Section 25 Reference Image Memory 26 Reference Image Update Section 31 Frame Memory 32 Motion Recognition Section 33 Display Control Section 34 Icon Generation Section 41 Input Means 42 cursor storage means 43 object storage means 44 display means 45 interaction determination means 45a distance calculation means 45b motion recognition means 45c comprehensive determination means 45d movement vector calculation means 45e shape determination means 45f learning means 45g coordinate conversion means 200 icons 201, 202 menu 203 icon 204, 205, 206 virtual switch 221 image difference calculation unit 222 contour extraction unit 223 shape identification unit 224 position detection unit 225 shape change identification unit 231 coordinate conversion unit 232 Inverting section 261 timer 262 image update unit 321 contour extraction unit 322 contour waveform operation unit 324 coordinate table 331 coordinate converter 332 coordinate inverting unit 3231 shapes filter 1 3232 shape filter 2 3251 differentiator 3252 differentiator 3261 coordinate calculation section 3262 shape determination unit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 近藤 堅司 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Kenji Kondo 1006 Kadoma, Kadoma City, Osaka Prefecture Matsushita Electric Industrial Co., Ltd.
Claims (25)
前記認識手段により認識された手の形状の特徴を特殊形
状として画面に表示する表示手段と、前記表示手段によ
り画面に表示された特殊形状により、前記画面内に表示
された情報を制御する制御手段とを備えたインターフェ
イス装置。1. A recognition means for recognizing a shape of an operator's hand,
Display means for displaying on the screen the feature of the shape of the hand recognized by the recognition means as a special shape, and control means for controlling the information displayed on the screen by the special shape displayed on the screen by the display means. Interface device with and.
認識し、表示手段が前記認識手段により認識された手の
形状と動きの特徴を特殊形状として画面に表示する請求
項１記載のインターフェイス装置。2. The recognition means recognizes the movement of the hand together with the shape of the hand, and the display means displays the shape of the hand and the characteristics of the movement recognized by the recognition means on the screen as a special shape. Interface device.
するように制御する請求項１記載のインターフェイス装
置。3. The interface device according to claim 1, wherein the control means controls to select the information displayed on the screen.
体の形状及び又は動きを認識する動作認識部と、前記動
作認識部によって認識した物体の形状及び又は動きを表
示する表示部とを備え、 前記撮像部で撮像した画像を保存するフレームメモリ
と、前記フレームメモリ中に保存した画像よりも前の時
間に撮像した画像を基準画像として蓄積する基準画像メ
モリとを設け、 前記動作認識部に、前記フレームメモリ中の画像と、前
記基準画像メモリ中に蓄積している基準画像との差異を
抽出する画像差演算部を設けたインターフェイス装置。4. At least an imaging section, a motion recognition section for recognizing the shape and / or motion of an object in a captured image, and a display section for displaying the shape and / or motion of the object recognized by the motion recognition section. A frame memory for storing an image captured by the image capturing unit, and a reference image memory for accumulating an image captured at a time earlier than the image stored in the frame memory as a reference image, and the motion recognition unit. An interface device provided with an image difference calculation unit that extracts a difference between an image in the frame memory and a reference image stored in the reference image memory.
を新規な画像に更新する基準画像更新部を設けた請求項
４記載のインターフェイス装置。5. The interface device according to claim 4, further comprising a reference image updating unit for updating the reference image stored in the reference image memory to a new image.
算するタイマを設けた請求項４記載のインターフェイス
装置。6. The interface device according to claim 4, wherein the reference image update section is provided with a timer for calculating an interval between reference image updates.
用者の手の形状及び又は動きを認識する動作認識部と、
前記動作認識部によって認識した使用者の手の形状及び
又は動きを表示する表示部を有し、 撮像した使用者の輪郭を抽出する輪郭抽出手段と、前記
輪郭を追跡し、輪郭線の角度と輪郭線の長さとの関係、
即ち輪郭波形を演算する輪郭波形演算部と、前記輪郭波
形演算部によって演算した輪郭波形をフィルタリングし
て、所定の形状を表わす形状波形を生成する形状フィル
タとを設けて前記動作認識部を構成したインターフェイ
ス装置。7. An image pickup section, and a motion recognition section for recognizing the shape and / or movement of the user's hand in the picked-up image,
A contour extraction unit that has a display unit that displays the shape and / or the movement of the user's hand recognized by the motion recognition unit, and contour extraction means that extracts the contour of the user who has captured the image, and the angle of the contour line, Relationship with the length of the contour line,
That is, the motion recognition unit is configured by providing a contour waveform calculation unit that calculates a contour waveform and a shape filter that filters the contour waveform calculated by the contour waveform calculation unit to generate a shape waveform that represents a predetermined shape. Interface device.
よって複数の形状フィルタを構成し、前記複数の形状フ
ィルタによって生成した形状波形に基づいて、使用者の
動作を判定させるようにした請求項７記載のインターフ
ェイス装置。8. A plurality of shape filters are constituted by a plurality of band pass filters having different bands, and the motion of the user is judged based on the shape waveform generated by the plurality of shape filters. Interface equipment.
状のバンドパスフィルタと、指の凹凸に対応する輪郭波
形形状のバンドパスフィルタとによって複数の形状フィ
ルタを構成した請求項７記載のインターフェイス装置。9. The interface device according to claim 7, wherein a plurality of shape filters are configured by at least a band-shaped filter having a contour waveform shape corresponding to the irregularities of the hand and a band-pass filter having a waveform waveform corresponding to the irregularities of the finger. .
郭波形演算部によって演算した輪郭波形との対応を記憶
させる座標テーブルを設け、形状波形の波高存在位置と
前記座標テーブルとを用いて、撮像画像中の所定の形状
が存在する座標を演算する座標演算部を設けて動作認識
部を構成した請求項７記載のインターフェイス装置。10. A coordinate table is provided for storing the correspondence between the coordinates of the imaged contour shape of the user and the contour waveform calculated by the contour waveform calculation unit, and the wave height existing position of the shape waveform and the coordinate table are used. The interface device according to claim 7, wherein the motion recognition unit is configured by providing a coordinate calculation unit that calculates coordinates in which a predetermined shape in the captured image exists.
中のパルス数を数える形状判定部を設けて動作認識部を
構成し、前記形状判定部の出力値によって、物体の形状
を判定させるようにした請求項７記載のインターフェイ
ス装置。11. A motion recognizing unit is provided with a shape determining unit for counting the number of pulses in a shape waveform generated by a shape filter, and the shape of an object is determined by the output value of the shape determining unit. Item 7. The interface device according to item 7.
を微分する微分器を設けて動作認識部を構成した請求項
７記載のインターフェイス装置。12. The interface device according to claim 7, wherein the motion recognition unit is configured by providing a differentiator that differentiates the shape waveform generated by the shape filter.
更する入力手段と、 前記カーソルの位置を代表する代表点座標および前記カ
ーソルの形状を記憶するカーソル記憶手段と、 前記カーソル以外の表示物の位置を代表する代表点座標
および前記表示物体の形状を記憶する物体記憶手段と、 前記カーソル記憶手段に記憶するカーソルの位置および
形状と前記物体記憶手段に記憶する表示物の位置および
形状を用いて、前記カーソルと前記表示物との間の相互
作用を判定する相互作用判定手段とを備え、 前記相互作用判定手段は、 少なくとも１点の前記カーソルの代表点と少なくとも１
点の前記表示物の代表点との間の距離を計算する距離計
算手段と、 前記カーソルの移動または形状の変化を認識する動作認
識手段と、 前記距離計算手段が計算する距離と前記動作認識手段の
認識結果を用いて前記カーソルと前記表示物との相互作
用を決定する総合判定手段とから成ることを特徴とする
インターフェイス装置。13. Display means, input means for changing the position and shape of a cursor displayed on the display means, cursor storage means for storing representative point coordinates representative of the position of the cursor, and the shape of the cursor. Object storage means for storing the representative point coordinates representing the position of the display object other than the cursor and the shape of the display object, the position and shape of the cursor stored in the cursor storage means, and the display object stored in the object storage means Interaction determination means for determining the interaction between the cursor and the display object using the position and shape of the cursor, and the interaction determination means includes at least one representative point of the cursor and at least one point.
Distance calculation means for calculating the distance between a point and the representative point of the display object, motion recognition means for recognizing the movement or shape change of the cursor, distance calculated by the distance calculation means and the motion recognition means An interface device comprising: a comprehensive determination unit that determines an interaction between the cursor and the display object by using the recognition result of 1.
した場合に、距離計算手段が計算する距離が予め定めた
基準以下の表示物に対して相互作用判定手段が相互作用
を発生させることを特徴とする請求項１３記載のインタ
ーフェイス装置。14. When the motion recognition means recognizes a motion registered in advance, the interaction determination means causes the interaction with respect to a display object whose distance calculated by the distance calculation means is equal to or less than a predetermined reference. 14. The interface device according to claim 13, which is characterized in that.
と移動量を算出する移動ベクトル算出手段を設けて相互
作用判定手段を構成し、前記移動方向算出手段が算出す
るカーソルの移動方向およびカーソルの移動量に基づい
て相互作用判定手段が前記カーソルと表示物との相互作
用を決定することを特徴とする請求項１３記載のインタ
ーフェイス装置。15. An interaction determination means is provided by providing movement vector calculation means for calculating the movement direction and movement amount of the cursor in the display space, and the movement direction of the cursor and movement of the cursor calculated by the movement direction calculation means. 14. The interface device according to claim 13, wherein the interaction determining means determines the interaction between the cursor and the display object based on the amount.
ルの移動量が予め定めた基準値以下の場合に相互作用判
定手段が相互作用を発生させることを特徴とする請求項
１５記載のインターフェイス装置。16. The interface apparatus according to claim 15, wherein the interaction determining means causes an interaction when the amount of movement of the cursor calculated by the movement vector calculating means is less than or equal to a predetermined reference value.
ルの移動方向の延長線近傍に存在する表示物に対して相
互作用判定手段が相互作用を発生させることを特徴とす
る請求項１５記載のインターフェイス装置。17. The interface device according to claim 15, wherein the interaction determining means causes an interaction with a display object existing in the vicinity of an extension line in the moving direction of the cursor calculated by the moving vector calculating means. .
登録した組み合わせになる場合に相互作用判定手段が相
互作用を発生させることを特徴とする請求項１３記載の
インターフェイス装置。18. The interface device according to claim 13, wherein the interaction determining means causes an interaction when the shape of the cursor and the shape of the display object are a combination registered in advance.
する形状判定手段を備えて相互作用判定手段を構成し、
前記形状認識手段が認識するカーソルの形状と表示物の
形状とが一致する場合について相互作用判定手段が相互
作用を発生させることを特徴とする請求項１３記載のイ
ンターフェイス装置。19. The interaction determining means is provided with shape determining means for recognizing the shape of the cursor and the shape of the display object,
14. The interface device according to claim 13, wherein the interaction determination means causes an interaction when the shape of the cursor recognized by the shape recognition means and the shape of the display object match each other.
け、前記視線入力手段が検出する視線の延長線上近傍の
表示物に対し、動作認識手段が予め登録した動作を認識
した場合に、相互作用判定手段が相互作用を発生させる
ことを特徴とする請求項１３記載のインターフェイス装
置。20. Interaction is provided when a line-of-sight input means for detecting a line-of-sight direction is provided, and a motion recognition means recognizes a motion registered in advance for a display object near an extension line of the line-of-sight detected by the line-of-sight input means. 14. The interface device according to claim 13, wherein the determination means causes an interaction.
近傍の表示物に対し、前記視線の延長線上近傍にカーソ
ルが存在し、かつ動作認識手段が予め登録した動作を認
識した場合に、相互作用判定手段が相互作用を発生させ
ることを特徴とする請求項２０記載のインターフェイス
装置。21. When a cursor is present near the extension line of the line of sight detected by the line-of-sight input means and near the extension line of the line of sight, and the motion recognition means recognizes a motion registered in advance, the mutual recognition is performed. 21. The interface device according to claim 20, wherein the action determining means causes an interaction.
対象とする表示物との位置関係および前記カーソルの形
状および前記表示物の形状を学習する学習手段を設け、
相互作用判定手段が学習手段の学習結果に基づいて、相
互作用を決定することを特徴とする請求項１３記載のイ
ンターフェイス装置。22. Learning means is provided for learning the positional relationship between the cursor and the target display object and the shape of the cursor and the shape of the display object when an interaction occurs.
14. The interface device according to claim 13, wherein the interaction determining means determines the interaction based on a learning result of the learning means.
係または前記カーソルの形状および前記表示物の形状が
学習手段が過去に学習した位置関係または形状と類似す
る場合に、相互作用判定手段が相互作用を発生させるこ
とを特徴とする請求項２２記載のインターフェイス装
置。23. When the positional relationship between the cursor and the target display object, or the shape of the cursor and the shape of the display object are similar to the positional relationship or shape that the learning means has learned in the past, the interaction determining means determines. 23. The interface device according to claim 22, wherein an interaction is generated.
離計算手段への入力に対して座標変換を行う座標変換手
段を設けて相互作用判定手段を構成することを特徴とす
る請求項１３記載のインターフェイス装置。24. The interface according to claim 13, wherein the interaction determination means is configured by providing coordinate conversion means for performing coordinate conversion with respect to inputs to the distance calculation means from the cursor storage unit and the object storage unit. apparatus.
対象とする表示物との位置関係を接近させるように座標
変換を行うことを特徴とする請求項２４記載のインター
フェイス装置。25. The interface device according to claim 24, wherein when the interaction is generated, coordinate conversion is performed so that the positional relationship between the cursor and the target display object is brought close to each other.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09648196A JP3777650B2 (en) | 1995-04-28 | 1996-04-18 | Interface equipment |
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10555195 | 1995-04-28 | ||
| JP7-105551 | 1995-10-19 | ||
| JP7-284768 | 1995-10-19 | ||
| JP7-270828 | 1995-10-19 | ||
| JP27082895 | 1995-10-19 | ||
| JP28476895 | 1995-11-01 | ||
| JP09648196A JP3777650B2 (en) | 1995-04-28 | 1996-04-18 | Interface equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09185456A true JPH09185456A (en) | 1997-07-15 |
| JP3777650B2 JP3777650B2 (en) | 2006-05-24 |
Family
ID=27468437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09648196A Expired - Lifetime JP3777650B2 (en) | 1995-04-28 | 1996-04-18 | Interface equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3777650B2 (en) |
Cited By (61)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001092590A (en) * | 1999-09-21 | 2001-04-06 | Nec Corp | Optical pointing device |
| JP2001216069A (en) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | Operation inputting device and direction detecting method |
| JP2002157079A (en) * | 2000-11-09 | 2002-05-31 | Doko Kagi Kofun Yugenkoshi | Method of discriminating intention |
| JP2002170121A (en) * | 2000-12-04 | 2002-06-14 | Sony Corp | Image processing device and method and recording medium |
| JP2002189545A (en) * | 2000-09-01 | 2002-07-05 | Sony Computer Entertainment America Inc | User input device for interaction with display image and its method |
| JP2002236534A (en) * | 2001-02-13 | 2002-08-23 | Mitsubishi Motors Corp | On-vehicle equipment operation device |
| KR20030021987A (en) * | 2001-09-07 | 2003-03-15 | 이민호 | Wireless finger mouse system based on image processing |
| JP2004145723A (en) * | 2002-10-25 | 2004-05-20 | Keio Gijuku | Hand pattern switching device |
| JP2004282770A (en) * | 1997-11-27 | 2004-10-07 | Matsushita Electric Ind Co Ltd | Control method |
| JP2004334590A (en) * | 2003-05-08 | 2004-11-25 | Denso Corp | Operation input device |
| JP2004537055A (en) * | 2001-07-24 | 2004-12-09 | サムスン エレクトロニクス カンパニー リミテッド | Method and apparatus for selecting information on multidimensional space |
| JP2004356819A (en) * | 2003-05-28 | 2004-12-16 | Sharp Corp | Remote control apparatus |
| JP2005063090A (en) * | 2003-08-11 | 2005-03-10 | Keio Gijuku | Hand pattern switch device |
| JP2005174356A (en) * | 2000-02-01 | 2005-06-30 | Toshiba Corp | Direction detection method |
| JP2005268929A (en) * | 2004-03-16 | 2005-09-29 | Sharp Corp | Remote control apparatus |
| JP2006190268A (en) * | 2004-12-31 | 2006-07-20 | Samsung Electronics Co Ltd | Touch position detecting device, touch position detecting method, and touch screen display device |
| WO2007088942A1 (en) * | 2006-02-03 | 2007-08-09 | Matsushita Electric Industrial Co., Ltd. | Input device and its method |
| KR100778927B1 (en) * | 2005-12-29 | 2007-11-22 | 엠텍비젼 주식회사 | Device capable of recognizing non-contact key selection and method thereof |
| JP2008004045A (en) * | 2006-06-26 | 2008-01-10 | Sony Computer Entertainment Inc | Image processor, image processing system, control method of computer and program |
| KR100799907B1 (en) * | 2006-11-29 | 2008-01-31 | 엠텍비젼 주식회사 | Apparatus for sensing moving of subject and method thereof |
| JP2008027328A (en) * | 2006-07-25 | 2008-02-07 | Alpine Electronics Inc | Data input device |
| JP2008040576A (en) * | 2006-08-02 | 2008-02-21 | Sharp Corp | Image processing system and video display device equipped with the same |
| JP2008052590A (en) * | 2006-08-25 | 2008-03-06 | Toshiba Corp | Interface device and its method |
| JP2008146243A (en) * | 2006-12-07 | 2008-06-26 | Toshiba Corp | Information processor, information processing method and program |
| EP1988445A1 (en) * | 2007-05-04 | 2008-11-05 | Whirlpool Corporation | User interface and cooking oven provided with such user interface |
| JPWO2007013652A1 (en) * | 2005-07-29 | 2009-02-12 | パイオニア株式会社 | Image display control device, image display device, remote controller, image display system |
| JP2009519552A (en) * | 2005-12-12 | 2009-05-14 | 株式会社ソニー・コンピュータエンタテインメント | Voice and video control of an interactive electronically simulated environment |
| JP2009129142A (en) * | 2007-11-22 | 2009-06-11 | Sony Corp | Recording/reproduction device |
| WO2009116285A1 (en) * | 2008-03-19 | 2009-09-24 | 株式会社デンソー | Operation input device for vehicle |
| EP2107414A1 (en) | 2008-03-31 | 2009-10-07 | Brother Kogyo Kabushiki Kaisha | Head mount display and head mount display system |
| JP2009255904A (en) * | 2008-03-19 | 2009-11-05 | Denso Corp | Operation input device for vehicle |
| JP2010118015A (en) * | 2008-11-14 | 2010-05-27 | Sharp Corp | Numerical value input device, numerical value input method, numerical value input program, and computer-readable recording medium |
| WO2011007746A1 (en) * | 2009-07-17 | 2011-01-20 | 大日本印刷株式会社 | Fingertip-manipulation-type information providing system, interactive manipulation device, computer program, and storage medium |
| JP2011517584A (en) * | 2008-03-18 | 2011-06-16 | エリプティック・ラボラトリーズ・アクシェルスカブ | Object and motion detection |
| WO2011093317A1 (en) * | 2010-01-29 | 2011-08-04 | 新世代株式会社 | Image processing apparatus, image processing method, computer program, recording medium, image processing module, and electronic apparatus |
| CN102710911A (en) * | 2008-08-14 | 2012-10-03 | 索尼公司 | Information processing apparatus, method and program |
| JP2013047978A (en) * | 2005-02-08 | 2013-03-07 | Oblong Industries Inc | System and method for gesture based control system |
| JP2013210723A (en) * | 2012-03-30 | 2013-10-10 | Sharp Corp | Display system |
| JP2013222317A (en) * | 2012-04-17 | 2013-10-28 | Toshiba Mach Co Ltd | Numerical control device |
| US8593399B2 (en) | 2009-02-18 | 2013-11-26 | Kabushiki Kaisha Toshiba | Interface apparatus and method for controlling a device |
| JP2014137616A (en) * | 2013-01-15 | 2014-07-28 | Fujitsu Ltd | Display control device, display control system, and display control method |
| US8840470B2 (en) | 2008-02-27 | 2014-09-23 | Sony Computer Entertainment America Llc | Methods for capturing depth data of a scene and applying computer actions |
| US8961313B2 (en) | 2009-05-29 | 2015-02-24 | Sony Computer Entertainment America Llc | Multi-positional three-dimensional controller |
| JP5709228B2 (en) * | 2011-04-28 | 2015-04-30 | Ｎｅｃソリューションイノベータ株式会社 | Information processing apparatus, information processing method, and program |
| JP5709227B2 (en) * | 2011-04-28 | 2015-04-30 | Ｎｅｃソリューションイノベータ株式会社 | Information processing apparatus, information processing method, and program |
| JP2015122124A (en) * | 2015-03-31 | 2015-07-02 | 株式会社ナカヨ | Information apparatus with data input function by virtual mouse |
| WO2016132480A1 (en) * | 2015-02-18 | 2016-08-25 | 日立マクセル株式会社 | Video display device and video display method |
| US9573056B2 (en) | 2005-10-26 | 2017-02-21 | Sony Interactive Entertainment Inc. | Expandable control device via hardware attachment |
| WO2017072913A1 (en) * | 2015-10-29 | 2017-05-04 | Ｎｅｃディスプレイソリューションズ株式会社 | Control method, electronic blackboard system, display device, and program |
| JP2018142273A (en) * | 2017-02-28 | 2018-09-13 | キヤノン株式会社 | Information processing apparatus, method for controlling information processing apparatus, and program |
| US10099147B2 (en) | 2004-08-19 | 2018-10-16 | Sony Interactive Entertainment Inc. | Using a portable device to interface with a video game rendered on a main display |
| US10099130B2 (en) | 2002-07-27 | 2018-10-16 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US10220302B2 (en) | 2002-07-27 | 2019-03-05 | Sony Interactive Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
| US10279254B2 (en) | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
| JP2020046893A (en) * | 2018-09-19 | 2020-03-26 | 尚紀 北村 | Surgery support system and virtual surgery support system |
| USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| JP2021012229A (en) * | 2019-07-03 | 2021-02-04 | キヤノン株式会社 | Control device, imaging apparatus, control method, and program |
| US11010971B2 (en) | 2003-05-29 | 2021-05-18 | Sony Interactive Entertainment Inc. | User-driven three-dimensional interactive gaming environment |
| KR20220027721A (en) * | 2020-08-27 | 2022-03-08 | 카페24 주식회사 | Method, Apparatus and System for Automatic Registering Product Reviews Being Selective |
| US11543918B1 (en) | 2021-06-16 | 2023-01-03 | Sharp Kabushiki Kaisha | Input apparatus, input method, and recording medium recording input program |
| US11635822B2 (en) | 2021-02-10 | 2023-04-25 | Sharp Kabushiki Kaisha | Display device, display method, and recording medium having display program recorded therein |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02132510A (en) * | 1988-11-12 | 1990-05-22 | Sony Corp | Input device |
| JPH0620055A (en) * | 1991-05-24 | 1994-01-28 | Sony Corp | Method and device for picture signal processing |
| JPH0757103A (en) * | 1993-08-23 | 1995-03-03 | Toshiba Corp | Information processor |
| JPH0836586A (en) * | 1994-07-22 | 1996-02-06 | Fujitsu Ltd | Finger language retrieval system |
| JPH0844490A (en) * | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | Interface device |
| JPH08315154A (en) * | 1995-02-21 | 1996-11-29 | Mitsubishi Electric Res Lab Inc | Gesture recognition system |
-
1996
- 1996-04-18 JP JP09648196A patent/JP3777650B2/en not_active Expired - Lifetime
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02132510A (en) * | 1988-11-12 | 1990-05-22 | Sony Corp | Input device |
| JPH0620055A (en) * | 1991-05-24 | 1994-01-28 | Sony Corp | Method and device for picture signal processing |
| JPH0757103A (en) * | 1993-08-23 | 1995-03-03 | Toshiba Corp | Information processor |
| JPH0836586A (en) * | 1994-07-22 | 1996-02-06 | Fujitsu Ltd | Finger language retrieval system |
| JPH0844490A (en) * | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | Interface device |
| JPH08315154A (en) * | 1995-02-21 | 1996-11-29 | Mitsubishi Electric Res Lab Inc | Gesture recognition system |
Cited By (77)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004282770A (en) * | 1997-11-27 | 2004-10-07 | Matsushita Electric Ind Co Ltd | Control method |
| JP2001092590A (en) * | 1999-09-21 | 2001-04-06 | Nec Corp | Optical pointing device |
| JP2005174356A (en) * | 2000-02-01 | 2005-06-30 | Toshiba Corp | Direction detection method |
| JP2001216069A (en) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | Operation inputting device and direction detecting method |
| JP2002189545A (en) * | 2000-09-01 | 2002-07-05 | Sony Computer Entertainment America Inc | User input device for interaction with display image and its method |
| US7071914B1 (en) | 2000-09-01 | 2006-07-04 | Sony Computer Entertainment Inc. | User input device and method for interaction with graphic images |
| JP2002157079A (en) * | 2000-11-09 | 2002-05-31 | Doko Kagi Kofun Yugenkoshi | Method of discriminating intention |
| JP2002170121A (en) * | 2000-12-04 | 2002-06-14 | Sony Corp | Image processing device and method and recording medium |
| JP2002236534A (en) * | 2001-02-13 | 2002-08-23 | Mitsubishi Motors Corp | On-vehicle equipment operation device |
| JP2004537055A (en) * | 2001-07-24 | 2004-12-09 | サムスン エレクトロニクス カンパニー リミテッド | Method and apparatus for selecting information on multidimensional space |
| KR20030021987A (en) * | 2001-09-07 | 2003-03-15 | 이민호 | Wireless finger mouse system based on image processing |
| US10406433B2 (en) | 2002-07-27 | 2019-09-10 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US10099130B2 (en) | 2002-07-27 | 2018-10-16 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US10220302B2 (en) | 2002-07-27 | 2019-03-05 | Sony Interactive Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
| JP2004145723A (en) * | 2002-10-25 | 2004-05-20 | Keio Gijuku | Hand pattern switching device |
| JP2004334590A (en) * | 2003-05-08 | 2004-11-25 | Denso Corp | Operation input device |
| JP2004356819A (en) * | 2003-05-28 | 2004-12-16 | Sharp Corp | Remote control apparatus |
| US11010971B2 (en) | 2003-05-29 | 2021-05-18 | Sony Interactive Entertainment Inc. | User-driven three-dimensional interactive gaming environment |
| JP2005063090A (en) * | 2003-08-11 | 2005-03-10 | Keio Gijuku | Hand pattern switch device |
| JP2005268929A (en) * | 2004-03-16 | 2005-09-29 | Sharp Corp | Remote control apparatus |
| US10099147B2 (en) | 2004-08-19 | 2018-10-16 | Sony Interactive Entertainment Inc. | Using a portable device to interface with a video game rendered on a main display |
| JP2006190268A (en) * | 2004-12-31 | 2006-07-20 | Samsung Electronics Co Ltd | Touch position detecting device, touch position detecting method, and touch screen display device |
| JP2013047978A (en) * | 2005-02-08 | 2013-03-07 | Oblong Industries Inc | System and method for gesture based control system |
| JPWO2007013652A1 (en) * | 2005-07-29 | 2009-02-12 | パイオニア株式会社 | Image display control device, image display device, remote controller, image display system |
| JP4712804B2 (en) * | 2005-07-29 | 2011-06-29 | パイオニア株式会社 | Image display control device and image display device |
| US10279254B2 (en) | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
| US9573056B2 (en) | 2005-10-26 | 2017-02-21 | Sony Interactive Entertainment Inc. | Expandable control device via hardware attachment |
| JP2009519552A (en) * | 2005-12-12 | 2009-05-14 | 株式会社ソニー・コンピュータエンタテインメント | Voice and video control of an interactive electronically simulated environment |
| US8549442B2 (en) | 2005-12-12 | 2013-10-01 | Sony Computer Entertainment Inc. | Voice and video control of interactive electronically simulated environment |
| KR100778927B1 (en) * | 2005-12-29 | 2007-11-22 | 엠텍비젼 주식회사 | Device capable of recognizing non-contact key selection and method thereof |
| US8085243B2 (en) | 2006-02-03 | 2011-12-27 | Panasonic Corporation | Input device and its method |
| JP5201999B2 (en) * | 2006-02-03 | 2013-06-05 | パナソニック株式会社 | Input device and method thereof |
| WO2007088942A1 (en) * | 2006-02-03 | 2007-08-09 | Matsushita Electric Industrial Co., Ltd. | Input device and its method |
| JP2008004045A (en) * | 2006-06-26 | 2008-01-10 | Sony Computer Entertainment Inc | Image processor, image processing system, control method of computer and program |
| JP2008027328A (en) * | 2006-07-25 | 2008-02-07 | Alpine Electronics Inc | Data input device |
| JP2008040576A (en) * | 2006-08-02 | 2008-02-21 | Sharp Corp | Image processing system and video display device equipped with the same |
| US7844921B2 (en) | 2006-08-25 | 2010-11-30 | Kabushiki Kaisha Toshiba | Interface apparatus and interface method |
| JP2008052590A (en) * | 2006-08-25 | 2008-03-06 | Toshiba Corp | Interface device and its method |
| USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| KR100799907B1 (en) * | 2006-11-29 | 2008-01-31 | 엠텍비젼 주식회사 | Apparatus for sensing moving of subject and method thereof |
| JP2008146243A (en) * | 2006-12-07 | 2008-06-26 | Toshiba Corp | Information processor, information processing method and program |
| EP1988445A1 (en) * | 2007-05-04 | 2008-11-05 | Whirlpool Corporation | User interface and cooking oven provided with such user interface |
| JP4670860B2 (en) * | 2007-11-22 | 2011-04-13 | ソニー株式会社 | Recording / playback device |
| JP2009129142A (en) * | 2007-11-22 | 2009-06-11 | Sony Corp | Recording/reproduction device |
| US9529444B2 (en) | 2007-11-22 | 2016-12-27 | Sony Corporation | Recording and reproducing apparatus |
| US8872760B2 (en) | 2007-11-22 | 2014-10-28 | Sony Corporation | Recording and reproducing apparatus |
| US8840470B2 (en) | 2008-02-27 | 2014-09-23 | Sony Computer Entertainment America Llc | Methods for capturing depth data of a scene and applying computer actions |
| JP2011517584A (en) * | 2008-03-18 | 2011-06-16 | エリプティック・ラボラトリーズ・アクシェルスカブ | Object and motion detection |
| JP2009255903A (en) * | 2008-03-19 | 2009-11-05 | Denso Corp | Operation input device for vehicle |
| JP2009255904A (en) * | 2008-03-19 | 2009-11-05 | Denso Corp | Operation input device for vehicle |
| WO2009116285A1 (en) * | 2008-03-19 | 2009-09-24 | 株式会社デンソー | Operation input device for vehicle |
| EP2107414A1 (en) | 2008-03-31 | 2009-10-07 | Brother Kogyo Kabushiki Kaisha | Head mount display and head mount display system |
| CN102710911A (en) * | 2008-08-14 | 2012-10-03 | 索尼公司 | Information processing apparatus, method and program |
| US8698743B2 (en) | 2008-08-14 | 2014-04-15 | Sony Corporation | Information processing apparatus, method and program |
| JP2010118015A (en) * | 2008-11-14 | 2010-05-27 | Sharp Corp | Numerical value input device, numerical value input method, numerical value input program, and computer-readable recording medium |
| US8593399B2 (en) | 2009-02-18 | 2013-11-26 | Kabushiki Kaisha Toshiba | Interface apparatus and method for controlling a device |
| US8961313B2 (en) | 2009-05-29 | 2015-02-24 | Sony Computer Entertainment America Llc | Multi-positional three-dimensional controller |
| JP2011022945A (en) * | 2009-07-17 | 2011-02-03 | Dainippon Printing Co Ltd | Fingertip-manipulation-type information providing system, program, and storage medium |
| WO2011007746A1 (en) * | 2009-07-17 | 2011-01-20 | 大日本印刷株式会社 | Fingertip-manipulation-type information providing system, interactive manipulation device, computer program, and storage medium |
| WO2011093317A1 (en) * | 2010-01-29 | 2011-08-04 | 新世代株式会社 | Image processing apparatus, image processing method, computer program, recording medium, image processing module, and electronic apparatus |
| JP5709228B2 (en) * | 2011-04-28 | 2015-04-30 | Ｎｅｃソリューションイノベータ株式会社 | Information processing apparatus, information processing method, and program |
| US9367732B2 (en) | 2011-04-28 | 2016-06-14 | Nec Solution Innovators, Ltd. | Information processing device, information processing method, and recording medium |
| US9329673B2 (en) | 2011-04-28 | 2016-05-03 | Nec Solution Innovators, Ltd. | Information processing device, information processing method, and recording medium |
| JP5709227B2 (en) * | 2011-04-28 | 2015-04-30 | Ｎｅｃソリューションイノベータ株式会社 | Information processing apparatus, information processing method, and program |
| JP2013210723A (en) * | 2012-03-30 | 2013-10-10 | Sharp Corp | Display system |
| JP2013222317A (en) * | 2012-04-17 | 2013-10-28 | Toshiba Mach Co Ltd | Numerical control device |
| JP2014137616A (en) * | 2013-01-15 | 2014-07-28 | Fujitsu Ltd | Display control device, display control system, and display control method |
| WO2016132480A1 (en) * | 2015-02-18 | 2016-08-25 | 日立マクセル株式会社 | Video display device and video display method |
| JP2015122124A (en) * | 2015-03-31 | 2015-07-02 | 株式会社ナカヨ | Information apparatus with data input function by virtual mouse |
| JPWO2017072913A1 (en) * | 2015-10-29 | 2018-05-24 | Ｎｅｃディスプレイソリューションズ株式会社 | Control method, electronic blackboard system, display device, and program |
| WO2017072913A1 (en) * | 2015-10-29 | 2017-05-04 | Ｎｅｃディスプレイソリューションズ株式会社 | Control method, electronic blackboard system, display device, and program |
| JP2018142273A (en) * | 2017-02-28 | 2018-09-13 | キヤノン株式会社 | Information processing apparatus, method for controlling information processing apparatus, and program |
| JP2020046893A (en) * | 2018-09-19 | 2020-03-26 | 尚紀 北村 | Surgery support system and virtual surgery support system |
| JP2021012229A (en) * | 2019-07-03 | 2021-02-04 | キヤノン株式会社 | Control device, imaging apparatus, control method, and program |
| KR20220027721A (en) * | 2020-08-27 | 2022-03-08 | 카페24 주식회사 | Method, Apparatus and System for Automatic Registering Product Reviews Being Selective |
| US11635822B2 (en) | 2021-02-10 | 2023-04-25 | Sharp Kabushiki Kaisha | Display device, display method, and recording medium having display program recorded therein |
| US11543918B1 (en) | 2021-06-16 | 2023-01-03 | Sharp Kabushiki Kaisha | Input apparatus, input method, and recording medium recording input program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3777650B2 (en) | 2006-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3777650B2 (en) | Interface equipment | |
| EP0823683B1 (en) | Interface device | |
| KR101791366B1 (en) | Enhanced virtual touchpad and touchscreen | |
| JP6744990B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| JPH0844490A (en) | Interface device | |
| O'Hagan et al. | Visual gesture interfaces for virtual environments | |
| JP2941207B2 (en) | Gesture recognition system | |
| Rautaray et al. | Real time multiple hand gesture recognition system for human computer interaction | |
| CN107643828B (en) | Vehicle and method of controlling vehicle | |
| US8666115B2 (en) | Computer vision gesture based control of a device | |
| JP4323180B2 (en) | Interface method, apparatus, and program using self-image display | |
| US9063573B2 (en) | Method and system for touch-free control of devices | |
| JP2015522195A (en) | Method and system for simultaneous human-computer gesture-based interaction using unique noteworthy points on the hand | |
| JP2004078977A (en) | Interface device | |
| Abe et al. | Virtual 3-D interface system via hand motion recognition from two cameras | |
| WO2013192492A1 (en) | Vision-guided robots and methods of training them | |
| JP6618276B2 (en) | Information processing apparatus, control method therefor, program, and storage medium | |
| WO2013008236A1 (en) | System and method for computer vision based hand gesture identification | |
| JPH04271423A (en) | Information input method | |
| US20140053115A1 (en) | Computer vision gesture based control of a device | |
| CN107918481B (en) | Man-machine interaction method and system based on gesture recognition | |
| CN111596757A (en) | Gesture control method and device based on fingertip interaction | |
| JPH05324181A (en) | Hand pointing type input device | |
| KR101525011B1 (en) | tangible virtual reality display control device based on NUI, and method thereof | |
| Aggarwal et al. | An Approach to Control the PC with Hand Gesture Recognition using Computer Vision Technique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050622 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050708 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060220 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100310 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110310 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110310 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120310 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130310 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130310 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140310 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |