JPH0648458B2 - Information input device - Google Patents
Information input deviceInfo
- Publication number
- JPH0648458B2 JPH0648458B2 JP60038648A JP3864885A JPH0648458B2 JP H0648458 B2 JPH0648458 B2 JP H0648458B2 JP 60038648 A JP60038648 A JP 60038648A JP 3864885 A JP3864885 A JP 3864885A JP H0648458 B2 JPH0648458 B2 JP H0648458B2
- Authority
- JP
- Japan
- Prior art keywords
- head
- image
- face
- movement
- information input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Input From Keyboards Or The Like (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、人間の頭の動きなどを表情の変化として直接
映像でとらえ、画像処理によつて人間の意図としてコン
ピュータに伝えるための安価にして簡便な情報入力装置
に関するものである。DETAILED DESCRIPTION OF THE INVENTION [Industrial field of application] The present invention makes it possible to capture the movement of a human head or the like directly as a change in facial expression by a video, and to reduce the cost for transmitting the human intention to a computer by image processing. And a simple information input device.
キーボード付きディスプレイ，ライトペン，タブレッ
ト，マウス，ジョインステイック等は、従来より広く使
用されているコンピュータへの情報入力機器である。A display with a keyboard, a light pen, a tablet, a mouse, a join stick, etc. are information input devices for computers that have been widely used from the past.
一方、人間の身振り手振りは最も基本的な意志伝達手段
として重要な役割をはたしてきている。特に頭の動作
は、人間が赤ん坊から幼児へと成長していく過程で、言
葉よりも先に使うようになる情報伝達手段である。人間
の頭の動作を直接コンピュータで理解できるようになれ
ば、それは、キーボード等の機器による入力を補い、よ
り自然なマンマシンインタフェースを実現するものとし
て大きな意味をもつようになると考えられる。また、身
体の不自由な人々にも機械に対する命令伝達手段を提供
できることになる。On the other hand, human gestures have played an important role as the most basic means of communication. In particular, the movement of the head is a means of information transmission that humans use before words in the process of growing from baby to infant. It is considered that if the movement of the human head can be directly understood by a computer, it will be of great significance as a means of compensating for input by a device such as a keyboard and realizing a more natural man-machine interface. In addition, it will be possible to provide a means for transmitting commands to machines to people with disabilities.
特許第1144011号（末永，山岸：“情報入力方式”，特
公昭57-1009，特願昭51-10408）などは、手の映像を使
い上記問題点を一部解決し、ＴＶカメラから入力された
映像から指先もしくは指示器の位置を検出するものであ
るが、あくまで対象はひとコマの静止画像であり、その
動きを認識するというものではないという欠点があつ
た。Japanese Patent No. 1144011 (Suenaga, Yamagishi: "Information Input Method", Japanese Patent Publication No. 57-1009, Japanese Patent Application No. 51-10408), etc. solves some of the above problems by using hand images, and is input from a TV camera. Although it detects the position of the fingertip or the indicator from the video, it has the drawback that the target is a still image of one frame, and its movement is not recognized.
また鈴木，関口，東海林：“運動視差を利用した３次元
表示手法”、昭和５９年度電子通信学会総合全国大会予
稿集１５４１、は本発明と似た主旨の手法の具体例を開
示しているが、それは、該論文にも述べられているよう
に、コンピュータグラフイクスなどで立体表示を行うと
き、表示装置自体がＴＶカメラなどで観察者の頭部の３
次元位置の動きを常時監視し、その動きに従って表示像
を変化させるという３次元画像表示手法を提案するもの
であり、その際、頭部の動きの検出には、頭部に付けた
３個の発光ダイオードを利用するという方法によつてお
り、頭部画像の利用による方法について、具体的方法に
開示したものではなかつた。In addition, Suzuki, Sekiguchi, Tokaibayashi: "3D display method using motion parallax", 1984 Proceedings 1541 of the IEICE General Conference, which discloses a concrete example of a method similar to the present invention. , As described in the paper, when the stereoscopic display is performed by computer graphics or the like, the display device itself is a TV camera, etc.
We propose a three-dimensional image display method that constantly monitors the movement of the three-dimensional position and changes the display image according to the movement. At that time, in order to detect the movement of the head, three heads attached to the head are detected. This is based on the method of using the light emitting diode, and the method of using the head image is not disclosed as a specific method.
そこで本発明は、人間の頭の動きなどを表情の変化とし
て直接映像でとらえ、画像処理して人間の意図（命令）
として計算機へ入力可能にすることを、解決すべき問題
点としている。In view of this, the present invention directly captures human head movements, etc., as changes in facial expressions with video, and performs image processing for human intention (command).
The problem to be solved is to enable input to a computer as.
従って本発明は、上述のことを可能にする情報入力装置
を提供することを目的としている。Therefore, the present invention aims to provide an information input device that enables the above.
上記目的達成のため、本発明では、情報入力装置を、人
物の首より上の、頭部を含む顔面全体を対象として撮像
するテレビカメラの撮像信号を入力とし処理することに
より、頭の大きさ、頭の位置、及び頭に対する顔の相対
位置を表わす量を特徴量として抽出する手段と、抽出さ
れた特徴量の、前記顔面全体の動きに伴って生じる時間
的変化から所定のルールにより前記顔面全体の中の一部
である頭、顔、眉、目、口、鼻または耳の位置や向きの
変化、或いは動きを検出する手段と、検出された前記位
置や向きの変化、或いは動きを前記人物の意図を表わす
命令信号として計算機へ入力する手段と、により達成し
た。To achieve the above object, according to the present invention, the size of the head is obtained by processing the information input device by inputting an image pickup signal of a television camera which takes an image of the entire face including the head above the neck of the person. Means for extracting, as a feature quantity, an amount representing the position of the head and the relative position of the face to the head, and the face according to a predetermined rule from the temporal change of the extracted feature quantity caused by the movement of the entire face. The head, face, eyebrows, eyes, mouth, nose or ears that are a part of the whole, a means for detecting a change or a movement of the position or the direction, and the detected change of the position or the orientation or a movement And a means for inputting to the computer as a command signal indicating the intention of the person.
作用として具体例を説明する。 A specific example will be described as the operation.
画像データを表示しているディスプレイＣＲＴの正面に
座った人物の上半身をＣＲＴ上のＴＶカメラから撮り、
表示に対する命令を取り込むことを想定する。Take the upper half of the body of a person sitting in front of the display CRT displaying image data from the TV camera on the CRT,
It is assumed that the display instruction is taken in.
顔画像の動きから８種類の命令を抽出することを想定
し、命令と頭の動作の関係を表１のように定める。動作
はいずれも１〜３秒間継続すると考えることができる。Assuming that eight types of commands are extracted from the motion of the face image, the relationship between the commands and the motion of the head is defined as shown in Table 1. It can be considered that each operation lasts 1 to 3 seconds.
また、現実の処理を可能とするため、以下の仮定を置
く。 In addition, the following assumptions are made in order to enable actual processing.
仮定１「背景は変化しない」。Assumption 1 "Background does not change."
仮定２「頭の基準位置が画像の中心付近にあり、常に肩
から上の部分が画面内にある」。Assumption 2 "The reference position of the head is near the center of the image, and the part above the shoulder is always on the screen."
動きの認識は、(1)原画像からの特徴量抽出、(2)特徴量
による動きの判定、の２段階からなる。Motion recognition consists of two stages: (1) feature extraction from the original image, and (2) motion determination based on the feature.
表１の８種類の命令の検出を行なうため、(i)頭の大き
さ、(ii)頭の位置、(iii)頭に対する顔の相対位置、を
表わす特徴量を以下の手順により求める。In order to detect the eight types of commands shown in Table 1, the feature quantities representing (i) head size, (ii) head position, and (iii) face relative position to the head are obtained by the following procedure.
(1)各フレーム毎に原画像と背景画像の差分をとり、人
物像のシルエットをつくる。(1) The difference between the original image and the background image is taken for each frame to create a silhouette of a human figure.
(2)シルエットから頭（首から上）の領域を検出し、頭
の面積と重心を求める。(2) The area of the head (up from the neck) is detected from the silhouette, and the area of the head and the center of gravity are obtained.
(3)顔の領域を検出し、顔の面積と重心を求める。(3) The face area is detected, and the face area and the center of gravity are obtained.
上記特徴量に基づき、下記ルールにより動きを分類す
る。Based on the above feature amount, the motion is classified according to the following rules.
ルール１：頭が大きく（小さく）なつた。Rule 1: The head is big (small).
→顔が近づいた（遠のいた）。→ Your face is approaching (far away).
ルール２：顔が頭に対して相対的に上・下・左・右にあ
る。Rule 2: Face is above / below / left / right relative to the head.
→顔が上・下・左・右を向いている。→ Face is facing up / down / left / right.
ルール３：顔の向きが連続して上下（左右）に変化し
た。Rule 3: The direction of the face continuously changes up and down (left and right).
→「はい」（「いいえ」）の意味である。→ It means “Yes” (“No”).
このようにして本発明は、例えば頭の動きを撮像し、そ
の画像を簡単な方法で処理して認識し、計算機へ入力す
ることを可能にしている。In this way, the present invention makes it possible, for example, to image the movement of the head, process the image in a simple manner, recognize it, and input it to a computer.
次に図を参照して本発明の実施例を説明する。 Next, an embodiment of the present invention will be described with reference to the drawings.
第１図は本発明の一実施例を示す説明図である。同図に
おいて、１は人物の上半身映像を取り込むＴＶカメラ、
２は取り込んだ映像を処理して頭の位置情報、動作情報
を出力する情報入力装置、３は動作情報から前記の命令
などを判定して、該命令を利用する情報処理装置であ
る。また図中、４から９は動作を説明するためのもので
あり、４はＴＶカメラで捉える人物の上半身、５は背
景、６は該人物が例えば本発明による装置を使つて画面
上のメニューを選択するとしたときにメニューを表示す
るＣＲＴ，７，８はそれぞれメニューの例、９は画面上
のカーソルである。FIG. 1 is an explanatory view showing an embodiment of the present invention. In the figure, 1 is a TV camera that captures the upper body image of a person,
Reference numeral 2 is an information input device that processes the captured video and outputs head position information and motion information. Reference numeral 3 is an information processing device that determines the above command and the like from motion information and uses the command. Further, in the figure, 4 to 9 are for explaining the operation, 4 is the upper half of the body of the person captured by the TV camera, 5 is the background, and 6 is the person using the device according to the present invention for displaying a menu on the screen. CRTs 7 and 8 that display a menu when selected are examples of menus, and 9 is a cursor on the screen.
次に動作を説明する。先ず第１図に示すような配置にお
かれたＴＶカメラ１から上半身４の動画像を連続入力
し、該動画像を情報入力装置２において画像処理し、頭
の面積Ｓ、頭の重心位置Ｐ１＝（ｘ１，Ｙ１）、および
顔の重心位置Ｐ２＝（ｘ２，ｙ２）をｘ，ｙ座標に従つ
て計算して、結果を次々と情報処理装置３に出力する。Next, the operation will be described. First, a moving image of the upper body 4 is continuously input from the TV camera 1 arranged as shown in FIG. 1, the moving image is image-processed by the information input device 2, and the head area S and the center of gravity P1 of the head are set. = (X 1 , Y 1 ) and the barycentric position P2 = (x 2 , y 2 ) of the face are calculated according to the x and y coordinates, and the results are sequentially output to the information processing device 3.
情報処理装置３は、上記のデータ（面積や重心位置）の
変化などから、まず人物４の頭がＴＶカメラ１に近ずい
ているかあるいは遠のいているか、さらに頭が上下左右
のどの方向に動いているか、また頭（顔）が上下左右の
どの方向をむいているかを検出する。さらにこれらの動
きの速さ（単位時間あたりの向きの変化の回数など）か
ら、頭が振られているかどうかなどを検出する。その
後、以上の信号から前記の頭の動きによつて表わされる
約束された命令に変換する。このとき、動きに対する意
味付けは任意の方法があり変換手順は限定されない。The information processing device 3 determines whether the head of the person 4 is closer to or far from the TV camera 1 or whether the head moves up, down, left, or right, based on the above-mentioned data (area or center of gravity position) change. And whether the head (face) is facing up, down, left or right. Further, it is detected from the speed of these movements (the number of changes in the orientation per unit time) whether or not the head is shaken. Then, the above signals are converted into the promised commands represented by the head movement. At this time, there is an arbitrary method for giving meaning to the motion, and the conversion procedure is not limited.
情報入力装置２にはあらかじめ背景の画像を取り込み該
装置内に格納しておく。また、人物の上半身４の定位置
を決めるため、人物がＴＶカメラ１の正面に座つたとき
に、情報入力装置２および情報処理装置３に信号を送
り、その時の前記データすなわち頭の面積Ｓ、頭の重心
位置Ｐ１、顔の重心位置Ｐ２を定位置データとして記憶
しておく。A background image is captured in advance in the information input device 2 and stored in the device. Further, in order to determine the fixed position of the upper body 4 of the person, when the person sits in front of the TV camera 1, a signal is sent to the information input device 2 and the information processing device 3, and the data at that time, that is, the head area S, The center of gravity position P1 of the head and the center of gravity position P2 of the face are stored as fixed position data.
本方式では、これらの背景と定位置データを使つて、頭
の動きを判定する。これらの背景と定位置に関するデー
タは基本的な使用では固定的で良いが、場合によつて、
背景が変化したり、頭の位置が変わることもあるのでこ
のときは、随時、背景の画像と定位置データの平均値を
調べて平均値を使うとか、大きな差が生じた場合には更
新して新しいデータを使用する。In this method, the movement of the head is determined using these background and fixed position data. These background and fixed position data may be fixed in basic use, but in some cases,
Since the background may change and the position of the head may change, at this time, check the average value of the background image and the fixed position data at any time and use the average value, or update if a large difference occurs. Use new data.
情報入力装置２は次のように動作して、頭の面積データ
Ｓと、重心データＰ１，Ｐ２を計算し出力する。第２図
を用いて説明する。The information input device 2 operates as follows to calculate and output the head area data S and the gravity center data P1 and P2. This will be described with reference to FIG.
まず、ＴＶカメラ１から入力した（イ）に示す上半身像
（原画像１０）から、前記記憶しておいた背景画像１１
（（ロ）に示す）を差し引いて絶対値をとる。この演算
は、画像の各画素ごとにそれぞれ行う。ここで得られた
（ハ）に示す画像（差分画像１２）は、背景部の画素は
０に近く、その他の画素は比較的大きな値となる。但
し、上半身像部分は、そこから対応した位置にある背景
画像分を差し引かれるので、一律的な画像にはならない
ことがある。First, from the upper body image (original image 10) shown in (a) input from the TV camera 1, the stored background image 11 is stored.
Take the absolute value by subtracting (shown in (b)). This calculation is performed for each pixel of the image. In the image (difference image 12) shown in (c) obtained here, the pixels in the background portion are close to 0, and the other pixels have relatively large values. However, the upper body image portion may not be a uniform image because the background image portion at the corresponding position is subtracted therefrom.
次いで背景画像をある、あらかじめ与えておいたしきい
値で２値化すると、（ニ）に示す如く人物の部分１３が
抽出できる（しきい値以上を値１その他を値０とす
る）。頭の部分だけを処理対象とするために、肩から下
の部分を削除する。これには、首のところで値１の図形
（人物部分）の横幅が小さくなることをつかって首の位
置を検出する。この時点での処理画像１４は第３図に示
すようになつている。Then, if the background image is binarized with a certain threshold value given in advance, the person's part 13 can be extracted as shown in (d) (values above the threshold value are set to 1 and other values are set to 0). In order to process only the head part, the part below the shoulder is deleted. For this purpose, the position of the neck is detected by using the fact that the width of the figure (person part) having a value of 1 becomes smaller at the neck. The processed image 14 at this point is as shown in FIG.
次に、情報入力装置２はまずこの処理画像１４から値１
の図形の面積を計算する。これが頭の面積データＳとな
る。さらに、該値１の図形の重心位置を既知の手法によ
り計算する。これが頭の重心１５のデータ（Ｐ１＝
ｘ１，ｙ１）となる。次に処理画像１４と原画像１０を
使つて顔の部分を抽出する。これには、原画像１０の画
素のうち、処理画像１４の値１に対応する部分、すなわ
ち頭の部分だけに対して原画像１０を走査し、しきい値
処理によつて抽出する。該しきい値処理は、例えば人物
４の頭が黒く、顔が白つぽいという性質を使つて、ある
しきい値より明るい画素を顔（値２）として判定する。
第４図の１６が顔として判定された部分である。そこ
で、該顔の部分１６の重心１７のデータ（Ｐ２＝ｘ２，
ｙ２）を計算する。Next, the information input device 2 first obtains the value 1 from the processed image 14.
Calculate the area of the figure. This becomes the head area data S. Further, the barycentric position of the figure having the value 1 is calculated by a known method. This is the data of the center of gravity 15 of the head (P1 =
x 1 , y 1 ). Next, the face portion is extracted using the processed image 14 and the original image 10. To this end, of the pixels of the original image 10, only the portion corresponding to the value 1 of the processed image 14, that is, the head portion is scanned with the original image 10 and extracted by thresholding. In the threshold processing, for example, the person 4 has a black head and a white face, and a pixel brighter than a certain threshold is determined as a face (value 2).
Reference numeral 16 in FIG. 4 is a portion determined as a face. Therefore, the data of the center of gravity 17 of the face portion 16 (P2 = x 2 ,
Calculate y 2 ).
情報入力装置２は上記の計算をＴＶカメラがとらえた映
像ごとに行い、得られる頭の面積、頭の重心位置座標、
顔の重心位置座標を逐次出力する。The information input device 2 performs the above calculation for each image captured by the TV camera, and obtains the area of the head, the coordinates of the position of the center of gravity of the head,
The barycentric position coordinates of the face are sequentially output.
情報処理装置３は、情報入力装置２から逐次受け取る前
記のデータと、最初に受けとつている定位置データを処
理する。まず頭の面積データＳを常時調べて増加してい
るか、減少しているかをチエックし、それぞれのとき、
頭が近づいている、あるいは遠のいていると判定する。
画像を表示しているときは、これらの判定結果をたとえ
ばズームアップ、ズームダウンの命令として使う。The information processing device 3 processes the data sequentially received from the information input device 2 and the fixed position data received first. First, the head area data S is constantly checked to check if it is increasing or decreasing. At each time,
Judge that the head is approaching or far away.
When the image is displayed, these determination results are used as a zoom up / zoom down command, for example.
次に、頭の重心位置データＰ１（ｘ１，ｙ１）を頭の重
心の定位置データと比較して、頭の定位置からのずれを
調べる。ずれがあれば、その量だけ頭が動いたと判定す
る。ずれの量が映像ごとに違えば、頭が動いていると判
定する。Next, the center-of-gravity position data P1 (x 1 , y 1 ) of the head is compared with the fixed-position data of the center-of-gravity of the head to check the deviation from the fixed position of the head. If there is a deviation, it is determined that the head has moved by that amount. If the amount of shift differs for each video, it is determined that the head is moving.
さらに、顔の重心位置データＰ２（ｘ２，ｙ２）を顔の
重心の定位置データと比較して、頭の回転を調べる。こ
のとき、頭のずれの量を使つて補正することによつて、
頭が移動していても正しい回転量を計算できる。頭の回
転量は、各映像から得られる頭の重心位置を基準にした
顔の重心位置の相対位置の変化をつかうこともできる。
頭の回転が、上下あるいは左右に連続して繰りかえされ
るとき、例えば「はい」，「いいえ」と解釈する。Furthermore, the center of gravity position data P2 (x 2 , y 2 ) of the face is compared with the fixed position data of the center of gravity of the face to check the rotation of the head. At this time, by correcting using the amount of head misalignment,
You can calculate the correct amount of rotation even if your head is moving. As the amount of rotation of the head, the change in the relative position of the center of gravity of the face based on the position of the center of gravity of the head obtained from each image can be used.
When the rotation of the head is repeated up and down or left and right, it is interpreted as "yes" or "no", for example.
また、頭の向きを回転量から求めて、これと頭の位置を
使うと、大まかであるが視線の方向を知ることが出来、
情報処理装置３は画面の中の注視点を知ることができ
る。すなわち、例えば、人間が上を向いて注視点が上と
認識すれば、情報処理装置３はそれを上方カーソル移動
と解釈して、第１図のＣＲＴ６に表示しているカーソル
９を上方に動かして表示図形７のところへもつていつた
り、画像のさらに上方を見たいのだと解釈して、画像を
下方にスクロールするという処理ができる。またさらに
人間が頭を右に向けたのを認識して、カーソルを表示図
形８に移動して、そこで、人間が縦に頭を振れば、その
メニューを実行する処理にはいる、といつたようなマン
マシンインタフェースを実現できる。Also, if you obtain the direction of the head from the amount of rotation and use this and the position of the head, you can roughly know the direction of the line of sight,
The information processing device 3 can know the gazing point on the screen. That is, for example, if a person looks upward and recognizes that the gazing point is upward, the information processing device 3 interprets it as an upward cursor movement, and moves the cursor 9 displayed on the CRT 6 in FIG. 1 upward. The image can be scrolled downward by interpreting that the user wants to look further up in the image. Furthermore, when the human recognizes that the head is turned to the right, the cursor is moved to the display figure 8, and if the human shakes his / her head vertically, it is in the process of executing the menu. Such a man-machine interface can be realized.
上記の装置を、人物の上半身像ではなく人物の顔の中に
ある、眉、目、口，鼻或いは耳に対して適用しても同等
の効果を得ることができる。これらの成分図形の抽出、
および動きの認識は、現在の画像処理技術の範囲で得ら
れるデータを用いて十分行なうことができる。これらの
成分の動きを利用すると、前記情報処理装置３は位置情
報に限らず顔の表情を認識して、マンマシンインタフェ
ースの向上に利用できる。The same effect can be obtained by applying the above device to the eyebrows, eyes, mouth, nose or ears in the face of the person instead of the upper half image of the person. Extraction of these component figures,
And, the recognition of motion can be sufficiently performed using the data obtained in the range of the current image processing technology. By utilizing the movements of these components, the information processing device 3 can recognize not only the position information but also the facial expression and can be used for improving the man-machine interface.
以上説明したように、本発明によればＴＶカメラと情報
入力装置を備えることにより、３次元空間内の仮想的指
示棒、ワイヤレスリモコンスイッチ等を実現できる。し
かも、本来、人間の頭の動きは種々の意味に使用される
ものであり、本発明方式で入力された頭の動きに対する
種々の識別法を開発することにより、数値の入力、コマ
ンドの入力、人間の自然なボディランゲージの通訳器
等、本発明による情報入力装置は広い用途に使用できる
と考えられる。As described above, according to the present invention, by providing the TV camera and the information input device, it is possible to realize a virtual pointing bar, a wireless remote control switch, etc. in a three-dimensional space. Moreover, the human head movement is originally used for various meanings, and by developing various identification methods for the head movement input by the method of the present invention, it is possible to input numerical values, input commands, It is considered that the information input device according to the present invention, such as an interpreter for a human natural body language, can be used for a wide range of purposes.
第１図は本発明の一実施例を示す説明図、第２図は画像
処理の過程を示す説明図、第３図は得られた処理画像の
一例を説明図、第４図は同じく他の処理画像例を示す説
明図、である。 符号説明 １…ＴＶカメラ、２…情報入力装置、３…情報処理装
置、４…上半身、５…背景、６…ＣＲＴ、７，８…メニ
ューの例、９…カーソル、１０…原画像、１１…背景画
像、１２…差分画像、１３…人物の部分、１４…処理画
像、１５…頭の重心、１６…顔の部分、１７…顔の重心FIG. 1 is an explanatory diagram showing an embodiment of the present invention, FIG. 2 is an explanatory diagram showing a process of image processing, FIG. 3 is an explanatory diagram showing an example of an obtained processed image, and FIG. It is explanatory drawing which shows the example of a process image. Reference numeral 1 ... TV camera, 2 ... Information input device, 3 ... Information processing device, 4 ... Upper body, 5 ... Background, 6 ... CRT, 7, 8 ... Menu example, 9 ... Cursor, 10 ... Original image, 11 ... Background image, 12 ... Difference image, 13 ... Human part, 14 ... Processed image, 15 ... Head center of gravity, 16 ... Face part, 17 ... Face center of gravity
Claims (1)
対象として撮像するテレビカメラからの撮像信号を入力
とし処理することにより、頭の大きさ、頭の位置、及び
頭に対する顔の相対位置を表わす量を特徴量として抽出
する手段と、抽出された特徴量の、前記顔面全体の動き
に伴って生じる時間的変化から所定のルールにより前記
顔面全体の中の一部である頭、顔、眉、目、口、鼻また
は耳の位置や向きの変化、或いは動きを検出する手段
と、検出された前記位置や向きの変化、或いは動きを前
記人物の意図を表わす命令信号として計算機へ入力する
手段と、から成ることを特徴とする情報入力装置。1. A head size, a head position, and a face with respect to a head by processing an image pickup signal from a television camera which takes an image of an entire face including a head above a person's neck as an input. Means for extracting a quantity representing the relative position of the face as a feature quantity, and a head which is a part of the whole face according to a predetermined rule from the temporal change of the extracted feature quantity caused by the movement of the whole face. , Means for detecting a change or movement of the position or orientation of the face, eyebrows, eyes, mouth, nose or ears, and a computer that uses the detected change of the position or orientation or movement as a command signal indicating the intention of the person. An information input device, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP60038648A JPH0648458B2 (en) | 1985-03-01 | 1985-03-01 | Information input device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP60038648A JPH0648458B2 (en) | 1985-03-01 | 1985-03-01 | Information input device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS61199178A JPS61199178A (en) | 1986-09-03 |
| JPH0648458B2 true JPH0648458B2 (en) | 1994-06-22 |
Family
ID=12531070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP60038648A Expired - Lifetime JPH0648458B2 (en) | 1985-03-01 | 1985-03-01 | Information input device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0648458B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010042134A (en) * | 2008-08-12 | 2010-02-25 | Kyushu Hitachi Maxell Ltd | Massage machine |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4102895C1 (en) * | 1991-01-31 | 1992-01-30 | Siemens Ag, 8000 Muenchen, De | |
| JPH0757103A (en) * | 1993-08-23 | 1995-03-03 | Toshiba Corp | Information processor |
| JPH09274530A (en) * | 1996-04-05 | 1997-10-21 | Nec Corp | Head rotation sensing input device |
| JP3487237B2 (en) * | 1999-08-27 | 2004-01-13 | 日本電気株式会社 | Pointing device and computer system using the same |
| JP2002157079A (en) * | 2000-11-09 | 2002-05-31 | Doko Kagi Kofun Yugenkoshi | Method of discriminating intention |
| JP3801477B2 (en) | 2001-10-11 | 2006-07-26 | 三菱電機株式会社 | Synchronous induction motor rotor, synchronous induction motor, fan motor, compressor, air conditioner, and refrigerator |
| JP2006041888A (en) | 2004-07-27 | 2006-02-09 | Sony Corp | Information processing apparatus and method therefor, recording medium and program |
| JP4160554B2 (en) * | 2004-12-13 | 2008-10-01 | 株式会社東芝 | Image recognition apparatus and image recognition apparatus method |
| JP2007310914A (en) * | 2007-08-31 | 2007-11-29 | Nippon Telegr & Teleph Corp <Ntt> | Mouse alternating method, mouse alternating program and recording medium |
| JP2010134057A (en) * | 2008-12-02 | 2010-06-17 | Brother Ind Ltd | Head-mounted display |
| JP5960691B2 (en) | 2012-02-23 | 2016-08-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Interest section identification device, interest section identification method, interest section identification program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58180149A (en) * | 1982-04-16 | 1983-10-21 | 小野 博 | Apparatus for taking photograph of lip |
| JPS59132079A (en) * | 1983-01-17 | 1984-07-30 | Nippon Telegr & Teleph Corp <Ntt> | Manual operation input device |
| JPS59194274A (en) * | 1983-04-18 | 1984-11-05 | Nippon Telegr & Teleph Corp <Ntt> | Person deciding device |
-
1985
- 1985-03-01 JP JP60038648A patent/JPH0648458B2/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010042134A (en) * | 2008-08-12 | 2010-02-25 | Kyushu Hitachi Maxell Ltd | Massage machine |
Also Published As
| Publication number | Publication date |
|---|---|
| JPS61199178A (en) | 1986-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10394334B2 (en) | Gesture-based control system | |
| CN110456907A (en) | Control method, device, terminal device and the storage medium of virtual screen | |
| US8732623B2 (en) | Web cam based user interaction | |
| JP5896578B2 (en) | Data input device | |
| US20090153468A1 (en) | Virtual Interface System | |
| US20150145762A1 (en) | Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program | |
| EP1324269A1 (en) | Image processing apparatus, image processing method, record medium, computer program, and semiconductor device | |
| TW201539305A (en) | Controlling a computing-based device using gestures | |
| WO2018000519A1 (en) | Projection-based interaction control method and system for user interaction icon | |
| US20210201002A1 (en) | Moving image distribution computer program, server device, and method | |
| CN109145802B (en) | Kinect-based multi-person gesture man-machine interaction method and device | |
| JPH0648458B2 (en) | Information input device | |
| US10621766B2 (en) | Character input method and device using a background image portion as a control region | |
| CN106909871A (en) | Gesture instruction recognition methods | |
| Song et al. | Detection of movements of head and mouth to provide computer access for disabled | |
| JP5964603B2 (en) | Data input device and display device | |
| CN115107037A (en) | Interaction system and method for mechanical arm for assisting food taking | |
| KR101426378B1 (en) | System and Method for Processing Presentation Event Using Depth Information | |
| JP2000172163A (en) | Manual operation segmenting method/device | |
| KR20160141023A (en) | The method of dynamic and static gesture recognition using depth camera and interface of immersive media contents | |
| JP2016186809A (en) | Data input device, data input method, and data input program | |
| KR101447958B1 (en) | Method and apparatus for recognizing body point | |
| KR20210003515A (en) | Augmented Reality Implementation Device Supporting Interactive Mode | |
| EP2249229A1 (en) | Non-contact mouse apparatus and method for operating the same | |
| CN113342176A (en) | Immersive tourism interactive system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| EXPY | Cancellation because of completion of term |