JP3276010B2 - 情報の入力方法 - Google Patents

情報の入力方法

Info

Publication number
JP3276010B2
JP3276010B2 JP17406791A JP17406791A JP3276010B2 JP 3276010 B2 JP3276010 B2 JP 3276010B2 JP 17406791 A JP17406791 A JP 17406791A JP 17406791 A JP17406791 A JP 17406791A JP 3276010 B2 JP3276010 B2 JP 3276010B2
Authority
JP
Japan
Prior art keywords
pointing
point
information
tip point
tip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP17406791A
Other languages
English (en)
Other versions
JPH0519958A (ja
Inventor
雅朗 福本
健二 間瀬
康仁 末永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP17406791A priority Critical patent/JP3276010B2/ja
Publication of JPH0519958A publication Critical patent/JPH0519958A/ja
Application granted granted Critical
Publication of JP3276010B2 publication Critical patent/JP3276010B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、操作者の手足、指示器
のような指示動作物体の動きを直接映像としてとらえ、
画像処理し、該指示動作物体の動きによって表現され
る、指示目標物体等への情報を情報処理装置に入力す
る、情報の入力方法に関する。
【0002】
【従来の技術】現在、情報処理装置(コンピュータ)の
入力装置としては、キーボードやマウスなどが一般的に
用いられている。しかしながら、これらの装置を使用す
る場合、ある程度の熟練が要求され、万人が即座に使用
できるようなものではない。現在、「コンピュータはむ
ずかしい」という人が多いのは、このような劣悪なイン
ターフェースにもその一因があると考えられる。本来な
らば、人間同士が会話をするのと同じような自然な方法
を用いて、コンピュータとの会話が行なわれるべきであ
る。この点、「見振り手振り」を用いたインターフェー
スは、誰にでも熟練を要することなく簡便に使用でき、
「誰にでも使えるコンピュータ」の実現に大きく寄与す
ると考えられる。特願平3−053565号「情報入力
方法」および福間、間瀬、末永“画像処理を用いた指示
動作検出の実験システム”(電子情報通信学会1991
年春季全国大会講演論文集A−251)は上記問題点を
一部解決し、テレビカメラから入力された画像から指先
もしくは指示器の位置を検出し、指示目標物体の特定と
命令動作の認識を行なうものである。
【0003】
【発明が解決しようとする課題】上述した従来の技術に
は、以下のような欠点がある。
【0004】(1)指先の先端点から指先の有無を認識
する方法についての記述が該論文においては、「指の太
さ及び長さに基づく」と書かれているだけで、その判定
方法が明確に述べられていない。したがって、画面中の
不要な物体やノイズにより指示動作物体を誤検出するお
それがあった。
【0005】(2)基準点の決定方法について、該公報
においては、「キャリブレーションによって得られた直
線群の交差する三次元空間内の点を基準点とする」と書
かれており、また、「指示動作を行なう場合、上体を変
動させずに腕を動かす程度であれば、この直線群は容易
にほぼ一点に交差する」と書かれているが、現実には、
直線群は互いに空間内で「ねじれの位置」にあることが
多く、1点では交差しない。さらに、このような場合に
基準点を算出するアルゴリズムについては述べられてい
ない。
【0006】本発明の第1の目的は、指示動作物体の決
定を厳密に行なう、情報の入力方法を提供することであ
る。
【0007】本発明の第2の目的は、指示方向を示す複
数の直線が空間内の一点で交差しない場合に、基準点を
正しく求める、情報の入力方法を提供することである。
【0008】
【課題を解決するための手段】本発明の第1の情報の入
力方法は、指示動作物体に対して異なる視野を持つよう
に配置された複数台の撮像装置から得られる複数の撮像
信号を処理し、前記指示動作物体の三次元情報を得てこ
れを情報処理装置に入力し、かつ前記指示動作物体の特
定の部位から求められた先端点と、予め定められた基準
点を結ぶ直線上に存在する前記指示目標物体を決定し、
これを情報処理装置に入力する、情報の入力方法におい
て、前記指示目標物体に最も近接する、前記指示動作物
体の一部と思われる点を前記先端点の候補とし、該先端
点候補に対し、前記撮像信号上で、前記先端点候補を基
準として探索を行ない、探索結果と、前記指示動作物体
自身の特徴量から、前記先端点候補が前記指示動作物体
の一部に相当し、先端点となりう得るか否かを判断す
る。
【0009】本発明の第2の情報の入力方法は、指示動
作物体に対して異なる視野を持つように配置された複数
台の撮像装置から得られる複数の撮像信号を処理し、前
記指示動作物体の三次元情報を得てこれを情報処理装置
に入力し、かつ前記指示動作物体の特定の部位から求め
られた先端点と、予め定められた基準点を結ぶ直線上に
存在する前記指示目標物体を決定し、これを情報処理装
置に入力する、情報の入力方法において、既知の複数の
前記指示目標物体を前記指示動作物体が指示することに
よって、前記各指示目標物体と前記指示動作物体を通る
直線を定め、これら直線が収束する付近の、三次元空間
内のある点を中心とし、全ての前記直線が内部を通過す
る球のうち半径が最も小さい球をもとにして前記基準点
を決定する。
【0010】
【作用】抽出された先端点が、本当に指示動作物体に属
しているかを調べることによって、画面中の不要な物体
やノイズによる指示動作物体の誤検出を防ぐことができ
る。また、指示方向を示す複数の直線が空間内の1点で
交差しない場合に、直線群が内部を通過する球のうち半
径が最も近い球をもとにして基準点を決定することによ
り、正しく基準点を求めることができる。
【0011】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
【0012】図1は本発明の一実施例を示す構成図、図
2は先端点の候補に対する検証方法を示す説明図、図3
は基準点の探索アルゴリズムを示す説明図、図4は基準
点の探索範囲の決定方法の一例を示す図である。
【0013】本実施例は、操作者10の手6(指示動作
物体)によって、スクリーン4上に投影された指示目標
物体5に対する命令を指示し、手6に対して異なる視野
を持つように壁面と天井にそれぞれ配置された2台のテ
レビカメラ1,2(撮像装置)によって得られた2つの
撮像信号を情報入力装置3で処理して前記命令と指示目
標物体5を得、これらを情報処理装置9に入力するもの
である。なお、三次元空間の座標系は、スクリーン4の
右下隅を原点Oとして図1のようにとられている。
【0014】次に、本実施例の動作を説明する。
【0015】まず、2台のテレビカメラ1,2から手6
の映像を情報入力装置3に入力し、該装置3において処
理することによって手6の先端点7の三次元空間O−x
yzにおける座標位置を決定する。次に、先端点7と基
準点8から指示目標物体5を前記特願平3−05356
5号明細書に記載の方法を用いて決定する。次に、手6
の特定の状態または状態系列を識別し、該状態または状
態系列に対応して予め決められた情報を指示目標物体5
等に対する命令情報として情報処理装置9に入力する。
【0016】ここで、先端点7の決定方法について図2
により説明する。通常、人間が手や指示器を用いて指示
動作を行なう場合には、手や指示器の先端が指示目標物
体に一番近い位置にあると考えることができる。前記特
願平3−053565号では、先端点7の座標として、
指示動作物体のうち、指示目標物体5に最も近い位置の
座標を定めている。しかしながら、この方法では、背景
物体や画像中のノイズなどが指示動作物体よりもスクリ
ーン寄りに存在した場合、誤った先端点を検出する危険
性がある。そこで、本実施例では、2値化された連続し
た領域11をスクリーン4の方向に走査して、先端点の
候補を抽出したあと、指示動作物体である手6の特徴量
(ここでは指の太さおよび第1関節までの長さ)を用い
て、先端点候補は指示動作物体であるか否かの判断を行
なう。このアルゴリズムを図2で説明する。
【0017】(1)指示動作物体である手6を背景から
切り出し、2値化処理を行ない、2値化された手11を
得る。
【0018】(2)画像中スクリーン4の方向へ、スク
リーン4の方に向かって連続した領域11の探索を行な
う。
【0019】(3)連続領域11のスクリーン4に一番
近い先端を先端点の候補12とする。
【0020】(4)先端点候補12を中心とし、人差し
指第一関節までの長さ20を半径とする円23を描く。
【0021】(5)該円23の円周上を走査し、連続し
た領域11を横切った長さ21を計測する。
【0022】(6)人差し指の太さ22と長さ21を比
較し、両者の差が一定の範囲内に収まれば、先端点候補
12を先端点7とする。
【0023】(7)さもなくば、先端点候補12を破棄
する。
【0024】ここで、人差し指の第一関節までの長さを
特徴量として用いているが、これは、人差し指の角度に
よらず先端点を安定して検出するためである。また、先
端点候補が破棄された場合、再度探索を行ない、別の候
補を抽出することもできる。この場合、「スクリーン方
向に凸である」という制限を設けて候補点(群)を抽出
し、「スクリーンに近いもの」順に検索を行なうことに
よって、背景物体やノイズの中から先端点を正しく検出
することが可能となる。
【0025】次に、図3を用いて基準点8の決定方法に
ついて述べる。前記公報では、スクリーン上の既知の点
群を指示し、その時の指示直線の交点として基準点を求
めている。しかしながら、このようにして求められた指
示直線が三次元空間内の1点で交わることはまれであ
る。該公報では、「容易にほぼ1点で交差することがわ
かっている」と書かれているだけで、直線が1点で交わ
らなかった場合の基準点の求め方について言及してい
る。図3は、このような場合の基準点の求め方のアルゴ
リズムの一例を示す。
【0026】(1)スクリーン4の中央に指示目標物体
14を表示し、指示動作を行なう。
【0027】(2)先端点16を決定し、指示目標物体
14の位置(既知)から三次元空間中の直線17が1本
定まる。
【0028】(3)スクリーンの4隅に順番に指示目標
物体151 〜154 を表示させ、同じようにして直線1
1 〜184 を決定する。
【0029】(4)三次元空間内にある点30を中心と
する半径31の球32を描いた時に、全ての直線17,
181 〜184 が内部を通過するような球のうち、半径
31が最も小さい球の中心点を基準点8とする。
【0030】ここで、三次元空間内の全ての点について
上記半径31の計算を行なったのでは、計算量が膨大に
なるので、収束点付近の空間についてのみ計算を行な
う。なお、収束点付近の空間の算出方法の一例につい
て、図4を用いて説明する。ここでは、特願平3−05
3565号明細書に記載の補正動作によって三次元空間
内の3本の直線40,41,42が決定されたとしてい
る。
【0031】(1)2本の直線40,42の最接近点4
3,44を求める。これは、直線の方程式から一意に導
くことが可能である。
【0032】(2)同様にして、全ての2本の直線の組
み合わせについて、最接近点(図4では46a,46
b,47a,47b)を求める。
【0033】(3)これら全ての最接近点の座標を探索
し、各座標軸において、その最小値と最大値を求め、そ
の間を基準点探索範囲(図4ではXrange,Yrange
(z軸は省略))とする。
【0034】(4)各軸の探索範囲で囲まれた三次元空
間内の直方体(Xrange * Yrange* Zrange )につ
いて、前記球の半径31を求める。
【0035】なお、実際の計算時においては、空間の解
像度を1mm程度にすれば十分実用的な精度が得られ、ま
た計算時間も十分短くできる。また、スクリーン4上の
点を指示させる場合に、スクリーン4の4隅及び中心点
を指示させるのが、この場合、中心点を指示させて得ら
れる直線が、収束点の精度を悪化させる場合がある。こ
のような場合には、中心点による直線を除いて基準点8
の決定を行なう。
【0036】なお、本実施例では、指示動作物体として
人間の手6を用いているが、これは足や口などの他の身
体の部分や、棒などの指示器を用いてもよい。さらに、
本実施例では2台のテレビカメラ1,2を壁面と天井に
配置しているが、テレビカメラはステレオ画像をえるこ
とができるような位置に複数台配置されていればよい。
情報処理装置9に入力する情報は命令情報以外でもよ
い。
【0037】
【発明の効果】以上説明したように本発明は、次のよう
な効果がある。
【0038】(1)請求項1の発明は、抽出された先端
点が本当に指示動作物体に属しているかを調べることに
よって、画面中の不要な物体やノイズによる指示動作物
体の誤検出を防ぐことができる。
【0039】(2)指示方向に直線が空間内の1点で交
差しない場合、直線が内部を通過する球のうち半径が最
も小さい球をもとにして基準点を決定することにより、
基準点を正しく求めることができる。
【図面の簡単な説明】
【図1】本発明の一実施例を示す構成図である。
【図2】先端点の候補に対する検証方法の一例を示す説
明図である。
【図3】同図(1)は基準点の探索アルゴリズムの一例
を示す説明図、同図(2)は同図(1)のAの部分の拡
大図である。
【図4】基準点の探索範囲の決定方法の一例を示す図で
ある。
【符号の説明】
1,2 テレビカメラ 3 情報入力装置 4 スクリーン 5 指示目標物体 6 手 7 先端点 8 基準点 9 情報処理装置 10 操作者 11 2値化された手6 12 先端点候補 14 中央の指示目標物体 151〜154 4隅に表示された指示目標物体 16 先端点 17 得られた直線 181 〜184 得られた直線 20 人差し指先端から第1関節までの長さ 21 探索経路23中の手の領域 22 人差し指の太さ 23 円(探索経路) 30 推定された基準点 31 基準点30を中心とする球の半径 32 基準点30を中心とする球 40,41,42 補正動作によって求められた直線 43,44 直線40と42の最近接点 45 最近接点43と44の距離 46a,46b 直線41と42の最近接点 47a,47b 直線40と42の最近接点 Xrange x軸探索範囲 Yrange y軸探索範囲
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭63−223913(JP,A) 特開 昭63−167923(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06F 3/033 310 G06T 1/00 G06T 7/00

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 指示動作物体に対して異なる視野を持つ
    ように配置された複数台の撮像装置から得られる複数の
    撮像信号を処理し、前記指示動作物体の三次元情報を得
    てこれを情報処理装置に入力し、かつ前記指示動作物体
    の特定の部位から求められた先端点と、予め定められた
    基準点を結ぶ直線上に存在する前記指示目標物体を決定
    し、これを情報処理装置に入力する、情報の入力方法に
    おいて、 前記指示目標物体に最も近接する、前記指示動作物体の
    一部と思われる点を前記先端点の候補とし、該先端点候
    補に対し、前記撮像信号上で、前記先端点候補を基準と
    して探索を行ない、探索結果と、前記指示動作物体自身
    の特徴量から、前記先端点候補が前記指示動作物体の一
    部に相当し、先端点となり得るか否かを判断することを
    特徴とする、情報の入力方法。
  2. 【請求項2】 指示動作物体に対して異なる視野を持つ
    ように配置された複数台の撮像装置から得られる複数の
    撮像信号を処理し、前記指示動作物体の三次元情報を得
    てこれを情報処理装置に入力し、かつ前記指示動作物体
    の特定の部位から求められた先端点と、予め定められた
    基準点を結ぶ直線上に存在する前記指示目標物体を決定
    し、これを情報処理装置に入力する、情報の入力方法に
    おいて、 既知の複数の前記指示目標物体を前記指示動作物体が指
    示することによって、 前記各指示目標物体と前記各指示動作物体を通る直線を
    定め、これら直線が収束する付近の、三次元空間内のあ
    る点を中心とし、全ての前記直線が内部を通過する球の
    うち半径が最も小さい球をもとにして前記基準点を決定
    することを特徴とする、情報の入力方法。
JP17406791A 1991-07-15 1991-07-15 情報の入力方法 Expired - Fee Related JP3276010B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17406791A JP3276010B2 (ja) 1991-07-15 1991-07-15 情報の入力方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17406791A JP3276010B2 (ja) 1991-07-15 1991-07-15 情報の入力方法

Publications (2)

Publication Number Publication Date
JPH0519958A JPH0519958A (ja) 1993-01-29
JP3276010B2 true JP3276010B2 (ja) 2002-04-22

Family

ID=15972054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17406791A Expired - Fee Related JP3276010B2 (ja) 1991-07-15 1991-07-15 情報の入力方法

Country Status (1)

Country Link
JP (1) JP3276010B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2953285B2 (ja) * 1993-12-27 1999-09-27 日本電気株式会社 ポインティング装置
US5732227A (en) * 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images
US6266057B1 (en) 1995-07-05 2001-07-24 Hitachi, Ltd. Information processing system
JP4768196B2 (ja) * 2000-05-17 2011-09-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法
JP5416489B2 (ja) * 2009-06-17 2014-02-12 日本電信電話株式会社 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム

Also Published As

Publication number Publication date
JPH0519958A (ja) 1993-01-29

Similar Documents

Publication Publication Date Title
US7898522B2 (en) Video-based image control system
JP3114813B2 (ja) 情報入力方法
US8995710B2 (en) Information processing apparatus, processing method thereof, and computer-readable storage medium
JP5658500B2 (ja) 情報処理装置及びその制御方法
US6198485B1 (en) Method and apparatus for three-dimensional input entry
US7489806B2 (en) Motion detection apparatus
US6147678A (en) Video hand image-three-dimensional computer interface with multiple degrees of freedom
US9632585B2 (en) Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium
US8692792B2 (en) Bounding box gesture recognition on a touch detecting interactive display
EP1292877B1 (en) Apparatus and method for indicating a target by image processing without three-dimensional modeling
US7671875B2 (en) Information processing method and apparatus
JP5474202B2 (ja) 顔検出および画像測定に基づいて注視点を検出する方法および装置
US20150145762A1 (en) Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program
US20030048280A1 (en) Interactive environment using computer vision and touchscreens
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
JP2017199289A (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP6452369B2 (ja) 情報処理装置とその制御方法、プログラム、記憶媒体
US7999957B2 (en) Input position setting method, input position setting device, input position setting program, and information input system
JP3276010B2 (ja) 情報の入力方法
Ukita et al. Wearable virtual tablet: fingertip drawing on a portable plane-object using an active-infrared camera
JP6303918B2 (ja) ジェスチャ管理システム、ジェスチャ管理プログラム、ジェスチャ管理方法および指さし認識装置
CN116974400B (zh) 屏幕触显识别方法、装置、设备及存储介质
CN117351074B (zh) 基于头戴式眼动仪和深度相机的视点位置检测方法及装置
KR20190049349A (ko) 프로젝션 영상에서 사용자의 터치를 인식하는 방법 및 이러한 방법을 수행하는 장치
Ukita et al. Wearable Virtual Tablet: Fingertip Drawing Interface Using an Active-Infrared Camera.

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees