JP3763409B2 - 3次元位置入力デバイス - Google Patents
3次元位置入力デバイス Download PDFInfo
- Publication number
- JP3763409B2 JP3763409B2 JP2002087342A JP2002087342A JP3763409B2 JP 3763409 B2 JP3763409 B2 JP 3763409B2 JP 2002087342 A JP2002087342 A JP 2002087342A JP 2002087342 A JP2002087342 A JP 2002087342A JP 3763409 B2 JP3763409 B2 JP 3763409B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- light source
- image
- tip
- input device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Description
【発明の属する技術分野】
本発明は、単一方向から撮影された画像により3次元位置を入力する3次元位置入力デバイスに関する。
【0002】
【従来の技術】
近年、CADやゲームソフト等の各種の3次元アプリケーションが開発されているが、それらの入力用装置として、マウスやタブレット等の2次元入力デバイスを用いるのが未だ主流となっている。しかし、2次元入力デバイスによって3次元位置データを入力することは、直接的、直感的な入力ができない欠点がある。そこで、3次元データを直接3次元の入力操作で入力するための3次元位置入力デバイスが種々提案されている(例えば、特開平5−127809号、特開平5−265637号、特開平7−175585号)。
【0003】
特開平5−127809号の「三次元空間座標入力装置」は、図6に模式的に示すように、固定された光58の発光部分51と、これにある距離を隔てて固定された受光部分52と、空間を移動する物体に設けられた球面反射部分54と、空間のある位置に設けられた反射角度を変更できる反射鏡55と、反射鏡の駆動装置56とを有し、発光部分51の光58が反射鏡55で反射されて間接的に受光部分52に入射するように反射鏡55の回転角度を変更し、発光部分51と受光部分52の距離、反射鏡55と受光部分52の距離、および反射鏡55の回転角度等より物体の3次元位置を演算するものである。
【0004】
特開平5−265637号の「3次元ポインティング装置」は、図7に模式的に示すように、光検出装置62の受光素子が配置されている受光面65に、光発生装置61の光源部64から円錐状に光を照射し、受光面65の受光素子で検出される光の照射範囲の位置および形状に基づいて演算装置63により、光発生装置61の光源部64の3次元位置を算出するものである。
【0005】
特開平7−175585号の「コンピュータ多次元位置データ入力装置」は、図8に模式的に示すように、パルス発振が可能な光源を持つ位置データ送信装置75と、光源からの入力光の入射角を検出するための少なくとも2つの受光素子70、71と、各受光素子により検出された光量から位置データ送信装置の3次元位置を算出する演算部を持つ位置データ受信装置74とを備えるものである。
【0006】
なお従来の3次元位置入力デバイスとしては、その他に、リンク・ワイヤー機構を用いた機械式、磁気・超音波を用いたもの、対象物の画像を入力するもの等が知られている。
【0007】
【発明が解決しようとする課題】
上述した従来の3次元位置入力デバイスには以下のような問題点があった。
(1)特開平5−127809号の「三次元空間座標入力装置」は、任意の広い空間における3次元位置を検出しようとした場合、発光部分51の光58が反射鏡55で反射されて間接的に受光部分52に入射するように反射鏡55の回転角度を変更する必要があるため、この変更動作に時間を要し、リアルタイムの3次元位置検出ができない。また、反射鏡を回転させるための駆動系を必要とするため装置が複雑となる。
【0008】
(2)特開平5−265637号の「3次元ポインティング装置」は、受光面65の受光素子で検出される光の照射範囲の位置および形状に基づいて3次元位置を算出するため、位置の検出精度が低い。
【0009】
(3)特開平7−175585号の「コンピュータ多次元位置データ入力装置」は、少なくとも2つの受光素子70、71(例えばCCDカメラ)を必要とするため、装置が複雑で高価となる。
【0010】
(4)またリンク・ワイヤー機構を用いた機械式は自由な入力操作ができずかつ広い空間を必要とし、磁気・超音波を用いたものは周囲の磁性体や反射壁の影響を受けやすく、対象物の画像を入力するものは画像処理が複雑で高価となる。
【0011】
上述したように、従来の3次元位置入力デバイスは、モデリング操作用の3次元インターフェースとしては有用ではあるが、マウス等の2次元入力デバイスと比較すると極めて高価であり大掛かりなものが多いため一般ユーザーに広く浸透しておらず、汎用的なツールとしての立場を確立していないという現状がある。
【0012】
本発明は上述した問題点を解決するために創案されたものである。すなわち、本発明の目的は、単一方向から撮影された動画像のみを入力とし、極めてシンプルな構造でユーザーの直感的な入力操作を、そのままリアルタイムに計算機内の空間上に実現できる3次元位置入力デバイスを提供することにある。
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【課題を解決するための手段】
本発明によれば、所定の3次元領域内を移動可能な先端部(11)を有する先端部移動手段(12)と、該先端部を照射する点光源(13)と、該点光源によって照射された前記先端部の影(11a)を形成する影形成面(14)と、前記先端部とを同時に撮像する単一の撮像手段(16)と、該撮像手段で得られた画像から前記先端部の3次元位置を演算する演算装置(18)と、を備えた、ことを特徴とする3次元位置入力デバイスが提供される。
【0019】
上記本発明の構成によれば、点光源(13)と影形成面(14)で3次元領域内の先端部(11)の影(11a)を形成し、単一の撮像手段(16)で前記先端部とその影を同時に撮像し、この画像から、演算装置(18)により先端部の3次元位置を演算することができる。従って、単一方向から撮影された動画像のみを入力とし、極めてシンプルな構造でユーザーの直感的な入力操作を、そのままリアルタイムに計算機内の空間上に実現できる。またこの構成は影像を利用するため環境光に影響を受けやすいという弱点があるが、装置全体をコンパクトにまとめ一体化することで、その弱点を克服できる。
【0020】
【発明の実施の形態】
以下、本発明の好ましい実施形態および参考例を図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。
【0021】
【0022】
【0023】
図1は、鏡像利用方式の3次元位置入力デバイス(参考例)の原理図である。この図において、参考例による鏡像利用方式の3次元位置入力デバイスは、光源移動手段2、反射鏡4a、4b、単一の撮像手段6、演算装置8を備える。光源移動手段2は、所定の3次元領域内を移動可能な点光源1を有する。言い換えれば、光源移動手段2は、点光源1を所定の3次元領域内において移動可能にする。光源移動手段2は、この例では点光源1を先端に取り付けた棒状のポインタロッドであり、図に示すように、使用者が手で握り所定の3次元領域内を自由に移動できるようになっている。
【0024】
また、ポインタロッドには図示しないスイッチが設けられ、点光源1を点灯、点滅、及びその色を信号として切り替えることができる。
【0025】
2つの反射鏡4a、4bはこの例では点光源1の移動する3次元領域を挟むように位置し、その内側に設けられた鏡面(反射面)により、点光源1の2つの虚像1a、1bを形成する。なお、2つの反射鏡4a、4bに限定されず、3つ以上の反射鏡を用い、3つ以上の点光源1の虚像を形成するように構成してもよい。
【0026】
この反射鏡4a、4bは、単一の撮像手段6の2つの仮想撮像手段6a、6bをそれぞれの鏡面の反対側に設定し、単一の撮像手段6の仮想撮像手段6a、6bにより単一の点光源1をそれぞれ撮像する状態を鏡面により形成する。
【0027】
単一の撮像手段6は、例えば、ビデオカメラまたはCCDカメラであり、点光源1の虚像のうち少なくとも2つを同時に撮像するように配置されている。
【0028】
演算装置8は、例えば画像処理装置あるいはコンピュータであり、撮像手段6で得られた画像から点光源の3次元位置を演算する。この演算装置8では、点光源1、単一の撮像手段6の2つの仮想撮像手段6a、6bの3点を含むエピポーラ面を定義する。また、このエピポーラ面が撮像画像と交差するエピポーラ線上に沿った1次探索により、点光源1の虚像1a、1bの光源像の位置を求める。さらにいわゆるエピポーラ方程式及び反射鏡4a、4bの法線ベクトルを用いて2つの虚像が6a、6bのいずれの仮想撮像手段から撮像されたものかを判定する。さらに、2方向からの撮像画像から対象物の3次元座標を求める周知の手段を適用して点光源1の3次元位置を演算する。
【0029】
上述した参考例の構成によれば、反射鏡4a、4bで3次元領域内の点光源1の虚像1a、1bを形成し、単一の撮像手段6で点光源1の虚像1a、1bのうち少なくとも2つを同時に撮像して少なくとも2つの光源像を含む画像を得て、この画像から、演算装置8により光源の3次元位置を演算することができる。従って、単一方向から撮影された動画像のみを入力とし、極めてシンプルな構造でユーザーの直感的な入力操作を、そのままリアルタイムに計算機内の空間上に実現できる。
【0030】
図2は、本発明による影像利用方式の3次元位置入力デバイスの原理図である。この図において、本発明の影像利用方式の3次元位置入力デバイスは、先端部移動手段12、点光源13、影形成面14、単一の撮像手段16、演算装置18を備える。
【0031】
先端部移動手段12は、所定の3次元領域内を移動可能な先端部11を有する。言い換えれば、先端部移動手段12は、先端部11を所定の3次元領域内において移動可能にする。先端部移動手段12は、この例では先端部11を有する棒状のポインタロッドであり、図に示すように、使用者が手で握り所定の3次元領域内を自由に移動できるようになっている。
【0032】
点光源13は、先端部11を照射する点光源である。影形成面14は、点光源13により先端部11の影11aを形成するように、この例では先端部11の移動する3次元領域の下部に水平に位置する。単一の撮像手段16は、例えば、ビデオカメラまたはCCDカメラであり、先端部とその影を同時に撮像するように配置されている。演算装置18は、例えば画像処理装置あるいはコンピュータであり、撮像手段16で得られた画像から点光源の3次元位置を演算する。
【0033】
上述した本発明の構成によれば、点光源13と影形成面14で3次元領域内の先端部11の影11aを形成し、単一の撮像手段16で先端部13とその影11aを同時に撮像し、この画像から、演算装置18により先端部の3次元位置を演算することができる。従って、単一方向から撮影された動画像のみを入力とし、極めてシンプルな構造でユーザーの直感的な入力操作を、そのままリアルタイムに計算機内の空間上に実現できる。
【0034】
(2方式の実装)
上述した空間解像度の評価結果に基づき、鏡像利用方式と影像方式の2つについて実装を行った。それぞれの方式の概観は図1及び図2のようになる。
【0035】
図1の鏡像利用方式は、複数台のカメラを用いた3次元入力システムと同じ状態を鏡面を利用することで作り出す方式である。カメラ座標系に対する鏡面の法線および位置ベクトルを、あらかじめ求めておき、それらの値を利用することで3次元座標の推定を行う。3次元のポイントには図1に示したような、点光源1を先端に取り付けたポインタ2を用いる。光源はユーザーが自由に点灯、点滅させることが可能であり、それらの光源の色、点灯、点滅を信号として切り替えることで、計算機内のモデルに対する操作に幅広い機能性を付加することが可能となる。
【0036】
図2の影像利用方式は、ポインタの先端11と、固定された点光源13によって床面14に出来たポインタの影11aとの位置関係により3次元座標を推定する方式である。またこの方式ではポインタ12を用いず、直接指の先端の座標を入力することも可能である。本発明では、更に、指の「つまむ」「回す」といった動作を読み取り、入力操作の機能拡張を実現している。この方式は影像を利用するため環境光に影響を受けやすいという弱点があるが、装置全体をコンパクトにまとめ一体化することで、その弱点を克服することができる。
【0037】
(入力実験および操作性の評価)
以上、本発明で開発したポインタデバイスを用いて、プリミティブ形状の生成、平行移動、回転、また曲面や曲線の生成、変形といった操作実験を行い。2次元デバイスとしてのマウスと操作性の比較を行った。この結果、CCDカメラによる雑音のため、わずかなぶれが見られるものの、非常に精度の高い動作認識を実現することが出来た。特に2次元デバイスでは3次元空間内に直接的に曲線や曲面を入力することは出来ない為、本発明の適用で、よりイメージに近い形状を生成することが可能となる。
【0038】
図3は、参考例による鏡像利用方式の3次元位置入力デバイスの構成を示す図である。この図において、(A)は外観図、(B)は内部模式図である。図3(A)に示すように、外観はマウスパッドをドーム状カバーで覆うような形態であり、内部は図3(B)に示す模式図のように底面とカバーの裏面が鏡面とになっている。
【0039】
図3の3次元位置入力デバイスは、机の上でペンで文字を書くようなスタイルで使用することを前提としている。広い空間の3次元点を入力するのではないので、カメラと鏡面、入力領域を一体化したコンパクトでシンプルなデバイスを実現することができる。
【0040】
図3(B)において、カメラ6と鏡面4aが領域1、鏡面4aと鏡面4bが領域2、鏡面4bと鏡面4cが領域3、鏡面4cと鏡面4dが領域4に対応しており、領域1〜領域4が入力用の3次元領域であり、そのすべての点で3次元座標の復元が可能となる。いずれの場合も、カメラ画像には鏡面によって反射された光源の像が2点投影されるだけだが、鏡面4aと鏡面4b、鏡面4bと鏡面4c、鏡面4cと鏡面4dのそれぞれのエピポーラ線をわずかにずらしておくことで、光源がどの領域内にあるかを判定することができる。
【0041】
従来のカメラを用いた3次元入力装置では、撮影可能な領域(画角)に限界があるため、カメラ(あるいは鏡面)を駆動させて入力点を追跡するか、カメラを入力点から離して撮影する必要があった。また、駆動系を有する装置は一般的に高価であり、汎用的に用いられるデバイスとしては適切でなく、また、繰り返し誤差が増大されてしまう欠点がある。さらに、カメラを離して撮影する場合は、3次元座標復元の精度が悪くなる、という欠点がある。
【0042】
これに対して図3に示した参考例による3次元位置入力デバイスでは、複数枚(この例では4枚)の反射鏡(4a〜4d)を用いることで、3次元復元が可能な領域同士を密に連結し、任意の空間における3次元入力を可能としている。これにより、所望のデバイスの形状に合わせて入力可能領域を自由に拡大、変形することができる。
【0043】
また、カメラ6をデバイス内に組み込み、一体化を果たすこともできる。この一体化によりコンパクトかつ高精度の3次元復元が可能となり、ホームPC用のデスクトップツールに最適なシステム構成をとることができる。また駆動系を有しない為、繰り返し誤差の増大もない。
【0044】
図4は、別の参考例による鏡像利用方式の3次元位置入力デバイスの構成を示す図である。この図において、(A)は全体構成図、(B)はクロス鏡面の斜視図、(C)は得られる画像の模式図である。また図5は、図4の3次元位置入力デバイスの外観図である。
【0045】
この図において5aは上部と下部の鏡面が交差したクロス鏡面、5bは入力範囲の上領域に対応する平面鏡、5cは入力範囲の下領域に対応する円弧面鏡である。図4(A)〜(C)に示すように、カメラ6の視野をクロス鏡面5aによって切り分けることで擬似的にステレオ画像を取得する。また鏡面5cは水平軸を中心とする円弧面鏡になっておりその視野角を拡大させている。
【0046】
従来のステレオ画像を得るには少なくとも2台以上のカメラが必要である。しかし、複数台のカメラを使用する場合、カメラ同士、互いに離して撮影する必要があるために広い空間を確保しなければならない。これではデスクトップツールとしてのシンプル性、コンパクト性を実現することは困難である。
【0047】
また、2次元画像から3次元座標を復元するには座標値の3つの成分が得られれば十分だが、2台のカメラを用いた場合、2次元画像+2次元画像で計4つの座標成分が入力されることになる。そのため、ただでさえ処理負荷が高い動画像を同時に2つ処理するため、極めて効率が悪くなる。
【0048】
そこで、この例では単一のカメラ6から撮影された画像のうち、わずかな領域(この場合下領域)を切り分け、その下領域をカメラ画像から取得できない視線奥行き方向の深度成分の座標値取得用に特化させている。この切り分けによって、削減される画像領域はわずかなものなので、2台のカメラを用いたステレオ画像による3次元復元とほぼ同じ精度を保つことが可能である。また、カメラ6と鏡面5a〜5cを一体化することが可能となり、図5の外観図のようにシンプルかつコンパクトなデバイス構成をとることが出来る。
【0049】
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
【0050】
【発明の効果】
上述したように本発明の構成によれば、単一方向から撮影された動画像のみを入力とし、極めてシンプルな構造でユーザーの直感的な入力操作を、そのままリアルタイムに計算機内の空間上に実現できる、等の優れた効果を有する。
【図面の簡単な説明】
【図1】 参考例による鏡像利用方式の3次元位置入力デバイスの原理図である。
【図2】 本発明による影像利用方式の3次元位置入力デバイスの原理図である。
【図3】 参考例による鏡像利用方式の3次元位置入力デバイスの構成を示す図である。
【図4】 別の参考例による鏡像利用方式の3次元位置入力デバイスの構成を示す図である。
【図5】 図4の3次元位置入力デバイスの外観図である。
【図6】 従来の3次元位置入力デバイスの模式図である。
【図7】 従来の別の3次元位置入力デバイスの模式図である。
【図8】 従来の別の3次元位置入力デバイスの模式図である。
【符号の説明】
1 点光源、1a、1b 虚像、2 光源移動手段、4a、4b 反射鏡、6 撮像手段、6a、6b 仮想撮像手段、8 演算装置、11 先端部、11a影、12 先端部移動手段、13 点光源、14 影形成面、16 撮像手段、18演算装置
Claims (1)
- 所定の3次元領域内を移動可能な先端部(11)を有する先端部移動手段(12)と、
該先端部を照射する点光源(13)と、
該点光源によって照射された前記先端部の影(11a)を形成する影形成面(14)と、
前記先端部とを同時に撮像する単一の撮像手段(16)と、
該撮像手段で得られた画像から前記先端部の3次元位置を演算する演算装置(18)と、を備えた、
ことを特徴とする3次元位置入力デバイス。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002087342A JP3763409B2 (ja) | 2002-03-27 | 2002-03-27 | 3次元位置入力デバイス |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002087342A JP3763409B2 (ja) | 2002-03-27 | 2002-03-27 | 3次元位置入力デバイス |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003280808A JP2003280808A (ja) | 2003-10-02 |
JP3763409B2 true JP3763409B2 (ja) | 2006-04-05 |
Family
ID=29233567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002087342A Expired - Fee Related JP3763409B2 (ja) | 2002-03-27 | 2002-03-27 | 3次元位置入力デバイス |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3763409B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7492357B2 (en) * | 2004-05-05 | 2009-02-17 | Smart Technologies Ulc | Apparatus and method for detecting a pointer relative to a touch surface |
JP5423222B2 (ja) * | 2009-08-07 | 2014-02-19 | ソニー株式会社 | 位置検出装置および位置検出方法 |
EP2550584B1 (en) * | 2010-03-24 | 2016-02-24 | Neonode Inc. | Lens arrangement for light-based touch screen |
JP2015106332A (ja) * | 2013-12-02 | 2015-06-08 | 株式会社リコー | 座標検出システム、情報処理装置、プログラム、記憶媒体、座標検出方法 |
JP2015132875A (ja) * | 2014-01-09 | 2015-07-23 | 国立大学法人九州工業大学 | 位置検出装置及びプログラム |
-
2002
- 2002-03-27 JP JP2002087342A patent/JP3763409B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003280808A (ja) | 2003-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10816331B2 (en) | Super-resolving depth map by moving pattern projector | |
US10805546B2 (en) | Image processing system, image processing device, and image processing program | |
KR100869447B1 (ko) | 3차원 모델링 없이 이미지 처리에 의해 타겟을 지시하는 장치 및 방법 | |
CA2786439C (en) | Depth camera compatibility | |
Wilson | Depth-sensing video cameras for 3d tangible tabletop interaction | |
WO2013035554A1 (ja) | 入力体の動き検出方法およびそれを用いた入力デバイス | |
JP4608326B2 (ja) | 指示動作認識装置及び指示動作認識プログラム | |
JP2004062758A (ja) | 情報処理装置および方法 | |
WO2011097049A2 (en) | Depth camera compatibility | |
WO2018176773A1 (zh) | 三维空间的交互***及其操作方法 | |
Dorfmüller et al. | Real-time hand and head tracking for virtual environments using infrared beacons | |
JP3763409B2 (ja) | 3次元位置入力デバイス | |
Lee et al. | Modeling real objects using video see-through augmented reality | |
JP2004272515A (ja) | インタフェース方法、装置、およびプログラム | |
JP4563723B2 (ja) | 指示動作認識装置及び指示動作認識プログラム | |
JP3953450B2 (ja) | 3次元オブジェクト姿勢操作方法およびプログラム | |
Lee et al. | A note on hybrid control of robotic spatial augmented reality | |
Matulic et al. | Above-Screen Fingertip Tracking with a Phone in Virtual Reality | |
Periverzov et al. | 3D Imaging for hand gesture recognition: Exploring the software-hardware interaction of current technologies | |
JP2005292027A (ja) | 三次元形状計測・復元処理装置および方法 | |
JP2002109517A (ja) | デジタイザおよび情報処理システム | |
Borkowski et al. | Projector-camera pair: an universal io device for human machine interaction | |
Fukushige et al. | Interactive 3D pointing device using mirror reflections | |
Yang et al. | Calibration of a Multi-Modal 3D Scanner | |
Fukushige et al. | MOTION TRACKING WITH REFLECTIONS-3D pointing device with self-calibrating mirror system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20031201 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060111 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |