JP2017021495A - 3d座標検出システム、情報処理装置、プログラム、及び3d座標検出方法 - Google Patents
3d座標検出システム、情報処理装置、プログラム、及び3d座標検出方法 Download PDFInfo
- Publication number
- JP2017021495A JP2017021495A JP2015137210A JP2015137210A JP2017021495A JP 2017021495 A JP2017021495 A JP 2017021495A JP 2015137210 A JP2015137210 A JP 2015137210A JP 2015137210 A JP2015137210 A JP 2015137210A JP 2017021495 A JP2017021495 A JP 2017021495A
- Authority
- JP
- Japan
- Prior art keywords
- electronic pen
- unit
- button
- coordinate detection
- light emitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】3Dオブジェクトの回転、移動、拡大縮小の自由度を向上させる。【解決手段】発光部、及び、オンのときには3Dオブジェクトの操作が可能な3Dオブジェクト操作モードになる信号を発生するボタンを有する電子ペンと、3Dオブジェクトを表示する表示部、表示部の上部両端に配置され発光部を撮影する撮影部、両撮影部からの発光部の画像に基づいて電子ペンの3D座標を検出する座標検出部、及び、表示部の前面の所定領域内で電子ペンのボタンがオンのときには電子ペンの動きに合わせて3Dオブジェクトが直接回転、移動、拡大縮小操作され、ボタンがオフのときには記3Dオブジェクトは静止状態のまま所定領域内で筆記動作やジェスチャー動作が可能なホバリング操作モードに切り替わる制御部を有する情報処理装置と、を備える。【選択図】図4
Description
本発明は、3D座標検出システム、情報処理装置、プログラム、及び3D座標検出方法に関する。
電子ペンを用いてディスプレイをタッチしたり、なぞったり、その軌跡を表示面に表示したり、映したい内容を表示したりする電子ホワイトボードと制御方法が既に知られている(図1参照)。
図1は、電子ホワイトボードの概念図である。
図1において、コンピュータに接続され、上面両端に一対のカメラを配置した電子ホワイトボードが示されており、ディスプレイに電子ペンが表示されている。
図1において、コンピュータに接続され、上面両端に一対のカメラを配置した電子ホワイトボードが示されており、ディスプレイに電子ペンが表示されている。
近年、高度なグラフィックス機能を持つコンピュータの普及に伴い、3DCG(3 Dimensional Computer Graphics)を用いたコンテンツが広く普及している。しかし、今までの電子ペンでの3Dオブジェクトの操作では限れている。
図2は、ディスプレイと電子ペンとの関係を示す概念図である。
図2に示すように、ディスプレイに接触した状態で電子ペンは平面中の動きしか出来ないので、奥行きがある移動や回転等の動作が不十分であるという問題があった。
尚、3Dオブジェクト(3-dimension object:三次元物体)とは、三次元物体を記述するデータである。
この種の問題を解決すべく種々の提案がなされた(例えば、特許文献1参照)。
特許文献1には、3Dオブジェクトを操作目的で、筆圧情報は奥行座標として操作することが開示されている。
図2に示すように、ディスプレイに接触した状態で電子ペンは平面中の動きしか出来ないので、奥行きがある移動や回転等の動作が不十分であるという問題があった。
尚、3Dオブジェクト(3-dimension object:三次元物体)とは、三次元物体を記述するデータである。
この種の問題を解決すべく種々の提案がなされた(例えば、特許文献1参照)。
特許文献1には、3Dオブジェクトを操作目的で、筆圧情報は奥行座標として操作することが開示されている。
しかし、特許文献1に記載の発明は、筆圧や傾きを利用し3Dオブジェクトを操作する方法は自由度がまだ低い、例えば自由に回転操作できないという問題がある。
そこで、本発明の目的は、3Dオブジェクトの回転、移動、拡大縮小の自由度を向上させることにある。
上記課題を解決するため、請求項1に記載の発明は、発光部、及び、オンのときには3Dオブジェクトの操作が可能な3Dオブジェクト操作モードになる信号を発生するボタンを有する電子ペンと、前記3Dオブジェクトを表示する表示部、前記表示部の上部両端に配置され前記発光部を撮影する撮影部、前記両撮影部からの前記発光部の画像に基づいて前記電子ペンの3D座標を検出する座標検出部、及び、前記表示部の前面の所定領域内で前記電子ペンの前記ボタンがオンのときには前記電子ペンの動きに合わせて前記3Dオブジェクトが直接回転、移動、拡大縮小操作され、前記ボタンがオフのときには前記3Dオブジェクトは静止状態のまま前記所定領域内で筆記動作やジェスチャー動作が可能なホバリング操作モードに切り替わる制御部を有する情報処理装置と、を備えたことを特徴とする。
本発明によれば、3Dオブジェクトの回転、移動、拡大縮小の自由度を向上させることができる。
<概要>
本発明の実施の形態を説明する。具体的には、3Dオブジェクト105を操作するに際して、以下の特徴を有する。
要するに、本発明は、(カメラ+発光式の電子ペン)の光学式システムに対して、自然な動きで高自由度な操作もできることが特徴になっている。
本発明の実施の形態を説明する。具体的には、3Dオブジェクト105を操作するに際して、以下の特徴を有する。
要するに、本発明は、(カメラ+発光式の電子ペン)の光学式システムに対して、自然な動きで高自由度な操作もできることが特徴になっている。
<実施形態>
上記特徴について、以下の図面を用いて具体的に解説する。
[構 成]
図3は、3D座標検出システムのハードウェアブロック図の一例である。
上記特徴について、以下の図面を用いて具体的に解説する。
[構 成]
図3は、3D座標検出システムのハードウェアブロック図の一例である。
3D座標検出システムは、情報処理装置100と電子ペン103とを有する。
情報処理装置100は、バスライン118を介して電気的に接続されたCPU11、ROM12、RAM13、SSD14、ネットワークコントローラ15、外部記憶コントローラ16、カメラコントローラ120、GPU112、及び、キャプチャデバイス111を有する。
情報処理装置100は、バスライン118を介して電気的に接続されたCPU11、ROM12、RAM13、SSD14、ネットワークコントローラ15、外部記憶コントローラ16、カメラコントローラ120、GPU112、及び、キャプチャデバイス111を有する。
CPU(Central Processing Unit)11はアプリケーションソフトウエア(以下、アプリケーション)を実行して座標検出システムの動作全体を制御する。ROM(Read Only Memory)12にはIPL(Initial Program Loader)等が記憶されており、主に起動時にCPU11が実行するプログラムが記憶されている。RAM(Random Access Memory)13は、CPU11がアプリケーションを実行する際のワークエリアとなる。SSD(Solid State Drive)14は、3D座標を検出する座標検出システム用のアプリケーション119や各種データが記憶された不揮発メモリである。CPU11、ROM12、及びRAM13で制御部が構成されている。
ネットワークコントローラ15は、不図示のネットワークを介してサーバ等と通信する際に通信プロトコルに基づく処理を行う。尚、ネットワークは、LAN(Local Area Network)又は複数のLANが接続されたWAN(Wide Area Network:例えばインターネット)等である。
外部記憶コントローラ16は、着脱可能な外部メモリ117に対する書き込み又は外部メモリ117からの読み出しを行う。外部メモリ117は、例えばUSBメモリ、SDカード等の記憶媒体である。キャプチャデバイス111は、PC110が表示部としてのディスプレイ101に表示している映像を取り込む(キャプチャする)。GPU(Graphics Processing Unit)112は、ディスプレイ101の各ピクセルの画素値を演算する描画専用のプロセッサである。ディスプレイコントローラ113は、GPU112が作成した画像をディスプレイ101に出力する。
カメラコントローラ120には、表示部の上部両端に配置され電子ペン103を撮影する撮影部としての2つのカメラ102が接続されており、例えば、三角測量方式による座標の検出を行う。詳しくは後述する。
尚、本実施の形態では、情報処理装置100は指示手段としての電子ペン103と通信する必要はないが、通信機能を有していてもよい。この場合、図示するように情報処理装置100は電子ペンコントローラ116を有し、電子ペン103から接触信号を受信する(電子ペン103が通知手段を有している場合)。これにより、情報処理装置100は先端がディスプレイ101と接触しているか否かを検出することができる。
尚、座標検出システム用のアプリケーションは、外部メモリ117に記憶された状態で流通されてもよいし、ネットワークコントローラ15を介して不図示のサーバからダウンロードされてもよい。アプリケーションは圧縮された状態でも実行形式でもよい。
図4は、電子ペン103のディスプレイ101の前面の所定領域内としての仮想操作空間における3Dオブジェクト105の概念図である。
図6は、ホバリング状態の説明図である。
カメラ102と電子ペン103とを用いた光学式ディスプレイでは、図6に示すホバリング状態の座標も検出できる。ホバリングとは、電子ペン103がディスプレイ101に直接接触しない状態であり、電子ペン103の空間座標を検出でき、ディスプレイ101に対応する平面ホバリング座標も算出できる。さらに、ホバリングにより、3Dオブジェクト105は静止状態のまま、筆記やジェスチャー操作ができる。この結果、既存の光学式手書きシステム(電子ペン+カメラ)が電子ペン103の非接触状態の空間座標を検出可能により非接触状態で3Dオブジェクト105の操作ができる。人間の空間中自然な動きでディスプレイ101に表示されている3Dオブジェクト105を高自由度の移動や回転等の操作もできる。
図6は、ホバリング状態の説明図である。
カメラ102と電子ペン103とを用いた光学式ディスプレイでは、図6に示すホバリング状態の座標も検出できる。ホバリングとは、電子ペン103がディスプレイ101に直接接触しない状態であり、電子ペン103の空間座標を検出でき、ディスプレイ101に対応する平面ホバリング座標も算出できる。さらに、ホバリングにより、3Dオブジェクト105は静止状態のまま、筆記やジェスチャー操作ができる。この結果、既存の光学式手書きシステム(電子ペン+カメラ)が電子ペン103の非接触状態の空間座標を検出可能により非接触状態で3Dオブジェクト105の操作ができる。人間の空間中自然な動きでディスプレイ101に表示されている3Dオブジェクト105を高自由度の移動や回転等の操作もできる。
図5は、電子ペン103の仮想操作空間及び筆圧情報により拡張した仮想操作空間と3Dオブジェクトとの関係を示す概念図である。
図5に示した仮想操作空間との相違点は、電子ペン103による筆圧情報によりディスプレイ101の後方(奥)に仮想空間が作成された点である。
このような場合においても3Dオブジェクトを移動、回転、縮小拡大が可能である。
図5に示した仮想操作空間との相違点は、電子ペン103による筆圧情報によりディスプレイ101の後方(奥)に仮想空間が作成された点である。
このような場合においても3Dオブジェクトを移動、回転、縮小拡大が可能である。
図7は、一実施形態に係る情報処理装置及び電子ペン103の概念図である。図8は、図7に示した電子ペン103で3D操作している状態を示す図である。
具体的には、101はディスプレイであり、手書き軌跡を表示し、表示した内容を移動させることができる平面状の装置である。
102は、カメラである。電子ペン103の座標を検出するために少なくても二つのカメラ102を設置する必要がある。三角測量により、電子ペン103の位置を検出する。更に、カメラ102はディスプレイ101の画面より少し高い位置を設置することにより、図6に示すような非接触の場合のホバリング座標も検出できる。
具体的には、101はディスプレイであり、手書き軌跡を表示し、表示した内容を移動させることができる平面状の装置である。
102は、カメラである。電子ペン103の座標を検出するために少なくても二つのカメラ102を設置する必要がある。三角測量により、電子ペン103の位置を検出する。更に、カメラ102はディスプレイ101の画面より少し高い位置を設置することにより、図6に示すような非接触の場合のホバリング座標も検出できる。
図8に示す電子ペン103は、例えば赤外線点光源としての発光点103aを有するペン型の指示部材である。カメラ102の画像から画像処理手法により発光点103aの位置を検出し、電子ペン103の空間中の座標を算出できる。尚、赤外線点光源をもちいることによる効果は、ユーザには見えないので操作中に気になることが無い点である。
ボタン104は、ユーザによりオンにされると3Dオブジェクトを回転、移動、拡大縮小の操作可能な3Dオブジェクト操作モードとなることを要求する信号を発生するボタンである。電子ペン103にボタン104を設けることにより、2D操作である筆記操作やジェスチャー操作と、3D操作である、移動操作、回転操作、もしくは縮小拡大操作とを切り替えることができる。オフ状態はボタン104が押されてない状態であり、オン状態はボタン104が押下されている状態である。
ディスプレイ101で表示している内容は、3D対応の場合は算出した電子ペン103とディスプレイ101との間の距離を、Z座標を3Dの奥行座標として扱い、対象3Dオブジェクト(以下、3Dオブジェクトと表記)105を操作する。3D対応してない場合はボタン104がオフの場合と同じ状態になる。
3Dオブジェクト105は、ディスプレイ101に3Dオブジェクト105を表示する。この表示は、既存のwebGL(ウェブブラウザで3Dコンピュータグラフィックスを表示させるための標準仕様)やCAD(Computer Aided Design)等で実現できる。また、OpenGL(Open Graphics Library)等3D対応ライブラリで新規開発でもできる。
電子ペン103とディスプレイ101との接触状態と、ボタン104の状態とから三つの操作モードに分けられる。
<動作1>
図9は、三つの走査モードの関係を示すフローチャートの一例である。
まず、電子ペン103がディスプレイ101に接触しているか否かを判断し(ステップS201)、電子ペン103がディスプレイ101に接触している場合(ステップS201/Y)、筆記操作モードとなる(ステップS203)。
図9は、三つの走査モードの関係を示すフローチャートの一例である。
まず、電子ペン103がディスプレイ101に接触しているか否かを判断し(ステップS201)、電子ペン103がディスプレイ101に接触している場合(ステップS201/Y)、筆記操作モードとなる(ステップS203)。
ここで、筆記操作モードとは、ボタン104がオフの状態で、電子ペン103とディスプレイ101とが接触し、通常のタッチパネルのように描画とジェスチャー操作と行うことができるモードである。
電子ペン103がディスプレイ101に接触していない場合(ステップS201/N)、ボタン104が押下されているか否かを判断し(ステップS202)、ボタン104が押下されていない場合(ステップS202/N)、ホバリング操作モードとなる(ステップS204)。
ここで、ホバリング操作モードとは、ボタン104がオフの状態で、図1に示すように、電子ペン103がディスプレイ101に直接触らずに(非接触状態)、電子ペン103の空間座標を検出でき、ディスプレイ101に座標の表示が可能となるモードである。
ここで、図6を参照してホバリング状態について述べる。
図6に示すディスプレイ101の上面両端に一対のカメラ102が配置されている。カメラ102と電子ペン103の発光点103aとを結ぶ線とイメージ平面との交点がイメージ平面上に示されている。カメラ102からディスプレイ101に向かう破線は、ディスプレイ101と平行かつ電子ペン103へ向かう線である。すなわち、カメラ102から電子ペン103の発光点103aに向かう直線は破線に対して下向きになっており、カメラ102がディスプレイ101に対して浮いた位置にあることを示している。
ディスプレイ101の上に電子ペン103がホバリング状態で配置されている。ディスプレイ101上に世界座標系の空間座標(X,Y,Z)が示されている。
図6に示すディスプレイ101の上面両端に一対のカメラ102が配置されている。カメラ102と電子ペン103の発光点103aとを結ぶ線とイメージ平面との交点がイメージ平面上に示されている。カメラ102からディスプレイ101に向かう破線は、ディスプレイ101と平行かつ電子ペン103へ向かう線である。すなわち、カメラ102から電子ペン103の発光点103aに向かう直線は破線に対して下向きになっており、カメラ102がディスプレイ101に対して浮いた位置にあることを示している。
ディスプレイ101の上に電子ペン103がホバリング状態で配置されている。ディスプレイ101上に世界座標系の空間座標(X,Y,Z)が示されている。
ここで、世界座標系とは、主に3DCGの分野で用いられる、空間全体を表す座標系である。空間の中での物体の位置を示すための座標系であって、物体の表示や移動を扱うために用いられる。「グローバル座標系」(global coordinate system)と呼ばれることもある。これに対し、個々の物体の形状や変形を扱うために用いられる座標系は、ローカル座標系またはボディ座標系と呼ばれ、それぞれの物体の重心を原点とする。
両カメラ102は、ディスプレイ101のXY平面に対してZ方向に所定の距離だけ離れて配置されている。電子ペン103の先端部の発光点103aの座標を電子ペン103の空間座標とする(X,Y,Z)。電子ペン103の空間座標(X,Y,Z)は、三角測量により検出可能である。ホバリング座標は(X,Y)となる。
図9に戻って、ボタン104が押下されている場合(ステップS202/Y)、3Dオブジェクト操作モードとなる(ステップS205)。
ここで、3Dオブジェクト105の操作モードは、電子ペン103がディスプレイ101に非接触、且つボタン104をオンの状態でディスプレイ101に表示している3Dオブジェクトを操作するモードである。3Dオブジェクト操作モードは本願の主な特徴である。
対象とする3Dオブジェクトの選定方法は電子ペン103のボタン104を押下した時点の空間座標(X,Y,Z)とする。対応しているディスプレイ101の平面座標は(X,Y)である。この座標の対応する3Dオブジェクト105は操作対象にする。そして、ボタン104を押下したまま、オブジェクト操作を行う。
電子ペン103の3D操作はディスプレイ101の手前にある電子ペン103の仮想操作空間で行うことができる。図8に示すように、電子ペン103の操作空間、即ち電子ペン103の位置を検出できる範囲である。電子ペン103のボタン104を押下することにより3Dオブジェクト105を選定し、この位置をペン操作の初期位置とする。
ディスプレイ101に表示している3Dオブジェクト105に対する操作は、3Dオブジェクトに操作することになる(3Dオブジェクトは実際に存在しないが、理解しやすいため作られた)。
電子ペン103を操作する際、電子ペン103の位置と動きとをカメラ102より検出し、ディスプレイ101に表示されている3Dオブジェクト105が操作に応じて位置を更新する。
ディスプレイ101に表示している3Dオブジェクト105に対する操作は、3Dオブジェクトに操作することになる(3Dオブジェクトは実際に存在しないが、理解しやすいため作られた)。
電子ペン103を操作する際、電子ペン103の位置と動きとをカメラ102より検出し、ディスプレイ101に表示されている3Dオブジェクト105が操作に応じて位置を更新する。
更に、電子ペン103の移動範囲が大きいため、且つ操作者が自然に動作できるため、下記の数式(1)のように、電子ペン103の移動距離を測定して3Dオブジェクト105の移動距離とする。
3Dオブジェクト105の移動距離d=k×電子ペン103の移動距離D ……(1)
(但し、0≦k≦1)
3Dオブジェクト105の移動距離d=k×電子ペン103の移動距離D ……(1)
(但し、0≦k≦1)
電子ペン103の3D操作は主に三つ挙げられる。すなわち、直線移動操作、回転操作、及び拡大縮小(スケーリング)操作である。図8における実線で示す3Dオブジェクト105が、電子ペン103の拡大操作により破線で示す3Dオブジェクトとして示されている。電子ペン103の操作空間において、電子ペン103の先端をペン操作初期位置にてボタン104を押下し、図示する位置までドラッグすることにより拡大表示される。
図10は、電子ペン103のボタン104をオンからオフにした状態を示す図である。
ボタン104をオンからオフにすることにより、電子ペン103を3D操作から2D操作に切り替えることになり、3Dオブジェクト105の移動、回転、縮小拡大はできなくなるが、筆記操作やジェスチャー操作は可能である。
ボタン104をオンからオフにすることにより、電子ペン103を3D操作から2D操作に切り替えることになり、3Dオブジェクト105の移動、回転、縮小拡大はできなくなるが、筆記操作やジェスチャー操作は可能である。
図11は、電子ペン103を3D操作モードで書込操作を行っている状態を示す図である。電子ペン103をディスプレイ101上で移動させることで丸印、矢印、及び折れ線を表示することができる。
図12は、図3に示した3D座標検出システムの機能ブロック図の一例である。
情報処理装置100は、3Dオブジェクト操作モジュール305、画像処理モジュール301、座標検出部としての座標計算モジュール302、筆記操作モジュール303、及びほかアプリケーション304を有する。
3Dオブジェクト操作モジュール305は、移動操作子モジュール306、拡大縮小操作子モジュール307、及び回転操作子モジュール308を有する。
情報処理装置100は、3Dオブジェクト操作モジュール305、画像処理モジュール301、座標検出部としての座標計算モジュール302、筆記操作モジュール303、及びほかアプリケーション304を有する。
3Dオブジェクト操作モジュール305は、移動操作子モジュール306、拡大縮小操作子モジュール307、及び回転操作子モジュール308を有する。
画像処理モジュール301では、カメラ102が撮影した画像を分析し、目標対象(例えば、電子ペン103)を背景から切り出し、形状情報やイメージ座標情報や得ることが出来る。
座標計算モジュール302では、イメージ座標から世界座標の計算を行う。イメージ座標とは、図5に示すように、イメージ平面に投影した電子ペン103の座標位置である。世界座標では、空間中の電子ペン103の座標位置である。
筆記操作モジュール303では、世界座標モジュールの計算結果により、手書き軌跡をディスプレイ101に描画したり、操作する対象を反応させたりすることが出来る。
3Dオブジェクト操作モジュール305では、3Dオブジェクト操作モードの操作を行うモジュールである。更に、直線移動操作、回転操作、もしくは拡大縮小操作に応じて、移動操作子モジュール306、回転操作子モジュール308、及び拡大縮小操作子モジュール307の三つの子モジュールを含む。
座標計算モジュール302では、イメージ座標から世界座標の計算を行う。イメージ座標とは、図5に示すように、イメージ平面に投影した電子ペン103の座標位置である。世界座標では、空間中の電子ペン103の座標位置である。
筆記操作モジュール303では、世界座標モジュールの計算結果により、手書き軌跡をディスプレイ101に描画したり、操作する対象を反応させたりすることが出来る。
3Dオブジェクト操作モジュール305では、3Dオブジェクト操作モードの操作を行うモジュールである。更に、直線移動操作、回転操作、もしくは拡大縮小操作に応じて、移動操作子モジュール306、回転操作子モジュール308、及び拡大縮小操作子モジュール307の三つの子モジュールを含む。
以下、具体的な3Dオブジェクト操作方法について図13を参照して説明する。
図13は、電子ペン103をX、Y、Z方向に移動した場合の説明図である。
図13は、電子ペン103をX、Y、Z方向に移動した場合の説明図である。
直線移動操作
図13に示すように、電子ペン103のボタン104を押下することにより対象となる3Dオブジェクト105を選定し、この位置をペン操作の初期位置とする。ボタン104を押下したまま電子ペン103を移動すると、ディスプレイ101に表示している3Dオブジェクト105の位置も同じ方向に移動する。電子ペン103の移動は三つの自由度がある。即ちX方向、Y方向、Z方向、或はXYZの任意組み合わせの方向に移動できる。
図13に示すように、電子ペン103のボタン104を押下することにより対象となる3Dオブジェクト105を選定し、この位置をペン操作の初期位置とする。ボタン104を押下したまま電子ペン103を移動すると、ディスプレイ101に表示している3Dオブジェクト105の位置も同じ方向に移動する。電子ペン103の移動は三つの自由度がある。即ちX方向、Y方向、Z方向、或はXYZの任意組み合わせの方向に移動できる。
<動作2>
図14(a)は、図4に示した電子ペン103を直線移動した場合のフローチャートの一例であり、図14(b)は、図4の縮小図であり、図14(c)は、電子ペン103の移動距離の説明図である。
図14(a)は、図4に示した電子ペン103を直線移動した場合のフローチャートの一例であり、図14(b)は、図4の縮小図であり、図14(c)は、電子ペン103の移動距離の説明図である。
1.直線移動操作
フローチャートにおけるステップS501にて、3Dオブジェクトを選定する。電子ペン103のボタン104を押下することにより対象とする3Dオブジェクト105を選定し、この位置をペン操作の初期位置とする。図14の右上には電子ペン103の移動に伴い、3Dオブジェクトがディスプレイ101上を移動する様子が表示されている。
フローチャートにおけるステップS501にて、3Dオブジェクトを選定する。電子ペン103のボタン104を押下することにより対象とする3Dオブジェクト105を選定し、この位置をペン操作の初期位置とする。図14の右上には電子ペン103の移動に伴い、3Dオブジェクトがディスプレイ101上を移動する様子が表示されている。
ステップS502にて、電子ペン103の世界座標を算出する。すなわち、当時点の電子ペン103の世界座標(x0,y0,z0)を算出する。
ステップS503にて、世界座標(x0,y0,z0)を更新して新たな世界座標(xt,yt,zt)を得る。時間△tが経過し、電子ペン103の新しい時点の世界座標を再計算する。
図14の右中央に更新前の世界座標(x0,y0,z0)と更新後の世界座標(xt,yt,zt)とが表示されている。
ステップS503にて、世界座標(x0,y0,z0)を更新して新たな世界座標(xt,yt,zt)を得る。時間△tが経過し、電子ペン103の新しい時点の世界座標を再計算する。
図14の右中央に更新前の世界座標(x0,y0,z0)と更新後の世界座標(xt,yt,zt)とが表示されている。
ステップS504にて、電子ペン103の移動距離を計算する。図14(c)に示すように、ステップS502とステップS503で算出した世界座標から、電子ペン103の各方向の移動距離(Dx,Dy,Dz)を計算する。
ステップS505にて、3Dオブジェクト105の移動距離を換算する。すなわち数式(1)により3Dオブジェクト105の各方向の移動距離(dx,dy,dz)を計算する。数式(2)の平行移動行列の形で保存する。
ステップS506にて、3Dオブジェクト105の移動(再描画)を行う。移動後の座標を算出し、新座標位置で3Dオブジェクト105を再描画する。3Dオブジェクト105の各点に対して、移動後座標=平行移動行列*移動前座標となる。
人の手の動きには微小な振動があるので、何フレームの移動方向を計算し、その平均方向を3Dオブジェクト105の移動方向とすることで、小さい振動を抑えることができる。
ステップS506にて、3Dオブジェクト105の移動(再描画)を行う。移動後の座標を算出し、新座標位置で3Dオブジェクト105を再描画する。3Dオブジェクト105の各点に対して、移動後座標=平行移動行列*移動前座標となる。
人の手の動きには微小な振動があるので、何フレームの移動方向を計算し、その平均方向を3Dオブジェクト105の移動方向とすることで、小さい振動を抑えることができる。
<動作3>
2.回転操作
電子ペン103のボタン104を押下することにより対象とする3Dオブジェクト105を選定し、この位置を電子ペン103の操作の初期位置とする。ボタン104を押下したままで徐々にある方向の円周もしくは円弧を描くことにより、3Dオブジェクト105をその方向で回転させることができる。
2.回転操作
電子ペン103のボタン104を押下することにより対象とする3Dオブジェクト105を選定し、この位置を電子ペン103の操作の初期位置とする。ボタン104を押下したままで徐々にある方向の円周もしくは円弧を描くことにより、3Dオブジェクト105をその方向で回転させることができる。
図15(a)〜(d)は、電子ペン103による回転操作の説明図である。
図15(a)に示すように、回転操作は基本的にXYZ方向の各軸に対する回転操作である。すなわち、図15(b)に示すようにX方向軸を回転軸として電子ペン103の先端の発光点103aを破線矢印の方向に回転させると、3Dオブジェクト105はX方向軸で回転する。図15(c)に示すようにY方向軸を回転軸として電子ペン103の先端である発光点103aを破線矢印の方向に回転させると、3Dオブジェクト105はY方向軸で回転する。Z方向軸についても同様に、図15(d)に示すようにZ方向軸を回転軸として電子ペン103の先端の発光点103aを破線矢印の方向に回転させると、3Dオブジェクト105はZ方向軸で回転する。
図15(a)に示すように、回転操作は基本的にXYZ方向の各軸に対する回転操作である。すなわち、図15(b)に示すようにX方向軸を回転軸として電子ペン103の先端の発光点103aを破線矢印の方向に回転させると、3Dオブジェクト105はX方向軸で回転する。図15(c)に示すようにY方向軸を回転軸として電子ペン103の先端である発光点103aを破線矢印の方向に回転させると、3Dオブジェクト105はY方向軸で回転する。Z方向軸についても同様に、図15(d)に示すようにZ方向軸を回転軸として電子ペン103の先端の発光点103aを破線矢印の方向に回転させると、3Dオブジェクト105はZ方向軸で回転する。
図16(a)は、回転操作のフローチャートの一例であり、図16(b)は、電子ペン103の移動軌跡の一例である。
図16(a)のステップS601にて、3Dオブジェクトを選定する。電子ペン103のボタン104を押下することにより対象とする3Dオブジェクト105を選定し、この位置をペン操作の初期位置とする。
ステップS602にて、電子ペン103の世界座標を算出する。当時点の電子ペン103の世界座標(x0,y0,z0)を算出する。
図16(a)のステップS601にて、3Dオブジェクトを選定する。電子ペン103のボタン104を押下することにより対象とする3Dオブジェクト105を選定し、この位置をペン操作の初期位置とする。
ステップS602にて、電子ペン103の世界座標を算出する。当時点の電子ペン103の世界座標(x0,y0,z0)を算出する。
ステップS603にて、世界座標を更新する。ある時間間隔N△t経過し、このN△tの間の各位置の座標を算出し、図16に示すような電子ペン103の移動軌跡を記録する。
ステップS604にて、電子ペン103の移動軌跡を分析し、回転方向を推定する。具体的には電子ペン103の軌跡を分析(直線のフィッティング等)により、回転方向を推定する。
ステップS605にて、回転角度を計算する。
ステップS604にて、電子ペン103の移動軌跡を分析し、回転方向を推定する。具体的には電子ペン103の軌跡を分析(直線のフィッティング等)により、回転方向を推定する。
ステップS605にて、回転角度を計算する。
図17(a)は、電子ペン103の先端で円弧を描いた場合の回転角度を示し、図17(b)は、3Dオブジェクト105の回転前後の様子を示す図である。
図17(a)、(b)に示すように、電子ペン103はZ方向軸周りにθ度に回転する例である。3Dオブジェクト105の回転角度θは電子ペン103と回転角度に相当する。
ステップS606にて、3Dオブジェクト105の回転、すなわち再描画を行う。回転後の座標を算出し、新座標位置で3Dオブジェクト105を再描画する。3Dオブジェクト105の各点に対して、数式(2)で表される。
図17(a)、(b)に示すように、電子ペン103はZ方向軸周りにθ度に回転する例である。3Dオブジェクト105の回転角度θは電子ペン103と回転角度に相当する。
ステップS606にて、3Dオブジェクト105の回転、すなわち再描画を行う。回転後の座標を算出し、新座標位置で3Dオブジェクト105を再描画する。3Dオブジェクト105の各点に対して、数式(2)で表される。
回転後座標=回転行列*回転前座標 ……(3)
回転行列としては、4行4列の回転行列(X軸:数式(4))、回転行列(Y軸:数式(5))、回転行列(Z軸:数式(6))が挙げられる。
<動作4>
3.拡大縮小操作
この拡大縮小操作により3Dオブジェクト105の形を変えずにサイズだけを変更することができる。
図18は、電子ペン103による拡大縮小操作の説明図である。
拡大縮小操作と移動操作とを区別するため、拡大縮小操作するための指示矢印を3Dオブジェクト105a、105bの隅に表示する。この矢印を選定し、拡大方向と縮小方向とに徐々に移動することにより、3Dオブジェクト105のサイズを変更することができる。
3.拡大縮小操作
この拡大縮小操作により3Dオブジェクト105の形を変えずにサイズだけを変更することができる。
図18は、電子ペン103による拡大縮小操作の説明図である。
拡大縮小操作と移動操作とを区別するため、拡大縮小操作するための指示矢印を3Dオブジェクト105a、105bの隅に表示する。この矢印を選定し、拡大方向と縮小方向とに徐々に移動することにより、3Dオブジェクト105のサイズを変更することができる。
図19(a)は、拡大縮小操作のフローチャートの一例であり、図19(b)は、拡大縮小尺度の説明図であり、図19(c)は、拡大縮小操作指示矢印の説明図である。
ステップS701にて、3Dオブジェクトを選定する。ホバリング状態で座標位置を確認しながら、拡大縮小指示矢印の範囲内で電子ペン103のボタン104を押下することで対象とする3Dオブジェクトの拡大縮小モードを選定することができる。
図19(c)に示すように、指示矢印は3Dオブジェクトを囲む立方形の角に記載する。
ステップS701にて、3Dオブジェクトを選定する。ホバリング状態で座標位置を確認しながら、拡大縮小指示矢印の範囲内で電子ペン103のボタン104を押下することで対象とする3Dオブジェクトの拡大縮小モードを選定することができる。
図19(c)に示すように、指示矢印は3Dオブジェクトを囲む立方形の角に記載する。
ステップS702にて、電子ペン103の世界座標を算出する。当時点の電子ペン103の世界座標(x0,y0,z0)を算出する。
ステップS703にて、世界座標を更新する。時間間隔△t経過し、新しい世界座標(xt,yt,zt)を再計算する。図19(b)に示すように、x, y, z方向の移動距離(Dx,Dy,Dz)も算出できる。
ステップS704にて、前述した数式(1)により、ステップS703で算出した移動距離(Dx,Dy,Dz)を3Dオブジェクト105bの移動距離(dx,dy,dz)に換算する。
ステップS705にて、移動距離(dx,dy,dz)からx,y,z方向の拡大縮小尺度を計算する。具体的には図19(c)に示すように、3Dオブジェクト105bを囲む立方形のx,y,zの長さを(Lx,Ly,Lz)とする。拡大縮小尺度(sx,sy,sz)は、下記の数式(7)で表される。
(sx,sy,sz) = (dx/Lx, dy/Ly, dz/Lz) ……(7)
ステップS703にて、世界座標を更新する。時間間隔△t経過し、新しい世界座標(xt,yt,zt)を再計算する。図19(b)に示すように、x, y, z方向の移動距離(Dx,Dy,Dz)も算出できる。
ステップS704にて、前述した数式(1)により、ステップS703で算出した移動距離(Dx,Dy,Dz)を3Dオブジェクト105bの移動距離(dx,dy,dz)に換算する。
ステップS705にて、移動距離(dx,dy,dz)からx,y,z方向の拡大縮小尺度を計算する。具体的には図19(c)に示すように、3Dオブジェクト105bを囲む立方形のx,y,zの長さを(Lx,Ly,Lz)とする。拡大縮小尺度(sx,sy,sz)は、下記の数式(7)で表される。
(sx,sy,sz) = (dx/Lx, dy/Ly, dz/Lz) ……(7)
ステップS706にて、3Dオブジェクト105bの更新である拡大縮小実施(再描画)を行う。拡大縮小後の座標を算出し、新座標位置で3Dオブジェクトを再描画する。3Dオブジェクト105bの各点に対して下記の数式(8)で再描画する。
拡大縮小後座標=拡大縮小行列*拡大縮小前座標 ……(8)
尚拡大縮小行列は、数式(9)で表される。
拡大縮小後座標=拡大縮小行列*拡大縮小前座標 ……(8)
尚拡大縮小行列は、数式(9)で表される。
前述した3Dオブジェクト105,105a,105bの直線移動操作、回転操作、拡大縮小操作の切り替え方法については、通常の3Dソフトウェアでは、メニューから一つの操作を選ぶことが多い。
そこで、余分な手間がかからないように、本願では、自動的に操作を判断することとする。具体的な判断方法を図20(a)〜(d)に示す。
そこで、余分な手間がかからないように、本願では、自動的に操作を判断することとする。具体的な判断方法を図20(a)〜(d)に示す。
図20(a)は、3Dオブジェクトの直線移動操作、回転操作、もしくは拡大縮小操作の切り替えのフローチャートの一例であり、図20(b)は、電子ペン103の円弧状の移動軌跡の一例である。図20(c)は、電子ペン103の直線状の移動軌跡の一例であり、図20(d)は、電子ペン103のジグザグ状の移動軌跡の一例である。
図20(a)に示すフローチャートのステップS1701にて、図9に示すように3Dオブジェクトの操作モードと判断され、3Dオブジェクト操作開始とする。
ステップS1702にて、開始する時点(ボタン104が押される時点)の電子ペン103の世界座標を算出する。
ステップS1703にて、世界座標が拡大縮小操作を指示する指示矢印の作用範囲内に入るか否かを判断する。
ステップS1702にて、開始する時点(ボタン104が押される時点)の電子ペン103の世界座標を算出する。
ステップS1703にて、世界座標が拡大縮小操作を指示する指示矢印の作用範囲内に入るか否かを判断する。
ステップS1704にて、ステップS1703の判断結果が「指示矢印の作用範囲内」となる場合、これからの操作は拡大縮小操作と判断される。
ステップS1705にて、ステップS1703の判断結果が「指示矢印の作用範囲外」となる場合、さらに動作分析を行う。まず図20(b)のように、ある時間間隔N△t内で電子ペン103の移動軌跡を記録し、各点の世界座標を算出する。
ステップS1706にて、電子ペン103の移動軌跡を直線でフィッティングする。具体的には直線をy=ax+bと想定し、最小2乗法で直線のパラータaとパラメータbとを算出する。
ステップS1705にて、ステップS1703の判断結果が「指示矢印の作用範囲外」となる場合、さらに動作分析を行う。まず図20(b)のように、ある時間間隔N△t内で電子ペン103の移動軌跡を記録し、各点の世界座標を算出する。
ステップS1706にて、電子ペン103の移動軌跡を直線でフィッティングする。具体的には直線をy=ax+bと想定し、最小2乗法で直線のパラータaとパラメータbとを算出する。
ステップS1707にて、記録した電子ペン103の移動軌跡と算出した直線との間の誤差エラーを計算する。ある閾値thを設定して計算する。
ステップS1708にて、ステップS1707で算出したエラー < thの場合は、電子ペン103の運動軌跡は直線でフィッティングできると考えられるので、直線移動と判断される(図20(c))。
ステップS1708にて、ステップS1707で算出したエラー < thの場合は、電子ペン103の運動軌跡は直線でフィッティングできると考えられるので、直線移動と判断される(図20(c))。
ステップS1709にて、ステップS1707で算出したエラー > thの場合は、図20(d)に示すように各軌跡点が直線からかなり離れているので、フィッティング誤差エラーが大きい。このため、電子ペン103の運動軌跡は直線でフィッティングできないと考えられる。本願の場合は回転操作と判断される。
人間の手が宙中での動きが不安定なこともあるが、数式(1)により微小な動きを避け、大きめな動きで操作することで不安定が減少することができる。更に、前述したように、何フレームの平均を使って動作を推定することによる不安定が減少することができると考えられる。
<作用効果>
以上より、カメラと電子ペンとを用いた光学式ディスプレイによりホバリング状態の座標、筆記、及びジェスチャーを検出できるので、3Dオブジェクトの回転、移動、拡大縮小の自由度を向上させることができる。
以上より、カメラと電子ペンとを用いた光学式ディスプレイによりホバリング状態の座標、筆記、及びジェスチャーを検出できるので、3Dオブジェクトの回転、移動、拡大縮小の自由度を向上させることができる。
尚、この実施形態で説明する電子ペンと、情報処理装置とが接続されたシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。
<プログラム>
以上で説明した本発明に係る情報処理装置は、コンピュータで処理を実行させるプログラムによって実現されている。一例として、プログラムにより本発明の機能を実現する場合の説明を以下で行う。
以上で説明した本発明に係る情報処理装置は、コンピュータで処理を実行させるプログラムによって実現されている。一例として、プログラムにより本発明の機能を実現する場合の説明を以下で行う。
例えば、
表示部、撮影部、座標検出部、及び制御部を有する情報処理装置のコンピュータが読み取り可能なプログラムであって、
コンピュータに、
表示部、撮影部、座標検出部、及び制御部を有する情報処理装置のコンピュータが読み取り可能なプログラムであって、
コンピュータに、
表示部が、3Dオブジェクトを表示する手順、
撮影部が、表示部の上部両端に配置され電子ペンの発光部を撮影する手順、
座標検出部が、両撮影部からの発光部の画像に基づいて電子ペンの3D座標を検出する手順、
制御部が、表示部の前面の所定領域内で電子ペンのボタンがオンのときには電子ペンの動きに合わせて3Dオブジェクトが直接回転、移動、拡大縮小操作され、ボタンがオフのときには3Dオブジェクトは静止状態のまま所定領域内で筆記動作やジェスチャー動作が可能なホバリング操作モードに切り替わる手順、
を実行させるためのプログラムが挙げられる。
表示部、撮影部、座標検出部、及び制御部を有する情報処理装置のコンピュータが読み取り可能なプログラムであって、
コンピュータに、
表示部、撮影部、座標検出部、及び制御部を有する情報処理装置のコンピュータが読み取り可能なプログラムであって、
コンピュータに、
表示部が、3Dオブジェクトを表示する手順、
撮影部が、表示部の上部両端に配置され電子ペンの発光部を撮影する手順、
座標検出部が、両撮影部からの発光部の画像に基づいて電子ペンの3D座標を検出する手順、
制御部が、表示部の前面の所定領域内で電子ペンのボタンがオンのときには電子ペンの動きに合わせて3Dオブジェクトが直接回転、移動、拡大縮小操作され、ボタンがオフのときには3Dオブジェクトは静止状態のまま所定領域内で筆記動作やジェスチャー動作が可能なホバリング操作モードに切り替わる手順、
を実行させるためのプログラムが挙げられる。
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。
<記憶媒体>
ここで、記憶媒体としては、例えばCD-ROM、フレキシブルディスク(FD)、CD-R等のコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、RAM、ROM、FeRAM等の半導体メモリやHDDが挙げられる。
ここで、記憶媒体としては、例えばCD-ROM、フレキシブルディスク(FD)、CD-R等のコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、RAM、ROM、FeRAM等の半導体メモリやHDDが挙げられる。
CD-ROMは、Compact Disc Read Only Memoryの略である。フレキシブルディスクは、Flexible Disk:FDを意味する。CD-Rは、CD Recordableの略である。FeRAMは、Ferroelectric RAMの略で、強誘電体メモリを意味する。HDDは、Hard Disc Driveの略である。
尚、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。例えば、上述した実施の形態では、発光部に赤外線点光源を用いた場合で説明したが、本発明はこれに限定されるものではなく、可視光点光源を用いてもよい。
100 情報処理装置
101 ディスプレイ
102 カメラ
103 電子ペン
103a 発光点
104 ボタン
105、105a、105b 3Dオブジェクト
110 PC
116 電子ペンコントローラ
117 外部メモリ
118 バスライン
119 アプリケーション
120 カメラコントローラ
301 画像処理モジュール
302 座標計算モジュール
303 筆記操作モジュール
304 ほかアプリケーション
305 3Dオブジェクト操作モジュール
306 移動操作子モジュール
307 拡大縮小操作子モジュール
308 回転操作子モジュール
101 ディスプレイ
102 カメラ
103 電子ペン
103a 発光点
104 ボタン
105、105a、105b 3Dオブジェクト
110 PC
116 電子ペンコントローラ
117 外部メモリ
118 バスライン
119 アプリケーション
120 カメラコントローラ
301 画像処理モジュール
302 座標計算モジュール
303 筆記操作モジュール
304 ほかアプリケーション
305 3Dオブジェクト操作モジュール
306 移動操作子モジュール
307 拡大縮小操作子モジュール
308 回転操作子モジュール
Claims (6)
- 発光部、及び、オンのときには3Dオブジェクトの操作が可能な3Dオブジェクト操作モードになる信号を発生するボタンを有する電子ペンと、
前記3Dオブジェクトを表示する表示部、前記表示部の上部両端に配置され前記発光部を撮影する撮影部、前記両撮影部からの前記発光部の画像に基づいて前記電子ペンの3D座標を検出する座標検出部、及び、前記表示部の前面の所定領域内で前記電子ペンの前記ボタンがオンのときには前記電子ペンの動きに合わせて前記3Dオブジェクトが直接回転、移動、拡大縮小操作され、前記ボタンがオフのときには前記3Dオブジェクトは静止状態のまま前記所定領域内で筆記動作やジェスチャー動作が可能なホバリング操作モードに切り替わる制御部を有する情報処理装置と、
を備えたことを特徴とする3D座標検出システム。 - 前記電子ペンが前記表示部に接触している場合には筆記動作が可能な筆記操作モードとなることを特徴とする請求項1記載の3D座標検出システム。
- 前記電子ペンの発光部は赤外線を発光することを特徴とする請求項1または2記載の3D座標検出システム。
- 3Dオブジェクトを表示する表示部と、
前記表示部の上部両端に配置され電子ペンの発光部を撮影する撮影部と、
前記両撮影部からの前記発光部の画像に基づいて、前記電子ペンの3D座標を検出する座標検出部と、
前記表示部の前面の所定領域内で前記電子ペンのボタンがオンのときには前記電子ペンの動きに合わせて前記3Dオブジェクトが直接回転、移動、拡大縮小操作され、前記ボタンがオフのときには前記3Dオブジェクトは静止状態のまま前記所定領域内で筆記動作やジェスチャー動作が可能なホバリング操作モードに切り替わる制御部と、を備えたことを特徴とする情報処理装置。 - 表示部、撮影部、座標検出部、及び制御部を有する情報処理装置のコンピュータが読み取り可能なプログラムであって、
前記コンピュータに、
前記表示部が、3Dオブジェクトを表示する手順、
前記撮影部が、前記表示部の上部両端に配置され電子ペンの発光部を撮影する手順、
前記座標検出部が、前記両撮影部からの前記発光部の画像に基づいて前記電子ペンの3D座標を検出する手順、
前記制御部が、前記表示部の前面の所定領域内で前記電子ペンの前記ボタンがオンのときには前記電子ペンの動きに合わせて前記3Dオブジェクトが直接回転、移動、拡大縮小操作され、前記ボタンがオフのときには前記3Dオブジェクトは静止状態のまま前記所定領域内で筆記動作やジェスチャー動作が可能なホバリング操作モードに切り替わる手順、
を実行させるためのプログラム。 - 発光部、及びオンにされると3Dオブジェクトが操作可能な3Dオブジェクト操作モードとなるボタンを有する電子ペンを準備する工程、
3Dオブジェクトを表示する表示部の上部両端に配置された撮影部で前記電子ペンの発光部を撮影する工程、
前記両撮影部からの前記発光部の画像に基づいて前記電子ペンの3D座標を検出する工程、
前記表示部の前面の所定領域内で前記電子ペンの前記ボタンがオンのときには前記電子ペンの動きに合わせて前記3Dオブジェクトが直接回転、移動、拡大縮小操作され、前記ボタンがオフのときには前記3Dオブジェクトは静止状態のまま前記所定領域内で筆記動作やジェスチャー動作が可能なホバリング操作モードに切り替わる工程、
を備えたことを特徴とする3D座標検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015137210A JP2017021495A (ja) | 2015-07-08 | 2015-07-08 | 3d座標検出システム、情報処理装置、プログラム、及び3d座標検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015137210A JP2017021495A (ja) | 2015-07-08 | 2015-07-08 | 3d座標検出システム、情報処理装置、プログラム、及び3d座標検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017021495A true JP2017021495A (ja) | 2017-01-26 |
Family
ID=57888655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015137210A Pending JP2017021495A (ja) | 2015-07-08 | 2015-07-08 | 3d座標検出システム、情報処理装置、プログラム、及び3d座標検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017021495A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3709141A1 (en) | 2019-03-15 | 2020-09-16 | Nintendo Co., Ltd. | Information processing program, information processing apparatus, information processing system, and information processing method |
KR20210059222A (ko) * | 2019-11-15 | 2021-05-25 | 한국생산기술연구원 | 3d 캐드 데이터의 실시간 습득을 위한 3d 펜 및 이의 3d 캐드 데이터 취득 방법 |
-
2015
- 2015-07-08 JP JP2015137210A patent/JP2017021495A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3709141A1 (en) | 2019-03-15 | 2020-09-16 | Nintendo Co., Ltd. | Information processing program, information processing apparatus, information processing system, and information processing method |
US11508137B2 (en) | 2019-03-15 | 2022-11-22 | Nintendo Co., Ltd. | Storage medium storing information processing program, information processing apparatus, information processing system, and information processing method for enlarging/reducing an object in a virtual space |
KR20210059222A (ko) * | 2019-11-15 | 2021-05-25 | 한국생산기술연구원 | 3d 캐드 데이터의 실시간 습득을 위한 3d 펜 및 이의 3d 캐드 데이터 취득 방법 |
KR102291671B1 (ko) * | 2019-11-15 | 2021-08-23 | 한국생산기술연구원 | 3d 캐드 데이터의 실시간 습득을 위한 3d 펜 및 이의 3d 캐드 데이터 취득 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10789776B2 (en) | Structural modeling using depth sensors | |
US20220129060A1 (en) | Three-dimensional object tracking to augment display area | |
US9128537B2 (en) | Bimanual interactions on digital paper using a pen and a spatially-aware mobile projector | |
CN104166509B (zh) | 一种非接触式屏幕交互方法及*** | |
US20130027393A1 (en) | Information processing apparatus, information processing method, and program | |
CN104011629A (zh) | 用于能够进行基于触摸的输入的用户界面的经增强的目标选择 | |
JP6379880B2 (ja) | プロジェクタ−カメラシステム又はディスプレイ−カメラシステムに対する微細なユーザインタラクションを可能とするシステム、方法及びプログラム | |
US11392224B2 (en) | Digital pen to adjust a 3D object | |
JP6260241B2 (ja) | ユーザの入力を受け付けるシステム、プログラムおよび方法 | |
EP3037936B1 (en) | Image projection apparatus, and system employing interactive input-output capability | |
JP2017021495A (ja) | 3d座標検出システム、情報処理装置、プログラム、及び3d座標検出方法 | |
EP2779116B1 (en) | Smooth manipulation of three-dimensional objects | |
JP7401245B2 (ja) | 画像合成装置、画像合成装置の制御方法およびプログラム | |
US20150042621A1 (en) | Method and apparatus for controlling 3d object | |
JP2007094902A (ja) | 3次元画像表示装置、3次元画像表示方法及び3次元画像表示プログラム | |
KR20210023663A (ko) | 2d 이미지를 활용하여 3d 컨텐츠를 생성하는 영상 처리 방법 및 영상 처리 장치 | |
JP6248723B2 (ja) | 座標検知システム、座標検知方法、情報処理装置及びプログラム | |
CN116824105A (zh) | 建筑信息模型的显示调整方法、装置、设备及存储介质 | |
JP2011048476A (ja) | 拡張現実感を用いた3dオブジェクト生成cadシステム | |
JP2011043796A (ja) | 可動表示装置上に画像を表示するための方法およびシステム |