JP6075193B2 - 携帯端末装置 - Google Patents

Description

本発明は携帯端末装置により他の機器を制御する技術に関する。

近年、テレビ等のモニタ画面は拡大傾向にあり、それに伴って視聴位置もモニタ画面から遠ざかるようになっている。

また、スマートフォン等の携帯端末装置に対する入力操作は、携帯端末装置に設けられたタッチパネルへのタッチ入力が一般的となっており、携帯端末装置の画面に表示されているオブジェクトに直接触れるかのような、直観的な操作が受け入れられている。

モニタ画面の表示を制御するには遠隔操作とならざるを得ないが、手元の携帯端末装置にビデオカメラを設け、取り込んだ画像からモニタ画面の輪郭を抽出し、タッチパネルに表示することで、モニタ画面上の座標を直接指示し得るポインティング装置が提案されている（例えば、特許文献１参照。）。

特開平７−１０４９２８号公報

特許文献１に開示されたポインティング装置は、画像からモニタ画面の輪郭を抽出しているため、モニタ画面の３次元情報（空間中の位置情報）を取得しておらず、モニタ画面がビデオカメラに対して正対していない場合にはタッチパネルへの入力が正確にモニタ画面上の座標に変換されないことが考えられる。

例えば、抽出した輪郭が台形だった場合、モニタ画面が台形でビデオカメラに正対しているのか、モニタ画面が矩形でビデオカメラに傾斜しているのか区別することができない。

また、特許文献１に開示されたポインティング装置は、モニタ画面についてしか適用することができず、その他の種々の機器の制御に用いることはできない。

本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、広範な機器に対して３次元的な配置を考慮して直観的に操作できるようにすることにある。

上記の課題を解決するため、本発明にあっては、筐体の前面に設けられた表示部および当該表示部と一体化されたタッチパネルと、前記筐体の背面に設けられ、前記表示部の背面および法線の方向に視野を有するカメラと、前記カメラの撮像画像をリアルタイムに前記表示部に表示する表示手段と、前記カメラの撮像画像に含まれる所定のマーカを検出し、該マーカから得られる情報に基づいて仮想３次元空間を構築し、前記撮像画像に前記マーカに対応付けられた対象物が含まれていることを検出して前記仮想３次元空間内での前記対象物の位置情報を算出する位置情報算出手段と、前記タッチパネルにタッチ入力があった際、前記タッチパネル上のタッチ入力位置を通る法線ベクトルと前記仮想３次元空間に前記位置情報に基づいて位置付けられた前記対象物に予め設定されている認識領域との交点を検出する交点検出手段と、検出した交点の位置に基づき、前記対象物の制御装置に操作メッセージを送信する操作メッセージ送信手段とを備えるようにしている。

本発明にあっては、広範な機器に対して３次元的な配置を考慮して直観的に操作することができる。

本発明の一実施形態にかかるシステムの構成例を示す図である。 操作対象物として大画面モニタを用いた例を示す図である。 操作対象物の認識領域を設定するマーカの例を示す図である。 操作対象物として照明器具を用いた例を示す図である。 携帯端末装置の構成例を示す図である。 操作対象物制御装置の構成例を示す図である。 実施形態の処理例を示すフローチャートである。 実空間における操作対象位置算出の概念を示す図である。 携帯端末装置の画面／タッチパネルへの画像の重畳の例を示す図である。

以下、本発明の好適な実施形態につき説明する。

＜構成＞
図１は本発明の一実施形態にかかるシステムの構成例を示す図である。

図１において、携帯端末装置１はタブレット、スマートフォン等の情報処理装置であり、前面に画面／タッチパネル１２が設けられ、背面にカメラ１１が設けられている。カメラ１１は、画面／タッチパネル１２の背面方向の法線方向に視野を持つように配置されている。

また、携帯端末装置１により操作の対象となる単数もしくは複数の操作対象物２が設けられ、操作対象物２には操作対象物２を制御する操作対象物制御装置３が設けられている。携帯端末装置１と操作対象物制御装置３は、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線等により通信を行うようになっている。なお、操作対象物２と操作対象物制御装置３を別体として示したが、操作対象物２と操作対象物制御装置３を一体に構成してもよい。

携帯端末装置１のカメラ１１により操作対象物２を撮像し、撮像した内容がリアルタイムに表示される画面／タッチパネル１２の上をユーザがタッチして操作（タップ、ドラッグアンドドロップ、フリック等）することにより、操作対象物制御装置３を介して操作対象物２を操作することができる。

図２は操作対象物２として大画面モニタ（画像表示装置）を用いた例を示す図である。この場合、大画面モニタに表示されたボタンやキャラクタを、携帯端末装置１の画面にタッチすることで操作することができる。

図３は操作対象物２の認識領域を設定するマーカ２１の例を示す図である。図３（ａ）は、カードもしくはステッカー等によりマーカ２１を画面の四隅に貼り付けることにより、４個のマーカ２１により形成される矩形領域を認識領域として設定したものである。マーカ２１には、所定の形式で図形や記号等が記載されており、これを携帯端末装置１のカメラ１１により撮像した画像から解析することで、個々のマーカ２１の３次元的な位置やマーカ２１の面する角度（方向）を認識することができる。

図３（ｂ）は、マーカ２１を画面表示により代用することで、カードやステッカー等を貼り付けるのを不要にしたものである。マーカ２１は常時表示する必要はなく、初回認識の際に表示されていればよい。また、可視光を用いない表示とすることで、違和感をなくすこともできる。

なお、図３では複数のマーカ２１により認識領域を設定する場合について示したが、マーカ２１は１個でも認識領域を設定することができる場合がある。例えば、操作対象物２の形状が複雑でなく、マーカ２１と同じ程度の大きさであり、制御も大まかでよい場合は、マーカ２１を１個とし、その周辺の所定範囲を認識領域とすることができる。また、マーカ２１から読み取ることのできる情報に、認識領域の大きさや形状に関する情報を付加することにより、１個のマーカ２１を基準として、読み取った情報の示す大きさや形状の範囲を認識領域とすることができる。

図４は操作対象物２として照明器具を用いた例を示す図である。この場合、照明器具のＯＮ／ＯＦＦや光量や発光色等を携帯端末装置１の画面をタッチすることで操作することができる。例えば、操作対象物２の画像をタップすることでＯＮ／ＯＦＦを切り替えたり、画像上で上下にドラッグすることで光量を増減したり、左右にドラッグすることで発光色を変えたりすることができる。操作対象物２の外面には、図３と同様に、認識領域を設定するためにマーカ（２１）が設けられる。

図５は携帯端末装置１の構成例を示す図である。

図５において、携帯端末装置１は、電源システム１０１と、プロセッサ１０３、メモリコントローラ１０４、周辺インタフェース１０５を含むメインシステム１０２と、記憶部１０６と、外部ポート１０７と、高周波回路１０８と、アンテナ１０９と、オーディオ回路１１０と、スピーカ１１１と、マイク１１２と、近接センサ１１３と、ＧＰＳ（Global Positioning System）回路１１４と、ディスプレイコントローラ１１６、光学センサコントローラ１１７、入力コントローラ１１８を含むＩ／Ｏ（Input/Output）サブシステム１１５と、タッチ反応型ディスプレイシステム１１９と、光学センサ１２０と、入力部１２１とを備えている。光学センサ１２０はカメラ１１に対応し、タッチ反応型ディスプレイシステム１１９は画面／タッチパネル１２に対応する。

図６は操作対象物制御装置３の構成例を示す図である。

図６において、操作対象物制御装置３は、コンピュータ装置（ゲーム装置を含む）３１と、必要に応じてインタフェース装置３２とが含まれている。操作対象物２が図２に示した大画面モニタである場合には、インタフェース装置３２を設けることなく、コンピュータ装置３１から映像・音声信号を操作対象物２に直接に供給することで足りる。操作対象物２が図４に示した照明器具である場合には、操作対象物２とコンピュータ装置３１の間で状態信号や制御信号のやり取りを仲介するインタフェース装置３２が設けられる。

＜動作＞
図７は上記の実施形態の処理例を示すフローチャートであり、携帯端末装置１の処理内容を示したものである。

図７において、携帯端末装置１は、カメラ１１の映像信号をデータとして取り込み、プログラムから操作可能な状態にする（ステップＳ１０１）。例えば、このデータは、カメラ映像をＲＧＢ（Red, Green, Blue）の点（ピクセル）の集合体に変換したものである。このようなデータをプログラムからアクセス可能なメモリ上に展開することで、プログラムから操作可能な状態になる。

次いで、携帯端末装置１は、マーカ２１（図３）に基づいて複数の対象物（操作対象物２の認識領域に相当）を認識し、操作等に必要な基礎データを得る（ステップＳ１０２）。基礎データは、認識した対象物についてのマトリクス情報であり、対象物が３次元空間内で、どの位置に、どの角度で、どの大きさで存在しているかを示す。実装としては、例えば、ＱＵＡＬＣＯＭ社のＡＲライブラリを用いて処理を行うことができる。

次いで、携帯端末装置１は、基礎データを累積し、高速に繰り返す中での相互関係データを得る（ステップＳ１０３）。相互関係データは、認識する対象物同士や、認識する対象物とカメラ１１の相対的な位置データである。

次いで、携帯端末装置１は、相互関係データをもとに、対象物の移動等のリアルタイムな変化に追従し、また手ぶれ等の補正を行う（ステップＳ１０４）。補正としては、
・対象物を認識するためのマトリクス情報が複数ある場合、不正確らしきものを除外
・高速に繰り返す中で、ある瞬間だけ特異な値がある場合、それを除外
といった処理を行う。

映像の解析と相互の位置の認識を高速に再演算し続けることで（ステップＳ１０１〜Ｓ１０４）、手元の携帯端末装置１や操作対象物２の移動等の変化に追従することができる。

次いで、携帯端末装置１は、画面／タッチパネル１２がユーザによりタッチされている場合、以下の処理を行う。

先ず、タッチ位置と、累積した補正後の相互関係データとに基づき、携帯端末装置１の背面へタッチ位置から仮想的に法線（法線ベクトル）をのばし、その法線上に対象物が存在するかどうか判定し、存在する場合、操作対象物２の３次元的な表面との交点を求めることにより、対応する操作対象位置を求める（ステップＳ１０５）。図８はその処理の概念を示している。操作対象物オブジェクト２ＯＢＪは操作対象物２の認識領域に対応するものである。複数の対象物と法線が交差する場合、この段階での操作対象位置は複数となる。

図７に戻り、携帯端末装置１は、操作対象位置と対象物の有効範囲から、操作対象となるべき操作対象物２を特定する（ステップＳ１０６）。すなわち、複数の対象物がそれぞれに有効範囲（画面なら矩形）がある場合、どれが優先的に操作されるべきかを判定することで、操作対象物２を特定する。判定の基準は、標準として、近傍（携帯端末装置１により近いこと）を優先にしている。

次いで、携帯端末装置１は、操作対象位置を特定した操作対象物２の座標へ変換する（ステップＳ１０７）。すなわち、操作用の法線が、対象物が持つ固有の形状のどこの部分に交差するのかを求め、形状が複数の面を有する立体である場合は、閉じた面のそれぞれに対して交差の評価を行い、座標を変換する。立体形状では、複数の面に対して交差が成立する場合があるが近傍を優先にする。複数の交差する点から、どれを優先的に操作するか（原則近傍を優先）を決め、対象機器のローカルなマトリクス情報を生成する。

次いで、携帯端末装置１は、変換した座標に基づき、操作対象物２を制御するためのローカルデータを算出する（ステップＳ１０８）。

次に、タップ、ドラッグアンドドロップ、フリック等のイベントが成立した場合の処理を説明する。なお、イベントの成立は次のように判断する。

タップは、携帯端末装置１の画面／タッチパネル１２へのタッチおよび離間によって判断する。

ドラッグアンドドロップは、
・対象物と手元端末を固定したまま、指を動かしてドラッグ
・対象物と指を固定したまま、手元端末を動かしてドラッグ
・手元端末と指を固定したまま、対象物を動かしてドラッグ
の３つのパターンの発生によりドラッグとなり、それぞれ、指を離すとドロップの判定となる。

２つめのパターンによれば、タップ中の指先を動かすことがなくても、手元装置や対象装置の移動によってドラッグアンドドロップ等が実現できることを意味している。

また、関係する３種類の情報（対象物座標、手元端末座標、指の位置）が２つ以上同時に動く場合も成立する。

フリックは、手元装置のタッチパネル上でフリックに相当する操作が成立した場合を有効とする。これは、対象装置相当では距離や角度に影響を受け入力が困難であること、手元装置に触れる感覚で成立することが自然に受け入れられるためである。手元装置でフリックが成立したかどうかの判定そのものは、手元装置のＯＳやドライバの判定に任せる。これは、普段利用している条件と同じにすることで、違和感が生まれないようにするためである。

フリックの判定は、タッチパネル上のスライド距離が所定距離以上であり、かつ、スライドにかかった時間が所定時間以内であることを条件に、フリック入力（接触→接触位置を素早く所定距離スライド→離す、を所定時間内に行う入力操作）がタッチパネルに対して行われたと判定する。

図７において、イベントが成立した場合、携帯端末装置１は、ローカルデータに自己の機器ＩＤを付加したメッセージを生成する（ステップＳ１０９）。

次いで、携帯端末装置１は、操作対象物２を制御する操作対象物制御装置３にメッセージを送信する（ステップＳ１１０）。メッセージとしては、マウス相当のデータとしてもよいが、手元端末で入力できるジェスチャパターンは増加すると見込まれるため、拡張可能な未定義領域を残す、汎用的なメッセージシステムとしている。

メッセージを受信した操作対象物制御装置３は、メッセージに対応した処理を行い、結果を操作対象物２に反映させる。操作対象物２が大画面モニタである場合（図２）、大画面モニタに表示されたボタンやアイコンやキャラクタに対するタップ、ドラッグアンドドロップ、フリック等の操作を適用し、操作過程および結果の画像を大画面モニタに表示する。操作対象物２が照明器具である場合（図４）、操作内容に応じて電源のＯＮ／ＯＦＦや光量や発光色等を制御する。

また、メッセージ送信（ステップＳ１１０）の後に操作対象物制御装置３から応答のメッセージを受信し、その受信メッセージに応じた処理を行うようにしてもよい。

なお、上記の実施形態ではタッチパネルへの入力操作について主に説明したが、タッチパネルに、認識した操作対象物や操作に連動した画像を重畳して表示することもできる。

本実施形態では、仮想３次元空間中の対象物の位置情報を利用できるので、例えば、タッチパネルへの操作に基づいて検出された認識領域との交点（対象機器の座標位置）に、タッチパネルから飛んでいくオブジェクト（矢やボール等）の画像を合成表示することで、ユーザが操作しようとしている対象機器の座標位置を示す場合に、あたかもオブジェクトが対象物の含まれる空間中を移動していくように表示することができる。これにより、ユーザは、より直観的に操作を行うことができる。

また、例えば、タッチパネルへの操作に基づいて対象物の周囲に入力結果を示すオブジェクト（当たりや外れ等を示すフキダシ等）の画像を合成表示する場合に、対象物の位置に合わせて表示することができる。図９は携帯端末装置１の画面における操作対象物２の画像２０１の上端に沿ってタイトル等の画像２０２を表示し、左側にキャラクタの画像２０３を表示した例を示している。

＜総括＞
以上説明したように、本実施形態によれば、広範な機器に対して３次元的な配置を考慮して直観的に操作することができる。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

１ 携帯端末装置
１１ カメラ
１２ 画面／タッチパネル
１０１ 電源システム
１０２ メインシステム
１０３ プロセッサ
１０４ メモリコントローラ
１０５ 周辺インタフェース
１０６ 記憶部
１０７ 外部ポート
１０８ 高周波回路
１０９ アンテナ
１１０ オーディオ回路
１１１ スピーカ
１１２ マイク
１１３ 近接センサ
１１４ ＧＰＳ回路
１１５ Ｉ／Ｏサブシステム
１１６ ディスプレイコントローラ
１１７ 光学センサコントローラ
１１８ 入力コントローラ
１１９ タッチ反応型ディスプレイシステム
１２０ 光学センサ
１２１ 入力部
２ 操作対象物
２１ マーカ
２ＯＢＪ 操作対象物オブジェクト
３ 操作対象物制御装置
３１ コンピュータ装置
３２ インタフェース装置

Claims (5)

1. 筐体の前面に設けられた表示部および当該表示部と一体化されたタッチパネルと、
   前記筐体の背面に設けられ、前記表示部の背面および法線の方向に視野を有するカメラと、
   前記カメラの撮像画像をリアルタイムに前記表示部に表示する表示手段と、
   前記カメラの撮像画像に含まれる所定のマーカを検出し、該マーカから得られる情報に基づいて仮想３次元空間を構築し、前記撮像画像に前記マーカに対応付けられた対象物が含まれていることを検出して前記仮想３次元空間内での前記対象物の位置情報を算出する位置情報算出手段と、
   前記タッチパネルにタッチ入力があった際、前記タッチパネル上のタッチ入力位置を通る法線ベクトルと前記仮想３次元空間に前記位置情報に基づいて位置付けられた前記対象物に予め設定されている認識領域との交点を検出する交点検出手段と、
   検出した交点の位置に基づき、前記対象物の制御装置に操作メッセージを送信する操作メッセージ送信手段と
   を備えたことを特徴とする携帯端末装置。
2. 請求項１に記載の携帯端末装置において、
   前記対象物は、認識領域となる画面を有する画像表示装置であり、
   前記操作メッセージ送信手段は、前記交点が検出された場合に、認識領域における交点の位置情報を生成して前記制御装置に送信する
   ことを特徴とする携帯端末装置。
3. 請求項１または２のいずれか一項に記載の携帯端末装置において、
   前記タッチパネルの操作について設定された判定条件に基づいて、特定の操作がタッチパネルに対して行われたことを判定する判定手段
   を備え、
   前記操作メッセージ送信手段は、前記判定手段の判定結果を前記対象物の位置情報に付加して前記制御装置に送信する
   ことを特徴とする携帯端末装置。
4. 請求項３に記載の携帯端末装置において、
   前記判定手段は、前記タッチパネル上のスライド距離が所定距離以上であり、かつ、スライドにかかった時間が所定時間以内であることを条件に、フリック入力が前記タッチパネルに対して行われたと判定する
   ことを特徴とする携帯端末装置。
5. 筐体の前面に設けられた表示部および当該表示部と一体化されたタッチパネルと、前記筐体の背面に設けられ、前記表示部の背面および法線の方向に視野を有するカメラとを備えた携帯端末装置を構成するコンピュータを、
   前記カメラの撮像画像をリアルタイムに前記表示部に表示する表示手段、
   前記カメラの撮像画像に含まれる所定のマーカを検出し、該マーカから得られる情報に基づいて仮想３次元空間を構築し、前記撮像画像に前記マーカに対応付けられた対象物が含まれていることを検出して前記仮想３次元空間内での前記対象物の位置情報を算出する位置情報算出手段、
   前記タッチパネルにタッチ入力があった際、前記タッチパネル上のタッチ入力位置を通る法線ベクトルと前記仮想３次元空間に前記位置情報に基づいて位置付けられた前記対象物に予め設定されている認識領域との交点を検出する交点検出手段、
   検出した交点の位置に基づき、前記対象物の制御装置に操作メッセージを送信する操作メッセージ送信手段
   として機能させる携帯端末装置制御プログラム。