JP6834197B2 - 情報処理装置、表示システム、プログラム - Google Patents
情報処理装置、表示システム、プログラム Download PDFInfo
- Publication number
- JP6834197B2 JP6834197B2 JP2016133365A JP2016133365A JP6834197B2 JP 6834197 B2 JP6834197 B2 JP 6834197B2 JP 2016133365 A JP2016133365 A JP 2016133365A JP 2016133365 A JP2016133365 A JP 2016133365A JP 6834197 B2 JP6834197 B2 JP 6834197B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- display
- information
- hand
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1を用いて、情報処理システム100の概略的特徴について説明する。図1は、操作位置52へのユーザの誘導を説明する図の一例である。
ユーザの位置に関する位置情報とは、ユーザの位置を特定する情報やユーザの位置を表す情報などである。例えば、動作検出装置10に対する相対的な位置であるが、動作検出装置10と表示装置の位置が固定的であれば、表示装置に対する相対位置と称してよい。なお、位置情報は座標などを含む絶対位置でもよい。
図2は、情報処理システム100のシステム構成図の一例である。図2(a)に示すように、情報処理システム100は、ディスプレイ310、動作検出装置10及び情報処理装置30を有する。動作検出装置10は情報処理装置30とUSBケーブルやIEEE1394などのケーブルで接続されており、情報処理装置30とディスプレイ310はDisplayPort(登録商標)、DVI(Digital Visual Interface)、HDMI(登録商標。High-Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブルを介して接続されている。なお、動作検出装置10と情報処理装置30は、無線LAN、Bluetooth(登録商標)、ZigBee(登録商標)などの無線で通信してもよい。同様に、情報処理装置30とディスプレイ310は、無線LAN、HDMIの無線規格などの無線で通信してもよい。
<<情報処理装置30のハードウェア構成>>
図3は情報処理装置30のハードウェア構成図の一例である。情報処理装置30は、CPU301、ROM302、RAM303及び補助記憶装置304を備える。更に、私的使用サーバは、入力部305、表示制御部306、ネットワークI/F307及び外部機器I/F308を備える。なお、情報処理装置30の各部は、バスBを介して相互に接続されている。
図4は、動作検出装置10のハードウェア構成図の一例である。動作検出装置10は、CPU11、カラーカメラ12、赤外線カメラ13、赤外線プロジェクタ14、主記憶装置15、不揮発性メモリ16、マイク17、加速度センサ18、及びLED19を有する。CPUは不揮発性メモリ16に記憶されたファームウェアを主記憶装置15に展開して実行することで、動作検出装置10の全体を制御する。主記憶装置15は例えばDRAMなどの高速な揮発性メモリであり、不揮発性メモリ16はフラッシュメモリなどである。
続いて、動作検出装置10が取得する情報について説明する。動作検出装置10が取得する情報であれば情報処理装置30が利用することができる。ただし、以下で説明する全ての情報を使用する必要はない。以下で説明される、動作検出装置10が取得する情報を「センサ情報」という。
画素毎にR・G・Bの濃度情報が含まれる画像データである。動作検出装置10の赤外線カメラ13は所定のフレームレート(例えば30fps)でカラー画像を撮像する。
上記のように512×424の解像度で距離情報が得られた画像データである。動作検出装置10のデプスセンサは所定のフレームレート(例えば30fps)で距離画像を撮像する。したがって、所定の解像度でユーザUを含む対象までの距離が得られる。
赤外線カメラ13で撮像されたグレイスケールの画像である。赤外線プロジェクタ14から投影されたパルスを撮像することができる。また、赤外線を発する人(ユーザU)を検出できる。
動作検出装置10は、距離画像から人物領域のみを抽出して人物の形状データを作成できる。例えば、赤外線画像から人の撮像領域を特定したり、フレームに応じて距離が変化する領域を人の撮像領域として特定する。距離画像からこの撮像領域を抽出したものが人物の形状データである。したがって、情報処理装置30はユーザUがいる画素領域が分かる。また、動作検出装置10は、複数のユーザUが検出された場合、ユーザUと画素領域とを対応付けて検出する。情報処理装置30はカラー画像から人物領域のみを切り出すこともできる。
関節の座標情報である。ボーン情報やスケルトン情報と呼ばれる場合がある。図5に三次元座標が得られる関節を示す。なお、図5ではユーザの関節を正面から見た図である。図5の符号と関節の名称を説明する。また、図5では左半分の関節は右側と同じなので符号が省略されている。
a…頭関節、b…首関節、c…肩中央関節、d…右肩関節、e…右肘関節、f…右手首関節、g…右手関節、h…右手先関節、i…右手親指関節、j…背骨関節、k…腰中央関節、l…右腰関節、m…右膝関節、n…右かかと関節、o…右足関節
なお、動作検出装置10は各関節の空間中の三次元座標(X,Y,Z)だけでなく、カラー画像上(ディスプレイ310上)の関節の座標(x,y)を提供する。ユーザUがいる画素領域が明らかであるためである。また、「右手先関節」「右手親指関節」「左手先関節」「左手親指関節」の三次元座標が分かるので、動作検出装置10はユーザUが手のひらを開いているか閉じているかを判断できる。
顔の認識に基づくユーザUの表情である。動作検出装置10は普通、笑っている、驚いている、左・右の目を閉じているか開いているか、口が開いているか閉じているか、画面から目を離しているか、メガネをかけているか、などを認識できる。
顔の向きである。動作検出装置10はヨー角、ピッチ角、ロール角を検出できる。
推定されたユーザUの心拍数である。カラー画像と赤外線画像で肌を推定し、血液の流れによる肌部分の微妙な変化から推定される。
まず、図6を用いてアプリケーションソフト120とジェスチャー操作受付プログラム110の関係を説明する。アプリケーションソフト120とジェスチャー操作受付プログラム110は共にOS130上で動作する。アプリケーションソフト120は位置情報やイベントで操作可能なものであればよい。例えば、広告を表示するアプリケーションソフト120、プレゼンテーションなどのためのアプリケーションソフト120等がある。しかしこれらに限られず、例えば、ブラウザ、ワードプロセッサ、ゲームなどが含まれてよい。
図7は、ジェスチャー操作受付プログラム110の機能がブロック状に示された機能ブロック図の一例である。ジェスチャー操作受付プログラム110は、情報取得部31、人検出部32、操作開始検出部33、操作エリア作成部34、座標変換部35、UI制御部36、速さ検出部37、イベント判断部38、情報記録部43、及び、出力部39を有する。これら各部は、図3に示された各構成要素のいずれかが、補助記憶装置304からRAM303に展開されたプログラム304pに従ったCPU301からの命令により動作することで実現される機能又は手段である。なお、プログラム304pには、OS130、デバイスドライバ140、アプリケーションソフト120、及び、ジェスチャー操作受付プログラム110が含まれている。
・ 右肩関節d、右手首関節f、右手関節g、右手先関節h、右手親指関節iの三次元座標が使用される。なお、ユーザは右手でも左手でも操作できるので、左肩関節、左手首関節、左手関節、左手先関節、左手親指関節の三次元座標も使用される。
・ユーザUごとの三次元座標(主に人アイコン82を表示するために使用される)
・顔の向き(人アイコン82の目を表示するために使用される)
人検出部32は、図3に示されたCPU301がジェスチャー操作受付プログラム110を実行すること等により実現され、情報取得部31が取得したセンサ情報に基づき動作検出装置10が人を検出したことを検出する。動作検出装置10が人を検出したことやその人数により人が検出されたことを検出してもよいし、動作検出装置10が人を検出すると人物形状データや骨格情報が得られることを利用して人が検出されたことを検出してもよい。なお、人の検出範囲51は動作検出装置10の仕様により決まっている。例えば、水平方向の角度は70度、距離は0.5〜4.5mの範囲である。動作検出装置10の仕様よりも狭い範囲でのみ人を検出してもよいし、動作検出装置10の仕様が変われば人を検出する範囲も変更されうる。また、同時に検出できる人の数は6人であるが、動作検出装置10の仕様が変わればこれも変更されうる。
図8を用いて人の検出範囲51と操作位置52を説明する。図8は、動作検出装置10に対する人の検出範囲51と操作位置52を説明する図の一例である。上記のように、動作検出装置10は所定の水平角度の範囲(例えば70度)で所定の距離内(例えば0.5〜4.5m)の人を検出する。当然ながら、操作位置52は人の検出範囲51内である。
図10を用いて操作の意志の検出と操作エリア54について説明する。図10は操作の意志の検出と操作エリア54を説明する図の一例である。図10(a)は、ユーザUが操作位置52で行う初期動作を示している。ユーザUは操作位置52に到達するとまず手を挙げる。この操作を行うべきことは指示されているか既にユーザUが把握している。操作を開始する意志を検出することとしたのは、検出範囲51のユーザUの任意の手の動きから操作を受け付けると、ユーザが意図しない操作がアプリケーションソフト120に送出されてしまうためである。
操作エリア作成部34は、右肩関節dと頭関節aの長さ(以下、Aとする)を用いて操作エリア54を作成する。図10(b)に示すように、長さAを直径として右肩の上に中心がある円53を作成する。そして、図10(c)に示すように、円53の外接矩形を作成する。この外接矩形が操作エリア54である。なお、長さAは30cmくらいであるが、あくまで一例でありユーザUの手が届く程度の長さであればよい。
A=Y1−Y2
また、円53の中心Oの座標は(X2、Y2+A/2)である。したがって、操作エリア作成部34は中心Oを中心として半径A/2の円53を描画すればよい。また、円53を求めなくても、操作エリア54の4つの頂点C1〜C4の座標を以下のように算出できる。なお、Z座標については省略したが、例えばZ1、Z2又はその平均を用いる。
C1=(X2-A/2、Y2+A)
C2=(X2+A/2、Y2+A)
C3=(X2+A/2、Y2)
C4=(X2-A/2、Y2)
このように操作エリア54を作成することで、ユーザUはカーソル3の位置を制御しやすくなる。ユーザUは手を挙げたままなので(下げると操作権を失う)、必然的に肘を基準に動作する。肩の位置はほぼ固定なので、肩の上方に作成された操作エリア54を肘を中心に操作できる。したがって、ユーザUは操作エリア54がどこにあるかを探したりすることなく肘を中心に右手首関節fや右手関節gを動かすとカーソル3を操作できる。
ユーザが携帯電話で通話したり、メガネを触ったりする場合にユーザが手を頭よりも高くすることは少なくない。このため、より好ましくは以下のようにユーザの非操作動作を操作開始検出部33が検出することが有効である。
続いて、図14を用いて、操作エリア54における手首関節又は手関節の座標からカーソル3の位置への変換を説明する。図14は操作エリア54における手首関節又は手関節の座標とカーソル3の位置を示す図の一例である。なお、図14は手の速さが閾値以上の場合におけるカーソル3の位置の決定方法を説明する。
x=W×A/X
y=H×A/Y
ユーザUの手首関節又は手関節が操作エリア54の外にはみ出すことが当然あるが、座標変換部35は操作エリア54外の手首関節又は手関節を無視する。
一般に、ディスプレイ310のアスペクト比は1対1でなく横方向の方が長い。これに対し、操作エリア54の縦横の長さはどちらも長さAである。したがって、ユーザUが横方向に手を動かすとカーソル3は横方向に大きく動くため、ユーザUは横方向のカーソル3の位置を制御しにくいおそれがある。そこで、操作エリア54の縦横の長さをディスプレイ310のアスペクト比に応じて変更することが有効になる。なお、ディスプレイ310のアスペクト比は情報処理装置30に入力されている。
図17を用いて速さの検出について説明する。図17は手首関節又は手関節の速さの検出方法を説明する図の一例である。速さ検出部37は、手首関節又は手関節の過去の数周期の三次元座標を用いて加速度を算出する。例えば、時刻t1の手首関節又は手関節の速度V1は、時刻t0とt1の手首関節又は手関節の三次元座標から求めることができる。なお、センサ情報が取得される周期をΔtとする。上記のようにX,Y成分だけを使用して、時刻t1の速度V1が算出される。
Vx=(Xt1−Xto)/Δt、Vy=(Yt1−Yto)/Δt、
V1=√(Vx2+Vy2)
同様に、時刻t2の手首関節又は手関節の速度V2は、時刻t1とt2の手首関節又は手関節の三次元座標から求めることができる。そして、時刻t2の加速度αは、速度V1とV2の差を周期Δtで割った値なので以下のように算出できる。
α=(V2−V1)/Δt
したがって、過去の3周期の三次元座標があれば、速さ検出部37は周期ごとに手首関節又は手関節の加速度を算出できる。
図18を用いて、イベントの検出方法について説明する。図18(a)は手の部分に含まれる関節と手の形状を示し、図18(b)はユーザUが手を握った状態の手の部分に含まれる関節と手の形状を示す。イベント判断部38は、一例としてユーザUが手を握り素早く開くジェスチャーをクリックというイベントとして検出する。つまり、握った(グー)時点ではマウスの左ボタンダウン、開く(パー)と左ボタンアップというイベントになる。こうすることで、ユーザはクリックの他、握ったままドラッグすることなどが可能になる。また、握っている時間が長い場合、イベント判断部38は右ボタンダウンのイベントを検出する。
図19を用いて速さが閾値未満の場合の座標変換を説明する。図19は、速さが閾値未満の場合の座標変換を説明する図の一例である。速さ検出部37が手首関節又は手関節の速さが閾値未満になったと判断すると、座標変換部35とUI制御部36は以下のように動作する。
(i) カーソル表示部41はガイドメッシュ4をカーソル3の位置に表示する。
(ii)三次元座標が閾値以上変化したかどうか(手首関節が閾値以上の大きさで動作したかどうか)を判断する。
(iii) 三次元座標が閾値以上変化した場合、X方向又はY方向のうちどちらの成分が大きいかを判断する。
(iv) X方向又はY方向のうち成分が大きい方に、ガイドメッシュ4を沿って移動量に応じたマス目だけ移動させる。
ΔX=X2−X1
ΔY=Y2−Y1
カーソル表示部41は、ΔX,ΔYのうち少なくとも一方が閾値以上であるかどうかを判断する。閾値は、ユーザUが静止しようとしてもふらついてしまう一般的な手首関節又は手関節の移動量、及び、動作検出装置10の誤差が考慮して決定されている。例えば数cmにすればよいが、適宜、実験的に担当者等が定めることができる。
・カーソル3の位置のx座標が最も近いメッシュガイドの交点に補正する
・カーソル3の位置のx座標の次のメッシュガイドの交点に補正する
・カーソル3の位置のx座標の手前のメッシュガイドの交点に補正する
このように補正することで、カーソル表示部41はメッシュガイドと共に表示されるカーソル3を交点上に表示できる。図19(c)では、直前のカーソル3の位置から右方向に2マス分移動した交点にカーソル3が移動して表示される。
ユーザUはカーソル3を大きく移動させたい場合と、操作ボタン103の近くなどのように小さく移動させたい場合がある。また、ユーザUは肘を中心に手を動かすので、手の外側の関節ほど速く動く。そこで、座標変換部35は、速さ検出部37が閾値以上の速さを検出したか否かに応じて、カーソル3の位置に変換する関節(ユーザの身体の部位)を切り替える。
A.速さが閾値以上の場合、右手関節gの三次元座標をカーソル3の位置に変換する。
B.速さが閾値未満の場合、右手首関節fの三次元座標をカーソル3の位置に変換する。
図20〜22を用いてアイコン表示部42が表示する操作受付支援アイコン81について説明する。図20は、動作検出装置10によりユーザUが検出された時の操作受付支援アイコン81を示す図の一例である。アイコン表示部42は、まずディスプレイ310に操作受付支援アイコン81を大きく表示させる。なお、操作受付支援アイコン81は動作検出装置10の検出範囲51とほぼ相似の形状を有している。
x1=X1×a/A
z1=Z1×a/A
アイコン表示部42は、情報取得部31がセンサ情報を周期的に取得するごとに人アイコン82の位置を更新する。
図24は、ジェスチャー操作受付プログラム110がユーザUに操作権を付与するまでの手順を示すフローチャート図の一例である。図24の処理は例えば、情報処理装置30がジェスチャー操作受付プログラム110を実行中、繰り返し実行される。
続いて、図26〜図29を用いて、センサ情報の記録と活用について説明する。従来のデジタルサイネージは、ユーザにより閲覧されているかどうか履歴として残せていなかった。本実形態の情報処理装置30はユーザの顔向き等を動作検出装置10から取得しているので、コンテンツの提供者などが、後でどのくらいのユーザが閲覧していたかを分析できる。また、情報記録部43はディスプレイ310に表示されたコンテンツのスクリーンショットを記録しているため、ユーザがどのようなスクリーンショットに興味を示したか等を分析できる。なお、スクリーンショットはデータサイズが大きいので、ユーザの顔向きがディスプレイ310を向いている場合にだけ、記録すればよい。
<TrackingID>タグは認識されているユーザ(操作権限を持たないユーザも含む)に対して割り当てられているユーザの識別情報である。
<Glasses>タグは眼鏡をしているかどうかを示す。
<Happy>タグは笑顔かどうか(幸せそうか)を示す。
<LeftEyeClosed>タグは左目を閉じているどうかを示す。
<RightEyeClosed>タグは右目を閉じているかどうかを示す
<LookingAway>タグはこちらを向いているかどうかを示す。
<MouthMoved>タグは口が動いているかどうかを示す。
<MouthOpen>タグは口が開いているかどうかを示す。
<Yaw>タグは顔の横方向の角度(ヨー角)を示し、動作検出装置10に向かって左横に首を曲げるとプラス値、右に首を曲げるとマイナス値となる。
<Pitch>タグは顔の上下方向の角度(ピッチ角)を示し、動作検出装置10に向かって上を向くとプラス値、下を向くとマイナス値となる。
<Roll>タグは顔を傾ける方向の角度(ロール角)を示し、目や口元が垂直である場合はゼロとなる。
<PositionInfo>タグはユーザの位置を示し、<X>タグは動作検出装置10の中心から横方向の距離(右側プラス値、左側マイナス値)を示す。<Y>タグは身長を示し、<Z>タグは動作検出装置10からの距離を示す。
<MouseTrackingInfo>タグの<LeftButtonDown>タグはマウスの左ボタンを押下しているかどうかを示し、<RightButtonDown>タグはマウスの右ボタンを押下しているかどうかを示す。<MousePositionInfo>タグは、カーソルのX座標とY座標を示す。
以上説明したように、本実施形態の情報処理装置30は、動作の速さが閾値未満の場合、カーソル3の移動方向を所定方向に制限することで、カーソル3の位置の操作性を向上させることができる。また、動作の速さが閾値未満の場合、右手首関節fが閾値以上、移動しないとカーソルが移動しないので、ユーザがクリックのジェスチャーを行う際にカーソルが移動してしまうことを抑制しやすい。また、動作の速さが閾値以上か未満かによって、異なるユーザの関節を使って操作できるのでユーザの操作性を向上できる。また、ディスプレイ310のアスペクト比によって適宜、操作エリア54の縦横の長さを変更するのでユーザによるカーソル3の操作性を向上できる。また、複数のユーザが検出された場合も、最初に操作の意志を示したユーザに操作権を付与できる。また、操作受付支援アイコン81を表示することでユーザは操作位置52に移動しやすくなり、また、自分が操作していることを把握しやすい。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
・マイク17により声とか音(手を叩く)が検出された場合
・操作開始検出部33が検出した声とか音(手を叩く)が特定のリズムであると判断した場合
・操作開始検出部33が画像データを解析してスマートフォンなどの無線機器を持っていると判断した場合
・ユーザが持っているスマホなどの無線機器から送信された信号を操作開始検出部33が検出した場合
・ユーザが足を上げたことを操作開始検出部33が検出した場合
・手の形が予め定めた条件と一致する特定の形になったことを操作開始検出部33が検出した場合(グー、チョキ、パー等)
・ユーザが立っていることを操作開始検出部33が検出した場合(セミナーなどで会場に座っている人が立った場合に操作権を与えることができる)
・顔の表情が予め定めた条件と一致する特定の表情になったことを操作開始検出部33が検出した場合(例えば、笑っている等)
・ユーザの視線(顔向き)が特定の領域に向かっていることを操作開始検出部33が検出した場合
また、図7などの構成例は、情報処理装置30による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。情報処理装置30の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
4 ガイドメッシュ
10 動作検出装置
30 情報処理装置
31 情報取得部
32 人検出部
33 操作開始検出部
34 操作エリア作成部
35 座標変換部
36 UI制御部
37 検出部
38 イベント判断部
39 出力部
41 カーソル表示部
42 アイコン表示部
43 情報記録部
54 操作エリア
81 操作受付支援アイコン
100 情報処理システム
Claims (9)
- 表示装置の周辺のユーザの位置及びユーザの動作に関する動作情報を検出する装置から、ユーザの位置に関する位置情報を取得する情報処理装置であって、
前記表示装置における表示位置に前記位置情報を変換し、前記表示位置にユーザの位置を表すユーザ位置表示情報を表示する位置表示手段を有し、
前記位置表示手段は、ユーザが前記表示装置に表示される内容を前記ユーザの動作に応じて操作する位置に前記ユーザを誘導するための誘導位置表示情報を前記表示装置に表示し、
前記位置表示手段は、前記装置がユーザを検出できる検出範囲を前記表示装置に表示し、
前記動作情報を取得する動作情報取得手段と、
前記動作情報に基づいて前記情報処理装置で動作するアプリケーションソフトの操作を受け付ける操作受付手段と、を有し、
前記装置から前記ユーザが手を挙げた旨の前記動作情報を受信した場合、前記位置表示手段は前記ユーザ位置表示情報を人が手を挙げた形状で表示し、前記操作受付手段は手を挙げたユーザにのみ操作権を与え、他のユーザが手を挙げても操作を受け付けない情報処理装置。 - 前記誘導位置表示情報は前記装置が前記動作情報を検出できるユーザの位置を表す請求項1に記載の情報処理装置。
- 前記誘導位置表示情報はユーザが前記アプリケーションソフトを操作できる位置を表す請求項2に記載の情報処理装置。
- 前記装置がユーザを検出した場合、
前記位置表示手段は、前記検出範囲の中に前記ユーザ位置表示情報を表示する請求項1に記載の情報処理装置。 - 前記位置情報は前記装置に対する第一の相対位置を表し、
前記位置表示手段は、前記第一の相対位置を前記検出範囲の所定位置に対する第二の相対位置に変換し、前記検出範囲の中の前記第二の相対位置に前記ユーザ位置表示情報を表示する請求項1又は4に記載の情報処理装置。 - 手を挙げている前記ユーザの手首関節又は手関節の速さが閾値未満という前記動作情報を前記動作情報取得手段が取得した場合、
前記位置表示手段は前記ユーザの動作でカーソルが交点を移動するガイドメッシュを表示する請求項1〜5のいずれか1項に記載の情報処理装置。 - 表示装置の周辺のユーザの位置及びユーザの動作に関する動作情報を検出する装置から取得したユーザの位置に関する位置情報に基づきユーザを誘導する1つ以上の情報処理装置を有する表示システムであって、
前記表示装置における表示位置に前記位置情報を変換し、前記表示位置にユーザの位置を表すユーザ位置表示情報を表示する位置表示手段を有し、
前記位置表示手段は、ユーザが前記表示装置に表示される内容を前記ユーザの動作に応じて操作する位置に前記ユーザを誘導するための誘導位置表示情報を前記表示装置に表示し、
前記位置表示手段は、前記装置がユーザを検出できる検出範囲を前記表示装置に表示し、
前記動作情報を取得する動作情報取得手段と、
前記動作情報に基づいて前記情報処理装置で動作するアプリケーションソフトの操作を受け付ける操作受付手段と、を有し、
前記装置から前記ユーザが手を挙げた旨の前記動作情報を受信した場合、前記位置表示手段は前記ユーザ位置表示情報を人が手を挙げた形状で表示し、前記操作受付手段は手を挙げたユーザにのみ操作権を与え、他のユーザが手を挙げても操作を受け付けない表示システム。 - 表示装置の周辺のユーザの位置を検出し、ユーザの位置に関する位置情報とユーザの動作に関する動作情報を検出する装置と、
前記装置からユーザの位置に関する位置情報及び前記動作情報を取得する動作情報取得手段と、
前記表示装置における表示位置に前記位置情報を変換し、前記表示位置にユーザの位置を表すユーザ位置表示情報を表示する位置表示手段と、
前記動作情報に基づいて情報処理装置で動作するアプリケーションソフトの操作を受け付ける操作受付手段、として前記情報処理装置を機能させ、
前記位置表示手段が、ユーザが前記表示装置に表示される内容を前記ユーザの動作に応じて操作する位置に前記ユーザを誘導するための誘導位置表示情報を表示し、
前記装置から前記ユーザが手を挙げた旨の前記動作情報を受信した場合、前記位置表示手段は前記ユーザ位置表示情報を人が手を挙げた形状で表示し、前記操作受付手段は手を挙げたユーザにのみ操作権を与え、他のユーザが手を挙げても操作を受け付けないプログラムと、
前記装置がユーザを検出できる検出範囲が表示される前記表示装置と、
を有する表示システム。 - 情報処理装置にインストールされると、前記情報処理装置を、
表示装置の周辺のユーザの位置及びユーザの動作に関する動作情報を検出する装置からユーザの位置に関する位置情報及び前記動作情報を取得する動作情報取得手段と、
前記表示装置における表示位置に前記位置情報を変換し、前記表示位置にユーザの位置を表すユーザ位置表示情報を表示する位置表示手段と、
前記動作情報に基づいて前記情報処理装置で動作するアプリケーションソフトの操作を受け付ける操作受付手段、として機能させるプログラムであって、
前記位置表示手段は、ユーザが前記表示装置に表示される内容を前記ユーザの動作に応じて操作する位置に前記ユーザを誘導するための誘導位置表示情報を前記表示装置に表示し、
前記位置表示手段は、前記装置がユーザを検出できる検出範囲を前記表示装置に表示し、
前記装置から前記ユーザが手を挙げた旨の前記動作情報を受信した場合、前記位置表示手段は前記ユーザ位置表示情報を人が手を挙げた形状で表示し、前記操作受付手段は手を挙げたユーザにのみ操作権を与え、他のユーザが手を挙げても操作を受け付けないプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016133365A JP6834197B2 (ja) | 2016-07-05 | 2016-07-05 | 情報処理装置、表示システム、プログラム |
EP17178703.9A EP3267289B1 (en) | 2016-07-05 | 2017-06-29 | Information processing apparatus, position information generation method, and information processing system |
US15/640,730 US10936077B2 (en) | 2016-07-05 | 2017-07-03 | User-interactive gesture and motion detection apparatus, method and system, for tracking one or more users in a presentation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016133365A JP6834197B2 (ja) | 2016-07-05 | 2016-07-05 | 情報処理装置、表示システム、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018005663A JP2018005663A (ja) | 2018-01-11 |
JP6834197B2 true JP6834197B2 (ja) | 2021-02-24 |
Family
ID=60945009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016133365A Active JP6834197B2 (ja) | 2016-07-05 | 2016-07-05 | 情報処理装置、表示システム、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6834197B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019164986A1 (en) * | 2018-02-20 | 2019-08-29 | Uplift Labs, Inc. | Identifying movements and generating prescriptive analytics using movement intelligence |
WO2021001894A1 (ja) * | 2019-07-01 | 2021-01-07 | 三菱電機株式会社 | 表示制御装置及び表示制御方法 |
CN111601129B (zh) | 2020-06-05 | 2022-04-01 | 北京字节跳动网络技术有限公司 | 控制方法、装置、终端及存储介质 |
TW202332246A (zh) * | 2021-12-20 | 2023-08-01 | 日商索尼集團公司 | 顯示裝置、顯示方法及顯示程式 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9898675B2 (en) * | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
JP5039808B2 (ja) * | 2010-03-16 | 2012-10-03 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム装置の制御方法、及びプログラム |
JP5494284B2 (ja) * | 2010-06-24 | 2014-05-14 | ソニー株式会社 | 立体表示装置及び立体表示装置の制御方法 |
JP5921981B2 (ja) * | 2012-07-25 | 2016-05-24 | 日立マクセル株式会社 | 映像表示装置および映像表示方法 |
US8970390B2 (en) * | 2012-08-29 | 2015-03-03 | 3M Innovative Properties Company | Method and apparatus of aiding viewing position adjustment with autostereoscopic displays |
-
2016
- 2016-07-05 JP JP2016133365A patent/JP6834197B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018005663A (ja) | 2018-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10936077B2 (en) | User-interactive gesture and motion detection apparatus, method and system, for tracking one or more users in a presentation | |
US6594616B2 (en) | System and method for providing a mobile input device | |
US20180292907A1 (en) | Gesture control system and method for smart home | |
US10257423B2 (en) | Method and system for determining proper positioning of an object | |
US10268339B2 (en) | Enhanced camera-based input | |
US20130055143A1 (en) | Method for manipulating a graphical user interface and interactive input system employing the same | |
JP5103380B2 (ja) | 大型タッチシステムおよび該システムと相互作用する方法 | |
US9195345B2 (en) | Position aware gestures with visual feedback as input method | |
JP4323180B2 (ja) | 自己画像表示を用いたインタフェース方法、装置、およびプログラム | |
US9684372B2 (en) | System and method for human computer interaction | |
US20160291699A1 (en) | Touch fee interface for augmented reality systems | |
US20150220149A1 (en) | Systems and methods for a virtual grasping user interface | |
US20120326995A1 (en) | Virtual touch panel system and interactive mode auto-switching method | |
US20130194173A1 (en) | Touch free control of electronic systems and associated methods | |
JP6834197B2 (ja) | 情報処理装置、表示システム、プログラム | |
US9547370B2 (en) | Systems and methods for enabling fine-grained user interactions for projector-camera or display-camera systems | |
Mäkelä et al. | " It's Natural to Grab and Pull": Retrieving Content from Large Displays Using Mid-Air Gestures | |
Clark et al. | Seamless interaction in space | |
EP3447610B1 (en) | User readiness for touchless gesture-controlled display systems | |
US9958946B2 (en) | Switching input rails without a release command in a natural user interface | |
US20160266648A1 (en) | Systems and methods for interacting with large displays using shadows | |
Zhang et al. | A novel human-3DTV interaction system based on free hand gestures and a touch-based virtual interface | |
US20090213067A1 (en) | Interacting with a computer via interaction with a projected image | |
JP6699406B2 (ja) | 情報処理装置、プログラム、位置情報作成方法、情報処理システム | |
Sharma et al. | Interactive projector screen with hand detection using gestures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190522 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210118 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6834197 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |