JP7438827B2 - 表示制御システム、表示制御方法、及び表示制御プログラム - Google Patents

表示制御システム、表示制御方法、及び表示制御プログラム Download PDF

Info

Publication number
JP7438827B2
JP7438827B2 JP2020068984A JP2020068984A JP7438827B2 JP 7438827 B2 JP7438827 B2 JP 7438827B2 JP 2020068984 A JP2020068984 A JP 2020068984A JP 2020068984 A JP2020068984 A JP 2020068984A JP 7438827 B2 JP7438827 B2 JP 7438827B2
Authority
JP
Japan
Prior art keywords
attitude
operating device
display
marker
object image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020068984A
Other languages
English (en)
Other versions
JP2021165934A (ja
Inventor
尚樹 谷
祐介 小西
浩章 奥本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2020068984A priority Critical patent/JP7438827B2/ja
Priority to US17/220,289 priority patent/US11650673B2/en
Publication of JP2021165934A publication Critical patent/JP2021165934A/ja
Priority to US18/130,819 priority patent/US20230244327A1/en
Application granted granted Critical
Publication of JP7438827B2 publication Critical patent/JP7438827B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、表示制御システム、表示制御方法、及び表示制御プログラムに関する。
従来、コンピュータグラフィックス(CG)データとして作成された鑑賞対象物の形状を模したレプリカ(模型、人形)の動きに合わせて、前記鑑賞対象物のCG画像を表示装置に提示するシステムが提案されている(例えば特許文献1参照)。このシステムによれば、鑑賞者が見たい任意の方向から見た画像を表示装置に提示することが可能となる。
特開2006-127004号公報
しかし、従来のシステムは、レプリカの動きに連動させて表示装置のCG画像の姿勢を変化させることは可能であるが、例えば鑑賞対象物に関する様々な情報(説明、解説など)をレプリカの動きに連動させて鑑賞者に提示することは困難である。特に鑑賞対象物が美術品などである場合には、美術品に関する情報を鑑賞者に提示可能であることが望まれる。
本発明の目的は、表示装置に表示される操作対象物のオブジェクト画像の姿勢を操作装置の姿勢変化に連動させて変化させる表示制御システムであって、当該操作対象物の特定情報をユーザに提示することが可能な表示制御システム、表示制御方法、及び表示制御プログラムを提供することにある。
本発明の一の態様に係る表示制御システムは、表示装置に表示される操作対象物のオブジェクト画像の姿勢を操作装置の姿勢変化に連動させて変化させる表示制御システムであって、前記オブジェクト画像の特定位置に設定されたマーカーを検出するマーカー検出部と、前記マーカー検出部により前記マーカーが検出された場合に、検出された前記マーカーに対応付けられた特定情報を提示する情報提示部と、を備える。
本発明の他の形態に係る表示制御方法は、表示装置に表示される操作対象物のオブジェクト画像の姿勢を操作装置の姿勢変化に連動させて変化させる表示制御方法であって、前記オブジェクト画像の特定位置に設定されたマーカーを検出するマーカー検出ステップと、前記マーカー検出ステップにより前記マーカーが検出された場合に、検出された前記マーカーに対応付けられた特定情報を提示する情報提示ステップと、を一又は複数のプロセッサにより実行する方法である。
本発明の他の形態に係る表示制御プログラムは、表示装置に表示される操作対象物のオブジェクト画像の姿勢を操作装置の姿勢変化に連動させて変化させる表示制御方法であって、前記オブジェクト画像の特定位置に設定されたマーカーを検出するマーカー検出ステップと、前記マーカー検出ステップにより前記マーカーが検出された場合に、検出された前記マーカーに対応付けられた特定情報を提示する情報提示ステップと、を一又は複数のプロセッサに実行させるためのプログラムである。
本発明によれば、表示装置に表示される操作対象物のオブジェクト画像の姿勢を操作装置の姿勢変化に連動させて変化させる表示制御システムであって、当該操作対象物の特定情報をユーザに提示することが可能な表示制御システム、表示制御方法、及び表示制御プログラムが提供される。
図1は、本発明の実施形態に係る表示制御システムの構成を示す模式図である。 図2は、本発明の実施形態に係る表示制御システムの構成を示すブロック図である。 図3は、本発明の実施形態に係る操作装置の外観を示す図である。 図4Aは、本発明の実施形態に係る操作装置の正対姿勢の設定方法の一例を示す図である。 図4Bは、本発明の実施形態に係る操作装置の正対姿勢の設定方法の一例を示す図である。 図4Cは、本発明の実施形態に係る操作装置の正対姿勢の設定方法の一例を示す図である。 図5は、本発明の実施形態に係る表示装置に表示されるオブジェクト画像の一例を示す図である。 図6は、本発明の実施形態に係る表示装置に表示されるオブジェクト画像の一例を示す図である。 図7は、本発明の実施形態に係る表示装置に表示されるオブジェクト画像のマーカーの一例を示す図である。 図8は、本発明の実施形態に係る表示装置に表示されるオブジェクト画像の一例を示す図である。 図9は、本発明の実施形態に係る表示装置に表示されるオブジェクト画像の一例を示す図である。 図10は、本発明の実施形態に係る表示制御システムにおける断面表示モードを説明するための図である。 図11は、本発明の実施形態に係る表示装置に表示されるオブジェクト画像の一例を示す図である。 図12は、本発明の実施形態に係る操作装置で実行される表示制御処理の手順の一例を示すフローチャートである。 図13は、本発明の実施形態に係る表示制御システムにおける操作装置とユーザとの相対位置を示す図である。 図14は、本発明の実施形態に係る操作装置の外観を示す図である。
以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
[表示制御システム100]
図1及び図2に示されるように、本発明の実施形態に係る表示制御システム100は、操作装置1と表示装置2とを含む。操作装置1と表示装置2とは、無線LAN、有線LANなどの通信網N1を介して通信可能である。操作装置1は本発明の操作装置の一例であり、表示装置2は本発明の表示装置の一例である。
表示制御システム100は、表示装置2に表示される操作対象物のオブジェクト画像3の姿勢を、操作対象物を模した形状を有する操作装置1の姿勢変化に連動させて変化させることが可能である。例えば、前記操作対象物は美術品であり、オブジェクト画像3は美術品の三次元画像であり、操作装置1は美術品のレプリカ(模型)である。本実施形態では、美術品の一例として陶器の茶碗を例に挙げて説明する。操作装置1は、例えば前記茶碗と素材、形状、大きさ、重さ、質感などが同等のレプリカである。
例えば図1に示すように、ユーザ(鑑賞者)が操作装置1(茶碗のレプリカ)を把持してD1方向に回転させると、表示制御システム100は、表示装置2に表示されたオブジェクト画像3をユーザの操作に応じてD1方向に回転させる。また、例えばユーザが操作装置1を把持してD2方向に回転させると、表示制御システム100は、オブジェクト画像3をユーザの操作に応じてD2方向に回転させる。また、例えばユーザが操作装置1を把持したまま腕を伸ばして顔から遠ざける方向(奥側)に動かすと、すなわち操作装置1を表示装置2側に近づけると、表示制御システム100は、表示装置2に表示されたオブジェクト画像3を縮小表示させる。また、例えばユーザが操作装置1を把持したまま腕を縮めて顔に近づける方向(手前側)に動かすと、すなわち操作装置1を表示装置2から遠ざけると、表示制御システム100は、表示装置2に表示されたオブジェクト画像3を拡大表示させる。
このように、操作装置1は、ユーザの操作に応じて、表示装置2に表示されるオブジェクト画像3の姿勢を変化させることが可能なコントローラーである。美術品(例えば茶碗)は、本発明の操作対象物の一例である。またオブジェクト画像3は、本発明のオブジェクト画像の一例である。
本実施形態では、表示制御システム100が本発明に係る表示制御システムに相当するが、本発明に係る表示制御システムは、操作装置1単体又は表示装置2単体により実現されてもよい。
[操作装置1]
図2に示されるように、操作装置1は、制御部11、記憶部12、姿勢検出センサ13、及び通信部14などを備える。操作装置1で実行される各種の処理は、一又は複数のプロセッサによって分散して実行されてもよい。図3には、操作装置1の外観を示している。本実施形態では、操作装置1は、茶碗のレプリカである。
通信部14は、操作装置1を有線又は無線で通信網N1に接続し、通信網N1を介して表示装置2などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
姿勢検出センサ13は、操作装置1の姿勢を検出するセンサであり、ジャイロセンサ、加速度センサ、地磁気センサなどである。例えば、姿勢検出センサ13は、操作装置1の回転、傾きなどの姿勢変化を検出して、検出信号を制御部11に出力する。姿勢検出センサ13は、操作装置1に搭載されている。本実施形態では、例えば図3に示すように、姿勢検出センサ13は、茶碗の内側の底部に固定されている。なお、姿勢検出センサ13は、外部から見えないように蓋で覆われてもよいし、操作装置1に内蔵されてもよい。
記憶部12は、各種の情報を記憶するHDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリーなどの不揮発性の記憶部である。記憶部12には、制御部11に後述の表示制御処理(図12参照)を実行させるための表示制御プログラムなどの制御プログラムが記憶されている。例えば、前記表示制御プログラムは、USB、CD又はDVDなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、操作装置1に電気的に接続されるUSBドライブ、CDドライブ又はDVDドライブなどの読取装置(不図示)で読み取られて記憶部12に記憶される。また、前記表示制御プログラムは、操作装置1からアクセス可能なサーバからダウンロードされて、記憶部12に記憶されてもよい。
制御部11は、CPU、ROM、及びRAMなどの制御機器を有する。前記CPUは、各種の演算処理を実行するプロセッサである。前記ROMは、前記CPUに各種の演算処理を実行させるためのBIOS及びOSなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記RAMは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記CPUが実行する各種の処理の一時記憶メモリー(作業領域)として使用される。そして、制御部11は、前記ROM又は記憶部12に予め記憶された各種の制御プログラムを前記CPUで実行することにより操作装置1を制御する。
具体的に、制御部11は、図2に示されるように、姿勢設定部111、姿勢検出部112などの各種の処理部を含む。なお、制御部11は、前記CPUで前記表示制御プログラムに従った各種の処理を実行することによって、姿勢設定部111及び姿勢検出部112として機能する。また、制御部11に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記表示制御プログラムは、複数のプロセッサを前記各種の処理部として機能させるためのプログラムであってもよい。
姿勢設定部111は、操作装置1の姿勢を、操作装置1がユーザに対して正対する正対姿勢に設定する。具体的には、姿勢設定部111は、ユーザが操作装置1に正対する位置、すなわちユーザが操作装置1の正面となる位置の操作装置1の姿勢(正対姿勢)を登録する。例えば、姿勢設定部111は、正対姿勢における操作装置1のXYZ方向の座標、傾きを姿勢検出センサ13から取得して登録する。
例えば、姿勢設定部111は、操作装置1に設けられる地磁気センサ(方位磁石)を利用して、正対姿勢を設定してもよい。例えば、図4Aに示すように、表示装置2を予め所定の方位Aに向くように位置合わせし、表示装置2の正面に操作装置1を所定時間(例えば5秒)載置する。そして、姿勢設定部111は、表示装置2の前記方位Aと、地磁気センサの方位B(N極)との相対関係により、表示装置2に対する操作装置1の正面方向を算出する。これにより、姿勢設定部111は、操作装置1の姿勢を正対姿勢に設定する。
また例えば、姿勢設定部111は、操作装置1に設けられる地磁気センサ(方位磁石)と、表示装置2の正面に配置された磁石Mgとを利用して、正対姿勢を設定してもよい。例えば、図4Bに示すように、表示装置2の正面に磁石Mgを配置し、磁石Mgの前方に操作装置1を所定時間(例えば5秒)載置する。そして、地磁気センサが磁石Mgの方向を検出し、姿勢設定部111は、地磁気センサが検出した方向に基づいて、表示装置2に対する操作装置1の正面方向を算出する。これにより、姿勢設定部111は、操作装置1の姿勢を正対姿勢に設定する。
また例えば、姿勢設定部111は、操作装置1に設けられる加速度センサを利用して、正対姿勢を設定してもよい。例えば、図4Cに示すように、表示装置2の正面に、表示装置2に向かって角度d(例えば5度)だけ傾斜する傾斜台Tを設置し、傾斜台Tに操作装置1を所定時間(例えば5秒)載置する。なお、図4Cの点線は水平の台の位置を表している。そして、加速度センサがX軸、Y軸、Z軸の加速度を検出し、姿勢設定部111は、加速度センサが検出した加速度に基づいて、表示装置2に対する操作装置1の正面方向を算出する。これにより、姿勢設定部111は、操作装置1の姿勢を正対姿勢に設定する。
また例えば、姿勢設定部111は、ユーザが操作装置1に設けられるキャリブレーションボタン(不図示)を押したときの操作装置1の姿勢を正対姿勢に設定してもよい。例えば、ユーザは操作装置1を把持して操作装置1が自身の正面方向に向くように位置合わせする。その後、ユーザが前記キャリブレーションボタンを押すと、姿勢設定部111は、そのときの操作装置1の姿勢を正対姿勢に設定する。なお、前記キャリブレーションボタンの機能は、操作装置1に対する所定の操作に代替することもできる。例えば、前記位置合わせ後に、ユーザが操作装置1を所定方向に振った場合に、姿勢設定部111は、そのときの操作装置1の姿勢を正対姿勢に設定する。
また例えば、姿勢設定部111は、操作装置1に設けられるカメラ(不図示)を利用して、正対姿勢を設定してもよい。例えば、カメラがユーザと、ユーザの周囲の天井、床、壁などの周辺環境を撮像し、姿勢設定部111が、カメラから取得する撮像画像に基づいて、表示装置2に対する操作装置1の正面方向を算出する。これにより、姿勢設定部111は、操作装置1の姿勢を正対姿勢に設定する。
このように、姿勢設定部111は、様々な方法により操作装置1の正面方向(正対姿勢)を設定することができる。また、姿勢設定部111は、ユーザが操作装置1を所定の場所に載置する度に正対姿勢を設定することが可能である。なお、操作装置1自身に正面、背面などの向きが定められている場合には、姿勢設定部111は、操作装置1の向きを考慮して正対姿勢を設定する。例えば、操作装置1がユーザ側(表示装置2の正面側)に向くようにして所定の場所に載置された場合に、姿勢設定部111は、正対姿勢を設定する。これにより、表示装置2は、オブジェクト画像3をその向きがユーザ側(表示装置2の正面側)に向くように表示することが可能となる。また、姿勢設定部111は、所定の場所に載置された操作装置1の向きを検出して、正対姿勢を設定してもよい。この場合、表示装置2は、オブジェクト画像3を操作装置1の向きと同じ方向を向くように表示する。
姿勢検出部112は、ユーザが操作装置1の姿勢を変化させた場合に、操作装置1の姿勢変化を検出する。具体的には、姿勢検出部112は、姿勢検出センサ13から取得する検出信号に基づいて操作装置1の姿勢変化を検出する。姿勢検出部112は、本発明の姿勢検出部の一例である。
例えば図1に示すように、ユーザは、表示装置2に表示されたオブジェクト画像3の向きを変えたい場合に、操作装置1を把持して右方向D1又は左方向D2に回転させる。この場合に、姿勢検出部112は、姿勢検出センサ13から取得する検出信号に基づいて操作装置1の姿勢変化(右回転又は左回転)を検出する。
また例えば図1に示すように、ユーザは、表示装置2に表示されたオブジェクト画像3の大きさ(表示倍率)を変えたい(例えば拡大させたい)場合に、操作装置1を把持して手前側に動かす。この場合に、姿勢検出部112は、姿勢検出センサ13から取得する検出信号に基づいて、操作装置1の姿勢変化(手前側への移動)を検出する。
姿勢検出部112は、操作装置1の姿勢変化を検出すると、正対姿勢からの姿勢変化に対応する情報(姿勢情報)を表示装置2に出力する。前記姿勢情報には、回転角度、傾き角度、座標、表示倍率(拡大率、縮小率)などの情報が含まれる。
[表示装置2]
図2に示されるように、表示装置2は、制御部21、記憶部22、表示部23、位置検出センサ24、及び通信部25などを備える。表示装置2は、例えばパーソナルコンピュータのような情報処理装置であってもよい。
通信部25は、表示装置2を有線又は無線で通信網N1に接続し、通信網N1を介して操作装置1などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
位置検出センサ24は、表示装置2に対する操作装置1の位置を検出する。具体的には、位置検出センサ24は、例えば位置検出センサ24の設置場所を基準(座標原点)とした操作装置1の位置(XYZ座標)を検出する。例えば、位置検出センサ24は、赤外線を照射して反射光を検出することにより操作装置1までの距離及び位置を検出する。なお、位置検出センサ24は、カメラで構成されてもよい。この場合、位置検出センサ24は、カメラによる撮像画像に基づいて操作装置1までの距離及び位置を検出する。位置検出センサ24は、表示装置2の外部に設けられてもよい。例えば、位置検出センサ24は、操作装置1及び表示装置2が設置される部屋の天井又は壁に設けられてもよい。
表示部23は、各種の情報を表示する液晶ディスプレイ又は有機ELディスプレイである。表示部23は、例えばオブジェクト画像3を表示する。なお、表示装置2は、各種の操作を受け付けるマウス、キーボード、又はタッチパネルなどの操作部(不図示)を備えてもよい。
記憶部22は、各種の情報を記憶するHDD、SSD又はフラッシュメモリーなどの不揮発性の記憶部である。記憶部22には、表示部23に表示されるオブジェクト画像3のデータ(三次元画像データ)が記憶される。
また、記憶部22には、制御部21に後述の表示制御処理(図12参照)を実行させるための表示制御プログラムなどの制御プログラムが記憶されている。例えば、前記表示制御プログラムは、USB、CD又はDVDなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、表示装置2に電気的に接続されるUSBドライブ、CDドライブ又はDVDドライブなどの読取装置(不図示)で読み取られて記憶部22に記憶される。また、前記表示制御プログラムは、表示装置2からアクセス可能なサーバからダウンロードされて、記憶部22に記憶されてもよい。
制御部21は、CPU、ROM、及びRAMなどの制御機器を有する。前記CPUは、各種の演算処理を実行するプロセッサである。前記ROMは、前記CPUに各種の処理を実行させるためのBIOS及びOSなどの制御プログラムが予め記憶された不揮発性の記憶部である。前記RAMは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記CPUが実行する各種の処理の一時記憶メモリー(作業領域)として使用される。そして、制御部21は、前記ROM又は記憶部22に予め記憶された各種の制御プログラムを前記CPUで実行することにより表示装置2を制御する。
具体的に、制御部21は、図2に示されるように、表示処理部211、姿勢制御部212、マーカー検出部213、情報提示部214、断面表示部215などの各種の処理部を含む。なお、制御部21は、前記CPUで前記表示制御プログラムに従った各種の処理を実行することによって、表示処理部211、姿勢制御部212、マーカー検出部213、情報提示部214、断面表示部215として機能する。また、制御部21に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記表示制御プログラムは、複数のプロセッサを前記各種の処理部として機能させるためのプログラムであってもよい。
表示処理部211は、各種情報を表示部23に表示させる。例えば、表示処理部211は、オブジェクト画像3(図1参照)を表示部23に表示させる。
姿勢制御部212は、操作装置1から前記姿勢情報を受信し、表示部23に表示されたオブジェクト画像3に対して当該姿勢情報に応じた処理を実行する。具体的には、姿勢制御部212は、操作装置1の姿勢変化に応じて、オブジェクト画像3の姿勢を変化させる。姿勢制御部212は、操作装置1の姿勢変化に対応する操作装置1の回転角と表示装置2に対する操作装置1の位置とに基づいて、オブジェクト画像3の姿勢を変化させる。姿勢制御部212は、本発明の姿勢制御部の一例である。
例えば、ユーザが操作装置1を動かした場合に、操作装置1の姿勢検出部112は、姿勢検出センサ13から取得する回転角度、傾き角度、座標、表示倍率などの情報を含む姿勢情報を表示装置2に出力する。姿勢制御部212は、前記姿勢情報を受信すると、前記姿勢情報に基づいてオブジェクト画像3の回転角度、傾き角度、座標、表示倍率などを変更する。なお、操作装置1自身に正面、背面などの向きが定められている場合には、姿勢制御部212は、操作装置1の向きとオブジェクト画像3の向きとが一致した状態で、オブジェクト画像3の回転角度、傾き角度、座標、表示倍率など変更する。また、姿勢制御部212は、位置検出センサ24の検出信号に基づいて、オブジェクト画像3の表示座標及び表示倍率を算出してもよい。
例えば、図5に示すように、ユーザが操作装置1を顔に近付けるように手前側に移動させた場合に、姿勢制御部212は、移動量に応じた拡大率を算出してオブジェクト画像3の表示倍率を変更(拡大)する。また例えば、図6に示すように、ユーザが操作装置1を顔から遠ざけるように奥側に移動させた場合に、姿勢制御部212は、移動量に応じた縮小率を算出してオブジェクト画像3の表示倍率を変更(縮小)する。
姿勢制御部212は、表示部23に表示されるオブジェクト画像3を、ユーザから見える操作装置1の姿勢と一致するように姿勢(表示状態)を制御する。このため、例えばユーザが茶碗(操作装置1)の底を自身に向けた場合には、姿勢制御部212は、オブジェクト画像3の茶碗の底がユーザ側に向くように回転させる。
なお、姿勢制御部212は、操作装置1の姿勢検出部112の機能を兼ね備えてもよい。この場合、操作装置1において姿勢検出部112が省略されてもよい。
マーカー検出部213、オブジェクト画像3の特定位置に設定されたマーカーMを検出する。例えば図7に示すように、オブジェクト画像3には、予め定められた各特定位置に複数のマーカーM1、M2、M3がそれぞれ設定されている。マーカーMは、複数個に限定されず、1個でもよい。例えば、展示会に茶碗を出展する出展者が、茶碗の特徴部分にマーカーMを設定する。各マーカーMは、表示装置2において、オブジェクト画像3とともに識別可能に表示される。例えばマーカーMは、表示装置2において点灯又は点滅して表示される。
具体的には、マーカー検出部213は、操作装置1の姿勢変化に応じてオブジェクト画像3の姿勢が変化することによりマーカーMが表示装置2の正面方向に向いた場合にマーカーMを検出する。例えば図8に示すように、ユーザは表示装置2に表示されたオブジェクト画像3のマーカーM1が正面方向に向くように操作装置1を回転させる。操作装置1の回転に連動してオブジェクト画像3が回転してマーカーM1の向きが正面方向に一致した場合、具体的にはオブジェクト画像3におけるマーカーM1が付された部分(面)に垂直な方向が表示部23の表示面に垂直な方向と一致した場合に、マーカー検出部213は、マーカーM1を検出する。
情報提示部214は、マーカー検出部213によりマーカーMが検出された場合に、前記特定位置に対応付けられた特定情報を提示する。例えば図8に示す例では、情報提示部214は、マーカー検出部213によりマーカーM1が検出された場合に、マーカーM1に対応付けられた特定情報C1を表示部23に表示する。同様に、情報提示部214は、マーカー検出部213によりマーカーM2が検出された場合に、マーカーM2に対応付けられた特定情報C2を表示部23に表示し、マーカー検出部213によりマーカーM3が検出された場合に、マーカーM3に対応付けられた特定情報C3を表示部23に表示する。特定情報C1、C2、C3は、例えば、茶碗に関する説明、解説などの情報であり、それぞれ異なる情報が登録されている。特定情報Cは、テキスト情報であってもよいし、写真、イラストなどの画像情報であってもよい。各マーカーM及び各特定情報Cは、互いに関連付けられて記憶部22に記憶されている。
情報提示部214は、マーカー検出部213によりマーカーMが検出されるごとに、対応する特定情報Cを提示する。
ここで、マーカー検出部213は、マーカーMを検出した場合に、検出済みであることを示す情報を記憶部22に登録してもよい。例えば、マーカー検出部213は、マーカーMごとに「検出済」、「未検出」の検出状況を登録する。マーカー検出部213は、検出済みのマーカーMについては再検出を行わない。このため、マーカーMが一度検出されて情報提示部214が対応する特定情報Cを提示した場合には、当該特定情報Cは再提示されない。マーカー検出部213は、マーカーMを検出した場合には、検出済みのマーカーMをオブジェクト画像3から削除してもよい。マーカー検出部213は、操作装置1が所定の場所に載置された場合に、前記検出状況をリセットする。この構成によれば、例えば、ユーザAが茶碗を鑑賞して特定情報C1、C2、C3の全てを閲覧した場合には、ユーザAに対して特定情報C1、C2、C3の再度の提示が行われない。その後、ユーザAが操作装置1を所定の場所に戻し、ユーザBが茶碗の鑑賞を開始した場合に特定情報C1、C2、C3の提示が行われる。
なお、情報提示部214は、特定情報Cを音声により出力させてもよい。例えば、情報提示部214は、マーカー検出部213によりマーカーM1が検出された場合に、マーカーM1に対応付けられた特定情報C1のテキスト情報をスピーカ(不図示)から音声出力させる。前記スピーカは、表示装置2に設けられてもよいし、操作装置1に設けられてもよい。
また、マーカーMは、オブジェクト画像3のみに表示されてもよいし、オブジェクト画像3及び操作装置1の両方に表示されてもよいし、操作装置1のみに表示されてもよい。
断面表示部215は、操作装置1が表示装置2から遠ざかる方向に移動して表示装置2から所定距離L1だけ離れた位置の仮想面S1に重なる場合に、操作装置1を仮想面S1で切断した切断面を含むオブジェクト画像3を表示部23に表示させる。具体的には、先ず、制御部21は、図9に示すように、所定距離L1だけ離れた位置に仮想面S1を設定する。所定距離L1は、管理者などにより予め設定され、適宜変更可能である。所定距離L1は記憶部22に登録される。制御部21は、位置検出センサ24の検出結果に基づいて操作装置1の位置を特定し、操作装置1が所定距離L1を超えた場合に、オブジェクト画像3の断面を表示する。なお、図9に示す操作装置1の点線は、仮想面S1による切断位置を表している。
例えば、制御部21は、オブジェクト画像3に設定された全てのマーカーMが検出され、全ての特定情報Cが提示された場合に、オブジェクト画像3の断面を表示可能な断面表示モードを有効にする。断面表示モードが無効の間は、制御部21は、操作装置1の移動に応じてオブジェクト画像3の表示倍率を変更する(図5、図6参照)。
断面表示モードが有効になると、図10に示すように、制御部21は、操作装置1が表示装置2から所定距離L1の範囲内で移動する場合にはオブジェクト画像3の表示倍率を変更し、操作装置1が表示装置2から所定距離L1の範囲を超えて仮想面S1に重なる場合にオブジェクト画像3の断面を表示させる。例えば、所定距離L1の範囲内では、姿勢制御部212は、操作装置1が表示装置2に近づく場合にオブジェクト画像3を縮小表示させ、操作装置1が表示装置2から遠ざかる場合にオブジェクト画像3を拡大表示させる。一方、所定距離L1の範囲を超える場合に、断面表示部215は、操作装置1を仮想面S1で切断した切断面を含むオブジェクト画像3を表示部23に表示させる。また、所定距離L1の範囲を超える場合には、姿勢制御部212は、オブジェクト画像3を予め設定された設定倍率で表示させる。すなわち、所定距離L1の範囲を超える場合には、姿勢制御部212は、操作装置1の移動に応じてオブジェクト画像3の切断位置を変更し、表示倍率を変更しない。
また、情報提示部214は、仮想面S1が操作装置1の所定位置を切断する場合に、当該所定位置に対応付けられた特定情報C4を提示してもよい。例えば図11に示すように、仮想面S1が操作装置1の中間位置を切断する場合に、断面表示部215は、中間位置で切断した断面を含むオブジェクト画像3を表示するとともに、情報提示部214は、中間位置に対応付けられた特定情報C4を提示する。なお、情報提示部214は、仮想面S1が上述のマーカーM(図7参照)と重なった場合に、当該マーカーMに対応付けられた特定情報Cを提示してもよい。
[表示制御処理]
次に、図12を参照しつつ、表示制御システム100において実行される表示制御処理について説明する。具体的に、本実施形態では、操作装置1の制御部11及び表示装置2の制御部21によって表示制御処理が実行される。なお、制御部11、21は、操作装置1又は表示装置2の所定の操作によって表示制御処理を途中で終了することがある。
なお、本発明は、前記表示制御処理に含まれる一又は複数のステップを実行する表示制御方法(本発明の表示制御方法の一例)の発明として捉えることができる。また、ここで説明する前記表示制御処理に含まれる一又は複数のステップは適宜省略されてもよい。なお、前記表示制御処理における各ステップは同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部11、21によって前記表示制御処理における各ステップが実行される場合を例に挙げて説明するが、複数のプロセッサによって前記表示制御処理における各ステップが分散して実行される表示制御方法も他の実施形態として考えられる。
ここで、操作装置1は、専用アプリケーションが起動されることにより、表示装置2に表示されたオブジェクト画像3を操作することが可能となる。
先ず、ステップS1において、操作装置1の制御部11は、操作装置1の姿勢が正対姿勢(正面方向)に設定されたか否かを判定する。具体的には、制御部11は、前記専用アプリケーションを起動させて、操作装置1の正面となる位置の操作装置1の姿勢を正対姿勢に設定する。
制御部11は、姿勢検出センサ13から取得する位置座標及び傾きに基づいて正対姿勢を設定する。例えば、操作装置1が所定の場所に載置された場合に、制御部11は正対姿勢を設定する。
操作装置1の正対姿勢が設定された場合(S1:Yes)、処理はステップS2に移行する。制御部11は、操作装置1の正対姿勢が設定されるまで待機する(S1:No)。
ステップS2において、表示装置2の制御部21は、表示部23において、オブジェクト画像3を正対姿勢に対応する所定の方向に向けて表示させる。
ステップS3において、操作装置1の制御部11は、操作装置1に対するユーザの操作の受け付けを開始する。これにより、ユーザ(鑑賞者)は操作装置1を用いてオブジェクト画像3を操作することが可能となる。
ステップS4において、操作装置1の制御部11は、操作装置1の姿勢変化を検出したか否かを判定する。具体的には、制御部11は、姿勢検出センサ13から取得する検出信号に基づいて操作装置1の姿勢変化の有無を検出する。例えば図1に示すように、ユーザが操作装置1を右方向D1に回転させた場合に、制御部11は、姿勢検出センサ13から取得する検出信号に基づいて操作装置1の姿勢変化(右回転)を検出する。また、例えば図5に示すように、ユーザが操作装置1を手前側に移動させた場合に、制御部11は、姿勢検出センサ13から取得する検出信号に基づいて操作装置1の姿勢変化(位置変化)を検出する。制御部11が操作装置1の姿勢変化を検出した場合(S4:Yes)、処理はステップS5に移行する。制御部11は、操作装置1の姿勢変化を検出するまで待機する(S4:No)。ステップS4は、本発明の姿勢検出ステップの一例である。
ステップS5において、表示装置2の制御部21は、操作装置1の姿勢変化に応じて、表示装置2に表示されたオブジェクト画像3の姿勢を変化させる。具体的には、操作装置1の制御部11は、姿勢検出センサ13から取得する回転角度、傾き角度、座標、表示倍率などの情報を含む姿勢情報を表示装置2に出力する。表示装置2の制御部21は、前記姿勢情報を受信すると、前記姿勢情報に基づいてオブジェクト画像3の回転角度、傾き角度、座標、表示倍率などを変更する(図5、図6参照)。ステップS5は、本発明の姿勢制御ステップの一例である。
ステップS6において、表示装置2の制御部21は、オブジェクト画像3の特定位置に設定されたマーカーMを検出したか否かを判定する。例えば、オブジェクト画像3に3個のマーカーM1、M2、M3が設定されている場合(図7参照)に、制御部21は、いずれか1個のマーカーMを検出したか否かを判定する。制御部21がマーカーMを検出した場合(S6:Yes)、処理はステップS7に移行する。制御部21がマーカーMを検出しない場合(S6:No)、処理はステップS4に戻る。ステップS6は、本発明のマーカー検出ステップの一例である。
ステップS7において、表示装置2の制御部21は、全てのマーカーMを検出したか否かを判定する。例えば、制御部21は、記憶部22の前記検出状況を参照して、オブジェクト画像3に設定されたマーカーM1、M2、M3が全て検出済みであるか否かを判定する。制御部21が全てのマーカーMを検出済みでない場合(S7:No)、処理はステップS8に移行する。一方、制御部21が全てのマーカーMを検出済みである場合(S7:Yes)、処理はステップS9に移行する。
ステップS8では、制御部21は、検出したマーカーMに対応付けられた特定情報Cを提示する。例えば、制御部21は、マーカーM1を検出した場合に、マーカーM1に対応付けられた特定情報C1を表示部23に表示する(図8参照)。ステップS8は、本発明の情報提示ステップの一例である。
ステップS9では、制御部21は、ステップS8と同様に、検出したマーカーMに対応付けられた特定情報Cを提示する。ステップS9では、制御部21は、オブジェクト画像3に設定された複数のマーカーMのうち最後に検出したマーカーMに対応付けられた特定情報Cを提示する。ステップS4~S8を繰り返すことにより、ユーザに対して、マーカーM1に対応付けられた特定情報C1、マーカーM2に対応付けられた特定情報C2、及びマーカーM3に対応付けられた特定情報C3の全てが順に提示される。全てのマーカーMが検出されて全ての特定情報Cが提示されると、処理はステップS10に移行する。
ステップS10において、制御部21は、断面表示モードを有効化する。断面表示モードが有効化されると、制御部21は、以下に示す条件を満たす場合にオブジェクト画像3の断面を表示部23に表示する。
ステップS11において、操作装置1の制御部11は、操作装置1の姿勢変化を検出したか否かを判定する。例えば図5に示すように、ユーザが操作装置1を手前側に移動させた場合に、制御部11は、姿勢検出センサ13から取得する検出信号に基づいて操作装置1の姿勢変化(位置変化)を検出する。制御部11が操作装置1の姿勢変化を検出した場合(S11:Yes)、処理はステップS12に移行する。制御部11が操作装置1の姿勢変化を検出しない場合(S11:No)、処理はステップS15に移行する。
ステップS12において、表示装置2の制御部21は、操作装置1が仮想面S1を超えたか否か(又は仮想面S1に重なったか否か)を判定する。具体的には、制御部21は、位置検出センサ24の検出結果に基づいて操作装置1の位置を特定し、操作装置1の先端が表示装置2からの所定距離L1を超えたか否かを判定する。操作装置1が仮想面S1を超えない場合(S12:No)、処理はステップS13に移行する。一方、操作装置1が仮想面S1を超えた場合(S12:Yes)、処理はステップS14に移行する。
ステップS13では、表示装置2の制御部21は、操作装置1の姿勢変化に応じて、表示装置2に表示されたオブジェクト画像3の姿勢を変化させる。ここでは、操作装置1は所定距離L1の範囲内において例えば奥側又は手前側に移動することになるため、制御部21は、操作装置1が表示装置2に近づく場合にオブジェクト画像3を縮小表示させ、操作装置1が表示装置2から遠ざかる場合にオブジェクト画像3を拡大表示させる。その後、処理はステップS11に戻る。操作装置1が所定距離L1の範囲内で姿勢変化する場合は、ステップS11~S13の処理が繰り返される。ステップS13は、本発明の姿勢制御ステップの一例である。
一方、ステップS14では、制御部21は、操作装置1を仮想面S1で切断した切断面を含むオブジェクト画像3を表示部23に表示させる(図9、図11参照)。この場合、制御部21は、操作装置1の移動に応じて、オブジェクト画像3の表示倍率を変更することなく、切断位置を変更してオブジェクト画像3の断面を表示させる。ステップS14は、本発明の断面表示ステップの一例である。
ステップS15において、制御部21は、ユーザの終了操作を受け付けたか否かを判定する。例えば、ユーザが操作装置1を所定の場所に載置した場合に、制御部21は、終了操作を受け付けたと判定する。制御部21が終了操作を受け付けると(S15:Yes)、前記表示制御処理は終了する。制御部21は終了操作を受け付けるまでステップS11~S14の処理を繰り返す(S15:No)。
なお、前記表示制御処理において、操作装置1の所定位置が仮想面S1を超えた場合、すなわち仮想面S1が操作装置1の所定位置を切断する場合、制御部21は、当該所定位置に対応付けられた特定情報C4を提示してもよい(図11参照)。前記所定位置は、操作装置1の中間位置であってもよいし、マーカーM(図7参照)が設けられた位置であってもよい。以上のようにして、制御部11は、前記表示制御処理を実行する。
ここで、表示制御システム100は、操作装置1の正対姿勢が設定(ステップS1)されてから所定時間が経過した場合に前記表示制御処理を終了してもよい。これにより、例えば、複数の鑑賞者が順に美術品を鑑賞する場合に、各鑑賞者は平等に美術品を鑑賞することができる。また、表示制御システム100は、全てのマーカーMが検出(ステップS7)されてから所定時間が経過した場合に前記表示制御処理を終了してもよい。これにより、各鑑賞者は、全ての特定情報Cを閲覧することができる。
なお、上述の表示制御処理では、全てのマーカーMが検出されたことを条件(ステップS7)として、断面表示モードを有効化(ステップS10)する構成であるが、他の実施形態として、表示制御システム100は、ユーザの所定の操作を受け付けた場合に、断面表示モードを有効化してもよい。例えばユーザが操作装置1又は表示装置2の所定のボタン(不図示)を押下した場合、ユーザが操作装置1を所定の姿勢に変化させた場合、ユーザが音声で指示した場合などに、表示制御システム100が断面表示モードを有効化してもよい。
以上説明したように、本実施形態に係る表示制御システム100は、ユーザが操作装置1の姿勢を変化させた場合に、操作装置1の姿勢変化を検出し、操作装置1の姿勢変化に応じて、表示装置2に表示される操作対象物のオブジェクト画像3の姿勢を変化させる。また、表示制御システム100は、オブジェクト画像3の特定位置に設定されたマーカーMを検出し、検出されたマーカーMに対応付けられた特定情報Cをユーザ(鑑賞者)に提示する。この構成によれば、操作装置1の動きに連動してオブジェクト画像3を動かすことができる。また、ユーザは操作装置1を動かして操作対象物に関する情報(特定情報)を閲覧することができる。
また、本実施形態に係る表示制御システム100は、操作装置1が表示装置2から遠ざかる方向に移動して表示装置2から所定距離だけ離れた位置の仮想面S1に重なる場合に、操作装置1を仮想面S1で切断した切断面を含むオブジェクト画像3を表示装置2に表示させる。この構成によれば、操作装置1の動きに連動してオブジェクト画像3の厚み、内部構造などの断面情報を表示させることができる。よって、ユーザは操作装置1を動かして操作対象物に関する断面情報を閲覧することができる。
本発明は上述の実施形態に限定されない。本発明の他の実施形態について以下に説明する。
上述の実施形態では、例えばユーザが操作装置1を把持して腕を伸ばした場合には、顔と操作装置1との相対的な位置が離れるため、ユーザから見た操作装置1の大きさは小さくなる。この場合、表示装置2に表示されるオブジェクト画像3は、ユーザから見た操作装置1の大きさが反映されるように縮小表示される(図6参照)。同様に、例えばユーザが操作装置1を把持して腕を縮めた場合には、顔と操作装置1との相対的な位置が近づくため、ユーザから見た操作装置1の大きさは大きくなる。この場合、表示装置2に表示されるオブジェクト画像3は、ユーザから見た操作装置1の大きさが反映されるように拡大表示される(図5参照)。このように、ユーザがその場(立ったまま又は座ったまま)で腕の曲げ伸ばしによりユーザと操作装置1との相対位置が変化する場合には、ユーザから見た操作装置1の大きさがオブジェクト画像3に適切に反映される。
しかし、例えばユーザが操作装置1を把持した状態で移動した(歩いた)場合には、ユーザから見た操作装置1の大きさがオブジェクト画像3に適切に反映されないことが考えられる。例えば、ユーザが操作装置1を把持した状態で歩いて表示装置2に近付いた場合には、ユーザと操作装置1との相対位置が変化せずユーザから見た操作装置1の大きさが変わらないにもかかわらず、オブジェクト画像3が縮小表示されてしまう。同様に、例えば、ユーザが操作装置1を把持した状態で歩いて表示装置2から遠ざかった場合には、ユーザと操作装置1との相対位置が変化せずユーザから見た操作装置1の大きさが変わらないにもかかわらず、オブジェクト画像3が拡大表示されてしまう。このように、ユーザから見た操作装置1の大きさがオブジェクト画像3に適切に反映されない場合には、操作装置1の操作性及びオブジェクト画像3の視認性が低下する問題が生じる。
そこで、他の実施形態に係る表示制御システム100は、上述の実施形態の構成に加えて、前記問題を解消し得る構成を備える。
具体的には、位置検出センサ24は、表示装置2に対する操作装置1の位置とユーザの位置とを検出する。具体的には、位置検出センサ24は、位置検出センサ24の位置を基準(座標原点)とした操作装置1の位置(XYZ座標)とユーザの位置(XYZ座標)とを検出する。姿勢制御部212は、位置検出センサ24の検出信号に基づいて、操作装置1と表示装置2との相対位置、及び、操作装置1とユーザとの相対位置を算出する。例えば図13に示すように、姿勢制御部212は、操作装置1と表示装置2との距離L2、及び、操作装置1とユーザとの距離L3とを算出する。そして、姿勢制御部212は、距離L2,L3に基づいてオブジェクト画像3の姿勢を変化させる。
例えば、所定の場所に載置された操作装置1をユーザが把持すると、姿勢設定部111が、操作装置1の姿勢を、操作装置1がユーザに対して正対する正対姿勢に設定する。このとき、姿勢制御部212は、操作装置1とユーザとの距離L3を基準距離に設定する。その後、例えばユーザがその場で腕を伸ばして操作装置1を奥側(表示装置2側)に移動させた場合、距離L3が前記基準距離よりも大きくなる。姿勢制御部212は、距離L3の変化(増加)を検出すると、変化量に応じた縮小率でオブジェクト画像3を縮小表示する。また、例えばユーザがその場で腕を縮めて操作装置1を手前側(ユーザ側)に移動させた場合、距離L3が前記基準距離よりも小さくなる。姿勢制御部212は、距離L3の変化(減少)を検出すると、変化量に応じた拡大率でオブジェクト画像3を拡大表示する。
これに対して、例えばユーザが操作装置1を把持した状態で歩いて奥側(表示装置2側)に移動した場合、距離L3は前記基準距離から略変わらず、距離L2だけが小さくなる。この場合、姿勢制御部212は、距離L3の変化を検出しないことを条件として、オブジェクト画像3の表示倍率を変更しない。同様に、例えばユーザが操作装置1を把持した状態で歩いて手前側(表示装置2から離れる方向)に移動した場合、距離L3は前記基準距離から略変わらず、距離L2だけが大きくなる。この場合、姿勢制御部212は、距離L3の変化を検出しないことを条件として、オブジェクト画像3の表示倍率を変更しない。
この構成によれば、ユーザから見た操作装置1の大きさをオブジェクト画像3に適切に反映させることが可能となる。よって、操作装置1の操作性及びオブジェクト画像3の視認性が低下することを回避することができる。なお、制御部21は、距離L3の変化を検出しないで距離L2の変化だけを検出した場合に、ユーザが操作装置1を持って移動していると判断して、所定のメッセージを表示部23に表示させてもよい。例えば、制御部21は、「レプリカを体(顔)に近づけたり遠ざけたりしてください。」など、ユーザが移動しないで操作装置1を動かすよう促すメッセージを表示させてもよい。
本発明の他の実施形態として、位置検出センサ24は、操作装置1に搭載されてもよい。例えば図14に示すように、操作装置1は、位置検出センサ24の一例であるカメラ15を備えてもよい。カメラ15は、鉛直上向きに撮像可能に配置され、室内の天井を撮像可能である。操作装置1は、カメラ15の撮像画像(天井画像)に基づいて、操作装置1の位置(座標)を検出する。操作装置1は検出信号(座標情報)を表示装置2に出力する。表示装置2は、前記検出信号を受信すると、操作装置1の姿勢変化を検出してオブジェクト画像3の姿勢を変化させる。
本発明の操作対象物は、美術品に限定されず、種々の分野の物品であってもよい。例えば、前記操作対象物は、臓器、建築物、装飾品などであってもよい。
1 :操作装置
2 :表示装置
3 :オブジェクト画像
11 :制御部
12 :記憶部
13 :姿勢検出センサ
14 :通信部
15 :カメラ
21 :制御部
22 :記憶部
23 :表示部
24 :位置検出センサ
25 :通信部
100 :表示制御システム
111 :姿勢設定部
112 :姿勢検出部
211 :表示処理部
212 :姿勢制御部
213 :マーカー検出部
214 :情報提示部
215 :断面表示部

Claims (9)

  1. 表示装置に表示される操作対象物のオブジェクト画像の姿勢を操作装置の姿勢変化に連動させて変化させる表示制御システムであって、
    前記オブジェクト画像を前記表示装置に表示させるとともに、前記オブジェクト画像上に設定された特定位置にマーカー画像を表示させる表示処理部と、
    前記操作装置の姿勢変化に応じて前記オブジェクト画像の姿勢が変化することにより前記マーカー画像が前記表示装置の正面方向に向いた場合に前記マーカー画像を検出するマーカー検出部と、
    前記マーカー検出部により前記マーカー画像が検出された場合に、前記マーカー画像に対応付けられた特定情報を提示する情報提示部と、
    を備える表示制御システム。
  2. 前記表示処理部は、前記表示装置において、前記オブジェクト画像上の第1位置に第1特定情報が対応付けられた第1マーカー画像を表示させ、前記オブジェクト画像上の第2位置に第2特定情報が対応付けられた第2マーカー画像を表示させ、
    前記情報提示部は、前記マーカー検出部により前記第1マーカー画像が検出された場合に前記第1特定情報を提示し、前記マーカー検出部により前記第2マーカー画像が検出された場合に前記第2特定情報を提示する
    請求項1に記載の表示制御システム。
  3. 前記情報提示部は、前記特定情報を前記表示装置に表示させる、
    請求項1又は請求項2に記載の表示制御システム。
  4. 前記情報提示部は、前記特定情報を音声により出力させる、
    請求項1から請求項のいずれか1項に記載の表示制御システム。
  5. ユーザが前記操作装置の姿勢を変化させた場合に、前記操作装置の姿勢変化を検出する姿勢検出部と、
    前記操作装置の姿勢変化に応じて、前記表示装置に表示される前記オブジェクト画像の姿勢を変化させる姿勢制御部と、
    をさらに備え、
    前記姿勢制御部は、前記操作装置の姿勢変化に対応する前記操作装置の回転角と前記表示装置に対する前記操作装置の位置とに基づいて、前記オブジェクト画像の姿勢を変化させる、
    請求項1から請求項のいずれか1項に記載の表示制御システム。
  6. 前記姿勢制御部は、前記操作装置が前記表示装置に近づく場合に前記オブジェクト画像を縮小表示させ、前記操作装置が前記表示装置から遠ざかる場合に前記オブジェクト画像を拡大表示させる、
    請求項に記載の表示制御システム。
  7. 前記操作対象物は、美術品であり、
    前記オブジェクト画像は、前記美術品の三次元画像であり、
    前記操作装置は、前記美術品のレプリカである、
    請求項1から請求項のいずれか1項に記載の表示制御システム。
  8. 表示装置に表示される操作対象物のオブジェクト画像の姿勢を操作装置の姿勢変化に連動させて変化させる表示制御方法であって、
    前記オブジェクト画像を前記表示装置に表示させるとともに、前記オブジェクト画像上に設定された特定位置にマーカー画像を表示させる表示ステップと、
    前記操作装置の姿勢変化に応じて前記オブジェクト画像の姿勢が変化することにより前記マーカー画像が前記表示装置の正面方向に向いた場合に前記マーカー画像を検出するマーカー検出ステップと、
    前記マーカー検出ステップにより前記マーカー画像が検出された場合に、前記マーカー画像に対応付けられた特定情報を提示する情報提示ステップと、
    を一又は複数のプロセッサ実行する表示制御方法。
  9. 表示装置に表示される操作対象物のオブジェクト画像の姿勢を操作装置の姿勢変化に連動させて変化させる表示制御プログラムであって、
    前記オブジェクト画像を前記表示装置に表示させるとともに、前記オブジェクト画像上に設定された特定位置にマーカー画像を表示させる表示ステップと、
    前記操作装置の姿勢変化に応じて前記オブジェクト画像の姿勢が変化することにより前記マーカー画像が前記表示装置の正面方向に向いた場合に前記マーカー画像を検出するマーカー検出ステップと、
    前記マーカー検出ステップにより前記マーカー画像が検出された場合に、前記マーカー画像に対応付けられた特定情報を提示する情報提示ステップと、
    を一又は複数のプロセッサに実行させるための表示制御プログラム。
JP2020068984A 2020-04-07 2020-04-07 表示制御システム、表示制御方法、及び表示制御プログラム Active JP7438827B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020068984A JP7438827B2 (ja) 2020-04-07 2020-04-07 表示制御システム、表示制御方法、及び表示制御プログラム
US17/220,289 US11650673B2 (en) 2020-04-07 2021-04-01 Display control system and display control method for changing a size of an object image in association with a location change of an operation device
US18/130,819 US20230244327A1 (en) 2020-04-07 2023-04-04 Display control system and display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020068984A JP7438827B2 (ja) 2020-04-07 2020-04-07 表示制御システム、表示制御方法、及び表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2021165934A JP2021165934A (ja) 2021-10-14
JP7438827B2 true JP7438827B2 (ja) 2024-02-27

Family

ID=78022106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020068984A Active JP7438827B2 (ja) 2020-04-07 2020-04-07 表示制御システム、表示制御方法、及び表示制御プログラム

Country Status (1)

Country Link
JP (1) JP7438827B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023166636A1 (ja) * 2022-03-02 2023-09-07 日本電信電話株式会社 音声再生装置、音声再生方法および音声再生プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013149106A (ja) 2012-01-19 2013-08-01 Kaiyodo:Kk i−フィギュア及びi−フィギュアを利用した画像処理システム
JP2017010228A (ja) 2015-06-19 2017-01-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013149106A (ja) 2012-01-19 2013-08-01 Kaiyodo:Kk i−フィギュア及びi−フィギュアを利用した画像処理システム
JP2017010228A (ja) 2015-06-19 2017-01-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
JP2021165934A (ja) 2021-10-14

Similar Documents

Publication Publication Date Title
US11409376B2 (en) Multi-sensor device with an accelerometer for enabling user interaction through sound or image
JP6748961B2 (ja) 投写画像調整システム及び投写画像調整方法
JP6037699B2 (ja) 車両用包囲視野システム
TW202117502A (zh) 一種擴增實境資料呈現方法、設備及儲存媒體
US7911468B2 (en) Storage medium storing a program for controlling the movement of an object
US10685485B2 (en) Navigation in augmented reality environment
TW201013630A (en) Device with display position input
JP4694435B2 (ja) 断面画像表示装置、断面画像表示方法及び断面画像表示プログラム
JP2008293357A (ja) 情報処理方法および情報処理装置
JP2017055178A (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019065846A1 (ja) プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置
JP7438827B2 (ja) 表示制御システム、表示制御方法、及び表示制御プログラム
JP2022505457A (ja) 仮想環境において建築物を建設する方法、装置、機器及びプログラム
JP6219037B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP7404139B2 (ja) 表示制御システム、表示制御方法、及び表示制御プログラム
JP2019155062A (ja) 表示システム、表示制御装置、及びプログラム
US11650673B2 (en) Display control system and display control method for changing a size of an object image in association with a location change of an operation device
JP2023065528A (ja) ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
JP2016139199A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2021235316A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2021165932A (ja) 表示制御システム、表示制御方法、及び表示制御プログラム
JP2022078623A (ja) 表示制御システム、表示制御方法、及び表示制御プログラム
WO2018074054A1 (ja) 表示制御装置、表示制御方法及びプログラム
JP2020164319A (ja) ウインチ制御システム
JP7319686B2 (ja) ゲームプログラム、ゲーム処理方法、及びゲーム装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20231221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240214

R150 Certificate of patent or registration of utility model

Ref document number: 7438827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150