JP6502781B2 - 情報提示方法及び情報提示装置 - Google Patents

Description

本発明は、情報提示方法及び情報提示装置に関する。

画像データやテキストデータ等の電子データをディスプレイに表示してユーザーに提供することが行われている。例えば、電子図鑑のデータをディスプレイに表示して提供する際に効果的な演出をする技術が知られている（例えば、特許文献１及び特許文献２参照）。

特開２０１５−５９６７号公報 特開２００４−３１８４００号公報 国際公開第２０００／０４９５７９号パンフレット

しかしながら、特許文献1及び特許文献２は、電子データをディスプレイに表示する際の仮想空間上の演出に関する技術であるため、例えば現実空間における物体に対して効果的な演出を行うことは困難である。

そこで、一側面では、本発明は、現実空間の記録媒体をユーザーに提供する際に効果的な演出を行うことを目的とする。

一つの案では、視線センサを用いて、センシング対象領域に配置された記録媒体を閲覧するユーザーの視線を検知し、検知した前記視線に関する情報と前記記録媒体に含まれる画像情報とに基づいて前記記録媒体の識別情報を取得し、取得した前記記録媒体の識別情報に応じた環境制御情報を記録する記録部を参照して、取得した前記記録媒体の識別情報に対応する環境制御情報を取得し、取得した前記環境制御情報に基づいて前記センシング対象領域の周辺の発光装置、表示装置、音響装置、温度制御装置、風量制御装置、振動装置及び放香装置の１または複数の組み合わせを制御する、処理をコンピュータが実行することを特徴とする情報提示方法が提供される。

一側面によれば、現実空間の記録媒体をユーザーに提供する際に効果的な演出を行うことができる。

一実施形態にかかる情報提示装置の全体構成の一例を示す図。 一実施形態にかかる情報提示装置の断面及び平面の一例を示す図。 一実施形態にかかる情報提示装置の機能構成の一例を示す図。 一実施形態にかかる環境制御情報テーブルの一例を示す図。 一実施形態にかかる環境制御情報のデータ構造の一例を示す図。 一実施形態にかかる環境制御情報テーブルの他の例を示す図。 一実施形態にかかる環境制御情報テーブルの他の例を示す図。 一実施形態にかかる本ＩＤテーブルの一例を示す図。 一実施形態にかかる情報提示処理の一例を示すフローチャート。 一実施形態にかかる環境制御実行処理の一例を示すフローチャート。 一実施形態の変形例にかかる環境制御情報テーブルの一例を示す図。 一実施形態の変形例にかかる環境制御情報テーブルの他の例を示す図。 一実施形態の変形例にかかる情報提示処理の一例を示すフローチャート。 一実施形態にかかる本ＩＤテーブルの他の例を示す図。 一実施形態にかかる外的情報テーブルの一例を示す図。 一実施形態にかかる関連情報テーブルの一例を示す図。 一実施形態の変形例にかかる環境制御実行処理の一例を示すフローチャート。 一実施形態にかかる情報提示装置の断面及び平面の他の例を示す図。 一実施形態にかかる情報提示装置の断面及び平面の他の例を示す図。 一実施形態にかかる情報提示装置の断面及び平面の他の例を示す図。 一実施形態にかかる情報処理装置のハードウェア構成例を示す図。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
＜第１実施形態＞
［情報提示装置の全体構成］
まず、本発明の第１実施形態に係る情報提示装置の構成について、図１を参照しながら説明する。一実施形態に係る情報提示装置１は、投影装置１０及び情報処理装置２０を有する。投影装置１０は、ＵＳＢ（Universal Serial Bus）を介して情報処理装置２０と接続されている。

情報提示装置１は、例えば、書店の読書ブース等の空間に置かれた机５０に配置されている。例えば、情報提示装置１は、書店の読書ブースに書籍をもってきたユーザーが読書ブース内の机５０に書籍を置いて読む状況において利用される。ただし、本実施形態にかかる情報提示装置１は、これに限らず、店舗や展示会場等いずれの場所においても利用可能である。

図１では、投影装置１０は、読書ブースの机５０上に置かれている。投影装置１０は、投影部１１、プロジェクタ１２、載置台１３及び支持部１４を有する。投影部１１は、支持部１４に支持された状態で載置台１３の上方から載置台１３側に投影情報を映し出す。支持部１４の中央には、プロジェクタ１２が取り付けられている。

投影装置１０には、スクリーン２２が取り付けられる。スクリーン２２は、載置台１３から支持部１４に立て掛けるように斜めに取り付けられる。プロジェクタ１２から出力された投影情報は、投影部１１の裏面に取付けられた反射板１５を反射して、スクリーン２２に投影される。これにより、プロジェクタ１２は、図１の右側のスクリーン２２に示すように所望のコンテンツ情報Ｃを投影する。

図１の断面図である図２（ａ）に示すように、本４０を読むユーザーＵに対して奥行き方向に湾曲するようにスクリーン２２を斜めに置くことと、反射板１５を使用することで、投影装置１０の表示領域Ｓｂを広げることができる。これにより、表示領域Ｓｂに表示できる情報量を多くし、コンテンツ情報Ｃを表示するときの演出効果を高めることができる。ただし、スクリーン２２は必ずしも設けなくてよい。例えば、投影装置１０は、周囲の壁等にコンテンツ情報を表示してもよい。

投影部１１は、内部にプロセッサ１６を有している。プロセッサ１６は、ＵＳＢポートを介して接続された情報処理装置２０と、投影するコンテンツ情報、その他の情報を送受信する。投影部１１の前面には、図１に示す撮像カメラ１７、位置検出用カメラ１８及び視線センサ１９が設けられている。

撮像カメラ１７は、位置検出用カメラ１８に隣接し、ユーザーＵの手元のセンシング対象領域Ｓａに配置された本４０の表紙や各ページの画像を撮像する。位置検出用カメラ１８は、ユーザーＵの周辺の物体の距離を測定する距離センサの一例である。距離センサには、位置検出用カメラ１８に替えてキネクトセンサ、赤外線センサ等を用いてもよい。位置検出用カメラ１８を使用してユーザーＵの周囲の物体の形状や、ユーザーＵのジェスチャー等を検出することができる。これにより、周囲の物体の形状に応じたプロジェクトマッピングやユーザーＵのジェスチャーに応じたコンテンツ情報の出力が可能になる。ただし、位置検出用カメラ１８は設けなくてもよい。

例えば、図１の机付近を平面視した図２（ｂ）に示すように、机５０の周囲を壁５１で仕切り、ユーザーＵの正面の壁５１と本４０との間にスクリーン２２を配置してもよい。また、ユーザーＵの側面にＬＥＤ照明器５２を配置してもよい。スクリーン２２及び照明器５２によりコンテンツ情報Ｃを出力するときの演出効果を高めることができる。

視線センサ１９は、ユーザーＵの視線を検出する。視線センサ１９としては、低解像度カメラと近赤外線ＬＥＤ（Light Emitting diode）とにより黒目を検出する方法が一例として挙げられる。

かかる構成により、投影装置１０は、ユーザーＵが読書をしているとき、例えば本４０の開いたページ４１、４２の撮像画像やタグ情報４３，４４に応じた環境制御情報に基づき、本４０のキャラクタ等のコンテンツ情報Ｃを表示したり、動物園の情報を音声で出力したりすることができる。このようにして、現実空間の本４０をユーザーに提供する際に効果的な演出を行うことができる。

情報処理装置２０は、例えばパーソナルコンピュータ（ＰＣ）やタブレット型端末その他の情報処理が可能な電子機器であり得る。情報処理装置２０は、撮像カメラ１７が撮影した画像を取得する。情報処理装置２０は、取得した画像の画像処理を行い、取得した画像に応じた環境制御情報を特定する。情報処理装置２０は、特定した環境制御情報に基づき、投影装置１０を制御する。

読書ブースに照明器５２やプロジェクタ１２を設置し、本４０の内容を画像認識し、本４０の内容に応じた映像をプロジェクタ１２にて投影したり、本４０の内容に応じた光を照明器５２から出力する。本４０を読んでいるユーザーＵが本４０のページをめくったり、本４０内の特定のコンテンツやプロジェクタ１２から投影されるコンテンツを触ったりすると、更に内容に応じたコンテンツ情報が出力される。例えば、図１のユーザーＵがキリンの投影画像を触るジェスチャーをすると、「〇〇動物園にいるよ！」の音声が出力される。

なお、本実施形態では、センシング対象領域Ｓａに配置される記録媒体として本４０を挙げて説明するが、これに限られず、ＣＤ（Compact Disk）やＤＶＤであってもよい。この場合、投影装置１０の撮像カメラ１７がＣＤやＤＶＤのディスクジャケットを撮像し、撮像画像に応じて特定される環境制御情報に基づき、ＣＤやＤＶＤの表面やその周囲にコンテンツ情報Ｃを出力してもよい。

また、本実施形態では、環境制御情報に基づき制御される表示装置として、投影装置１０を主に例に挙げるが、表示装置は、投影装置１０に限らず、モニタであってもよい。また、制御対象装置は、投影装置１０の他に、図２に示すように、発光装置７１（照明器５２、ＬＥＤ等）、音響装置７２(スピーカ等)、温度制御装置７３（エアコン、ヒータ等）及び風量制御装置７４(エアコン、扇風機)を含む。制御対象装置は、振動装置７５（椅子の振動装置等）及び放香装置７６（アロマ噴射器等）を含んでもよい。これらの制御対象装置は、センシング対象領域Ｓａの周辺に配置される。

［情報提示装置の機能構成］
次に、投影装置１０及び情報処理装置２０の機能構成について図３を参照しながら説明する。

（投影装置）
投影装置１０は、入出力インターフェース（Ｉ／Ｆ）２を有する。入出力インターフェース２は、撮像カメラ１７が撮った画像を入力し、情報処理装置２０に転送する。また、入出力インターフェース２は、位置検出用カメラ１８が検出した壁５１の凸凹等を入力し、情報処理装置２０に転送する。また、入出力インターフェース２は、情報処理装置２０から送信されたコンテンツ情報等をプロジェクタ１２に出力する。これにより、プロジェクタ１１は、環境制御情報に応じたコンテンツ情報を投影する。また、入出力インターフェース２は、視線センサ１９の検出値（視線情報）を情報処理装置２０に送信する。

（情報処理装置）
情報処理装置２０は、記録部３１、取得部３７、画像処理部３８及び制御部３９を有する。制御部３９は、表示制御部２４、光制御部２５、音声制御部２６、温度制御部２７、風量制御部２８、振動制御部２９及び香り制御部２１を有する。

表示制御部２４は、投影装置１０やモニタ等の表示装置の表示を制御する。光制御部２５は、発光装置７１の光の出力を制御する。音声制御部２６は、音響装置７２の音声の出力を制御する。温度制御部２７は、温度制御装置７３の温度を制御する。風量制御部２８は、風量制御装置７４の風量を制御する。振動制御部２９は、例えば椅子に設けられた振動装置７５の振動を制御する。香り制御部２１は、放香装置７６から芳香剤の蒸発量を制御する。

取得部３７は、撮像カメラ１７が撮影した画像を取得する。画像処理部３８は、取得した画像について画像処理を行う。例えば、画像処理部３８は、本の見開きのページの画像を読み取る。取得部３７は、撮像画像からタグ情報やＡＲ（Augmented Reality）マーカーを取得してもよい。

画像処理部３８は、画像処理された画像の形状（図１の本の角部の形状４５，４６）を特定してもよい。画像処理部３８は、画像に含まれるバーコードやＱＲ（Quick Response）コードから画像に紐付けられた環境制御情報を抽出してもよい。

記録部３１は、環境制御情報テーブル３２、本ＩＤテーブル３３、外的情報テーブル３５及び関連情報テーブル３６の各種テーブルを記録する。以下では、境情報制御テーブル３２及び本ＩＤテーブル３３について、図４〜図８を参照しながら説明する。外的情報テーブル３５及び関連情報テーブル３６は、後述される本実施形態の変形例において使用されるテーブルのため、後述される。

（環境制御情報テーブル）
環境制御情報テーブル３２の一例を図４に示す。環境制御情報テーブル３２は、本の識別情報３２１、画像情報３２２及び制御情報３２３を記録する。本の識別情報３２１は、図書館の本を識別するための情報である。本実施形態では、本毎にＩＤが付与されている。図４の環境制御情報テーブル３２では、本の識別情報３２１毎に画像情報３２２と制御情報３２３とが関係付けて記録されている。画像情報３２２は、本４０のページ毎の画像である。制御情報３２３は、どの制御対象装置を使用して、どのコンテンツ情報を、どの位置に、どのタイミングで出力するかを特定する情報を含む。例えば、図４では、画像情報３２２の「１ページ目画像」には、制御情報３２３の「１ページ目用制御情報」が紐付けられて記録されている。このようにして、環境制御情報テーブル３２には、本毎に１ページ目から最終頁までの各ページに対応させて制御情報が記録されている。例えば図１に示す本４０のページ４１、４２には、それぞれの制御情報が記録され、各ページ４１，４２の画像に応じた制御情報３２３により、各ページ４１，４２で異なるコンテンツが出力される。

環境制御情報のデータ構造例を図５に示す。環境制御情報は制御情報を含む。制御情報は、コンテンツ情報、位置情報、時刻情報及び装置情報を含む。これにより、情報提示装置１は、環境制御情報に基づき、どのコンテンツ情報を、表示領域Ｓｂのどの位置に、どのタイミングで、どの装置を使用して出力するかを制御することができる。

環境制御情報は、制御情報だけでなく付加情報を含んでもよい。付加情報は、ユーザー操作情報と環境情報とを含む。ユーザー操作情報は、ユーザー操作に応じて変化するジェスチャー情報、ユーザーの視線情報、ユーザーの発声情報等を含む。環境情報は、現在時刻情報、照度（ルクス）情報、温度情報、湿度情報、風速情報を含んでもよい。環境情報は、センシング対象領域Ｓａの周辺の環境に応じて変化する情報を含んでもよい。環境情報は、季節情報を有してもよい。これにより、季節に応じたコンテンツの出力が可能になる。環境情報は、予め定められてもよいし、温度センサや湿度センサ等からの検知値に基づき、周囲の環境に応じて変化してもよい。

環境制御情報テーブル３２の他の例を図６に示す。図６の環境制御情報テーブル３２では、図４の環境制御情報テーブル３２の画像情報３２２が、タグ情報４２２になっている点のみ異なる。つまり、図６の環境制御情報テーブル３２では、本の識別情報３２１毎にタグ情報４２２と制御情報３２３とが関係付けて記録されている。例えば図１に示す本４０のページ４１、４２には、それぞれのタグ情報４３，４４が埋め込まれ、タグ情報４３，４４に応じた制御情報３２３により、各ページ４１，４２で異なる演出が施されるようにしてもよい。

環境制御情報テーブル３２の他の例を図７に示す。図７の環境制御情報テーブル３２では、図４の環境制御情報テーブル３２の各情報に加えて付加情報３２４が記録されている点のみ異なる。付加情報３２４には、ユーザー操作情報３２５と環境情報３２６との少なくともいずれかの情報が記録される。図７の環境制御情報テーブル３２では、画像情報３２２が「１ページ目の画像」の場合、付加情報３２４によって制御情報３２３には４種類の制御情報１〜４が記録されている。これによれば、ユーザー操作情報が同じであっても、環境情報が異なる場合、異なる制御情報に基づき、異なったコンテンツ情報による演出が実現可能となる。

例えば、投影装置１０は、撮像カメラ１７又は位置検出用カメラ１８によりユーザーＵが行うジェスチャーを検出し、これに応じて、情報処理装置２０は、ジェスチャー情報を取得する。表示制御部２４は、画像情報３２２だけでなく、ジェスチャー情報（付加情報３２４）に応じた制御情報３２３を取得し、その制御情報３２３に基づいて所望のコンテンツ情報の出力を制御する。

また、例えば、投影装置１０は、位置検出用センサ１８を使用して本４０の位置や周囲の壁５１の形状を検出し、情報処理装置２０は、本４０の位置や周囲の壁５１の形状などの環境情報を取得する。これにより、表示制御部２４は、例えば壁５１の凸凹等、立体物の形状に合わせて映像を出力することができる。このように、画像情報３２２だけでなく、環境情報に基づき、必要なコンテンツ情報を本４０の特定の画像や壁５１に投影することでプロジェクトマッピングを実現できる。つまり、情報提示装置１によれば、読書空間の環境をセンシングして、センシング結果に合わせてコンテンツの出力の仕方を変えることができる。

（本ＩＤテーブル）
本ＩＤテーブル３３の一例を図８に示す。本ＩＤテーブル３３では、タグ情報３３１及び本の識別情報３３２が記録されている。タグ情報３３１としては、例えば本の表紙の画像情報、本に付けられたＡＲマーカー又は本に埋め込まれたチップ（ＲＦタグ）等があげられる。図８の本ＩＤテーブル３３では、タグ情報３３１の「ＡＲマーカー」毎に本の識別情報３３２が関係付けて記録されている。

［情報提示処理］
次に、本実施形態に係る情報提示処理について図９を参照しながら説明する。情報提示処理は、主に情報処理装置２０により実行される。情報提示処理が開始されると、取得部３７は、投影装置１０から撮像画像を取得し、画像処理部３８は、表紙画像等から本に含まれるタグ情報を識別する。制御部３９は、本ＩＤテーブル３３に基づき、識別したタグ情報に紐付けられた本ＩＤを特定する（ステップＳ１０）。次に、制御部３９は、環境制御情報テーブル３２に基づき、本ＩＤ３２１に応じた環境制御情報のセットを取得する（ステップＳ１２）。

次に、取得部３７は、本の開いたページの画像情報又はタグ情報を取得する（ステップＳ１４）。次に、制御部３９は、取得した画像情報又はタグ情報が、取得した環境制御情報のセット内に存在するかを判定する（ステップＳ１６）。制御部３９は、取得した画像情報又はタグ情報が、取得した環境制御情報のセット内に存在しないと判定した場合、本処理を終了する。

他方、制御部３９は、ステップＳ１６において、取得した画像情報又はタグ情報が、取得した環境制御情報のセット内に存在すると判定した場合、取得した画像のページに対応する環境制御実行処理を実行する（ステップＳ１８）。環境制御実行処理を実行後、ステップＳ１４に戻り、ステップＳ１４〜ステップＳ１８の処理を繰り返す。

［環境制御実行処理］
ステップＳ１８にて呼び出される環境制御実行処理について図１０を参照しながら説明する。環境制御実行処理は、主に制御部３９の各部により実行される。表示制御部２４は、取得した制御情報（環境制御情報）の装置情報から表示装置（本実施形態では投影装置１０）を制御するか否かを判定する（ステップＳ１００）。表示制御部２４は、表示装置を制御しないと判定した場合、ステップＳ１０４に進む。表示制御部２４は、表示装置を制御すると判定した場合、取得した制御情報のコンテンツ情報、位置情報、時刻情報に基づき、指定されたコンテンツを指定された位置及び時刻に表示装置に表示する（ステップＳ１０２）。

次に、音声制御部２６は、取得した制御情報の装置情報から音響装置７２を制御するか否かを判定する（ステップＳ１０４）。音声制御部２６は、音響装置７２を制御しないと判定した場合、ステップＳ１０８に進む。音声制御部２６は、音響装置７２を制御すると判定した場合、取得した制御情報のコンテンツ情報、時刻情報に基づき、指定された音のコンテンツを指定された時刻に音響装置７２から出力する（ステップＳ１０６）。

次に、光制御部２５は、取得した制御情報の装置情報から発光装置７１を制御するか否かを判定する（ステップＳ１０８）。光制御部２５は、発光装置７１を制御しないと判定した場合、ステップＳ１１２に進む。光制御部２５は、発光装置７１を制御すると判定した場合、取得した制御情報のコンテンツ情報、位置情報、時刻情報に基づき、指定された明るさや色の光のコンテンツを指定された位置及び時刻に発光装置７１から発光する（ステップＳ１１０）。

次に、制御部３９は、取得した制御情報の装置情報から他の制御対象装置を制御するか否かを判定する（ステップＳ１１２）。制御部３９は、他の制御対象装置を制御しないと判定した場合、本処理を終了する。他方、制御部３９は、他の制御対象装置を制御すると判定した場合、制御情報に基づき他の制御対象装置を制御して所定のコンテンツを出力し（ステップＳ１１４）、本処理を終了する。

他の制御対象装置が温度制御装置７３の場合、温度制御部２７は、温度制御装置７３の温度を制御する。他の制御対象装置が風量制御装置７４の場合、風量制御部２８は、風量制御装置７４の風量を制御する。他の制御対象装置が振動装置７５の場合、振動制御部２９は、例えば椅子に設けられた振動装置７５の振動を制御する。他の制御対象装置が放香装置７６の場合、香り制御部２１は、放香装置７６から芳香剤の蒸発量を制御する。

以上に説明したように、本実施形態にかかる情報提示装置１及び情報提示方法によれば、現実空間の本をユーザーに提供する際に現実空間と仮想空間とを融合させて、効果的な演出を行うことができる。

これまで、ユーザーが紙媒体の本４０を読んでいる現実空間では、電子書籍を読んでいるときのように仮想空間を利用して効果的な演出を行うことは困難であった。また、現実空間にある紙媒体の本４０の周囲に提示可能な情報量は、電子書籍の周囲に提示可能な情報量よりも少ない。例えば、電子書籍では、ある特定事項について詳細な情報をユーザーに通知することができる。

一方、電子書籍では、タブレット端末等の画面に文章を表示するため、表示サイズの制約が大きく、一度に表示可能な情報が限られる。これに対して、紙媒体の本４０では、ページをめくって検索できるので検索しやすい。ただし、適切な検索キーワードがわかっている場合には、電子書籍の方が本よりも検索しやすい場合がある。

これに対して、本実施形態では、ユーザーが現実空間において読んでいる本４０の中にライオンの画像が出てきたときに、ライオンの動画や、本に示されていないライオンの説明、ライオンの声、ライオンに関係する情報をスクリーン２２に表示させるることができる。このようにして、ユーザーは本を読むときに、ライオンの動画、ライオンの説明、ライオンの音等の体験の付加価値を得られ、現実空間と仮想空間とを融合させた効果的な演出を受けられる。

例えば、本に付けて売られているＤＶＤでは、ＤＶＤによる演出は、読書と一体化しない。これに対して、本実施形態では、光や音や環境に応じたコンテンツによる演出が可能であり、付加価値の演出効果が高い。これにより、ユーザーＵは、現実空間と仮想空間とが融合する空間にて、より深い体験の付加価値を得ることができる。

［変形例］
次に、本実施形態の変形例にかかる情報提示方法について説明する。

（環境制御情報テーブル）
変形例にて使用する環境制御情報テーブル３２の一例を図１１に示す。環境制御情報テーブル３２は、本の識別情報３２１の項目がなく、画像情報３２２と制御情報３２３とが紐付けられて記録されている点で図４の環境制御情報テーブル３２と異なる。

環境制御情報テーブル３２の他の例を図１２に示す。図１２の環境制御情報テーブル３２では、図１１の環境制御情報テーブル３２の各情報に加えて付加情報３２４が記録されている点のみ異なる。付加情報３２４には、ユーザー操作情報３２５と環境情報３２６との少なくともいずれかの情報が記録される。

［情報提示処理］
次に、本変形例に係る情報提示処理について図１３を参照しながら説明する。本変形例に係る情報提示処理は、主に情報処理装置２０により実行される。情報提示処理が開始されると、取得部３７は、本４０内の撮像された画像情報または本４０内に埋め込まれたチップ（ＲＦタグ）から送信される無線信号からタグ情報を取得する（ステップＳ２２）。次に、制御部３９は、環境制御情報テーブル３２内を探索し、画像情報又はタグ情報に対応する環境制御情報を探す（ステップＳ２４）。

次に、制御部３９は、環境制御情報テーブル３２内を探索した結果、画像情報又はタグ情報に対応する環境制御情報が得られるかを判定する（ステップＳ２６）。制御部３９は、画像情報又はタグ情報に対応する環境制御情報が得られないと判定した場合、本処理を終了する。

他方、制御部３９は、ステップＳ２６において、画像情報又はタグ情報に対応する環境制御情報が得られると判定した場合、取得した画像のページに対応する環境制御実行処理を実行する（ステップＳ２８）。環境制御実行処理を実行後、ステップＳ２２に戻り、ステップＳ２２〜ステップＳ２８の処理を繰り返す。

［環境制御実行処理］
ステップＳ２８にて呼び出される環境制御実行処理は、図１０を参照しながら説明したのでここでは説明を省略する。

以上に説明したように、一実施形態の変形例に係る情報提示方法によれば、現実空間の本４０をユーザーに提供する際に現実空間と仮想空間とを融合させて、効果的な演出を行うことができる。これにより、ユーザーＵは、本の理解を深められる体験学習を読書と同時に行うことができる。

（本の識別情報の取得方法）
なお、視線センサ１９は、本４０を閲覧するユーザーＵの視線を検知し、取得部３７は、検知した視線情報と本４０の画像情報に基づいて本４０の識別情報を取得してもよい。このときの本ＩＤテーブル３３の一例を図１４に示す。画像情報３３１が「画像１」であっても、視線情報３３３がＡ方向、Ｂ方向、Ｃ方向、Ｄ方向のいずれかによって特定される本の識別情報３３２が異なる。これにより、ユーザーＵの向きに応じて適切な本４０を識別することができる。

（表示するコンテンツの向き判定方法）
取得部３７は、本４０の開いたページに添付されたタグ情報の配列、本４０の開いたページの画像情報の配列、または本４０の開いたページの特定の形状情報を取得することができる。表示制御部２４は、取得したタグ情報の配列、画像情報の配列、ページの特定の形状情報に応じて、環境制御情報のコンテンツ情報に基づいて表示するコンテンツの向きを制御してもよい。これにより、本４０を読んでいるユーザーＵに応じて正しい向きにコンテンツを表示することができる。

例えば、表示制御部２４は、図１のタグ情報４３，４４の配列（例えば矢印の向きや並び）から、読む方向がページ４１からページ４２に向かっているか、ページ４２からページ４１に向かっているかを判定し、ユーザーの向きを判定する。これにより、表示制御部２４は、ユーザーＵの向きに応じて正しい向きにコンテンツを表示することができる。

表示制御部２４は、図１の本４０のページ４１の画像の配列（例えばライオンの向きや並び）やページ４２の画像の配列（例えば文字の向きや並び）から、本４０を読んでいるユーザーＵの向きを判定してもよい。さらに、表示制御部２４は、本４０の角部の形状４５，４６を認識することで、本４０を読んでいるユーザーＵの向きを判定してもよい。

（コンテンツ情報による誘導方法の一例）
上記実施形態及び変形例に係る情報提示装置１では、コンテンツ情報による誘導によって、より本の検索が容易になり、ユーザーの利便性を高めることができる。コンテンツ情報による誘導を実行するための環境制御実行処理の一例について、図１５〜図１７を参照しながら説明する。

図１５は、外的情報テーブル３５の一例を示す。図１６は、関連情報テーブル３６の一例を示す。図１７は、一実施形態の変形例にかかる環境制御実行処理の一例を示すフローチャートである。

図１５の外的情報テーブル３５には、たとえば、図書の貸し出しカードに付けられたユーザーＩＤ３５１毎に本の貸出履歴情報が記録されている。貸出履歴情報には、日時情報３５２、本の貸出情報３５３及び分類情報３５４が対応付けて記録されている。これにより、ユーザー毎に借りた本からユーザーの趣向や関心度を示す関心情報を取得することができる。なお、本の貸出情報３５３及び分類情報３５４は、ユーザーに関する外的情報の一例である。ユーザーに関する外的情報としては、ショッピング履歴、外食履歴等があげられる。

図１６の関連情報テーブル３６には、たとえば、関心情報３６１と関連ページ３６２とが対応付けて記憶されている。ここでは、関連ページ３６２の欄には本ＩＤにて識別される本４０の関連ページが示されている。

本４０は動物図鑑である。この場合、関心情報３６１が「動物」であるとき、本４０の全ページが関連ページとなる。関連情報３６１が「動物＋うさぎ（動物のうちのうさぎ）」であるとき、本４０の５ページ〜８ページが関連ページとなる。

［環境制御実行処理］
コンテンツ情報による誘導を実行するための変形例に係る環境制御実行処理の一例について、図１７を参照しながら説明する。環境制御実行処理が開始されると、取得部３７は、タグ情報を読み取り、ユーザーＩＤを取得する（ステップＳ３０）。例えば、図１に示す本４０に付けられたＲＦタグ４７からユーザーＩＤを取得してもよい。

図１７に戻り、次に、制御部３９は、外的情報（例えば、外的情報テーブル３５に記録されている分類情報３５４）に基づき、ユーザーの関心情報を抽出する（ステップＳ３２）。たとえば、図１５の分類情報３５４から、「動物＋うさぎ＋病気＋食べ物」の関心情報等が抽出され得る。

図１７に戻り、次に、制御部３９は、関連情報テーブル３６に基づき、抽出された関心情報３６１から本ＩＤで識別される本４０の関連ページ３６２を抽出する（ステップＳ３４）。次に、音声制御部２６は、関連ページを音声で出力し(ステップＳ３６)、本処理を終了する。例えば図１６の例では、音声により「８ページ」が指定される。これにより、コンテンツ情報による誘導によって本の検索が容易になり、ユーザーの利便性を高めることができる。

ステップＳ３６において、音声出力の替わりに又は音声出力とともに光により関連ページをユーザーに知らせてもよい。この場合、発光装置７１から出力された光で関連ページを直接指示してもよいし、出力された光で関連ページの数字を示してもよい。

（コンテンツ情報による誘導方法の他の例）
コンテンツ情報による誘導を実行するための他の例としては、図１０のステップＳ１０６にて、音声制御部２６は、取得した環境制御情報に基づいて、音響装置７２を制御して音声により本４０に記載されている内容を出力する。その音声出力と並行して、ステップＳ１１０にて、光制御部２５が、発光装置７１を制御して前記音声で読んでいる本４０の位置を光で指し示したり、枠で囲んだりして指定してもよい。

［情報提示装置の他の例］
最後に、情報提示装置の他の例について、図１８〜図２０を参照しながら説明する。上記実施形態にかかる情報提示装置１では、図２に示すように、スクリーン２２をユーザーＵから見て奥行方向に湾曲するようにしならせ、投影装置１０に立て掛けるように斜めに配置した。

これに対して、図１８に示す情報提示装置１の例では、スクリーン２２をユーザーＵから見て奥行方向の壁５１と平行であって、壁５１よりも前側に垂直に配置する。これにより、表示制御部２４は、環境制御情報に基づき特定されるコンテンツ情報を、本４０の周囲に前後して設けられたスクリーン２２と壁５１との表示対象領域に表示することができる。これにより、奥行きのあるコンテンツの表示が可能になり、演出により臨場感が生まれる。

例えば、スクリーン２２には半透明スクリーンを用いてもよい。表示制御部２４は、プロジェクトマッピングにより壁５１に背景画像を動的に描画し、スクリーン２２に本４０に登場するキャラクタを動的に描画することで、演出効果をさらに高めることができる。

図１９に示す情報提示装置１の例では、本４０の載置台１３が斜めに配置され、ユーザーＵが本４０を読み易いようになっている。加えて、反射板１５が所定角度を有して載置台１３と連結し、ユーザーＵから見て奥行方向の壁５１に立て掛けるように固定されている。これにより、プロジェクタ１２が上部から下向きに出力する投影情報を、反射板１５で反射させて表示することができる。

図２０に示す情報提示装置１の例では、２枚のスクリーン２２、６１をユーザーＵから見て奥行方向にて前後に垂直に配置する。また、スクリーン２２に対して斜め方向にスクリーン６０を配置する。スクリーン６０は、スクリーン２２に支持される。スクリーン２２、６０には半透明スクリーンを使用する。これによれば、一のプロジェクタ１２が上向きに出力する投影情報を反射板１５により反射させてユーザーＵの手元にある本４０及び本４０の周辺にコンテンツを表示することができる。また、他のプロジェクタ１２が横向きに出力する投影情報を反射板６０により反射させてユーザーＵの後方にあるスクリーン６１にコンテンツを表示することができる。これにより、複数枚のスクリーンを用いて、キャラクタを飛び出すように表示することができる。

（ハードウェア構成例）
最後に、本実施形態に係る情報処理装置２０のハードウェア構成について、図２１を参照して説明する。図２１は、本実施図２１に係る情報処理装置２０のハードウェア構成の一例を示す。情報処理装置２０は、入力装置１０１、表示装置１０２、外部Ｉ／Ｆ１０３、ＲＡＭ（Random Access Memory）１０４、ＲＯＭ（Read Only Memory）１０５、ＣＰＵ（Central Processing Unit）１０６、通信Ｉ／Ｆ１０７、及びＨＤＤ（Hard Disk Drivｊe）１０８などを備え、それぞれがバスＢで相互に接続されている。

入力装置１０１は、キーボードやマウスなどを含み、情報処理装置２０に各操作信号を入力するために用いられる。表示装置１０２は、ディスプレイなどを含み、各種の処理結果を表示する。通信Ｉ／Ｆ１０７は、情報処理装置２０を投影装置１０に接続するインターフェースである。これにより、情報処理装置２０は、投影装置１０とデータ通信を行うことができる。

ＨＤＤ１０８は、プログラムやデータを格納している不揮発性の記録装置である。例えば、ＨＤＤ１０８に格納されるプログラムやデータには、情報処理装置２０の全体を制御する基本ソフトウェアや、情報提示処理及び環境制御実行処理を実行するためのプログラム等がある。

外部Ｉ／Ｆ１０３は、外部装置とのインターフェースである。外部装置には、記録媒体１０３ａなどがある。これにより、情報処理装置２０は、外部Ｉ／Ｆ１０３を介して記録媒体１０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体１０３ａには、ＣＤ（Compact Disk）、及びＤＶＤ（Digital Versatile Disk）、ならびに、ＳＤメモリカード（SD Memory card）やＵＳＢメモリ（Universal Serial Bus memory）等がある。

ＲＯＭ１０５は、電源を切っても内部データを保持することができる不揮発性の記録装置である。ＲＯＭ１０５には、ネットワーク設定等のプログラム及びデータが格納されている。ＲＡＭ１０４は、プログラムやデータを一時保持する揮発性の記録装置である。ＣＰＵ１０６は、上記記録装置から、プログラムやデータをＲＡＭ１０４上に読み出し、処理を実行することで、装置全体の制御や搭載機能を実現する演算装置である。

かかる構成により、本実施形態に係る情報処理装置２０では、ＣＰＵ１０６が、ＲＯＭ１０５やＨＤＤ１０８内に格納されたデータ及びプログラムを用いて情報提示処理及び環境制御実行処理を実行する。なお、環境制御情報テーブル３２、本ＩＤテーブル３３、外的情報テーブル３５、関連情報テーブル３６に記録された情報は、ＲＡＭ１０４、ＨＤＤ１０８、又はネットワークを介して情報処理装置２０に接続されるクラウド上のサーバ等に格納され得る。

以上、情報提示方法及び情報提示装置を上記実施形態により説明したが、本発明にかかる情報提示方法及び情報提示装置は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。

以上の説明に関し、更に以下の項を開示する。
（付記１）
センシング対象領域に配置された記録媒体に含まれる画像情報、または該記録媒体に添付されたタグ情報に応じた環境制御情報を記録する記録部を参照して、取得した前記画像情報又は前記タグ情報に対応する環境制御情報を取得し、
取得した前記環境制御情報に基づいて前記センシング対象領域の周辺の発光装置、表示装置、音響装置、温度制御装置、風量制御装置、振動装置及び放香装置の１または複数の組み合わせを制御する、
処理をコンピュータが実行することを特徴とする情報提示方法。
（付記２）
前記画像情報または前記タグ情報に基づいて前記記録媒体の識別情報を取得し、
前記記録媒体の識別情報に応じた環境制御情報を記録する記録部を参照して、取得した前記識別情報に対応する環境制御情報を取得する、
ことを特徴とする付記１に記載の情報提示方法。
（付記３）
前記記録媒体は書籍であり、前記画像情報または前記タグ情報は前記書籍のページ毎に対応付けられ、
前記書籍のページ毎に対応付けられた画像情報または前記タグ情報に基づいて前記書籍の識別情報を取得する、
ことを特徴とする付記２に記載の情報提示方法。
（付記４）
視線センサを用いて前記書籍を閲覧するユーザーの視線を検知し、
検知した前記視線に関する情報と前記書籍の画像情報に基づいて前記書籍の識別情報を取得する、
ことを特徴とする付記３に記載の情報提示方法。
（付記５）
前記書籍の開いたページに添付されたタグ情報の配列、該書籍の開いたページの画像情報の配列、または該書籍の開いたページの特定の形状を検出し、
前記検出した結果に応じて、前記環境制御情報に基づいて前記表示装置に表示するコンテンツ情報の向きを制御する、
ことを特徴とする付記３又は４に記載の情報提示方法。
（付記６）
前記書籍に添付されたタグ情報に応じた外的情報を記録する記録部を参照して、取得した前記タグ情報に対応する外的情報を取得し、
取得した前記外的情報に基づいて、前記発光装置及び前記音響装置の少なくともいずれかを制御して光及び音声の少なくともいずれかにより前記書籍の所定のページを指定する、
ことを特徴とする付記３〜５のいずれか一項に記載の情報提示方法。
（付記７）
取得した前記環境制御情報に基づいて、前記音響装置を制御して音声により前記書籍に記載されている内容を出力するときに、前記発光装置を制御して前記音声で読んでいる前記書籍の位置を指定する、
ことを特徴とする付記３〜６のいずれか一項に記載の情報提示方法。
（付記８）
前記環境制御情報は、ユーザー操作に応じて変化するユーザーのジェスチャー情報、ユーザーの視線情報及びユーザーの発声情報を含む、
ことを特徴とする付記１〜７のいずれか一項に記載の情報提示方法。
（付記９）
前記環境制御情報は、前記センシング対象領域の周辺の環境に応じて変化する環境情報を含む、
ことを特徴とする付記１〜８のいずれか一項に記載の情報提示方法。
（付記１０）
記録媒体を配置する台と、
センシング対象領域に配置された記録媒体に含まれる画像情報、または該記録媒体に添付されたタグ情報に応じた環境制御情報を取得するプロセッサと、
取得した前記環境制御情報に基づき特定されるコンテンツ情報を出力する、前記センシング対象領域の周辺に設けられた発光装置、表示装置、音響装置、温度制御装置、風量制御装置の少なくともいずれかと、
を有することを特徴とする情報提示装置。
（付記１１）
前記表示装置は、
前記環境制御情報に基づき特定されるコンテンツ情報を、前記記録媒体の周囲に前後して設けられた表示対象領域に表示する、
ことを特徴とする付記１０に記載の情報提示装置。
（付記１２）
前記表示装置は、
前記環境制御情報に基づき特定されるコンテンツ情報を、前記載置台に支持された反射板により、前記記録媒体の周囲にてユーザーに対して斜め方向に形成された表示対象領域に表示する、
ことを特徴とする付記１０に記載の情報提示装置。

１：情報提示装置
１０：投影装置
１１：投影部
１２：プロジェクタ
１３：載置台
１４：支持部
１５：反射板
１７：撮像カメラ
１８：位置検出用カメラ
１９：視線センサ
２２：スクリーン
２４：表示制御部
２５：光制御部
２６：音声制御部
２７：温度制御部
２８：風量制御部
２９：振動制御部
２１：香り制御部
３１：記録部
３２：環境制御情報テーブル
３３：本ＩＤテーブル
３５：外的情報テーブル
３６：関連情報テーブル
３７：取得部
３８：画像処理部
３９：制御部
７１：発光装置
７２：音響装置
７３：温度制御装置
７４：風量制御装置
７５：振動装置
７６：放香装置

Claims (14)

1. 視線センサを用いて、センシング対象領域に配置された記録媒体を閲覧するユーザーの視線を検知し、
   検知した前記視線に関する情報と前記記録媒体に含まれる画像情報とに基づいて前記記録媒体の識別情報を取得し、
   取得した前記記録媒体の識別情報に応じた環境制御情報を記録する記録部を参照して、取得した前記記録媒体の識別情報に対応する環境制御情報を取得し、
   取得した前記環境制御情報に基づいて前記センシング対象領域の周辺の発光装置、表示装置、音響装置、温度制御装置、風量制御装置、振動装置及び放香装置の１または複数の組み合わせを制御する、
   処理をコンピュータが実行することを特徴とする情報提示方法。
2. センシング対象領域に配置された記録媒体に含まれる画像情報または前記記録媒体に添付されたタグ情報に基づいて前記記録媒体の識別情報を取得し、
   取得した前記記録媒体の識別情報に応じた環境制御情報を記録する記録部を参照して、取得した前記記録媒体の識別情報に対応する環境制御情報を取得し、
   取得した前記環境制御情報に基づいて前記センシング対象領域の周辺の発光装置、表示装置、音響装置、温度制御装置、風量制御装置、振動装置及び放香装置の１または複数の組み合わせを制御し、
   前記記録媒体の開いたページに添付されたタグ情報の配列、前記記録媒体の開いたページの画像情報の配列、または前記記録媒体の開いたページの特定の形状を取得し、
   前記取得した結果に応じて、前記環境制御情報に基づいて前記表示装置に表示するコンテンツ情報の向きを制御する、
   処理をコンピュータが実行することを特徴とする情報提示方法。
3. センシング対象領域に配置された記録媒体に含まれる画像情報または前記記録媒体に添付されたタグ情報に基づいて前記記録媒体の識別情報を取得し、
   取得した前記記録媒体の識別情報に応じた環境制御情報を記録する記録部を参照して、取得した前記記録媒体の識別情報に対応する環境制御情報を取得し、
   取得した前記環境制御情報に基づいて前記センシング対象領域の周辺の発光装置、表示装置、音響装置、温度制御装置、風量制御装置、振動装置及び放香装置の１または複数の組み合わせを制御し、
   前記記録媒体に添付されたタグ情報に応じた外的情報を記録する記録部を参照して、取得した前記タグ情報に対応する外的情報を取得し、
   取得した前記外的情報に基づいて、前記発光装置及び前記音響装置の少なくともいずれかを制御して光及び音声の少なくともいずれかにより前記記録媒体の所定のページを指定する、
   処理をコンピュータが実行することを特徴とする情報提示方法。
4. センシング対象領域に配置された記録媒体に含まれる画像情報または前記記録媒体に添付されたタグ情報に基づいて前記記録媒体の識別情報を取得し、
   取得した前記記録媒体の識別情報に応じた環境制御情報を記録する記録部を参照して、取得した前記記録媒体の識別情報に対応する環境制御情報を取得し、
   取得した前記環境制御情報に基づいて前記センシング対象領域の周辺の発光装置、表示装置、音響装置、温度制御装置、風量制御装置、振動装置及び放香装置の１または複数の組み合わせを制御し、
   取得した前記環境制御情報に基づいて、前記音響装置を制御して音声により前記記録媒体に記載されている内容を出力するときに、前記発光装置を制御して前記音声で読んでいる前記記録媒体の位置を指定する、
   処理をコンピュータが実行することを特徴とする情報提示方法。
5. 前記記録媒体は書籍である、
   ことを特徴とする請求項１〜４のいずれか一項に記載の情報提示方法。
6. 前記記録媒体は書籍であり、前記画像情報または前記タグ情報は前記書籍のページ毎に対応付けられ、
   前記書籍のページ毎に対応付けられた画像情報または前記タグ情報に基づいて前記書籍の識別情報を取得する、
   ことを特徴とする請求項２〜４のいずれか一項に記載の情報提示方法。
7. 前記環境制御情報は、ユーザー操作に応じて変化するユーザーのジェスチャー情報、ユーザーの視線情報及びユーザーの発声情報を含む、
   ことを特徴とする請求項１〜６のいずれか一項に記載の情報提示方法。
8. 前記環境制御情報は、前記センシング対象領域の周辺の環境に応じて変化する環境情報を含む、
   ことを特徴とする請求項１〜７のいずれか一項に記載の情報提示方法。
9. センシング対象領域に配置された記録媒体を閲覧するユーザーの視線を検知する視線センサと、
   前記記録媒体を配置する台と、
   検知した前記視線に関する情報と前記記録媒体に含まれる画像情報とに基づいて前記記録媒体の識別情報を取得し、取得した前記記録媒体の識別情報に応じた環境制御情報を記録する記録部を参照して、取得した前記記録媒体の識別情報に対応する環境制御情報を取得するプロセッサと、
   取得した前記環境制御情報に基づき特定されるコンテンツ情報を出力する、前記センシング対象領域の周辺に設けられた発光装置、表示装置、音響装置、温度制御装置、風量制御装置、振動装置及び放香装置の少なくともいずれかと、
   を有することを特徴とする情報提示装置。
10. 記録媒体を配置する台と、
    センシング対象領域に配置された前記記録媒体に含まれる画像情報または該記録媒体に添付されたタグ情報に基づいて前記記録媒体の識別情報を取得し、取得した前記記録媒体の識別情報に応じた環境制御情報を記録する記録部を参照して、取得した前記記録媒体の識別情報に対応する環境制御情報を取得するプロセッサと、
    取得した前記環境制御情報に基づき特定されるコンテンツ情報を出力する、前記センシング対象領域の周辺に設けられた発光装置、表示装置、音響装置、温度制御装置、風量制御装置、振動装置及び放香装置の少なくともいずれかと、を有し、
    前記プロセッサは、
    前記記録媒体の開いたページに添付されたタグ情報の配列、前記記録媒体の開いたページの画像情報の配列、または前記記録媒体の開いたページの特定の形状を取得する取得部と、
    前記取得した結果に応じて、前記環境制御情報に基づいて前記表示装置に表示するコンテンツ情報の向きを制御する制御部と、
    を有することを特徴とする情報提示装置。
11. 記録媒体を配置する台と、
    センシング対象領域に配置された前記記録媒体に含まれる画像情報または前記記録媒体に添付されたタグ情報に基づいて前記記録媒体の識別情報を取得し、取得した前記記録媒体の識別情報に応じた環境制御情報を記録する記録部を参照して、取得した前記記録媒体の識別情報に対応する環境制御情報を取得するプロセッサと、
    取得した前記環境制御情報に基づき特定されるコンテンツ情報を出力する、前記センシング対象領域の周辺に設けられた発光装置、表示装置、音響装置、温度制御装置、風量制御装置、振動装置及び放香装置の少なくともいずれかと、を有し、
    前記プロセッサは、
    前記記録媒体に添付されたタグ情報に応じた外的情報を記録する記録部を参照して、取得した前記タグ情報に対応する外的情報を取得する取得部と、
    取得した前記外的情報に基づいて、前記発光装置及び前記音響装置の少なくともいずれかを制御して光及び音声の少なくともいずれかにより前記記録媒体の所定のページを指定する制御部と、
    を有することを特徴とする情報提示装置。
12. 記録媒体を配置する台と、
    センシング対象領域に配置された前記記録媒体に含まれる画像情報または前記記録媒体に添付されたタグ情報に基づいて前記記録媒体の識別情報を取得し、
    取得した前記記録媒体の識別情報に応じた環境制御情報を記録する記録部を参照して、取得した前記記録媒体の識別情報に対応する環境制御情報を取得するプロセッサと、
    取得した前記環境制御情報に基づき特定されるコンテンツ情報を出力する、前記センシング対象領域の周辺に設けられた発光装置、表示装置、音響装置、温度制御装置、風量制御装置、振動装置及び放香装置の少なくともいずれかと、を有し、
    前記プロセッサは、
    取得した前記環境制御情報に基づいて、前記音響装置を制御して音声により前記記録媒体に記載されている内容を出力するときに、前記発光装置を制御して前記音声で読んでいる前記記録媒体の位置を指定する制御部、
    を有することを特徴とする情報提示装置。
13. 前記表示装置は、
    前記環境制御情報に基づき特定されるコンテンツ情報を、前記記録媒体の周囲にてユーザーに対して奥行方向に前後して形成された表示対象領域に表示する、
    ことを特徴とする請求項９〜１２のいずれか一項に記載の情報提示装置。
14. 前記表示装置は、
    前記環境制御情報に基づき特定されるコンテンツ情報を、前記台に支持された反射板により、前記記録媒体の周囲にてユーザーに対して斜め方向に形成された表示対象領域に表示する、
    ことを特徴とする請求項９〜１２のいずれか一項に記載の情報提示装置。

Images