JP6430420B2 - 情報呈示システム、および情報呈示方法 - Google Patents

Description

本発明は、対象に知覚効果を付加する技術に関する。

プロジェクションマッピングは対象の見かけを変える有効な手段である。そのひとつである「変幻灯」（登録商標）は静止した対象に動きを与えることができる（例えば、特許文献１等参照）。今までに無かった視覚効果を生み出すことができるこのような技術は、宣伝・アートなどへの幅広い利用が期待されている。

国際公開第ＷＯ／２０１５／１６３３１７号

「変幻灯」に代表されるプロジェクションマッピングでは、対象に応じたパターンを生成し、それを対象に投影することで所望の効果が得られる。従来、ここに投影像と対象との精密な位置合わせのための複雑な手作業が必要となり、プロジェクションマッピングを一般利用する際の技術的制約になってきた。このような問題はプロジェクションマッピングに限らず、対象に応じた知覚効果をその対象に付加する技術に共通するものである。

本発明の課題は、対応に応じた知覚効果をその対象に自動的に付加することである。

対象を表す第１信号に対応する第２信号を検索によって得、当該第２信号または第２信号に由来する情報である統合情報と、当該対象と、が利用者に統合して知覚されるように、当該統合情報を呈示する。

本発明では、対応に応じた知覚効果をその対象に自動的に付加できる。

図１は実施形態の情報呈示システムの構成を例示するブロック図である。 図２は実施形態の重畳情報生成装置の構成を例示するブロック図である。 図３Ａは対象を撮影して得られる静止画像の一例を説明するための概念図である。図３Ｂは静止画像から得られる単一画像の一例を説明するための概念図である。図３Ｃは単一画像の動きの一例を説明するための概念図である。 図４は対象に投影された映像の一例を説明するための概念図である。 図５Ａは静止画像から得られる単一画像の一例を説明するための概念図である。図５Ｂは単一画像の動きの一例を説明するための概念図である。図５Ｃは対象に投影された映像の一例を説明するための概念図である。 図６Ａは単一画像を動かすことで得られる映像の一例を説明するための概念図である。図６Ｂは対象に投影された映像の一例を説明するための概念図である。 図７は実施形態の情報呈示システムの構成を例示するブロック図である。 図８Ａは対象を撮影して得られる静止画像を動かすことで得られる映像の一例を説明するための概念図である。図８Ｂは静止画像から得られる単一画像の一例を説明するための概念図である。図８Ｃは投影された映像および単一画像の一例を説明するための概念図である。 図９Ａは対象を撮影して得られる静止画像を動かすことで得られる映像の一例を説明するための概念図である。図９Ｂは単一画像を動かすことで得られる映像の一例を説明するための概念図である。図９Ｃは投影された映像および単一画像の一例を説明するための概念図である。 図１０Ａは対象を撮影して得られる静止画像を動かすことで得られる映像の一例を説明するための概念図である。図１０Ｂは単一画像を動かすことで得られる映像の一例を説明するための概念図である。図１０Ｃは投影された映像および単一画像の一例を説明するための概念図である。 図１１は実施形態の情報呈示システムの構成を例示するブロック図である。 図１２は実施形態の情報呈示システムの構成を例示するブロック図である。 図１３は実施形態の情報呈示システムの構成を例示するブロック図である。

以下、本発明の実施形態を説明する。
［概要］
まず、実施形態の概要を説明する。
実施形態では、「対象」を表す「第１信号」に対応する「第２信号」を検索によって得、当該「第２信号」または「第２信号に由来する情報」である「統合情報」を「対象」に統合させて呈示する。言い換えると、「統合情報」と「対象」とが利用者に統合して知覚（脳内信号処理：脳内で統合されて処理）されるように当該「統合情報」を呈示する。これにより、「対象」に応じた知覚効果をその「対象」に自動的に付加できる。例えば「第１信号」が「対象」を表す画像信号または映像信号であり、「対象」を撮影して「第１信号」を得、「統合情報」を「対象」に統合させて呈示する。或いは「第１信号」が「対象」に対応する音響信号であり、「対象」を集音して「第１信号」を得、「統合情報」を「対象」に統合させて呈示してもよい。「対象」に「統合情報」が統合されて呈示されることで、それらを知覚するヒトなどの動物の脳内では「対象」の像と当該「統合情報」とが互いに関連する情報として信号処理される。例えば「統合情報」が像である場合には、人間の空間周波数統合メカニズムにより、「対象」の像と「統合情報」の像とが一つに統合されて知覚される。

「対象」は、例えば、所定面（例えば、紙、ボード、壁、スクリーン、電子ペーパー、通常のディスプレイや透過型ディスプレイなどの画面）上のパターン（例えば、所定面に「印刷」「描画」「表示」または「投影」された画像や写真、所定面を構成する素材の色合いに基づく柄や模様、所定面の形状に基づく模様、境界線、濃淡など）である。「所定面」は、平面であってもよいし、平面とみなせる物であってもよいし、曲面であってもよいし、凹凸面であってもよい。「対象」が、立体的形状を備える物（例えば、花瓶、ボール、模型、建築物など）の表面のパターン（例えば、表面に「印刷」「描画」「表示」または「投影」された画像や写真、表面を構成する素材の色合いに基づく柄や模様、表面の形状に基づく模様、境界線、濃淡など）であってもよい。その他、「対象」が音響信号であってもよい。すなわち、「対象」は人間による知覚が可能であり、かつ、「対象」に対応する「第１信号」を得られるものであれば何でもよい。

「第１信号」に対応する「第２信号」はデータベースに格納され、「第１信号」を用いてこのデータベースを検索することで抽出できる。データベースはネットワーク上のサーバ装置内に格納されていてもよいし、ローカルな装置内に格納されていてもよい。「第２信号」および「第２信号に由来する情報」に限定はなく、「第２信号」または「第２信号に由来する情報」である「統合情報」が「対象」とともに脳内信号処理されるのであればどのようなものでもよい。例えば、「第２信号」が「対象」の像に対応する音（例えば、音声、音楽、環境音など）を表し、「統合情報」が「第２信号」である音（例えば、音声、音楽、環境音など）を含み、「対象」に音を重畳（定位）させてもよい。或いは「第２信号」が「対象」の像に対応する音（例えば、音声、音楽、環境音など）を表し、「統合情報」が「第２信号に由来する情報」である音（例えば、音声、音楽、環境音などを加工した音）を含み、「対象」に加工した音を重畳（定位）させてもよい。或いは「第２信号」が「対象」の像に対応する画像または映像（例えば、透過性のある画像または映像）を表し、「統合情報」が「第２信号」である画像または映像を含み、「対象」に画像または映像を重畳させてもよい。或いは「第２信号」が「対象」の像に対応する画像または映像（例えば、透過性のない画像または映像）を表し、「統合情報」が「第２信号に由来する情報」である透過性のない画像または映像に基づいて生成された透過性のある画像または映像を含み、「対象」に透過性のある画像または映像を重畳させてもよい。「統合情報」である「画像または映像」は、輝度成分パターンを持つ画像または映像であってもよいし、「変幻灯」における「対象に与えられる動きに対応する輝度運動成分」を含む映像（例えば、特許文献１等参照）であってもよいし、一般的なプロジェクションマッピングにおける画像または映像であってもよい。「画像または映像」である「統合情報」とその他の情報（例えば音）とが「対象」に重畳されてもよいし、「音」である「統合情報」とその他の情報（例えば、画像または映像）とが「対象」に重畳されてもよいし、「画像または映像」および「音」である「統合情報」が「対象」に重畳されてもよい。「第２信号に由来する情報」は「第２信号」そのものであってもよいし、「第２信号」に対する演算処理（例えば、画像処理や音声処理による補完や補正）によって得られるものであってもよい。「第１信号」に基づく演算処理を「第２信号」に施したものを「第２信号に由来する情報」としてもよい。例えば、「第１信号」に対応する輝度成分パターンを持つ画像または映像を「第２信号」として得、「第２信号」に「対象」に対応する変形を行ったものを、「第２信号に由来する情報」としてもよい。

例えば、「統合情報」は、「対象」に与えられる動きに対応する輝度運動成分を含む「映像」であり、「対象」に動きが与えられているように知覚させるために「対象」に重畳する映像である。「対象」の領域と、「映像」中の「対象」に与えられる動きに対応する領域と、が重なるように、「映像」を「対象」に重畳することで、「対象」に動きの変化が与えられているように知覚させることができる。この「映像」は、例えば「対象」に対応する映像中の複数個のフレームそれぞれの輝度成分から、「対象」に対応する映像に基づく静止画像から得られる輝度静止成分を減じて得られる輝度運動成分を含む。「対象」に対応する映像に基づく静止画像は、「対象」に対応する映像を時間平均した画像であってもよいし、「対象」に対応する静止画像であってもよいし、「対象」に対応する映像から抽出した１フレーム分の画像であってもよい。好ましくは「映像」は、「対象」に与えられる動きに対応する輝度運動成分のみを含む映像である。これにより、「対象」の色や質感の見かけをほとんど変化させることなく、「対象」に動きの変化が与えられているように知覚させることができる。

また、「第１信号」に対応する「動きパターン」の情報を「第２信号」として得、当該「動きパターン」を表す「輝度成分パターン」を持つ画像または映像を「統合情報」として得てもよい。例えば、「第１信号」が「対象」を撮影して得られた画像であり、「第２信号」が「第１信号」中の「対象」部分の画像に対応する動きベクトルを表す情報（「第１信号」に対応する動きパターンの情報）であり、「第２信号に由来する情報」が第２信号である動きベクトルに基づいて生成された『「変幻灯」における「対象に与えられる動きに対応する輝度運動成分（動きパターンを表す輝度成分パターン）」を含む映像』であってもよい。この場合、想定される対象、例えば、ペットボトル、書籍といったカテゴリごとに「第２信号」を用意しておく。ペットボトルであれば、ペットボトルに与えたい動きに対応する動きベクトルを画素値とした画像(以下、「動きベクトルマップ」と記載)を、「第２信号」、即ち『「対象」部分の画像に対応する動きベクトルマップ』として用意しておく。これにより、「第１信号」である「対象」を撮影した画像から、「対象」に対応する「第２信号」である動きベクトルマップ（第１信号に対応する動きパターンの情報）を、検索により得ることができる。この場合、「第２信号」である動きベクトルマップに基づいて、「第１信号」中の対象の位置や大きさに合わせた『「変幻灯」における「対象に与えられる動きに対応する輝度運動成分（動きパターンを表す輝度成分パターン）」を含む映像』を生成し、「第２信号に由来する情報」とすればよい。また、与えたい動きは、１つであってもよいし、複数から選択できるようにしてもよい。

或いは、「統合情報」が「対象」に対応する「単一画像」を含んでもよい。この場合、「対象」に動きの変化が与えられているように知覚させるために、「単一画像」と「対象」とを重畳させた状態で、「単一画像」および「対象」の少なくとも一方を動かし、「単一画像」が含む「画像領域」の輝度成分パターンと「対象」が含む「対象パターン（「単一画像」が含む「画像領域」に対応するパターン）」との間の位置関係を変化させてもよい。「単一画像」を用いるため、複数種類の画像からなる画像列を生成する従来のプロジェクションマッピングよりも簡易に、対象に動きの変化が与えられているように知覚させることができる。なお「対象に動きの変化が与えられているように知覚させる」とは、静止している「対象」に動きが与えられたように知覚されること、または、動いている「対象」の動きが変化したように知覚されることを意味する。

「単一画像」は「対象」に対応する１枚の静止画像（１種類の画像）であり、その全領域または一部の領域を「画像領域」と呼ぶことにする。「単一画像」は「対象」を撮影して得られた静止画像から得られたものであってもよいし、「対象」と同一または近似する像を撮影した静止画像から得られたものであってもよいし、「対象」に基づいて作画された静止画像から得られたものであってもよい。「単一画像」の輝度は空間的に一様ではなく、「単一画像」が含む「画像領域」は輝度成分からなる模様である「輝度成分パターン」を持つ。「単一画像」は輝度成分のみからなる画像であってもよいし、輝度成分と色成分（色差成分）とからなる画像であってもよい。「対象」の色や質感の変化を抑えつつ、「対象」に動きの変化が与えられているように知覚させるためには、「単一画像」の輝度成分が色成分に比べて優位に知覚されるものであることが望ましい。「単一画像」が輝度成分のみからなる画像である場合には、「対象」の色や質感の見かけをほとんど変化させることなく、「対象」に動きの変化が与えられているように知覚させることができる。また「画像領域」の高空間周波数成分が低空間周波数成分よりも優位に知覚されることにより、「対象」に明確に動きを知覚させることができる（この理由は後述する）。そのため「画像領域」は、高空間周波数成分が低空間周波数成分よりも優位に知覚される領域であることが望ましい。言い換えると、「画像領域」は、低空間周波数成分が高空間周波数成分に対して抑圧された領域であるか、高空間周波数成分が低空間周波数成分よりも強調された領域であることが望ましい。

「単一画像」と「対象」とを重畳させる方法に限定はない。透過性のある「単一画像」を透過性のない「対象」に重ねて表示してもよいし、透過性のある「対象」を透過性のない「単一画像」に重ねて表示してもよいし、透過性のある「単一画像」を透過性のある「対象」に重ねて表示してもよいし、透過性のある「対象」を透過性のある「単一画像」に重ねて表示してもよい。例えば、立体物の表面や印刷や描画された「対象」にプロジェクタなどで「単一画像」を投影してもよいし、投影された「対象」に「単一画像」を投影してもよいし、「対象」と「単一画像」とが同一画面上に表示されてもよいし、ディスプレイ（非透過型または透過型）に表示された「対象」に「単一画像」を投影してもよいし、ディスプレイ（非透過型または透過型）に表示された「単一画像」に「対象」を投影してもよい。また、例えば「対象」と観察者との間に透過型ディスプレイなどの透明な液晶画面を設置し、当該液晶画面に透過性のある「単一画像」を表示してもよい。これによっても、観察者から見ると、「対象」に透過性のある「単一画像」を重畳させたことになる。また、例えば投影または表示された「単一画像」と観察者との間に透過型ディスプレイなどの透明な液晶画面を設置し、当該液晶画面に透過性のある「対象」を表示してもよい。観察者から見ると、「単一画像」に透過性のある「対象」を重畳させたことになる。透過性のある材質（プラスチック、ポリエチレン、ガラスなど）に透過性のある「単一画像」（第２信号に由来する情報）を表示する「単一画像透過部材」を用いてもよい。光源からの光を「単一画像透過部材」に入射させ、透過後の光を「対象」に投影することで、「単一画像」を「対象」に重畳させることができる。「単一画像透過部材」が透過性のある「単一画像」を表示する透明な液晶画面であってもよい。さらに透過性のある材質に透過性のある「対象」を印刷または描画した「対象透過部材」を設け、光源からの光を「単一画像透過部材」に入射させ、「単一画像透過部材」を透過した出射光を「対象透過部材」に投影することで、「単一画像」を「対象」に重畳させてもよい。この場合、光源と観察者との間に「単一画像透過部材」および「対象透過部材」が配置され、光源と「対象透過部材」との間に「単一画像透過部材」が配置されてもよい。これにより観測者は「対象透過部材」の透過映像を見ることで「単一画像」が「対象」に重畳した様子を観測できる。「対象透過部材」が透過性のある「対象」を表示する透明な液晶画面であってもよい。光源からの光を「対象透過部材」に入射させ、透過後の光を「単一画像」に投影することで、「単一画像」と「対象」とを重畳させてもよい。また、スマートフォンなどの表示画面に「対象」を表示し、その表示画面上に「単一画像透過部材」を取り付けることで「単一画像」を「対象」に重畳させてもよい。光源はＬＥＤや蛍光灯などの人工的なものであってもよいし、太陽などの自然光のものであってもよい。

「画像領域」が含む「輝度成分パターン」は「対象」が含む「対象パターン」またはその近傍に重ねられる。例えば、「輝度成分パターン」の輪郭またはその近傍が「対象パターン」の輪郭と重なるように配置されてもよいし、「単一画像」の輪郭またはその近傍が「対象」の輪郭と重なるように配置されてもよいし、「輝度成分パターン」が含むエッジまたはその近傍が「対象パターン」が含むエッジに重なるように配置されてもよい。

「単一画像」および「対象」の少なくとも一方をソフトウェア的に動かしてもよいし、ハードウェア的に動かしてもよい。ソフトウェア的に動かす場合には、例えば、「表示」または「投影」される「単一画像」および「対象」の少なくとも一方のパターンの動きを画像処理で実現すればよい。ハードウェア的に動かす場合には、「単一画像」が「表示」された部材を機械的に動かしてもよいし、「対象」が「印刷」「描画」または「表示」された部材を機械的に動かしてもよいし、「単一画像」や「対象」を投影するための装置を機械的に動かしてもよい。光源からの光を「単一画像透過部材」に透過させ、透過後の光を「対象」に投影することで、「単一画像」を「対象」に重畳させる場合、光源から「対象」までの光路に存在する部材（光源および「対象」を含む）の少なくとも何れかに関する機構を機械的に動かしてもよい。光源からの光を「単一画像透過部材」に入射させ、「単一画像透過部材」を透過した出射光を「対象透過部材」に投影することで「単一画像」を「対象」に重畳させる場合、光源から「対象透過部材」までの光路に存在する部材（光源および「対象透過部材」を含む）の少なくとも何れかに関する機構を機械的に動かしてもよい。フィルムなどの可撓性がある部材に表示された「単一画像」の場合、その部材を機械的に湾曲させることで「単一画像」を湾曲させることができる。同様に、可撓性がある部材に印刷、描画、または表示された「対象」である場合、その部材を機械的に湾曲させることで「対象」を湾曲させることができる。表示画面に「対象」を表示し、その表示画面に「単一画像透過部材」を取り付ける場合、「単一画像透過部材」を機械的に動かしてもよい（スライドなど）。

例えば、「対象部」に「対象」が表れ、透過性のある「単一画像部」に透過性のある「単一画像」が表れ、「単一画像部」が「光源」と「対象部」との間に配置されているとする。「対象部」の例は、所定面（例えば、紙、ボード、壁、スクリーン、電子ペーパー、通常のディスプレイや透過型ディスプレイなどの画面）や立体的形状を備える物（例えば、花瓶、ボール、模型、建築物など）である。前述の「対象透過部材」を「対象部」としてもよい。「対象」は「対象部」上のパターンや「対象部」の表面のパターンである。「単一画像部」の例は前述の「単一画像透過部材」である。「光源」は「単一画像部」および「対象部」に対して設置された専用の光源（ＬＥＤ等）であってもよいし、外部の光源（ＬＥＤ、蛍光灯、自然光等）であってもよい。この場合に「光源」からの光による投影によって透過性のある「単一画像」を「対象」に重畳させた状態（「単一画像」の投影像を「対象」に重畳させた状態）で、「光源」から「対象」（対象部）までの光路上の何れかの部材（例えば、「光源」「単一画像部」「対象部」および光路上に配置されたレンズやフィルターなどのその他の部材の少なくとも何れか）に関する機構を動かし、重畳した「単一画像」が含む画像領域の輝度成分パターンと「対象」が含むパターン（「単一画像」が含む画像領域に対応するパターン）との間の位置関係を変化させてもよい。

或いは、例えば「単一画像部」に単一画像が表れ、「対象部」に透過性のある「対象」が表れており、「対象部」が「光源」と「単一画像部」との間に配置されているとする。「単一画像部」の例は、所定面（例えば、スクリーン、電子ペーパー、通常のディスプレイや透過型ディスプレイなどの画面）である。前述の「単一画像透過部材」を「単一画像部」としてもよい。「対象部」の例は前述の「対象透過部材」である。この場合に「光源」からの光による投影によって透過性のある「対象」を「単一画像」に重畳させた状態（「対象」の投影像を「単一画像」に重畳させた状態）で、「光源」から「単一画像」（単一画像部）までの光路上の何れかの部材（例えば、「光源」「単一画像部」「対象部」および光路上に配置されたレンズやフィルターなどのその他の部材の少なくとも何れか）に関する機構を動かし、重畳した「単一画像」が含む画像領域の輝度成分パターンと「対象」が含むパターン（「単一画像」が含む画像領域に対応するパターン）との間の位置関係を変化させてもよい。

或いは、例えば「対象部」に「対象」が表れ、透過性のある「単一画像部」で透過性のある「単一画像」を表示するものとする。「単一画像部」は「対象部」からの光（像）を透過させる位置に配置されているとする。例えば、「単一画像部」は「単一画像」を表示する透過型ディスプレイであり、「単一画像部」が「対象」に対向した状態で配置されている。この場合に透過性のある「単一画像部」を透過した「対象」を「単一画像部」で表示した「単一画像」に重畳させた状態で、「対象部」から「単一画像部」までの光路上の何れかの部材に関する機構（例えば、「単一画像部」「対象部」および光路上に配置されたレンズやフィルターなどのその他の部材の少なくとも何れか）を動かし、重畳した「単一画像」が含む画像領域の輝度成分パターンと「対象」が含むパターン（「単一画像」が含む画像領域に対応するパターン）との間の位置関係を変化させてもよい。

或いは、例えば透過性のある「対象部」が透過性のある対象を表示し、「単一画像部」に単一画像が表れ、「対象部」が「単一画像部」からの光（像）を透過させる位置に配置されているものとする。この場合に透過性のある「対象部」を透過した単一画像を「対象部」で表示した対象に重畳させた状態で、「単一画像部」から「対象部」までの光路上の何れかの部材（例えば、「単一画像部」「対象部」および光路上に配置されたレンズやフィルターなどのその他の部材の少なくとも何れか）に関する機構を動かし、重畳した「単一画像」が含む画像領域の輝度成分パターンと「対象」が含むパターン（「単一画像」が含む画像領域に対応するパターン）との間の位置関係を変化させてもよい。

なお、機械的な動きの動力は、アクチュエータなどの電気的なものであってもよいし、人力によるものであってもよいし、風力や揺れなどの環境によるものであってもよい。「単一画像」および「対象」の一方をソフトウェア的に動かし、他方をハードウェア的に動かしてもよい。

「単一画像」および「対象」の少なくとも一方の動きの例は、移動、拡大、縮小、回転、および湾曲の少なくとも何れかであり、これらの動きを複合した動きであってもよい。これらの動きは「単一画像」と「対象」との間の相対的な動きであってもよいし、所定の基準点に対する絶対的な動きであってもよい。また動きは反復的や周期的なものであってもよいし、反復的や周期的でないものであってもよい。また「単一画像」および「対象」の少なくとも一方の「動き」は、連続的な動きであってもよいし、断続的な動きであってもよいし、１回のみの動きであってもよい。

「画像領域」の「輝度成分パターン」と「対象」が含む「対象パターン」との間の位置関係（例えば、相対位置）の変化は、所定の範囲内に制限される。例えば「輝度成分パターン」が「対象パターン」の近傍を移動する範囲に制限される。例えば、「画像領域」の輪郭の近傍が「対象パターン」の輪郭と重なるように配置された状態で「画像領域」と「対象パターン」との間の位置関係を変化させてもよいし、「単一画像」の輪郭の近傍が「対象」の輪郭と重なるように配置された状態で「画像領域」と「対象パターン」との間の位置関係を変化させてもよいし、「画像領域」が含むエッジの近傍が「対象パターン」が含むエッジの近傍に重なるように配置された状態で「画像領域」と「対象パターン」との間の位置関係を変化させてもよい。「輝度成分パターン」と「対象パターン」とのずれ幅は、両者が見かけ上分離しない範囲内に制限される。見かけ上分離しない範囲については、輝度成分パターンや対象パターンの大きさ、スクリーン等に表示する場合にはその大きさ、ユーザからの視角などを考慮して設定する。上述の動きの中で「輝度成分パターン」が「対象パターン」と交わってもよいし、交わらなくてもよい。

［第１実施形態］
以下、図面を参照して本発明の実施形態を説明する。
＜情報呈示システムの構成＞
図１に例示するように、本形態の情報呈示システム１は、撮影装置１３、投影装置１６（呈示部）、統合像生成装置１５（呈示部）、対象検索装置１７、およびデータベース（ＤＢ）装置１９を有し、対象１８に動きの変化が与えられているように知覚させる。ＤＢ装置１９はＤＢ部１９１および検索処理部１９２（検索部）を含む。各装置はインターネット等の公衆ネットワークやＬＡＮなどのローカルネットワークを通じて通信可能に構成されてもよいし、それらの少なくとも一部の装置が同一のハードウェアに実装されていてもよい。例えば、撮影装置１３、投影装置１６、統合像生成装置１５、および対象検索装置１７がローカルに接続され、統合像生成装置１５および対象検索装置１７が公衆ネットワークを通じてＤＢ装置１９に接続されてもよい。撮影装置１３は可視光の像を撮影可能なカメラであってもよいし、紫外線や赤外線を撮影可能なカメラであってもよい。投影装置１６は、例えば光源を有し、透過性のある像を投影するプロジェクタである。撮影装置１３と投影装置１６との相対的な位置（相対座標）は予め定められていてもよいし、定められていなくてもよい。相対的な位置が定められていない場合には、利用時に撮影装置１３と投影装置１６との相対的な位置を調整する必要がある。統合像生成装置１５、対象検索装置１７、およびＤＢ装置１９は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。統合像生成装置１５、対象検索装置１７、およびＤＢ装置１９は、例えば、パーソナルコンピュータ、スマートフォン端末装置、タブレット端末装置、サーバ装置などのコンピュータにプログラムを実装することで構成される。

ＤＢ装置１９のＤＢ部１９１には、複数の「対象」のそれぞれについて、当該「対象」を表す情報（例えば、画像パターンや特徴量など）と、当該「対象」に投影する画像パターンを含む画像または映像と、が互いに対応付けられて格納されている。例えば、以下のように、「対象を表す情報」と当該対象に投影する「画像または映像（第２信号）」とを関連付けたデータベースがＤＢ部１９１に格納されてもよい（表１）。

「対象」が立体的形状を有するものの表面のパターンである場合、複数の方向から１つの「立体的形状を有するもの（立体物）」を撮影して得られる複数の画像パターン（３次元データ）や、そのような複数の画像パターンに対応する複数の特徴量を「対象を表す情報」としてもよい。例えば、以下のように「立体物」と、当該立体物に対応する複数の対象の「対象を表す情報」と、当該対象に投影する「画像または映像」とを関連付けたデータベースがＤＢ部１９１に格納されてもよい（表２）。

このようなデータベースと周知のオブジェクト認識技術（例えば、参考文献１〜３等参照）を用いることにより、入力された「対象」の像を表す信号（第１信号）からその「対象」を推定し、その「対象を表す情報」に対応付けられた「画像または映像（第２信号）」を抽出することができる。また、カメラや他のセンサ情報などを用いることで、入力された「第１信号」に対応する「対象」が表れている「立体物」の向き、位置、サイズ、幾何学的歪みなどを推定できる（例えば、参考文献２等参照）。また３次元推定せず、入力される二次元画像の歪み（ホモグラフィ変換）をシフト特徴量などから推定してもよい。
［参考文献１］上村弥生，宮地寿人，草地良規，“ＮＴＴ技術ジャーナル：オブジェクト認識技術のプロジュース”，[online]，２００７年３月，[平成２８年１月２０日検索]，インターネット＜http://www.ntt.co.jp/journal/0703/files/jn200703018.pdf＞
［参考文献２］村瀬洋，Ｓ．Ｎａｙａｒ，“２次元照合による３次元物体認識−パラメトリック固有空間法″，信学論（Ｄ−ＩＩ），ｖｏｌ．Ｊ７７−Ｄ−ＩＩ，ｎｏ．１１，ｐｐ．２１７９−２１８７，Ｎｏｖ．１９９４．
［参考文献３］Gary Bradsky & Adrian Kaehler, "Learning OpenCV: Computer Vision with the OpenCV Library". O'Reilly 2008. Chapter 11: Camera Models and Calibration. Page 384.

ＤＢ部１９１に格納される「映像」は複数の画像からなる動画であってもよいし、動画圧縮技術によって一部の画像情報が省略された動画であってもよい。これらの画像や映像は、（１）一般的なプロジェクションマッピングに用いられるものであってもよいし、（２）「変幻灯」（例えば、特許文献１等参照）で用いられる「対象に与えられる動きに対応する輝度運動成分（輝度成分パターン）」を含む映像（例えば、当該輝度運動成分のみからなる映像）であってもよいし、（３）輝度成分パターンを含む「画像領域」を持つ「単一画像」や、そのような「単一画像」を動かすことで得られる映像であってもよい。「単一画像」の「画像領域」は高空間周波数成分が低空間周波数成分よりも優位に知覚される領域である。例えば「単一画像」は輝度成分のみからなる。「単一画像」を動かすことで得られる映像の例は、「単一画像」の移動、拡大、縮小、回転、および湾曲の少なくとも何れかによって得られる複数が画像からなる映像である。

≪対象に与えられる動きに対応する輝度運動成分を含む映像の生成方法の例示≫
上述の「対象に与えられる動きに対応する輝度運動成分を含む映像」の生成方法を例示する。対象の静止画像をＭ_{ｓｔａｔｉｃ}と表現する。静止画像Ｍ_{ｓｔａｔｉｃ}は有彩色を含むカラー動画であり、Ｒチャネル、Ｇチャネル、Ｂチャネルの強度変化を表す画素値で構成されている。

ただし、｛Ｒ_{ｓｔａｔｉｃ}（ｘ，ｙ）｝，｛Ｇ_{ｓｔａｔｉｃ}（ｘ，ｙ）｝，｛Ｂ_{ｓｔａｔｉｃ}（ｘ，ｙ）｝は、それぞれ、画素値Ｒ_{ｓｔａｔｉｃ}（ｘ，ｙ），Ｇ_{ｓｔａｔｉｃ}（ｘ，ｙ），Ｂ_{ｓｔａｔｉｃ}（ｘ，ｙ）を要素とする空間２次元を持つ２次元行列である。画素値Ｒ_{ｓｔａｔｉｃ}（ｘ，ｙ），Ｇ_{ｓｔａｔｉｃ}（ｘ，ｙ），Ｂ_{ｓｔａｔｉｃ}（ｘ，ｙ）は、それぞれ水平位置ｘ、垂直位置ｙでのＲチャネル、Ｇチャネル、Ｂチャネルの強度を表す。ｘ，ｙは、それぞれ２次元座標系で静止画像を表現した場合の水平位置および垂直位置を示す整数である。水平位置の下限および上限をｘ_ｍｉｎおよびｘ_ｍａｘ（ｘ_ｍｉｎ＜ｘ_ｍａｘ）とし、垂直位置の下限および上限ｙ_ｍｉｎおよびｙ_ｍａｘ（ｙ_ｍｉｎ＜ｙ_ｍａｘ）とする。ｘ，ｙはｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘを満たす。

対象の静止画像Ｍ_{ｓｔａｔｉｃ}に動きを与えた動画をＭ_１と表現する。静止画像Ｍ_{ｓｔａｔｉｃ}に与えられる動きに限定はなく、どのような動きが与えられてもよい。例えば、静止画像Ｍ_{ｓｔａｔｉｃ}に対して人為的に動きが与えられてもよいし、静止画像Ｍ_{ｓｔａｔｉｃ}が既に存在する動画Ｍ_１の何れかのフレームの画像であってもよいし、動画Ｍ_１を時間平均したものであってもよい。動画Ｍ_１は有彩色を含むカラー動画であり、Ｒチャネル、Ｇチャネル、Ｂチャネルの強度変化を表す画素値で構成されている。

ただし、｛Ｒ（ｘ，ｙ，ｔ）｝，｛Ｇ（ｘ，ｙ，ｔ）｝，｛Ｂ（ｘ，ｙ，ｔ）｝は、それぞれ、画素値Ｒ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｔ），Ｂ（ｘ，ｙ，ｔ）を要素とする空間２次元、時間１次元の情報を持つ３次元行列である。画素値Ｒ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｔ），Ｂ（ｘ，ｙ，ｔ）は、それぞれ水平位置ｘ、垂直位置ｙ、フレーム番号ｔでのＲチャネル、Ｇチャネル、Ｂチャネルの強度を表す。ｘ，ｙ，ｔは、それぞれ３次元座標系で動画を表現した場合の水平位置、垂直位置、フレーム番号を示す整数である。水平位置の下限および上限をｘ_ｍｉｎおよびｘ_ｍａｘ（ｘ_ｍｉｎ＜ｘ_ｍａｘ）とし、垂直位置の下限および上限ｙ_ｍｉｎおよびｙ_ｍａｘ（ｙ_ｍｉｎ＜ｙ_ｍａｘ）とし、フレーム番号の下限および上限をｔ_ｍｉｎおよびｔ_ｍａｘ（ｔ_ｍｉｎ＜ｔ_ｍａｘ）とする。ｘ，ｙ，ｔはｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘを満たす。

次に、特定の装置が、画素値Ｒ（ｘ，ｙ，ｔ），Ｇ（ｘ，ｙ，ｔ），Ｂ（ｘ，ｙ，ｔ）をＲ_{ｏｒｉｇｉｎａｌ}（ｘ，ｙ，ｔ），Ｇ_{ｏｒｉｇｉｎａｌ}（ｘ，ｙ，ｔ），Ｂ_{ｏｒｉｇｉｎａｌ}（ｘ，ｙ，ｔ）とおき、これらを各色が輝度に貢献する程度に応じて重み付け加算し、動画Ｍ_１の輝度成分Ｙ_{ｏｒｉｇｉｎａｌ}（ｘ，ｙ，ｔ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）を得て出力する。
Y_original(x,y,t)=α_RR_original(x,y,t)+α_GG_original(x,y,t)+α_BB_original(x,y,t) (3)
ただし、α_Ｒ，α_Ｇ，α_Ｂは重み係数（定数）である（例えば、α_Ｒ＝０．２９９，α_Ｇ＝０．５８７Ｇ，α_Ｂ＝０．１１４）。

さらに、特定の装置が、各フレームｔの輝度成分Ｙ_{ｏｒｉｇｉｎａｌ}（ｘ，ｙ，ｔ）から、輝度静止成分Ｙ_{ｓｔａｔｉｃ}（ｘ，ｙ）を減じることで輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を得て出力する。輝度静止成分Ｙ_{ｓｔａｔｉｃ}（ｘ，ｙ）は、輝度成分Ｙ_{ｏｒｉｇｉｎａｌ}（ｘ，ｙ，ｔ）（ただし、ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ，ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘ，ｔ_ｍｉｎ≦ｔ≦ｔ_ｍａｘ）を時間平均することで得られる。
Y_motion(x,y,t)=Y_original(x,y,t)-Y_static(x,y) (4)
すなわち、輝度静止成分Ｙ_{ｓｔａｔｉｃ}（ｘ，ｙ）は、対象に対応する映像中の複数個のフレームｔそれぞれの輝度成分Ｙ_{ｏｒｉｇｉｎａｌ}（ｘ，ｙ，ｔ）から、対象に対応する映像に基づく静止画像から得られる輝度静止成分Ｙ_{ｓｔａｔｉｃ}（ｘ，ｙ）を減じて得られる。

このように得られた輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を「対象に与えられる動きに対応する輝度運動成分」とし、「対象に与えられる動きに対応する輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を含む映像」を生成してもよい。あるいは、輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）にフィルタリング（例えば、高空間周波数フィルタリングまたは低空間周波数フィルタリング）を行い、フィルタリング後の輝度運動成分ｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を「対象に与えられる動きに対応する輝度運動成分ｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）」として「対象に与えられる動きに対応する輝度運動成分を含む映像」を生成してもよい。

得られた「対象に与えられる動きに対応する輝度運動成分を含む映像」は、対応する静止画像Ｍ_{ｓｔａｔｉｃ}に関連付けられて記憶部１１５に格納される。対象が平面上のパターンである場合には、静止画像Ｍ_{ｓｔａｔｉｃ}またはその特徴量を「対象を表す情報」とし、それに対応する「対象に与えられる動きに対応する輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）またはｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を含む映像」を「映像」とし、これらの組を前述のデータベース（例えば、表１のデータベース）の１つのレコードとする。複数の対象について同様な処理を繰り返すことにより、前述のデータベースの複数のレコードが得られる。

対象が立体物の表面のパターンである場合には、同じ立体物の撮影方向を変化させながら得られる静止画像Ｍ_{ｓｔａｔｉｃ}について同じ処理を繰り返せばよい。この場合、立体物の各撮影面に表れたパターンである対象の静止画像Ｍ_{ｓｔａｔｉｃ}またはその特徴量を「対象を表す情報」とし、それに対応する「対象に与えられる動きに対応する輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）またはｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を含む映像」を「映像」とし、当該「立体物」と「対象を表す情報」と「映像」とからなる組み合わせを前述のデータベース（例えば、表２のデータベース）の１つのレコードとする。複数の立体物の複数の撮影方向について同様な処理を繰り返すことにより、前述のデータベースの複数のレコードが得られる。

≪単一画像の生成方法の例示≫
上述の「単一画像」の生成方法を例示する。「単一画像」の生成には、例えば、図２に例示した重畳情報生成装置１１、撮影装置１２、および対象１４が用いられる。重畳情報生成装置１１は、撮影処理部１１１、グレースケール変換部１１２、フィルタリング部１１３、および記憶部１１５を有し、例えば前述したコンピュータに所定のプログラムが読み込まれることで構成される。撮影装置１２はカラーの静止画像を撮影可能な一般的なカメラである。対象１４は平面上に表れたパターンであってもよいし、立体的形状の表面に表れたパターンであってもよい。対象１４は一様ではなく、少なくとも一部に模様を有する。すなわち、対象１４を撮影して得られる画像や映像の空間周波数は零ではない。本形態の「単一画像」は、対象１８に動きが与えられているように知覚させるために当該対象１８に重畳される像である。

まず、撮影処理部１１１の制御の下、撮影装置１２が対象１４を撮影する（図２）。撮影によって得られたカラーの静止画像１４０（図３Ａ）は撮影処理部１１１に送られ、記憶部１１５に格納されるとともにグレースケール変換部１１２に送られる。

グレースケール変換部１１２は、静止画像１４０をグレースケールに変換し、輝度成分パターンを含む単一画像１４０’（図３Ａ）を生成する。単一画像１４０’は輝度成分のみからなる。例えば、グレースケール変換部１１２は、NTSC加重平均法（輝度Y=R×0.298912＋G×0.586611＋B×0.114478、ここでR，G，Bはそれぞれ、各ピクセルの赤，緑，青チャンネルの強度を表す）によって静止画像１４０をグレースケールの単一画像１４０’に変換する。ただし、グレースケールに変換できる手法なら、これ以外の方法を用いてもよい。

単一画像１４０’はフィルタリング部１１３に送られる。フィルタリング部１１３は、単一画像１４０’を高空間周波数フィルタリングし、低空間周波数成分を抑圧した単一画像１４０”を生成する。単一画像１４０”の高空間周波数成分は低空間周波数成分よりも優位に知覚される。この際のフィルターサイズは任意であるものの、フィルターサイズを大きくする（つまり、高空間周波数フィルターの通過帯域を広くする）と元の単一画像１４０’に近い単一画像を対象１８に投影することになり、対象１８の見かけが変わってしまう。つまり、対象１８そのものが動いて見えるというよりは、別の映像が投影されているように知覚される。そのため、高空間周波数フィルターのフィルターサイズをできるだけ小さく設定することが望ましい。ただ、高空間周波数フィルターのサイズを小さくするほど、知覚させることができる対象１８の動きの大きさ（変調量）が小さくなる（詳細は後述）。そのため、高空間周波数フィルターのサイズは、知覚させようとする対象１８の動きの大きさとの関係も考慮して決定しなければならない。この高空間周波数フィルタリングに用いるフィルターは、例えば、単一画像１４０’の位相を変えないで高空間周波数成分を抽出できるものである。例えば、Adobe Photoshop（登録商標）などの既存の画像編集ソフトに組み込まれているエッジ検出フィルターを用いたり、高空間周波数方位成分をたたみ込んで算出したりすることでも、同様の結果を得ることができる。単一画像１４０”は輝度成分パターン１４０ａ”を有する画像領域を含む（図３Ｂ）。

単一画像１４０”は、対応する静止画像１４０に関連付けられて記憶部１１５に格納される。対象１４が平面上のパターンである場合には、静止画像１４０またはその特徴量を「対象１４を表す情報」とし、単一画像１４０”を「画像」とし、これらの組を前述のデータベース（例えば、表１のデータベース）の１つのレコードとする。複数の対象１４について同様な処理を繰り返すことにより、前述のデータベースの複数のレコードが得られる。

対象１４が立体物の表面のパターンである場合には、同じ立体物の撮影方向を変化させながら同じ処理を複数回繰り返してもよい。この場合、立体物の各撮影面に表れたパターンである対象１４の静止画像１４０またはその特徴量を「対象１４を表す情報」とし、それに対応する単一画像１４０”を「画像」とし、当該「立体物」と「対象１４を表す情報」と「画像」とからなる組み合わせを前述のデータベース（例えば、表２のデータベース）の１つのレコードとする。複数の立体物の複数の撮影方向について同様な処理を繰り返すことにより、前述のデータベースの複数のレコードが得られる。

「単一画像」を動かすことで得られる映像を生成する場合、重畳情報生成装置１１はさらに、単一画像１４０”の移動、拡大、縮小、回転、および湾曲の少なくとも何れかによって得られる複数の画像（例えば、単一画像１４０”をａ−ｂ方向へ振動させて得られる複数の画像（図３Ｃ））を映像として出力する映像生成部１１４を有する（図２）。この映像生成部１１４は、フィルタリング部１１３で得られた単一画像１４０”を動かすことで得られる「映像」を生成する。この場合には、単一画像１４０”である「画像」に代え、単一画像１４０”を動かすことで得られる「映像」を用いて前述のデータベースを構成すればよい。

＜情報呈示処理＞
本形態の情報呈示処理を説明する。まず撮影装置１３が対象１８を撮影して撮影画像を得る。得られた撮影画像は対象検索装置１７に送られる。対象検索装置１７は、周知のオブジェクト認識技術（例えば、参考文献１〜３等参照）を用い、撮影画像から対象１８の像を検出し、当該対象１８の像を表す信号（第１信号）を得る。対象検索装置１７は「第１信号」をＤＢ装置１９に送信する。ＤＢ装置１９の検索処理部１９２は、この「第１信号」を用い、周知のオブジェクト認識技術によってＤＢ部１９１に格納されたデータベースを検索し、「第１信号」が表す「対象」に対応付けられた「画像または映像（第１信号に対応する第２信号）」を抽出する。抽出された「画像または映像」は統合像生成装置１５に送られる。検索処理部１９２は、さらに周知の姿勢認識法等を用い（例えば、参考文献２等参照）、「第１信号」に対応する「対象」が表れている立体物の向き、位置、サイズ、幾何学的歪みなどを推定してもよい。この場合、推定された立体物の向き、位置、サイズ、幾何学的歪みなどの情報が対象検索装置１７に送られる。対象検索装置１７は、撮影装置１３と投影装置１６との間の相対的な位置ずれに基づく「画像または映像」の補正、および、対象１８が表れた立体物の向き、位置、サイズ、幾何学的歪みなどの情報に基づく「画像または映像」の補完、の少なくとも一方を行うための「修正情報」を生成して統合像生成装置１５に送る。なお、撮影装置１３と投影装置１６との間の相対的な位置ずれが既知であれば、それに基づく「画像または映像」の補正量を予め設定しておくことができる。一方、利用時に撮影装置１３と投影装置１６との相対的な位置を調整する場合、対象検索装置１７は、調整後の撮影装置１３と投影装置１６との間の相対的な位置ずれから「画像または映像」の補正量を設定する。統合像生成装置１５は「修正情報」を用いて「画像または映像」を補正および／または補完し、対象１８に統合させる「統合像（統合情報）」を生成し、「統合像」を投影装置１６に送る。ただし、「画像または映像」の補正および補完が不要な場合には、統合像生成装置１５が「画像または映像」をそのまま「統合像（統合情報）」として投影装置１６に送ってもよい。投影装置１６は、その光源からの光によって透過性のある「統合像」を対象１８に投影する（「統合像」を対象１８に統合させて呈示する）。これにより、透過性のある「統合像」を対象１８に重畳する。「統合像」が投影された対象１８を見た観察者の脳内では対象１８の像と「統合像」とが信号処理（脳内で統合）され、当該観察者は対象１８に動きの変化が与えられているように知覚する。

≪統合像の具体例１≫
ＤＢ装置１９の検索処理部１９２で抽出され、統合像生成装置１５に送られた「画像または映像」が「対象に与えられる動きに対応する輝度運動成分を含む映像」の場合、統合像生成装置１５（呈示部）は「修正情報」を用いて「対象に与えられる動きに対応する輝度運動成分を含む映像（「第１信号」に対応する輝度成分パターンを持つ映像である「第２信号」）」を補正および／または補完し、補正および／または補完後の「対象に与えられる動きに対応する輝度運動成分を含む映像（「第２信号」に「対象」に対応する変形を行ったもの）」を「統合像」とする。ただし、投影装置１６がこの「統合像」を対象１８に投影したときに、対象１８の領域と、映像中の対象１８に与えられる動きに対応する領域と、が重なるように「統合像」が生成される。例えば、投影装置１６がこの「統合像」を対象１８に投影したときに、対象１８のパターンもしくは輪郭またはパターンもしくは輪郭の近傍に、「統合像」のパターンもしくは輪郭またはパターンもしくは輪郭が重なるように「統合像」が生成される。投影装置１６がこの「統合像」を対象１８に投影すると、対象１８に動きの変化が与えられたように知覚させることができる（特許文献１参照）。

≪統合像の具体例２≫
ＤＢ装置１９の検索処理部１９２で抽出され、統合像生成装置１５に送られた「画像または映像」が単一画像１４０”（図３Ｂ）の場合、統合像生成装置１５は「修正情報」を用いて単一画像１４０”を補正および／または補完し、補正および／または補完後の単一画像１４１（対象に対応する単一画像）を画像処理によって動かしたものを「統合像」とする。統合像生成装置１５は、例えば、単一画像１４１の移動、拡大、縮小、回転、および湾曲の少なくとも何れかによって得られる複数の画像を「統合像」とする。ただし、投影装置１６がこの「統合像」を対象１８に投影したときに、輝度成分パターン１４１ａの移動が対象パターン１８ａの近傍に制限されるように「統合像」が生成される。投影装置１６がこの「統合像」を対象１８に投影すると、単一画像１４１と対象１８とが重畳した状態で、単一画像１４１の輝度成分パターン１４１ａと対象１８の対象パターン１８ａとの間の位置関係が変化する（図４）。図４の例では、単一画像１４１が対象１８に対してａ−ｂ方向に一次元的に反復移動（振動）する。このように対象パターン１８ａに対する輝度成分パターン１４１ａの位置を空間的にずらすことで対象１８の動きの印象を変調できる。すなわち、対象１８を静止させたまま投影する単一画像１４１を空間的にずらすと、対象１８がその方向へ対象が動いて見え、本形態の例では対象１８が振動しているように知覚される。なお、単一画像１４１の高空間周波数成分と対象１８の低空間周波数成分との間に位相ずれがある場合、低空間周波数成分の位相は高空間周波数成分の位相によって知覚上捕捉される（参考文献４）。この例では高空間周波数成分の単一画像１４１を静止した対象１８へずらして投影するが、そのずれに基づいて、最終的な画像情報に高空間周波数成分の位相変調が生じる。その高空間周波数成分の位相変調が低空間周波数成分の位相を知覚上捕捉するので、位相変調方向へ投影対象が動いて見えるものと思われる。高空間周波数フィルタリングのカットオフ周波数が高いほど、位相変調が生じる空間範囲が狭くなるので、単一画像１４１を動かせる空間量が小さくなる。
参考文献４：Morrone, M. C. & Burr, D. C., “Feature detection in human vision: a phase-dependent energy model,” 1988, Proceedings of the Royal Society of London, B235, 221-245.

≪統合像の具体例３≫
ＤＢ装置１９の検索処理部１９２で抽出され、統合像生成装置１５に送られた「画像または映像」が単一画像１４０”を動かすことで得られる映像である場合（例えば、図３Ｃ）の場合、統合像生成装置１５は「修正情報」を用いて「単一画像１４０”を動かすことで得られる映像」を補正および／または補完したものを「統合像」とする。このような「統合像」は、統合像の具体例２の「単一画像１４１を画像処理によって動かしたもの」と等価である。この例でも、投影装置１６がこの「統合像」を対象１８に投影したときに、輝度成分パターン１４１ａの移動が対象パターン１８ａの近傍に制限されるように「統合像」が生成される（図４）。投影装置１６がこのような「統合像」を対象１８に投影しても、単一画像１４１と対象１８とを重畳させた状態で、対象パターン１８ａに対する輝度成分パターン１４１ａの位置を空間的にずらすことができ、対象１８の動きの印象を変調できる。

＜本形態の特徴＞
本形態では、対象１８に動きの変化が与えられているように知覚させるために必要な画像や映像が手元になくとも、ＤＢ装置１９に予め格納されたデータを用いてこれらを取得できる。例えば、ＤＢ装置１９をインターネット上に置き、任意の装置でアクセス可能とすることで、誰でも容易に、動きの変化が与えられているように知覚させるために必要な画像や映像を取得できる。また、対象１８とそれに投影する「統合像」との位置合わせも自動で行うことができるため、誰でも容易に、対象１８に動きの変化が与えられているように知覚させることができる。複数の方向から１つの「立体物」を撮影して得られる複数の画像パターン（３次元データ）を含むデータベースを構築しておくことで、対象１８の姿勢推定を容易に行うことができ、対象１８が表れた「立体物」の姿勢に応じた「統合像」を生成して投影することができる。

また統合像の具体例２，３の場合、１枚の高空間周波数画像である単一画像１４１を対象１８に投影しつつ、これらの間の相対位置をずらし、人間の空間周波数統合メカニズムを利用することで対象１８の動きの印象を変調できる。これにより、従来よりも簡易に、対象１８に動きが与えられているように知覚させることができる。すなわち、これらの例では撮影された静止画像１４０をグレースケール化して輝度成分のみからなる単一画像１４０’を生成しているものの、既存の「変幻灯」（例えば、特許文献１参照）とは異なり、そのパターンの形状を変形させた動画（画像列）を生成しないし、生成された動画と単一画像１４０’との差分も計算しない。それにもかかわらず、対象１８に動きが与えられているように錯覚させることができる。例えば、美術館の絵画や、食品サンプルなどに対して、１枚の画像を投影するだけで動きの印象を与え、対象の見かけの印象や質感を変えることができ、対象の注目度を向上させることができる。この点から、インテリアや芸術面における動きの新しい表現手法を提供できる。

なお、ある画像の高空間周波数成分を異なる画像の低空間周波数成分に重ねて表示することによって、近くで見るのと遠くで見るのとでは異なる見え方を表示することができるハイブリッドイメージ法は提案されている（例えば、参考文献５等参照）。しかし、この既存技術は高空間周波数成分を重ねることで、重ねられた側の画像情報に動き印象を付け加えるものではない。また、重ねられる側としては低空間周波数成分画像が想定されており、実物体や通常の写真に対して高空間周波数成分を重ねて表示することは想定されていない。実対象の高空間周波数成分を重ねて表示しても、実対象の見た目の高空間周波数が高くなるだけで本技術が提案しているような動きの効果は生じない。
参考文献５：Oliva, A., Torralba, A., & Schyns, P. G., “Hybrid Images. ACM Transactions on Graphics,” (2006), ACM Siggraph, 25-3, 527-530.

［第１実施形態の変形例１］
第１実施形態では、単一画像１４１を用い、対象１８の対象パターン１８ａ全体が動いているように知覚させる例を示した。しかし、輝度成分パターン１４１ａの一部の領域のみを対象パターン１８ａの一部の領域に重畳させつつ動かし、この対象パターン１８ａの一部の領域のみに動き印象を与えてもよい。例えば、動き印象を与えたくない領域に一様照明を照射してもよい。この一様照明の輝度が対象パターン１８ａのエッジの明暗の中間輝度になるように操作することで、投影される輝度成分パターン１４１ａの一部の領域（動き印象を与えたくない領域）が見かけ上消失する。これにより、対象パターン１８ａの一部の領域のみに動き印象を与えることができる。輝度成分パターン１４１ａの一部の領域（動き印象を与えたくない領域）を投影しないこととしても、同様な効果を得ることができる。

例えば、図５Ａのような輝度成分パターン１４１ａの一部の領域１４１ａ’（両目の領域）のみを図５Ｂのようにａ−ｂ方向に一次元的に反復移動（振動）させ、図５Ｃのように対象パターン１８ａの一部の領域（両目の領域）に重畳させることで、この対象パターン１８ａの一部の領域のみに動き印象を与えてもよい。あるいは、例えば図６Ａのような輝度成分パターン１４１ａの一部の領域１４１ａ”（右目の領域）のみを拡大および縮小させ、図６Ｂのように対象パターン１８ａの一部の領域（右目の領域）に重畳させることで、この対象パターン１８ａの一部の領域のみに動き印象を与えてもよい。

［第１実施形態の変形例２］
単一画像１４１に与える動きは、第１実施形態およびその変形例１のものに限定されない。単一画像１４１に与える動きは、単一画像１４１の移動、拡大、縮小、回転、および湾曲の少なくとも何れかであってもよいし、それらの他の動きとの組み合わせであってもよい。なお、移動方向はａ−ｂ方向に限定されず、その他の方向に移動してもよい。また移動、拡大、縮小、回転、および湾曲は、２次元的なものであってもよいし、反復しなくてもよい（以下同様）。

［第１実施形態の変形例３］
第１実施形態では、静止画像１４０をグレースケールに変換し、輝度成分パターンを含む単一画像１４０’を生成し、それを高空間周波数フィルタリングし、単一画像１４０”を生成する例を示した。しかし、静止画像１４０をグレースケールに変換する処理を省略し、得られた静止画像１４０を高空間周波数フィルタリングして単一画像１４０”を生成してもよい。あるいは、静止画像１４０の特定の色成分を強調したり、抑圧したりした画像を高空間周波数フィルタリングして単一画像１４０”を生成してもよい。また静止画像１４０によって、グレースケールに変換する処理を省略したり、高空間周波数フィルタリングの処理を省略したりしてもよい。

［第１実施形態の変形例４］
第１実施形態では、画像処理によって単一画像１４１を移動させることで、単一画像１４１の輝度成分パターン１４１ａと対象１８の対象パターン１８ａとの間の位置関係を変化させる例を示した（図４）。しかし、光源を含む投影装置１６を機械的に動かすことによって単一画像１４１を移動させ、単一画像１４１の輝度成分パターン１４１ａと対象１８の対象パターン１８ａとの間の位置関係を変化させてもよい。あるいは、対象１８を機械的に動かし、単一画像１４１の輝度成分パターン１４１ａと対象１８の対象パターン１８ａとの間の位置関係を変化させてもよい。その他、投影装置１６および対象１８を機械的に動かし、単一画像１４１の輝度成分パターン１４１ａと対象１８の対象パターン１８ａとの間の位置関係を変化させてもよい。さらに、機械的に振動する対象１８よりも大きい振幅で単一画像１４１が機械的または画像処理によって動くように投影することで、対象１８が実際よりも大きく動いてみえるように錯覚させることができる。ただし、対象１８の振動の周波数と単一画像１４１の振動の周波数とが同一または近似することが望ましい。一方、対象１８を機械的に振動させつつ、そこに静止した単一画像１４１を投影すると、対象１８の振動が弱まったり、止まって見えたりする。さらには、機械的に振動する対象１８の振動よりも小さい振幅で単一画像１４１が機械的または画像処理によって動くように投影することで、対象１８の動きが小さく見える。この場合も、対象１８の振動の周波数と単一画像１４１の振動の周波数とが同一または近似することが望ましい。その他、単一画像１４１および対象１８の少なくとも一方の移動、拡大、縮小、回転、および湾曲の少なくとも何れかにより、輝度成分パターン１４１ａと対象パターン１８ａとの間の位置関係を変化させてもよい。その他、投影装置１６の内部の機構を機械的に動かしてもよい。すなわち、投影装置１６の光源からの光による投影によって透過性のある単一画像１４１を対象１８に重畳させた状態で、当該光源から対象１８までの光路上の何れかの部材に関する機構を動かし、重畳した単一画像１４１が含む画像領域の輝度成分パターン１４１ａと対象１８が含む対象パターン１８ａ（単一画像１４１が含む画像領域に対応するパターン）との間の位置関係を変化させてもよい。

［第１実施形態の変形例５］
「第１信号」に対応する「動きパターン」の情報を「第２信号」として得、当該「動きパターン」を表す「輝度成分パターン」を持つ画像または映像を「統合情報」として得てもよい。この場合には、「対象」を表す情報（例えば、画像パターンや特徴量など）と、その「対象」に与えたい動きに対応する「動きパターン」の情報（例えば、前述の動きベクトルマップなどの動きベクトルを表す情報）とを対応付けたデータベースをＤＢ部１９１に格納しておく。この変形例では「対象を表す情報」と、動きベクトルマップである「画像または映像」とを「表１」または「表２」のように対応付けたデータベースをＤＢ部１９１に格納しておく。

撮影装置１３は対象１８を撮影して撮影画像を得、得られた撮影画像が対象検索装置１７に送られる。対象検索装置１７は、周知のオブジェクト認識技術（例えば、参考文献１〜３等参照）を用い、撮影画像から対象１８の像を検出し、当該対象１８の像を表す信号（第１信号）を得る。対象検索装置１７は「第１信号」をＤＢ装置１９に送信する。ＤＢ装置１９の検索処理部１９２（検索部）は、この「第１信号」を用い、周知のオブジェクト認識技術によってＤＢ部１９１に格納されたデータベースを検索し、「第１信号」が表す「対象」を表す情報に対応付けられた動きベクトルマップ（第２信号）を抽出する。抽出された動きベクトルマップは統合像生成装置１５に送られる。統合像生成装置１５（呈示部）は、動きベクトルマップに基づいて、前述の「対象に与えられる動きに対応する輝度運動成分を含む映像」を生成する。例えば、統合像生成装置１５は、撮影装置１３が対象１８を撮影して得られた撮影画像を「静止画像Ｍ_{ｓｔａｔｉｃ}」とし、動きベクトルマップに基づいて「静止画像Ｍ_{ｓｔａｔｉｃ}」に動きを与えた動画をＭ_１として前述のように「対象に与えられる動きに対応する輝度運動成分Ｙ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）またはｇＹ_{ｍｏｔｉｏｎ}（ｘ，ｙ，ｔ）を含む映像」を生成する。統合像生成装置１５は、前述の「修正情報」を用いてこの情報を補正および／または補完し、補正および／または補完後の映像を「統合像（統合情報）」とする。或いは統合像生成装置１５は、「対象に与えられる動きに対応する輝度運動成分を含む映像」をそのまま「統合像（統合情報）」としてもよい。その他は第１実施形態と同じである。

［第２実施形態］
投影装置で投影した対象に「統合像」を投影してもよい。以下では第１実施形態およびその変形例との相違点を中心に説明し、共通する事項については同じ参照番号を用いて説明を省略する。

＜情報呈示システムの構成＞
図７に例示するように、本形態の情報呈示システム２は、撮影装置１３、映像投影装置２５、投影装置２６１，２６２（呈示部）、統合像生成装置１５（呈示部）、対象検索装置１７、ＤＢ装置１９、および設置板２８を有する。映像投影装置２５は、例えば、上述のコンピュータが所定のプログラムを実行することで構成される装置である。各装置はインターネット等の公衆ネットワークやＬＡＮなどのローカルネットワークを通じて通信可能に構成されてもよいし、それらの少なくとも一部の装置が同一のハードウェアに実装されていてもよい。撮影装置１３と投影装置２６１との相対的な位置（相対座標）は予め定められていてもよいし、定められていなくてもよい。相対的な位置が定められていない場合には、利用時に撮影装置１３と投影装置２６１との相対的な位置を調整する必要がある。

＜情報呈示処理＞
本形態の情報呈示処理を説明する。映像投影装置２５は対象２４１に対応する信号を投影装置２６２に送る。それに基づいて、投影装置２６２はその光源からの光によって対象２４１を設置板２８の平面部２８１に投影する。撮影装置１３は平面部２８１に投影された対象２４１を撮影して撮影画像を得る。得られた撮影画像は対象検索装置１７に送られる。その他は対象１８が対象２４１に置換されることを除き、第１実施形態やその変形例と同じでよい。例えば、「修正情報」を用いた補正および／または補完後の「対象に与えられる動きに対応する輝度運動成分を含む映像」を「統合像」として対象２４１に投影する。あるいは、単一画像１４１を移動させたものを「統合像」として対象２４１に投影することで、単一画像１４１の輝度成分パターン１４１ａと対象２４１の対象パターンとの間の位置関係を変化させる。あるいは、静止した単一画像１４１を「統合像」とし（図８Ｂ）、投影装置２６２から設置板２８の平面部２８１に投影した対象２４１のみをａ−ｂ方向に振動させ（図８Ａ）、それらを重ね合わせて投影してもよい（図８Ｃ）。単一画像１４１と対象２４１との両方を振動させてもよい。例えば、対象２４１をａ−ｂ方向に振動させ（図９Ａ）、それよりも大きな振幅で単一画像１４１をａ−ｂ方向に振動させたものを「統合像」とし（図９Ｂ）、それらを重ね合わせて投影してもよい（図９Ｃ）。これにより対象２４１が実際よりも大きく動いてみえるように錯覚させることができる。逆に、対象２４１をａ−ｂ方向に振動させ（図１０Ａ）、それよりも小さな振幅で単一画像１４１をａ−ｂ方向に振動させたものを「統合像」とし（図１０Ｂ）、それらを重ね合わせて投影してもよい（図１０Ｃ）。これにより対象２４１が実際よりも小さく動いてみえるように錯覚させることができる。その他、対象２４１をａ−ｂ方向に振動させつつ、そこに静止した単一画像１４１を「統合像」として投影すると、対象２４１の振動が弱まったり、止まって見えたりする。本形態でも、対象パターン１８ａに対する輝度成分パターン１４１ａの相対位置は所定の範囲に制限される。すなわち、単一画像１４１および対象２４１の少なくとも一方の動きは、対象パターン１８ａの近傍に輝度成分パターン１４１ａが位置する範囲内に制限される。単一画像１４１および対象２４１の少なくとも一方の動きは画像処理によって行われてもよいし、投影装置２６１，２６２の少なくとも一方の機構（内部の機構も含む）を機械的に動かすことによって行われてもよい。後者の場合、投影装置２６２の光源からの光による投影によって透過性のある対象２４１を、投影装置２６１の光源からの光によって投影された単一画像１４１に重畳させた状態で、これら何れかの光源から対象２４１または単一画像１４１までの光路上の何れかの部材に関する機構を動かし、重畳した単一画像１４１が含む画像領域の輝度成分パターン１４１ａと対象が２４１含むパターン（輝度成分パターン１４１ａに対応するパターン）との間の位置関係を変化させればよい。

＜本形態の特徴＞
本形態でも、第１実施形態と同様、対象２４１に動きの変化が与えられているように知覚させるために必要な画像や映像が手元になくとも、ＤＢ装置１９に予め格納されたデータを用いてこれらを取得できる。また、対象２４１とそれに投影する「統合像」との位置合わせも自動で行うことができるため、誰でも容易に、対象２４１に動きの変化が与えられているように知覚させることができる。また単一画像１４１を用いることで、従来よりも簡易に、対象２４１に動きが与えられているように知覚させることができる。さらに、実際に動いている対象２４１と単一画像１４１とを重ねて投影することで、対象２４１の動きが実際と異なるように知覚させることもできる。

［第２実施形態の変形例１］
単一画像１４１の輝度成分パターン１４１ａの一部の領域のみを対象２４１の対象パターンの一部の領域に重畳させ、これらの間の位置関係を変化させることで、対象２４１の対象パターンの一部の領域のみに動き印象を与えてもよい。

［第２実施形態の変形例２］
単一画像１４１および対象２４１の少なくとも一方の移動、拡大、縮小、回転、および湾曲の少なくとも何れかにより、輝度成分パターン１４１ａと対象２４１の対象パターンとの間の位置関係を変化させてもよい。

［第２実施形態の変形例３］
対象２４１を設置板２８の平面部２８１に投影することに代えて、対象２４１をディスプレイに表示してもよい。この場合、撮影装置１３は平面部２８１に投影された対象２４１を撮影して撮影画像を得る。その他は対象１８が対象２４１に置換されることを除き、第１実施形態やその変形例と同じでよい。或いは、この場合に、透過性のある「統合像」を対象２４１に投影することに代え、「統合像」と対象２４１とを重畳させてディスプレイに表示してもよい。例えば、「統合像」である単一画像１４１と対象２４１を同じディスプレイに表示し、単一画像１４１および対象２４１の少なくとも一方を動かし、単一画像１４１が含む輝度成分パターン１４１ａと対象２４１が含む対象パターンとの間の位置関係を変化させてもよい。

［第３実施形態］
「統合像」を投影するのではなく、透過性のある「統合像」を透過型ディスプレイに表示してもよい。

＜情報呈示システムの構成＞
図１１に例示するように、本形態の情報呈示システム３は、撮影装置１３、透過型ディスプレイ３６（呈示部）、統合像生成装置１５（呈示部）、対象検索装置１７、およびＤＢ装置１９を有する。透過型ディスプレイ３６は、その一方の面３６１が対象１８側に向けられた状態で配置される。撮影装置１３と透過型ディスプレイ３６との相対的な位置（相対座標）は予め定められていてもよいし、定められていなくてもよい。相対的な位置が定められていない場合には、利用時に撮影装置１３と透過型ディスプレイ３６との相対的な位置を調整する必要がある。

＜情報呈示処理＞
本形態では、撮影装置１３が対象１８を撮影して撮影画像を得る。得られた撮影画像は対象検索装置１７に送られる。対象検索装置１７は撮影画像から対象１８の像を検出し、当該対象１８の像を表す信号（第１信号）を得る。対象検索装置１７は「第１信号」をＤＢ装置１９に送信する。ＤＢ装置１９の検索処理部１９２は、この「第１信号」を用い、周知のオブジェクト認識技術によってＤＢ部１９１に格納されたデータベースを検索し、「第１信号」が表す「対象」に対応付けられた「画像または映像（第１信号に対応する第２信号）」を抽出する。抽出された「画像または映像」は統合像生成装置１５に送られる。検索処理部１９２は、「第１信号」に対応する「対象」が表れている立体物の向き、位置、サイズ、幾何学的歪みなどを推定してもよい。この場合、推定された立体物の向き、位置、サイズ、幾何学的歪みなどの情報が対象検索装置１７に送られる。対象検索装置１７は、撮影装置１３と透過型ディスプレイ３６との間の相対的な位置ずれに基づく「画像または映像」の補正、および、対象１８が表れた立体物の向き、位置、サイズ、幾何学的歪みなどの情報に基づく「画像または映像」の補完、の少なくとも一方を行うための「修正情報」を生成して統合像生成装置１５に送る。統合像生成装置１５は「修正情報」を用いて「画像または映像」を補正および／または補完し、対象１８に統合させる「統合像（第２信号に由来する情報）」を生成し、「統合像」を透過型ディスプレイ３６に送る。ただし、「画像または映像」の補正および補完が不要な場合には、統合像生成装置１５が「画像または映像」をそのまま「統合像」として透過型ディスプレイ３６に送ってもよい。「統合像」の具体例は第１実施形態およびその変形例と同じでよい（例えば、単一画像１４１）。透過型ディスプレイ３６は透過性のある「統合像」を表示する。これにより、透過型ディスプレイ３６の他方の面３６２側（Ａ方向）から見ると「統合像」と対象１８とが重畳して見える。すなわち、透過性のある「統合像」を対象１８に重畳できる。「統合像」が投影された対象１８を見た観察者の脳内では対象１８の像と「統合像」とが信号処理（脳内で統合）され、当該観察者は対象１８に動きの変化が与えられているように知覚する（図４）。透過型ディスプレイ３６および対象１８の少なくとも一方を機械的に動かしてもよい。例えば、透過性のある透過型ディスプレイ３６（単一画像部）を透過した対象１８（対象１８の像）を透過型ディスプレイ３６で表示した透過性のある単一画像１４１に重畳させた状態で、対象１８が表された部位（対象部）から透過型ディスプレイ３６までの光路上の何れかの部材に関する機構を動かし、重畳した単一画像１４１が含む画像領域の輝度成分パターンと対象１８が含むパターン（単一画像１４１が含む画像領域に対応するパターン）との間の位置関係を変化させてもよい。

［第３実施形態の変形例１］
この場合も、輝度成分パターン１４１ａの一部の領域のみを対象パターン１８ａの一部の領域に重畳させつつ動かし、この対象パターン１８ａの一部の領域のみに動き印象を与えてもよい。単一画像１４１の移動、拡大、縮小、回転、および湾曲の少なくとも何れかにより、輝度成分パターン１４１ａと対象パターン１８ａとの間の位置関係を変化させてもよい。透過型ディスプレイ３６を機械的に動かすことによって単一画像１４１を移動させ、単一画像１４１の輝度成分パターン１４１ａと対象１８の対象パターン１８ａとの間の位置関係を変化させてもよい。あるいは、対象１８を機械的に動かし、単一画像１４１の輝度成分パターン１４１ａと対象１８の対象パターン１８ａとの間の位置関係を変化させてもよい。その他、透過型ディスプレイ３６および対象１８を機械的に動かし、単一画像１４１の輝度成分パターン１４１ａと対象１８の対象パターン１８ａとの間の位置関係を変化させてもよい。ここでも、対象パターン１８ａに対する輝度成分パターン１４１ａの相対位置は所定の範囲に制限される。すなわち、単一画像１４１および対象２４１の少なくとも一方の動きは、対象パターン１８ａの近傍に輝度成分パターン１４１ａが位置する範囲内に制限される。

［第３実施形態の変形例２］
第３実施形態において、情報呈示システム３がさらに映像投影装置２５および投影装置２６２を有し（図１１）、投影装置２６２はその光源からの光によって対象１８を平面上に投影してもよい。その他は第３実施形態またはその変形例と同じでよい。

［第４実施形態］
透過性のある部材に透過性の対象を描き、当該対象に対向配置された平面上に「統合像」を投影してもよい。

＜情報呈示システムの構成＞
図１２に例示するように、本形態の情報呈示システム４は、撮影装置１３、投影装置１６（呈示部）、対象透過部材４６、設置板４７、統合像生成装置１５（呈示部）、対象検索装置１７、およびＤＢ装置１９を有する。対象透過部材４６は透過性のある材質（プラスチック、ポリエチレン、ガラスなど）からなる板であり、その一方の面４６２に透過性のある対象１８が印刷または描画されている。対象透過部材４６および設置板４７は対向配置され、対象透過部材４６の他方の面４６１は設置板４７の一方の面４７２に対向している。撮影装置１３と対象透過部材４６と設置板４７と投影装置１６との相対的な位置（相対座標）は予め定められていてもよいし、定められていなくてもよい。相対的な位置が定められていない場合には、利用時に撮影装置１３と対象透過部材４６と設置板４７と投影装置１６との相対的な位置を調整する必要がある。

＜情報呈示処理＞
本形態では、撮影装置１３が面４６２の対象１８を撮影して撮影画像を得る。得られた撮影画像は対象検索装置１７に送られる。対象検索装置１７は撮影画像から対象１８の像を検出し、当該対象１８の像を表す信号（第１信号）を得る。対象検索装置１７は「第１信号」をＤＢ装置１９に送信する。ＤＢ装置１９の検索処理部１９２は、この「第１信号」を用い、周知のオブジェクト認識技術によってＤＢ部１９１に格納されたデータベースを検索し、「第１信号」が表す「対象」に対応付けられた「画像または映像（第１信号に対応する第２信号）」を抽出する。抽出された「画像または映像」は統合像生成装置１５に送られる。検索処理部１９２は、「第１信号」に対応する「対象」が表れている立体物の向き、位置、サイズ、幾何学的歪みなどを推定してもよい。この場合、推定された立体物の向き、位置、サイズ、幾何学的歪みなどの情報が対象検索装置１７に送られる。対象検索装置１７は、撮影装置１３と対象透過部材４６と設置板４７と投影装置１６との間の相対的な位置ずれに基づく「画像または映像」の補正、および、対象１８が表れた対象透過部材４６の向き、位置、サイズ、幾何学的歪みなどの情報に基づく「画像または映像」の補完、の少なくとも一方を行うための「修正情報」を生成して統合像生成装置１５に送る。統合像生成装置１５は「修正情報」を用いて「画像または映像」を補正および／または補完し、対象１８に統合させる「統合像（第２信号に由来する情報）」を生成し、「統合像」を投影装置１６に送る。ただし、「画像または映像」の補正および補完が不要な場合には、統合像生成装置１５が「画像または映像」をそのまま「統合像」として投影装置１６に送ってもよい。「統合像」の具体例は第１実施形態およびその変形例と同じでよい（例えば、単一画像１４１）。投影装置１６は「統合像」を設置板４７の一方の面４７２に投影する。これにより対象透過部材４６の面４６２側（Ａ方向）から見ると「統合像」と対象１８とが重畳して見える。すなわち、透過性のある「統合像」を対象１８に重畳できる。「統合像」が投影された対象１８を見た観察者の脳内では対象１８の像と「統合像」とが信号処理（脳内で統合）され、当該観察者は対象１８に動きの変化が与えられているように知覚する（図４）。この場合、対象透過部材４６を機械的に動かすことで、重畳した単一画像１４１が含む画像領域の輝度成分パターンと対象１８が含む画像領域に対応するパターンとの間の位置関係を変化させてもよい。

［第４実施形態の変形例１］
投影装置１６が「統合像」を設置板４７の一方の面４７２に投影することに代えて、設置板４７の位置に配置されたディスプレイ４７’の対象透過部材４６側の面４７２’に「統合像（例えば、単一画像１４１）」が表示されてもよい。これにより対象透過部材４６の面４６２側（Ａ方向）から見ると「統合像」と対象１８とが重畳して見える。すなわち、透過性のある「統合像」を対象１８に重畳できる。この場合、「統合像」が表示されたディスプレイ４７’および対象透過部材４６の少なくとも一方を動かしてもよい。例えば、透過性のある対象透過部材４６（対象部）を透過した透過性のある単一画像１４１を対象透過部材４６で表示した透過性のある対象１８に重畳させた状態で、単一画像１４１が表されたディスプレイ４７’（単一画像部）から対象透過部材４６までの光路上の何れかの部材に関する機構を動かし、重畳した単一画像１４１が含む画像領域の輝度成分パターンと対象１８が含むパターン（単一画像１４１が含む画像領域に対応するパターン）との間の位置関係を変化させてもよい。

［第５実施形態］
これまでの実施形態では対象に画像または映像を統合した。しかし、対象に音を統合してもよい。

＜情報呈示システムの構成＞
図１３に例示するように、本形態の情報呈示システム５は、撮影装置１３、音響出力装置５６（呈示部）、統合音生成装置５５、対象検索装置５７、およびＤＢ装置５９を有し、対象１８から音が発せられているように知覚させる。ＤＢ装置５９はＤＢ部５９１および検索処理部１９２を含む。各装置はインターネット等の公衆ネットワークやＬＡＮなどのローカルネットワークを通じて通信可能に構成されてもよいし、それらの少なくとも一部の装置が同一のハードウェアに実装されていてもよい。音響出力装置５６は所定の位置に音を定位できるスピーカである。音響出力装置５６の例は、スピーカアレイや超音波スピーカなどである。撮影装置１３と音響出力装置５６との相対的な位置（相対座標）は予め定められていてもよいし、定められていなくてもよい。相対的な位置が定められていない場合には、利用時に撮影装置１３と音響出力装置５６との相対的な位置を調整する必要がある。統合音生成装置５５およびＤＢ装置６９は、例えば、前述のコンピュータに所定のプログラムが読み込まれることで構成される装置である。

ＤＢ装置１９のＤＢ部５９１には、複数の「対象」のそれぞれについて、当該「対象」を表す情報（例えば、画像パターンや特徴量など）と、当該「対象」に統合する音を表す音響信号と、が互いに対応付けられて格納されている。例えば、第１実施形態で例示した「表１」の「音響または映像」を「音響信号」に置換したデータベースがＤＢ部５９１に格納されていてもよい。「音」の例は、音声、音楽、環境音などである。

「対象」が立体物の表面のパターンである場合、複数の方向から１つの立体物を撮影して得られる複数の画像パターン（３次元データ）や、そのような複数の画像パターンに対応する複数の特徴量を「対象を表す情報」としてもよい。例えば、第１実施形態で例示した「表２」の「音響または映像」を「音響信号」に置換したデータベースがＤＢ部５９１に格納されていてもよい。

＜情報呈示処理＞
本形態の情報呈示処理を説明する。まず撮影装置１３が対象１８を撮影して撮影画像を得る。得られた撮影画像は対象検索装置５７に送られる。対象検索装置５７は、撮影画像から対象１８の像を検出し、当該対象１８の像を表す信号（第１信号）を得る。対象検索装置５７は「第１信号」をＤＢ装置５９に送信する。ＤＢ装置５９の検索処理部１９２は、この「第１信号」を用い、周知のオブジェクト認識技術によってＤＢ部５９１に格納されたデータベースを検索し、「第１信号」が表す「対象」に対応付けられた「音響信号（第１信号に対応する第２信号）」を抽出する。抽出された「音響信号」は統合音生成装置５５に送られる。検索処理部１９２は、さらに「第１信号」に対応する「対象」が表れている立体物の向き、位置、サイズ、幾何学的歪みなどを推定してもよい。この場合、推定された立体物の向き、位置、サイズ、幾何学的歪みなどの情報が対象検索装置５７に送られる。対象検索装置５７は、撮影装置１３と音響出力装置５６との間の相対的な位置ずれ、および／または、対象１８が表れた立体物の向き、位置、サイズ、幾何学的歪みなどの情報に基づく「音」の定位位置の補正を行うための「修正情報」を生成して統合音生成装置５５に送る。なお、撮影装置１３と音響出力装置５６との間の相対的な位置ずれが既知であれば、それに基づく「音」の定位位置の補正量を予め設定しておくことができる。一方、利用時に撮影装置１３と音響出力装置５６との相対的な位置を調整する場合、対象検索装置５７は、調整後の撮影装置１３と音響出力装置５６との間の相対的な位置ずれから「音」の定位位置の補正量を設定する。統合音生成装置５５は「修正情報」を用いて「音」の定位位置を補正し、その定位位置に「音」を定位させて対象１８に統合させるための「補正音響信号（第２信号に由来する情報）」を生成し、「補正音響信号」を音響出力装置５６に送る。ただし、定位位置の補正が不要な場合には、統合音生成装置５５は、送られた「音響信号」をそのまま「補正音響信号」として音響出力装置５６に送る。音響出力装置５６は「補正音響信号」に基づいて対象１８の所定の位置に音場を定位させる。この定位は例えば、スピーカアレイを用いた波面合成法（Wave Field Synthesis）（参考文献６）や超音波スピーカなどによって実現できる。「音」が定位された対象１８を視聴した観察者の脳内では対象１８の像と「音」とが信号処理（脳内で統合）され、当該観察者は対象１８から「音」が発せられたように知覚する。
参考文献６：小山翔一，外３名，「音場収音・再現のための時空間周波数領域信号変換法」，日本音響学会講演論文集，２０１１年９月，Ｐ．６３５−６３６

〔その他の変形例等〕
なお、本発明は上述の実施の形態に限定されるものではない。以上では「対象」を像として説明したが、「対象」を人間が知覚可能であり、かつ、「対象」に対応する「第１信号」を得られるものであれば何でもよい。例えば、「対象」を音響信号としてもよい。この例では、「対象」はスピーカから再生される音楽や歌声や生演奏される音楽や歌声などの音響信号であり、当該音響信号をマイクロホンにより収音して「第１信号」とする。「第２信号」を「対象」に対応する音、例えば音楽や歌声に定位感を与えるための音とし、「対象」である音楽や歌声に、定位感を与えるための音を統合（重畳）し、人間が定位感のある音楽や歌声を知覚できるようにしてもよい。

また、統合像生成装置１５が「修正情報」を用いて映像や画像を補正および／または補完するのではなく、投影装置やディスプレイやスピーカがこの処理を行ってもよい。また、統合像生成装置１５が動きベクトルマップ（動きパターンの情報）を用いて、「対象に与えられる動きに対応する輝度運動成分を含む映像」を生成するのではなく、投影装置やディスプレイやスピーカがこの処理を行ってもよい。また、各装置がネットワークを通じて情報をやり取りするのではなく、少なくとも一部の組の装置が可搬型記録媒体を介して情報をやり取りしてもよい。或いは、少なくとも一部の組の装置が非可搬型の記録媒体を介して情報をやり取りしてもよい。

上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

ＤＢ部１９１，５９１に格納されるデータベースのデータ構成を流通させてもよい。例えば、設定された対象を表す情報と、当該設定された対象に統合させて呈示する統合情報に対応する第２信号と、が対応付けられ、入力された対象を表わす第１信号に対応する第２信号を検索によって得る装置が検索するデータベースのデータ構造を流通させてもよい。設定された対象を表す情報と、当該設定された対象に統合して知覚されるように呈示される統合情報に対応する第２信号と、が対応付けられ、入力された対象を表わす第１信号に対応する前記第２信号を検索によって得る装置が検索するデータベースのデータ構造を流通させてもよい。像を表す情報と、像に統合させて呈示する情報に対応する第２信号と、が対応付けられ、対象の像を表わす第１信号に対応する像を表す情報に対応付けられた第２信号を得る装置が検索するデータベースのデータ構造を流通させてもよい。像を表す情報と、像とともに脳内信号処理されるように呈示される情報に対応する第２信号と、が対応付けられ、対象の像を表わす第１信号に対応する像を表す情報に対応付けられた第２信号を得る装置が検索するデータベースのデータ構造を流通させてもよい。例えば、対象に動きの変化が与えられているように知覚させるために当該対象に重畳させる画像のデータ構造であって、当該対象に対応する情報と、当該対象に対応する輝度成分パターンを含み、装置で投影または表示される単一画像と、が対応付けられたデータ構造を流通させてもよい。或いは、対象に動きの変化が与えられているように知覚させるために当該対象に重畳させる映像のデータ構造であって、当該対象に対応する情報と、当該対象に対応する輝度成分パターンを含む単一画像の移動、拡大、縮小、回転、および湾曲の少なくとも何れかである複数の画像からなり、装置で投影または表示される映像と、が対応付けられたデータ構造を流通させてもよい。データ構造の流通は、例えば、そのデータ構造を記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行ってもよいし、インターネット等のネットワーク上のサーバコンピュータにそのデータ構造をアップロードし、そこから配信することによって行ってもよい。

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

１〜５ 情報呈示システム
１８，２４１ 対象
１４１ 単一画像
１４１ａ 輝度成分パターン
１８ａ 対象パターン

Claims (8)

1. 対象を表す第１信号に対応する第２信号を検索によって得る検索部と、
   前記第２信号または前記第２信号に由来する情報である統合情報を前記対象に統合させて呈示する呈示部と、
   を有し、
   前記第１信号は、対象を表す画像信号または映像信号であり、
   前記統合情報は、前記対象に対応する単一画像であり、
   前記単一画像と前記対象とを重畳させた状態で、前記単一画像および前記対象の少なくとも一方を動かし、前記単一画像が含む画像領域の輝度成分パターンと前記対象が含む前記画像領域に対応するパターンとの間の位置関係を変化させる、情報呈示システム。
2. 対象を表す第１信号に対応する第２信号を検索によって得る検索部と、
   前記第２信号または前記第２信号に由来する情報である統合情報と、前記対象と、が利用者に統合して知覚されるように、前記統合情報を呈示する呈示部と、
   を有し、
   前記第１信号は、対象を表す画像信号または映像信号であり、
   前記統合情報は、前記対象に対応する単一画像であり、
   前記単一画像と前記対象とを重畳させた状態で、前記単一画像および前記対象の少なくとも一方を動かし、前記単一画像が含む画像領域の輝度成分パターンと前記対象が含む前記画像領域に対応するパターンとの間の位置関係を変化させる、情報呈示システム。
3. 請求項１または２の情報呈示システムであって、
   前記第１信号は、対象を表す画像信号または映像信号であり、
   前記統合情報は、画像または映像であり、
   前記呈示部は、前記対象に前記画像または映像を重畳する、情報呈示システム。
4. 請求項１から３の何れかの情報呈示システムであって、
   前記第１信号は、対象を表す画像信号または映像信号であり、
   前記統合情報は、前記対象に対応する輝度成分パターンを持つ画像または映像であり、
   前記呈示部は、前記対象に前記画像または映像を重畳する、情報呈示システム。
5. 対象を表す第１信号に対応する第２信号を検索によって得る検索ステップと、
   前記第２信号または前記第２信号に由来する情報である統合情報を前記対象に統合させて呈示する呈示ステップと、
   を有し、
   前記第１信号は、対象を表す画像信号または映像信号であり、
   前記統合情報は、前記対象に対応する単一画像であり、
   前記単一画像と前記対象とを重畳させた状態で、前記単一画像および前記対象の少なくとも一方を動かし、前記単一画像が含む画像領域の輝度成分パターンと前記対象が含む前記画像領域に対応するパターンとの間の位置関係を変化させる、情報呈示方法。
6. 対象を表す第１信号に対応する第２信号を検索によって得る検索ステップと、
   前記第２信号または前記第２信号に由来する情報である統合情報と、前記対象と、が利用者に統合して知覚されるように、前記統合情報を呈示する呈示ステップと、
   を有し、
   前記第１信号は、対象を表す画像信号または映像信号であり、
   前記統合情報は、前記対象に対応する単一画像であり、
   前記単一画像と前記対象とを重畳させた状態で、前記単一画像および前記対象の少なくとも一方を動かし、前記単一画像が含む画像領域の輝度成分パターンと前記対象が含む前記画像領域に対応するパターンとの間の位置関係を変化させる、情報呈示方法。
7. 請求項５または６の情報呈示方法であって、
   前記第１信号は、対象を表す画像信号または映像信号であり、
   前記統合情報は、画像または映像であり、
   前記呈示ステップは、前記対象に前記画像または映像を重畳する、情報呈示方法。
8. 請求項５から７の何れかの情報呈示方法であって、
   前記第１信号は、対象を表す画像信号または映像信号であり、
   前記統合情報は、輝度成分パターンを持つ画像または映像であり、
   前記呈示ステップは、前記対象に前記画像または映像を重畳する、情報呈示方法。

Images