JP2016162142A - 画像処理装置 - Google Patents

Abstract

【課題】現実感の高い演出が可能な画像処理装置と、画像処理方法と、プログラムを提供する。【解決手段】画像処理システム１は、センサ部１１０と、画像処理装置１０と、映像出力部１５０を有し、画像処理装置１０は、解析部１２０、実空間情報入力部１３０、信号生成部１４０、パラメータ操作部１６０、パラメータ設定部１７０、及び通信部１８０を備える。【選択図】図４

Description

本開示は、画像処理装置に関する。

プロジェクタやタッチパネルディスプレイなど、コンテンツを表示する装置が広く普及している。例えば、特許文献１には、検出された物体の位置に応じてアイコンなどのコンテンツをプロジェクタにより投影して表示する技術が開示されている。上記技術によれば、投影部と被投影体との間に物体が存在する場合でも、そのまま物体に投影されないように映像処理を行うことで、良好な視認性が得られている。

特開２０１２−２０８４３９号公報

このようにプロジェクタやタッチパネルディスプレイなどの装置がコンテンツを表示しようとする際、コンテンツを表示しようとする実空間の状況によっては、表示されたコンテンツがユーザに現実感を与えられない場合があった。

そこで、本開示では、より現実感の高い演出が可能な、新規かつ改良された画像処理装置を提案する。

本開示によれば、実空間の情報が入力される実空間情報入力部と、前記実空間の情報に基づいて、仮想的な影効果を前記実空間に与える映像の制御信号を生成する信号生成部と、を備える、画像処理装置が提供される。

また、本開示によれば、実空間の情報が入力されることと、前記実空間の情報に基づいて、プロセッサが仮想的な影効果を与える映像の制御信号を生成することと、を含む、画像処理方法が提供される。

また、本開示によれば、コンピュータに、実空間の情報が入力される処理と、
前記実空間の情報に基づいて、仮想的な影効果を与える映像の制御信号を生成する処理と、を行わせるための、プログラムが提供される。

以上説明したように本開示によれば、より現実感の高い演出が可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態にかかる画像処理システムの構成例を示す説明図である。 本開示の一実施形態にかかる画像処理システムの構成例を示す説明図である。 本開示の一実施形態にかかる画像処理システムの構成例を示す説明図である。 本開示の一実施形態にかかる画像処理システムの機能構成例を示す説明図である。 本開示の一実施形態にかかる画像処理システムの動作例を示すフローチャート図である。 具体例１にかかる演出を説明するための説明図である。 具体例１にかかる演出を説明するための説明図である。 具体例１にかかる演出を説明するための説明図である。 具体例１にかかる演出を説明するための説明図である。 具体例２にかかる演出を説明するための説明図である。 具体例２にかかる演出を説明するための説明図である。 具体例３にかかる演出を説明するための説明図である。 具体例３にかかる演出を説明するための説明図である。 具体例４にかかる演出を説明するための説明図である。 具体例４にかかる演出を説明するための説明図である。 具体例４にかかる演出を説明するための説明図である。 変形例１にかかる仮想的な影効果のバリエーションを説明するための説明図である。 変形例２にかかる仮想的な光源のバリエーションを説明するための説明図である。 変形例２にかかる仮想的な光源のバリエーションを説明するための説明図である。 変形例２にかかる仮想的な光源のバリエーションを説明するための説明図である。 変形例２にかかる仮想的な光源のバリエーションを説明するための説明図である。 変形例２にかかる仮想的な光源のバリエーションを説明するための説明図である。 変形例３にかかるアニメーション演出のバリエーションを説明するための説明図である。 ハードウェア構成例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
＜＜１．画像処理システムの概要＞＞
＜１−１．システム構成例＞
＜１−２．機能構成例＞
＜１−３．動作例＞
＜＜２．演出の具体例＞＞
＜２−１．具体例１＞
＜２−２．具体例２＞
＜２−３．具体例３＞
＜２−４．具体例４＞
＜＜３．変形例＞＞
＜３−１．変形例１＞
＜３−２．変形例２＞
＜３−３．変形例３＞
＜＜４．ハードウェア構成例＞＞
＜＜５．むすび＞＞

＜＜１．画像処理システムの概要＞＞
＜１−１．システム構成例＞
まず、図面を参照しながら本開示の一実施形態にかかる画像処理システムの構成例について説明する。図１は、本開示の一実施形態にかかる画像処理システムの構成例を示す説明図である。

図1に示したように、本開示の一実施形態にかかる画像処理システム１ａは、センサ部１１０ａ、及び映像出力部１５０ａを含む。図1に示した本開示の一実施形態にかかる画像処理システム１ａは、テーブル３００ａの天面の情報に基づいて、仮想的な影効果をテーブル３００ａの天面に与える映像をテーブル３００ａの天面に表示するシステムである。なお、画像処理システム１ａにおいて、映像が表示される対象は、テーブルに限らず、床や壁であってもよい。

センサ部１１０ａは、画像処理システム１ａにより仮想的な影効果が与えられる実空間をセンシングする装置である。例えば、図１においてセンサ部１１０ａは、テーブル３００ａの天面と、テーブル３００ａの上に存在する物体の色や深度などをセンシングしてもよい。図１に示した例では、センサ部１１０ａは、テーブル３００ａの上方に、例えば天井から吊り下げられた状態で設けられる。すなわち、センサ部１１０ａは、映像が表示される対象となるテーブル３００ａとは隔離されて設けられる。センサ部１１０ａとしては、例えばテーブル３００ａを撮像するカメラや、２つのカメラでテーブル３００ａを撮像して奥行き方向の深度情報をセンシングすることが可能なステレオカメラなどが用いられる。また、センサ部１１０ａは上記のうち複数を含んでもよい。

センサ部１１０ａとして、テーブル３００ａを撮像するカメラが用いられる場合、画像処理システム１ａは、そのカメラが撮像した画像を解析することで、テーブル３００ａに置かれた物体（例えば図１における物体２００ａ）を検出することが出来る。また、センサ部１１０ａとして、ステレオカメラが用いられる場合、そのステレオカメラには、例えば可視光カメラや赤外線カメラなどが用いられ得る。センサ部１１０ａとしてステレオカメラが用いられることで、センサ部１１０ａは、深度情報をセンシングすることが可能となる。画像処理システム１ａは、センサ部１１０ａが取得した深度情報を解析することで、例えばテーブル３００ａの上に存在する物体の検出、物体の立体形状の認識、手の検出、ユーザの操作の検出などが可能になる。なお、以下の説明では、ユーザの操作としてタッチ操作が用いられる場合について説明する。また、以下の説明では、ユーザが映像の表示対象（例えば、図１においては、テーブル３００ａや物体２００ａ）に手などの操作体を接触または近接させることを、まとめて単に「タッチ」とも称する。

なお、赤外線カメラがセンサ部１１０に含まれる場合には、センサ部１１０ａは所定の赤外線パターン（例えばボロノイパターン）を照射する赤外線照射部を含んでもよい。かかる構成によれば、テーブル３００ａが模様などの特徴に欠ける場合であっても、画像処理システム１ａが赤外線カメラにより撮像された赤外線パターンを解析することで、より高精度な深度情報の取得を行うことが可能となる。

映像出力部１５０ａは、センサ部１１０のセンシング結果、またはその解析により得られた情報に基づいて、実空間（例えば図１においてはテーブル３００ａとその上方の空間）に、仮想的な影効果を与える映像を表示させる装置である。図１に示した例では、映像出力部１５０ａは、テーブル３００ａの上方に、例えば天井から吊り下げられた状態で設けられる。映像出力部１５０ａにプロジェクタが用いられる場合、映像出力部１５０ａは、テーブル３００ａの天面に映像を照射する。

図１に示した画像処理システム１ａにおいて、センサ部１１０ａと映像出力部１５０ａは略同一方向を向き、センサ部１１０ａがセンシング可能な実空間の範囲と、映像出力部１５０ａが映像を出力する範囲が概ね重複している。また、画像処理システム１ａは、センサ部１１０ａが有する座標系から映像出力部１５０ａが有する座標系へ変換する機能を有してもよい。かかる構成によれば、センサ部１１０ａのセンシング結果に基づいて、映像出力部１５０ａは、例えば物体２００ａに対応する仮想的な影（仮想影）が物体２００ａの近傍に表示されるような映像を出力することが可能である。なお、本開示によるセンサ部１１０と映像出力部１５０の配置は上記に限定されるものではない。

図１に示した例では、仮想影４００ａは、映像出力部１５０ａが出力した映像の一部であり、当該仮想影４００ａによってテーブル３００ａ、及び物体２００ａに仮想的な影効果が与えられている。

意図した位置に影の効果を与えたい場合、例えば、物体２００ａの影が仮想影４００ａの位置になるように、複数の照明装置を用い、各照明装置の位置や明るさを調整する方法が考えられる。しかし、景観上照明装置の存在を隠したい場合でも、与えたい影の効果によっては複数の照明装置が目立つ位置に配置されてしまう場合があった。また、複数の照明装置や、照明装置の位置を調整するための機構により、設備が複雑化する恐れがあった。一方、図１に示した画像処理システム１ａによれば、テーブル３００ａの上方に設けられた映像出力部１５０が出力する映像によって、仮想影４００ａを生じさせることが可能である。また、影をアニメーションのように動かしたい場合、例えば光源となる照明装置を移動させる方法が考えられるが、この場合も設備が複雑化する恐れがあった。一方、図１に示した画像処理システム１ａによれば、映像出力部１５０ａが出力する映像内の仮想影４００ａに対応する領域をアニメーションさせることで、仮想影４００ａを動かすことが可能である。上記のように、画像処理システム１ａによれば、より単純、かつ、より隠しやすい設備で、意図した影効果を与えることが可能である。

本開示では、画像処理システムの形態は図１に示したものに限定されるものではない。図２、３は、本開示の一実施形態にかかる画像処理システムのさらなる別の形態の例を示す説明図である。

図２は、本開示の一実施形態にかかる画像処理システム１ｂの構成例を示す説明図である。図２には、圧力センサを備えるタッチパネル式のディスプレイがテーブル３００ａ上に置かれている状態が示されている。このような場合、センサ部１１０ｂ、及び映像出力部１５０ｂは、圧力センサを備えるタッチパネル式のディスプレイとして構成され得る。図２に示した画像処理システム１ｂにおいて、映像の表示面はタッチパネル式のディスプレイとなる。また、センサ部１１０ｂは、圧力センシングによりディスプレイ上の物体２００ａの位置やディスプレイに接した面の形状、ディスプレイに対するユーザのタッチ位置などを検出してもよい。また、図２に示した画像処理システム１ｂでは、図１に示した画像処理システム１ａと同様に、タッチパネル式のディスプレイの上方に、ディスプレイ上の物体の立体形状や、ディスプレイ上の実際の影などを検出するためのカメラが設けられてもよい。

図３は、本開示の一実施形態にかかる画像処理システム１ｂの構成例を示す説明図である。図３には、圧力センサシートが床に置かれている状態が示されている。このような場合、センサ部１１０ｃは圧力センサシートとして構成され得る。また、センサ部１１０ｃの上方には、図１に示した画像処理システム１ａと同様に、映像出力部１５０ｃが設けられている。図３に示した画像処理システム１ｃにおいて、映像の表示面は圧力センサシートとなる。また、センサ部１１０ｃは、圧力センシングにより圧力センサシート上の物体２００ａの位置や圧力センサシートに接した面の形状、圧力センサシートに対するユーザのタッチ位置などを検出してもよい。また、図３に示した画像処理システム１ｃでは、図１に示した画像処理システム１ａと同様に、タッチパネル式のディスプレイの上方に、ディスプレイ上の物体の立体形状や、ディスプレイ上の実際の影などを検出するためのカメラが設けられてもよい。

以上、本開示の一実施形態にかかる画像処理システムのシステム構成例について説明した。続いて、本開示の一実施形態にかかる画像処理システムの機能構成例について説明する。なお、以下の説明では、特に断りのない限り、図１に示したように、映像の表示面、センサ部１１０ａ、及び映像出力部１５０ａがそれぞれ独立して設けられる画像処理システムの構成を例にして説明する。

＜１−２．機能構成例＞
図４は、本開示の一実施形態にかかる画像処理システム１の機能構成例を示す説明図である。

図４に示したように、本開示の一実施形態にかかる画像処理システム１は、センサ部１１０と、画像処理装置１０と、映像出力部１５０を有する情報処理システムである。また図４に示したように、画像処理装置１０は、解析部１２０、実空間情報入力部１３０、信号生成部１４０、パラメータ操作部１６０、パラメータ設定部１７０、及び通信部１８０を備える情報処理装置である。

センサ部１１０は、画像処理システム１により仮想的な影効果が与えられる実空間をセンシングする。例えば、センサ部１１０は、当該実空間内の色や深度などをセンシングしてもよい。センサ部１１０のセンシング結果は、解析部１２０に提供される。

解析部１２０は、センサ部１１０のセンシング結果（実空間内の色や深度などの情報）を解析し、物体情報（物体の立体形状、位置、色など）、実空間における影の形状、ユーザの操作を示す操作情報などの実空間の情報（実空間情報）を取得する実空間情報取得部としての機能を有する。

例えば、センサ部１１０により実空間を撮像した画像が取得される場合、解析部１２０は、周知の背景差分法などを用いた画像解析により物体の位置や色、実空間における影の形状などを取得してもよい。また、センサ部１１０により実空間の深度情報が取得される場合、解析部１２０は、周知の手領域検出技術により取得した手の位置と、実空間内の物体や表示面の位置関係に基づいてタッチ位置を検出してもよい。また、センサ部１１０により実空間の深度情報が取得される場合、解析部１２０は、周知の背景差分法などにより物体領域を検出した後、当該物体の深度情報に基づいて、物体の立体形状を取得してもよい。

実空間情報入力部１３０には、解析部１２０がセンサ部１１０のセンシング結果を解析して取得した実空間情報が入力される。実空間情報入力部１３０に入力された実空間情報は、信号生成部１４０、及びパラメータ設定部１７０に提供される。また、実空間情報入力部１３０に入力された実空間の情報は、不図示の記憶部に提供されて記憶されてもよい。

信号生成部１４０は、実空間情報に基づいて、仮想的な影効果を当該実空間に与える仮想影映像の制御信号を生成する。信号生成部１４０により生成された制御信号は、映像出力部１５０に提供される。なお、信号生成部１４０が生成する映像の制御信号は、映像出力部１５０が直接再生可能な映像信号（所謂ＲＧＢ信号など）であってもよいし、レンダリング処理が行われることで画像や映像が得られるようなデータ（ＨＴＭＬデータなど）であってもよい。

また、信号生成部１４０は、後述するパラメータ設定部１７０が設定する仮想的な光源のパラメータに応じた仮想的な影効果を決定し、当該仮想的な影効果を実空間に与える仮想影映像の制御信号を生成してもよい。例えば、信号生成部１４０は、当該光源パラメータ（例えば光源特性、光源の位置、光源から発せられる光の方向、光源から発せられる光の範囲、光源から発せられる光の色、光源から発せられる光の明るさなど）を持つ光源が存在した場合に実空間に生成されるべき影をシミュレーションし、当該影を実空間に再現するように仮想的な影効果を決定してもよい。

また、実空間の情報が実空間に存在する物体に関する物体情報（物体の位置、立体形状、色など）を含む場合、上記の仮想影映像は、当該物体情報に応じて、仮想的な影効果を与えてもよい。例えば、物体情報が物体の位置を示す情報を含む場合、上記の仮想影映像は、当該物体の位置に応じて、仮想的な影効果を与えてもよい。また、物体情報が物体の立体形状を示す情報を含む場合、上記の仮想影映像は、当該物体の立体形状に応じて、仮想的な影効果を与えてもよい。例えば、信号生成部１４０は、特定の光源パラメータを持つ仮想的な光源による光が当該物体に照射されることで実空間に生成されるべき影をシミュレーションし、当該影を実空間に再現するように仮想的な影効果を決定してもよい。

また、上記のように物体と対応付けられた仮想的な影（当該物体に光が照射されることで実空間に生成されるべき影を再現した影）は、実空間情報に含まれる実空間におけるユーザのタッチ位置を示す情報に基づいて変化してもよい。例えば、仮想的な影効果は、仮想的な影と対応付けられた物体にユーザがタッチした場合に、変化してもよい。

なお、影効果の変化は上記に限られない。例えば、仮想的な影効果は、仮想的な影にユーザがタッチした場合に、変化してもよい。また、仮想的な影効果は、ユーザのタッチに依存せずに変化してもよい。例えば、仮想的な影の大きさは、経時的に変化してもよい。

また、映像出力部１５０がプロジェクタのような照明効果を与える機能を有する場合、信号生成部１４０は、実空間に存在する物体に照射されて照明効果を与える映像の制御信号をさらに生成してもよい。また、当該物体に対応した影の大きさが経時的に変化する場合、当該照明効果は、仮想的な影の大きさの変化に応じて、明るさが変化する照明効果であってもよい。

また、上記の仮想影映像は、実空間情報に含まれる実際の光源により生じた実空間における影（実影）の位置を示す情報に基づいて、当該実影の位置に応じた位置に、仮想的な影効果を与えてもよい。例えば、信号生成部１４０は、実影の近傍に仮想影を生じるように仮想的な影効果を決定してもよい。

また、映像出力部１５０がプロジェクタのような照明部を含む場合、信号生成部１４０は、実空間に存在する物体の立体形状に応じて当該物体を照射するよう当該照明部を制御するための制御信号をさらに生成してもよい。なお、照明部がプロジェクタである場合、当該制御信号は、映像信号であってもよい。

映像出力部１５０は、信号生成部１４０が生成した制御信号に基づいて、仮想的な影効果を実空間に与える映像を出力し、当該実空間に表示させる。また、映像出力部１５０は、信号生成部１４０が生成した制御信号に基づいて、物体に照射されて照明効果を与える映像を出力してもよい。

パラメータ操作部１６０は、仮想的な光源のパラメータに関するユーザの入力を受け付ける。パラメータ操作部１６０が受け付けたユーザの入力の情報は、パラメータ設定部１７０に提供される。

パラメータ設定部１７０は、仮想的な光源のパラメータを設定する。例えば、パラメータ設定部１７０は、パラメータ操作部１６０が受け付けたユーザの入力に基づいて、仮想的な光源のパラメータを設定してもよい。また、パラメータ設定部１７０は、後述する通信部１８０から入力される情報に基づいて仮想的な光源のパラメータを設定してもよい。また、パラメータ設定部１７０は、実空間情報入力部１３０から提供された実空間情報に基づいて仮想的な光源のパラメータを設定してもよい。また、パラメータ設定部１７０は、経時的に変化するように、仮想的な光源のパラメータを設定してもよい。

パラメータ設定部１７０が設定する仮想的な光源のパラメータは、例えば、光源特性、光源の位置、光源から発せられる光の方向、光源から発せられる光の範囲、光源から発せられる光の色、光源から発せられる光の明るさ、などに関する値を含んでもよい。パラメータ設定部１７０が設定した仮想的な光源のパラメータは、信号生成部１４０に提供される。

通信部１８０は、不図示の通信網（インターネットなど）に接続され、当該通信網に接続された不図示の外部サーバから仮想的な光源のパラメータに関する情報を取得する。例えば、通信部１８０は、現在または任意の時点の天気に関する情報や、一般のユーザが公開した光源パラメータに関する情報などを取得してもよい。通信部１８０が取得した仮想的な光源のパラメータに関する情報はパラメータ設定部１７０に提供される。

＜１−３．動作例＞
以上、本開示の一実施形態にかかる画像処理システム１の機能構成例について説明した。続いて、図５を参照して、本開示の一実施形態にかかる画像処理システム１の動作例について説明する。

図５は、本開示の一実施形態にかかる画像処理システム１の動作例を示すフローチャート図である。

まず、パラメータ設定部１７０が仮想的な光源のパラメータを設定する。（Ｓ１０２）既に設定されたパラメータが存在する場合には、パラメータ設定部１７０は仮想的な光源パラメータを更新する。設定・更新された仮想的な光源のパラメータは、信号生成部１４０に提供される。

続いて、センサ部１１０が実空間のセンシングを行う（Ｓ１０４）。センサ部１１０によるセンシング結果は解析部１２０に提供される。センサ部１１０からセンシング結果を受け取った解析部１２０は、当該センシング結果を解析し、実空間に存在する物体の立体形状、位置や色、実空間における影の形状、ユーザのタッチ位置などの実空間情報を取得する（Ｓ１０６）。取得された実空間情報は、実空間情報入力部１３０に入力された後、信号生成部１４０に提供される。

続いて、信号生成部１４０は、パラメータ設定部が設定した仮想的な光源のパラメータと、実空間情報に基づいて、仮想的な影効果を決定する（Ｓ１０８）。例えば、信号生成部１４０は、仮想的な光源の情報と実空間に存在する物体の情報に基づいて仮想的な影をシミュレーションすることで、仮想的な影効果を決定してもよい。さらに、信号生成部１４０は、決定された仮想的な影効果を与える映像の制御信号を生成する（Ｓ１１０）。生成された映像の制御信号は映像出力部１５０に提供される。

最後に、映像出力部１５０は、信号生成部１４０から提供された映像の制御信号に基づいて、仮想的な影効果を与える映像を実空間に出力し、表示させる（Ｓ１１２）。

以上の動作は、定期的に、または連続して繰り返されてもよい。例えば、図５に示した一連の動作について、一フレームの映像（画像）が出力され、図５に示した一連の動作が繰り返されることで複数フレームの映像が出力されてもよい。また、図５に示した一連の動作について、複数のフレームの映像が出力されてもよい。

＜＜２．演出の具体例＞＞
以上、本開示の一実施形態にかかる画像処理システム１の概要を説明した。続いて、上述した画像処理システム１により実現可能な演出の具体例を説明する。以下の、具体例ごとにシステム構成例を合わせて説明するが、図１〜図４を参照して説明したどの画像処理システム１であっても、以下に説明する具体例にかかる演出を実現可能である。また、以下の具体例は単独で実施されてもよいし、組み合わせて実施されてもよい。

＜２−１．具体例１＞
本具体例にかかる画像処理システム１は、実空間に存在する物体の立体形状に応じて、実空間に仮想的な影効果を与え、当該物体や当該物体に対応した仮想的な影にユーザがタッチすることで、仮想的な影効果に変化を与える。実際の光源、及び影により上記のような影効果を与える場合、例えば照明装置を隠したいにも拘らず、影に応じて目立つ位置に配置する必要が生じる場合や、照明装置を移動させる機構が必要となり、設備が複雑になる場合がある。そこで、本具体例にかかる画像処理システム１ａは、仮想的な光源を設定し、仮想的な影効果を実空間に与える映像を出力することで、映像出力部１５０ａの位置が影に依存することなく、また、より簡易な設備で上記のような影効果を与える。以下、図６〜９を参照して、本具体例について詳しく説明する。図６〜９は、具体例１にかかる演出を説明するための説明図である。

図６は、本具体例で想定されるシステム構成例を示す説明図である。図６に示すように、本具体例で想定される画像処理システム１ａでは、図１に示した画像処理システム１ａと同様にセンサ部１１０ａ、映像出力部１５０ａがテーブル３００ａの上方に設けられる。

図７は、テーブル３００ａに何も置かれていない状態から、物体２００ａが置かれた状態に変化した場合に、本具体例にかかる映像出力部１５０ａが出力する出力映像と、テーブル３００ａを上方から見た場合の実際の見えの変化例を示す説明図である。図７に示すようにテーブル３００ａ上に何も物体が存在しない場合には、センサ部１１０ａのセンシングと解析部１２０の実空間解析により物体が検出されず、出力映像に仮想影は含まれない（図７左列）。その後、物体２００ａがテーブル３００ａ上に置かれると（図７中央列）、センサ部１１０ａのセンシングと解析部１２０の実空間解析により物体２００ａが検出され、物体２００ａの位置と立体形状が取得される。その後、信号生成部１４０は、図７右列に示すように、物体２００ａの位置と立体形状に応じた仮想影４００ａが実空間に表示されるような映像の制御信号を生成し、映像出力部１５０ａが当該映像を出力する。

図７に示すように、実空間に存在する物体２００ａの位置や立体形状に応じた仮想的な影効果を実空間に与えることで、現実感の高い表示や演出を行うことが可能である。例えば、仮想影４００ａ内にコンテンツが表示されてもよく、この場合、実空間に存在する物体の影にコンテンツが表示されるように見えるため、現実感の高いＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）が実現される。

例えば、仮想影４００ａ内に表示されるコンテンツは、仮想影４００ａに対応する物体２００ａに関するコンテンツであってもよい。例えば、物体２００ａがオーディオＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）のジャケットであった場合には、解析部１２０により当該ジャケットが認識され、仮想影４００ａに当該オーディオＣＤのアーティスト情報や曲名リストなどが表示されてもよい。また、物体２００ａが通信可能な装置（スマートフォンなど）であった場合には、当該装置と通信部１８０が通信し、当該装置内のコンテンツや操作メニュー、当該装置に通知された情報（例えばメールの受信情報）や、などが仮想影４００ａ内に表示されてもよい。

仮想影４００ａ内にコンテンツが表示される場合、当該コンテンツに対するユーザのタッチ操作が解析部１２０により検出されて、タッチ操作に応じて表示コンテンツが変更されてもよい。例えば、オーディオＣＤのジャケットのような非装置に対応する仮想影４００ａにコンテンツがスクロールバーと共に表示されていた場合、当該スクロールバーに対する操作が検出され、仮想影４００ａ内に表示されたコンテンツがスクロールされてもよい。また、スマートフォンなどの通信可能な装置に対応する仮想影４００ａにコンテンツが表示されていた場合、当該コンテンツに対するユーザのタッチ操作に関する情報が通信部１８０から当該装置に送信され、当該スマートフォンが操作されてもよい。

仮想影４００ａに対するタッチ操作に応じた画像処理システム１ａの処理は上記に限られない。例えば、仮想影４００ａにユーザがタッチした場合に、映像出力部１５０ａが出力する出力映像が実空間に与える仮想的な影効果が変化してもよい。

図８は、仮想影４００ａへのユーザのタッチに応じて仮想的な影効果が変化する場合に、本具体例にかかる映像出力部１５０ａが出力する出力映像と、テーブル３００ａを上方から見た場合の実際の見えの変化例を示す説明図である。物体２００ａに対応する仮想影４００ａが表示された状態（図８左列）において、仮想影４００ａにユーザがタッチすると（図８中央列）、解析部１２０により仮想影４００ａがタッチされたことが検出され、仮想影４００ａの形状は図８右列に示すように変化する。仮想影４００ａの形状の変化は、仮想的な光源の位置の変更に伴う変化であっても良く、パラメータ設定部１７０がユーザのタッチ位置を示す情報に基づいて仮想的な光源のパラメータを更新することで、生じてもよい。また、仮想影４００ａ内にコンテンツが表示される場合には、仮想影４００ａの形状の変化に伴って仮想影４００ａ内に表示されるコンテンツが変更されてもよい。

また、上記と同様に、仮想影４００ａに対応する物体２００ａにユーザがタッチした場合に、映像出力部１５０ａが出力する出力映像が実空間に与える仮想的な影効果が変化してもよい。

図９は、物体２００ａへのユーザのタッチに応じて仮想的な影効果が変化する場合に、本具体例にかかる映像出力部１５０ａが出力する出力映像と、テーブル３００ａを上方から見た場合の実際の見えの変化例を示す説明図である。物体２００ａに対応する仮想影４００ａが表示された状態（図９左列）において、物体２００ａにユーザがタッチすると（図９中央列）、解析部１２０により物体２００ａがタッチされたことが検出され、仮想影４００ａの形状は図９右列に示すように変化する。なお、物体２００ａがタッチ操作の検出と通信が可能な装置（例えばスマートフォンなど）である場合には、当該装置が検出したタッチ操作が通信部１８０に送信されることで、物体２００ａへのタッチ操作が画像処理システム１ａに取得されてもよい。

＜２−２．具体例２＞
本具体例にかかる画像処理システム１は、実際の光源により生じた実空間における影の位置に応じた位置に、仮想的な影効果を与える。実際の光源により生じた影に応じた仮想影の表示が行われることで、仮想影に対応する実在しない物体が、実空間に存在するような印象をユーザに与え、現実感の高い演出が可能となる。以下、図１０、１１を参照して、本具体例について詳しく説明する。図１０、１１は、具体例２にかかる演出を説明するための説明図である。

図１０は、本具体例で想定されるシステム構成例を示す説明図である。図１０に示すように、本具体例で想定される画像処理システム１ａでは、センサ部１１０ａがテーブル３００ａの上方に映像出力部１５０ａがテーブル３００ａの斜め上方に設けられる。また、図１０に示すように、テーブル３００ａの上には花が挿された花瓶である物体２００ｂが置かれ、映像出力部１５０ａ（実際の光源）の照射により物体２００ｂの実影４２０ａが生じている。

図１１は、本具体例にかかる映像出力部１５０ａが出力する出力映像と、本具体例においてテーブル３００ａを上方から見た場合の実際の見えの例を示す説明図である。図１１の左列に示したように、出力映像によって実空間に実影４２０ａが生じると、センサ部１１０ａのセンシングと解析部１２０の実空間解析により実影４２０ａの位置が取得される。続いて、信号生成部１４０は、図１１の中央列に示すように、実影４２０ａの位置の近傍に仮想影４００ｂが表示されるような映像の制御信号を生成し、映像出力部１５０ａが当該映像を出力する。また、信号生成部１４０は、図１１の右列に示すように、実影４２０ａに接するように仮想影４００ｂが表示されるような映像の制御信号を生成し、映像出力部１５０ａが当該映像を出力してもよい。図１１の中央列から図１１の右列への遷移において、信号生成部１４０は、仮想影４００ｂが滑らかに移動するように映像の制御信号を生成してもよい。

なお、解析部１２０は、画像認識により、実影４２０ａがどのような種類の物体の影であるかを認識し、信号生成部１４０は、当該種類に応じたコンテンツを用いた影効果を決定してもよい。例えば、図１１の例では、実影４２０ａは花と花瓶の影であり、花と花瓶に応じたコンテンツとして、蝶の仮想影４００ｂを表示させるという影効果が決定されている。

また、本具体例は、上述した具体例１と組み合わされてもよい。例えば、信号生成部１４０は、実影４２０ａの近傍に表示されていた仮想影４００ｂが、図８左列に示した仮想影４００ａの近傍に移動するように映像の制御信号を生成してもよい。かかる構成によれば、仮想影４００ｂの移動により、仮想影４００ａに対するタッチ操作が可能であることをユーザにほのめかす（気づかせる）効果がある。

＜２−３．具体例３＞
本具体例にかかる画像処理システム１は、実空間に存在する物体の立体形状に応じて、実空間に仮想的な影効果を与えると共に、当該立体形状に応じて当該物体を照射するよう照明部を制御する。かかる構成によれば物体に対する光の当たり方の調整と、物体に対応する仮想的な影の調整を別々に容易に行うことが可能となる。以下、図１２、１３を参照して、本具体例について詳しく説明する。図１２、１３は、具体例３にかかる演出を説明するための説明図である。

図１２は、本具体例で想定されるシステム構成例を示す説明図である。図１０に示すように、本具体例で想定される画像処理システム１ａでは、図１に示した画像処理システム１ａと同様にセンサ部１１０ａ、映像出力部１５０ａがテーブル３００ａの上方に設けられる。また、物体２００ａがテーブル３００ａに置かれている。さらに、本具体例で想定される画像処理システム１ａでは、映像出力部１５０ｂが照明部としてテーブル３００ａの斜め上方に設けられる。

図１３は、本具体例にかかる映像出力部１５０ａ、及び映像出力部１５０ｂが出力する出力映像と、テーブル３００ａを斜め上方から見た場合の実際の見えの例を示す説明図である。図１３に示すように、映像出力部１５０ａが出力する出力映像によって仮想影４００ａが表示され、映像出力部１５０ｂが出力する出力映像によって、物体２００ａが照射される。例えば、信号生成部１４０が映像出力部１５０ａの出力映像を変化させるように制御信号を生成することで、仮想影４００ａの大きさ（長さ）や色、影が伸びる方向などを調整することが可能である。また、信号生成部１４０が映像出力部１５０ｂの出力映像を変化させるように制御信号を生成することで、物体２００ａに照射される光の明るさや、色などを調整することが可能である。したがって、信号生成部１４０が上記の制御信号の生成を別々に行うことで、物体２００ａに対する光の当たり方の調整と、物体２００ａに対応する仮想影４００ａの調整を別々に容易に行うことが可能となる。

なお、仮想影４００ａは、映像出力部１５０ｂと物体２００ａの位置関係に応じた位置に表示されてもよい。例えば、仮想影４００ａは、物体２００ａに対して映像出力部１５０ｂと反対側の位置に表示されてもよい。上記のように仮想影４００ａが表示されることで、物体２００ａに照射される光と、仮想影４００ａが対応して見えるため、より現実感の高い演出が可能となる。

また、本具体例で想定される画像処理システム１ａでは二つの映像出力部が含まれるため、一方の映像出力部の出力映像の影響で意図しない影（実影）が生じた場合に、他方の映像出力部の出力映像により、当該実影を打ち消すことも可能である。

＜２−４．具体例４＞
本具体例にかかる画像処理システム１は、実空間に存在する物体に対応した仮想的な影を実空間に表示させると共に、当該物体を照射して照明効果を与える。また、本具体例にかかる画像処理システム１は、上記仮想的な影の大きさを経時的に変化させると共に、当該仮想的な影の大きさの変化に応じて、当該物体の明るさが変化するように上記照明効果を与える。かかる構成によれば、実際には動いていない物体が、あたかも動いているかのように見える感覚をユーザに与えることが可能である。以下、図１４〜１６を参照して、本具体例について詳しく説明する。図１４〜１６は、具体例４にかかる演出を説明するための説明図である。

図１４は、本具体例で想定されるシステム構成例を示す説明図である。図１４に示すように、本具体例で想定される画像処理システム１ａでは、センサ部１１０ａ、映像出力部１５０ａが映像の表示面である壁３００ｃに接するように設けられる。また、付箋である物体２００ｃが壁に貼られている。なお、図１４に示した例ではセンサ部１１０ａは壁３００ｃに接するように設けられているが、センサ部１１０ａは壁と向かい合うように設けられてもよい。

図１５、１６は、本具体例にかかる映像出力部１５０ａが出力する出力映像と、壁３００ｃを壁３００ｃに対して垂直方向から見た場合の実際の見えの遷移例を示す説明図である。映像出力部１５０ａから光が照射されていない状態（図１５左列）から、映像出力部１５０ａからスポットライト状の光が照射された状態（図１５中央列）に遷移すると、壁３００ｃと物体２００ｃが照らされ、解析部１２０は物体２００ｃを検出可能となる。また、図１５中央列のように物体２００ｃに応じて仮想影４００ｃが表示される。ここで、解析部１２０が物体２００ｃの形状と色を解析し、映像出力部１５０ａは、図１５右列に示すように物体２００ｃと同一の形状と色を有する仮想物体４４０ａを表示してもよい。なお、図１５右列に示すように、スポットライト状の光の形状に合わせたシミュレーションにより、仮想物体４４０ａの右下の領域は物体２００ｃと同一の色で表示され、仮想物体４４０ａの左上の領域は物体２００ｃより暗く表示されてもよい。上記のように仮想物体４４０ａは、実在の物体と同一の形状と色を有すると共に、スポットライト状の光の影響を受けた状態が再現されているため、仮想的な物体だけを壁に表示する場合に比べて現実感の高い演出が可能となる。

なお、本具体例では、物体２００ｃ、及び仮想物体４４０ａは付箋であるため、上記の物体２００ｃ及び仮想物体４４０ａに対して、映像出力部１５０ａにより文字や絵などが投影され、連絡や通知のためのＵＩとして用いられてもよい

また、図１６に示すように、映像出力部１５０の出力映像は、仮想影４００ｃの大きさと形状が経時的に変化すると共に、仮想影４００ｃの変化に応じて、物体２００ｃの明るさが変化するように照明効果を与える。かかる構成によれば、実際には動いていない物体２００ｃが、あたかも動いている（揺れている）かのように見える感覚をユーザに与えるアニメーション演出を実現することが可能である。なお、仮想影４００ｃの大きさが変化することで、物体２００ｃと壁との距離が変化するように見える効果があり、物体２００ｃの明るさが変化することで、スポットライト状の光に対する物体２００ｃの角度が変化するように見える効果がある。

上記のアニメーション演出は、例えば、実際には動いていない物体が動いた場合のシミュレーションが行われることで実現されてもよい。例えば、信号生成部１４０は、シミュレーションされた物体の形状と、仮想的な光源に基づいて動的に仮想的な影効果や照明効果を与える映像の制御信号を生成して、上記のようなアニメーション演出を実現してもよい。また、予め形状や動きがデザインされた仮想的な影効果と照明効果が複数用意され、解析部１２０による物体の形状や種類、大きさなどの解析結果に応じて、仮想的な影効果と照明効果が選択、変形（サイズ、傾き、アスペクト比、影の濃さなど）されてもよい。

なお、上記のアニメーション演出は、例えば、ユーザに情報を通知したい場合などに、ユーザの注意を引くため（ユーザに気づかせる）に行われてもよい。

＜＜３．変形例＞＞
以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。

＜３−１．変形例１＞
上記では、いくつかの仮想的な影について説明したが、本実施形態による画像処理システム１により表示される仮想的な影は上記の例に限定されない。図１７は、仮想的な影のバリエーションの例を示す説明図である。図１７に示すように、仮想的な影は、仮想的な光源のパラメータや物体の立体形状などに応じて、様々な形状を有してよい。また、仮想的な影の色は黒色に限られず、グラデーションを有してもよいし、様々な色を含んでもよい。なお、仮想的な影の色は、仮想的な光源のパラメータに応じて決定されてもよい。また、仮想的な影の形状は、物体の立体形状に応じた形状に限られず、予め用意された形状や、予め用意された形状を変形させた形状であってもよい。

また、同時に複数の仮想的な影が表示されてもよい。複数の仮想的な影は、同一の仮想的な光源パラメータに基づいて表示されてもよいし、仮想的な影ごとに異なる仮想的な光源パラメータに基づいて表示されてもよい。

＜３−２．変形例２＞
上記では、いくつかの仮想的な光源について説明したが、本実施形態による画像処理システム１により表示される仮想的な光源は上記の例に限定されない。以下では、図１８〜図２２を参照して、仮想的な光源のバリエーションについて説明する。図１８〜図２２は、仮想的な光源のバリエーションを説明するための説明図である。

例えば、図７を参照して説明した具体例１では、仮想的な影以外の全ての表示範囲に光が照射される例を説明したが、表示範囲の一部の領域に限定されて光が照射されてもよい。また、仮想的な光源による光の照射領域は、照射面となる物体に応じてトリミングされてもよい。

図１８に示すように光の照射面であるテーブル３００ｄが映像出力部１５０ａの照射領域よりも小さい場合がある。上記のような場合、例えば、図１９に示すように、光の照射面であるテーブル３００ｄの形状に応じて、映像出力部１５０ａの出力映像がトリミングされてもよい。

また、仮想的な光源による光の照射領域は均一に照射される例に限られない。図２０の上段に示した例は、仮想的な光源による光を窓枠のように表示することで、窓から差し込む光を表現した例である。また、図２０下段左に示す例のように、窓の外の木をシミュレーションすることで、窓から差し込む木漏れ日が表現されてもよい。また、図２０下段右に示す例のように、天気が雨の場合に水滴が付いた窓から差し込む光が表現されてもよい。なお、現在、または任意の時点の天気情報を外部サーバから通信部１８０を介して取得することで、仮想的な光源に天気情報が反映されてもよい。

また、トリミングされる出力映像の形状は上記の例に限定されない。例えば、光の小斜面であるテーブルが円形の場合には、図２１のように、出力映像の形状は円形にトリミングされてもよい。

また、上記具体例４では、スポットライト状の光を照射する仮想的な光源の例を説明したが、スポットライトの形状は上記に限定されない。図２２上段に示すように、本開示による画像処理システム１により照射されるスポットライト状の光は多様な形状を有してよい。また、図２２下段に示すように、照射面と映像出力部１５０ａとの位置関係に応じて、スポットライト状の光は多様な形状を有してもよい。

＜３−３．変形例３＞
上記具体例４では、図１６を参照して説明したように、実際には動いていない物体が動いているかのように見せるアニメーション演出を説明したが、本開示によるアニメーション演出はかかる例に限定されない。図２３は本開示によるアニメーション演出のバリエーションの例を示す説明図である。

図２３上段左に示すように、物体（付箋）全体が動いているように見せるアニメーション演出が行われてもよいし、図２３上段右に示すように、物体の一部が動いているように見せるアニメーション演出が行われてもよい。また、図２３下段左に示すように、物体の形状と仮想的な光源の位置関係に応じた仮想的な影のアニメーション演出が行われてもよい。また、図２３下段右に示すように、物体の形状が変化しているように見せるアニメーション演出が行われてもよい。図２３下段右の例では、仮想的な影が歪みを有することに加え、物体への照明効果が下に行くほど明るくなることで、物体（付箋）がめくれるような形状変化をしているように見える効果がある。

＜＜４．ハードウェア構成例＞＞
以上、本開示の一実施形態と各変形例を説明した。上述した実空間解析処理、影効果決定処理、信号生成処理などの情報処理は、ソフトウェアと、以下に説明する画像処理装置１０のハードウェアとの協働により実現される。

図２４は、画像処理装置１０のハードウェア構成を示す説明図である。図２４に示したように、画像処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、入力装置１０４と、出力装置１０５と、ストレージ装置１０６と、通信装置１０７とを備える。

ＣＰＵ１０１は、演算処理装置及び制御装置として機能し、各種プログラムに従って画像処理装置１０内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。主に、ＣＰＵ１０１、ＲＯＭ１０２及びＲＡＭ１０３とソフトウェアとの協働により、解析部１２０、実空間情報入力部１３０、信号生成部１４０、パラメータ設定部１７０、の機能が実現される。

入力装置１０４は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。画像処理装置１０のユーザは、該入力装置１０４を操作することにより、画像処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置１０４は、図４を参照して説明したパラメータ操作部１６０に対応する。

出力装置１０５は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ装置及びランプなどの表示装置を含む。さらに、出力装置１０５は、スピーカ及びヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データなどを音声に変換して出力する。

ストレージ装置１０６は、データ格納用の装置である。ストレージ装置１０６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置１０６は、ＣＰＵ１０１が実行するプログラムや各種データを格納する。

通信装置１０７は、例えば、通信網に接続するための通信デバイスなどで構成された通信インタフェースである。また、通信装置１０７は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース通信装置を含んでもよい。通信装置１０７は、図４を参照して説明した通信部１８０に対応する。

＜＜５．むすび＞＞
以上説明したように、本開示の実施形態によれば、実空間の情報に基づいて仮想的な影効果が実空間に与えられるため、より現実感の高い演出が可能になる。また、実際の光源により影効果を与えようとする場合に比べ、より単純な設備で仮想的な影効果を与えることが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、解析部１２０がセンサ部１１０のセンシング結果を解析して空間情報を取得する実空間情報取得部として機能する例を説明したが、本技術はかかる例に限定されない。例えば、センサ部１１０が圧力センサを含み、センサ部１１０の出力が直接的に物体の位置情報のような空間情報を示す場合、センサ部１１０が実空間情報取得部として機能するとみなされてもよい。

また、上記実施形態では、センサ部としてカメラやステレオカメラ、圧力センサを有するタッチパネルなどが用いられる例を説明したが、本技術はかかる例に限定されない。例えば、センサ部は物体の透過性をセンシング可能なセンサを含んでもよい。センサ部が物体の透過性をセンシング可能なセンサを含む場合、信号生成部は、センシングされた物体の透過性に応じて、仮想的な影を透過させるように影効果を決定してもよい。なお、上記の物体の透過性をセンシング可能なセンサとしては、例えば物体の材質をセンシングする電波式センサや音波式センサなどが用いられてもよい。また、センサ部は、環境光の強さや方向などをセンシングする環境光センサを含んでもよい。センサ部が環境光センサを含む場合、例えば、信号生成部は環境光の強さや方向と整合した自然な影になるように仮想的な影効果を決定してもよいし、環境光の強さや方向と矛盾した目立つ影となるように仮想的な影効果を決定してもよい。

また、上記実施形態では、ユーザの操作として、ユーザのタッチ位置の検出に基づくタッチ操作が用いられる例を説明したが、本技術で用いられるユーザの操作はかかる例に限定されない。例えば、ユーザの操作は実空間または仮想空間に対するポインティング操作であってもよい。ポインティング操作は、例えば、上記実施形態で例示的に示したタッチ操作の他、指さし操作、視線操作、カーソル位置を利用してポインティングする操作、レーザポインタを利用してポインティングする操作などであってもよい。指さし操作は、例えば、操作体の向いている方向により位置をポインティングする操作である。また、視線操作は、例えば、ユーザの視線が向いている方向から推定されるユーザが注視している位置をポインティングする操作である。また、カーソルを利用してポインティングする操作は、例えば、操作体の移動に応じて実空間または仮想空間においてカーソルを移動させ、カーソルの位置が実空間において示す位置をポインティングする操作である。レーザポインタを利用してポインティングする操作は、レーザポインタにより照らされる位置をポインティングする操作である。上記のようなユーザの操作を示す操作情報は、例えば、センサ部、または解析部によって実空間の情報として取得され、実空間情報入力部に入力されてもよい。

また、本実施形態によれば、ＣＰＵ１０１、ＲＯＭ１０２、及びＲＡＭ１０３などのハードウェアを、上述した画像処理装置１０の各構成と同様の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
実空間の情報が入力される実空間情報入力部と、
前記実空間の情報に基づいて、仮想的な影効果を前記実空間に与える映像の制御信号を生成する信号生成部と、
を備える、画像処理装置。
（２）
前記実空間の情報は、前記実空間に存在する物体に関する物体情報を含み、
前記映像は、前記物体情報に応じて、前記仮想的な影効果を与える、前記（１）に記載の画像処理装置。
（３）
前記映像は、仮想的な光源のパラメータに応じた前記仮想的な影効果を与える、前記（２）に記載の画像処理装置。
（４）
前記物体情報は、前記物体の位置を示す情報を含み、
前記映像は、前記実空間に存在する物体の位置に応じて、前記仮想的な影効果を与える、前記（３）に記載の画像処理装置。
（５）
前記仮想的な光源のパラメータは、光源特性、光源の位置、光源から発せられる光の方向、光源から発せられる光の範囲、光源から発せられる光の色、光源から発せられる光の明るさ、のうち少なくともいずれか一つに関する値を含む、前記（４）に記載の画像処理装置。
（６）
前記物体情報は、前記物体の立体形状を示す情報をさらに含み、
前記映像は、前記実空間に存在する物体の立体形状に応じて、前記仮想的な影効果を与える、前記（４）または（５）に記載の画像処理装置。
（７）
前記信号生成部は、前記物体の立体形状に応じて前記物体を照射するよう照明部を制御するための制御信号をさらに生成する、前記（６）に記載の画像処理装置。
（８）
前記実空間の情報は、前記実空間におけるユーザの操作を示す情報を含み、
前記仮想的な影効果は、前記ユーザの操作に基づいて変化する、前記（２）に記載の画像処理装置。
（９）
前記ユーザの操作は、前記実空間または仮想空間に対するポインティング操作である、前記（８）に記載の画像処理装置。
（１０）
前記ポインティング操作は、前記物体に対するポインティング操作である、前記（９）に記載の画像処理装置。
（１１）
前記ポインティング操作は、前記映像により前記実空間に与えられた仮想的な影に対するポインティング操作である、前記（９）または（１０）に記載の画像処理装置。
（１２）
前記ポインティング操作は、タッチ操作、指さし操作、視線操作、カーソルを利用してポインティングする操作、レーザポインタを利用してポインティングする操作、のうち少なくともいずれか一つを含む、前記（９）〜（１１）のいずれか一項に記載の画像処理装置。
（１３）
前記実空間の情報は、実際の光源により生じた前記実空間における影の位置を示す情報を含み、
前記映像は、前記実際の光源により生じた影の位置に応じた位置に、前記仮想的な影効果を与える、前記（１）〜（１２）のいずれか一項に記載の画像処理装置。
（１４）
前記映像により前記実空間に与えられた仮想的な影の大きさは、経時的に変化する、前記（１）〜（１３）のいずれか一項に記載の画像処理装置。
（１５）
前記仮想的な影は、前記実空間に存在する物体に対応した影であり、
前記信号生成部は、前記物体に照射されて照明効果を与える映像の制御信号をさらに生成し、
前記照明効果は、前記仮想的な影の大きさの変化に応じて、明るさが変化する、前記（１４）に記載の画像処理装置。
（１６）
前記実空間の情報を取得する実空間情報取得部をさらに備える、前記（１）〜（１５）のいずれか一項に記載の画像処理装置。
（１７）
実空間の情報が入力されることと、
前記実空間の情報に基づいて、プロセッサが仮想的な影効果を与える映像の制御信号を生成することと、
を含む、画像処理方法。
（１８）
コンピュータに、
実空間の情報が入力される処理と、
前記実空間の情報に基づいて、仮想的な影効果を与える映像の制御信号を生成する処理と、を行わせるための、プログラム。

１ 画像処理システム
１０ 画像処理装置
１１０ センサ部
１２０ 解析部
１３０ 実空間情報入力部
１４０ 信号生成部
１５０ 映像出力部
１５０ａ 出力部
１６０ パラメータ操作部
１７０ パラメータ設定部
１８０ 通信部
２００ 物体
４００ 仮想影

Claims (18)

1. 実空間の情報が入力される実空間情報入力部と、
   前記実空間の情報に基づいて、仮想的な影効果を前記実空間に与える映像の制御信号を生成する信号生成部と、
   を備える、画像処理装置。
2. 前記実空間の情報は、前記実空間に存在する物体に関する物体情報を含み、
   前記映像は、前記物体情報に応じて、前記仮想的な影効果を与える、請求項１に記載の画像処理装置。
3. 前記映像は、仮想的な光源のパラメータに応じた前記仮想的な影効果を与える、請求項２に記載の画像処理装置。
4. 前記物体情報は、前記物体の位置を示す情報を含み、
   前記映像は、前記実空間に存在する物体の位置に応じて、前記仮想的な影効果を与える、請求項３に記載の画像処理装置。
5. 前記仮想的な光源のパラメータは、光源特性、光源の位置、光源から発せられる光の方向、光源から発せられる光の範囲、光源から発せられる光の色、光源から発せられる光の明るさ、のうち少なくともいずれか一つに関する値を含む、請求項４に記載の画像処理装置。
6. 前記物体情報は、前記物体の立体形状を示す情報をさらに含み、
   前記映像は、前記実空間に存在する物体の立体形状に応じて、前記仮想的な影効果を与える、請求項４に記載の画像処理装置。
7. 前記信号生成部は、前記物体の立体形状に応じて前記物体を照射するよう照明部を制御するための制御信号をさらに生成する、請求項６に記載の画像処理装置。
8. 前記実空間の情報は、前記実空間におけるユーザの操作を示す情報を含み、
   前記仮想的な影効果は、前記ユーザの操作に基づいて変化する、請求項２に記載の画像処理装置。
9. 前記ユーザの操作は、前記実空間または仮想空間に対するポインティング操作である、請求項８に記載の画像処理装置。
10. 前記ポインティング操作は、前記物体に対するポインティング操作である、請求項９に記載の画像処理装置。
11. 前記ポインティング操作は、前記映像により前記実空間に与えられた仮想的な影に対するポインティング操作である、請求項９に記載の画像処理装置。
12. 前記ポインティング操作は、タッチ操作、指さし操作、視線操作、カーソルを利用してポインティングする操作、レーザポインタを利用してポインティングする操作、のうち少なくともいずれか一つを含む、請求項９に記載の画像処理装置。
13. 前記実空間の情報は、実際の光源により生じた前記実空間における影の位置を示す情報を含み、
    前記映像は、前記実際の光源により生じた影の位置に応じた位置に、前記仮想的な影効果を与える、請求項１に記載の画像処理装置。
14. 前記映像により前記実空間に与えられた仮想的な影の大きさは、経時的に変化する、請求項１に記載の画像処理装置。
15. 前記仮想的な影は、前記実空間に存在する物体に対応した影であり、
    前記信号生成部は、前記物体に照射されて照明効果を与える映像の制御信号をさらに生成し、
    前記照明効果は、前記仮想的な影の大きさの変化に応じて、明るさが変化する、請求項１４に記載の画像処理装置。
16. 前記実空間の情報を取得する実空間情報取得部をさらに備える、請求項１に記載の画像処理装置。
17. 実空間の情報が入力されることと、
    前記実空間の情報に基づいて、プロセッサが仮想的な影効果を与える映像の制御信号を生成することと、
    を含む、画像処理方法。
18. コンピュータに、
    実空間の情報が入力される処理と、
    前記実空間の情報に基づいて、仮想的な影効果を与える映像の制御信号を生成する処理と、を行わせるための、プログラム。
    

Images