以下、本発明の実施の形態について図面を参照して説明する。
[第1実施形態]
[照明システムの概略構成]
本発明の第1実施形態として示す照明システムは、図1に示すように、投影装置としてのプロジェクタ1,撮像装置としてのカメラ2,及び照明制御装置3を含む。この照明システムは、プロジェクタ1の投影画像の投影エリア及びカメラ2の撮像エリアとが重複しており、当該重複したエリアに、被照射対象としての物体11及び背景12が含まれている。
物体11としては、あらゆる立体物を含む。例えばマネキン、バック、各種の電化製品などの照明光が投影されるものが挙げられる。また、背景12は、物体11の背面に設けられる平面等である。
また、物体11及び背景12は、背景部としての背景12及び当該背景部に対する前面側に設けられた対象物としての物体11とを含む筐体に搭載されても良い。この筐体は、例えば電化製品紹介用のスタンドなどが挙げられる。これにより、照明システムは、例えば被照射対象としての電化製品に対して照明用の光を投影し、背景部に当該電化製品の宣伝文句、各種の画像などを投影する空間演出システムを実現できる。また、照明システムは、照明による空間演出をするために、予め作成された投影パターンを所定の投影手順に従って投影することにより、高い演出効果の照明を行うこともできる。特に、照明される物体11の形状に合わせた投影領域を作成することに特徴を有する。
なお、この説明において、物体11の全部又は一部を明るく照らす照明光を投影する部分を「投影領域」と呼び、それ以外の領域は、投影領域以外の「非投影領域」となる。この非投影領域には、何も投影しないのではなく、背景色の光又は各種文字や映像を投影させても良い。以下の説明においては、投影画像のうちの投影領域には照明光を投影し、非投影領域には背景色の光を投影するものとする。
この照明システムは、立体物である物体11に対して当該物体11の特定領域を覆うような照明光を投影するものである。このために、照明システムは、投影パターンを投影するプロジェクタ1、プロジェクタ1により投影されるシーンを撮像するカメラ2、プロジェクタ1とカメラ2を制御する照明制御装置3を含む。カメラ2により撮像されるシーンは、物体11及び背景12により構成される。
ここで、物体11の形状に合わせて投影領域を作成する理想的な方法は、プロジェクタ1の視点から見た投影画像上で作成することが望ましい。しかし、プロジェクタ1の投影素子が、カメラ2の撮像素子を兼ねることができない。このため、プロジェクタ1の傍に設置するカメラ2により撮像された撮像画像上で投影領域を作成せざるを得ない。
プロジェクタ1とカメラ2とを別個の位置に配設した場合、プロジェクタ1の視点とカメラ2の視点とは異なるため、図2(a)の撮像画像上の物体11の位置及び形状と、図2(b)の投影画像上の物体11の位置及び形状とは、異なるものとなる。すなわち、撮像画像を投影画像に重ねた場合、図2(b)の点線に示すような位置が撮像画像内の物体11’となる。
したがって、以下に説明する照明システムは、カメラ2の視点で得られる撮像画像を、プロジェクタ1の視点の投影画像へ変換し、当該視点変換した投影画像上で、プロジェクタ1から投影する投影パターンの投影領域を設定する。これにより、照明システムは、実際にプロジェクタ1から投影領域のみに照明光を投影する投影画像を作成することを可能とするものである。
この照明システムにおける照明制御装置3は、例えば図3に示すように構成される。
照明制御装置3は、画像入力部21、入力画像メモリ22、演算部23、メモリ24、記憶装置25、I/O制御部26、出力画像メモリ27、画像出力部28を有する。また、照明制御装置3には、投影画像を作成するユーザの操作インターフェースとしての表示装置4、キーボード5、マウス6が接続されている。
この照明制御装置3は、画像入力部21により、カメラ2により撮像された撮像画像を入力してディジタル化して入力画像メモリ22に格納する。ここで、照明制御装置3は、図示しない信号線を介してカメラ2にコマンドを供給して、カメラ2の撮像動作を制御して、撮像画像を取得できる。
また、照明制御装置3は、演算部23により作成した投影画像を出力画像メモリ27に保存し、画像出力部28からプロジェクタ1に出力させる。これにより、照明制御装置3は、プロジェクタ1から投影エリアに投影画像を投影する。
更に、演算部23は、投影画像を作成するための作業領域としてのメモリ24を用いて、投影画像を作成する。また、演算部23は、記憶装置25に記憶された投影パターン、投影シーケンス、変換テーブルTcbを用いて、投影画像を作成する。このとき、照明制御装置3は、変換テーブルTcbを用いて撮像画像を投影画像に変換し、当該投影画像上の投影領域にどの投影パターンを選択させるかを指定させ、更には、投影シーケンスを選択させる。ここで、投影パターンは、物体11及び背景12に対する照明演出のために画像サンプルのことである。投影パターンとしては、RGBデータで表された照明光、静止画像、動画像等のあらゆるコンテンツを含む。また、投影シーケンスは、投影パターンの投影順序を示すデータのことである。この投影パターンの形状を加工した投影領域の設定、投影シーケンスの選択は、キーボード5及びマウス6が操作されたことに応じたI/O制御部26から操作入力信号により、演算部23が設定可能である。
更に照明制御装置3は、照明システムにおけるプロジェクタ1、カメラ2、物体11及び背景12が設定された状態で、変換テーブルTcbを作成する。変換テーブルTcbの作成には、位相シフト法、空間コード化法を用いる。
この位相シフト法は、輝度値が正弦波状に変化する縞パターンの位相をずらしながら複数枚に亘り投影及び撮像を行う。次に、この位相シフト法は、撮像された複数の投影像から、撮像素子の各画素において輝度値の初期位相を推定する。この初期位相は、投影素子上に設定したものであるため、撮像素子の各画素において求められた初期位相の推定値が、直接的に投影素子上の位置を表すものとなり、撮像画像と投影画像との対応付けができる。
対応付けする位置の精度を高くするため、投影素子上に複数の位相を割り付けると、推定時に位相のつなぎ目において位相接続が必要となる。この位相接続の方式には多くのものが知られているが、本実施形態の照明システムは、処理が簡単で信頼性が高い空間コード化法を使用する。
具体的には、照明制御装置3は、プロジェクタ1の投光方向に直交する第1方向に周期的に明度が変化する縞パターンを投影して第1方向について位相シフト法を用いた対応付を行う。また、照明制御装置3は、投光方向に直交する面内で第1方向に直交する第2方向に周期的に明度が変化する縞パターンを投影して第2方向について位相シフト法を用いた対応付を行う。これにより、照明制御装置3は、撮像画像と投影画像との画素間の対応関係を定める変換テーブルTcb(変換情報)を求める。この変換テーブルTcbは、記憶装置25に記憶される(変換情報記憶手段)。
更に照明制御装置3は、ユーザにより物体11及び背景12に投影する投影画像を生成させる。このとき、照明制御装置3は、撮像画像を、変換テーブルTcbに基づいて投影画像に変換する。次に、照明制御装置3は、ユーザのキーボード5やマウス6に対する操作に基づいて当該変換した投影画像内において投影領域を示す領域設定情報を設定する。次に、照明制御装置3は、領域設定情報に基づいて、プロジェクタ1から投影させる投影パターンを設定する(投影領域設定手段)。
具体的には、照明制御装置3は、図4に示すように、図4(a)の撮像画像100に対して座標変換をして、図4(b)のような投影画像101に変換することができる。ここで、照明制御装置3により取得された撮像画像100の各画素は、投影画像101に含まれる画素のサンプリングの格子点からずれた位置に変換される。このために、投影画像101の各画素における輝度値を得るためには、投影画像101の各画素のサンプリング点周辺に変換された撮像画像100の輝度値を補間して求めることが必要となる。
投影画像101を撮像画像100で補間する方法として、照明制御装置3は、記憶装置25に記憶しておいた変換テーブルTcbを用いる。この変換テーブルTcbは、図5に示すように、投影画像101の各画素周辺に変換された撮像画像100の画素座標を登録して構成される。具体的には、撮像画像の座標(1,1)は投影画像の座標(1,1)と(1,2)に対応している。
演算部23は、投影画像101を作成する時には、投影画像101の各画素を作成するために用いられる撮像画像100の画素の輝度値を平均して、当該投影画像101を構成する画素の輝度値として求める。なお、撮像画像100がカラー画像の場合には、RGBの各要素について平均を求めて、投影画像101を作成する処理を行う。
この変換テーブルTcbを用いる手法は、処理が簡単なために、照明システムにて採用している。しかし、投影画像101上に変換された座標で対応する撮像画像100の画素の輝度値を滑らかに結ぶ面を張り、その後、サンプリングして格子点の画素位置の輝度値を求める方法を採用しても良い。
このような照明システムは、撮像画像を変換した投影画像を表示装置4に表示させることにより、プロジェクタ1から見た物体11及び背景12をユーザに提示することができる。この状態で、照明システムは、ユーザにキーボード5及びマウス6を操作させることにより、照明光の投影パターンを選択させ、当該照明光の投影領域、投影シーケンスを選択させることができる。ユーザが選択した投影領域、投影シーケンス等は、操作入力信号としてI/O制御部26を介して演算部23に供給される。これにより、演算部23は、操作入力信号に基づいて、投影画像内において照明光が投影される投影領域を設定した領域設定情報を認識し、領域設定情報に基づいて、プロジェクタ1から投影させる投影画像を生成する。
具体的には、図6に示すように、物体11のうちの頭部11aにのみを明度の高い照明光を投影し、物体11うちの頭部11a以外の部分11bに明度の低い光を投影できる。また、図7に示すように、頭部11aにのみ照明光を投影し、その他の部分11b及び背景12を明度の低い光を投影できる。
[照明システムの動作]
つぎに、上述したように構成された照明システムによる各種の動作について、図8乃至図13のフローチャート等を参照して説明する。
「投影パターンの投影動作」
まず、照明システムによる投影パターンの投影動作について、図8を参照して説明する。
ステップS1において、照明制御装置3は、ユーザのキーボード5、マウス6の操作に応じた操作入力信号に従って、記憶装置25に記憶された投影領域が設定された投影パターンを含む投影画像及び投影シーケンスをメモリ24に読み込む。
次のステップS2において、照明制御装置3は、ステップS1にて読み込んだ投影画像を出力画像メモリ27に出力して保存させ、当該投影画像を画像出力部28からプロジェクタ1に転送させる。これにより、照明制御装置3は、プロジェクタ1から、投影領域のみに照明光を投影する投影画像を投影することができる。
次のステップS3において、照明制御装置3は、投影パターンの投影手順を規定した投影シーケンスを終了したか否かを判定する。そして、投影シーケンスを終了していない場合にはステップS2に処理を戻し、投影シーケンスを終了した場合には処理を終了する。
「投影パターンの設定動作」
つぎに、投影パターンの設定動作について、図9を参照して説明する。
ステップS11において、照明制御装置3は、物体11及び背景12を含む投影エリアをカメラ2により撮像させ、カメラ2により撮像された撮像画像を照明制御装置3により取得する。そして、照明制御装置3は、取得した撮像画像を、入力画像メモリ22に保存する。
次のステップS12において、照明制御装置3は、演算部23により、予めメモリ24に保存しておいた変換テーブルTcbを用いて、ステップS11にて入力画像メモリ22に保存させた撮像画像を変換する。これにより、演算部23は、撮像画像を構成する各画素の座標を、プロジェクタ1を視点とした座標に変換して、投影画像を作成する。なお、変換テーブルTcbは、照明制御装置3の起動時に、記憶装置25からメモリ24に読み込んでおく。同時に、演算部23は、変換テーブルTcbに従って、撮像画像の各画像を演算して、投影画像を構成する各画素の画素値(輝度及び色差又はRGB)を演算する。
次のステップS13において、照明制御装置3は、ステップS12にて作成した投影画像を表示装置4に表示させ、ユーザによりキーボード5及びマウス6を操作させて、照明光の投影領域を示す領域設定情報を作成し、投影画像を作成する。このとき、照明制御装置3は、キーボード5及びマウス6からの操作入力信号に基づいて投影パターンの領域(投影領域)を示す領域設定情報を設定することができる。これにより、照明システムは、図6及び図7に示したような、物体11のうちで部分的に照明光を投影する当該画像を作成できる。
「変換テーブルTcbの作成動作」
つぎに、変換テーブルTcbの作成動作について説明する。
変換テーブルTcbは、撮像画像の画素と投影画像の画素を対応付けたテーブルデータ、すなわち、撮像素子上の位置データと、投影素子上の位置データとの対応関係を示す。このように撮像画像と投影画像との対応付けるために、本実施形態における照明システムは、一般的に3次元形状の計測において用いられる時間縞パターン投影位相シフト法と称される手法を応用する。
図14に示すように、カメラ座標系202は、水平方向をx軸、垂直方向をy軸とし、撮像画像のサイズはx方向にm画素、y方向にn画素とする。また、プロジェクタ座標系201は、水平方向をu軸、垂直方向をv軸とし、投影画像のサイズはu方向にk画素、v方向にl画素とする。
照明システムは、図10に示すステップS21において、図14のような第1方向の縞パターン(第1方向の投影像301)をプロジェクタ1から投影し、カメラ2により投影エリアを撮像する。そして、演算部23は、撮像画像の各画素の輝度値を用いて、第1方向に沿うカメラ座標とプロジェクタ座標の対応付けを求める。ここで、第1方向に沿う座標とは、図14に示したようにカメラ座標系202におけるx軸、プロジェクタ座標系201におけるu軸となる。
次のステップS22において、プロジェクタ1は、図15のような第1方向と直交する第2方向の縞パターン(第2方向の投影像302)を投影し、カメラ2により投影エリアを撮像する。そして、演算部23は、撮像画像の各画素の輝度値を用いて、第2方向に沿うカメラ座標とプロジェクタ座標の対応付けを求める。ここで、第2方向に沿う座標とは、図14に示したように、カメラ座標系202におけるy軸、プロジェクタ座標系201におけるv軸となる。
このようなステップS21及びステップS22により、カメラ座標における撮像画像の各画素に対するプロジェクタ座標における対応画素が求まる。
次のステップS23において、ステップS21及びステップS22にて求めた撮像画像と投影画像との対応関係を用いて、プロジェクタ座標に対する、投影画像の各画素の輝度値を計算するときに必要となる撮像画像の画素を対応付ける変換テーブルTcbを作成する。これにより、図5に示したような変換テーブルTcbを作成できる。
上述したように撮像画像と投影画像との対応付けには、時間縞パターン投影位相シフト法の原理を利用する。以下、時間縞パターン投影位相シフト法の原理を説明する。
図16に、照明システムにおけるプロジェクタ1の投影素子1a、カメラ2の撮像素子2a、物体11の投影面ABの配置を示す。図16は、プロジェクタ1の主点、カメラ2の主点と、投影素子1a上のある点Pの投影面上の像である点Rとで構成される平面で切り取った断面での模式図である。この断面は、物体11の投影面では直線ABとなる。投影素子1a上の点Pから出射された投影光は、物体11上の投影面上の点Rで像を作る。この投影面上の点Rから反射された投影光は、撮像素子2a上で点Qに結像する。
時間縞パターン投影位相シフト法は、プロジェクタ1の投影素子1a上の位置Pと、正弦波状の縞パターンの初期位相とを関係付けて、図17のように位相を0〜3π/2までπ/2ずつずらしながら順次縞パターンを投影する。時間縞パターン投影位相シフト法は、任意形状の物体11の投影面ABに投影され、投影面ABの3次元形状により変形させられた投影像を撮像して得られる撮像画像の各画素における輝度値を検出して、縞パターンの正弦波の初期位相値を画素ごとに推定する。次に、時間縞パターン投影位相シフト法は、撮像素子2a上の画素(位置Q)ごとに推定された初期位相値と、投影素子1a上における位置Pの縞パターンの初期位相とから、同じ初期位相の投影素子1a上の位置P、撮像素子2a上の位置Qを求める。これにより、時間縞パターン投影位相シフト法は、撮像素子2aのある画素Qで受光した光が、投影素子1a上のどの画素Pから出た光であるかを特定する。
初期位相は、物体11の投影面の3次元形状に応じて変形させられる。このため、初期位相値は、投影面の3次元形状を表す値となる。初期位相値を計算するときに、位相をずらしながら順次に縞パターン投影するために、「時間」という形容詞を付して、時間縞パターン投影位相シフト法と称される。本実施形態では、当該時間縞パターン投影位相シフト法のうち、撮像画像と投影画像との対応付けを行う手法を利用する。
以上のように、照明システムにおいては、撮像素子2a上の位置Qにおける縞パターンの初期位相が推定できると、当該推定した初期位相を投影した投影素子1a上の位置Pがわかる。時間縞パターン位相シフト法では、最低でも3つの位相をずらした縞パターンを投影することで、位相を推定できることが知られている。本実施形態では、図17に示したように0から位相をπ/2ずつずらす縞パターンを4つ使う場合を例にして説明している。しかし、3つの縞パターンを用いて、撮像素子2a上における各位置の初期位相を推定して、投影素子1a上の位置Pに対応する撮像素子2a上の位置Qを求めても良い。
このような時間縞パターン投影位相シフト法を用いて、上述の図10におけるステップS21の第1方向(X方向)における撮像画像と投影画像との対応付を行う処理を、図11を参照して説明する。
先ずステップS31において、照明制御装置3は、図18に示したバイナリパターン1、バイナリパターン2、バイナリパターン3、バイナリパターン4の縞パターンを用いて、空間コード化法で大局位相を算出する。この大局位相は、画面全体の位相を粗く表すものである。
次のステップS32において、照明制御装置3は、時間縞パターン投影位相シフト法を用いて、第1方向における縞パターンを順次に投影及び撮像させ、撮像画像上における画素(局所)ごとに位相Φ1(x)を求める。
このとき、図17に示したように、シフトなし、π/2シフト、πシフト、3π/2シフトの縞パターンを撮像した撮像画像上における輝度値I0(x)、I1(x)、I2(x)、I3(x)は、下記の式1乃至式4のように表される。
この式1乃至式4におけるB(x)はバイアス成分、A(x)は振幅成分、Φ1(x)は初期位相を表す。これら4つの輝度値I0(x)、I1(x)、I2(x)、I3(x)から、初期位相Φ1(x)は、下記の式5により求めることができる。
次のステップS33において、照明制御装置3は、ステップS31にて求めた大局位相を参照して、ステップS32にて求めた局所位相の位相を接続するアンラッピング処理を行い、絶対位相Φ1(x)を算出する。
時間縞パターン投影位相シフト法において、縞パターンが複数あると、撮像画像において推定された位相は、2πごとの繰り返しで位相飛びがある、いわゆるラッピングされたものとなる。このため、ラッピングされた位相を繋ぐアンラッピング処理が必要となる。このアンラッピング処理は、図19(a)に示す第1方向における局所位相Φ1(x)と、図19(b)に示す第1方向における大局位相とを合成して、図19(c)に示すような第1方向における絶対位相Φ1(x)を求める処理である。これにより、照明制御装置3は、撮像画像全体にわたる粗い位相である大局位相を求め、次に、当該大局位相と、ラッピングされている局所位相とを比較して位相を繋ぎ、絶対位相を求めることができる。なお、空間コード化法による大局位相の算出方法は、「井口征士、佐藤宏介、三次元画像計測、昭晃堂、pp. 80-119」に示されている。
次のステップS34において、照明制御装置3は、投影画像におけるu軸成分の位置を求める。ここで、図14に示したように、投影画像のu軸成分は、撮像画像の第1方向(x方向)に対応する。順次に投影及び撮像される縞パターンの縞の数をMとすると、投影画像のu軸方向の画素数はk画素であることより、撮像画像上のxの位置に対応する投影画像上のuの位置は、下記の式6のように演算できる。
このように、照明制御装置3は、空間コード化法及び時間縞パターン投影位相シフト法の双方を用いて、第1方向における撮像画像の座標と投影画像の座標との対応付けを行うことができる。
また、ステップS22における第2方向におけるカメラ座標とプロジェクタ座標の対応関係を求める処理も、上述した第1方向と同様である。ステップS22の処理は、図12に示すようになる。先ずステップS41において、照明制御装置3は、図15に示すように、第1方向とは直交する方向の縞パターンを用いて、空間コード化法で大局位相を算出する。
次のステップS42において、照明制御装置3は、時間縞パターン投影位相シフト法を用いて、第2方向における縞パターンを順次に投影及び撮像させ、撮像画像上における画素(局所)ごとに位相Φ2(y)を求める。
このとき、図17に示したように、シフトなし、π/2シフト、πシフト、3π/2シフトの縞パターンを撮像した撮像画像上における輝度値I0(y)、I1(y)、I2(y)、I3(y)は、下記の式7乃至式10のように表される。
これら4つの輝度値I0(y)、I1(y)、I2(y)、I3(y)から、初期位相Φ2(x)は、下記の式11により求めることができる。
次のステップS43において、照明制御装置3は、ステップS41にて求めた大局位相を参照して、ステップS42にて求めた局所位相の位相を接続するアンラッピング処理を行い、第2方向における絶対位相Φ2(x)を算出する。
次のステップS44において、照明制御装置3は、投影画像におけるuv軸成分の位置を求める。ここで、図14に示したように、投影画像のv軸成分は、撮像画像の第2方向(y方向)に対応する。順次に投影及び撮像される縞パターンの縞の数をMとすると、投影画像のv軸方向の画素数はl画素であることより、撮像画像上のyの位置に対応する投影画像上のvの位置は、下記の式13のように演算できる。
このように、照明制御装置3は、空間コード化法及び時間縞パターン投影位相シフト法の双方を用いて、第2方向における撮像画像の座標と投影画像の座標との対応付けを行うことができる。
上述した図11のステップS31〜ステップS34からなる図10のステップS21と、上述した図12のステップS41〜ステップS44からなる図10のステップS22の後に、照明制御装置3は、図13の処理を行うことにより、ステップS23にて変換テーブルTcbの作成を行う。
照明制御装置3は、図13に示すステップS51において、ステップS21中のステップS34及びステップS22中のステップS44により算出された投影画像上の座標(u,v)を読み込む。この投影画像上の座標(u,v)は、下記の式13のように、
のように表現される。
次のステップS52において、照明制御装置3は、投影画像上の座標(u,v)の小数点以下を四捨五入し、対応する整数部を持つ変換テーブルTcbの座標(u,v)の欄に、対応する撮像画像上の座標(x,y)を格納する。ここで、式13に示した撮像画像上の座標(x,y)から変換した投影画像上の座標(u,v)は、図4に示したような離散的なサンプリング格子点である投影画像上の座標からはずれた位置となる。このために、照明制御装置3は、投影画像の各画素のサンプリング点周辺に変換された撮像画像の輝度値を補間して、投影画像の各画素における輝度値を求める必要がある。
したがって、図5に示す変換テーブルTcbのうち、投影画像上の座標(u,v)に対応した撮像画像上の座標(x,y)の欄には、複数の撮像画像上の座標を格納する。そして、実際に、撮像画像上の座標を投影画像上の座標に変換する場合には、一又は複数の撮像画像上の画素を平均して、投影画像上の輝度値を求めることができる。
次のステップS53において、照明制御装置3は、撮像画像の全面に亘りステップS51及びステップS52の処理を行ったか否かを判定する。撮像画像の全面に亘りステップS51及びステップS52の処理を行った場合には処理を終了し、そうでない場合にはステップS51及びステップS52の処理を行う。
以上詳細に説明したように、本発明の第1実施形態として示す照明システムによれば、撮像画像と投影画像との対応関係を求めるために、第1方向に周期的に明度が変化する縞パターンを投影及び撮像して当該第1方向について位相シフト法を用いて撮像画像と投影画像との対応付を行い、第1方向に直交する第2方向に周期的に明度が変化する縞パターンを投影及び撮像して第2方向について位相シフト法を用いて撮像画像と投影画像との対応付を行う。これにより、照明システムは、撮像画像と投影画像との画素間の対応関係を定める変換テーブルTcbを求めることができる。したがって、この照明システムによれば、撮像画像を、変換テーブルTcbに基づいて投影画像に変換して、当該投影画像を提示できる。そして、照明システムは、投影画像内における投影領域を設定した領域設定情報に基づいて、照明光を投影領域に投影させる投影画像を生成させることができる。
このように、照明システムによれば、撮像画像を変換した投影画像を提示し、当該変換した投影画像上の領域内の物体11の局所的な部位を指定させれば、当該指定した領域に対応した物体11に対して局所的な照明を行う投影パターンを設定することができる。したがって、照明システムによれば、プロジェクタ1及びカメラ2を物体11及び背景12に対して設置した場合に、設定した投影領域に正しく光を投影でき、当該投影領域を設定する作業を簡単にすることができる。
[第2実施形態]
つぎに、第2実施形態に係る照明システムについて説明する。なお、上述の第1実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
第2実施形態として示す照明システムは、照明制御装置3により投影領域を設定するときに、プロジェクタ1の投光方向に直交する第3方向に周期的に明度が変化する縞パターンを投影及び撮像して位相シフト法により作成した位相画像を用いる点で、第1実施形態に係る照明システムとは異なる。
この位相画像は、上述の第1実施形態にて説明したように、複数の縞パターンを撮像した撮像画像上における複数の輝度値を求め(式1乃至式4)、これら複数の輝度値から式5により求めた初期位相Φ1(x)からなる画像である。
照明システムは、図20(a)に示すように、プロジェクタ1の投影エリアに被投影物体が存在しない状況でプロジェクタ1の投光方向に直交する第3方向に周期的に明度が変化する縞パターンを投影及び撮像させて位相シフト法により第1位相画像(背景位相画像)を作成する。また、照明システムは、図20(b)に示すように、投影エリアに被投影物体が存在する状況でプロジェクタ1の投光方向に直交する第3方向に周期的に明度が変化する縞パターンを投影及び撮像させて位相シフト法により第2位相画像(前景位相画像)を作成する。
第1位相画像(背景位相画像)は、背景12の状況に基づく位相値を輝度値として表現している。また、第2位相画像(前景位相画像)は、物体11及び背景12の状況に基づく位相値を輝度値として表現している。この位相画像の輝度値は、プロジェクタ1との距離が遠い程に低い値、つまり暗い値となっている。そして、照明システムは、背景位相画像と前景位相画像との差分をとることにより、図20(c)のような位相差分画像を取得することができる。この位相差分画像は、投影対象となる物体11の部分だけを投影領域として抽出したものとなる。
このような動作を行う照明システムは、変換テーブルTcbを用いて、当該位相差分画像を投影画像に変換する。そして、照明システムは、変換した投影画像上にて、位相差分画像を上書きするように、照明光の投影領域を設定することができる。
このような第2実施形態において、位相差分画像を作成する処理を、図21のフローチャートを参照して説明する。
照明制御装置3は、先ずステップS61において、背景位相画像と前景位相画像との差分から投影領域を抽出するための位相差分閾値αを設定する。
次のステップS62において、照明制御装置3は、背景位相画像を取得するために、カメラ2の撮像するシーンを背景に設定する。次のステップS63において、照明制御装置3は、カメラ2により撮像画像を取得し、当該撮像画像を用いて背景位相画像を作成する。
次のステップS64において、照明制御装置3は、前景位相画像を取得するために、カメラ2の撮像するシーンを前景に設定する。次のステップS65において、照明制御装置3は、カメラ2により撮像画像を取得し、当該撮像画像を用いて前景位相画像を作成する。
次のステップS66において、照明制御装置3は、ステップS63にて取得した背景位相画像と、ステップS65にて取得した前景位相画像との差分を、当該背景位相画像と前景位相画像との対応する画素同士で演算する。これにより、照明制御装置3は、位相画像の画素ごとに差分値Dを計算できる。
次のステップS67において、照明制御装置3は、ステップS66にて計算した差分値Dが、ステップS61にて設定した位相差分閾値αよりも大きいか否かを判定する。差分値Dが位相差分閾値αよりも大きい場合にはステップS68に処理を進め、そうでない場合にはステップS69に処理を進める。
ステップS68において、照明制御装置3は、ステップS67にて差分値Dが位相差分閾値αよりも大きいと判断された画素を、投影領域として抽出する。
ステップS69において、照明制御装置3は、ステップS66〜ステップS68の処理を背景位相画像と前景位相画像の全面に亘り行ったか否かを判定し、そうである場合には処理を終了し、そうではない場合にはステップS66に処理を戻す。
以上のように、第2実施形態に係る照明システムによれば、第1実施形態と同様に、プロジェクタ1及びカメラ2を設置した場合に、設定した投影領域に正しく光を投影でき、当該投影領域を設定する作業を簡単にすることができる。
また、この照明システムによれば、例えば照明光としての投影パターンを投影したい物体11を置かないで背景位相画像を作成し、物体11を置いて前景位相画像を作成する。そして、照明システムは、背景位相画像と前景位相画像との差分をとることにより、物体11を抽出した位相差分画像を取得できる。そして、位相差分閾値αを超えた領域を、投影画像上の領域に設定できる。したがって、この照明システムによれば、前景と背景の位相画像を計測して、投影領域を自動的に抽出することにより、設定工数を削減して、投影領域を設定する作業の時間を短縮することができる。
すなわち、上述した照明システムは、第1実施形態のように撮像画像を投影画像に変換して投影画像内で照明領域を設定することに代えて、背景位相画像と前景位相画像との差分を採るだけで投影画像内での自動的に照明領域を抽出できる。
また、この照明システムによれば、実際に物体11及び背景12を含む投影エリアに対して縞パターンを投影及び撮像して変換テーブルTcbを作成する時に用いた位相画像を用いて、投影領域を自動的に抽出できる。したがって、この照明システムによれば、処理工数を更に削減できる。
[第3実施形態]
つぎに、第3実施形態に係る照明システムについて説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
第3実施形態として示す照明システムは、撮像画像の輝度の濃淡に基づいて投影領域を設定するものである。すなわち、第1実施形態においては、撮像画像を投影画像に変換し、当該変換した投影画像上でユーザが投影領域を設定していたが、第2実施形態における照明システムは、投影画像上の輝度の濃淡に基づいて、投影領域を自動的に抽出するものである。そして、照明システムは、変換した投影画像上にて、抽出した投影領域を投影画像に上書きするだけで、照明光の投影領域を設定することができる。これにより、照明光等を投影する投影領域の設定時間を短縮する。
具体的には、図22に示すように、物体11の表面の“A”と描かれたマーク11cの部分のみに、照明光を投影したいとする。この場合、照明制御装置3は、物体11及び背景12を撮像した撮像画像を投影画像に変換する。そして、照明制御装置3は、当該マーク11cに相当する投影画像内の輝度が所定値以上である場合には、当該領域を投影領域として自動的に抽出する。また、照明制御装置3は、当該文字の“A”のマーク11cのみを抽出する輝度範囲の上限値Cuと下限値Clを用いて、当該投影画像上における文字部分の領域を抽出することもできる。なお、輝度値に限らず、カラー画像である場合にはRGBの色となる。このような照明システムは、文字の“A”部分のみを照明光の投影領域に設定して、図23に示すように、文字の“A”のマーク11cのみに対して、照明光を投影できる。
このような照明システムは、その動作を図24に示すように、先ずステップS71において、撮像画像を変換した投影画像のうちで抽出する色範囲である上限値Cu及び下限値Clを設定する。この設定作業は、例えば、予めテンプレートとして記憶しておいた範囲や、ユーザがキーボード5及びマウス6により入力した範囲であっても良い。また、色範囲は、通常のシーンでは現れがたい範囲であることが望ましい。
次のステップS72において、照明制御装置3は、撮像画像から変換した投影画像上の画素の色が上限値Cu〜下限値Clの範囲内であるか否かを判定する。投影画像上の画素の色が上限値Cu〜下限値Clの範囲内である場合にはステップS73に処理を進め、そうではない場合にはステップS74に処理を進める。
ステップS73において、照明制御装置3は、ステップS72にて色範囲が上限値Cu〜下限値Clの範囲である投影画像上の画素を、投影領域として抽出する。これにより、照明制御装置3は、領域設定情報を作成できる。
ステップS74において、照明制御装置3は、ステップS72及びステップS73の処理を投影画像の全面に亘り行ったか否かを判定することにより投影画像のスキャンが完了したか否かを判定する。完了した場合には処理を終了し、完了していない場合にはステップS76に処理を戻す。
以上のように、第3実施形態として示した照明システムによれば、第1実施形態と同様に、プロジェクタ1及びカメラ2を設置した場合に、設定した投影領域に正しく光を投影でき、当該投影領域を設定する作業を簡単にすることができる。
また、この照明システムによれば、物体11上にマーク11cを取り付けておき、当該物体11を撮像した撮像画像を投影画像に変換するのみで、当該投影画像からマーク11cに相当する領域を投影領域として自動的に抽出することができる。したがって、この照明システムによれば、ユーザの手作業により投影画像から投影領域を設定する必要なく、投影パターンの設定を短時間で行うことができる。
[第4実施形態]
つぎに、第4実施形態に係る照明システムについて説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
第4実施形態として示す照明システムは、外部からの入力に基づいて、投影領域を設定した投影画像を修正する修正機能を備えるものである。この照明システムは、図25に示すように、上述したように撮像画像を投影画像に変換し、当該投影画像上で投影領域を設定して、プロジェクタ1から投影領域に照明光を投影している。
この状態において、カメラ2は、物体11及び背景12を撮像し、撮像画像を表示装置4に表示させる。また、この状態において、照明システムは、投影領域の変更を指示する操作入力信号をキーボード5及びマウス6から入力すると、当該操作入力信号に従って投影領域を変更する。
具体的には、物体11及び背景12に投影された投影パターン像を表示装置4に表示させて、当該状況をユーザに確認させる。この状態にて、キーボード5やマウス6の操作インターフェースを用いて、表示装置4に表示された投影パターンの形状(投影領域)を修正する。
このような照明システムは、図26に示すような手順で投影領域を修正させる。
先ずステップS81において、照明システムは、カメラ2により物体11及び背景12を含むシーンを撮像させて、撮像画像を取得する。
次のステップS82において、照明システムは、予め記憶装置25に記憶しておいた変換テーブルTcbを用いて、ステップS81にて取得した撮像画像から投影画像を生成する。
次のステップS83において、照明システムは、ステップS82にて生成した投影画像上で、投影パターンの形状(投影領域)を設定させる。このとき、照明システムは、上述した第1実施形態のようにキーボード5及びマウス6の操作入力信号に基づいて投影領域を設定しても良く、第2実施形態又は第3実施形態のように自動的に投影領域を抽出しても良い。
次のステップS84において、照明システムは、ステップS83にて設定した投影領域を出力画像メモリ27に出力し、画像出力部28を介してプロジェクタ1を駆動させて、プロジェクタ1から投影画像を投影させる。これにより、ユーザは、実際の投影画像の状態を確認できる。
次のステップS85において、照明システムは、ステップS84にて投影をしている状態をカメラ2により撮像し、当該撮像画像を投影画像に変換して表示装置4に表示させる。
以上のように、第4実施形態に係る照明システムによれば、第1実施形態と同様に、プロジェクタ1及びカメラ2を設置した場合に、設定した投影領域に正しく光を投影でき、当該投影領域を設定する作業を簡単にすることができる。
また、この照明システムによれば、ユーザは投影状態を確認しながらキーボード5及びマウス6を操作し、照明制御装置3は、投影領域を修正する操作入力信号に基づいて投影領域を修正できる。
被照射物体としての物体11は3次元形状を持つ場合が多いため、表示装置4の表示画面上で投影パターン作成時に想定した照明効果と、実際に投影した時の照明効果とが異なる場合が発生する。このため、実際に物体11及び背景12に対して投影された状態を確認しながら照明光の投影領域を修正することにより、所望の照明演出効果を得るための投影領域を作成する作業効率を向上させることができる。
また、この照明システムによれば、物体11全体を覆うように投影領域を設定しても、当該物体11から背景12に漏れて照明光が投影されてしまうノイズが発生しても、当該ノイズが発生しないように投影領域を修正することができる。
[第5実施形態]
つぎに、第5実施形態について説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
第5実施形態として示す空間演出システムは、上述した照明システムを、空間演出に応用したものである。この空間演出システムは、図27に示すように、背景部7a,7b,7c及び当該背景部7a,7b,7cに対する前面側に設けられた投影対象物である物体11を含む筐体7を備える。なお、物体11としては、各種の商品など、あらゆるものが想定できる。
筐体7は、物体11が、上述した照明システムにより設定される投影領域となり、その他の部分が背景部7a,7b,7cとなる。なお、7dは物体設置棚である。プロジェクタ1は、背景部7a,7b,7c及び物体11を含む投影エリアに対して投影画像を投光する。また、カメラ2は、投影エリアに投光されている画像を撮像して撮像画像を取得する。
なお、プロジェクタ1及びカメラ2は、例えば筐体7における天井部分に設けられている。このプロジェクタ1及びカメラ2の設置位置と、背景部7a,7b,7cとの位置関係によっては、背景部7aは投影エリアから外れていても良い。この場合、背景部は7b,7cのみとなる。
このような空間演出システムは、上述した照明システムにより、物体11のみを投影領域に設定して、当該物体11に対してのみ照明光を投影する。また、空間演出システムは、物体11以外の背景部7a,7b,7cに、ユーザが設定した画像を投影できる。図27に示す例では、背景部7a,7cには単一色の光を投影し、背景部7bには、当該単一色に対して物体11の情報画像13a,13bを投影している。この情報画像13a,13bとしては、物体11が商品である場合の値段、商品説明などが挙げられる。この情報画像13a,13bの選択作業は、上述した照明システムにおける投影パターンを選択する作業に相当する。なお、背景部7a,7b,7cには、単一色に限らず、模様などの画像であっても良く、情報画像13a,13bは商品の使用方法などを解説する動画像であっても良いことは勿論である。
更に、この空間演出システムは、上述した照明システムにおける投影シーケンスを設定することにより、物体11に対して照明光を投影する順序、背景部7a,7b,7cに対して投影する情報画像13a,13bの投影順序を時系列的に変更できる。これにより、空間演出システムは、物体11に対してユーザが望む空間演出を実現できる。
更にまた、空間演出システムは、物体11及び背景部7a,7b,7cに対する投影状態を変更するボタン部14を備えていても良い。このボタン部14は、機械的なスイッチ機構で構成されていても良く、背景部7c上に描かれたボタン模様に商品消費者が手を翳したことを赤外線センサなどで検知しても良い。空間演出システムは、ボタン部14に対して商品消費者から操作された場合には、当該ボタン部14に対応する物体11に対して照明光を投影することができる。これにより、物体11の演出効果を高めることができる。また、ボタン部14に対応して情報内容を設定しておき、ボタン部14に対する操作を検出したときに、情報画像13a,13bを投影しても良い。
以上のように、この空間演出システムによれば、上述した照明システムを備えることにより、筐体7に対して物体11を配置した時に、当該物体11の形状に合わせて投影領域を設定する作業を簡単にすることができる。
また、この空間演出システムは、筐体7によってあらゆる商品の空間演出を実現できる。この場合、空間演出は、物体11が異なるごとに、照明システムによって位相シフト法を用いた変換テーブルTcbを用いて、撮像画像を投影画像に変換して、商品の設置状態をユーザに提示する。そして、空間演出システムは、当該商品の設置状態を認識して、商品に対して照明光を投影する投影領域を設定できる。
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。