JP2016122179A - 投影装置及び投影方法 - Google Patents

Abstract

【課題】特定の物体に対して所期の位置関係にある領域に映像を確実に投影することができる投影装置の提供。【解決手段】対向する物体との距離を計測する距離センサと、距離センサが出力する距離情報に基づいて特定の対象物体および当該対象物体と接している投影面を検出する検出部と、対象物体と投影面とが互いに接する部分を特定し特定された該接する部分に基づいて対象物体に関係付けられた映像の投影可能な領域を前記投影面内において決定する投影領域決定部と、映像を領域に投影する投影部と、を備え、特定の物体に対して所期の位置関係にある領域に映像を確実に投影することができる投影装置を提供することができる。【選択図】図３

Description

本開示は、投影装置及び投影方法に関する。

特許文献１は、撮像装置を用いて取得した画像に含まれる物体を認識し、映像を認識された物体の近傍に投影する装置を開示する。

特開２０１３−２３５３７４号公報

特許文献１の手法では、撮像装置が撮像した画像に基づいて物体を認識し、当該認識に基づいて映像を投影する。ここで、撮像装置により生成される画像は、いわば実三次元空間内の被写体を二次元の平面に射影して生成される像である。そのような画像からでは実三次元空間における奥行き方向に関する情報を取得することができない。そのため、特許文献１の手法では、装置に対して斜めになっている面に物体が載置されているような場合、認識された物体の近傍に映像を投影しようとしても、実際には、映像は物体からかけ離れた位置に投影されてしまうという問題があった。

本開示は、映像を、特定の物体に対して所期の位置関係にある領域に確実に投影することができる投影装置を提供する。

本開示における投影装置は、対向する物体との距離を計測する距離センサと、距離センサが出力する距離情報に基づいて特定の対象物体および当該対象物体と接している投影面を検出する検出部と、対象物体と投影面とが互いに接する部分を特定し特定された該接する部分に基づいて対象物体に関係付けられた映像の投影可能な領域を前記投影面内において決定する投影領域決定部と、映像を領域に投影する投影部と、を備える。

本開示における投影装置は、特定の物体に対して所期の位置関係にある領域に映像を確実に投影することができる。

プロジェクタ装置が、絵画が吊り掛けられた壁面に映像を投影する状況を示す模式図である。 プロジェクタ装置が、ＰＥＴボトルが載置されたテーブルに映像を投影する状況を示す模式図である。 プロジェクタ装置の電気的構成を示すブロック図である。 距離検出部の電気的構成を示すブロック図である。 距離検出部により取得された距離情報を説明するための図である。 プロジェクタ装置の光学的構成を示すブロック図である。 メモリに保持されるデータを説明するための模式図である。 映像設定参照テーブルの詳細を示す図である。 対象物体形状データベースの詳細を示す図である。 投影コンテンツデータベースの詳細を示す図である。 確実に物体近傍に映像を投影することができないという課題を説明するための図である。 映像投影動作のフローチャートである。 投影領域探索処理の詳細を示すフローチャートである。 投影面の面情報の取得を説明する模式図である。 対象物体と投影面との接点の検出を説明する模式図である。 投影領域の探索を説明する模式図である。 対象物体（ＰＥＴボトル）に関し所期の位置に映像が投影された状況を示す模式図である。 投影映像の別例を示す模式図である。 投影映像の別例を示す模式図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜図１６を用いて、実施の形態１を説明する。以下では、本開示にかかる投影装置の具体的な実施の形態としてプロジェクタ装置１００を説明する。

［１−１．概要］
図１及び図２を用いて、プロジェクタ装置１００による映像投影動作の概要を説明する。図１は、プロジェクタ装置１００が壁１４０に映像を投影するイメージ図である。図２は、プロジェクタ装置１００がテーブル１５０に映像を投影するイメージ図である。

図１及び図２に示すように、プロジェクタ装置１００は、駆動部１１０とともに筐体１２０に固定されている。プロジェクタ装置１００及び駆動部１１０を構成する各部と電気的に接続される配線は、筐体１２０及び配線ダクト１３０を介して電源と接続される。これにより、プロジェクタ装置１００及び駆動部１１０に対して電力が供給される。プロジェクタ装置１００は、開口部１０１を有している。プロジェクタ装置１００は、開口部１０１を介して映像の投影を行う。

駆動部１１０は、プロジェクタ装置１００の投影方向を変更するよう駆動することができる。駆動部１１０は、図１に示すようにプロジェクタ装置１００の投影方向を壁１４０の方向になるよう駆動することができる。これにより、プロジェクタ装置１００は、絵画１６０が吊り掛けられた壁１４０に対して映像１４１を投影することができる。同様に、駆動部１１０は、図２に示すようにプロジェクタ装置１００の投影方向をテーブル１５０の方向になるよう駆動することができる。これにより、プロジェクタ装置１００は、ペット（（ＰＥＴ（polyethylene terephthalate、ポリエチレン・テレフタレートの略称））ボトル（以下ＰＥＴボトル）１７０が載置されたテーブル１５０に対して映像１５１を投影することができる。駆動部１１０は、ユーザのマニュアル操作に基づいて駆動してもよいし、所定のセンサの検出結果に応じて自動的に駆動してもよい。また、壁１４０に投影する映像１４１と、テーブル１５０に投影する映像１５１とは、内容を異ならせてもよいし、同一のものにしてもよい。

プロジェクタ装置１００は、物体検出部２００を搭載している。これにより、プロジェクタ装置１００は、特定の物体の存在を検出することができ、検出された物体に対して所期の位置関係にある投影面内の領域に映像を投影することができる。

［１−２．構成］
以下、プロジェクタ装置１００の構成及び動作について詳細を説明する。

図３は、プロジェクタ装置１００の電気的構成を示すブロック図である。プロジェクタ装置１００は、物体検出部２００、光源部３００、映像生成部４００、投影光学系５００を備えている。さらに、物体検出部２００は、制御部２１０、メモリ２２０、距離検出部２３０を備えている。以下、順にプロジェクタ装置１００を構成する各部の構成について説明する。

制御部２１０は、プロジェクタ装置１００全体を制御する半導体素子である。すなわち、制御部２１０は、物体検出部２００を構成する各部（距離検出部２３０、メモリ２２０）及び、光源部３００、映像生成部４００、投影光学系５００の動作を制御する。また、制御部２１０は、投影画像を映像信号処理により縮小・拡大するデジタルズーム制御や、投影面の向きを考慮して投影映像に対し幾何補正を行うことができる。制御部２１０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組合せることにより実現してもよい。

メモリ２２０は、各種の情報を記憶する記憶素子である。メモリ２２０は、フラッシュメモリや強誘電体メモリなどで構成される。メモリ２２０は、プロジェクタ装置１００を制御するための制御プログラム等を記憶する。また、メモリ２２０は、制御部２１０から供給された各種の情報を記憶する。更に、メモリ２２０は、投影すべき映像の画像データ（静止画、動画）や、映像を投影すべき位置や投影サイズなど設定を含んだ参照テーブルや、物体検出の対象物体の形状のデータなどを記憶している。

距離検出部２３０は、例えば、ＴＯＦ（Time-of-Flight）方式の距離画像センサ（以下、ＴＯＦセンサ）から構成される。ＴＯＦセンサは、近赤外光を照射し、その反射光を検出して距離を測定するものであり、対向する投影面や物体までの距離を直線的に検出する。距離検出部２３０が壁１４０と対向しているときは、距離検出部２３０から壁１４０までの距離を検出する。壁１４０に絵画１６０が吊り掛けられていれば、距離検出部２３０は、絵画１６０の対向する表面までの距離も検出することができる。同様に、距離検出部２３０がテーブル１５０と対向しているときは、距離検出部２３０からテーブル１５０までの距離を検出する。テーブル１５０にＰＥＴボトル１７０が載置されていれば、距離検出部２３０は、ＰＥＴボトル１７０の対向する表面までの距離も検出することができる。

図４Ａは、距離検出部２３０の電気的構成を示すブロック図である。図４Ａに示すように、距離検出部２３０は、赤外検出光を照射する赤外光源部２３１と、テーブル１５０やＰＥＴボトル１７０の対向する面で反射した赤外検出光を受光する赤外受光部２３２と、赤外光源部２３１および赤外受光部２３２を制御するセンサ制御部２３３から構成される。赤外光源部２３１は、開口部１０１を介して、赤外検出光を周囲一面に拡散されるように照射する。赤外光源部２３１は、例えば、８５０ｎｍ〜９５０ｎｍの波長の赤外光を、赤外検出光として用いる。センサ制御部２３３は、赤外光源部２３１が照射した赤外検出光の位相をメモリに記憶しておく。対向する面が距離検出部２３０から等距離になく、傾きや形状を有する場合、赤外受光部２３２の撮像面上に配列された複数の画素は、各々別々のタイミングで反射光を受光する。別々のタイミングで受光するため、赤外受光部２３２で受光する赤外検出光は、各画素で位相が異なってくる。センサ制御部２３３は、赤外受光部２３２が各画素で受光した赤外検出光の位相をメモリに記憶する。

センサ制御部２３３は、赤外光源部２３１が照射した赤外検出光の位相と、赤外受光部２３２が各画素で受光した赤外検出光の位相とをメモリから読み出す。センサ制御部２３３は、赤外光源部２３１が照射した赤外検出光と、赤外受光部２３２が受光した赤外検出光との位相差に基づいて、距離検出部２３０から対向する面までの距離を測定することができる。

図４Ｂは、距離検出部２３０の赤外受光部２３２により取得された距離情報を説明するための図である。距離検出部２３０は、受光した赤外検出光による赤外画像を構成する画素の一つ一つについて上述した位相差に基づいて赤外検出光を反射した物体との距離を検出する。これにより、制御部２１０は、距離検出部２３０が受光した赤外画像の画角全域についての距離の検出結果を画素単位で得ることができる。図４Ｂに示すように、赤外画像の横方向にＸ軸をとり、縦方向にＹ軸をとる。そして、検出した距離をＺ軸の値とすれば、制御部２１０は、距離検出部２３０の検出結果に基づいて、赤外画像を構成する各画素について、ＸＹＺの三軸の座標（Ｘ、Ｙ、Ｚ）を取得できる。すなわち、制御部２１０は、距離検出部２３０の検出結果に基づいて、距離情報を取得できる。制御部２１０は、距離情報（Ｘ、Ｙ、Ｚ）から、三軸直交座標系における物体表面の座標値（ｘ、ｙ、ｚ）（原点は任意）を算出することができる。

制御部２１０は、距離情報（Ｘ、Ｙ、Ｚ）、または、座標値（ｘ、ｙ、ｚ）に基づいて、投影面（壁１４０、テーブル１５０の天板など）や、特定の物体（絵画１６０、ＰＥＴボトル１７０）などを検出する。

上記では、距離検出部２３０としてＴＯＦセンサを例示したが、本開示はこれに限定されない。すなわち、ランダムドットパターンのように、既知のパターンを投光してそのパターンのズレから距離を算出するものであっても良いし、ステレオカメラによる視差を利用したものであってもよい。また、プロジェクタ装置１００は、距離検出部２３０（ＴＯＦ）とともに、図示しないＲＧＢカメラを備えてもよい。その場合、プロジェクタ装置１００は、ＴＯＦセンサが出力する距離情報と併せてＲＧＢカメラが出力する画像情報を用いて、物体の検出を行ってよい。ＲＧＢカメラを併用することにより、距離情報から得られる物体の三次元形状の情報に加え、物体が有する色彩や物体に記載された文字等の情報を利用して物体検出を行うことができる。

続いて、光源部３００、映像生成部４００、投影光学系５００の構成について、図５を用いて説明する。図５は、プロジェクタ装置１００の光学的構成を示すブロック図である。図５に示すように、光源部３００は、投影映像を生成するために必要な光を、映像生成部４００に対して供給する。映像生成部４００は生成した映像を投影光学系５００に供給する。投影光学系５００は、映像生成部４００から供給された映像に対してフォーカシング、ズーミング等の光学的変換を行う。投影光学系５００は、開口部１０１と対向しており、開口部１０１から映像が投影される。

まず、光源部３００の構成について説明する。図５に示すように、光源部３００は、半導体レーザー３１０、ダイクロイックミラー３３０、λ／４板３４０、蛍光体ホイール３６０などを備えている。

半導体レーザー３１０は、例えば、波長４４０ｎｍ〜４５５ｎｍのＳ偏光の青色光を発光する固体光源である。半導体レーザー３１０から出射されたＳ偏光の青色光は、導光光学系３２０を介してダイクロイックミラー３３０に入射される。

ダイクロイックミラー３３０は、例えば、波長４４０ｎｍ〜４５５ｎｍのＳ偏光の青色光に対しては９８％以上の高い反射率を有する一方、波長４４０ｎｍ〜４５５ｎｍのＰ偏光の青色光及び、波長４９０ｎｍ〜７００ｎｍの緑色光〜赤色光に対しては偏光状態に関わらず９５％以上の高い透過率を有する光学素子である。ダイクロイックミラー３３０は、半導体レーザー３１０から出射されたＳ偏光の青色光を、λ／４板３４０の方向に反射する。

λ／４板３４０は、直線偏光を円偏光に変換又は、円偏光を直線偏光に変換する偏光素子である。λ／４板３４０は、ダイクロイックミラーと蛍光体ホイールとの間に配置される。λ／４板３４０に入射したＳ偏光の青色光は、円偏光の青色光に変換された後、レンズ３５０を介して蛍光体ホイール３６０に照射される。

蛍光体ホイール３６０は、高速回転が可能なように構成されたアルミ平板である。蛍光体ホイール３６０の表面には、拡散反射面の領域であるＢ領域と、緑色光を発光する蛍光体が塗付されたＧ領域と、赤色光を発光する蛍光体が塗付されたＲ領域とが複数形成されている。蛍光体ホイール３６０のＢ領域に照射された円偏光の青色光は拡散反射されて、円偏光の青色光として再びλ／４板３４０に入射する。λ／４板３４０に入射した円偏光の青色光は、Ｐ偏光の青色光に変換された後、再びダイクロイックミラー３３０に入射する。このときダイクロイックミラー３３０に入射した青色光は、Ｐ偏光であるためダイクロイックミラー３３０を透過して、導光光学系３７０を介して映像生成部４００に入射する。

蛍光体ホイール３６０のＧ領域又はＲ領域上に照射された青色光は、Ｇ領域又はＲ領域上に塗付された蛍光体を励起して緑色光又は赤色光を発光させる。Ｇ領域又はＲ領域上から発光された緑色光又は赤色光は、ダイクロイックミラー３３０に入射する。このときダイクロイックミラー３３０に入射した緑色光又は赤色光は、ダイクロイックミラー３３０を透過して、導光光学系３７０を介して映像生成部４００に入射する。

蛍光体ホイール３６０は高速回転しているため、光源部３００から映像生成部４００へは、青色光、緑色光、赤色光が時分割されて出射する。

映像生成部４００は、制御部２１０から供給される映像信号に応じた投影映像を生成する。映像生成部４００は、ＤＭＤ（Digital-Mirror-Device）４２０などを備えている。ＤＭＤ４２０は、多数のマイクロミラーを平面に配列した表示素子である。ＤＭＤ４２０は、制御部２１０から供給される映像信号に応じて、配列したマイクロミラーの各々を偏向させて、入射する光を空間的に変調させる。光源部３００は、青色光、緑色光、赤色光を時分割で出射する。ＤＭＤ４２０は、導光光学系４１０を介して、時分割に出射されてくる青色光、緑色光、赤色光を順に繰返し受光する。ＤＭＤ４２０は、各々の色の光が出射されてくるタイミングに同期して、マイクロミラーの各々を偏向させる。これにより、映像生成部４００は、映像信号に応じた投影映像を生成する。ＤＭＤ４２０は、映像信号に応じて、投影光学系５００に進行させる光と、投影光学系５００の有効範囲外へと進行させる光とにマイクロミラーを偏向させる。これにより、映像生成部４００は、生成した投影映像を、投影光学系５００に対して供給することができる。

投影光学系５００は、ズームレンズ５１０やフォーカスレンズ５２０などの光学部材を備える。投影光学系５００は、映像生成部４００から入射した光を拡大して投影面へ投影する。制御部２１０は、ズームレンズ５１０の位置を調整することで、所望のズーム値になるよう投影対象に対して投影領域を制御できる。ズーム値を大きくする場合、制御部２１０は、ズームレンズ５１０の位置を画角が狭くなる方向へ移動させて、投影領域を狭くする。一方、ズーム値を小さくする場合、制御部２１０は、ズームレンズ５１０の位置を画角が広くなる方向に移動させて、投影領域を広くする。また、制御部２１０は、ズームレンズ５１０の移動に追従するよう、所定のズームトラッキングデータに基づきフォーカスレンズ５２０の位置を調整することで、投影映像のフォーカスを合わせることができる。

上記では、プロジェクタ装置１００の一例として、ＤＭＤ４２０を用いたＤＬＰ（Digital-Light-Processing）方式による構成を説明したが、本開示はこれに限定されない。すなわち、プロジェクタ装置１００として、液晶方式による構成を採用しても構わない。

上記では、プロジェクタ装置１００の一例として、蛍光体ホイール３６０を用いた光源を時分割させた単板方式による構成を説明したが、本開示はこれに限定されない。すなわち、プロジェクタ装置１００として、青色光、緑色光、赤色光の各種光源を備えた三板方式による構成を採用しても構わない。

上記では、投影映像を生成するための青色光の光源と、距離を測定するための赤外光の光源とを別ユニットとする構成を説明したが、本開示はこれに限定されない。すなわち、投影映像を生成するための青色光の光源と、距離を測定するための赤外光の光源とを統合したユニットとしても構わない。三板方式を採用するのであれば、各色の光源と赤外光の光源とを統合したユニットとしても構わない。

次に図６および図７Ａ〜７Ｃを参照して、物体検出部２００のメモリ２２０に保持されるデータについて説明する。

図６は、メモリ２２０に保持される３種のデータを示す模式図である。メモリ２２０は、映像設定参照テーブル２２１と、対象物体形状データベース２２２と、投影コンテンツデータベース２２３と、を保持する。

映像設定参照テーブル２２１は、映像を投影すべき位置や投影サイズなどの設定情報を特定の対象物体について示した参照テーブルである。

図７Ａは、映像設定参照テーブル２２１の詳細を示す図である。映像設定参照テーブル２２１は、対象物体２２１ａと、投影コンテンツ２２１ｂと、対象物体の基準位置２２１ｃと、投影映像の基準位置２２１ｄと、設定投影位置２２１ｅと、投影映像の傾き角２２１ｆと、設定投影サイズ２２１ｇと、を関連付けて管理する。

対象物体２２１ａは、物体検出により検出されるべき対象物体を示す情報である。図７Ａでは、対象物体を示す情報として、「ＰＥＴボトルＡ」、「書籍Ｂ」、「皿Ｃ」等を管理している。

投影コンテンツ２２１ｂは、対象物体が検出された場合に投影されるべき映像に関する情報である。この情報は、投影コンテンツデータベース２２３に保持される映像データとのリンクを含んでいる。図７Ａでは、投影映像を示す情報として、コンテンツＡ、Ｂ、Ｃといった情報を管理している。

対象物体の基準位置２２１ｃは、物体検出によって検出された対象物体と関係付けられた映像を投影する位置を決定するための対象物体側の基準位置を規定する情報である。本実施の形態では、投影映像は、対象物体と所定の相対的位置関係にある投影面内の部分領域に、表示される。「対象物体の基準位置」は、上記の所定の相対的位置関係の対象物体側の基準点として利用される。例えば、対象物体「ＰＥＴボトルＡ」の場合、「ＰＥＴボトルＡ）と投影面との接点群の座標値の平均値を、上記の相対的位置関係における対象物体側の基準位置とすることが示されている。

投影映像の基準位置２２１ｄは、上記の相対的位置関係における投影映像側の基準位置を規定する情報である。例えば、対象物体「ＰＥＴボトルＡ」の場合、「ＰＥＴボトルＡ」と投影面との接点群の平均座標（「対象物体の基準位置」）と、当該「ＰＥＴボトルＡ」と関係付けられた映像の中央（「投影映像の基準位置」）と、が所定の相対的位置関係となるように、映像が投影される。

設定投影位置２２１ｅは、上記した所定の相対的位置関係を規定する情報である。すなわち、設定投影位置２２１ｅは、対象物体の基準位置と、投影された映像の基準位置と、が満足すべき相対的位置関係に関する情報を管理している。なお、当該関係は、１つの対象物体について複数設定されていてもよい。その場合、設定された複数の関係の間で優先順位を設定することもできる。

例えば、対象物体「ＰＥＴボトルＡ」の場合、「ＰＥＴボトルＡ」と投影面との接点群の平均座標（「対象物体の基準位置」）と、対象物体「ＰＥＴボトルＡ」と関係付けられた映像の中央（「投影映像の基準位置」）との間の位置関係が、「対象物体の基準位置」から９０度方向に２００ｍｍだけ離れた位置関係になるべきであることが規定されている。なお、ここでの９０度の方向とは、例えば、所定の方向をゼロ度として時計回り方向に９０度の方向でよい。所定の方向は、例えば、距離検出部２３０が出力する距離情報（距離画像）におけるＹ軸マイナス方向でよい（図４Ｂ）。

また例えば、対象物体「皿Ｃ」については、「対象物体の基準位置」から見た投影映像の方向、および、距離が、幅を持たせて規定されている。すなわち、対象物体「皿Ｃ」に関係付けられた映像が投影される位置は、可変的であってよいことが規定されている。対象物体「皿Ｃ」に関係付けられた映像については、投影映像の基準位置と対象物体の基準位置との間の距離は、１５０ｍｍ〜３００ｍｍの範囲で可変であり、対象物体の基準位置から見た投影映像の基準位置の方向も０度〜３６０度の範囲で可変である。この場合、映像は、当該範囲に含まれるように、投影場所を変えながら投影されてよい。

投影映像の傾き２２１ｆは、映像を投影面に投影させる際の映像の傾き角を規定する情報である。

設定投影サイズ２２１ｇは、映像を投影面に投影させたときの当該映像の投影面上での大きさを規定する情報である。

図７Ｂは、対象物体形状データベース２２２の詳細を示す図である。対象物体形状データベース２２２は、対象物体ごとに、形状の特徴量を示すデータを保持するデータベースである。

図７Ｃは、投影コンテンツデータベース２２３の詳細を示す図である。投影コンテンツデータベース２２３は、各投影コンテンツのデータ（静止画、または、動画）、および、各投影コンテンツの概要を示す情報を保持するデータベースである。

［１−３．動作］
続いて、プロジェクタ装置１００に搭載された物体検出部２００の動作について説明する。

先ず、図８を参照して、物体を検出し、検出した物体の近傍に映像を投影しようとする場合に生じうる課題について説明する。例として、通常のＲＧＢカメラが撮像したカラー画像を用いてテーブル１５０に載置されたＰＥＴボトル１７０を検出し、その近くに映像を投影しようとする場合を考える。図８は、投影装置側からＰＥＴボトル１７０が載置されたテーブル１５０を見たときの図である。先ず、ＲＧＢカメラが撮像したカラー画像に基づいて物体認識の技術を用いてＰＥＴボトル１７０が検出される。この場合、ＰＥＴボトル１７０の輪郭（図における×印）のどの部分においてＰＥＴボトル１７０と投影面であるテーブル１５０とが接しているか、カラー画像からは分からない。

そのため、ＰＥＴボトル１７０の上端のキャップを基準とし、その近くに映像を投影しようとすると、結果として、領域１８０ａ辺りに映像が投影されることになる。この場合、ＰＥＴボトル１７０が載置された位置と、映像が投影される位置とは、実際には大きくかけ離れたものとなってしまう。

また、ＰＥＴボトル１７０の胴部を基準とし、その近くに映像を投影しようとすると、領域１８０ｂ辺りに映像が投影されることになる。この場合も、ＰＥＴボトル１７０が載置された位置と、映像が投影される位置は、かけ離れたものとなってしまう。

ＰＥＴボトル１７０の近くに映像を投影するには、ＰＥＴボトル１７０の底部、すなわち、ＰＥＴボトル１７０がテーブル１５０と接している部分の近くの領域１８０ｃに映像を投影することが望まれる。

しかしながら、通常のＲＧＢカメラが出力するカラー画像からは、ＰＥＴボトル１７０のどの部分がテーブル１５０と接しているかわからないため、通常のカラー画像に基づいて物体検出を行うような構成では、検出された物体の近くに確実に映像を投影することは困難であった。

そこで、発明者は、プロジェクタ装置１００が、物体と投影面までの距離に基づいて、物体と投影面とが接している部分を特定し、接している部分を基準に、映像を投影すべき領域を決定する、という技術思想を発案した。

以下、本実施の形態によるプロジェクタ装置１００による、物体検出から映像の投影に至る動作について説明する。

図９は、プロジェクタ装置１００の動作の流れを示すフローチャートである。

プロジェクタ装置１００の制御部２１０は、距離検出部２３０から距離情報を取得する（ステップＳ１）。制御部２１０は、距離情報に基づいて、対象物体（例、ＰＥＴボトル１７０）および投影面（例、テーブル１５０）の検出を行う。具体的には、制御部２１０は、メモリ２２０に保持された対象物体形状データベース２２２に基づいて距離情報（距離画像）に対しマッチング処理を行うことにより、距離情報から対象物体および投影面を検出する。より具体的には、データベース２２２に登録された各特徴量が示すオブジェクトを、距離画像から検出することで対象物体を検出する。図１１に示した例では、投影面であるテーブル１５０の天板１５３、および、対象物体であるＰＥＴボトル１７０が、制御部２１０によって検出される。

なお、制御部２１０は、距離情報に加え、図示しないＲＧＢカメラ等からカラー画像を取得し、カラー画像に基づいてマッチング処理を行うことにより、対象物体および投影面を検出してもよい。また、マッチング処理は、機械学習等による統計的な対象物体形状のデータに基づいて行われてもよい。

制御部２１０は、対象物体を検出したか否かについて、判断を行う（ステップＳ２）。対象物体が検出された場合（ステップＳ２における「ＹＥＳ」）、処理はステップＳ３に進む。対象物体が検出されなかった場合（ステップＳ２における「ＮＯ」）、処理は終了する。

対象物体が検出された場合、制御部２１０は、次に、投影面の面情報を、距離情報に基づいて取得する。具体的には、制御部２１０は、距離情報に基づいて、投影面の面方程式を導出する（ステップＳ３）。

図１１を参照して、面方程式の導出方法について説明する。制御部２１０は、投影面（テーブル１５０の天板１５３）内の任意の三点、点Ａ、点Ｂ、点Ｃを選択し、距離情報をもとにして三軸直交座標系（ｘ、ｙ、ｚ）における点Ａ、点Ｂ、点Ｃの座標値を求め、それら座標値をもとに、ベクトルＡＢ、および、ベクトルＡＣを構成する。そして、制御部２１０は、ベクトルＡＢと、ベクトルＡＣと、の外積ベクトルＮを計算により求める。制御部２１０は、外積ベクトルＮ、および、点Ａ等の座標値に基づいて、投影面の面方程式ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０を決定する。このようにして導出された投影面の面方程式の情報（即ち、係数ａ，ｂ，ｃ，ｄ）は、メモリ２２０に保持される。

なお、上記では、対象物体が検出された後に面方程式を導出する場合を説明したが、本開示はこれに限定されない。すなわち、対象物体が検出される事前に、対象物体が載置される予定の面(テーブル１５０の天板１５３)の面方程式を導出しておいてもよい。或いは、対象物体が検出された後に面方程式を導出する場合であっても、参照する距離情報は、対象物体が検出される事前に取得したものとしてもよい。この場合、対象物体が載置される予定の面(テーブル１５０の天板１５３)の距離情報に基づいて点Ａ、点Ｂ、点Ｃの任意の３点の座標値を、対象物体が検出される前に取得してメモリ２２０に記憶しておけばよい。

図９に戻り、制御部２１０は、対象物体と、投影面とが接している部分、すなわち接点群を特定する（ステップＳ４）。

図１１および図１２を参照して、接点群の特定方法について説明する。制御部２１０は、距離情報から対象物体であるＰＥＴボトル１７０の輪郭を構成する点（例えば、点Ｐ）の座標値を求める。そして、制御部２１０は、投影面１５３の任意の一点（例えば、点Ａ）から点Ｐへのベクトル（例えば、ベクトルＡＰ）を求める。そして、制御部２１０は、点Ａを通り投影面１５３の法線方向に延びる長さ１の単位ベクトルと、ベクトルＡＰとの内積の絶対値を算出する。この絶対値は、点Ｐと、投影面１５３との間の距離を表している。制御部２１０は、内積の値（すなわち点Ｐと投影面１５３との距離）がゼロであるか、あるいは、所定値未満（例えば、距離にして５ミリメートル未満）であれば、点Ｐを、対象物体（ＰＥＴボトル１７０）と投影面（テーブル１５０の天板１５３）との接点であると判断する。

なお、制御部２１０は、ステップＳ４の処理の後、ステップＳ３において導出した面方程式が正しいか否かを検証するようにしてもよい。例えば、制御部２１０は、ステップＳ４において、内積の値が所定値以上であり接点の存在を判断できなかった場合に、面方程式が誤っていると判断して、点Ａ、点Ｂ、点Ｃの任意の３点の座標値を選択し直して、面方程式を再算出するようにしてもよい。これにより、対象物体が載置される予定の面(テーブル１５０の天板１５３)以外の位置から、点Ａ、点Ｂ、点Ｃの任意の３点の少なくとも１つの座標値を取得したことにより、誤った面方程式を算出してしまった場合においても、正しい面方程式へと訂正することが可能となる。なお、ステップＳ３において導出した面方程式が正しいか否かを検証するステップは、正しいと判断できる面方程式が導出できるまで繰返してもよい。そして、所定の回数繰返しても正しいと判断できる面方程式が導出できない場合は、エラーの旨を報知してもよい。

このようにして制御部２１０は、対象物体の輪郭を構成する各点について、その点が投影面との接点であるか否かを判断することにより、対象物体と、投影面とが接している部分を特定する。図１２は、そのようにして求められた接点群１７５ａ〜１７５ｅを例示する図である。

図９に戻り、制御部２１０は、対象物体の基準位置の座標値を算出する（ステップＳ５）。このとき、制御部２１０は、先ず、メモリ２２０に保持された映像設定参照テーブル２２１を参照する。対象物体が「ＰＥＴボトルＡ」である場合、制御部２１０は、「ＰＥＴボトルＡ」の基準位置である「対象物体の基準位置」を参照する。これにより、制御部２１０は、対象物体の投影面に対する接点群の平均座標を、対象物体の基準位置とすべきことを認識する。そこで、制御部２１０は、接点群１７５ａ〜１７５ｅの座標値の平均値を算出する（図１３の点１７５ａｖｅ）。

次に、制御部２１０は、投影面１５３内において、映像を投影すべき領域を探索する（ステップＳ６）。図１０は、投影領域探索にかかる処理（ステップＳ６）の詳細を示すフローチャートである。

制御部２１０は、先ず、メモリ２２０に保持された映像設定参照テーブル２２１を参照する。対象物体が「ＰＥＴボトルＡ」である場合、制御部２１０は、映像設定参照テーブル２２１から対象物体「ＰＥＴボトルＡ」に関する情報を取得する。これにより、制御部２１０は、投影すべき映像に関する各種の設定情報（投影映像の基準位置、設定投影位置、投影映像の傾き角、設定投影サイズ等）を取得する（ステップＳ６１）。さらに、制御部２１０は、投影コンテンツデータベース２２３を参照して、「ＰＥＴボトルＡ」の対象物体に対して投影すべきコンテンツの情報を取得する。

次に、制御部２１０は、ステップＳ６１で取得した情報に即して投影の基準座標を算出する（ステップＳ６２）。投影の基準座標とは、映像を投影する領域の基準となる位置の座標値である。制御部２１０は、投影すべき映像に関する各種設定情報のうち、投影映像の基準位置、設定投影位置にもとづき、投影の基準座標を算出する。例えば、対象物体が「ＰＥＴボトルＡ」である場合、図１３に示すように、接点群の平均座標１７５ａｖｅから９０度方向へ２００ｍｍだけ離れた点１８１ａの座標値が、投影の基準座標（投影の基準位置）となる。

次に、制御部２１０は、ステップＳ６１で取得した情報およびステップＳ６２で求めた投影の基準座標に基づいて映像を投影すべき領域（投影候補領域）を求める（ステップＳ６３）。

対象物体が「ＰＥＴボトルＡ」である場合、図１３に示すように、投影の基準座標１８１ａを中心として縦／横が１００ｍｍ／１００ｍｍであり傾き角が０度である矩形領域が、投影候補領域として特定される。

すると、制御部２１０は、投影候補領域の周縁部分（例えば、辺１８１ｃ）を構成する各点の座標値を、ステップＳ１で取得した距離情報から求める（ステップＳ６４）。

次に、制御部２１０は、ステップＳ６４で求めた周縁部分を構成する各点の座標値の各々について、その点が投影面１５３に含まれるか否かを判定する。例えば、制御部２１０は、上記周縁部分に相当する部分の距離情報から当該部分を構成する各点の座標値を求め、求めた座標値と、投影面１５３との距離を求める。そして、求めた距離がゼロもしくはほぼゼロであれば、その点は、投影面１５３に含まれていると判定する。あるいは、制御部２１０は、上記周縁部分に相当する部分の距離情報から当該部分を構成する各点の座標値を求め、座標値を面方程式に代入し、面方程式が成立するかどうかを判定してもよい。そして、制御部２１０は、当該判定の結果を集計し、投影候補領域の周縁部分の座標値のうちで投影面に含まれる座標値の比率を算出する（ステップＳ６５）。なお、本ステップでの比率の算出は、投影候補領域の周縁部分の座標に関する比率を算出することに限定されない。例えば、投影候補領域全域の面積に占める投影面に含まれる投影候補領域の面積の比率であってもよい。また、投影候補領域の頂点（例えば、図１３の点１８１ｂ）のみについてそれが投影面に含まれる比率を求めてもよい。

図９に戻り、制御部２１０は、ステップＳ６で求めた投影候補領域に映像を投影可能であるか否か、について、ステップＳ６５で求めた比率に基づいて判断する（ステップＳ７）。例えば、制御部２１０は、ステップＳ６５で求めた比率が所定値以上であれば、投影候補領域に映像を投影可能であると判断する。所定値は、０％〜１００％までの任意の値でよい。所定値は、ユーザが設定可能であってもよい。所定値が０％であれば、制御部２１０は、常に、投影候補領域に映像を投影可能であると判断する。所定値が１００％であれば、制御部２１０は、投影候補領域が投影面１５３内に完全に含まれている場合にのみ、投影候補領域に映像を投影可能であると判断する。

投影可能と判断された場合（ステップＳ７における「ＹＥＳ」）、制御部２１０は、光源部３００、映像生成部４００、投影光学系５００を制御して、対象物体（ＰＥＴボトル１７０）と関係付けられた映像（コンテンツ）を投影候補領域に投影させる。なお、このとき制御部２１０は、映像が投影面に投影されたときに正しい形状で表示されるように、投影コンテンツデータベース２２３に保持された映像データに対し幾何補正等の処理を行ってよい。図１４に、対象物体であるＰＥＴボトル１７０の近くに表示された映像の例を示す。

他方、投影不可と判断された場合（ステップＳ７における「ＮＯ」）、映像は投影されない。ただし、制御部２１０は、投影不可とされた投影候補領域を捨てて、別の投影可能な領域を再探索してもよい。例えば、映像設定参照テーブル２２１の「設定投影位置」に複数の位置関係が優先順位を付して規定されるような場合、投影不可と判断された投影候補領域の次に優先順位が高い位置関係を用いて、新たな投影候補領域を探索してもよい。あるいは、投影されるべき映像のサイズを設定値よりも小さくするなどしてから、再度、投影候補領域を求め、投影可能なサイズの映像を投影させてもよい。

図１５は、対象物体近傍に投影される映像の別例を示す図である。本例は、図７に示した映像設定参照テーブル２２１における「対象物体」が「書籍Ｂ」である場合に対応する。プロジェクタ装置１００は、投影面１５３に載置された書籍１９０を検出すると、その右側に、当該書籍１９０を紹介する映像コンテンツ１９１を表示することができる。

図１６は、対象物体近傍に投影される映像のさらに別の例を示す図である。本例は、図７に示した映像設定参照テーブル２２１における「対象物体」が「皿Ｃ」である場合に対応する。プロジェクタ装置１００は、投影面１５３に載置された皿１９５を検出すると、皿１９５の周囲を舞うような蝶の動画映像１９６を図１６の（Ａ）、（Ｂ）、（Ｃ）の順で表示させることができる。

［１−４．効果等］
以上のように、本実施の形態によるプロジェクタ装置１００は、対向する物体との距離を計測する距離センサ（距離検出部２３０）と、距離センサが出力する距離情報に基づいて、特定の対象物体および当該対象物体と接している投影面を検出する検出部（制御部２１０）と、対象物体と投影面とが互いに接する部分を特定し、特定された前記接する部分に基づいて、対象物体に関係付けられた映像の投影可能な領域を投影面内において決定する投影領域決定部（制御部２１０）と、映像を領域に投影する投影部（光源部３００、映像生成部４００、投影光学系５００）と、を有しており、対象物体に対して所期の位置関係にある領域に確実に映像を投影させることが可能である。特に、プロジェクタ装置１００は、投影面が自装置に対して斜めに配置されている場合にも、対象物体に対して所期の位置関係にある領域に、確実に映像を投影させることができる。

（他の実施の形態）
実施の形態１では、制御部２１０は、半導体素子であるとして説明した。制御部２１０は、例えば、ＣＰＵ（Central Processing Unit；中央演算処理装置）およびその補助回路で構成されてよい。制御部２１０は、メモリ２２０に記憶されたプログラムおよびデータに従って各種の処理を実行することにより、上述した動作を行う。なお、制御部２１０は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field-Programmable Gate Array）のようなプログラマブルロジックデバイスや、マイクロコントローラ、といったプロセッサとしても実装可能である。

実施の形態１では、距離検出部２３０は、ＴＯＦセンサであるとして説明した。しかしながら、距離検出部２３０は、ＴＯＦセンサに限定されるべきではない。距離検出部２３０は、対向する物体との距離を計測することができる装置であればよい。

実施の形態１では、対象物体の近くに特定の映像を投影することの例として、テーブル１５０の天板１５３（投影面）に載置されたＰＥＴボトル１７０（対象物体）の近くに文字情報からなる映像コンテンツを投影する例を示した。しかしながら、投影面は、テーブル１５０に限定されない。投影面は、例えば図１にあるように壁面１４０であってもよく、その場合、壁面１４０に吊り掛けられた絵画１６０を対象物体としてもよい。また、投影される映像は、特定の情報を有する映像でなくともよい。プロジェクタ装置１００は、対象物体を特定の色彩（黒（無照明）を含む）で照明するような動作もすることができる。ここで、対象物体を黒で照明するとは、対象物体の周囲を照明し、対象物体のみを照明しないこと、所謂黒抜き、により実現することを含んでいる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、必須な構成要素だけでなく、上記技術を例示するために、必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において、種々の変更、置換、付加、省略などを行うことができる。

本開示は、特定の物体に対し所期の位置において映像を投影する投影装置に適用可能である。

１００ プロジェクタ装置
２００ 物体検出部
２１０ 制御部
２２０ メモリ
２３１ 赤外光源部
２３２ 赤外受光部
３００ 光源部
４００ 映像生成部
５００ 投影光学系

Claims (5)

1. 対向する物体との距離を計測する距離センサと、
   前記距離センサが出力する距離情報に基づいて、特定の対象物体および当該対象物体と接している投影面を検出する検出部と、
   前記対象物体と前記投影面とが互いに接する部分を特定し、特定された前記接する部分に基づいて、前記対象物体に関係付けられた映像の投影可能な領域を前記投影面内において決定する投影領域決定部と、
   前記映像を前記領域に投影する投影部と、を有する投影装置。
2. 前記投影領域決定部は、前記接する部分に加え、前記映像が投影されたときの前記映像の大きさに基づいて、前記領域を決定する、請求項１に記載の投影装置。
3. 前記投影領域決定部は、前記映像が前記領域に投影されたときの前記映像の周縁部のうち前記投影面に含まれる周縁部の比率が所定値以上である場合に、前記映像を当該領域に投影可能と判断する、請求項２に記載の投影装置。
4. 前記距離センサは、Time-of-Flight方式の距離画像センサである、請求項１に記載の投影装置。
5. 対向する物体との距離を計測して、距離情報を取得するステップと、
   前記距離情報に基づいて、特定の対象物体および当該対象物体と接している投影面を検出するステップと、
   前記対象物体と前記投影面とが互いに接する部分を特定し、特定された前記接する部分に基づいて、前記対象物体に関係付けられた映像の投影する領域を前記投影面内において決定するステップと、
   前記映像を前記領域に投影するステップと、を有する投影方法。

Images