JP6624942B2 - 投影システム、プロジェクター装置、および、プログラム - Google Patents

投影システム、プロジェクター装置、および、プログラム Download PDF

Info

Publication number
JP6624942B2
JP6624942B2 JP2016007581A JP2016007581A JP6624942B2 JP 6624942 B2 JP6624942 B2 JP 6624942B2 JP 2016007581 A JP2016007581 A JP 2016007581A JP 2016007581 A JP2016007581 A JP 2016007581A JP 6624942 B2 JP6624942 B2 JP 6624942B2
Authority
JP
Japan
Prior art keywords
image
projection
point
viewpoint
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016007581A
Other languages
English (en)
Other versions
JP2017130732A5 (ja
JP2017130732A (ja
Inventor
基康 田中
基康 田中
雄基 原口
雄基 原口
史也 新宮
史也 新宮
川井 英次
英次 川井
一弘 細井
一弘 細井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
MegaChips Corp
Original Assignee
Nintendo Co Ltd
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd, MegaChips Corp filed Critical Nintendo Co Ltd
Priority to JP2016007581A priority Critical patent/JP6624942B2/ja
Priority to PCT/JP2016/056253 priority patent/WO2016158166A1/ja
Priority to EP16772050.7A priority patent/EP3280136B1/en
Publication of JP2017130732A publication Critical patent/JP2017130732A/ja
Priority to US15/719,329 priority patent/US9928580B2/en
Publication of JP2017130732A5 publication Critical patent/JP2017130732A5/ja
Application granted granted Critical
Publication of JP6624942B2 publication Critical patent/JP6624942B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、投影型プロジェクター装置で投影される画像(映像)を適切に表示するための技術に関する。
投影型プロジェクター装置で投影される画像(映像)を、ユーザー視点から見たときに生ずる幾何学的な歪みを補正する多様な技術が開発されている。
例えば、特許文献1には、スクリーン自体の歪みによる映像の歪みを補正することが可能な映像投影装置の開示がある。この映像投影装置では、プロジェクターからスクリーンにテスト画像を投影し、投影されたテスト画像をカメラ付き携帯電話によって撮像し、カメラ付き携帯電話によって撮像された画像に基づいて、幾何補正を実行する。これにより、この映像投影装置では、スクリーン自体の歪みによる映像の歪み(幾何学的な歪み)を補正することができる。
特開2006−33357号公報
しかしながら、上記の従来技術では、カメラ付き携帯電話によって撮像された画像に基づいて、幾何補正を実行するため、カメラ付き携帯電話のような撮影機能を有する機器が別途必要になる。このような撮影機能を有する機器を用いずに、投影型プロジェクター装置によりスクリーンに投影された画像の幾何補正を行う場合、例えば、ユーザーに、スクリーンに投影した長方形のパターンの4つの頂点を移動させ、幾何的な歪みのない長方形のパターンが投影されるように、投影型プロジェクター装置の投影状態を調整させることが考えられる。すなわち、ユーザーに4点幾何補正を実行させることが考えられる。このような4点幾何補正は、一般ユーザーには、操作が難しく、完全に幾何的な歪みのない状態の投影が実現されるように、投影型プロジェクター装置を調整することは困難である。
一般に、投影型プロジェクター装置が投影対象とするのは、垂直に設置された平面スクリーンであることが多い。このため、完全に幾何的な歪みのない状態の投影が実現されなくても、ユーザーにとって、投影された画像の幾何的な歪みが気にならない程度の投影状態に、投影型プロジェクター装置を調整することは十分可能である。これは、ユーザーが、垂直に設置されている平面スクリーンに投影されていることを正しく認識でき、上下方向を正しく認識することが容易であるため、垂直面である平面スクリーンに投影されている画像に、多少の幾何的な歪みが存在していても違和感を抱かないためである。
ところが、投影対象(投影面)を、例えば、ユーザーの上方に設置された所定の角度に傾斜した傾斜平面(例えば、傾斜天井)として、当該傾斜平面に投影型プロジェクター装置から画像を投影した場合、投影面を垂直平面としたときには許容されるレベルの幾何的な歪みをさらに低減させる必要がある。これは、投影面を傾斜平面(例えば、傾斜天井)とする場合、ユーザーが、投影される画像の上下方向を感覚的に認識することが容易ではないため、垂直平面に投影された画像において違和感を発生させなかったレベルの幾何的な歪みが、傾斜平面(例えば、傾斜天井)に投影された画像においては、ユーザーに違和感を抱かせるためである。
そこで、本発明は、撮影機能を有する機器を用いることなく、傾斜平面(例えば、傾斜天井)に投影された画像の幾何的な歪みを、容易かつ適切に、低減させる投影システム、プロジェクター装置、および、プログラムを実現することを目的とする。
上記課題を解決するために、第1の発明は、左眼視点と右眼視点とを含む平面に平行な平面であって、右眼角膜および左眼角膜の共通の接平面である当該平面に対して、傾斜した平面を投影面とし、ユーザーの視点から見たときに幾何学的な画像歪みが低減された状態となるように画像を投影する投影システムであって、投影部と、3次元形状測定部と、コントローラと、投影画像調整部と、を備える。
投影部は、投影面に画像を投影する投影部であって、画像の垂直方向を規定する縦基準線を有する第1テスト画像を投影するとともに、画像の水平方向を規定する横基準線を有する第2テスト画像を投影する。
3次元形状測定部は、投影面の3次元形状を測定する。
コントローラは、ユーザーの操作に基づく制御信号を生成する。
投影画像調整部は、以下の処理を実行する。
(1A)投影画像調整部は、3次元形状測定部により計測された3次元形状データに基づいて、投影部の投影軸と投影面との交点である投影中心点を通り、投影面の法線上の点である第1点から見たときに、幾何学的な画像歪みが低減された状態とするように、第1テスト画像に対して画像変換処理である補正処理を実行する。
(2A)投影画像調整部は、制御信号に従い第1回転角度を決定し、第1点から投影面を見たときに、補正処理後の第1テスト画像の投影部による投影面への投影画像が投影中心点を中心として、第1回転角度だけ回転した画像となるように、補正処理後の第1テスト画像に対して画像変換処理である第1回転処理を実行する。
(1B)投影画像調整部は、3次元形状測定部により計測された3次元形状データに基づいて、投影部の投影軸と投影面との交点である投影中心点を通り、投影面の法線上の点である第1点から見たときに、幾何学的な画像歪みが低減された状態とするように、第2テスト画像に対して画像変換処理である補正処理を実行する。
(2B)投影画像調整部は、制御信号に従い第2回転角度を決定し、第1点から投影面を見たときに、補正処理後の第2テスト画像の投影部による投影面への投影画像が投影中心点を中心として、第2回転角度だけ回転した画像となるように、補正処理後の第2テスト画像に対して画像変換処理である第2回転処理を実行する。
(3)投影画像調整部は、第1回転処理後の第1テスト画像の投影面上の縦基準線を含む直線である第1直線と、第2回転処理後の第2テスト画像の投影面上の縦基準線を含む直線である第2直線とに基づいて、第1直線と第2直線とが直交して見える視点候補点を決定し、決定した視点候補点から見たときに幾何学的な画像歪みが低減された状態とするように、投影面に投影される画像を変換する視点特定処理を実行する。
この投影システムでは、上記のようにして視点特定処理が実行され、ユーザーの視点から見たときに幾何的な歪みのない画像(幾何的な歪みの低減された画像)を、例えば、傾斜天井平面に投影することができる。
したがって、この投影システムでは、撮影機能を有する機器を用いることなく、傾斜投影面(例えば、傾斜天井)に投影された画像の幾何的な歪みを、容易かつ適切に、なくす(低減させる)ことができる。
第2の発明は、第1の発明であって、投影画像調整部は、以下の処理を実行する。
投影画像調整部は、投影部の光軸をz軸とし、投影部の光軸を法線とする平面をxy平面とするようにx軸およびy軸を設定したxyz座標空間において、
第1回転処理後の第1テスト画像の投影面上の縦基準線を含む直線である第1直線上の点を点Paとし、点Paの座標を(ax,ay,az)とし、
第2回転処理後の第2テスト画像の投影面上の横基準線を含む直線である第2直線上の点を点Pbとし、点Pbの座標を(bx,by,bz)とし、
第1直線と第2直線との交点を点Pcとして算出し、算出した点Pcの座標を(cx,cy,cz)としたとき、
A=−ax×by+ay×bx
B=−ax×bz+az×bx
C=−az×by+ay×bz
に相当する処理を実行し、係数A、B、Cを取得する。
投影画像調整部は、
Figure 0006624942
Figure 0006624942
Figure 0006624942
により、回転行列Rx,Ry、Rzを取得する。
投影画像調整部は、回転行列Rx,Ry、Rzの合成行列をR
R=Rz・Ry・Rx
に相当する処理を実行することで取得し、上記回転行列の逆行列をR−1として取得する。
投影画像調整部は、点Pbの座標(bx,by,bz)に対して、合成行列により変換した点を点Pb’として取得し、点Pb’の座標を(bx’,by’,bz’)として取得し、
コントローラからの制御信号に基づいて、角度θを決定する。
投影画像調整部は、係数A’を
Figure 0006624942

により取得し、
視点候補点の座標(x,y,z)を、
Figure 0006624942

Figure 0006624942

V’=(0,0,1)
により算出する。
この投影システムでは、上記のようにして視点特定処理が実行され、ユーザーの視点から見たときに幾何的な歪みのない画像(幾何的な歪みの低減された画像)を、例えば、傾斜天井平面に投影することができる。
したがって、この投影システムでは、撮影機能を有する機器を用いることなく、傾斜投影面(例えば、傾斜天井)に投影された画像の幾何的な歪みを、容易かつ適切に、なくす(低減させる)ことができる。
第3の発明は、第1または第2の発明であって、第1テスト画像は、表示画面に表示されている状態において、第1テスト画像の中心点を通る縦基準線を含む。
これにより、この投影システムでは、投影面上の第1テスト画像の縦基準線を含む第1直線を特定することが容易になる。
第4の発明は、第1または第2の発明であって、第2テスト画像は、表示画面に表示されている状態において、第2テスト画像の中心点を通る横基準線を含む。
これにより、この投影システムでは、投影面上の第2テスト画像の横基準線を含む第1直線を特定することが容易になる。
第5の発明は、第1から第4のいずれかの発明であって、第1テスト画像は、表示画面に表示されている状態において、画像上の上部を判別することができるパターンを含む画像である。
これにより、この投影システムでは、投影面上の投影画像の上下を容易に特定することができる。
第6の発明は、第1から第5のいずれかの発明であって、投影部は、視点特定処理が実行される場合、複数の正方形の格子パターンからなる格子状パターンを含む第3テスト画像を投影する。
これにより、この投影システムでは、格子状パターンの歪度合いを容易に把握し、投影されている画像の歪度合いを容易に認識することができる。
第7の発明は、第6の発明であって、第3テスト画像は、第1の模様を有する第1格子パターンと、第2の模様を有する第2格子パターンとが、幾何学的な歪みがない状態において、テスト画像上の第1方向、および、テスト画像上において第1方向と直交する第2方向において、交互に配置されることで形成される格子状パターンを含む画像である。
これにより、この投影システムでは、格子状パターンの歪度合いを容易に把握し、投影されている画像の歪度合いを容易に認識することができる。
第8の発明は、第1から第7のいずれかの発明である投影システムに用いられるプロジェクター装置であって、投影部と、投影画像調整部とを備える。
これにより、第1から第7のいずれかの発明である投影システムに用いられるプロジェクター装置を実現することができる。
第9の発明は、ユーザーの操作に基づく制御信号を生成するコントローラを用いて実行される投影方法であって、左眼視点と右眼視点とを含む平面に平行な平面であって、右眼角膜および左眼角膜の共通の接平面である当該平面に対して、傾斜した平面を投影面とし、ユーザーの視点から見たときに幾何学的な画像歪みが低減された状態となるように画像を投影する投影方法をコンピュータで実行するためのプログラムである。
投影方法は、投影ステップと、3次元形状測定ステップと、コントローラと、投影画像調整ステップと、を備える。
投影ステップは、投影面に画像を投影する投影ステップであって、画像の垂直方向を規定する縦基準線を有する第1テスト画像を投影するとともに、画像の水平方向を規定する横基準線を有する第2テスト画像を投影する。
3次元形状測定ステップは、投影面の3次元形状を測定する。
投影画像調整ステップは、以下の処理を実行する。
(1A)投影画像調整ステップは、3次元形状測定ステップにより計測された3次元形状データに基づいて、投影ステップで画像を投影するための投影軸と投影面との交点である投影中心点を通り、投影面の法線上の点である第1点から見たときに、幾何学的な画像歪みが低減された状態とするように、第1テスト画像に対して画像変換処理である補正処理を実行する。
(2A)投影画像調整ステップは、制御信号に従い第1回転角度を決定し、第1点から投影面を見たときに、補正処理後の第1テスト画像の投影ステップによる投影面への投影画像が投影中心点を中心として、第1回転角度だけ回転した画像となるように、補正処理後の第1テスト画像に対して画像変換処理である第1回転処理を実行する。
(1B)投影画像調整ステップは、3次元形状測定ステップにより計測された3次元形状データに基づいて、投影ステップで画像を投影するための投影軸と投影面との交点である投影中心点を通り、投影面の法線上の点である第1点から見たときに、幾何学的な画像歪みが低減された状態とするように、第2テスト画像に対して画像変換処理である補正処理を実行する。
(2B)投影画像調整ステップは、制御信号に従い第2回転角度を決定し、第1点から投影面を見たときに、補正処理後の第2テスト画像の投影ステップによる投影面への投影画像が投影中心点を中心として、第2回転角度だけ回転した画像となるように、補正処理後の第2テスト画像に対して画像変換処理である第2回転処理を実行する。
(3)投影画像調整ステップは、第1回転処理後の第1テスト画像の投影面上の縦基準線を含む直線である第1直線と、第2回転処理後の第2テスト画像の投影面上の縦基準線を含む直線である第2直線とに基づいて、第1直線と第2直線とが直交して見える視点候補点を決定し、決定した視点候補点から見たときに幾何学的な画像歪みが低減された状態とするように、投影面に投影される画像を変換する視点特定処理を実行する。
これにより、第1の発明と同様の効果を奏する投影方法をコンピュータに実行させるためのプログラムを実現することができる。
本発明によれば、撮影機能を有する機器を用いることなく、傾斜平面(例えば、傾斜天井)に投影された画像の幾何的な歪みを、容易かつ適切に、低減させる投影システム、プロジェクター装置、および、プログラムを実現することができる。
第1実施形態に係る投影システム1000の概略構成図。 第1実施形態に係る投影システム1000のプロジェクター装置100の投影画像調整部1の概略構成図。 第1実施形態に係る投影システム1000の視点特定処理部15の概略構成図。 第1実施形態に係る投影システム1000の視点候補取得部151の概略構成図。 3次元空間を模式的に示した図。 第1テスト画像Img1_T1を示す図。 状態1における3次元空間を模式的に示した図。 状態2における3次元空間を模式的に示した図。 第2テスト画像Img1_T2を示す図。 第2回転処理を説明するための図。 状態4における3次元空間を模式的に示した図。 視点特定処理を説明するための図。 第3テスト画像Img1_T3を示す図。 投影システム1000により、N+1回目の視点特定処理が実行され、視点候補点がVp_cand(N+1)に特定された場合において、第3テスト画像Img1_T3が傾斜天井CLに投影されているときの状態を示す図。 投影システム1000で実行される投影方法のフローチャートを示す図。 投影システム1000で実行される投影方法の視点特定処理のフローチャートを示す図。 視点特定処理の原理を説明するための図。 3次元座標空間の点A0’、点B0’、点C0’を示す図。 3次元座標空間の点A0’’、点B0’’、点C0’’を示す図。 CPUバス構成を示す図。
[第1実施形態]
第1実施形態について、図面を参照しながら、以下、説明する。
<1.1:投影システムの構成>
図1は、第1実施形態に係る投影システム1000の概略構成図である。
図2は、第1実施形態に係る投影システム1000のプロジェクター装置100の投影画像調整部1の概略構成図である。
図3は、第1実施形態に係る投影システム1000の視点特定処理部15の概略構成図である。
図4は、第1実施形態に係る投影システム1000の視点候補取得部151の概略構成図である。
投影システム1000は、図1に示すように、プロジェクター装置100と、コントローラ200とを備える。
プロジェクター装置100は、図1に示すように、投影画像調整部1と、テスト画像記憶部2と、投影部3と、3次元形状測定部4と、3次元形状データ記憶部5と、第1インターフェース6とを備える。
投影画像調整部1は、図2に示すように、第1セレクタSEL1と、第1切替器SW1と、補正部11と、第2切替器12と、第1回転処理部13と、第2セレクタSEL2と、第2回転処理部14と、第3セレクタSEL3と、視点特定処理部15と、第4セレクタSEL4と、第5セレクタSEL5と、を備える。
第1セレクタSEL1は、プロジェクター装置100に入力される画像Din(画像信号Din)と、テスト画像記憶部2から出力されるテスト画像Img1と、選択信号sel1と、を入力する。第1セレクタSEL1は、選択信号sel1に従い、画像Dinおよびテスト画像Img1のいずれか一方を選択し、選択した画像(画像信号)を画像D1(画像信号D1)として第1切替器SW1に出力する。なお、選択信号sel1は、プロジェクター装置100の各機能部を制御する制御部(不図示)により生成される制御信号である。
第1切替器SW1は、第1セレクタSEL1から出力される画像D1と、切替信号sw1とを入力する。第1切替器SW1は、切替信号sw1に従い、画像D1(画像信号D1)を、補正部11、および、視点特定処理部15のいずれか1つに出力する。なお、切替信号sw1は、プロジェクター装置100の各機能部を制御する制御部により生成される制御信号である。
補正部11は、第1切替器SW1から出力される画像D1と、3次元形状データ記憶部5から出力される3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjと、を入力する。補正部11は、3次元形状データ3D_dataと、投影点についての情報P_prjとに基づいて、画像D1に対して補正処理を実行する。そして、補正部11は、補正処理後の画像を画像D2(画像信号D2)として、第2セレクタSEL2と、第1回転処理部13とに出力する。
第2切替器12は、第1インターフェース6から出力される信号Sig1と、切替信号sw2とを入力する。第2切替器12は、切替信号sw2に従い、信号Sig1を、第1回転処理部13、第2回転処理部14、および、視点特定処理部15のいずれか1つに出力する。なお、切替信号sw2は、プロジェクター装置100の各機能部を制御する制御部により生成される制御信号である。
第1回転処理部13は、補正部11から出力される画像D2と、3次元形状データ記憶部5から出力される3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjと、第2切替器12から出力される信号Sig1とを入力する。第1回転処理部13は、信号Sig1が入力されている場合、3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjとに基づいて、画像D2に対して第1回転処理を実行する(詳細については、後述)。そして、第1回転処理部13は、処理後の画像を、画像D21(画像信号D21)として、第2セレクタSEL2に出力する。また、第1回転処理部13は、第1回転処理が完了したときの情報(検出情報)を含む検出信号をDet1として、視点特定処理部15に出力する(詳細については、後述)。検出信号Det1は、第1の直線のデータ(第1直線データ)を含む(詳細については、後述)。
第2セレクタSEL2は、補正部11から出力される画像D2と、第1回転処理部13から出力される画像D21と、選択信号sel2とを入力する。第2セレクタSEL2は、選択信号sel2に従い、画像D2および画像D21のいずれか一方を選択し、選択した画像を、画像D3(画像信号D3)として、第2回転処理部14と、第3セレクタSEL3とに出力する。なお、選択信号sel2は、プロジェクター装置100の各機能部を制御する制御部により生成される制御信号である。
第2回転処理部14は、第2セレクタSEL2から出力される画像D3と、3次元形状データ記憶部5から出力される3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjと、第2切替器12から出力される信号Sig1とを入力する。第2回転処理部14は、信号Sig1が入力されている場合、3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjとに基づいて、画像D3に対して第2回転処理を実行する(詳細については、後述)。そして、第2回転処理部14は、処理後の画像を、画像D31(画像信号D31)として、第3セレクタSEL3に出力する。また、第2回転処理部14は、第1回転処理が完了したときの情報(検出情報)を含む検出信号をDet2として、視点特定処理部15に出力する(詳細については、後述)。検出信号Det2は、第2の直線のデータ(第2直線データ)を含む(詳細については、後述)。
第3セレクタSEL3は、第2セレクタSEL2から出力される画像D3と、第2回転処理部14から出力される画像D31と、選択信号sel3とを入力する。第3セレクタSEL3は、選択信号sel3に従い、画像D3および画像D31のいずれか一方を選択し、選択した画像を、画像D4(画像信号D4)として、第4セレクタSEL4に出力する。なお、選択信号sel3は、プロジェクター装置100の各機能部を制御する制御部により生成される制御信号である。
視点特定処理部15は、第1切替器SW1から出力される画像D1と、3次元形状データ記憶部5から出力される3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjと、を入力する。また、視点特定処理部15は、第1回転処理部13から出力される検出信号Det1と、第2回転処理部14から出力される検出信号Det2と、を入力する。
視点特定処理部15は、図3に示すように、視点候補取得部151と、投影画像取得部152とを備える。
視点候補取得部151は、図4に示すように、交点算出部1511と、係数算出部1512と、変換行列取得部1513と、変換行列合成部1514と、逆変換行列取得部1515と、変換部1516と、係数取得部1517と、角度取得部1518と、視点候補点算出部1519と、を備える。
交点算出部1511は、第1回転処理部13から出力される検出信号Det1と、第2回転処理部14から出力される検出信号Det2と、を入力する。交点算出部1511は、検出信号Det1に含まれる第1直線データと、検出信号Det2に含まれる第2直線データと、に基づいて、第1直線と第2直線の交点Pcの座標と、第1直線上の点であって、交点Pc以外の点Paの座標と、第2直線上の点であって、交点Pc以外の点Pbの座標とを算出し、算出した交点Pcの座標の情報を含む信号(データ)をData(Pc)として、視点候補点算出部1519に出力する。
また、交点算出部1511は、点Paの座標の情報を含む信号(データ)をData(Pa)として、係数算出部1512と変換行列取得部1513とに出力する。
また、交点算出部1511は、点Pbの座標の情報を含む信号(データ)をData(Pb)として、係数算出部1512と変換部1516とに出力する。
係数算出部1512は、交点算出部1511から出力される、点PaのデータData(Pa)および点PbのデータData(Pb)を入力する。係数算出部1512は、点PaのデータData(Pa)と、点PbのデータData(Pb)と、に基づいて、係数A、B、Cについての情報を取得する(詳細については、後述)。そして、係数算出部1512は、取得した係数A、B、Cについての情報(データ)を、変換行列取得部1513に出力する。
変換行列取得部1513は、係数算出部1512から出力される係数A、B、Cについての情報(データ)と、交点算出部1511から出力される点PaのデータData(Pa)と、を入力する。変換行列取得部1513は、係数A、B、Cと、点PaのデータData(Pa)と、に基づいて、変換行列Rx、Ry、Rzを取得する。そして、変換行列取得部1513は、取得した変換行列Rx、Ry、Rzについてのデータを、変換行列合成部1514に出力する。
変換行列合成部1514は、変換行列取得部1513から出力される変換行列Rx、Ry、Rzについてのデータを入力とし、変換行列Rx、Ry、Rzから、合成行列Rを取得する。そして、変換行列合成部1514は、取得した合成行列Rについてのデータを、逆変換行列取得部1515と、変換部1516とに、出力する。
逆変換行列取得部1515は、変換行列合成部1514から出力される合成行列Rについてのデータを入力する。逆変換行列取得部1515は、合成行列Rから、逆変換行列R−1を取得し、取得した逆変換行列R−1についてのデータを視点候補点算出部1519に出力する。
変換部1516は、変換行列合成部1514から出力される合成行列Rについてのデータと、交点算出部1511から出力される点PbのデータData(Pb)と、を入力する。変換部1516は、合成行列Rと、点PbのデータData(Pb)と、から、点Pb’についてのデータ(座標データ)を、Data(Pb’)として取得する。そして、変換部1516は、取得したデータData(Pb’)を、係数取得部1517と、視点候補点算出部1519とに出力する。
係数取得部1517は、変換部1516から出力されるデータData(Pb’)と、角度取得部1518から出力される角度θについてのデータとを入力する。係数取得部1517は、データData(Pb’)と、角度θと、に基づいて、係数A’を取得する。そして、係数取得部1517は、取得した係数A’についてのデータを、視点候補点算出部1519に出力する。
角度取得部1518は、第1インターフェース6から出力される信号Sig1を入力し、信号Sig1に基づいて、角度θを取得する。そして、角度取得部1518は、取得した角度θについてのデータを、係数取得部1517と、視点候補点算出部1519とに出力する。
視点候補点算出部1519は、交点算出部1511から出力されるデータData(Pc)と、角度取得部1518から出力される角度θについてのデータと、を入力する。また、視点候補点算出部1519は、係数取得部1517から出力される係数A’についてのデータと、変換部1516から出力されるデータData(Pb’)と、逆変換行列取得部1515から出力される逆変換行列R−1についてのデータとを入力する。
視点候補点算出部1519は、データData(Pc)と、角度θと、係数A’と、データData(Pb’)と、逆変換行列R−1とに基づいて、視点候補点の座標データVp_candを取得する。そして、視点候補点算出部1519は、取得した視点候補点の座標データVp_candを投影画像取得部152に出力する。
投影画像取得部152は、第1切替器SW1から出力される画像D1(テスト画像Img1(Img1_T3))と、視点候補取得部151の視点候補点算出部1519から出力される視点候補点の座標データVp_candとを入力する。また、投影画像取得部152は、3次元形状データ記憶部5から出力される3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjと、を入力する。投影画像取得部152は、3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjとに基づいて、画像D1(テスト画像Img1(Img1_T3))を、座標データVp_candにより特定される視点候補点から見たときに、幾何的な歪みが発生しない画像に変換し、変換した画像を画像D41(画像信号D41)として、第4セレクタSEL4に出力する。
第4セレクタSEL4は、第3セレクタSEL3から出力される画像D4と、視点特定処理部15から出力される画像D41と、選択信号sel4とを入力する。第4セレクタSEL4は、選択信号sel4に従い、画像D4および画像D41のいずれか一方を選択し、選択した画像を、画像D5(画像信号D5)として、第5セレクタSEL5に出力する。なお、選択信号sel4は、プロジェクター装置100の各機能部を制御する制御部により生成される制御信号である。
第5セレクタSEL5は、第4セレクタSEL4から出力される画像D5と、テスト画像記憶部2から出力される3次元形状測定用のテスト画像Img0と、選択信号sel5とを入力する。第5セレクタSEL5は、選択信号sel5に従い、画像D5およびテスト画像Img0のいずれか一方を選択し、選択した画像を、画像Dout(画像信号Dout)として、投影部3に出力する。なお、選択信号sel5は、プロジェクター装置100の各機能部を制御する制御部により生成される制御信号である。
テスト画像記憶部2は、テスト画像を記憶しており、投影画像調整部1から要求に従い、所定のタイミングで、テスト画像を、投影画像調整部1に出力する。
投影部3は、画像を投影するための光学系を有している。投影部3は、投影画像調整部1の第5セレクタSEL5から出力される画像Dout(画像信号Dout)を入力し、入力した画像Dout(画像信号Dout)を、3次元空間の投影対象に投影する。
3次元形状測定部4は、3次元空間の投影対象の3次元計測データを取得し、取得した投影対象の3次元計測データを3次元形状データ記憶部5に出力する。3次元形状測定部4は、例えば、カメラを有しており、投影部3から投影される3次元形状測定用のテスト画像を撮像し、3次元形状測定用のテスト画像の撮像画像に基づいて、投影対象の3次元計測データを取得する。
3次元形状測定部4は、例えば、(1)投影面の法線を求め、投影部3と投影面との位置関係を明確にする、あるいは、(2)投影部3の投影軸(投影部3の光学系の光軸)と投影面との角度を求め、投影部3と投影面との位置関係を明確にすることで、投影対象(投影面)の3次元計測データを取得する。
また、3次元形状測定部4は、TOF(Time Of Flight)方式(例えば、TOF方式の位相差法)により距離画像を取得することで、投影対象の3次元計測データを取得するものであってもよい。この場合、3次元形状測定部4は、例えば、赤外線を照射する光源と、赤外線用のイメージセンサーとを有しており、光源から照射した赤外線の反射光を、イメージセンサーで受光し、照射した赤外線が投影対象から反射されて戻ってくるまでの時間を測定することで、距離画像を取得する。そして、3次元形状測定部4は、取得した距離画像により、投影対象の3次元計測データを取得する。
また、3次元形状測定部4は、レーザー光源とレーザー用のセンサーを有し、レーザー光の飛行時間から、投影対象の距離を測定することで、投影対象の3次元計測データを取得するものであってもよい。この場合、3次元形状測定部4は、レーザー光を投影対象に照射方向を順次変更しながら(投影対象をレーザー光でスキャンしながら)照射し、レーザー光が投影対象に反射し、戻ってくるまでの時間を測定することで、投影対象の距離を測定し、投影対象の3次元計測データを取得する。
3次元形状データ記憶部5は、3次元形状測定部4により取得された投影対象の3次元計測データを入力とし、入力された投影対象の3次元計測データを記憶する。3次元形状データ記憶部5は、補正部11、第1回転処理部13、視点特定処理部15からの要求に従い、3次元計測データを、補正部11、第1回転処理部13、視点特定処理部15に出力する。
第1インターフェース6は、プロジェクター装置100と、コントローラ200とのインターフェースである。第1インターフェース6を介して、例えば、コントローラ200から出力される信号を、プロジェクター装置100に入力することができる。
コントローラ200は、図1に示すように、第2インターフェース21と、制御部22と、ユーザーインターフェース23とを備える。
第2インターフェース21は、コントローラ200と、プロジェクター装置100とのインターフェースである。
制御部22は、コントローラ200の各機能部を制御する制御部である。
ユーザーインターフェース23は、ユーザーの操作に応じた信号を発生させる。ユーザーインターフェース23は、例えば、コントローラに設けられた所定のボタンを、ユーザーが押下した場合、当該ボタンが押下されたことを示す信号を発生させる。
<1.2:投影システムの動作>
以上のように構成された投影システム1000の動作について、以下、説明する。
以下では、投影システム1000で実行される処理として、(1)3次元形状測定処理、(2)補正処理、(3)第1回転処理、(4)第2回転処理、および、(5)視点特定処理に分けて説明する。
なお、説明便宜のため、投影対象を図5に示す3次元空間として、投影システム1000の動作について説明する。
図5は、3次元空間を模式的に示した図であり、投影対象である天井CL(傾斜天井CL)と、プロジェクター装置100と、床FL上のユーザーUsrとを示している。また、図5において、図5に示すように、a軸、b軸、c軸を設定する。
図5に示す3次元空間において、傾斜天井CLは、平面であり、平面である床FL(床平面FL)と図5に示す角度αだけ傾斜している。また、図5において、プロジェクター装置100の投影部3の投影点を点P_prjとして示しており、プロジェクター装置100の3次元形状測定部4の測定点を点P_msrとして示している。また、図5において、投影部3の光学系の光軸(投影軸)Ax1と、傾斜天井CLとの交点を点Pcとし、ユーザーの視点位置(ユーザーの両眼の中心点)を点Vpとして示している。
なお、傾斜天井CLは、上記のように、床FLと平行な平面(ab平面)に対して、回転軸をb軸として回転させた平面となる場合のみに限定されることはない。例えば、傾斜天井CLは、床FLと平行な平面(ab平面)に対して、回転軸をb軸として角度αだけ回転させ、さらに、回転軸をa軸として角度βだけ回転させた平面と一致する平面であってもよい。
なお、説明便宜のために、ユーザーの左眼の中心点(左眼視点)と右眼の中心点(右眼視点)とは、a軸と平行な直線上に存在するものとする。そして、ユーザーの左眼の中心点(左眼視点)から点Pcまでの距離dLと、ユーザーの右眼の中心点(右眼視点)から点Pcまでの距離dR(=dL)とは、等しいものとする。
また、図5に示すように、x軸、y軸、z軸を設定するものとする。つまり、投影部3の光学系の光軸Ax1とz軸とが一致し、かつ、xy平面の法線がz軸と平行となるように、x軸、y軸が設定されるものとする。そして、図5に示すように、xyz座標の原点Orgは、光軸Ax1上に存在するものとする。
また、図5において、点Pcを通る傾斜天井平面CLの法線Nm1と、法線Nm1上の点P1とを示している。
(1.2.1:3次元形状測定処理)
まず、3次元形状測定処理について、説明する。
以下では、投影システム1000において、3次元形状測定部4は、カメラを有しており、投影部3から投影される3次元形状測定用のテスト画像を撮像し、3次元形状測定用のテスト画像の撮像画像に基づいて、投影対象の3次元計測データを取得する場合について、説明する。
テスト画像記憶部2から、3次元形状測定用のテスト画像Img0が、投影画像調整部1の第5セレクタSEL5に出力される。制御部は、第5セレクタSEL5の、図2に示す端子0を選択する選択信号sel5を生成し、第5セレクタSEL5に出力する。これにより、第5セレクタSEL5から、3次元形状測定用のテスト画像Img0が、画像信号Doutとして、投影部3に出力される。
投影部3は、3次元形状測定用のテスト画像Img0を、(A)投影軸(投影部3の光学系の光軸)を、図5に示す軸Ax1とし、(B)画角を図5に示す角度βとし、(C)投影点を、図5に示す点P_prjとして、投影対象である傾斜天井平面CLに対して、投影する。
3次元形状測定部4は、撮像点が点P_msrである、3次元形状測定用のカメラにより、投影部3により投影されている3次元形状測定用のテスト画像Img0を撮像する。そして、3次元形状測定部4は、撮像した画像を、3次元形状測定用のテスト画像Img0と比較することで、投影対象の3次元計測データを取得する。
投影システム1000において、投影点P_prjの3次元空間の座標が既知であり、3次元形状測定部4の撮像点P_msrの3次元空間の座標が既知であり、投影する3次元形状測定用のテスト画像Img0が既知であるので、撮像点P_msrで撮像した画像から、投影対象の3次元空間の座標を算出することができる。つまり、3次元形状測定用のテスト画像Img0の各画素が、撮像点P_msrで撮像した画像のどの画素に対応するか調べることで、各画素に相当する3次元空間位置(各画素に相当する光が反射した3次元空間位置)を特定することができる。したがって、各画素に対応する3次元空間位置を特定することで、投影対象の3次元空間の座標を算出することができる。
なお、3次元形状測定用のテスト画像Img0を、例えば、所定の周期の正弦波信号により形成される画像としてもよい。この場合、例えば、複数回にわたり、周期や位相を所定量だけずらした正弦波信号により形成される複数の画像を、投影部3から投影対象に投影し、投影された複数の画像により、3次元形状測定部4が、投影対象の3次元形状データを取得するようにしてもよい。
上記処理により、3次元形状測定部4が取得した投影対象の3次元形状データは、3次元形状測定部4から、3次元形状データ記憶部5に出力され、3次元形状データ記憶部5に記憶される。
(1.2.2:補正処理)
次に、補正処理について、説明する。
テスト画像記憶部2から、テスト画像Img1が、第1セレクタSEL1に出力される。そして、制御部は、第1セレクタSEL1の、図2に示す端子0を選択する選択信号sel1を生成し、第1セレクタSEL1に出力する。これにより、第1セレクタSEL1から、テスト画像Img1が、画像信号D1として、第1切替器SW1に出力される。
図6に、テスト画像Img1の一例である第1テスト画像Img1_T1を示す。図6に示すように、第1テスト画像Img1_T1は、長方形の画像である。そして、第1テスト画像Img1_T1は、図6に示すように、画像の横方向(水平方向)の中央において縦方向(垂直方向)に延びる縦中心線L1vを有し、画像の上部に水平方向(横方向)に引かれた線L2hを有するパターンの画像である。
図6に示す第1テスト画像Img1_T1は、線L1vと線L2hとの交点が存在する部分が画像の上部である。投影システム1000では、第1テスト画像Img1_T1の画像の上側をユーザーに認識させる必要があるため、投影システム1000に用いるテスト画像は、図6に示す第1テスト画像Img1_T1のように、画像の上部を認識しやすい画像とすることが好ましい。なお、図6に示す第1テスト画像Img1_T1は、一例であり、画像の上部を認識できる画像であれば、他の画像であってもよい。
説明便宜のため、以下では、テスト画像として、図6に示す第1テスト画像Img1_T1を用いる場合について説明する。
補正部11は、3次元形状データ記憶部5から3次元形状データ3D_dataを読み出し、投影対象である傾斜天井平面CLの3次元座標データを取得する。そして、補正部11は、点P1、すなわち、投影軸Ax1と天井平面CLとの交点Pcの法線上の点P1から見た場合に、幾何的な歪みのない状態の画像となるように、取得した傾斜天井平面CLの3次元座標データを用いて、画像D1に対して補正処理を行う。そして、補正部11は、補正処理後の画像を画像D2として第2セレクタSEL2に出力する。
制御部は、第2セレクタSEL2の、図2に示す端子0を選択する選択信号sel2を生成し、第2セレクタSEL2に出力する。これにより、第2セレクタSEL2から、画像D2が、画像D3として、第3セレクタSEL3に出力される。
制御部は、第3セレクタSEL3の、図2に示す端子0を選択する選択信号sel3を生成し、第3セレクタSEL3に出力する。これにより、第3セレクタSEL3から、画像D3が、画像D4として、第4セレクタSEL4に出力される。
制御部は、第4セレクタSEL4の、図2に示す端子1を選択する選択信号sel4を生成し、第4セレクタSEL4に出力する。これにより、第4セレクタSEL4から、画像D4が、画像D5として、第5セレクタSEL5に出力される。
制御部は、第5セレクタSEL5の、図2に示す端子1を選択する選択信号sel5を生成し、第5セレクタSEL5に出力する。これにより、第5セレクタSEL5から、画像D5が、画像Doutとして、投影部3に出力される。
投影部3は、第5セレクタSEL5からの画像Doutを、図5に示す投影軸Ax1により、傾斜天井平面CLに投影する。なお、この状態を「状態1」とする。
図7は、状態1における3次元空間を模式的に示した図である。具体的には、図7は、図6に示す第1テスト画像Img1_T1が傾斜天井平面CLに投影されている状態を模式的に示した図である。図7では、状態1において、ユーザーの視点Vpから見た第1テスト画像Img1_T1を画像Img1_T1(Vp)として示している。また、図7では、状態1において、点P1から見た第1テスト画像Img1_T1を画像Img1_T1(P1)として示している。
図7から、状態1において、ユーザーの視点Vpから見た第1テスト画像Img1_T1(Vp)には、幾何的な歪みが発生しているが、点P1から見た第1テスト画像Img1_T1(P1)には、幾何的な歪みが発生していない(幾何的な歪みがほぼ発生していない)ことが分かる。
投影システム1000において、上記のようにして補正処理が実行された後、第1回転処理が実行される。
(1.2.3:第1回転処理)
次に、第1回転処理について、説明する。
図7に示した状態1において、ユーザーは、コントローラ200を操作することで、傾斜天井平面CLに投影されている画像Img1_T1を、傾斜天井平面CL内において、点Pcを中心として、図7に矢印Dir1で示す方向に回転させ、画像Img1_T1の縦中心線L1vが、ユーザーの視点Vpから見て垂直な直線に見えるようにする。つまり、画像Img1_T1の縦中心線L1vと、点Pcと、視点Vpとを含む平面と、ユーザーの両眼を結ぶ直線とが直交するように、ユーザーは、コントローラ200を操作し、傾斜天井平面CLに投影されている画像Img1_T1を、傾斜天井平面CL内において、点Pcを中心として、図7に矢印Dir1で示す方向に回転させる。なお、ユーザーは、画像Img1_T1の画像の上部(画像Img1_T1の線L1vと線L2hとが交差している部分)が、ユーザーから見たときに上部となるように、画像Img1_T1を回転させる。
この第1回転処理について、具体的に説明する。
状態1と同様に、テスト画像記憶部2から、テスト画像Img1_T1が、第1セレクタSEL1に出力される。そして、制御部は、第1セレクタSEL1の、図2に示す端子0を選択する選択信号sel1を生成し、第1セレクタSEL1に出力する。これにより、第1セレクタSEL1から、テスト画像Img1_T1が、画像信号D1として、第1切替器SW1に出力される。
制御部は、第1切替器SW1の、図2に示す端子1を選択する切替信号sw1を生成し、第1切替器SW1に出力する。これにより、第1切替器SW1から、テスト画像Img1_T1が、画像信号D1として、補正部11に出力される。
補正部11は、画像D1に対して、状態1で実行した処理と同じ補正処理を実行する。そして、補正部11は、補正処理後の画像を画像D2として第1回転処理部13に出力する。
ユーザーは、コントローラ200を操作し、プロジェクター装置100に第1回転処理を実行させる。例えば、コントローラ200は、第1回転処理を行うためのボタンを2つ有しており、第1ボタン(一方のボタン)を1回押下することで、テスト画像Img1_T1を、傾斜天井平面CL内において、図7の方向Dir1の左方向に所定の角度だけ回転させる処理を実行し、第2ボタン(他方のボタン)を1回押下することで、テスト画像Img1_T1が、傾斜天井平面CL内において、図7の方向Dir1の右方向に所定の角度だけ回転させる処理を実行することができる。
ここでは、第1ボタンが押下された場合について説明する。
コントローラ200の第1ボタンが1回押下されると、ユーザーインターフェース23は、第1ボタンが1回押下されたこと示す信号を発生させる。コントローラ200の制御部22は、ユーザーインターフェース23が発生させた信号に基づいて、第1ボタンが1回押下されたこと示す信号を、第2インターフェース21を介して、プロジェクター装置100の第1インターフェースに送信する。
なお、コントローラ200は、ユーザーが手に持って操作できるものであり、コントローラ200とプロジェクター装置100とは、例えば、無線通信により、信号の送受信を行う。
例えば、ユーザーは、図7に示す状態において、コントローラ200を手に持って、傾斜天井平面CLに投影されている画像Img1_T1を見ながら、コントローラ200を操作し、傾斜天井平面CLに投影されている画像Img1_T1を回転させる。
プロジェクター装置100の第1インターフェースは、コントローラ200の第2インターフェースから送信された信号を受信し、受信した信号を信号Sig1として第2切替器12に出力する。
第2切替器12は、制御部により生成された切替信号sw2に基づいて、図2に示す端子Aを選択し、信号Sig1を第1回転処理部13に出力する。
第1回転処理部13は、信号Sig1と、3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjとに基づいて、補正部11から出力される画像D2に対して第1回転処理を実行する。
なお、第1回転処理部13は、3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjとを用いずに、信号Sig1に基づいて、、補正部11から出力される画像D2に対して第1回転処理を実行するようにしてもよい。この場合、3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjとは、第1回転処理部13に入力されなくてもよい。
具体的には、第1回転処理部13は、点P1から傾斜天井平面CLを見たときに、傾斜天井平面CL内において、点Pcを中心として、画像Img1_T1が、図7に示す矢印Dir1の左方向に、信号Sig1により決定される所定の角度だけ回転した画像となるように、画像D2に対して変換処理(第1回転処理)を行う。そして、第1回転処理部13は、処理後の画像を、画像D21(画像信号D21)として、第2セレクタSEL2に出力する。
第2セレクタSEL2は、制御部により生成された選択信号sel2に基づいて、図2に示す端子1を選択し、画像D21を画像D3として、第3セレクタSEL3に出力する。
第3セレクタSEL3は、制御部により生成された選択信号sel3に基づいて、図2に示す端子0を選択し、画像D3(=画像D21)を、画像D4として、第4セレクタSEL4に出力する。
第4セレクタSEL4は、制御部により生成された選択信号sel4に基づいて、図2に示す端子1を選択し、画像D4(=画像D21)を、画像D5として、第5セレクタSEL5に出力する。
第5セレクタSEL5は、制御部により生成された選択信号sel5に基づいて、図2に示す端子1を選択し、画像D5(=画像D21)を、画像Doutとして、投影部3に出力する。
投影部3は、第5セレクタSEL5からの画像Dout(=画像D21)を、図7に示す投影軸Ax1により、傾斜天井平面CLに投影する。これにより、点P1から傾斜天井平面CLを見たときに、画像Img1_T1は、点Pcを中心として、所定の角度だけ方向Dir1に回転した画像となる。
上記操作を繰り返すことで、画像Img1_T1の縦中心線L1vが、ユーザーの視点Vpから見て垂直な直線に見えるようにする。この状態、つまり、画像Img1_T1の縦中心線L1vと、点Pcと、視点Vpとを含む平面が、ユーザーの両眼を結ぶ直線と直交している状態を「状態2」とする。
図8は、状態2における3次元空間を模式的に示した図である。図8では、状態2において、ユーザーの視点Vpから見たテスト画像Img1_T1を画像Img1_T1(Vp)として示している。
図8から、状態2において、テスト画像Img1_T1(Vp)の縦中心線L1vが、ユーザーの視点Vpから見て垂直な直線に見えることが分かる。
そして、第1回転処理部13は、状態2において、縦中心線L1vを含む直線を特定するためのデータを取得し、保持する。縦中心線L1vを含む直線を特定するためのデータとしては、例えば、(1)当該直線を規定する方程式(直線方程式)のデータや(2)当該直線に含まれる異なる2点の座標を特定するためのデータ等がある。
そして、第1回転処理部13は、縦中心線L1vを含む直線を特定するためのデータを含む検出信号をDet1として、視点特定処理部15に出力する。
投影システム1000において、上記のようにして第1回転処理が実行された後、第2回転処理が実行される。
(1.2.4:補正処理(第2テスト画像用))
図9は、第2回転処理に用いるテスト画像Img1の一例である第2テスト画像Img1_T2を示す図である。
図10は、第2回転処理を説明するための図であり、b軸正方向から負方向に向かって、傾斜天井平面CLを含む3次元空間を見た図(正面図)である。
補正部11では、入力画像を、第2テスト画像Img1_T2として、上記で説明したのと同様に、補正処理が実行される。つまり、以下の処理が実行される。
テスト画像記憶部2から、第2テスト画像Img1_T2が、第1セレクタSEL1に出力される。そして、制御部は、第1セレクタSEL1の、図2に示す端子0を選択する選択信号sel1を生成し、第1セレクタSEL1に出力する。これにより、第1セレクタSEL1から、テスト画像Img1_T2が、画像信号D1として、第1切替器SW1に出力される。
図9に示すように、第2テスト画像Img1_T2は、長方形の画像である。そして、第2テスト画像Img1_T2は、図9に示すように、画像の縦方向(垂直方向)の中央において横方向(水平方向)に延びる横中心線L1hを有するパターンの画像である。
なお、図9に示す第2テスト画像Img1_T2は、一例であり、図9に示した画像に限定されることはなく、画像の水平方向の歪を認識することができる他の画像であってもよい。
説明便宜のため、以下では、テスト画像として、図9に示す第2テスト画像Img1_T2を用いる場合について説明する。
補正部11は、3次元形状データ記憶部5から3次元形状データ3D_dataを読み出し、投影対象である傾斜天井平面CLの3次元座標データを取得する。そして、補正部11は、点P1、すなわち、投影軸Ax1と天井平面CLとの交点Pcの法線上の点P1から見た場合に、幾何的な歪みのない状態の画像となるように、取得した傾斜天井平面CLの3次元座標データを用いて、画像D1に対して補正処理を行う。そして、補正部11は、補正処理後の画像を画像D2として第2セレクタSEL2に出力する。
制御部は、第2セレクタSEL2の、図2に示す端子0を選択する選択信号sel2を生成し、第2セレクタSEL2に出力する。これにより、第2セレクタSEL2から、画像D2が、画像D3として、第3セレクタSEL3に出力される。
制御部は、第3セレクタSEL3の、図2に示す端子0を選択する選択信号sel3を生成し、第3セレクタSEL3に出力する。これにより、第3セレクタSEL3から、画像D3が、画像D4として、第4セレクタSEL4に出力される。
制御部は、第4セレクタSEL4の、図2に示す端子1を選択する選択信号sel4を生成し、第4セレクタSEL4に出力する。これにより、第4セレクタSEL4から、画像D4が、画像D5として、第5セレクタSEL5に出力される。
制御部は、第5セレクタSEL5の、図2に示す端子1を選択する選択信号sel5を生成し、第5セレクタSEL5に出力する。これにより、第5セレクタSEL5から、画像D5が、画像Doutとして、投影部3に出力される。
投影部3は、第5セレクタSEL5からの画像Doutを、図5に示す投影軸Ax1により、傾斜天井平面CLに投影する。なお、この状態を「状態3」とする。
図10は、状態3における3次元空間を模式的に示した図である。具体的には、図10は、図9に示す第2テスト画像Img1_T2が傾斜天井平面CLに投影されている状態を模式的に示した図である。図10では、状態3において、ユーザーの視点Vpから見た第2テスト画像Img1_T2を画像Img1_T2(Vp)として示している。また、図10では、状態1において、点P1から見た第2テスト画像Img1_T2を画像Img1_T2(P1)として示している。
図10から、状態3において、ユーザーの視点Vpから見た第2テスト画像Img1_T2(Vp)には、幾何的な歪みが発生しているが、点P1から見た第2テスト画像Img1_T2(P1)には、幾何的な歪みが発生していない(幾何的な歪みがほぼ発生していない)ことが分かる。
投影システム1000において、上記のようにして補正処理が実行された後、第2回転処理が実行される。
(1.2.5:第2回転処理)
次に、第2回転処理について、説明する。
図10に示した状態3において、ユーザーは、コントローラ200を操作することで、傾斜天井平面CLに投影されている画像Img1_T2を、点Pcを中心として、図10に矢印Dir2で示す方向に回転させ、画像Img1_T2の横中心線L1hが、ユーザーの視点Vpから見て水平な直線に見えるようにする。
この第2回転処理について、具体的に説明する。
テスト画像記憶部2から、第2テスト画像Img1_T2が、第1セレクタSEL1に出力される。そして、制御部は、第1セレクタSEL1の、図2に示す端子0を選択する選択信号sel1を生成し、第1セレクタSEL1に出力する。これにより、第1セレクタSEL1から、第2テスト画像Img1_T2が、画像信号D1として、第1切替器SW1に出力される。
制御部は、第1切替器SW1の、図2に示す端子1を選択する切替信号sw1を生成し、第1切替器SW1に出力する。これにより、第1切替器SW1から、第2テスト画像Img1_T2が、画像信号D1として、補正部11に出力される。
補正部11は、画像D1に対して、状態3で実行した処理と同じ補正処理を実行する。そして、補正部11は、補正処理後の画像を画像D2として第2セレクタSEL2に出力する。
制御部は、第2セレクタSEL2の、図2に示す端子0を選択する選択信号sel2を生成し、第2セレクタSEL2に出力する。これにより、第2セレクタSEL2から、第2テスト画像Img1_T2が、画像信号D3として第2回転処理部14に出力される。
ユーザーは、コントローラ200を操作し、プロジェクター装置100に第2回転処理を実行させる。例えば、コントローラ200は、第2回転処理を行うためのボタンを2つ有しており、第1ボタン(一方のボタン)を1回押下することで、第2テスト画像Img1_T2を、傾斜天井平面CL内において、図10の方向Dir2の左方向に所定の角度だけ回転させる処理を実行し、第2ボタン(他方のボタン)を1回押下することで、第2テスト画像Img1_T2が、傾斜天井平面CL内において、図10の方向Dir2の右方向に所定の角度だけ回転させる処理を実行することができる。
ここでは、第1ボタンが押下された場合について説明する。
コントローラ200の第1ボタンが1回押下されると、ユーザーインターフェース23は、第1ボタンが1回押下されたこと示す信号を発生させる。コントローラ200の制御部22は、ユーザーインターフェース23が発生させた信号に基づいて、第1ボタンが1回押下されたこと示す信号を、第2インターフェース21を介して、プロジェクター装置100の第1インターフェースに送信する。
なお、コントローラ200は、ユーザーが手に持って操作できるものであり、コントローラ200とプロジェクター装置100とは、例えば、無線通信により、信号の送受信を行う。
例えば、ユーザーは、図10に示す状態において、コントローラ200を手に持って、傾斜天井平面CLに投影されている画像Img1_T2を見ながら、コントローラ200を操作し、傾斜天井平面CLに投影されている画像Img1_T2を回転させる。
プロジェクター装置100の第1インターフェースは、コントローラ200の第2インターフェースから送信された信号を受信し、受信した信号を信号Sig1として第2切替器12に出力する。
第2切替器12は、制御部により生成された切替信号sw2に基づいて、図2に示す端子Bを選択し、信号Sig1を第2回転処理部14に出力する。
第2回転処理部14は、信号Sig1と、3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjとに基づいて、第2セレクタSEL2から出力される画像D3に対して第2回転処理を実行する。
なお、第2回転処理部14は、3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjとを用いずに、信号Sig1に基づいて、、補正部11から出力される画像D3に対して第2回転処理を実行するようにしてもよい。この場合、3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjとは、第2回転処理部14に入力されなくてもよい。
具体的には、第2回転処理部14は、点P1から傾斜天井平面CLを見たときに、傾斜天井平面CL内において、点Pcを中心として、画像Img1_T2が、図10に示す矢印Dir2の反時計回りの方向に、信号Sig1により決定される所定の角度だけ回転した画像となるように、画像D3に対して変換処理(第2回転処理)を行う。そして、第2回転処理部14は、処理後の画像を、画像D31(画像信号D31)として、第3セレクタSEL3に出力する。
第3セレクタSEL3は、制御部により生成された選択信号sel3に基づいて、図2に示す端子1を選択し、画像D31を画像D4として、第4セレクタSEL4に出力する。
第4セレクタSEL4は、制御部により生成された選択信号sel4に基づいて、図2に示す端子1を選択し、画像D4を、画像D5として、第5セレクタSEL5に出力する。
第5セレクタSEL5は、制御部により生成された選択信号sel5に基づいて、図2に示す端子1を選択し、画像D5(=画像D31)を、画像Doutとして、投影部3に出力する。
投影部3は、第5セレクタSEL5からの画像Dout(=画像D31)を、図10に示す投影軸Ax1により、傾斜天井平面CLに投影する。これにより、点P1から傾斜天井平面CLを見たときに、画像Img1_T2は、点Pcを中心として、所定の角度だけ方向Dir2に回転した画像となる。
上記操作を繰り返すことで、画像Img1_T2の横中心線L1hが、ユーザーの視点Vpから見て水平な直線に見えるようにする。この状態、つまり、画像Img1_T2の横中心線L1hと、ユーザーの両眼を結ぶ直線とが平行である状態を「状態4」とする。
図11は、状態4における3次元空間を模式的に示した図である。
図11から、状態4において、テスト画像Img1_T1(Vp)の横中心線L1hが、ユーザーの視点Vpから見て水平な直線に見えることが分かる。
そして、第2回転処理部14は、状態4において、横中心線L1hを含む直線を特定するためのデータを取得し、保持する。横中心線L1hを含む直線を特定するためのデータとしては、例えば、(1)当該直線を規定する方程式(直線方程式)のデータや(2)当該直線に含まれる異なる2点の座標を特定するためのデータ等がある。
そして、第2回転処理部14は、横中心線L1hを含む直線を特定するためのデータを含む検出信号をDet2として、視点特定処理部15に出力する。
投影システム1000において、上記のようにして第2回転処理が実行された後、視点特定処理が実行される。
(1.2.6:視点特定処理)
次に、視点特定処理について、説明する。
図12は、視点特定処理を説明するための図である。具体的には、図12は、状態4において、傾斜天井平面CLに投影されているテスト画像Img1_T2(Img1_T2(Vp))と、状態2において、傾斜天井平面CLに投影されているテスト画像Img1_T1(Img1_T1(Vp))とを重畳して示した図である。
なお、図12に示した状態を、「状態4A」とする。
また、図12では、視点の候補点を示す視点候補曲線Vp_cand_crvを図示している。
視点候補取得部151の交点算出部1511は、第1回転処理部13から出力される検出信号Det1から、第1直線のデータを取得し、状態4Aにおける縦中心線L1vを含む直線上(第1直線上)の点Paの座標データData(Pa)を取得する。
また、交点算出部1511は、第2回転処理部14から出力される検出信号Det2から、第2直線のデータを取得し、状態4Aにおける横中心線L1hを含む直線上(第2直線上)の点Pbの座標データData(Pb)を取得する。
また、交点算出部1511は、第1直線と第2直線の交点Pcの座標データData(Pc)を取得する。例えば、交点算出部1511は、第1直線の直線方程式と、第2直線の直線方程式とを求め、求めた第1直線の直線方程式と、第2直線の直線方程式とから、算出により、第1直線と第2直線の交点Pcの座標データData(Pc)(=(cx,cy,cz))を取得する。
なお、交点算出部1511は、図5に示したx軸、y軸、z軸で規定されるxyz空間における点Pa、点Pb、点Pcの座標データを、以下のデータとして取得するものとする。
Data(Pa)=(ax,ay,az)
Data(Pb)=(bx,by,bz)
Data(Pc)=(cx,cy,cz)
交点算出部1511は、取得した点PaのデータData(Pa)と、取得した点PbのデータData(Pb)と、を係数算出部1512に出力する。
係数算出部1512は、点PaのデータData(Pa)と、点PbのデータData(Pb)とから、
A=−ax×by+ay×bx
B=−ax×bz+az×bx
C=−az×by+ay×bz
に相当する処理を実行し、係数A、B、Cを取得する。
そして、係数算出部1512は、取得した係数A、B、Cについての情報(データ)を、変換行列取得部1513に出力する。
変換行列取得部1513は、係数A、B、Cと、点PaのデータData(Pa)とを用いて、以下の数式に相当する処理を実行することで、変換行列Rx、Ry、Rzを取得する。
Figure 0006624942
Figure 0006624942
Figure 0006624942
そして、変換行列取得部1513は、取得した変換行列Rx、Ry、Rzについてのデータを、変換行列合成部1514に出力する。
変換行列合成部1514は、変換行列Rx、Ry、Rzから、
R=Rz・Ry・Rx
に相当する処理(行列の合成処理)を行い、合成行列Rを取得する。
そして、変換行列合成部1514は、取得した合成行列Rについてのデータを、逆変換行列取得部1515と、変換部1516とに、出力する。
逆変換行列取得部1515は、合成行列Rから、逆変換行列R−1を取得し、取得した逆変換行列R−1についてのデータを視点候補点算出部1519に出力する。
変換部1516は、合成行列Rと、点PbのデータData(Pb)とを用いて、以下の数式に相当する処理を実行することで、点Pb’についてのデータ(座標データ)を取得する。
Figure 0006624942
そして、変換部1516は、取得した点Pb’についてのデータData(Pb’)(=(bx’,by’,bz’))を、係数取得部1517と、視点候補点算出部1519とに出力する。
角度取得部1518は、第1インターフェース6から出力される信号Sig1を入力し、信号Sig1に基づいて、角度θを取得する。角度取得部1518は、例えば、信号Sig1が入力された場合、信号Sig1の信号値に基づいて、角度θが、信号Sigが入力される前に設定されていた角度から、所定の角度だけ変化するように角度θを変化させる。
そして、角度取得部1518は、取得した角度θについてのデータを、係数取得部1517と、視点候補点算出部1519とに出力する。
係数取得部1517は、データData(Pb’)と、角度θと、に基づいて、係数A’を、以下の数式に相当する処理により取得する。
Figure 0006624942
そして、係数取得部1517は、取得した係数A’についてのデータを、視点候補点算出部1519に出力する。
視点候補点算出部1519は、データData(Pc)と、角度θと、係数A’と、データData(Pb’)と、逆変換行列R−1とに基づいて、以下の数式に相当する処理を実行することで、視点候補点の座標データVp_cand(=(x,y,z))を取得する。
(1)by’>0のとき(−π/2<θ<0)
Figure 0006624942
(2)by’≦0のとき(0<θ<π/2)
Figure 0006624942
そして、視点候補点算出部1519は、上記処理により取得した視点候補点の座標データVp_cand(=(x,y,z))を投影画像取得部152に出力する。
上記のようにして、投影システム1000では、視点特定処理が実行される。
図13に、テスト画像Img1の一例である第3テスト画像Img1_T3を示す。第3テスト画像Img1_T3は、視点特定処理に用いられる画像である。
図13に示すように、第3テスト画像Img1_T3は、長方形の画像である。そして、第3テスト画像Img1_T3は、図13に示すように、画像の横方向(水平方向)の中央において縦方向(垂直方向)に延びる縦中心線L1vaを有し、画像の上部に水平方向(横方向)に引かれた線L2haを有し、画像の中心点に円C1を有するパターンの画像である。また、第3テスト画像Img1_T3は、図13に示すように、画像の縦方向(垂直方向)の中央において横方向(水平方向)に延びる横中心線L1haを有している。
図13に示す第3テスト画像Img1_T3は、線L1vaと線L2haとの交点が存在する部分が画像の上部である。
さらに、第3テスト画像Img1_T3は、図13に示すように、白地の正方形のパターンである第1格子パターンと、黒地の正方形のパターンである第2格子パターンとが、画像上の水平方向、および、画像上の垂直方向において、交互に配置されることで形成される格子状パターンを有している。
なお、図13に示す第3テスト画像Img1_T3は、一例であり、視点特定処理に用いられる画像は、投影したときに、ユーザーにより、画像の歪を認識できる画像であれば、他の画像であってもよい。
投影システム1000では、視点特定処理を実行する場合、第3テスト画像Img1_T3が、テスト画像記憶部2から、投影画像調整部1の第1セレクタSEL1に出力される。
そして、第1セレクタで端子0を選択し、第1切替器SW1で端子0を選択することで、第3テスト画像Img1_T3は、視点特定処理部15に入力される。
視点特定処理部15の投影画像取得部152は、3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjとに基づいて、入力される第3テスト画像Img1_T3を、座標データVp_cand(=(x,y,z))により特定される視点候補点から見たときに、幾何的な歪みが発生しない画像に変換する。そして、投影画像取得部152は、変換した画像を画像D41(画像信号D41)として、第4セレクタSEL4に出力する。
そして、画像D41は、第5セレクタSEL5から投影部3に、画像Doutとして出力される。
投影部3は、画像Dout(画像D41)を傾斜天井CLに投影する。
ユーザーは、傾斜天井CLに投影されている第3テスト画像Img1_T3の歪度合いが小さくなるように、コントローラ200を操作する。
ユーザーのコントローラ200の操作に応じて、投影システム1000では、上記の視点特定処理が繰り返し実行される。
図12において、N回目(N:自然数)の視点特定処理により、特定された視点候補点をVp_cand(N)として示しており、N+1回目の視点特定処理により、特定された視点候補点をVp_cand(N+1)として示している。なお、点Pcと、ユーザーの視点Vpとを結ぶ直線上に、視点候補点Vp_cand(N+1)が存在するものとする。
ユーザーがコントローラ200を操作し、N+1回目の視点特定処理が実行されることで、視点候補点がVp_cand(N+1)となり、ユーザーの視点Vpから見たときに、幾何的な歪みのない画像が、傾斜天井CLに投影される。
図14は、投影システム1000により、N+1回目の視点特定処理が実行され、視点候補点がVp_cand(N+1)に特定された場合において、第3テスト画像Img1_T3が傾斜天井CLに投影されているときの状態(この状態を「状態5」という)を示す図である。
図14から分かるように、点Pcとユーザーの視点Vpとを結ぶ直線上に、視点候補点Vp_cand(N+1)が存在するので、状態5において、ユーザーから見たときに、第3テスト画像Img1_T3は、幾何的な歪のない画像として認識される。
以上のようにして、投影システム1000では、視点特定処理が実行され、ユーザーの視点Vpから見たときに幾何的な歪みのない画像(幾何的な歪みの低減された画像)を、傾斜天井平面CLに投影することができる。
ユーザーは、傾斜天井平面CLに投影されている画像の幾何的な歪みが十分低減されている状態(状態5)を確認し、プロジェクター装置100における調整処理(画像の幾何的な歪みを低減させるための調整処理)を終了させる。例えば、ユーザーは、コントローラ200を操作して、プロジェクター装置100における調整処理(画像の幾何的な歪みを低減させるための調整処理)を終了させる。
プロジェクター装置100は、上記プロジェクター装置100における調整処理(画像の幾何的な歪みを低減させるための調整処理)を終了させるための信号を、コントローラ200から受信する。
プロジェクター装置100は、コントローラ200から上記信号を受信した場合、現在の設定により、画像が傾斜天井CLに投影されるようにする。
そして、プロジェクター装置100は、画像信号(あるいは、映像信号)Dinを表示(投影)するモードに切り替えられた場合、第1セレクタSEL1において、端子1が選択されるようにし、さらに、第1切替器SW1において、端子0が選択されるようにして、画像信号Dinを、視点特定処理部15に出力する。そして、視点特定処理部15では、ユーザーの視点Vp(点Vp_cand(N+1))から見たときに幾何的な歪の発生しない画像Dinを画像に変換し、変換した画像を、画像D41として、第4セレクタSEL4に出力する。
プロジェクター装置100は、第4セレクタSEL4において端子0が、第5セレクタにおいて端子1が、それぞれ、選択されるようにする。これにより、画像D41が画像Doutとして、投影部3に出力される。
そして、プロジェクター装置100の投影部3より、画像Dout(画像D41)が、傾斜天井CLに投影される。
これにより、プロジェクター装置100に入力された画像Din(あるいは、映像Din)が、傾斜天井平面CLに投影された画像(映像)は、ユーザーの視点Vpから見たときに幾何的な歪みのない(低減された)画像(映像)となる。
以上のように、投影システム1000では、表示したときの上部が分かるテスト画像を傾斜天井平面CLに投影し、ユーザーがコントローラ200により、以下の(1)〜(3)の処理をプロジェクター装置100に実行させることで、傾斜天井平面CLに投影されている画像の幾何的な歪みをなくす(低減させる)ことができる。
(1)傾斜天井平面CL内で投影画像を、ユーザーから見たときに、第1テスト画像Img1_T1の縦中心線L1vが垂直に見えるように回転させる処理(第1回転処理)。
(2)傾斜天井平面CL内で投影画像を、ユーザーから見たときに、第2テスト画像Img1_T2の横中心線L1hが水平に見えるように回転させる処理(第2回転処理)。
(3)第1回転処理の完了後において、傾斜天井CLに投影されている第1テスト画像Img1_T1の縦中心線L1vを含む第1直線と、第2回転処理の完了後において、傾斜天井CLに投影されている第2テスト画像Img1_T2の横中心線L1hを含む第2直線と、に基づいて、視点候補点を特定し、特定した視点候補点から見たときに、幾何的な歪のない画像を生成し、当該画像を投影する処理(視点特定処理)。
したがって、投影システム1000では、撮影機能を有する機器を用いることなく、傾斜投影面(例えば、傾斜天井)に投影された画像の幾何的な歪みを、容易かつ適切に、なくす(低減させる)ことができる。
<1.3:投影方法>
次に、投影システム1000で実行される投影方法について、説明する。
図15は、投影システム1000で実行される投影方法のフローチャートを示す図である。
図16は、投影システム1000で実行される投影方法の視点特定処理のフローチャートを示す図である。
以下では、図15、図16のフローチャートを参照しながら、投影システム1000で実行される投影方法について、説明する。
(ステップS1):
ステップS1において、投影システム1000では、第1回転処理が実行される。
第1回転処理は、上記「(1.2.3:第1回転処理)」で説明した処理と同様の処理である。
第1回転処理では、プロジェクター装置100により、例えば、図6に示す第1テスト画像Img1_T1が傾斜天井CLに投影される。
そして、ユーザーは、傾斜天井CLに投影されている第1テスト画像Img1_T1において、縦中心線L1vが垂直な直線に見えるようになるまで、コントローラ200を操作する。
(ステップS2):
ステップS2において、投影システム1000では、第2回転処理が実行される。
第2回転処理は、上記「(1.2.5:第2回転処理)」で説明した処理と同様の処理である。
第2回転処理では、プロジェクター装置100により、例えば、図9に示す第2テスト画像Img1_T2が傾斜天井CLに投影される。
そして、ユーザーは、傾斜天井CLに投影されている第2テスト画像Img1_T2において、横中心線L1hが水平な直線に見えるようになるまで、コントローラ200を操作する。
(ステップS3):
ステップS3において、投影システム1000では、視点特定処理が実行される。
視点特定処理は、上記「(1.2.6:視点特定処理)」で説明した処理と同様の処理である。
(ステップS301):
ステップS301において、視点候補取得部151の交点算出部1511は、第1回転処理部13から出力される検出信号Det1から、第1直線のデータを取得し、状態4Aにおける縦中心線L1vを含む直線上(第1直線上)の点Paの座標データData(Pa)(=(ax,ay,az))を取得する。
また、交点算出部1511は、第2回転処理部14から出力される検出信号Det2から、第2直線のデータを取得し、状態4Aにおける横中心線L1hを含む直線上(第2直線上)の点Pbの座標データData(Pb)(=(bx,by,bz))を取得する。
(ステップS302):
ステップS302において、交点算出部1511は、第1直線と第2直線の交点Pcの座標データData(Pc)(=(cx,cy,cz))を取得する。例えば、交点算出部1511は、第1直線の直線方程式と、第2直線の直線方程式とを求め、求めた第1直線の直線方程式と、第2直線の直線方程式とから、算出により、第1直線と第2直線の交点Pcの座標データData(Pc)(=(cx,cy,cz))を取得する。
なお、交点算出部1511は、図5に示したx軸、y軸、z軸で規定されるxyz空間における点Pa、点Pb、点Pcの座標データを、以下のデータとして取得するものとする。
Data(Pa)=(ax,ay,az)
Data(Pb)=(bx,by,bz)
Data(Pc)=(cx,cy,cz)
(ステップS303):
ステップS303において、係数算出部1512は、点PaのデータData(Pa)と、点PbのデータData(Pb)とから、
A=−ax×by+ay×bx
B=−ax×bz+az×bx
C=−az×by+ay×bz
に相当する処理を実行し、係数A、B、Cを取得する。
(ステップS304):
ステップS304において、変換行列取得部1513は、係数A、B、Cと、点PaのデータData(Pa)とを用いて、以下の数式に相当する処理を実行することで、変換行列Rx、Ry、Rzを取得する。
Figure 0006624942
Figure 0006624942
Figure 0006624942
(ステップS305):
ステップS305において、変換行列合成部1514は、変換行列Rx、Ry、Rzから、
R=Rz・Ry・Rx
に相当する処理(行列の合成処理)を行い、合成行列Rを取得する。
(ステップS306):
ステップS306において、逆変換行列取得部1515は、合成行列Rから、逆変換行列R−1を取得する。
(ステップS307):
ステップS307において、変換部1516は、合成行列Rと、点PaのデータData(Pb)とを用いて、以下の数式に相当する処理を実行することで、点Pb’についてのデータ(座標データ)を取得する。
Figure 0006624942
(ステップS308):
ステップS308において、角度取得部1518は、第1インターフェース6から出力される信号Sig1を入力し、信号Sig1に基づいて、角度θを取得する。角度取得部1518は、例えば、信号Sig1が入力された場合、信号Sig1の信号値に基づいて、角度θが、信号Sigが入力される前に設定されていた角度から、所定の角度だけ変化するように角度θを変化させる。
係数取得部1517は、データData(Pb’)と、角度θと、に基づいて、係数A’を、以下の数式に相当する処理により取得する。
Figure 0006624942
(ステップS309):
ステップS309において、視点候補点算出部1519は、データData(Pc)と、角度θと、係数A’と、データData(Pb’)と、逆変換行列R−1とに基づいて、以下の数式に相当する処理を実行することで、視点候補点の座標データVp_cand(=(x,y,z))を取得する。
(1)by’>0のとき(−π/2<θ<0)
Figure 0006624942
(2)by’≦0のとき(0<θ<π/2)
Figure 0006624942
(ステップS310):
ステップS310において、投影画像取得部152は、3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjとに基づいて、入力される第3テスト画像Img1_T3を、座標データVp_cand(=(x,y,z))により特定される視点候補点から見たときに、幾何的な歪みが発生しない画像に変換する。
(ステップS311):
ステップS311において、投影部3は、ステップS310で取得された画像(画像Dout(画像D41))を傾斜天井CLに投影する。
(ステップS312):
ステップS312において、ユーザーは、傾斜天井CLに投影されている第3テスト画像Img1_T3の歪度合いがない(十分小さい)か否かを判断する。
そして、傾斜天井CLに投影されている第3テスト画像Img1_T3の歪度合いが十分小さくないと判断された場合、処理を、ステップS301に戻す。一方、傾斜天井CLに投影されている第3テスト画像Img1_T3の歪度合いが十分小さいと判断された場合、処理を、終了させる(視点特定処理を完了させる)。
以上のように、投影システム1000で実行される投影方法では、表示したときの上部が分かるテスト画像を傾斜天井平面CLに投影し、ユーザーがコントローラ200により、以下の(1)〜(3)の処理をプロジェクター装置100に実行させることで、傾斜天井平面CLに投影されている画像の幾何的な歪みをなくす(低減させる)ことができる。
(1)傾斜天井平面CL内で投影画像を、ユーザーから見たときに、第1テスト画像Img1_T1の縦中心線L1vが垂直に見えるように回転させる処理(第1回転処理)。
(2)傾斜天井平面CL内で投影画像を、ユーザーから見たときに、第2テスト画像Img1_T2の横中心線L1hが水平に見えるように回転させる処理(第2回転処理)。
(3)第1回転処理の完了後において、傾斜天井CLに投影されている第1テスト画像Img1_T1の縦中心線L1vを含む第1直線と、第2回転処理の完了後において、傾斜天井CLに投影されている第2テスト画像Img1_T1の横中心線L1hを含む第2直線と、に基づいて、視点候補点を特定し、特定した視点候補点から見たときに、幾何的な歪のない画像を生成し、当該画像を投影する処理(視点特定処理)。
したがって、投影システム1000で実行される投影方法では、撮影機能を有する機器を用いることなく、傾斜投影面(例えば、傾斜天井)に投影された画像の幾何的な歪みを、容易かつ適切に、なくす(低減させる)ことができる。
≪視点特定処理の原理≫
なお、ここで、上記視点特定処理の原理について、説明する。
3次元空間(xyz座標空間)内の異なる3点を、
A0=(ax0,ay0,az0)
B0=(bx0,by0,bz0)
C0=(cx0,cy0,cz0)
とし、ベクトルVec(C0,A0)(点C0から点A0へのベクトル)と、ベクトルVec(C0,B0)(点C0から点B0へのベクトル)とが直交して見える点をPxとする。
そして、点Pxを特定することが解くべき問題(命題)である。
この問題を解くために、以下の2つの処理を行えば良い。
(1)ある点P0(例えば、z軸上のある点(0,0,1))から見て、ベクトルVec(C0,A0)と、ベクトルVec(C0,B0)とが直交して見えるようになる幾何変換を求める。なお、ここでは、説明便宜のために、点P0を(0,0,1)として、以下説明する。
P0=GmtrCnv(Px)
Px=(x,y,z)
P0=(0,0,1)
GmtrCnv:幾何変換
(2)点P0に、(1)で求めた幾何変換の逆変換を施した点からは、ベクトルVec(C0,A0)と、ベクトルVec(C0,B0)とが直交して見えるはずである。したがって、
Px=GmtrCnv−1(P0)
GmtrCnv−1:幾何変換GmtrCnvの逆変換
に相当する処理を行うことで、ベクトルVec(C0,A0)(点C0から点A0へのベクトル)と、ベクトルVec(C0,B0)(点C0から点B0へのベクトル)とが直交して見える点Pxを求めることができる。なお、以下では、m0点からm1点へのベクトルをVec(m0,m1)と表記する。
図17は、視点特定処理の原理を説明するための図である。
点A0、点B0、点C0は、異なる3点であれば、任意の点でよいが、説明便宜のために、点C0が原点(=(0,0,0))である場合について、以下説明する。つまり、図17(b)に示した場合を例に、以下説明する。つまり、
A0=(ax,ay,az)
B0=(bx,by,bz)
C0=(0,0,0)
である場合について、説明する。
ベクトルVec(C0,A0)がy軸に重なり、かつ、ベクトルVec(C0,B0)がxy平面上となるように、回転処理を実行する。なお、この回転処理は、x軸を中心とする回転処理、y軸を中心とする回転処理、z軸を中心とする回転処理により実現される。
そして、回転処理後の各点を、点A0’、点B0’、点C0’とすると、点A0’、点B0’、点C0’の座標は、以下のように表すことができる。
A0’=(ax’,ay’,az’)=(0,ay’,0)
B0’=(bx’,by’,bz’)=(bx’,by’,0)
上記回転処理を行う行列は、以下のように表すことができる。
R=Rx・Ry・Rz
なお、Rxは、x軸を中心とする回転処理を表す行列であり、Ryは、y軸を中心とする回転処理を表す行列であり、Rzは、z軸を中心とする回転処理を表す行列である。
図18は、上記処理を実行した後の点A0’、点B0’、点C0’(=点C0)を示す図である。
次に、ベクトルVec(C0’,A0’)がyz平面上となり、かつ、ベクトルをVec(C0’,B0’)がxz平面上となるように、y軸を中心とする回転処理、z軸を中心とする回転処理を順に実行する。
上記回転処理後の各点を点A0’’、点B0’’、点C0’’とすると、点A0’’、点B0’’、点C0’’の座標は、以下のようになる。
A0’’=(ax’’,ay’’,az’’)=(0,ay’’,az’’)
B0’’=(bx’’,by’’,bz’’)=(bx’’,0,bz’’)
図19は、上記処理を実行した後の点A0’’、点B0’’、点C0’’(=点C0)を示す図である。
そして、上記回転処理を実行させる回転行列R’は、以下の通りである。
Figure 0006624942
なお、ρはx軸を中心とする回転処理の回転角度であり、θはy軸を中心とする回転処理の回転角度である。
そして、回転処理前後の座標関係から、回転行列R’は、以下のように求められる。
Figure 0006624942
ある点P0(上記では、P0=(0,0,1))に対して、上記幾何変換の逆変換を施した点(この点を点Vp(=(x,y,z))とする)から、ベクトルVec(C0,A0)と、ベクトルVec(C0,B0)とが直交して見えるはずである。
つまり、以下の数式が成立する。
Figure 0006624942

V’=(0,0,1)
図12(状態4A)における点Pcから点Paまでのベクトルを、上記のベクトルVec(C0,A0)とし、図12(状態4A)における点Pcから点Pbまでのベクトルを、上記のベクトルVec(C0,B0)とすることで、上記と同様にして、図12(状態4A)の点Pc、点Paを通る直線(第1直線)と、点Pc、点Pbを通る直線(第2直線)とが直交して見える点(視点候補点Vp)を算出することができる。
以上の原理に基づいて、視点特定処理は実行される。
[他の実施形態]
上記実施形態において、第1インターフェース、および/または、第2インターフェースは、無線通信用のインターフェースであってもよいし、有線通信用のインターフェースであってもよい。
また、上記実施形態では、コントローラ200が2つのボタンである第1ボタンと第2ボタンを有しており、ユーザーが第1ボタン、または、第2ボタンを操作することで、第1回転処理、第2回転処理、台形補正処理が実行される場合について、説明したが、これに限定されることはない。例えば、コントローラ200は、第1回転処理用のボタンを2つ有しており、かつ、第2回転処理用のボタンを2つ有しており、かつ、視点特定処理用のボタンを2つ、別途、有していてもよい。また、コントローラ200は、ボタン以外のインターフェースを有していてもよい。例えば、コントローラ200がジョイスティックを有しており、ユーザーが当該ジョイスティックを操作することで、プロジェクター装置100に、第1回転処理、第2回転処理、視点特定処理を実行させるようにしてもよい。あるいは、コントローラ200が、タッチパネル機能付き表示パネルを有しており、表示パネル上にアイコンを表示させ、当該アイコンに、第1回転処理、第2回転処理、視点特定処理の実行機能を割り当て、当該アイコンをユーザーが操作することにより第1回転処理、第2回転処理、台形補正処理が実行されるようにしてもよい。
また、上記実施形態において、投影システムの投影面は、図5等に示した傾斜の平面の天井であるとして、説明したが、これに限定されることはなく、投影面は、床に対して(あるいは、ユーザーの視点に対して)、任意の方向、角度の傾斜であってもよい。この場合であっても、上記と同様の処理を行うことで、傾斜平面を投影面として、ユーザーの視点から見たときに、幾何的な歪みのない画像(幾何的な歪みの低減された画像)を投影することができる。
また、「水平」、「垂直」、「縦」、「横」、「平面」等の文言は、厳密な意味での、「水平」、「垂直」、「縦」、「横」等の場合のみを含むのではなく、「略水平」、「略垂直」、「略縦」、「略横」、「略平面」等を含む概念の文言である。また、「水平」、「垂直」、「縦」、「横」、「平面」等の文言は、設計誤差や測定誤差を許容する概念を含む文言である。
上記実施形態で説明した投影システム、プロジェクター装置、コントローラにおいて、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
また、上記各実施形態の各機能ブロック(各機能部)の処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。例えば、図20に示すような構成により、上記各実施形態の各機能ブロック(各機能部)の処理の一部または全部が実行されるものであっても良い。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
また、上記実施形態における調整処理(画像の幾何的な歪みを低減させるための調整処理)において、補正処理、第1回転処理、第2回転処理、および、視点特定処理の処理内容が決まれば、実際の投影時には、必ずしも、補正処理、第1回転処理、第2回転処理、および、視点特定処理を分けて実行する必要はなく、全ての変換を一括で実施する画像処理を実行するようにしてもよい。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、大容量DVD、次世代DVD、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
また、文言「部」は、「サーキトリー(circuitry)」を含む概念であってもよい。サーキトリーは、ハードウェア、ソフトウェア、あるいは、ハードウェアおよびソフトウェアの混在により、その全部または一部が、実現されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
1000 投影システム
100 プロジェクター装置
1 投影画像調整部
2 テスト画像記憶部
3 投影部
4 3次元形状測定部
5 3次元形状データ記憶部
6 第1インターフェース

Claims (9)

  1. 左眼視点と右眼視点とを含む平面に平行な平面であって、右眼角膜および左眼角膜の共通の接平面である前記平面に対して、傾斜した平面を投影面とし、ユーザーの視点から見たときに幾何学的な画像歪みが低減された状態となるように画像を投影する投影システムであって、
    前記投影面に画像を投影する投影部であって、画像の垂直方向を規定する縦基準線を有する第1テスト画像を投影するとともに、画像の水平方向を規定する横基準線を有する第2テスト画像を投影する前記投影部と、
    前記投影面の3次元形状を測定する3次元形状測定部と、
    ユーザーの操作に基づく制御信号を生成するコントローラと、
    (1A)前記3次元形状測定部により計測された3次元形状データに基づいて、前記投影部の投影軸と前記投影面との交点である投影中心点を通前記投影面の法線上の点である第1点から見たときに、幾何学的な画像歪みが低減された状態とるように、前記第1テスト画像に対して画像変換処理である補正処理を実行し、
    (2A)前記制御信号に従い第1回転角度を決定し、前記第1点から前記投影面を見たときに、前記補正処理後の前記第1テスト画像の前記投影部による前記投影面への投影画像が前記投影中心点を中心として、前記第1回転角度だけ回転した画像となるように、前記補正処理後の前記第1テスト画像に対して画像変換処理である第1回転処理を実行し、
    (1B)前記3次元形状測定部により計測された3次元形状データに基づいて、前記投影部の投影軸と前記投影面との交点である投影中心点を通前記投影面の法線上の点である第1点から見たときに、幾何学的な画像歪みが低減された状態とるように、前記第2テスト画像に対して画像変換処理である補正処理を実行し、
    (2B)前記制御信号に従い第2回転角度を決定し、前記第1点から前記投影面を見たときに、前記補正処理後の前記第2テスト画像の前記投影部による前記投影面への投影画像が前記投影中心点を中心として、前記第2回転角度だけ回転した画像となるように、前記補正処理後の前記第2テスト画像に対して画像変換処理である第2回転処理を実行し、
    (3)前記第1回転処理後の前記第1テスト画像の前記投影面上の前記縦基準線を含む直線である第1直線と、前記第2回転処理後の前記第2テスト画像の前記投影面上の前記縦基準線を含む直線である第2直線とに基づいて、前記第1直線と前記第2直線とが直交して見える視点候補点を決定し、決定した視点候補点である決定視点候補点から見たときに幾何学的な画像歪みが低減された状態とるように、前記投影面に投影される画像を変換する視点特定処理を実行する、投影画像調整部と、
    を備え
    前記投影画像調整部は、
    前記第1回転処理を実行して、前記第1テスト画像の前記縦基準線に対応する、前記第1テスト画像の前記投影画像上の線が、ユーザーの視点から見たときに、垂直な直線となる状態である第1状態となった後、前記第2回転処理を実行し、
    さらに、前記投影画像調整部は、
    前記第2回転処理を実行することで、前記第2テスト画像の前記横基準線に対応する、前記第2テスト画像の前記投影画像上の線が、ユーザーの視点から見たときに、水平な直線となる状態である第2状態となった後、前記視点特定処理を実行し、
    さらに、前記投影画像調整部は、
    前記コントローラからの前記制御信号に従い、現時点よりも前に設定された前記決定視点候補点を、前記視点候補点に含まれる点であって、現時点よりも前に設定された前記決定視点候補点以外の点に変更することで、前記決定視点候補点を変更し、変更した前記決定視点候補点を用いて、前記視点特定処理を実行する、
    投影システム。
  2. 前記投影画像調整部は、
    前記投影部の光軸をz軸とし、前記投影部の光軸を法線とする平面をxy平面とするようにx軸およびy軸を設定したxyz座標空間において、
    前記第1回転処理後の前記第1テスト画像の前記投影面上の前記縦基準線を含む直線である第1直線上の点を点Paとし、点Paの座標を(ax,ay,az)とし、
    前記第2回転処理後の前記第2テスト画像の前記投影面上の前記横基準線を含む直線である第2直線上の点を点Pbとし、点Pbの座標を(bx,by,bz)とし、
    前記第1直線と前記第2直線との交点を点Pcとして算出し、算出した点Pcの座標を(cx,cy,cz)としたとき、
    A=−ax×by+ay×bx
    B=−ax×bz+az×bx
    C=−az×by+ay×bz
    に相当する処理を実行し、係数A、B、Cを取得し、
    Figure 0006624942
    Figure 0006624942
    Figure 0006624942
    により、回転行列Rx,Ry、Rzを取得し、
    回転行列Rx,Ry、Rzの合成行列をR
    R=Rz・Ry・Rx
    に相当する処理を実行することで取得し、
    前記回転行列の逆行列をR−1として取得し、
    点Pbの座標(bx,by,bz)に対して、前記合成行列により変換した点を点Pb’として取得し、点Pb’の座標を(bx’,by’,bz’)として取得し、
    前記コントローラからの前記制御信号に基づいて、角度θを決定し、
    係数A’を
    Figure 0006624942
    により取得し、
    前記視点候補点の座標(x,y,z)を、
    Figure 0006624942
    Figure 0006624942
    Figure 0006624942
    V’=(0,0,1)
    により算出する、
    請求項1に記載の投影システム。
  3. 前記第1テスト画像は、表示画面に表示されている状態において、前記第1テスト画像の中心点を通る前記縦基準線を含む、
    請求項1又は2に記載の投影システム。
  4. 前記第2テスト画像は、表示画面に表示されている状態において、前記第2テスト画像の中心点を通る前記横基準線を含む、
    請求項1又は2に記載の投影システム。
  5. 前記第1テスト画像は、
    表示画面に表示されている状態において、画像上の上部を判別することができるパターンを含む画像である、
    請求項1から4のいずれかに記載の投影システム。
  6. 前記視点特定処理が実行される場合、
    前記投影画像調整部は、
    複数の正方形の格子パターンからなる格子状パターンを含む第3テスト画像に対して、前記視点特定処理を実行し、
    前記投影部は、前記視点特定処理の実行後の前記第3テスト画像を前記投影面に投影する、
    請求項1から5のいずれかに記載の投影システム。
  7. 前記第3テスト画像は、
    第1の模様を有する第1格子パターンと、第2の模様を有する第2格子パターンとが、幾何学的な歪みがない状態において、前記第3テスト画像上の第1方向、および、前記第3テスト画像上において前記第1方向と直交する第2方向において、交互に配置されることで形成される格子状パターンを含む画像である、
    請求項6に記載の投影システム。
  8. 請求項1から7のいずれかに記載の投影システムに用いられるプロジェクター装置であって、
    前記投影部と、前記投影画像調整部とを備える、
    プロジェクター装置。
  9. ユーザーの操作に基づく制御信号を生成するコントローラを用いて実行される投影方法であって、左眼視点と右眼視点とを含む平面に平行な平面であって、右眼角膜および左眼角膜の共通の接平面である前記平面に対して、傾斜した平面を投影面とし、ユーザーの視点から見たときに幾何学的な画像歪みが低減された状態となるように画像を投影する投影方法をコンピュータで実行するためのプログラムであって、
    前記投影面に画像を投影する投影ステップであって、画像の垂直方向を規定する縦基準線を有する第1テスト画像を投影するとともに、画像の水平方向を規定する横基準線を有する第2テスト画像を投影する前記投影ステップと、
    前記投影面の3次元形状を測定する3次元形状測定ステップと、
    と、
    (1A)前記3次元形状測定ステップにより計測された3次元形状データに基づいて、前記投影ステップで画像を投影するための投影軸と前記投影面との交点である投影中心点を通前記投影面の法線上の点である第1点から見たときに、幾何学的な画像歪みが低減された状態とるように、前記第1テスト画像に対して画像変換処理である補正処理を実行し、
    (2A)前記制御信号に従い第1回転角度を決定し、前記第1点から前記投影面を見たときに、前記補正処理後の前記第1テスト画像の前記投影ステップによる前記投影面への投影画像が前記投影中心点を中心として、前記第1回転角度だけ回転した画像となるように、前記補正処理後の前記第1テスト画像に対して画像変換処理である第1回転処理を実行し、
    (1B)前記3次元形状測定ステップにより計測された3次元形状データに基づいて、前記投影ステップで画像を投影するための投影軸と前記投影面との交点である投影中心点を通前記投影面の法線上の点である第1点から見たときに、幾何学的な画像歪みが低減された状態とるように、前記第2テスト画像に対して画像変換処理である補正処理を実行し、
    (2B)前記制御信号に従い第2回転角度を決定し、前記第1点から前記投影面を見たときに、前記補正処理後の前記第2テスト画像の前記投影ステップによる前記投影面への投影画像が前記投影中心点を中心として、前記第2回転角度だけ回転した画像となるように、前記補正処理後の前記第2テスト画像に対して画像変換処理である第2回転処理を実行し、
    (3)前記第1回転処理後の前記第1テスト画像の前記投影面上の前記縦基準線を含む直線である第1直線と、前記第2回転処理後の前記第2テスト画像の前記投影面上の前記縦基準線を含む直線である第2直線とに基づいて、前記第1直線と前記第2直線とが直交して見える視点候補点を決定し、決定した視点候補点である決定視点候補点から見たときに幾何学的な画像歪みが低減された状態とるように、前記投影面に投影される画像を変換する視点特定処理を実行する、投影画像調整ステップと、
    を備え
    前記投影画像調整ステップでは、
    前記第1回転処理を実行して、前記第1テスト画像の前記縦基準線に対応する、前記第1テスト画像の前記投影画像上の線が、ユーザーの視点から見たときに、垂直な直線となる状態である第1状態となった後、前記第2回転処理を実行し、
    さらに、前記投影画像調整ステップでは、
    前記第2回転処理を実行することで、前記第2テスト画像の前記横基準線に対応する、前記第2テスト画像の前記投影画像上の線が、ユーザーの視点から見たときに、水平な直線となる状態である第2状態となった後、前記視点特定処理を実行し、
    さらに、前記投影画像調整ステップでは、
    前記コントローラからの前記制御信号に従い、現時点よりも前に設定された前記決定視点候補点を、前記視点候補点に含まれる点であって、現時点よりも前に設定された前記決定視点候補点以外の点に変更することで、前記決定視点候補点を変更し、変更した前記決定視点候補点を用いて、前記視点特定処理を実行する、
    投影方法をコンピュータで実行するためのプログラム。

JP2016007581A 2015-03-30 2016-01-19 投影システム、プロジェクター装置、および、プログラム Active JP6624942B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016007581A JP6624942B2 (ja) 2016-01-19 2016-01-19 投影システム、プロジェクター装置、および、プログラム
PCT/JP2016/056253 WO2016158166A1 (ja) 2015-03-30 2016-03-01 投影システム、プロジェクター装置、および、プログラム
EP16772050.7A EP3280136B1 (en) 2015-03-30 2016-03-01 Projection systems and projection methods
US15/719,329 US9928580B2 (en) 2015-03-30 2017-09-28 Projection system, projector apparatus, and projection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016007581A JP6624942B2 (ja) 2016-01-19 2016-01-19 投影システム、プロジェクター装置、および、プログラム

Publications (3)

Publication Number Publication Date
JP2017130732A JP2017130732A (ja) 2017-07-27
JP2017130732A5 JP2017130732A5 (ja) 2018-08-02
JP6624942B2 true JP6624942B2 (ja) 2019-12-25

Family

ID=59396377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016007581A Active JP6624942B2 (ja) 2015-03-30 2016-01-19 投影システム、プロジェクター装置、および、プログラム

Country Status (1)

Country Link
JP (1) JP6624942B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6460088B2 (ja) * 2016-12-14 2019-01-30 カシオ計算機株式会社 投影装置、投影方法及びプログラム
US10871640B2 (en) * 2019-02-15 2020-12-22 Perkinelmer Cellular Technologies Germany Gmbh Methods and systems for automated imaging of three-dimensional objects

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4283632B2 (ja) * 2003-10-16 2009-06-24 日本電信電話株式会社 情報提示装置、情報提示システム、情報提示方法および情報提示プログラム
JP4710780B2 (ja) * 2006-09-28 2011-06-29 日本ビクター株式会社 画像投影表示装置
JP5121673B2 (ja) * 2007-11-06 2013-01-16 パナソニック株式会社 画像投影装置及び画像投影方法
JP5783829B2 (ja) * 2011-07-21 2015-09-24 三菱プレシジョン株式会社 映像の歪みを補正する方法、映像の歪みを補正する装置、模擬視界表示装置及び操縦訓練のためのシミュレータ
JP6172495B2 (ja) * 2012-12-28 2017-08-02 株式会社リコー 校正装置、装置、プロジェクタ、3次元スキャナ、校正方法、方法、プログラム、及び記憶媒体

Also Published As

Publication number Publication date
JP2017130732A (ja) 2017-07-27

Similar Documents

Publication Publication Date Title
US9928580B2 (en) Projection system, projector apparatus, and projection method
JP6764533B2 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
JP2011192228A (ja) 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP4012710B2 (ja) 画像入力装置
JP6636252B2 (ja) 投影システム、プロジェクター装置、撮像装置、および、プログラム
US6031941A (en) Three-dimensional model data forming apparatus
JP4481280B2 (ja) 画像処理装置、及び画像処理方法
CN110191326B (zh) 一种投影***分辨率扩展方法、装置和投影***
WO2012053521A1 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP7258572B2 (ja) 映像表示装置および方法
JP6494239B2 (ja) 制御装置、制御方法、及び、プログラム
WO2016042926A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2007147422A (ja) 計測システム、画像処理装置及び方法
JP2016085380A (ja) 制御装置、制御方法、及び、プログラム
JP2002071315A (ja) 投影平面計測システム
US11962946B2 (en) Image processing apparatus, display system, image processing method, and medium
JP6624942B2 (ja) 投影システム、プロジェクター装置、および、プログラム
JP6990694B2 (ja) プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステム
JP2007033087A (ja) キャリブレーション装置及び方法
JP7414090B2 (ja) 撮像装置および撮像装置の制御方法
JP2016142991A (ja) 画像処理システム、情報処理装置、画像処理方法、及びプログラム
JP5955003B2 (ja) 画像処理装置および画像処理方法、プログラム
JP6624799B2 (ja) 投影システム、プロジェクター装置、および、プログラム
JP5785896B2 (ja) 3次元形状計測装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191126

R150 Certificate of patent or registration of utility model

Ref document number: 6624942

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250