JP6647872B2 - 映像投影システム、映像投影方法、及び映像投影プログラム - Google Patents

映像投影システム、映像投影方法、及び映像投影プログラム Download PDF

Info

Publication number
JP6647872B2
JP6647872B2 JP2016005787A JP2016005787A JP6647872B2 JP 6647872 B2 JP6647872 B2 JP 6647872B2 JP 2016005787 A JP2016005787 A JP 2016005787A JP 2016005787 A JP2016005787 A JP 2016005787A JP 6647872 B2 JP6647872 B2 JP 6647872B2
Authority
JP
Japan
Prior art keywords
image
projected
video
projection
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016005787A
Other languages
English (en)
Other versions
JP2017126932A (ja
Inventor
明史 湯江
明史 湯江
紀彦 藤岡
紀彦 藤岡
惣 菊池
惣 菊池
有希子 榮永
有希子 榮永
友徳 海崎
友徳 海崎
健 光藤
健 光藤
悠珠 杉浦
悠珠 杉浦
司 長瀬
司 長瀬
小林 哲
哲 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Network and System Integration Corp
Original Assignee
NEC Network and System Integration Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Network and System Integration Corp filed Critical NEC Network and System Integration Corp
Priority to JP2016005787A priority Critical patent/JP6647872B2/ja
Publication of JP2017126932A publication Critical patent/JP2017126932A/ja
Application granted granted Critical
Publication of JP6647872B2 publication Critical patent/JP6647872B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、映像を複数の表示装置を用いて投影する映像の投影システムに関し、特に、複数の映像を連接して投影する場合、映像の元となる映像データを加工し、連接する境界に対する傾きや誤差を無くし、連接された複数の映像が視覚者に視覚的に違和感のない映像を出力することができる映像投影システムに関する。
昨今、プロジェクターや大型ディスプレイを用いた、離間した空間やオフィス間におけるWeb会議システム及びテレビ会議システムによるコミュニケーションが提案されている。これらの会議システムは、相手側の映像を大きく投影したり、相手側の音声の出力に特徴を持たせることで、離間した2拠点間の距離感を短縮し、リアルな臨場感を持たせて、スムーズな2拠点間のコミュニケーションを得ようとしている(特許文献1)。
ここで、相手側の映像を大きく映す方法としては、複数のプロジェクターで複数の映像を並べて表示する方法がある。これら複数の映像を並べる際に、それぞれプロジェクター毎に投影する映像が傾いたり、歪んだりする事態が生じるので、投影された映像もまた傾いたり歪んだままスクリーン等の投影部に表示されてしまう。これらの傾き、歪んだ投影映像を修正する発明が開示されている。
特許文献2には、複数のプロジェクターが互いの投射範囲が重畳するように投射する場合に、プロジェクターの投射範囲のずれを調整する発明が開示されている。
特許文献3では、プロジェクターを複数台用いる場合に、投影されている他の表示装置に対してスタック投影、マルチ投影を行い、画像を投射する表示装置の表示位置を自動的に調整する発明が開示されている。
特許文献2に記載のマルチプロジェクションシステムでは、プロジェクター2A、2Bの各々がずれ検出用パターンをスクリーンに投射した状態で、主制御側のプロジェクターがスクリーンを撮影し、ずれ検出用パターンの位置関係を検出する手段が用いられており、図1に示したように、プロジェクター2Aは複数の○からなるずれ検出用パターン115AをスクリーンSCに投射し、プロジェクター2Bは複数の×からなるずれ検出用パターン115Bを投射する。ずれ検出用パターンのデータは、予め、プロジェクター2A、2Bの制御装置20が複数記憶しており、1つのずれ検出用パターンを選択して投射する。そして、主制御側のプロジェクターが、これらずれ検出用パターン115A,115Bの位置のずれを解消するように補正を行う。当該補正処理は、プロジェクター2Aとプロジェクター2Bとが相互に通信を行い、プロジェクター2Aが主制御側として動作する場合の例である。上記のようにプロジェクター2Bが主制御側として動作するプロジェクター2Aは、ステップS18で求めたずれ量が、予め設定されたしきい値を超えているか否かに基づいて、補正が必要か否かを判別し、補正が必要であると判別した場合は、画素ずれ補正部223の機能によって投射範囲を所定量だけシフトさせる補正を行う。
特許文献3に記載の映像機器装置の画像補正では、ズームレンズ543をレンズ駆動部より駆動して、ワイド位置に駆動制御し(#225)、ズームレンズがワイド位置まで駆動されたら、ランプ駆動部526の駆動を行いランプ527を点灯する(#205)。ランプを点灯したら、投影範囲枠Cに投影する。そして、図7(B)に示す他の表示装置B1001の投影画像Bに対して表示装置1000の投影している斜線枠内(図9(B)に入っているかの可否のSW入力を検出する(#231)。このとき、セッティングOKか否かの判定はユーザーが行い大まかな位置合わせを行う。大まかな位置合わせが行なわれた後、表示装置B1001のローテーション/ズーム/シフト調整#237は投影画像に対して回転/大きさ/左右位置の夫々の調整をして、画像検出部202の斜線領域枠に対してローテーション/ズーム/シフト調整が適切な位置となったら調整を完了する(#239)。そして次に、画像検出部202の斜線領域枠内の表示装置B1001の投影画像の撮像データをもとに、表示装置B1001の投影画像が撮像データの斜線領域枠内の四隅が座標に位置しているかの検出を行い、画像位置をスケーリングするとともに斜め画像に対してキーストン補正を行う。
特開2009−81861 特開2012−165091 特開2015−145890
しかしながら、特許文献2に記載の発明では、制御装置21は、ずれ補正処理において、プロジェクター2A、2BがスクリーンSCにずれ検出用パターン115A,115Bを投射している状態で撮像装置5に撮影を実行させ、ずれ量に基づき、画素ずれ補正部223の機能によって画像信号を処理し、投射範囲のずれを補正するものであり、プロジェクター2A、2Bには撮像装置5が必要である。
また、特許文献3に記載の発明では、表示装置1000の投射光学部529からの光束を画像検出部202に導き撮像し、この画像検出部202は液晶パネル100で投影される画像に対しての表示される領域を画像検出部202の予め調整時に記憶されている領域の撮像データを比較する事により、表示装置B1001のローテーション/ズーム/シフト調整を行うことで補正をするものであり、表示装置それぞれのハードウェアを調整するものである。
これらの画像補正方法では、プロジェクターのハードウェアに依存した調整であり、複数のプロジェクターを使用する場合は、複数のプロジェクター毎に画像調整が必要となり、手間が掛かるという課題があった。また、プロジェクターに撮像装置を備えている必要があるなど、プロジェクターを交換する場合や、他製品を使用する場合に汎用性が無いという課題があった。
そこで、本発明の目的は、入力する映像の周囲の少なくとも一部に余白を有する映像を映像データとして補正し、前記映像データに基づいて、前記映像の前記余白ではない箇所を投影映像として、前記投影映像が連接する境界において関連性を維持するように前記映像を重畳して投影することにより、連接された複数の映像が視覚者に視覚的に違和感のない映像を出力する映像投影システムを提供することにある。
前記目的を達成するため、本発明は、映像を投影する映像投影システムであって、少なくとも2つの前記映像の映像データの入力を行う入力部と、前記入力部から入力された前記映像データを投影する少なくとも2の表示装置と、前記映像データを、姿勢補正を行い、前記映像の周囲の少なくとも一部に余白を有するものとして補正する姿勢補正部と、前記姿勢補正部で前記余白を有するように補正された前記映像データを少なくとも2つの前記表示装置に出力する出力部と、を有し、少なくとも2つの前記表示装置は、前記姿勢補正部からの前記姿勢補正を行った前記映像データに基づいて、少なくとも2つの前記表示装置のそれぞれから投影する前記映像の前記余白ではない箇所を投影映像として、少なくとも2つの前記投影映像が連接する境界において関連性を維持するように少なくとも2つの前記映像を重畳して投影し、前記姿勢補正部は、少なくとも2つの前記表示装置から連接するよう投影された少なくとも2つの前記投影映像の前記境界を基準として、前記映像データに対して前記姿勢補正を行うものであることを特徴とする。
また、本発明の映像投影システムに係る前記境界は、少なくとも2つの前記表示装置から投影された少なくとも2つの前記映像が重畳する領域に存在することを特徴とする。
また、本発明の映像投影システムに係る前記境界は、少なくとも2つの前記表示装置から投影された少なくとも2つの前記映像の前記余白が重畳する領域に存在することを特徴とする。
また、本発明の映像投影システムに係る前記姿勢補正部の行う前記姿勢補正は、少なくとも2つの前記表示装置から連接するよう投影された少なくとも2つの前記投影映像の前記境界を基準として、少なくとも2つの前記投影映像に対応する前記映像データがそれぞれ他の前記映像データとの関連性を維持し、違和感の無い状態に補正を行うものであることを特徴とする。
また、本発明の映像投影システムは、さらに、前記入力部で指定された前記映像データから投影する範囲を領域指定して切り出す領域指定部を有することを特徴とする。
また、本発明の映像投影システムに係る前記入力部は、前記映像の映像データの入力元を指定する入力切替部であり、前記出力部は、前記映像の映像データの出力先を指定する出力切替部であり、さらに、領域指定部及び/又は前記姿勢補正部に対するパラメータの入力を受け付けるパラメータ入力部と、前記パラメータ入力部から入力された前記パラメータを記憶する記憶部と、を有し、前記記憶部は、前記出力切替部で指定された前記表示装置と、前記入力切替部で指定された入力元の前記映像データとの組み合わせに紐付いて、前記パラメータを記憶するものであることを特徴とする。
また、本発明は映像を投影する映像投影方法であって、少なくとも2つの前記映像の映像データを入力し、前記映像データを、姿勢補正を行い、前記映像の周囲の少なくとも一部に余白を有するものとして補正し、前記余白を有するように補正された前記映像データを出力し、前記映像データを少なくとも2の表示装置で投影し、少なくとも2前記表示装置で投影する際、少なくとも2つの前記表示装置で投影されたそれぞれの前記映像データに基づいて、少なくとも2つの前記映像の前記余白ではない箇所を投影映像として、少なくとも2つの前記投影映像が連接する境界において関連性を維持するように少なくとも2つの前記映像を重畳して投影し、連接するよう投影された少なくとも2つの前記投影映像の前記境界を基準として、前記映像データに対して前記姿勢補正を行うものであることを特徴とする。
また、本発明は映像を投影する制御を行う映像投影プログラムであって、少なくとも2つの前記映像の映像データを入力する機能と、前記映像データを、姿勢補正を行い、前記映像の周囲の少なくとも一部に余白を有するものとして補正する機能と、前記余白を有するように補正された前記映像データを出力する機能と、前記映像データに基づいて少なくとも2の表示装置で投影する際、少なくとも2つの前記映像の前記余白ではない箇所を投影映像として、少なくとも2つの前記投影映像が連接する境界において関連性を維持するように少なくとも2つの前記映像を重畳して投影する制御を行う機能と、連接するよう投影された少なくとも2つの前記投影映像の前記境界を基準として、前記映像データに対して前記姿勢補正を行う機能をコンピュータに実行させることを特徴とする。


以上のように、本発明の映像投影システムによれば、表示装置より投影する映像の周囲に余白を有し、余白ではない箇所を投影映像として連接するように投影することで、入力元の映像データに含まれる映像の傾きなどの誤差や、出力先として選択された表示装置に生じた物理的な傾きなどの誤差が重畳した誤差に対して、映像データのみを補正することで、連接する投影映像の境界における誤差を無くし、連接された複数の投影映像が自然な表示状態とすることができる。
また、投影された複数の投影映像の境界を姿勢補正の為の基準と決定することにより、新たに姿勢補正のための基準線などの機構を付加する必要がない。
また、複数の投影映像であっても、最終的に関連性をもって投影された映像に基づいて姿勢補正をするため、関連性をもつ投影映像全体を観察して、投影映像全体の姿勢補正をすることができ、姿勢補正の作業を一括して管理することができる。
また、入力元として選択された映像データが表示装置に対して離間した場所に設置されている撮像装置で生成されるなどの場合でも、最終的に関連性を持って投影された映像に基づいて姿勢補正をするため、撮像装置の設置状態が直接的に問題となることがなく、姿勢補正の作業を一つの場所で管理することができる。
また、少なくとも2台の表示装置の組み合わせと、これら表示装置から連接して投影する映像の映像データの入力元と、表示装置及び映像データの組み合わせに伴って必要となる投影範囲の領域指定及び投影時の姿勢補正のパラメータを一組として、複数の組み合わせを管理することで、様々な映像データや表示装置の設置状態、設置場所の離間等を問わず、一つの場所で一括して管理することができる。
また、特に、入力元として選択された映像データが表示装置に対して離間した場所に設置されている撮像装置で生成されるなどの場合、天井などの高所に設置された表示装置が何らかの要因により物理的な設置誤差が生じた場合などの問題に対して、一つの場所で即座に補正できるという効果を奏する。
また、投影映像の補正は映像データのみに対して実施されるため、例えば、映像データを生成するのが撮像装置である場合も含め、少なくとも2台を要する表示装置などのハードウェアには依存しないので、連接する投影映像を表示する表示装置の組み合わせも、ハードウェアは何れの機種でも使用することができるという効果を奏する。
ここで本発明における誤差とは、表示装置等の機器設置時の水平/鉛直、ねじれ等による機器の傾き、映像データに含まれる映像の傾き、投影された投影映像の傾き、大きさの違い、スクリーンなどに投影する場合のスクリーンの前傾/後傾など、投影映像に対して、視覚者に視覚的に違和感を与える投影映像の状態をいう。
本発明の実施形態に係る映像投影システムの全体構成を示す図である。 (A)は、本発明の実施形態に係る映像(余白含む)と投影映像と映像表示部(スクリーン)の関係を示す図、(B)は、投影映像が基準となる境界に対して傾いて誤差があることを説明する図、(C)は、境界を基準として投影映像の傾きの誤差を補正した状態を説明する図である。 本発明の実施形態に係る映像(余白含む)と投影映像と境界の関係を説明する図であり、(A)は、横方向に連接された投影映像の説明する図、(B)は、横方向に連接された投影映像が誤差を含む状態であることを説明する図、(C)は、縦方向に連接された投影映像を説明する図、(D)は、横方向に連接された投影映像が関連性を有さない例を説明する図である。 本発明の実施形態に係る映像投影システムにおける、(A)は、映像データが2台の撮像装置で生成される場合を説明する図、(B)は、2台の映像表示部(スクリーン)に連接した投影映像を表示装置から投影する場合を説明する図である。 本発明の実施形態に係る映像投影システムにおける投影映像の誤差の例を説明する図であり、(A)は、連接された投影映像が境界において誤差を有しない例を説明する図、(B)は、表示装置に発生した設置誤差により連接された投影映像が境界を基準として互いに傾き誤差を有している例を説明する図、(C)は、映像データに含まれる誤差により、連接された投影映像の一方が境界を基準として傾き、誤差を有している例を説明する図、(D)は、映像表示部(スクリーン)に発生した設置誤差により連接された投影映像の一方が境界を基準として誤差を有している例を説明する図である。 本発明の実施形態に係る映像投影システムのパラメータ入力画面を示す図である。 本発明の実施形態に係る映像投影システムの制御装置のフローチャートを示す図である。
以下、本発明の実施形態を図に基づいて詳細に説明する。
[第1の実施形態]
先ず、本発明の実施形態に係る映像投影システムの構成について説明する。
図1は、本発明の映像投影システム1の全体構成を示す図である。
映像投影システム1は、映像データDの入力元となる映像ソース源10と、映像ソース源10から送られてくる映像データDを受信し、映像データDの投影する領域を指定して切り出し、切り出された映像データDαの誤差を補正し、表示装置14に補正された映像データDβを送信する制御装置20と、制御装置20からの映像データDβを実際に投影する表示装置14と、表示装置14から映像データDβが投影される映像表示部15(スクリーン)から構成される。
映像ソース源10は、映像データDを生成又は保管する機能を有する。すなわち、映像ソース源10は、組をなす表示装置14のそれぞれに対応する映像データDを保有し、その映像データDを入力部(21)に出力する機能を有している。映像ソース源10が出力する前記組をなす表示装置14に対応する映像データDには、前記組をなす表示装置14毎に予め分離されている組をなす映像データDばかりでなく、領域指定部22で領域を指定して切り出されて組をなす表示装置14に対応する映像データをも含んでいる。
ここで映像データDは、撮像装置11(カメラ:図4(A)に示す)で撮影された静止画、動画、ライブ映像、他のコンピュータ、オーディオヴィジュアル機器で予め作成された静止画、動画等である。コンピュータ等の操作画面、TV映像等でも良い。映像データDから、複数の領域を指定して切り出し、切り出された複数の映像データDαA、DαBの誤差をそれぞれ補正し、補正された複数の映像データDβA、DβBを表示装置14から投影し、映像表示部15(スクリーン)で連接された複数の投影映像17の関連性を維持した状態で表示するものである。図4(A)に示すように、撮像装置11が複数ある場合は、場所Iの範囲を、撮像装置11A,11Bで複数の映像データDA,DBとして撮像し、映像データDA,DBから領域を指定して映像データDαA,DαBを切り出し、切り出された複数の映像データDαA,DαBの誤差をそれぞれ補正し、補正された複数の映像データDβA,DβBを、図4(B)に示すように、場所IIに、複数の表示装置14A,14Bから複数の映像表示部15A,15B(スクリーン)に投影し、関連する映像としてもよい。
図1では、映像データの入力元である映像ソース源10を複数備えた場合を図示したが、これに限られるものではなく、前記映像ソース源10は単数のものであってもよい。
表示装置14(14A,14B・・・)は、少なくとも2台備えられており、表示装置14は、姿勢補正部23で前記映像の周囲の少なくとも一部に余白18を有するように補正された映像データに基づいて、前記映像の余白18ではない個所を投影映像として、前記投影映像が連接する境界において関連性を維持するように重畳して映像表示部15に投影する機能を有している。具体的に説明すると、表示装置14は、少なくとも2台を1組の表示装置14として機能し、組をなす表示装置14は、制御装置20から送信されてくる映像データDβを投影映像17(17A,17B・・・)として、映像表示部15(15A,15B・・・)(スクリーン)に投影する機能を有する。
表示装置14は具体的にはプロジェクター、映写機等の出力装置である。本実施例では、プロジェクターの場合について説明する。表示装置14(14A,14B・・・)は2台以上の複数台から構成され、映像データDを映像表示部15(15A,15B・・・)(スクリーン)上で複数の投影映像17を連接する境界(Lv又はLh)において関連性を維持した状態で投影する。この時、映像の出力先とするN台の表示装置14と映像ソース源10の組み合わせを予め設定し、必要に応じて設定を切り替えることで、投影する映像データDと出力先の表示装置14の組み合わせを変更することが可能となる。
映像表示部15(スクリーン)は、表示装置14からの出力である投影映像17が投影されるものである。具体的には、スクリーンや、投影可能な壁面、天井、床等である。また、複数の投影映像17を連接して投影することにより、広い範囲の映像を表示することが可能となり、情報量を増大することができる。さらに投影映像17を左右、上下に連接して投影した投影映像17同士の境界Lv,Lhが、投影映像の姿勢補正の基準となる。Lvは縦方向(鉛直方向)の姿勢補正の基準となり、Lhは横方向(水平方向)の姿勢補正の基準となる。
本実施例では一例として、表示装置14はプロジェクター、映像表示部15はスクリーンで構成されるが、表示装置14及び映像表示部15は、映像データDを表示することができる構成であればよいため、このような組み合わせに限られず、例えば、液晶ディスプレイによって映像表示部15を構成してもよく、特に一例として示した映像表示部15の例に限定されるものではない。表示装置14としてのプロジェクターと映像表示部15としてのスクリーンの代わりに、液晶ディスプレイなどのデジタル型ディスプレイを用いた場合、映像表示部15が液晶パネルなどの表示パネルに相当し、表示装置14が前記表示パネルを駆動する駆動回路に相当することになる。このようにデジタル型ディスプレイを用いた場合、装置構成の点数を削減することが出来る。
制御装置20は映像ソース源10から送信されてくる映像データDを受信し、表示装置14に送信する。制御装置20は、最初は映像データDを未補正の状態で表示装置14に送信し、領域指定のパラメータが入力された際にその領域指定のパラメータに基づいて投影映像17を映像データDから切り出して映像データDαを作成し、さらに、姿勢補正のパラメータが入力された際には、その姿勢補正のパラメータに基づいて映像データDαの姿勢を補正して映像データDβを作成して送信する機能を有する。制御装置20の具体例について説明する。
制御装置20は、入力部(入力切替部21)、領域指定部22、姿勢補正部23、記憶部26、及び出力部(出力切替部24)を有する。さらに、制御装置20は、映像ソース源10(10A,10B・・・)からの映像データDを、映像ソース源10(10A,10B・・・)の領域を指定して切り出すための領域指定のパラメータ及び誤差の有無に関わらず姿勢補正するための姿勢補正のパラメータを記憶部26に入力するためのパラメータ入力部27を有している。
入力部(21)は、映像ソース源10からの映像データを入力するものである。入力部(21)は、映像ソース源10が複数台の場合に入力切替部21として機能し、入力切替部21は複数の映像ソース源10(10A,10B、・・10n)を切り替える機能を有している。入力部(21)で入力された映像ソース源10から送信されてくる映像データDは、図6に示す画像を切り出す領域指定のパラメータを入力するために、後述する領域指定画面32に表示される。入力部(21)が入力切替部21として機能する場合には、入力切替部21で選択された映像ソース源10から送信されてくる複数の映像データDnは、図6に示す画像を切り出す領域指定のパラメータを入力するために、後述する領域指定画面32に表示される。このように、入力切替部21で映像ソース源10を切り替えることが出来るので、制御装置20は、複数の映像ソース源10nを一括して管理することが出来る。
領域指定部22は、入力部(21)で入力された映像データD或いは入力切替部21で選択された映像データDnから組をなす表示装置14にそれぞれ投影する映像の範囲を指定して(以下、「領域指定」と記す)切り出し、映像データDαnとして姿勢補正部23に出力する。領域指定部22は、記憶部26にパラメータ入力部27による領域指定のパラメータが存在しない場合に、映像データDnを受信した場合、映像データDnを映像データDαnとしてそのまま姿勢補正部23に出力する。
姿勢補正部23は、入力部(21)或いは入力切替部21で入力された映像データを投影される映像の周囲の少なくとも一部に余白18を有するものとして補正する機能を有している。具体的に説明すると、姿勢補正部23は、領域指定部22から受信した映像データDαnを、傾斜、回転、拡大縮小等の補正をする処理を行う機能を有する。姿勢補正部23は、補正の条件のパラメータを入力するために、領域指定部22を経由して切り出された映像データDαnが後述する姿勢補正画面33に映像データDβnとして表示される。姿勢補正部23は、記憶部26にパラメータ入力部27による姿勢補正のパラメータが存在しない場合に、映像データDαnを映像データDβnとしてそのまま出力切替部24に出力する。また、姿勢補正部23は、表示装置14から連接するよう投影された投影映像17の境界Lvを基準として、映像データDαn及び映像データDβnに対して姿勢補正を行う。
パラメータ入力部27は、領域指定部22、姿勢補正部23に対して、各種のパラメータを入力する機能を有している。具体的には、キーボードやマウス等により領域指定画面32、及び姿勢補正画面33の各種のパラメータの入力を行う。パラメータ入力部27から入力された各種のパラメータは記憶部26に記憶される。
記憶部26は、領域指定部22及び姿勢補正部23が映像データDに設定した領域指定、姿勢補正のパラメータを保存しておくための記憶装置である。また、このパラメータは入力切替部21で選択された映像ソース源10の映像データDnと出力切替部24で選択された表示装置14nの組み合わせと紐付けて記憶される。制御装置20の終了、次の起動時にも前記パラメータを維持するために、不揮発性メモリや、ハードディスク等のストレージであることが望ましい。
出力部(24)は、姿勢補正部23で前記映像の周囲に余白18を有するように補正された前記映像データを出力する機能を有している。出力部(24)は、少なくとも2台の表示装置14を1組の表示装置14として、その組をなす表示装置14に前記映像データを出力するものである。
前記表示装置の組が複数存在する場合には、出力部(24)は出力切替部24として機能し、前記表示装置の組のいずれかを選択して切替える機能を有している。具体的に説明すると、姿勢補正部23を通過した映像データDβnは、出力切替部24で選択された表示装置14nへ送信され投影される。このように、出力切替部24で表示装置14nを切り替えることが出来るので、制御装置20は、複数の表示装置14nを一括して管理することが出来る。
また、映像ソース源10と制御装置20及び表示装置14とが、相互的に離れた遠隔地にそれぞれ設置されている場合は、映像ソース源10と制御装置20及び表示装置14の間は通信ネットワークで接続されており、比較的近くの場合は、通常のケーブルで接続してもよい。
次に、表示装置14から映像表示部15(スクリーン)に映像16を投影する場合の映像16と投影映像17と映像表示15(スクリーン)の関係を図2に基づいて説明する。
図2(A)の実線で示す枠は映像表示部15(スクリーン)を示し、点線で示す枠は映像16を示し、一点鎖線で示す枠は投影映像17を示している。
図2(A)の映像16A,16Bを示す点線の枠は、一点鎖線の枠で示される投影映像17A,17Bの外形寸法よりも大きなサイズを有している。この映像16A,16Bを示す点線の枠と、投影映像17A,17Bを示す一点鎖線の枠との間が井桁状の余白18A,18Bとなり、この余白18A,18Bは姿勢補正部23による補正によって生成される。この姿勢補正部23による補正では、図2(A)において点線の枠で示される映像16A,16Bのサイズが実線の枠で示される映像表示部15(スクリーン)のサイズと同等か、それ以下になるように補正するのが好適である。
図2(A)に示す例では、左側の映像16Aを示す点線の枠のみが傾いている。これは、表示装置14Aの物理的な設置誤差などにより生ずるものである。何らかの要因により表示装置14A及び/又は映像ソース源10Aが傾くことによって物理的な設置誤差として発生したものである。この場合においても、投影映像17Aは投影映像17Bと境界Lvによって関連性を維持したまま表示されている。
姿勢補正部23は図2(A)に示す例の場合、図2(A)に示すように映像16Aに対する投影映像17Aの傾きを境界Lvを基準にして補正することによって、言い換えれば、境界Lvを基準にして映像16Aと投影映像17Aとの間に生ずる余白18Aの位置や形状を変更することによって、投影映像17Aは投影映像17Bと境界Lvによって関連性を維持したまま表示されている。
この時、映像16A,16Bは、境界Lvを含むように、表示装置14によって一部を重畳されて投影されている。以上のように、一部が重畳して投影する場合、映像16Aと投影映像17Aとの間に生ずる余白18Aと、映像16Bと投影映像17Bとの間に生ずる余白18Bとが重畳する領域に、境界Lvが存在するように投影することが望ましいものである。
また、姿勢補正部23による補正の基準となる境界Lvは、図2(A)に示すように映像表示部15A,15B(スクリーン)の境界と同一とするのが好適である。
また、図3(C)に示すように、投影映像17Aと17Bとが隣接して上下に配置された場合、投影映像17A,17Bの境目に姿勢補正の基準となる横方向の境界Lhが重なり合う余白18A,18B内に存在することになる。この場合も図2と同様に、境界Lhを姿勢補正の基準として姿勢補正部23で映像16A,16Bに対する投影映像17A,17Bの傾きや余白18A,18Bを補正することにより、境界Lhにおいて投影映像17A,17Bの関連性を維持したまま投影することが可能となる。
次に、図2(B)及び(C)を参照して、映像16A,16Bと投影映像17A,17Bとの関係を示しつつ、姿勢補正の例を説明する。
補正の手順として、図2(B)では、図6に示す姿勢補正画面33により、映像データDβAの姿勢補正を行う(図7に示すステップS8)。映像データDβAの四隅に表示された補正用グリッド37a乃至37dをマウス/キーボード等で操作し、映像データDβAを回転、傾斜変更等をすることで姿勢補正する。この時、投影映像17Aが映像16Aの外形寸法内に収まり、かつ、右辺が基準Lvに接するように、投影映像17Aの回転、姿勢補正を行う。映像16Aの範囲からはみ出すと、投影映像17Aの一部が欠けてしまうからである。本例の場合、映像データDβAを右回転して補正する。
上記の補正処理により、図2(C)のように補正後の投影映像17Aと投影映像17Bとが基準Lvで接するように補正される。この時、補正後の投影映像17Aと投影映像17Bとが、境界Lvで誤差が生じていた場合、例えば、人の顔がLvを境に左右がずれて見える等の場合は、最終的に投影映像17A,17Bが境界Lvで関連性を維持しつつ違和感の無い姿勢に補正されるまで、補正処理を繰り返し行う。
このように、予め、映像16A,16Bが連接する側において互いに余白18A,18Bの一部を重畳するように投影され、映像16A,16Bと投影映像17A,17Bの間に余白18A,18Bを有し、余白18A,18Bを含まない投影映像17A,17Bが境界Lvにおいて連接して関連性を持って投影されているため、表示装置14Aの物理的な設置誤差などにより生じた映像16A、投影映像17Aの誤差(図2(A)の例では傾き)に対して、境界Lvを基準に投影映像17Aの誤差(傾き)の姿勢補正を行うことのみで、映像ソース源10及び表示装置14の物理的設置誤差に基づく姿勢誤差を補正して、連接する投影映像17A,17Bの関連性を維持することができる。
なお、映像16及び投影映像17は映像表示部15に投影されているが、以降、図3乃至図7では、図面の説明を明確にするために、必要な場合を除いて、映像表示部15を図示せずに省略する。
次に、図3を用いて、映像16と投影映像17と境界Lv,Lhの関係を説明する。
図3(A)、(B)及び(D)では投影映像17A,17Bが縦の境界Lvを挟んで左右に隣接して設置されており、図3(C)では投影映像17A,17Bが、横の境界Lhを挟んで上下方向に隣接して設置されており、図3(A)乃至(D)に記す映像16Aと16Bは、表示装置14A,14Bによって境界Lv,Lhを含むように余白18A,18Bの一部を重畳されて投影されている。
姿勢補正部23(図1に示す)が映像16(16A,16B・・・)に対して補正を行い、投影映像17(17A,17B・・・)の境界Lv,Lhでの関連性を維持する場合の例としては、図3(A)に示すように、人物の投影映像が重畳する余白18A,18B内の境界Lvを挟んでそれぞれ左右の投影映像17A,17Bにおいて連続している場合や、図3(B)に示すように、人物の投影映像が重畳する余白18A,18B内の境界Lvを挟んでそれぞれ左右の投影映像17A,17Bに一定のタイムラグや投影位置の誤差をもって連続性をもたずに投影されているが、人物の投影映像であると分かる範囲の投影映像をも含むものである。
ただし、図3(D)に示すように、左右の投影映像17A,17Bのうち、左側の投影映像17Aの投影映像が人物であり、右側の投影映像17Bの投影映像が植物であるような場合、左側の人物と右側の植物とが映像表示部15上に投影された際に映像データとして意味を持たない場合は関連性を維持するとは言えないものである。
次に、図4(A)及び(B)を参照して本発明に係る映像投影システムの設置実施例を説明する。図4(A)は、2つの映像データDを撮像する2台の映像ソース源10としての撮像装置11A,11Bの配置を示す。図4(B)は、場所IIに設置された2台の表示装置14A,14B及び2台の映像表示部15A,15Bの配置を示す。なお、撮像装置11、表示装置14及び映像表示部15の設置台数は2台に限定されるものではない。
場所Iには、映像ソース源10Aとして撮像装置11A、映像ソース源10Bとして撮像装置11Bが配置される。撮像装置11A及び撮像装置11Bは、その配置場所(1点)から場所I内の2方向をそれぞれ個別(撮像空間12A,12B)撮像する。そして、それぞれ個別に撮像した映像(映像データDA、DB)を逐次出力するようになっている。
また、場所IIには2台の表示装置14A,14Bが設置されている。
ここで、出力切替部24によって、出力先の指定として表示装置14A,14Bを選択し、それぞれの表示装置14A,14Bの映像データDの入力元として、入力切替部21によって、映像データDA,DBを選択し、L字に連接して構成された映像表示部15A,15B(スクリーン)の境界に、補正の基準となる境界Lvを合わせ、領域指定部22、姿勢補正部23に必要なパラメータをパラメータ入力部27から入力する。
このようにすることで、場所Iを撮像装置11A,11Bで撮像した撮像空間12Aと撮像空間12Bの映像が、場所IIの映像表示部15A,15Bに関連性をもった投影映像17Aと投影映像17Bとして、境界Lvを基準として投影され、あたかも場所Iの撮像装置11の配置場所(1点)から見た映像が場所IIに違和感なく表示される。
なお、映像表示部15A,15B(スクリーン)はL字に連接して構成されているが、連接する角度は90°に限定されるものではなく、投影する映像や映像表示部15A,15Bの設置環境などによって適宜角度を変更すればよく、必要に応じて、撮像装置11A,11Bの撮像する方向を変更しても良い。
[誤差]
次に、図5(A)乃至(D)を参照して、投影映像17A,17Bの左右の投影映像の誤差について説明する。図5では、2台の表示装置14A,14Bで構成され、映像16A,16Bの大きさが一致する場合の誤差の例を説明する。
図5(A)は、2台の表示装置14A,14Bが物理的な設置誤差なく設置されており、領域指定および姿勢補正をされた映像データDβが、設置された2台の表示装置14A,14Bから投影映像17A,17Bが隣接する境界Lvにおいて、誤差なく投影されている状態を示す図である。この状態が、理想的なシステムの設置状態及び映像の投影状態である。
図5(B)は、表示装置14A及び14Bの両方の設置状態に誤差が生じていため、映像16Aは左上がり、映像16Bは右上がり、の斜めに投影されている状態を示す。境界Lvでは投影映像17A、投影映像17Bがそれぞれ傾いており、境界Lvを中心にして相互に誤差が生じている。
図5(C)は、表示装置14A,14Bが物理的な設置誤差なく設置されているが、映像データD自体に、誤差(傾斜)が生じているため、投影映像17Aも誤差(傾斜)を含んで投影されている状態を示す。このような状態が発生する原因として、映像16Aの元となる映像データDAを撮像した撮像装置11Aの設置状態に誤差(傾斜)が生じている等がある。
また、図5(D)は表示装置14A,14B及び映像16A,16Bの元となる映像データDA、DBに左右の誤差は生じていないが、投影映像17Aに投影された人物や物体等が、前傾や後傾して歪んで見える状態を示す。発生する原因として、投影映像17Aが投影される映像表示部15A(スクリーン)に設置誤差(前傾、後傾)などが生じているためである。
[補正処理]
次に、投影される映像16の入力元となる映像ソース源10から入力される映像データDの補正について、図1、図6及び図7を参照して説明する。本実施例では、表示装置14は2台の構成である場合を説明する。図6は制御装置におけるパラメータ入力部27のパラメータ入力操作画面30を示す図、図7は、映像投影システムにおける制御装置のフローチャートを示す図である。
以下、図6を参照して説明する。映像データDから投影映像17として投影する映像を切り出す範囲の領域指定と、機器の設置誤差などによる投影映像17の表示の誤差の姿勢補正を、図1に示す制御装置20のパラメータ入力部27に対するパラメータ入力操作画面30(図6に示す)を用いて行う。パラメータ入力操作画面30は制御装置20に接続された画面出力装置(図示せず)に表示され、パラメータ入力部27に対する指示をキーボードやマウス等により行う。パラメータ入力操作画面30は、入力切替画面31、領域指定画面32、姿勢補正画面33、出力切替画面34の各操作画面を有する。
出力切替部24の操作画面である出力切替画面34には、制御装置20で管理可能な複数の表示装置14nの名称が表示され、投影映像17を投影したい表示装置14nの名称を複数選択する。次に、選択された複数の表示装置14nに対応するそれぞれの映像ソース源10nを入力切替部21の操作画面である入力切替画面31によって選択し、選択された映像データDnを領域指定画面32及び姿勢補正画面33に表示する。このように制御装置20は複数の表示装置14n及び映像ソース源10nを一括して管理することができる。
領域指定部22の操作画面である領域指定画面32は映像ソース源10nから映像データDnを受信し、投影したい映像の範囲を領域指定し、領域指定した範囲の映像データDαnを、姿勢補正部23に送信する機能を有する。図6に示す領域指定画面32における映像データDnが映像ソース源10nの元データであり、切出領域Sで領域指定した範囲が切り出し後の映像データDαnの範囲である。切出領域Sはマウス/キーボード等により、映像データDnの表示範囲に対して領域指定される。切出領域Sで領域指定された映像データDαnの範囲が、姿勢補正部23に送信され姿勢補正画面33に映像データDβnとして表示される。ここで、切出領域Sを領域指定する基準は、実際に投影される映像16nの範囲内の投影映像17nであるので、境界Lvと投影映像17nが整合するように切出領域Sを調整することが望ましい。切出領域Sの領域指定のパラメータとして、ピクセル単位、寸法単位として数値で入力しても良い。また、実際に投影映像17nが投影される映像表示部15n(スクリーン)の形状に応じて、矩形以外の形状に領域指定する機能を設けてもよい。
そして、領域指定後に「保存」をすることにより、設定値が記憶部26に保存される。「保存」をする際に設定名称などを指定することで、次回使用時に設定名称を選択し、「読み込み」ボタンを押下することで記憶された設定値が記憶部26から読みだされ、再設定の必要が無く使用することができる。
姿勢補正部23は、領域指定画面32の切出領域Sで領域指定されて姿勢補正画面33に表示された映像データDαnの領域部分をさらに映像データDβnとして姿勢補正する機能を有する。姿勢補正とは、映像データDβnが基準Lvに対して左右に傾いたり、前傾(前倒し)/後傾(後倒し)している場合に、当該映像データDβnを回転、拡大、縮小等により、基準となる境界Lvに合わせ、連接する他の映像データDβnとの関連性を維持し、違和感の無い状態に補正することである。
姿勢補正画面33に表示される映像データDβnは、切出領域Sで領域指定された映像データDαnと同一範囲である。映像データDβnの四隅には、補正用グリッド37a乃至37dが表示される。補正用グリッド37a乃至37dをマウス/キーボード等で操作すると、姿勢補正画面33上において映像データDβnの該当する隅が三次元操作のように動き、回転、拡大、縮小等され、投影される映像16nにおける投影映像17nの投影状態としての姿勢を補正することができる。つまり、投影映像17nが基準となる境界Lvに対して傾斜していている場合、補正用グリッド37a乃至37dを操作して境界Lvと平行になるように映像データDβnを姿勢補正することができる。また、投影映像17nが連接する他の投影映像17nと比較して、境界Lvを基準として前傾(前倒し)/後傾(後倒し)と観察した場合、補正用グリッド37a乃至37dを操作して、映像データDβnの姿勢を補正することで、投影される投影映像17nを連接する他の投影映像17nと関連性を維持するよう同じ傾きに姿勢補正することができる。
映像データDβnは領域指定及び姿勢補正のパラメータを入力中であっても、出力部(出力切替部24)に送信され、表示装置14nから投影映像17nとして投影されるため、投影映像17nを確認しながら、基準となる境界Lvと映像データDβnの一辺が一致するように、映像データDβnの補正用グリッド37a乃至37dを操作して補正を行うことができる。
ここで、補正が必要な場合の例として、図5(B)乃至図5(D)について説明する。図5(B)乃至図5(D)の補正は、図6に示す姿勢補正画面33に表示された映像データDαnの補正を行うことによって、境界Lvにおける誤差(傾斜)を補正する。図5(B)では、前述のように、表示装置14A及び14Bの両方の設置状態に誤差が生じたため、映像16Aは左上がり、映像16Bは右上がり、の斜めに投影されている状態を示す。それに伴って投影映像17A、投影映像17Bがそれぞれ傾いており、境界Lvを中心にして相互に誤差(傾き)が生じている。
通常、映像16A,16Bの誤差(傾きを含む誤差)は映像ソース源10及び/又は表示装置14の物理的な設置誤差により生じる。特に、表示装置14が天井など高所に取り付けられている場合などは、複数の表示装置14の物理的な設置誤差(傾き)を即座に修正するのは困難である。
本発明では、投影映像17A,17Bの姿勢補正を一括して行うことによって補正を行う。以下では、投影映像の誤差として傾きの場合を想定して説明するが、投影映像の誤差は、前記傾きに限られるものではなく、前記誤差には、映像表示部15上に投影された映像が観察者にとって違和感を生じる誤差も含むものである。
まず、映像16Aに対する投影映像17Aの姿勢補正を実施する。図6に示す姿勢補正画面33上において投影映像17Aの映像データDβAの補正用グリッド37a乃至37dを操作して、境界Lvを基準に映像16Aにおける投影映像17Aの誤差(傾き)を補正する。具体的に図5(B)の例では、投影映像17Aを姿勢補正画面33上において左に傾け、位置の微調整の補正を行い、境界Lvに対して鉛直となるようにする。
次に、映像16Bに対する投影映像17Bの姿勢補正を実施する。図6に示す姿勢補正画面33上において投影映像17Bの映像データDβBの補正用グリッド37a乃至37dを操作して、境界Lvを基準に映像16Bにおける投影映像17Bの誤差(傾き)を補正する。具体的には図5(B)の例では、投影映像17Bを姿勢補正画面33上において右に傾け、位置の微調整の補正を行い、境界Lvに対して鉛直となるようにする。
ここで、映像16A,16Bと投影映像17A,17Bの間に余白18A,18Bが設けられ、さらに、映像16A,16B、特に余白18A,18B同士が重畳して投影されているため、余白18A,18B同士が重畳された領域に存在する投影映像17A,17Bの境界Lvを基準に、投影映像17A,17Bを境界Lvに対して鉛直に補正することが可能となる。
図5(C)では、前述のように、表示装置14A,14Bが物理的な設置誤差なく設置されているが、映像データD自体に、誤差(傾斜)が生じているため、投影映像17Aも誤差(傾斜)を含んで投影されている状態を示す。このような状態が発生する原因として、映像16Aの元となる映像データDAを撮像した撮像装置11Aの設置状態に誤差(傾斜)が生じている等がある。
通常、投影映像17Aの誤差(傾き)は撮像装置11Aの物理的な設置誤差により生じるため、特に、撮像装置11が遠隔地などにあり、通信ネットワークを経由して映像データDを受信している場合などは、撮像装置11Aの物理的な設置誤差(傾き)を即座に修正するのは困難である。
本発明では、投影映像17Aの姿勢補正を行うことによって撮像装置11Aが遠隔地に設置されている場合など設置場所は問わず、一つの場所で投影映像17Aの補正を行う。映像16Aに対する投影映像17Aの姿勢補正を実施する。図6に示す姿勢補正画面33上において投影映像17Aの映像データDβAの補正用グリッド37a乃至37dを操作して、境界Lvを基準に映像16Aにおける投影映像17Aの誤差(傾き)を補正する。具体的に図5(C)の例では、投影映像17Aを姿勢補正画面33上において右に傾け、位置の微調整の補正を行い、境界Lvに対して鉛直となるようにする。
図5(D)では、前述のように、表示装置14A,14B及び映像16A,16Bの元となる映像データDA、DBに誤差は生じていないが、投影映像17Aに投影された人物や物体等が、前傾や後傾して歪んで見える状態を示す。発生する原因として、投影映像17Aが投影される映像表示部15(スクリーン)Aに設置誤差(前傾、後傾)などが生じているためである。
本発明では、投影映像17Aの姿勢補正を行うことによって映像表示部15Aの設置誤差(前傾、後傾)の有無は問わず、一つの場所で映像16Aに対する投影映像17Aの姿勢補正を実施する。図6に示す姿勢補正画面33上において投影映像17Aの映像データDβAの補正用グリッド37a乃至37dを操作して、境界Lvを基準に映像16Aにおける投影映像17Aの誤差(前傾、後傾)を補正する。具体的に図5(D)の例では、投影映像17Aを姿勢補正画面33上において台形補正や位置の微調整の補正を行い、境界Lvにおいて連接する投影映像17Bと関係性を維持したまま自然な状態となるようにする。
このように、制御装置20の姿勢補正部23へパラメータ入力部27(パラメータ入力操作画面30)から姿勢補正の条件のパラメータを入力することによって、映像ソース源10の映像データDに含まれる撮像装置11等の設置誤差と、表示装置14と、映像表示部15との、各ハードウェアの重畳した設置誤差について、映像16に投影された投影映像17の姿勢補正を一つの場所で一括してソフトウェアで行うことによって、前記設置誤差を同時に補正することができる。
[補正処理フロー]
次に図7を参照して、制御装置20の姿勢補正処理について説明する。
はじめに、パラメータ入力操作画面30の出力切替画面34(出力切替部24)を操作し、映像を投影するための、あらかじめ登録されている表示装置14nを選択する(ステップS1)。
次に入力切替画面31(入力切替部21)を操作し、ステップS1で選択した表示装置14nに送信される映像データDnを有する、映像ソース源10nを選択する(ステップS2)。
ここで、選択された映像ソース源10nの映像データDnは、入力部(入力切替部21)、領域指定部22、姿勢補正部23、出力部(出力切替部24)を経由して、選択された表示装置14nへ出力される(ステップS3)。そして選択された映像ソース源10nの映像データDnは、表示装置14nから映像表示部15n(スクリーン)に投影される(ステップS4)。この時、パラメータ入力操作画面30の領域指定画面32には映像データDαnが領域指定(切り出し)されていない状態で表示され、姿勢補正画面33には映像データDβnが姿勢補正されていない状態で表示される。
次に、連接する他の表示装置14nに表示させたい映像データDnが存在する場合は(ステップS5でYes)、ステップS1乃至ステップS4を残りの映像データDnの回数分ループさせる。この時、同じ映像ソース源Dを他の表示装置14nに組み合わせるように選択してもよい。例えば、一つの映像ソース源Dから2ヶ所の領域を指定(切り出し)し、それぞれを表示装置14A及び表示装置14Bに境界Lvで連接して表示させるようにすることで、映像ソース源Dを2つの表示装置14A,14Bを使用することでより大きな映像として投影できる。
総ての表示装置14nから映像データDnを映像表示部15nに投影が終了した場合(ステップS5でNo)、映像表示部15nに総ての映像データDnが補正前の状態で投影映像17nとして表示される。よって、補正前の傾きや姿勢傾斜を映像表示部15で確認することができる。またこの時、映像16nと投影映像17nは同一範囲で表示され余白18nを有せず、映像16n同士の一部が重畳される様に投影されている。
そして、映像データDnの個別ごとの補正を行う。まず、入力切替画面31を操作し、補正を行いたい映像ソース源10nを選択し、映像データDnの画像情報を取得し、領域指定画面32及び姿勢補正画面33に表示する(図示せず)(ステップS6)。補正前の映像データDnに対する補正のパラメータは初期値となっている。
次に、投影された投影映像17nを視覚して、画像の切出しが必要な場合は、図6に示す領域指定画面32の映像データDnから、画像を切り出す領域である切出領域Sを指定する(ステップS7)。切出領域Sで領域指定された映像データDαnが、姿勢補正画面33に映像データDβnとして表示され、また、映像16nを補正した投影映像17nとして投影される。
切出領域Sの領域指定のパラメータとして、ピクセル単位、寸法単位でも良くマウス/キーボード等により、切出領域Sを範囲指定する。切出領域Sの領域指定された映像データDαnが、姿勢補正画面33の領域指定された映像データDβnにも補正が逐次反映されて変形してゆく。
次に、連接する映像16nが重畳されて投影されている領域に、投影映像17nの境界Lvを設けるよう、映像16nと投影映像17nの余白18nを設定する。具体的には、投影された投影映像17nを視覚して、連接して関連性を維持する投影映像17nが境界を繋ぎ合わせて姿勢補正の基準となる基準Lv(Lh)に整合するようする。映像データDnに含まれる誤差、表示装置14nの設置誤差(傾き)などによりに補正が必要な場合は、姿勢補正画面33の映像データDβの姿勢補正を行う(ステップS8)。映像表示部15n(スクリーン)が存在する場合は、映像16nを映像表示部15n(スクリーン)より大きく投影し、投影映像17nを映像表示部15n(スクリーン)の外枠に合わせる形で補正することが好適である。前述のように、映像データDβは表示装置14nから映像表示部15nへ映像16nを補正した投影映像17nとして投影されるため、補正中の投影映像17nと関連性をもって投影された他の投影映像17nとを観察しながら、相互に境界Lv(Lh)で関連性を維持して姿勢補正をすることが出来る。
姿勢補正画面33の姿勢補正が終了すると、姿勢補正部23は、入力された姿勢補正のパラメータの指定による姿勢補正を映像データDαnに実施し、投影映像17nとして出力切替部24に送信し続ける。また、出力切替部24は映像データDβを表示装置14nに送信する(ステップS9)。
そして、表示装置14nは、映像データDβnを映像表示部15に投影映像17nとして投影する(ステップS10)。
なお、他の映像ソース源10nの映像データDnを補正する場合は(ステップS11でYes)、ステップS6〜ステップS10を繰り返す。
また、姿勢補正が不十分な場合は、ステップS6〜ステップS9の領域指定画面32及び姿勢補正画面33での領域指定及び姿勢補正を繰り返し行ってもよい。
そして、ステップS1で選択した総ての表示装置14nから映像データDが映像表示部15に投影映像17n(映像16n)として投影され、図4(B)に示すように投影映像17A,17Bの境界Lvを基準として投影映像17nの境界での関連性を維持し、視覚的に違和感のない映像を投影するように姿勢補正された場合(ステップS11でNo)、領域指定及び姿勢補正のパラメータを保存して処理を終了する(ステップS12)。このとき、映像データD、映像データDα,Dβのパラメータを含んだ映像ソース源10nと、表示装置14n(映像表示部15n)の情報とを紐づけて組を成して保存することにより、映像ソース源10nと表示装置14nの組みを一括して管理することができる。
また、パラメータの保存は、ステップS7やステップS8等で、随時行っても良い。
以上のように、制御装置20のパラメータ入力操作画面30から補正の条件のパラメータを入力することによって、映像ソース源10nの映像データDに含まれる誤差と表示装置14nとのハードウェアの設置誤差が、映像表示部15nに投影される投影映像17nの元である映像データDnのみをソフトウェアにて姿勢補正するだけで、ハードウェアの設置状態を修正することなく、ハードウェアの設置誤差による映像の傾斜や誤差をソフトウェアで補正し、視覚者に視覚的に違和感のない映像を出力することができる。
このように、投影される映像の映像データDnに対して、制御装置20のパラメータ入力操作画面30からの操作のみで、複数の表示装置14nから投影される投影映像17nを、投影された補正中の投影映像17nと、他の連接する投影映像17nを観察しながら、一括して姿勢補正をすることができる。よって、映像ソース源10nから表示装置に入力する映像(映像データD)に映像データDnを生成する撮像装置11nなどの設置誤差を伴う誤差があり、しかも、その映像データDnに含まれる誤差に表示装置14nの設置状態による誤差が重畳しても、表示装置14nを通して最終的に映像表示部15nに投影された投影映像17nの誤差のみを補正することにより、前記設置状態の物理的な設置誤差の調節を行わずに前記重畳した誤差を一括して補正することができる。
以上のように、本発明によれば、表示装置より投影する映像の周囲に余白を有し、余白ではない箇所を投影映像として連接するように投影することで、入力元の映像データに含まれる映像の傾きなどの誤差や、出力先として選択された表示装置に生じた物理的な傾きなどの誤差が重畳した誤差に対して、映像データのみを補正することで、連接する投影映像の境界における誤差を無くし、連接された複数の投影映像が自然な表示状態とすることができる。
さらに、投影された複数の投影映像の境界を姿勢補正の為の基準と決定することにより、新たに姿勢補正のための基準線などの機構を付加する必要がない。
さらに、複数の投影映像であっても、最終的に関連性をもって投影された映像に基づいて姿勢補正をするため、関連性をもつ投影映像全体を観察して、投影映像全体の姿勢補正をすることができ、姿勢補正の作業を一括して管理することができる。
さらに、入力される映像データが表示装置に対して離間した場所に設置されている撮像装置で生成されるなどの場合でも、最終的に関連性を持って投影された映像に基づいて姿勢補正をするため、撮像装置の設置状態が直接的に問題となることがなく、姿勢補正の作業を一つの場所で管理することができる。
また、少なくとも2台の表示装置の組み合わせと、これら表示装置から連接して投影する映像の映像データの入力元と、表示装置及び映像データの組み合わせに伴って必要となる投影範囲の領域指定及び投影時の姿勢補正のパラメータを一組として、複数の組み合わせを管理することで、様々な映像データや表示装置の設置状態、設置場所の離間等を問わず、一つの場所で一括して管理することができる。
また、特に、入力元として選択された映像データが表示装置に対して離間した場所に設置されている撮像装置で生成されるなどの場合、天井などの高所に設置された表示装置が何らかの要因により物理的な設置誤差が生じた場合などの問題に対して、一つの場所で即座に補正できるという効果を奏する。
また、投影映像の補正は映像データのみに対して実施されるため、例えば、映像データを生成するのが撮像装置である場合も含め、少なくとも2台を要する表示装置などのハードウェアには依存しないので、連接する投影映像を表示する表示装置の組み合わせも、ハードウェアは何れの機種でも使用することができるという効果を奏する。
以上の説明では、本発明を装置としての映像投影システムとして構築したが、これに限られるものではない。すなわち、コンピュータにアプリケーションソフトを実装し、そのアプリケーションソフトを実行することにより、撮像装置11で被写体を撮像した画像を映像表示部15上で領域分割して投影し且つ前記領域分割した前記映像を合成する機能と、前記映像表示部15上での前記映像の投影姿勢に基づいて前記合成した映像の境界での関連性を維持する姿勢に補正する機能と、前記姿勢補正された前記映像を前記表示装置14に出力する機能とをコンピュータに実行させる映像投影プログラムとして構築してもよいものである。
本発明は、その本質的特性から逸脱することなく数多くの形式のものとして具体化することができる。よって、上述した実施形態は専ら説明上のものであり、本発明を制限するものではないことは言うまでもない。
1 映像投影システム
D、Dα、Dβ、DA、DB 映像データ
10、10A、10B 映像ソース源
11、11A、11B 撮像装置
12、12A、12B 撮像空間
14、14A、14B 表示装置
15、15A、15B 映像表示部
16、16A、16B 映像
17、17A、17B 投影映像
18、18A、18B 余白
20 制御装置
21 入力部(入力切替部)
22 領域指定部
23 姿勢補正部
24 出力部(出力切替部)
26 記憶部
27 パラメータ入力部
30 パラメータ入力操作画面
31 入力切替画面
32 領域指定画面
33 姿勢補正画面
34 出力切替画面
37 補正用グリッド
S 切出領域

Claims (8)

  1. 映像を投影する映像投影システムであって、
    少なくとも2つの前記映像の映像データの入力を行う入力部と、
    前記入力部から入力された前記映像データを投影する少なくとも2の表示装置と、
    前記映像データを、姿勢補正を行い、前記映像の周囲の少なくとも一部に余白を有するものとして補正する姿勢補正部と、
    前記姿勢補正部で前記余白を有するように補正された前記映像データを少なくとも2つの前記表示装置に出力する出力部と、
    を有し、
    少なくとも2つの前記表示装置は、前記姿勢補正部からの前記姿勢補正を行った前記映像データに基づいて、少なくとも2つの前記表示装置のそれぞれから投影する前記映像の前記余白ではない箇所を投影映像として、少なくとも2つの前記投影映像が連接する境界において関連性を維持するように少なくとも2つの前記映像を重畳して投影し、
    前記姿勢補正部は、少なくとも2つの前記表示装置から連接するよう投影された少なくとも2つの前記投影映像の前記境界を基準として、前記映像データに対して前記姿勢補正を行うものであることを特徴とする映像投影システム。
  2. 前記境界は、少なくとも2つの前記表示装置から投影された少なくとも2つの前記映像が重畳する領域に存在することを特徴とする請求項1に記載の映像投影システム。
  3. 前記境界は、少なくとも2つの前記表示装置から投影された少なくとも2つの前記映像の前記余白が重畳する領域に存在することを特徴とする請求項1に記載の映像投影システム。
  4. 前記姿勢補正部の行う前記姿勢補正は、少なくとも2つの前記表示装置から連接するよう投影された少なくとも2つの前記投影映像の前記境界を基準として、少なくとも2つの前記投影映像に対応する前記映像データがそれぞれ他の前記映像データとの関連性を維持し、違和感の無い状態に補正を行うものであることを特徴とする請求項1に記載の映像投影システム。
  5. さらに、前記入力部で指定された前記映像データから投影する範囲を領域指定して切り出す領域指定部を有することを特徴とする請求項1に記載の映像投影システム。
  6. 前記入力部は、前記映像の映像データの入力元を指定する入力切替部であり、
    前記出力部は、前記映像の映像データの出力先を指定する出力切替部であり、
    さらに、領域指定部及び/又は前記姿勢補正部に対するパラメータの入力を受け付けるパラメータ入力部と、
    前記パラメータ入力部から入力された前記パラメータを記憶する記憶部と、
    を有し、
    前記記憶部は、前記出力切替部で指定された前記表示装置と、前記入力切替部で指定された入力元の前記映像データとの組み合わせに紐付いて、前記パラメータを記憶するものであることを特徴とする請求項1に記載の映像投影システム。
  7. 映像を投影する映像投影方法であって、
    少なくとも2つの前記映像の映像データを入力し、
    前記映像データを、姿勢補正を行い、前記映像の周囲の少なくとも一部に余白を有するものとして補正し、
    前記余白を有するように補正された前記映像データを出力し、
    前記映像データを少なくとも2の表示装置で投影し、
    少なくとも2前記表示装置で投影する際、少なくとも2つの前記表示装置で投影されたそれぞれの前記映像データに基づいて、少なくとも2つの前記映像の前記余白ではない箇所を投影映像として、少なくとも2つの前記投影映像が連接する境界において関連性を維持するように少なくとも2つの前記映像を重畳して投影し、連接するよう投影された少なくとも2つの前記投影映像の前記境界を基準として、前記映像データに対して前記姿勢補正を行うものであることを特徴とする映像投影方法。
  8. 映像を投影する制御を行う映像投影プログラムであって、
    少なくとも2つの前記映像の映像データを入力する機能と、
    前記映像データを、姿勢補正を行い、前記映像の周囲の少なくとも一部に余白を有するものとして補正する機能と、
    前記余白を有するように補正された前記映像データを出力する機能と、
    前記映像データに基づいて少なくとも2の表示装置で投影する際、少なくとも2つの前記映像の前記余白ではない箇所を投影映像として、少なくとも2つの前記投影映像が連接する境界において関連性を維持するように少なくとも2つの前記映像を重畳して投影する制御を行う機能と、連接するよう投影された少なくとも2つの前記投影映像の前記境界を基準として、前記映像データに対して前記姿勢補正を行う機能をコンピュータに実行させることを特徴とする映像投影プログラム。
JP2016005787A 2016-01-15 2016-01-15 映像投影システム、映像投影方法、及び映像投影プログラム Active JP6647872B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016005787A JP6647872B2 (ja) 2016-01-15 2016-01-15 映像投影システム、映像投影方法、及び映像投影プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016005787A JP6647872B2 (ja) 2016-01-15 2016-01-15 映像投影システム、映像投影方法、及び映像投影プログラム

Publications (2)

Publication Number Publication Date
JP2017126932A JP2017126932A (ja) 2017-07-20
JP6647872B2 true JP6647872B2 (ja) 2020-02-14

Family

ID=59365640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016005787A Active JP6647872B2 (ja) 2016-01-15 2016-01-15 映像投影システム、映像投影方法、及び映像投影プログラム

Country Status (1)

Country Link
JP (1) JP6647872B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6745374B1 (ja) * 2019-03-29 2020-08-26 株式会社スノーピークビジネスソリューションズ 遠隔コミュニケーション装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009130569A (ja) * 2007-11-22 2009-06-11 Seiko Epson Corp マルチプロジェクションシステム、プロジェクタ、及び画像出力装置
JP6083185B2 (ja) * 2012-10-12 2017-02-22 セイコーエプソン株式会社 プロジェクター、プロジェクターの黒レベル領域設定方法
JP6421445B2 (ja) * 2014-01-24 2018-11-14 株式会社リコー 投影システム、画像処理装置、校正方法、システムおよびプログラム

Also Published As

Publication number Publication date
JP2017126932A (ja) 2017-07-20

Similar Documents

Publication Publication Date Title
JP3948489B2 (ja) 輝度フィルターの作成方法、および仮想空間生成システム
JP5327468B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
KR101793192B1 (ko) 다수의 프로젝터를 이용한 증강현실 구현장치 및 그 방법
JP2010134396A (ja) マルチディスプレイシステム、情報処理装置及びマルチディスプレイシステムにおける画像データ処理方法
JP2009010915A (ja) 映像表示方法及び映像システム
JP4871820B2 (ja) 映像表示システム及び該システムのパラメータ生成方法
JP2019161397A (ja) 制御装置、プログラム、及び制御方法
JP6647872B2 (ja) 映像投影システム、映像投影方法、及び映像投影プログラム
US9154771B2 (en) Apparatus for capturing stereoscopic image
US11218662B2 (en) Image processing device, image processing method, and projection system
JP2014176053A (ja) 画像信号処理装置
JP5249733B2 (ja) 映像信号処理装置
JP2009130569A (ja) マルチプロジェクションシステム、プロジェクタ、及び画像出力装置
JP2013145949A (ja) 投影システム、および重畳画像の画合わせの調整方法
JP2019149633A (ja) プロジェクタ、制御装置、画像投影システム、制御方法およびプログラム
JP2013105000A (ja) 映像表示装置及び映像表示方法
JP6304029B2 (ja) 撮像装置の画角を出力する装置、システム、方法およびプログラム
WO2020162051A1 (ja) 投射型映像表示システム
JP2021061510A (ja) 投影制御装置及び方法、プログラム、記憶媒体
US11336877B2 (en) Projection-type display device and method for adjusting a projected image
US20040150617A1 (en) Image projector having a grid display device
CN114007051A (zh) 激光投影***及其投影图像的显示方法
KR20160109927A (ko) 은닉포인트를 이용한 기하학 보정 방법 및 장치
TWI769681B (zh) 顯示環景影像的顯示系統及其操作方法
JP2009265826A (ja) 映像補正方法、プログラム及び立体視映像生成システム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200115

R150 Certificate of patent or registration of utility model

Ref document number: 6647872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250