JP6769179B2 - 画像投影システム、情報処理装置、画像投影方法及びプログラム - Google Patents

画像投影システム、情報処理装置、画像投影方法及びプログラム Download PDF

Info

Publication number
JP6769179B2
JP6769179B2 JP2016169182A JP2016169182A JP6769179B2 JP 6769179 B2 JP6769179 B2 JP 6769179B2 JP 2016169182 A JP2016169182 A JP 2016169182A JP 2016169182 A JP2016169182 A JP 2016169182A JP 6769179 B2 JP6769179 B2 JP 6769179B2
Authority
JP
Japan
Prior art keywords
image
projection
unit
calibration
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016169182A
Other languages
English (en)
Other versions
JP2018037837A (ja
Inventor
円亮 中村
円亮 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2016169182A priority Critical patent/JP6769179B2/ja
Priority to US15/692,004 priority patent/US10298892B2/en
Publication of JP2018037837A publication Critical patent/JP2018037837A/ja
Application granted granted Critical
Publication of JP6769179B2 publication Critical patent/JP6769179B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/317Convergence or focusing systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/147Optical correction of image distortions, e.g. keystone
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/13Projectors for producing special effects at the edges of picture, e.g. blurring
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/53Means for automatic focusing, e.g. to compensate thermal effects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/54Accessories
    • G03B21/56Projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7416Projection arrangements for image reproduction, e.g. using eidophor involving the use of a spatial light modulator, e.g. a light valve, controlled by a video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/16Picture reproducers using cathode ray tubes
    • H04N9/28Arrangements for convergence or focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3105Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying all colours simultaneously, e.g. by using two or more electronic spatial light modulators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、画像投影システム、情報処理装置、画像投影方法及びプログラムに関する。
近年、プロジェクタなどの画像投影装置に動画像等のコンテンツを配信し、屋外や店頭、公共空間等に設置された大画面に、当該コンテンツを投影するデジタルサイネージが広く利用されている。デジタルサイネージの場合、時間や場所に適したコンテンツをリアルタイムに投影できるため、高い広告効果が期待できる。
一方で、上記のような画像投影装置を用いた大規模なデジタルサイネージを実現するためには、投影対象として一定程度の大きさの平坦面が必要となる。このため、適用可能な場所が限定されるといった問題がある。これに対して、例えば、建物の窓ガラス(光透過面)のような、所定領域に含まれる複数の面を組み合わせて利用することで、1つのデジタルサイネージを実現することができれば、デジタルサイネージの適用範囲を広げることができる。特に、窓ガラス数の多い中高層の建物に適用すれば、従来よりも大規模なデジタルサイネージが実現できる。
ここで、複数の窓ガラスを組み合わせてデジタルサイネージを実現する場合、各窓ガラスに対応して配置される画像投影装置それぞれにおいて、投影用動画像が適切に投影されるよう調整を行う必要がある。このため、画像投影装置の数が増大すると調整作業に時間がかかるといった問題が生じる。特に、投影対象となる窓ガラスが湾曲している場合にあっては、投影時の歪みを補正するための調整作業が必要となり、更に時間がかかることになる。
本発明は、上記課題に鑑みてなされたものであり、湾曲した複数の面を組み合わせたデジタルサイネージにおいて、歪みを補正するための調整作業を容易に行うことができるようにすることを目的とする。
本発明の各実施形態に係る画像投影システムは、以下のような構成を有する。即ち、
投影対象となる面の湾曲形状に伴う画像の歪みを補正する補正パラメータを、調整値を用いて算出する校正部と、
所定領域に含まれる複数の前記面の位置及び大きさに応じて原画像を分割し、前記補正パラメータを用いて補正することで、補正済みの複数の分割画像を生成する分割部と、
前記複数の面それぞれに対応する投影装置を介して、前記補正済みの複数の分割画像を、前記複数の面に対応する投影面それぞれに投影するよう制御する制御部と、を有し、
前記校正部は、更に、
前記面に対応する投影面に投影された校正画像が撮影装置によって撮影された際の、撮影画像を表示するとともに、前記撮影装置から前記投影面の湾曲位置までの距離を増減させる調整値が入力された場合に、該調整値により増減された距離に応じて該撮影画像を画像変換し、画像変換後の撮影画像を表示し
前記撮影画像の歪みを解消させる調整値入力されることで増減した前記距離に基づいて、前記投影面の湾曲形状を特定する
本発明の各実施形態によれば、湾曲した複数の面を組み合わせたデジタルサイネージにおいて、歪みを補正するための調整作業を容易に行うことができるようになる。
画像投影システムの適用例を示す図である。 建物の各窓ガラスに対応する位置に配置された各サイネージ装置の動作を説明するための図である。 画像投影システムのシステム構成の一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 サイネージ対象情報の一例を示す図である。 画像情報の一例を示す図である。 スケジュール情報の一例を示す図である。 サイネージ処理の流れを示すフローチャートである。 情報処理装置の校正部の機能構成を示す図である。 第1の校正処理のシーケンス図である。 第1の校正処理時に表示される情報処理装置の選択画面の一例を示す図である。 第1の校正処理時に投影される校正パターン画像の一例を示す図である。 第1の校正処理時に投影される校正パターン画像の他の一例を示す図である。 補正パラメータ算出処理時に表示される調整画面の一例を示す図である。 撮像装置から電動スクリーンまでの距離と、撮影結果の補正方向との関係を示す第1の図である。 撮像装置から電動スクリーンまでの距離と、撮影結果の補正方向との関係を示す第2の図である。 湾曲補正強度と補正方向との関係を示す図である。 補正パラメータ算出処理の流れを示すフローチャートである。 湾曲補正強度を変更した後の調整画面の一例を示す図である。 第2の校正処理のシーケンス図である。 第2の校正処理時に投影される白画像の一例を示す図である。 情報処理装置の画像処理部の機能構成を示す図である。 画像処理の具体例を示す図である。 画像処理の流れを示すフローチャートである。 第1分割処理の流れを示すフローチャートである。 第1分割処理の一例を示す図である。 情報処理装置のサイネージ制御部の機能構成を示す図である。 サイネージ制御処理の流れを示すフローチャートである。
以下、各実施形態の詳細について添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に際して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
<1.画像投影システムの適用例>
はじめに、第1の実施形態に係る画像投影システムの適用例について説明する。図1は、画像投影システムの適用例を示す図である。図1の例は、中層のビルである建物110の湾曲した外面に取り付けられた複数の窓ガラス(光透過面)を組み合わせて利用することで、大規模なデジタルサイネージを実現した様子を示している。
図1に示すように、建物110の道路側の湾曲した外面には、複数の窓ガラス(窓ガラス群120)が取り付けられている(図1の例では、30枚の窓ガラス)。第1の実施形態に係る画像投影システムでは、建物110の外面に取り付けられた複数の窓ガラス(窓ガラス群120)それぞれに対して、内側から投影用動画像群130に含まれる各投影用動画像を投影する。
これにより、第1の実施形態に係る画像投影システムによれば、窓ガラス30枚分の領域からなる、大規模なデジタルサイネージ(図1の例は、巨大なツリーが表示されたシーンを示している)を実現することができる。また、道路側の外面等のように比較的目立つ場所において、デジタルサイネージを実現することができる。つまり、広告効果の高いデジタルサイネージを実現することができる。
また、第1の実施形態に係る画像投影システムによれば、従来のように、予め設置されている大画面や、窓ガラスのない建物の側壁面等を利用するデジタルサイネージと比較して、デジタルサイネージの適用範囲を広げることができる。
<2.サイネージ装置の動作>
次に、第1の実施形態に係る画像投影システムを構成する各サイネージ装置(本実施形態では、プロジェクタ(投影装置)、電動スクリーン(投影面)、電飾装置を指すものとする)の動作について説明する。
図2は、建物の各窓ガラスに対応する位置に配置された各サイネージ装置の動作を説明するための図である。図2(A)の(a)〜(d)は、建物110の各窓ガラスの内側に配置された各サイネージ装置のうち、プロジェクタ及び電動スクリーンの動作を示している。
図2(A)の(a)に示すように、建物110の各窓ガラスの内側には、プロジェクタが上下に配置されており、1枚の窓ガラスを投影対象として、2台のプロジェクタ(上側プロジェクタ及び下側プロジェクタ)を用いて投影用動画像が投影される。これにより、窓ガラスのサイズが大きい場合でも適切な投影用動画像を投影することができる。なお、本実施形態において、各窓ガラスは、建物110の湾曲した外面に沿って湾曲した形状を有しているものとする。
また、図2(A)の(b)に示すように、建物110の各窓ガラスの内側には、電動スクリーンが配置されている。プロジェクタを用いて投影用動画像を投影するにあたっては、電動スクリーンをON状態にすることで光透過度を変化させ、各窓ガラスを半透明の状態にする。なお、電動スクリーン(投影面)は、窓ガラス(投影対象)とともに光透過面を形成する。
図2(A)の(c)は、電動スクリーンをON状態にした後に、上側プロジェクタ及び下側プロジェクタのランプをON状態にした様子を示している。上側プロジェクタは、窓ガラスの上側を投影範囲とし、下側プロジェクタは、窓ガラスの下側を投影範囲としている。なお、上側プロジェクタ及び下側プロジェクタは、それぞれ、投影範囲の一部が重複するように調整されている。つまり、本実施形態では、2台のプロジェクタにより、窓ガラスの大きさに応じた投影範囲への投影用動画像の投影を実現している。
図2(A)の(d)は、上側プロジェクタ及び下側プロジェクタにより、投影用動画像が投影された様子を示している。本実施形態に係る画像投影システムでは、窓ガラス群120に含まれる各窓ガラスそれぞれに対応する各電動スクリーンそれぞれに投影用動画像が投影されることで、全体として、1つのデジタルサイネージを実現する。このため、各窓ガラスに対応する各電動スクリーンに対しては、原画像(広告主が提供する元の動画像)の一部の領域の動画像に基づいて生成された投影用動画像が上下に分割されて、2台のプロジェクタにより投影されることになる。
なお、図2(B)に示すように、第1の実施形態に係る画像投影システムでは、投影用動画像群130の投影が終了した場合に、電飾装置群140(電飾装置140_1〜140_6)がON状態になり、かつ電動スクリーンがOFF状態になるように制御する。
このように、第1の実施形態に係る画像投影システムでは、上側プロジェクタ、下側プロジェクタ、電動スクリーン及び電飾装置群140が互いに連動して動作する。
<3.画像投影システムのシステム構成>
次に、第1の実施形態に係る画像投影システムのシステム構成について説明する。図3は、画像投影システムのシステム構成の一例を示す図である。図3に示すように、画像投影システム300は、プロジェクタ310_1a〜310_30b、外部メモリ320_1a〜320_30b、電動スクリーン330_1〜330_30、制御装置340、電飾装置140_1〜140_6を有する。また、画像投影システム300は、時刻サーバ360、情報処理装置370、撮像装置381、色彩輝度計382を有する。
なお、プロジェクタ310_1a〜310_30b、制御装置340及び時刻サーバ360と、情報処理装置370とは、ネットワーク390を介して通信可能に接続されている。
プロジェクタ310_1a〜310_30bは、建物110の外面の所定領域に含まれる窓ガラス群120それぞれの内側において、上下に配置される。上述したとおり、建物110の外面の所定領域には、30枚の窓ガラスが取り付けられているため、本実施形態では、60台のプロジェクタが配置される。
プロジェクタ310_1a〜310_30bは、それぞれ、投影対象となる窓ガラスの大きさに応じた投影範囲に、投影用動画像が歪みなく投影されるよう、校正パターン画像(校正画像)を用いて第1の校正処理を実行する。また、プロジェクタ310_1a〜310_30bは、それぞれ、投影対象となる窓ガラスに対して、所定の色味で投影用動画像が投影されるよう、白画像を用いて第2の校正処理を実行する。
また、プロジェクタ310_1a〜310_30bは、情報処理装置370からの投影開始指示に基づいて、外部メモリ320_1a〜320_30bにそれぞれ格納された投影用動画像の中から、指定された投影用動画像を読み出す。更に、プロジェクタ310_1a〜310_30bは、それぞれが読み出した投影用動画像を投影対象となる窓ガラスに対応する電動スクリーンに投影する。
外部メモリ320_1a〜320_30bは、プロジェクタ310_1a〜310_30bそれぞれに接続される。外部メモリ320_1a〜320_30bは、プロジェクタ310_1a〜310_30bそれぞれにより投影される投影用動画像を格納する。なお、ここでいう外部メモリ320_1a〜320_30bには、例えば、USB(Universal Serial Bus)メモリ等が含まれる。
電動スクリーン330_1〜330_30は、建物110の外面の所定領域に含まれる窓ガラス群120それぞれの内側に配置される。上述したとおり、建物110の外面の所定領域には、30枚の窓ガラスが取り付けられているため、本実施形態では30台の電動スクリーンが配置される。
電動スクリーン330_1〜330_30は、電源ケーブルを介して制御装置340と接続され、制御装置340により、個別にON状態とOFF状態とが制御される。電動スクリーン330_1〜330_30が、制御装置340によりON状態に制御されると、光透過面の光透過度が下がり、光透過面は半透明の状態になる。一方、電動スクリーン330_1〜330_30が、制御装置340によりOFF状態に制御されると、光透過面の光透過度が上がり、光透過面は透明の状態になる。
制御装置340は、情報処理装置370からのスクリーンON指示に基づいて、電動スクリーン330_1〜330_30をON状態に制御する。また、制御装置340は、情報処理装置370からのスクリーンOFF指示に基づいて、電動スクリーン330_1〜330_30をOFF状態に制御する。
更に、制御装置340は、情報処理装置370からの電飾ON指示に基づいて、電飾装置140_1〜140_6をON状態に制御する。また、制御装置340は、情報処理装置370からの電飾OFF指示に基づいて、電飾装置140_1〜140_6をOFF状態に制御する。
電飾装置140_1〜140_6は、電源ケーブルを介して制御装置340と接続され、制御装置340により、ON状態とOFF状態とが制御される。
時刻サーバ360は、プロジェクタ310_1a〜310_30bと、情報処理装置370との間で、時刻を同期させるために、情報処理装置370に時刻情報を提供する。
情報処理装置370は、画像投影システム300におけるサイネージ処理を制御するための装置である。情報処理装置370には、校正プログラム、画像処理プログラム、サイネージ制御プログラムがインストールされている。情報処理装置370は、これらのプログラムを実行することで、校正部371、画像処理部372、サイネージ制御部373として機能する。
校正部371は、プロジェクタ310_1a〜310_30bとともに、第1の校正処理及び第2の校正処理を実行する。また、校正部371は、第1の校正処理を実行することで、プロジェクタ310_1a〜310_30bによりそれぞれ投影される投影用動画像の生成の際に用いられる補正パラメータを算出する。
更に、校正部371は、プロジェクタ310_1a〜310_30bとともに、第2の校正処理を実行することで、プロジェクタ310_1a〜310_30bに設定されるRGBレベルを算出する。
画像処理部372は、分割手段の一例である。画像処理部372は、サイネージ対象情報管理部375に格納されたサイネージ対象情報と、画像情報管理部376に格納された画像情報とに基づいて、広告主から提供された元の動画像から投影用動画像を生成する。サイネージ対象とは、画像投影システム300により大規模なデジタルサイネージが実現される建物110を指す。サイネージ対象情報には、建物110の外面の所定領域に含まれる窓ガラス群120の各窓ガラスの位置、大きさ等の情報が含まれる。画像情報には、投影用動画像の生成の際に用いられる各種画像や補正パラメータ等を管理するための情報が含まれる。
画像処理部372は、校正部371により算出された補正パラメータを用いて、投影用動画像の生成を行う。
また、画像処理部372は、投影用動画像を生成する過程で生成した、分割静止画像(詳細は後述)を画像情報管理部376に格納する。更に、画像処理部372は、生成した投影用動画像群の各投影用動画像を、プロジェクタ310_1a〜310_30bそれぞれに送信する。これにより、プロジェクタ310_1a〜310_30bは、外部メモリ320_1a〜320_30bそれぞれに各投影用動画像を格納する。
サイネージ制御部373は、制御手段の一例である。サイネージ制御部373は、スケジュール情報管理部377に格納されたスケジュール情報に基づいて、サイネージ制御処理を行う。例えば、サイネージ制御部373は、スケジュール情報に基づいて識別される投影開始時刻または投影終了時刻に応じて、プロジェクタ310_1a〜310_30bそれぞれに、投影開始指示または投影終了指示を送信する。また、サイネージ制御部373は、スケジュール情報に基づいて識別される投影開始時刻または投影終了時刻に応じて、電動スクリーン330_1〜330_30にスクリーンON指示またはスクリーンOFF指示を送信する。更に、サイネージ制御部373は、スケジュール情報に基づいて識別される投影開始時刻または投影終了時刻に応じて、電飾装置140_1〜140_6に電飾OFF指示または電飾ON指示を送信する。
撮像装置381は、プロジェクタ310_1a〜310_30bそれぞれが第1の校正処理を実行する際に、プロジェクタ310_1a〜310_30bそれぞれが投影した校正パターン画像を撮影し、情報処理装置370に送信する。なお、撮像装置381と、情報処理装置370とは、例えば、USBケーブルを介して接続される。
色彩輝度計382は、プロジェクタ310_1a〜310_30bそれぞれが第2の校正処理を実行する際に、プロジェクタ310_1a〜310_30bそれぞれが投影した白画像について、色温度を測定し、測定結果を情報処理装置370に送信する。なお、色彩輝度計382と、情報処理装置370とは、例えば、USBケーブルを介して接続される。
<4.情報処理装置のハードウェア構成>
次に、情報処理装置370のハードウェア構成について説明する。図4は、情報処理装置のハードウェア構成の一例を示す図である。
図4に示すように、情報処理装置370は、CPU(Central Processing Unit)401、ROM(Read Only Memory)402、RAM(Random Access Memory)403を備える。CPU401、ROM402、RAM403は、いわゆるコンピュータを形成する。更に、情報処理装置370は、補助記憶部404、表示部405、入力部406、ネットワークI/F(Interface)部407、USBI/F部408を備える。なお、情報処理装置370の各ハードウェアは、バス409を介して相互に接続されている。
CPU401は、補助記憶部404に格納された各種プログラム(例えば、校正プログラム、画像処理プログラム、サイネージ制御プログラム等)を実行するデバイスである。
ROM402は不揮発性の主記憶デバイスである。ROM402は、補助記憶部404に格納された各種プログラムを、CPU401が実行するために必要な各種プログラム、データ等を格納する。具体的には、BIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラムなどを格納する。
RAM403は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性の主記憶デバイスである。RAM403は、補助記憶部404に格納された各種プログラムがCPU401によって実行される際に展開される、作業領域を提供する。
補助記憶部404は、CPU401により実行される各種プログラムや各種プログラムが実行される際に用いられる各種情報を格納する補助記憶デバイスである。補助記憶部404に格納される各種情報には、サイネージ対象情報、画像情報、スケジュール情報及び画像情報により管理される各種画像、補正パラメータ等が含まれる。なお、サイネージ対象情報管理部375、画像情報管理部376、スケジュール情報管理部377は、補助記憶部404により実現される。
表示部405は、各種画面を表示する表示デバイスである。入力部406は、情報処理装置370に各種情報を入力するための入力デバイスである。ネットワークI/F部407は、ネットワーク390と接続するためのインタフェースデバイスである。情報処理装置370は、プロジェクタ310_1a〜310_30b、制御装置340、時刻サーバ360との間の通信を、ネットワークI/F部407を介して行う。
USBI/F部408は、USBケーブルを接続するためのインタフェースデバイスである。情報処理装置370は、撮像装置381、色彩輝度計382との間のデータの送受信を、USBI/F部408を介して行う。
<5.各管理部に格納される情報>
次に、情報処理装置370の各管理部(サイネージ対象情報管理部375、画像情報管理部376、スケジュール情報管理部377)に格納される各種情報(サイネージ対象情報、画像情報、スケジュール情報)について説明する。
(1)サイネージ対象情報
はじめに、サイネージ対象情報管理部375に格納されるサイネージ対象情報について説明する。図5は、サイネージ対象情報の一例を示す図である。図5(a)に示すように、サイネージ対象情報500は、サイネージ対象ごとに生成される。本実施形態では、建物110のサイネージ対象IDを、"S001"としている。
また、図5(a)に示すように、サイネージ対象情報500には、情報の項目として、"フロア"、"窓ID"、"窓情報"、"プロジェクタID"、"電動スクリーンID"、"電飾装置ID"が含まれる。
"フロア"には、建物110の外面の所定領域に含まれる窓ガラス群120が取り付けられたフロアのフロア番号が格納される。
"窓ID"には、建物110の外面の所定領域に含まれる窓ガラス群120の各窓ガラスを識別するための識別子が格納される。
"窓情報"には、更に、"位置"、"横サイズ"、"縦サイズ"が含まれる。ここで、図5(b)を参照しながら、"窓情報"に含まれる各窓ガラスの"位置"、"横サイズ"、"縦サイズ"について説明する。なお、図5(b)は、建物110の湾曲した外面を、平面座標に変換したものを模式的に示した図である。
図5(b)に示すように、画像投影システム300は、建物110の外面の所定領域510を利用して、大規模なデジタルサイネージを実現する。このとき、画像投影システム300では、所定領域510に含まれる各窓ガラスの座標を特定するための基準となる点(原点)と、基準となる軸(x軸、y軸)とを規定する。
図5(b)において、点520は、所定領域510における原点を示している。また、軸530は、所定領域510において点520を原点とした場合のx軸を示しており、軸540は、所定領域510において点520を原点とした場合のy軸を示している。
図5(b)に示すように、所定領域510、原点520、x軸530、y軸540を規定することで、各窓ガラスの位置、横サイズ、縦サイズを一意に特定することができる。
図5(a)の説明に戻る。"位置"には、建物110の外面の所定領域510において、各窓ガラスの左下の角の位置を示す座標が格納される。図5(a)の場合、窓ID="W201"の窓ガラスの左下の角の位置の座標は、原点(0,0)である。
"横サイズ"には、各窓ガラスの横方向の長さ(幅)が格納される。例えば、窓ID="W201"の窓ガラスの場合、左下の角の位置の座標が(0,0)であり、右下の角の位置の座標が(x12,0)である。したがって、横サイズ="x12"となる。また、窓ID="W202"の窓ガラスの場合、左下の角の位置の座標が(x21,0)であり、右下の角の位置の座標が(x22,0)である。したがって、横サイズ="x22−x21"となる。
"縦サイズ"には、各窓ガラスの縦方向の長さ(高さ)が格納される。例えば、窓ID="W201"の窓ガラスの場合、左下の角の位置の座標が(0,0)であり、左上の角の位置の座標が(0,y12)である。したがって、縦サイズ="y12"となる。また、窓ID="W301"の窓ガラスの場合、左下の角の位置の座標が(0,y21)であり、左上の角の位置の座標が(0,y22)である。したがって、縦サイズ="y22−y21"となる。
"プロジェクタID"には、各窓ガラスに対応する位置に配置されたプロジェクタを識別するための識別子が格納される。図5(a)の例は、窓ID="W201"により識別される窓ガラスに対応する位置には、プロジェクタID="PJ201A"、"PJ201B"により識別されるプロジェクタがそれぞれ配置されていることを示している。
"電動スクリーンID"には、各窓ガラスに対応する位置に配置された電動スクリーンを識別するための識別子が格納される。図5(a)の例は、窓ID="W201"により識別される窓ガラスに対応する位置には、電動スクリーンID="SC201"により識別される電動スクリーンが配置されていることを示している。
"電飾装置ID"には、各フロアのいずれかの窓ガラスに対応する位置に配置された電飾装置を識別するための識別子が格納される。図5(a)の例は、フロア="2F"により識別されるフロアには、電飾装置ID="E200"により識別される電飾装置が配置されていることを示している。
(2)画像情報
次に、画像情報管理部376に格納される画像情報について説明する。図6は、画像情報の一例を示す図である。図6に示すように、画像情報600には、情報の項目として、"動画像ID"、"サイネージ対象ID"、"窓ID"、"プロジェクタID"が含まれる。また、画像情報600には、情報の項目として、"補正パラメータID"、"算出日時"、"分割静止画像群ID"、"投影用動画像ID"、"生成日時"が含まれる。
"動画像ID"には、広告主から提供される元の動画像を識別するための識別子が格納される。図6の例は、動画像IDとして"C100"により識別される動画像が、画像情報管理部376に格納されていることを示している。
"サイネージ対象ID"には、広告主から提供される元の動画像に基づいてデジタルサイネージを実現する建物110を識別するための識別子が格納される。図6の例は、動画像ID="C100"により識別される動画像に基づいて、サイネージ対象ID="S001"により識別される建物110において、デジタルサイネージが実現されることを示している。
"窓ID"には、サイネージ対象ID="S001"により識別される建物110の外面の所定領域510に含まれる窓ガラス群120の各窓ガラスを識別するための識別子が格納される。
"プロジェクタID"には、窓IDにより識別される各窓ガラスに対応する位置に配置されたプロジェクタを識別するための識別子が格納される。
"補正パラメータID"には、校正部371により算出された補正パラメータを識別するための識別子が格納される。上述したとおり、第1の校正処理が実行されることで、校正部371では、窓ガラスごとに補正パラメータを算出するため、補正パラメータIDは、窓IDと対応付けて格納される。"算出日時"には、補正パラメータが算出された日時が格納される。
"分割静止画像群ID"には、動画像ID="C100"により識別される動画像に基づいて、投影用動画像群を生成する過程で生成された、分割静止画像群を識別するための識別子が格納される。
"投影用動画像ID"には、動画像ID="C100"により識別される動画像に基づいて生成された、投影用動画像群に含まれる各投影用動画像を識別するための識別子が格納される。
"生成日時"には、投影用動画像IDにより識別される各投影用動画像が生成された日時が格納される。
図6の例は、動画像ID="C100"の動画像から、投影用動画像ID="M201A"、"M201B"、・・・が生成されたことを示している。
また、図6の例によれば、投影用動画像ID="M201A"の投影用動画像は、窓ID="W201"の窓ガラスに対応する位置に配置されたプロジェクタID="PJ201A"のプロジェクタにより投影される。
また、図6の例によれば、投影用動画像ID="M201A"の投影用動画像の生成に際しては、"2016年5月25日"に補正パラメータ(補正パラメータID="P201")が算出されている。
また、図6の例によれば、当該補正パラメータ(補正パラメータID="P201")により、分割静止画像群ID="C201"の分割静止画像群が補正されている。更に、図6の例によれば、補正された分割静止画像群ID="C201"の分割静止画像群に基づいて、"2016年6月10日"に、投影用動画像ID="M201A"及び"M201B"の投影用動画像がそれぞれ生成されている。
(3)スケジュール情報
次に、スケジュール情報管理部377に格納されるスケジュール情報について説明する。図7は、スケジュール情報の一例を示す図である。図7に示すように、スケジュール情報700は、サイネージ対象ごとに生成される。また、図7に示すように、スケジュール情報700には、情報の項目として、"時刻"、"サイネージ装置"が含まれる。
"時刻"には、サイネージ対象ID="S001"により識別される建物110の窓ガラス群120を、デジタルサイネージとして利用することができる時間帯が記載される。図7の例によれば、建物110の場合、10時00分から22時00分までの間の時間帯において、窓ガラス群120を、デジタルサイネージとして利用することが可能である。
"サイネージ装置"には、更に、"プロジェクタ"、"電動スクリーン"、"電飾装置"が含まれる。"プロジェクタ"には、プロジェクタ310_a〜310_30bにより各投影用動画像が投影される時間帯が記載される。図7の例によれば、20時00分から21時00分の間に、動画像ID="C100"に基づいて生成された投影用動画像群("コンテンツ100")が投影される。
"電動スクリーン"には、電動スクリーン330_1〜330_30がON状態になる時間帯が記載される。電動スクリーン330_1〜330_30がON状態になる時間帯は、プロジェクタ310_1a〜310_30bにより投影用動画像群が投影される時間帯(20時00分〜21時00分)と同じ時間帯である。
"電飾装置"には、電飾装置140_1〜140_6がON状態になる時間帯が記載される。本実施形態において、電飾装置140_1〜140_6は、夕方以降(図7の例では、17時00分以降)の時間帯においてON状態になる。ただし、プロジェクタ310_1a〜310_30bにより各投影用動画像が投影される時間帯(20時00分から21時00分の間)は除かれる。
<6.画像投影システムにおけるサイネージ処理の流れ>
次に、画像投影システム300におけるサイネージ処理の流れについて説明する。図8は、サイネージ処理の流れを示すフローチャートである。建物110において、画像投影システム300の設置が完了することで、画像投影システム300では、図8に示すサイネージ処理を実行する。
具体的には、ステップS801において、画像投影システム300は、プロジェクタ310_1a〜310_30bを用いて校正処理(第1の校正処理及び第2の校正処理等)を行う。
ステップS802において、画像投影システム300は、画像処理(投影用動画像群("M201A"〜"M705B")の生成及び各プロジェクタ310_1a〜310_30bへの各投影用動画像の送信等)を行う。
ステップS803において、画像投影システム300は、サイネージ制御処理を行う。具体的には、画像投影システム300は、スケジュール情報700に基づいて、プロジェクタ310_1a〜310_30bによる各投影用動画像の投影開始/終了制御を行う。更に、画像投影システム300は、スケジュール情報700に基づいて、電動スクリーン330_1〜330_30のON/OFF制御、電飾装置140_1〜140_6のON/OFF制御を行う。
<7.校正処理の詳細>
次に、画像投影システム300における校正処理(ステップS801)の詳細について説明する。
(1)校正部の機能構成
はじめに、校正処理を実行する、情報処理装置370の校正部371の機能構成について説明する。図9は、情報処理装置の校正部の機能構成を示す図である。
図9に示すように校正部371は、第1校正部911及び第2校正部912を有する。第1校正部911は、第1の校正処理時に起動し、各種処理を実行する。
具体的には、第1校正部911は、算出手段として機能し、窓ガラスの湾曲形状に伴って、投影された投影用動画像に歪みが発生するのを回避するために、投影用動画像を生成する際に用いられる補正パラメータ(歪みを補正するためのパラメータ)を算出する。
また、第1校正部911は、算出した補正パラメータを画像情報管理部376に格納するとともに、算出した補正パラメータを示す補正パラメータID及び算出日時を、窓IDと対応付けて画像情報600に格納する。これにより、画像処理部372では、投影された際に歪みのない投影用動画像を生成することができる。
第2校正部912は、第2の校正処理時に起動し、各種処理を実行する。具体的には、第2校正部912は、投影用動画像が所定の色味で投影されるよう、RGBレベルを算出し、算出したRGBレベルをプロジェクタ310_1a〜310_30bに設定する。
(2)第1の校正処理の流れ
次に、第1の校正処理の詳細について、図11〜図13を逐次参照しながら、図10のシーケンス図に基づいて説明する。図10は、第1の校正処理のシーケンス図である。
図10に示すように、ステップS1001において、操作者1000は、情報処理装置370に対して、第1校正部911を起動させるための起動指示を入力する。
操作者1000により起動指示が入力されたことに応じて、ステップS1002では、第1校正部911が起動し、情報処理装置370の表示部405には、第1の校正処理を実行する対象(プロジェクタ)を操作者1000が選択するための選択画面が表示される。
ステップS1003において、操作者1000は、表示部405に表示された選択画面の中から、第1の校正処理を実行する対象(プロジェクタ)が配置されている窓ガラスを選択する。
操作者1000により窓ガラスが選択されたことに応じて、第1校正部911は、選択された窓ガラスに対応する位置に配置されているプロジェクタを識別する。そして、ステップS1004及びS1005において、第1校正部911は、識別したプロジェクタそれぞれに対して、ランプON指示を送信する。
図11は、第1の校正処理時に表示される情報処理装置の選択画面の一例を示す図である。第1校正部911が起動すると、情報処理装置370の表示部405には、選択画面1100が表示される。図11に示すように、選択画面1100には、建物110の窓ガラス群120のレイアウト1110が含まれる。
操作者1000は、レイアウト1110内の窓ガラスを示す矩形ボタンを押圧し、完了ボタン1120を押圧することで、第1の校正処理を実行する対象が配置されている窓ガラスを選択する。図11の例は、矩形ボタン1111が押圧され、完了ボタン1120が押圧された様子を示している。
矩形ボタン1111により特定される窓ガラスは、窓ID="W703"の窓ガラス1128である。図11の下側に示すとおり、窓ガラス1128に対応する位置には、プロジェクタ310_28a(プロジェクタID="PJ703A")とプロジェクタ310_28b(プロジェクタID="PJ703B")とが配置されている。
したがって、ステップS1004において、第1校正部911は、プロジェクタ310_28aにランプON指示を送信する。また、ステップS1005において、第1校正部911は、プロジェクタ310_28bにランプON指示を送信する。なお、この時点で、窓ガラス1128の電動スクリーン330_28(電動スクリーンID="SC703")はON状態になっているものとする。
続いて、ステップS1006において、第1校正部911は、校正パターン画像を生成する。第1校正部911は、校正パターン画像として、2つの異なる校正パターン画像を生成する。
ステップS1007において、第1校正部911は、プロジェクタ310_28aに対して、第1の校正パターン画像を送信する。また、ステップS1008において、第1校正部911は、プロジェクタ310_28bに対して、第2の校正パターン画像を送信する。
ステップS1009において、プロジェクタ310_28aは、第1校正部911より送信された第1の校正パターン画像を投影する。また、ステップS1010において、プロジェクタ310_28bは、第1校正部911より送信された第2の校正パターン画像を投影する。
ステップS1011において、操作者1000は、投影された第1及び第2の校正パターン画像を撮像装置381を用いて撮影するために、撮像装置381に撮影指示を入力する。
ステップS1012において、撮像装置381は、投影された第1及び第2の校正パターン画像について撮影処理を実行し、ステップS1013において、撮像装置381は、撮影結果(撮影画像)を情報処理装置370に送信する。
図12は、第1の校正処理時に投影される校正パターン画像の一例を示す図である。図12に示すように、プロジェクタ310_28aは、第1の校正パターン画像を投影し、プロジェクタ310_28bは、第2の校正パターン画像を投影する。操作者1000は、投影された第1及び第2の校正パターン画像を撮像装置381を用いて撮影することで、撮影結果を情報処理装置370に送信する。
図10の説明に戻る。ステップS1014において、操作者1000は、第1の校正パターン画像と第2の校正パターン画像を入れ替えるための入れ替え指示を入力する。
ステップS1015において、第1校正部911は、入れ替え指示に応じて、プロジェクタ310_28aに第2の校正パターン画像を送信する。また、ステップS1016において、第1校正部911は、プロジェクタ310_28bに第1の校正パターン画像を送信する。
ステップS1017において、プロジェクタ310_28aは、第1校正部911より送信された第2の校正パターン画像を投影する。また、ステップS1018において、プロジェクタ310_28bは、第1校正部911より送信された第1の校正パターン画像を投影する。
ステップS1019において、操作者1000は、投影された第2及び第1の校正パターン画像を撮像装置381を用いて撮影するために、撮像装置381に撮影指示を入力する。
ステップS1020において、撮像装置381は、投影された第2及び第1の校正パターン画像について撮影処理を実行し、ステップS1021において、撮像装置381は、撮影結果を情報処理装置370に送信する。
図13は、第1の校正処理時に投影される校正パターン画像の他の一例を示す図である。図13に示すように、プロジェクタ310_28aは、第2の校正パターン画像を投影し、プロジェクタ310_28bは、第1の校正パターン画像を投影する。操作者1000は、投影された第2及び第1の校正パターン画像を撮像装置381を用いて撮影することで、撮影結果を情報処理装置370に送信する。
再び、図10の説明に戻る。ステップS1022において、操作者1000は、第1校正部911に対して、第1及び第2の校正パターン画像を撮影した際の、撮像装置381から電動スクリーンまでの距離を入力する。
ステップS1023において、操作者1000は、補正パラメータの算出に用いる調整値を入力する際に参照する撮影結果を指定する。ステップS1024において、第1校正部911は、操作者1000により指定された撮影結果を読み出す。
ステップS1025において、操作者1000は、第1校正部911に対して、補正パラメータの算出に用いられる調整値を入力するための調整画面の表示を指示する。
操作者1000により調整画面の表示指示が入力されたことで、ステップS1026において、第1校正部911では、表示部405に調整画面を表示する。
ステップS1027において、第1校正部911は、補正パラメータ算出処理を実行し、調整画面において操作者1000により入力された各種調整値に基づいて、投影用動画像の生成に用いられる補正パラメータを算出する。
(3)補正パラメータ算出処理(ステップS1027)
続いて、補正パラメータ算出処理(ステップS1027)の詳細について説明する。
(3−1)調整画面の説明
はじめに、補正パラメータ算出処理時に表示される調整画面について説明する。図14は、補正パラメータ算出処理時に表示される調整画面の一例を示す図である。図14に示すように、調整画面1400には、読み出された撮影結果を表示する撮影結果表示領域1410が含まれる。第1校正部911が表示手段として機能することで、撮影結果表示領域1410には撮影結果(または、後述する画像変換処理が行われた撮影結果)が表示される。
また、調整画面1400には、撮影結果表示領域1410に表示された撮影結果の4つの頂点の位置を調整するための調整欄1420〜1450が含まれる。操作者1000は、撮影結果が矩形になるように、撮影結果の4つの頂点の位置を調整する。
調整欄1420には、撮影結果の左上の頂点の位置を、矩形の左上の頂点の位置に合致させるための位置調整値(x座標及びy座標)が入力される。調整欄1430には、撮影結果の右上の頂点の位置を、矩形の右上の頂点の位置に合致させるための位置調整値(x座標及びy座標)が入力される。調整欄1440には、撮影結果の左下の頂点の位置を、矩形の左下の頂点の位置に合致させるための位置調整値(x座標及びy座標)が入力される。調整欄1450には、撮影結果の右下の頂点の位置を、矩形の右下の頂点の位置に合致させるための位置調整値(x座標及びy座標)が入力される。
調整欄1420〜1450に位置調整値が入力されることで、第1校正部911は、撮影結果表示領域1410に表示される撮影結果の4つの位置が、位置調整値に応じた位置に移動するように、撮影結果に対して画像変換処理を行う。
更に、調整画面1400には、湾曲補正強度入力欄1460が含まれる。湾曲補正強度入力欄1460は、撮影結果の歪みを補正するための歪み調整値である「湾曲補正強度」を入力する領域である。第1校正部911が入力手段として機能することで、湾曲補正強度入力欄1460には、湾曲補正強度が入力される。
本実施形態において、電動スクリーン(例えば、電動スクリーン330_28)は、窓ガラス(例えば、窓ガラス1128)に沿った形状を有しており、内側から外側に向かって湾曲している。このため、電動スクリーン330に投影された第1及び第2の校正パターン画像を撮影した撮影結果には、電動スクリーンの湾曲形状に伴う歪みが含まれる。
「湾曲補正強度」は、撮像装置381から電動スクリーンの最深部(湾曲した電動スクリーンの最も外側の湾曲位置)までの距離を中心とする所定範囲を正規化した値である。
湾曲補正強度入力欄1460に湾曲補正強度が入力されることで、第1校正部911は、撮像装置381から電動スクリーンの最深部までの距離を増減させ、増減させた距離に基づいて、撮影結果に対して画像変換処理を行うことで、撮影結果の歪みを補正する。
画像変換処理が行われることで撮影結果の歪みが解消すると、第1校正部911は、特定手段として機能し、歪みが解消した撮影結果の画像変換処理に用いられた距離に基づいて、電動スクリーンの湾曲形状を特定する。具体的には、第1校正部911は、増減させる前の距離と、増減させた後の距離との差分から、湾曲深さを算出することで、湾曲形状を特定する。このように、第1校正部911では、湾曲補正強度の入力により、撮像装置381から電動スクリーンの最深部までの距離を増減させた場合の歪みの変化から、電動スクリーンの湾曲形状を特定する。
(3−2)湾曲補正強度の説明
続いて、湾曲補正強度について更に詳細に説明する。上述したように、湾曲補正強度とは、撮像装置381から電動スクリーンの最深部までの距離を中心とする所定範囲を正規化した値である。中心とする距離には、図10のステップS1022において入力された距離(初期値)が用いられる。
具体的には、湾曲補正強度は、初期値の1/2倍から初期値の2倍までを所定範囲として、−100から100を割り当てることで算出される。
撮影結果に歪みが含まれる場合、電動スクリーンの湾曲の度合い(撮像装置381から電動スクリーンの最深部までの距離)を計算上変更し、撮影結果に反映させることで、撮影結果の歪みを補正することができる。
このとき、本実施形態では、撮像装置381から電動スクリーンの最深部までの距離を直接変更するユーザインタフェースとする代わりに、湾曲補正強度を用いるユーザインタフェースとする。操作者1000が撮影結果の歪みを補正するうえで利便性が高いからである。図15〜図17を用いて説明する。
図15及び図16は、撮像装置から電動スクリーンまでの距離と、撮影結果の補正方向との関係を示す第1及び第2の図である。このうち、図15は、図10のステップS1022において入力された距離(撮像装置381から電動スクリーンの最深部までの距離(初期値))が、400mmであった場合を示している。
ここで、操作者1000が、撮像装置381から電動スクリーンの最深部までの距離を350mmに変更したとする。この場合、撮影結果表示領域1410に表示される撮影結果は、上下端が内側方向に補正されることになる。領域1510に示すように、撮像装置381から電動スクリーンの最深部までの距離が減少すると、上端位置は下方向に移動し、下端位置は上方向に移動するからである。なお、領域1510は、撮像装置381と電動スクリーンの最深部との位置関係を、側面から見た様子を示している。
また、操作者1000が、撮像装置381から電動スクリーンの最深部までの距離を450mmに変更したとする。この場合、撮影結果表示領域1410に表示される撮影結果は、上下端が外側方向に補正されることになる。領域1520に示すように、撮像装置381から電動スクリーンの最深部までの距離が増加すると、上端位置は上方向に移動し、下端位置は下方向に移動するからである。なお、領域1520は、領域1510同様、撮像装置381と電動スクリーンの最深部との位置関係を、側面から見た様子を示している。
一方、図16は、図10のステップS1022において入力された距離(撮像装置381から電動スクリーンの最深部までの距離(初期値))が300mmであった場合を示している。
ここで、操作者1000が、撮像装置381から電動スクリーンの最深部までの距離を250mmに変更したとする。この場合、撮影結果表示領域1410に表示される撮影結果は、上下端が内側方向に補正されることになる。領域1610に示すように、撮像装置381から電動スクリーンの最深部までの距離が減少すると、上端位置は下方向に移動し、下端位置は上方向に移動するからである。なお、領域1610は、撮像装置381と電動スクリーンの最深部との位置関係を、側面から見た様子を示している。
また、操作者1000が、撮像装置381から電動スクリーンの最深部までの距離を350mmに変更したとする。この場合、撮影結果表示領域1410に表示される撮影結果は、上下端が外側方向に補正されることになる。領域1620に示すように、撮像装置381から電動スクリーンの最深部までの距離が増加すると、上端位置は上方向に移動し、下端位置は下方向に移動するからである。なお、領域1620は、領域1610同様、撮像装置381と電動スクリーンの最深部との位置関係を、側面から見た様子を示している。
図15及び図16からわかるように、操作者1000が撮像装置381から電動スクリーンの最深部までの距離を変更した場合、同じ値(図15、図16の例では、350mm)に変更したとしても、撮影結果の上下端の補正方向は反対になる。具体的には、図15の例では、350mmを入力した場合に、撮影結果の上下端が内側方向に補正されたのに対して、図16の例では、350mmを入力した場合に、撮影結果の上下端が外側方向に補正されている。
つまり、撮影結果表示領域1410に表示される撮影結果の歪みに対する上下端の補正方向は、撮像装置381から電動スクリーンの最深部までの距離の絶対値によって決まるのではなく、初期値からの相対値によって決まる。
そこで、本実施形態では、図10のステップS1022において入力された距離(初期値)を中心("ゼロ")とする所定範囲を正規化した湾曲補正強度を用いて、撮影結果の歪みを補正する。
これにより、図10のステップS1022において入力された距離(初期値)によらず、内側方向に補正したい場合には、湾曲補正強度に負の値(減算値)を入力し、外側方向に補正したい場合には、湾曲補正強度に正の値(増加値)を入力すればよいこととなる。また、内側方向の補正において補正量を大きくしたい場合には、−100に近い値を入力し、外側方向の補正において補正量を大きくしたい場合には、100に近い値を入力すればよいこととなる。
この結果、操作者1000にとっては、撮影結果の歪みを補正するための調整作業を容易に行うことができるようになる。
図17は、湾曲補正強度と補正方向との関係を示す図である。図17に示すように、湾曲補正強度に負の値("−50")を入力した場合、撮影結果の上下端は内側方向に補正される。また、湾曲補正強度に正の値("+50")を入力した場合、撮影結果の上下端は外側方向に補正される。このように、撮影結果の歪みを補正する際の補正方向及び補正量を特定可能な湾曲補正強度を用いることで、操作者1000にとっては、撮影結果の歪みを補正するための歪み調整値の入力が容易になる。
(3−3)補正パラメータ算出処理の流れ
次に、補正パラメータ算出処理(ステップS1027)の流れについて説明する。図18は、補正パラメータ算出処理の流れを示すフローチャートである。
ステップS1801において、操作者1000は、調整画面1400の調整欄1420〜1450に位置調整値を入力することで、撮影結果の頂点位置を調整する。
ステップS1802において、操作者1000は、撮影結果の歪みが解消したか否かを判定する。ステップS1802において、歪みが解消していないと判定した場合には(ステップS1802においてNoの場合には)、ステップS1803に進む。
ステップS1803において、操作者1000は、調整画面1400の湾曲補正強度入力欄1460の湾曲補正強度を変更する。調整画面1400の湾曲補正強度入力欄1460には、デフォルトとして"0"が入力されているため、操作者1000は、これを変更する。
図19は、湾曲補正強度を変更した後の調整画面の一例を示す図である。図19の例は、調整画面1400の湾曲補正強度入力欄1460に、"+50"を入力した様子を示している。
ステップS1804において、第1校正部911は、調整画面1400において操作者1000により入力された湾曲補正強度x(図19の例では、"+50")に基づいて、湾曲補正係数C、Cを下式に基づいて算出する。
なお、上式において、Dは、図10のステップS1022において入力された距離(初期値)である。
例えば、図10のステップS1022において入力された距離(初期値)が"400mm"であったとする。この場合、初期値の1/2である200mmから、初期値の2倍である800mmまでの範囲が、湾曲補正強度として入力可能な範囲となる。つまり、湾曲補正強度入力欄1460に入力可能な湾曲補正強度の最小値"−100"は"200mm"を指し、湾曲補正強度の最大値"+100"は、"800mm"を指すことになる。
かかる割り当てのもと、操作者1000により湾曲補正強度x="+50"が入力されると、第1校正部911では、湾曲補正係数C=(2×400−400)/100=4を算出する。
ステップS1805において、第1校正部911は、ステップS1804において算出した湾曲補正係数C、Cを用いて、下式に基づいて距離f(x)を算出する。
図19の例の場合、湾曲補正強度x="+50"が入力され、湾曲補正強度C="4"が算出されているため、第1校正部911では、距離f(x)=4×50+400=600mmを算出する。
ステップS1806において、第1校正部911は、ステップS1803において算出した距離f(x)に基づいて、撮影結果表示領域1410に表示された撮影結果に対して画像変換処理を行い、撮影結果の歪みを補正する。
ステップS1802において、操作者1000は、撮影結果の歪みが解消したか否かを判定する。ステップS1802において、歪みが解消していないと判定した場合には(ステップS1802においてNoの場合には)、再び、ステップS1803に進み、ステップS1803からステップS1806の処理を繰り返す。
一方、ステップS1802において、歪みが解消したと判定した場合には(ステップS1802においてYesの場合)、操作者1000は、調整画面1400において完了ボタン1470を押圧する。これにより、第1校正部911は、ステップS1807に進む。ステップS1807において、第1校正部911は、調整欄1420〜1450に入力された位置調整値から、各頂点位置の移動量を算出する。また、第1校正部911は、ステップS1805において算出した距離に基づいて、電動スクリーンの湾曲形状を特定する。更に、第1校正部911は、算出した各頂点位置の移動量と、特定した電動スクリーンの湾曲形状とに基づいて、投影用動画像の生成の際に用いられる補正パラメータを算出する。
また、第1校正部911は、算出した補正パラメータを画像情報管理部376に格納する。また、第1校正部911は、補正パラメータID(例えば、"P703")及び、算出日時(例えば、"2016.5.25")を、窓ID(例えば、"W703")と対応付けて画像情報600に格納する。
(4)第2の校正処理の流れ
次に、第2の校正処理の詳細について、図21を参照しながら、図20のシーケンス図に基づいて説明する。図20は、第2の校正処理のシーケンス図である。
図20に示すように、ステップS2001において、操作者1000は、情報処理装置370に対して、第2校正部912を起動させるための起動指示を入力する。
操作者1000により起動指示が入力されたことに応じて、ステップS2002では、第2校正部912が起動し、情報処理装置370の表示部405には、第2の校正処理を実行する対象(プロジェクタ)を操作者1000が選択するための選択画面が表示される。
ステップS2003において、操作者1000は、表示部405に表示された選択画面の中から、第2の校正処理を実行する対象(プロジェクタ)が配置されている窓ガラスを選択する。
操作者1000により窓ガラスが選択されたことに応じて、第2校正部912は、選択された窓ガラスに対応する位置に配置されている電動スクリーンを識別する。そして、ステップS2004において第2校正部912は、識別した電動スクリーンに対して、スクリーンOFF指示を送信する。
なお、図20の例は、第1の校正処理同様、窓ID="W703"の窓ガラス1128が選択され、対応する電動スクリーン330_28に対して、スクリーンOFF指示が送信された場合を示している。
第2校正部912よりスクリーンOFF指示が送信されたことに応じて、ステップS2005では、電動スクリーン330_28がOFF状態になる。
ステップS2006において、第2校正部912は、窓ID="W703"の窓ガラス1128に対応する位置に配置されたプロジェクタ310_28a(プロジェクタID="PJ703A")に対して、ランプON指示を送信する。これにより、プロジェクタ310_28aのランプがON状態になる。
ステップS2007において、操作者1000は、情報処理装置370に対して、プロジェクタ310_28aに白画像を投影するための投影指示を入力する。
ステップS2008において、第2校正部912は、操作者1000による白画像投影指示に応じて、プロジェクタ310_28aに対して、白画像投影指示を送信する。
ステップS2009において、プロジェクタ310_28aは、第2校正部912より送信された白画像投影指示に応じて、全白投影を行う。
ステップS2010において、操作者1000は、プロジェクタ310_28aにより全白投影された窓ガラスの色温度を測定するための測定指示を、色彩輝度計382に対して入力する。
ステップS2011において、色彩輝度計382は、全白投影された窓ガラス1128の色温度を測定する。ステップS2012において、操作者1000は、測定した色温度を測定結果として情報処理装置370に入力する。
ステップS2013において、第2校正部912は、操作者1000により入力された色温度を、RGBレベルに変換する変換処理を行う。
ステップS2014において、第2校正部912は、変換処理を行うことで算出したRGBレベルを、プロジェクタ310_28aに送信する。
ステップS2015において、プロジェクタ310_28aは、第2校正部912より送信されたRGBレベルを設定する。
図21は、第2の校正処理時に投影される白画像の一例を示す図である。図21に示すように、電動スクリーン330_28がOFF状態において、プロジェクタ310_28aは、白画像を窓ガラス1128に投影する。また、操作者1000は、色彩輝度計382を用いて窓ガラス1128の色温度を測定し、測定結果を情報処理装置370に入力する。これにより、情報処理装置370では、RGBレベルが算出され、プロジェクタ310_28aには、測定結果に応じたRGBレベルが設定される。
図20の説明に戻る。ステップS2016において、操作者1000は、情報処理装置370に対して、第2の校正処理の終了指示を入力する。操作者1000により終了指示が入力されたことに応じて第2校正部912は、ステップS2017において、電動スクリーン330_28に対して、スクリーンON指示を送信する。
第2校正部912よりスクリーンON指示が送信されたことに応じて、ステップS2018では、電動スクリーン330_28がON状態になる。
<8.画像処理の詳細>
次に、画像投影システム300における画像処理(ステップS802)の詳細について説明する。
(1)画像処理部の機能構成
はじめに、画像処理を実行する、情報処理装置370の画像処理部372の機能構成について説明する。図22は、情報処理装置の画像処理部の機能構成を示す図である。
図22に示すように画像処理部372は、対象情報取得部2211、画像情報取得部2212、反転部2213、デコード部2214を有する。また、画像処理部372は、第1分割部2215、補正部2216、第2分割部2217、エンコード部2218、送信部2219を有する。
対象情報取得部2211は、サイネージ対象情報管理部375より、サイネージ対象情報500を読み出し、第1分割部2215に通知する。
画像情報取得部2212は、広告主から提供され、画像情報管理部376に格納された動画像を読み出し、反転部2213に通知する。
反転部2213は、画像情報取得部2212より通知された動画像の左右を反転させる。画像投影システム300では、透明または半透明の光透過面(窓ガラス及び電動スクリーン)に対して内側から投影し、投影結果が、外側から視認される。このため、予め左右を反転しておく必要がある。このように、反転部2213が反転処理を行うことで、広告主が意図した動画像とは左右が反転した動画像が視認される、といった事態を回避することができる。反転部2213は、反転後の動画像をデコード部2214に通知する。
デコード部2214は、左右が判定された動画像をデコード処理し、フレーム単位に分解することで、静止画像群を抽出する。デコード部2214は、抽出した静止画像群に含まれる各静止画像を、順次、第1分割部2215に通知する。
第1分割部2215は、デコード部2214から順次通知される各静止画像について、対象情報取得部2211から通知されたサイネージ対象情報500に基づいて、複数の静止画像に分割する第1分割処理を行う。これにより、第1分割部2215は、窓ガラスの位置及び窓ガラスのサイズに応じた分割静止画像(分割画像)を生成することができる。
また、第1分割部2215は、静止画像群に含まれる全ての静止画像に対して第1分割処理を行うことで取得した複数の分割静止画像について、同じ窓ガラスの分割静止画像ごとにわけることで、窓ガラスの数分の複数の分割静止画像群を生成する。第1分割部2215は、生成した複数の分割静止画像群を、画像情報管理部376に格納する。
また、第1分割部2215は、生成した複数の分割静止画像群それぞれに、分割静止画像群IDを付し、窓IDと対応付けて画像情報600に格納する。
さらに、第1分割部2215は、生成した複数の分割静止画像群それぞれを、窓IDと対応付けて補正部2216に通知する。
補正部2216は、第1分割部2215より通知された複数の分割静止画像群それぞれを、窓IDに応じた補正パラメータを用いて補正する。また、補正部2216は、補正済みの複数の分割静止画像群を第2分割部2217に通知する。
第2分割部2217は、補正部2216より通知された、補正済みの複数の分割静止画像群それぞれを、プロジェクタ単位に分割する。補正部2216により通知された、補正済みの複数の分割静止画像群は、それぞれ窓ガラス単位で生成されているため、第2分割部2217では、プロジェクタ単位に分割する。
エンコード部2218は、プロジェクタ単位に分割された補正済みの複数の分割静止画像群を、プロジェクタ単位でエンコード処理し、プロジェクタの数分の複数の投影用動画像を生成する。エンコード部2218は、生成した複数の投影用動画像を識別するための投影用動画像IDと生成日時とを、プロジェクタIDと対応付けて画像情報600に格納する。
送信部2219は、エンコード部2218により生成された複数の投影用動画像を、対応するプロジェクタにそれぞれ送信する。なお、送信部2219が投影用動画像を、対応する各プロジェクタに事前に送信しておくことで、サイネージ制御部373では、投影開始時に、各プロジェクタに対して投影開始指示を送信すれば足りることになる。これにより、各プロジェクタに対して投影開始時に各投影用動画像を送信する構成と比較して、投影用動画像の投影に際して遅延が生じる可能性を低減させることができる。
(2)画像処理の具体例
次に、画像処理部372による画像処理(ステップS802)の具体例について説明する。図23は、画像処理の具体例を示す図である。
図23において、動画像2310は、広告主から提供された動画像ID="C100"の動画像であり、MPEG4形式で画像情報管理部376に格納されている。画像情報取得部2212が、動画像2310を読み出し、反転部2213に通知すると、反転部2213は、動画像2310の左右を反転させ、反転後の動画像2311を生成する。
反転後の動画像2311は、デコード部2214によりデコード処理され、複数の静止画像からなる静止画像群として抽出される。更に、抽出された静止画像群に対しては、第1分割部2215が、サイネージ対象情報500に基づく第1分割処理を行い、複数の分割静止画像群を生成する。
なお、複数の分割静止画像群(分割静止画像群2320_1、2320_2、・・・2320_30)には、それぞれ、分割静止画像群ID(C201、C202、・・・C705)が付される。また、分割静止画像群IDが付された複数の分割静止画像群は、画像情報管理部376に格納される。更に、分割静止画像群IDは、窓IDと対応付けて画像情報600に格納される。
また、複数の分割静止画像群2320_1、2320_2、・・・2320_30に対しては、補正部2216が、それぞれ、対応する補正パラメータを用いて補正を行う。例えば、補正部2216は、分割静止画像群2320_1を、補正パラメータ2330_1(補正パラメータID="P201")を用いて補正する。また、補正部2216は、分割静止画像群2320_2を、補正パラメータ2330_2(補正パラメータID="P202")を用いて補正する。更に、補正部2216は、分割静止画像群2320_30を、補正パラメータ2330_30(補正パラメータID="P705")を用いて補正する。
補正パラメータにより補正された補正済みの分割静止画像群2320_1、2320_2、・・・2320_30は、それぞれ、第2分割部2217により、プロジェクタ単位に分割される。例えば、補正済みの分割静止画像群2320_1は、プロジェクタ310_1a用の分割静止画像群2340_1aと、プロジェクタ310_1b用の分割静止画像群2340_1bとに分割される。
同様に、補正済みの分割静止画像群2320_30は、プロジェクタ310_30a用の分割静止画像群2340_30aと、プロジェクタ310_30b用の分割静止画像群2340_30bとに分割される。
第2分割部2217によりプロジェクタ単位に分割された補正済みの分割静止画像群2340_1a〜2340_30bに対しては、エンコード部2218がエンコード処理を行う。これにより、エンコード部2218は、MPEG4形式の投影用動画像を生成する。
例えば、エンコード部2218は、プロジェクタ310_1a用の分割静止画像群2340_1aをエンコード処理することで、投影用動画像2350_1aを生成する。また、エンコード部2218は、プロジェクタ310_1b用の分割静止画像群2340_1bをエンコード処理することで、投影用動画像2350_1bを生成する。更に、エンコード部2218は、プロジェクタ310_30a用の分割静止画像群2340_30a、プロジェクタ310_30b用の分割静止画像群2340_30bをエンコード処理することで、投影用動画像2350_30a、2350_30bを生成する。
エンコード部2218は、生成した複数の投影用動画像2350_1a〜2350_30bを識別するための投影用動画像ID(M201A、M201B、・・・M705A、M705B)及び生成日時を、プロジェクタIDと対応付けて画像情報600に格納する。
また、送信部2219は、生成された複数の投影用動画像2350_1a〜2350_30bを、対応するプロジェクタに送信する。例えば、送信部2219は、投影用動画像2350_1aを、プロジェクタ310_1aに送信する。また、投影用動画像2350_1bを、プロジェクタ310_1bに送信する。更に、送信部2219は、投影用動画像2350_30aを、プロジェクタ310_30aに、投影用動画像2350_30bを、プロジェクタ310_30bにそれぞれ送信する。
(3)画像処理の流れ
次に、画像処理(ステップS802)の流れについて、図24のフローチャートを用いて説明する。図24は、画像処理の流れを示すフローチャートである。
ステップS2401において、画像情報取得部2212は、画像情報管理部376より動画像を取得する。
ステップS2402において、対象情報取得部2211は、サイネージ対象情報管理部375より、サイネージ対象情報500を取得する。
ステップS2403において、反転部2213は、ステップS2401において取得した動画像に対して、左右反転処理を行う。
ステップS2404において、デコード部2214は、反転後の動画像をデコード処理することで、静止画像群を抽出する。
ステップS2405において、第1分割部2215は、静止画像カウンタnに1を代入する。
ステップS2406において、第1分割部2215は、n番目の静止画像に対して、第1分割処理を行う。なお、第1分割処理(ステップS2406)のフローチャートの詳細は、後述する。
ステップS2407において、第1分割部2215は、全ての静止画像について第1分割処理を行ったか否かを判定する。ステップS2407において、第1分割処理を行っていない静止画像があると判定した場合には(ステップS2407においてNoの場合には)、ステップS2408に進む。ステップS2408において、第1分割部2215は、静止画像カウンタnをインクリメントした後、ステップS2406に戻る。
一方、ステップS2407において、全ての静止画像について第1分割処理を行ったと判定した場合には、ステップS2409に進む。
ステップS2409において、第1分割部2215は、各静止画像について生成した複数の分割静止画像を、同じ窓ガラスに対応する分割静止画像ごとに分けることで、窓ガラス数分の分割静止画像群を生成し、画像情報管理部376に格納する。また、第1分割部2215は、生成した分割静止画像群ごとに分割静止画像群IDを付し、窓IDと対応付けて画像情報600に格納する。
ステップS2410において、補正部2216は、分割静止画像群カウンタmに1を代入する。
ステップS2411において、補正部2216は、ステップS2409において生成された分割静止画像群のうち、m番目の分割静止画像群を、対応する補正パラメータを用いて補正する。
ステップS2412において、第2分割部2217は、補正後のm番目の分割静止画像群について、第2分割処理を行う。
ステップS2413において、第2分割部2217は、ステップS2409において生成された全ての分割静止画像群について、補正処理及び第2分割処理を行ったか否かを判定する。
ステップS2413において、補正処理及び第2分割処理を行っていない分割静止画像群があると判定した場合には(ステップS2413においてNoの場合には)、ステップS2414に進む。
ステップS2414において、補正部2216は、分割静止画像群カウンタmをインクリメントし、ステップS2411に戻る。
一方、ステップS2413において、全ての分割静止画像群について、補正処理及び第2分割処理を行ったと判定した場合には(ステップS2413においてYesの場合には)、ステップS2415に進む。
ステップS2415において、エンコード部2218は、第2分割処理された分割静止画像群を、プロジェクタ単位でエンコード処理することで、プロジェクタの数分の投影用動画像群(コンテンツ)を生成する。また、エンコード部2218は、生成した投影用動画像群(コンテンツ)に含まれる各投影用動画像について、生成日時を画像情報600に格納する。
ステップS2416において、送信部2219は、生成された投影用動画像群に含まれる各投影用動画像を、対応する各プロジェクタに送信する。
(4)第1分割処理の詳細
次に、第1分割処理(ステップS2406)の詳細について図25及び図26を用いて説明する。図25は、第1分割処理の流れを示すフローチャートである。また、図26は、第1分割処理の一例を示す図である。
ステップS2501において、第1分割部2215は、n番目の静止画像を読み出す。図26において、静止画像2600は、第1分割部2215により読み出されたn番目の静止画像であるとする。
ステップS2502において、第1分割部2215は、フロアカウンタfに"2"を代入する。
ステップS2503において、第1分割部2215は、1フロアあたりの窓ガラス数をカウントする窓カウンタgに"1"を代入する。
ステップS2504において、第1分割部2215は、サイネージ対象情報500より、窓ID="Wf0g"の"位置"、"横サイズ"、"縦サイズ"を読み出す。ここでは、fに"2"が代入され、gに"1"が代入されているため、窓ID="W201"の位置((0,0))、横サイズ(x12)、縦サイズ(y12)が読み出される。
ステップS2505において、第1分割部2215は、ステップS2504において読み出した位置、横サイズ、縦サイズを、静止画像2600と所定領域510との対比に応じて、静止画像2600上の画素に変換する。
図26に示すように、本実施形態において、静止画像2600は、横4000画素、縦8000画素で構成されているものとする。この場合、位置="(0,0)"に対応する静止画像2600上の画素は、位置="(0,0)"の画素となる。
また、横サイズ(x12)に対応する静止画像2600上の画素は、(x12/x52)×4000により算出される画素となる。更に、縦サイズ(y12)に対応する静止画像2600上の画素は、(y12/y62)×8000により算出される画素となる。
ステップS2506において、第1分割部2215は、ステップS2505において算出された画素に基づいて特定される矩形領域2601を、静止画像2600より切り出し、分割静止画像を生成する。
ステップS2507において、第1分割部2215は、fフロアの全ての窓ガラスについて、第1分割処理を行ったか否かを判定する。ステップS2507において、第1分割処理を行っていない窓ガラスがあると判定した場合には(ステップS2507においてNoの場合には)、ステップS2508に進む。
ステップS2508において、第1分割部2215は、窓カウンタgをインクリメントした後、ステップS2504に戻る。これにより、gには"2"が代入されることになる。
ステップS2504において、第1分割部2215は、サイネージ対象情報500より、窓ID="W202"の位置((x21,0))、横サイズ(x22−x21)、縦サイズ(y12)を読み出す。
ステップS2505において、第1分割部2215は、ステップS2504において読み出した位置、横サイズ、縦サイズを静止画像2600上の画素に変換する。
図26に示すように、位置((x21,0))に対応する静止画像2600上の画素は、(x21/x52)×4000により算出される画素となる。また、横サイズ(x22−x21)に対応する静止画像2600上の画素は、(x22/x52)×4000により算出される画素となる。更に、縦サイズ(y12)に対応する静止画像2600上の画素は、(y12/y62)×8000により算出される画素となる。
ステップS2506において、第1分割部2215は、ステップS2505において算出された画素に基づいて特定される矩形領域2602を、静止画像2600より切り出し、分割静止画像を生成する。
ステップS2507において、第1分割部2215は、fフロアの全ての窓ガラスについて、第1分割処理を行ったか否かを判定する。ステップS2507において、第1分割処理を行っていない窓ガラスがあると判定した場合には(ステップS2507においてNoの場合には)、ステップS2508に進む。以降、ステップS2506において、矩形領域2605が切り出されるまで、ステップS2504〜S2506の処理が繰り返される。
ステップS2507において、fフロアの全ての窓ガラスについて第1分割処理を行ったと判定した場合には(ステップS2507においてYesの場合には)、ステップS2509に進む。
ステップS2509において、第1分割部2215は、全てのフロアについて第1分割処理を行ったか否かを判定する。ステップS2509において、第1分割処理を行っていないフロアがあると判定した場合には(ステップS2509においてNoの場合には)、ステップS2510に進む。
ステップS2510において、第1分割部2215は、フロアカウンタfをインクリメントした後、ステップS2503に戻る。以降、フロアカウンタf=7において、矩形領域2630が切り出されるまで、ステップS2504〜S2507の処理が繰り返される。
ステップS2509において、全てのフロアについて第1分割処理を行ったと判定した場合には(ステップS2509においてYesの場合には)、図24のステップS2407に戻る。
<9.サイネージ制御処理の詳細>
次に、画像投影システム300におけるサイネージ制御処理(ステップS803)の詳細について説明する。
(1)サイネージ制御部の機能構成
はじめに、サイネージ制御処理を実行する、情報処理装置370のサイネージ制御部373の機能構成について説明する。図27は、情報処理装置のサイネージ制御部の機能構成を示す図である。
図27に示すようにサイネージ制御部373は、同期部2701、開始制御部2702、終了制御部2703を有する。
同期部2701は、時刻情報を出力する。また、同期部2701は、プロジェクタ310_1a〜310_30bと、情報処理装置370との間の時刻を同期させる。具体的には、時刻サーバ360より時刻情報を受信し、出力する時刻情報を修正したうえで、プロジェクタ310_1a〜310_30bに対して、修正した時刻情報を送信する。プロジェクタ310_1a〜310_30bは、同期部2701より時刻情報を受信すると、内部で管理している時刻情報を修正する。これにより、同期部2701は、プロジェクタ310_1a〜310_30bの時刻と、情報処理装置370の時刻とを、正確な時刻情報に基づいて同期させることができる。
開始制御部2702は、スケジュール情報管理部377に格納されたスケジュール情報を読み出し、投影開始時刻を識別する。また、開始制御部2702は、識別した投影開始時刻に基づいて、各サイネージ装置に対して、投影開始時の動作の指示を送信する。
終了制御部2703は、スケジュール情報管理部377に格納されたスケジュール情報を読み出し、投影終了時刻を識別する。また、終了制御部2703は、識別した投影終了時刻に基づいて、各サイネージ装置に対して、投影終了時の動作に関する指示を送信する。
(2)サイネージ制御処理の流れ
次に、サイネージ制御部373によるサイネージ制御処理(ステップS803)の流れについて説明する。図28は、サイネージ制御処理の流れを示すフローチャートである。画像処理部372による画像処理(ステップS802)が完了することで、図28に示すサイネージ制御処理が実行可能となる。なお、図28に示すサイネージ制御処理の開始に際して、スケジュール情報管理部377には、既にスケジュール情報700が格納されているものとする。
ステップS2801において、開始制御部2702は、スケジュール情報管理部377に格納されたスケジュール情報700を読み出す。また、開始制御部2702は、読み出した1のスケジュール情報700に基づいて、投影開始時刻を識別する。
ステップS2802において、開始制御部2702は、識別した投影開始時刻に応じたタイミングで、プロジェクタ310_1a〜310_30bに対して、ランプON指示を送信する。これにより、プロジェクタ310_1a〜310_30bそれぞれのランプがON状態になる。
ステップS2803において、同期部2701は、時刻サーバ360より時刻情報を受信し、情報処理装置370内で管理している時刻情報を修正するとともに、プロジェクタ310_1a〜310_30bに対して、修正した時刻情報を送信する。
ステップS2804において、開始制御部2702は、識別した投影開始時刻に応じたタイミングで、プロジェクタ310_1a〜310_30bに対して、投影開始指示を送信する。これにより、プロジェクタ310_1a〜310_30bそれぞれにおいて、投影用動画像の投影を開始するための処理が行われる。
ステップS2805において、開始制御部2702は、識別した投影開始時刻に応じたタイミングで、電飾装置140_1〜140_6に対して、電飾OFF指示を送信する。これにより、電飾装置140_1〜140_6がOFF状態となる。
ステップS2806において、開始制御部2702は、識別した投影開始時刻に応じたタイミングで、電動スクリーン330_1〜330_30に対して、スクリーンON指示を送信する。これにより、電動スクリーン330_1〜330_30それぞれがON状態となり、光透過面が半透明の状態になる。以上の処理により、1のスケジュール情報に応じたデジタルサイネージが開始される。
デジタルサイネージが開始されると、終了制御部2703は、スケジュール情報管理部377に格納された1のスケジュール情報700を読み出す。また、終了制御部2703は、読み出したスケジュール情報700に基づいて投影終了時刻を識別する。
ステップS2807において、終了制御部2703は、現在時刻が、識別した投影終了時刻に近づいたか否かを判定する。ステップS2807において、投影終了時刻に近づいていないと判定した場合には(ステップS2807においてNoの場合には)、投影終了時刻に近づいたと判定するまで待機する。
一方、ステップS2807において、投影終了時刻に近づいたと判定した場合には(ステップS2807においてYesの場合には)、ステップS2808に進む。
ステップS2808において、終了制御部2703は、識別した投影終了時刻に応じたタイミングで、プロジェクタ310_1a〜310_30bに対して、投影終了指示を送信する。これにより、プロジェクタ310_1a〜310_30bでは、各投影用動画像の投影を終了する。
ステップS2809において、終了制御部2703は、識別した投影終了時刻に応じたタイミングで、電動スクリーン330_1〜330_30に対して、スクリーンOFF指示を送信する。これにより、電動スクリーン330_1〜330_30それぞれがOFF状態となり、光透過面が透明の状態になる。
ステップS2810において、終了制御部2703は、識別した投影開始時刻に応じたタイミングで、電飾装置140_1〜140_6に対して、電飾ON指示を送信する。これにより、電飾装置140_1〜140_6がON状態になる。
ステップS2811において、終了制御部2703は、識別した投影終了時刻に応じたタイミングで、プロジェクタ310_1a〜310_30bに対して、ランプOFF指示を送信する。これにより、プロジェクタ310_1a〜310_30bそれぞれのランプがOFF状態になる。以上の処理により、1のスケジュール情報に応じたデジタルサイネージが終了する。
デジタルサイネージが終了すると、開始制御部2702は、スケジュール情報管理部377に格納されたスケジュール情報700に基づくデジタルサイネージを全て実行したか否かを判定する。
ステップS2812において、未だデジタルサイネージを実行していないスケジュール情報があると判定した場合には(ステップS2812においてNoの場合には)、ステップS2801に戻る。一方、全てのスケジュール情報に基づくデジタルサイネージを実行したと判定した場合には(ステップS2812においてYesの場合には)、サイネージ制御処理を終了する。
<10.まとめ>
以上の説明から明らかなように、本実施形態に係る画像投影システム300では、
・広告主より提供される動画像を反転処理する。また、建物の外面の所定領域に含まれる複数の窓ガラスの位置及び大きさに基づいて、該反転処理した動画像より抽出される各フレームの静止画像を分割し、それぞれの静止画像から複数の分割静止画像を生成する。
・同じ窓ガラスに対応する各フレームの分割静止画像を用いて、窓ガラス数分の分割静止画像群を生成し、画像情報管理部に格納する。
・建物の外面の所定領域に含まれる複数の窓ガラスそれぞれに対応する位置に配置されたプロジェクタを用いて校正処理を行い、校正処理の結果に基づいて生成した補正パラメータを用いて、分割静止画像群を補正する。
・補正した分割静止画像群を、更に、1つの窓ガラスに対応する位置に配置されたプロジェクタの数に応じて分割し、エンコード処理することで、プロジェクタ単位の投影用動画像群を生成する。
・生成した投影用動画像群に含まれる各投影用動画像を、対応するプロジェクタを介して、スケジュール情報に応じたタイミングで複数の窓ガラスに対応する電動スクリーンに投影する。
これにより、複数の光透過面を組み合わせたデジタルサイネージを実現することが可能になる。
また、本実施形態に係る画像投影システム300では、
・校正処理において取得した校正パターン画像についての撮影結果を調整画面に表示し、撮影結果の各頂点位置を調整するための位置調整値の入力を受け付ける。また、電動スクリーンの湾曲形状に伴う撮影結果の歪みを補正するための値として、撮像装置から電動スクリーンの最深部までの距離を正規化した、歪み調整値(湾曲補正強度)の入力を受け付ける。
・位置調整値に基づいて算出される頂点位置の移動量と、湾曲補正強度に基づいて特定される湾曲形状とに基づいて、投影用動画像を補正するための補正パラメータを算出する。
このように、電動スクリーンの湾曲形状に伴う撮影結果の歪みを補正するにあたり、正規化した値を入力する構成とすることで、本実施形態に係る画像投影システム300によれば、歪みを補正するための調整作業を容易に行うことが可能となる。
[その他の実施形態]
上記第1の実施形態では、湾曲補正強度の入力可能な範囲として、初期値の1/2倍から初期値の2倍の範囲を、−100〜100と割り当てるものとしたが、湾曲補正強度の入力可能な範囲はこれに限定されない。
また、上記第1の実施形態では、窓ガラスが内側から外側に向かって湾曲している場合について説明したが、外側から内側に向かって湾曲している場合においても、同様に、湾曲補正強度を用いることができる。
また、上記第1の実施形態では、情報処理装置370が、校正部371、画像処理部372、サイネージ制御部373を有するものとして説明したが、これらの機能の一部は、他のサイネージ装置において実現してもよい。
また、上記第1の実施形態では、建物110の外面の所定領域に含まれる窓ガラスを投影対象として説明したが、投影対象は、窓ガラスに限定されず、他の光透過面であってもよい。また、光透過面は、建物110の外面の所定領域に含まれたものに限定されず、建物110内部の所定領域に含まれる光透過面であってもよいし、また、建物以外の物に取り付けられた光透過面であってもよい。
また、上記第1の実施形態では、サイネージ装置が、プロジェクタ(投影装置)、電動スクリーン、電飾装置を指すものとして説明したが、サイネージ装置はこれに限定されない。例えば、建物110の内部の照明装置や、建物110の外部から建物110の壁面や看板等を照らす照明装置、建物110に設置されたオブジェ、看板等の、既に建物110に設置されている装置が、サイネージ装置に含まれていてもよい。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
110 :建物
120 :窓ガラス群
130 :投影用動画像群
310_1a〜310_30b :プロジェクタ
320_1a〜320_30b :外部メモリ
330_1〜330_30 :電動スクリーン
340 :制御装置
360 :時刻サーバ
370 :情報処理装置
371 :校正部
372 :画像処理部
373 :サイネージ制御部
375 :サイネージ対象情報管理部
376 :画像情報管理部
377 :スケジュール情報管理部
500 :サイネージ対象情報
510 :所定領域
600 :画像情報
700 :スケジュール情報
911 :第1校正部
912 :第2校正部
1400 :調整画面
1410 :撮影結果表示領域
1420〜1450 :調整欄
1460 :湾曲補正強度入力欄
特開2011−135477号公報

Claims (6)

  1. 投影対象となる面の湾曲形状に伴う画像の歪みを補正する補正パラメータを、調整値を用いて算出する校正部と、
    所定領域に含まれる複数の前記面の位置及び大きさに応じて原画像を分割し、前記補正パラメータを用いて補正することで、補正済みの複数の分割画像を生成する分割部と、
    前記複数の面それぞれに対応する投影装置を介して、前記補正済みの複数の分割画像を、前記複数の面に対応する投影面それぞれに投影するよう制御する制御部と、を有し、
    前記校正部は、更に、
    前記面に対応する投影面に投影された校正画像が撮影装置によって撮影された際の、撮影画像を表示するとともに、前記撮影装置から前記投影面の湾曲位置までの距離を増減させる調整値が入力された場合に、該調整値により増減された距離に応じて該撮影画像を画像変換し、画像変換後の撮影画像を表示し
    前記撮影画像の歪みを解消させる調整値入力されることで増減した前記距離に基づいて、前記投影面の湾曲形状を特定する、画像投影システム。
  2. 前記撮影装置から前記投影面の湾曲位置までの距離を中心とする所定範囲について正規化した値、前記調整値として前記校正部に入力されることを特徴とする請求項1に記載の画像投影システム。
  3. 前記校正部は、
    前記調整値に基づいて前記距離が増加した場合、前記撮影画像の歪みが外側方向に変化するように画像変換し、
    前記調整値に基づいて前記距離が減少した場合、前記撮影画像の歪みが内側方向に変化するように画像変換することを特徴とする請求項に記載の画像投影システム。
  4. 投影対象となる面の湾曲形状に伴う画像の歪みを補正する補正パラメータを、調整値を用いて算出する校正部と、
    所定領域に含まれる複数の前記面の位置及び大きさに応じて原画像を分割し、前記補正パラメータを用いて補正することで、補正済みの複数の分割画像を生成する分割部と、
    前記複数の面それぞれに対応する投影装置を介して、前記補正済みの複数の分割画像を、前記複数の面に対応する投影面それぞれに投影するよう制御する制御部と、を有し、
    前記校正部は、更に、
    前記面に対応する投影面に投影された校正画像が撮影装置によって撮影された際の、撮影画像を表示するとともに、前記撮影装置から前記投影面の湾曲位置までの距離を増減させる調整値が入力された場合に、該調整値により増減された距離に応じて該撮影画像を画像変換し、画像変換後の撮影画像を表示し
    前記撮影画像の歪みを解消させる調整値入力されることで増減した前記距離に基づいて、前記投影面の湾曲形状を特定する、情報処理装置。
  5. 投影対象となる面の湾曲形状に伴う画像の歪みを補正する補正パラメータを、調整値を用いて算出する校正工程と、
    所定領域に含まれる複数の前記面の位置及び大きさに応じて原画像を分割し、前記補正パラメータを用いて補正することで、補正済みの複数の分割画像を生成する分割工程と、
    前記複数の面それぞれに対応する投影装置を介して、前記補正済みの複数の分割画像を、前記複数の面に対応する投影面それぞれに投影するよう制御する制御工程と、を有し、
    前記校正工程は、更に、
    前記面に対応する投影面に投影された校正画像が撮影装置によって撮影された際の、撮影画像を表示するとともに、前記撮影装置から前記投影面の湾曲位置までの距離を増減させる調整値が入力された場合に、該調整値により増減された距離に応じて該撮影画像を画像変換し、画像変換後の撮影画像を表示し
    前記撮影画像の歪みを解消させる調整値入力されることで増減した前記距離に基づいて、前記投影面の湾曲形状を特定する、画像投影方法。
  6. 投影対象となる面の湾曲形状に伴う画像の歪みを補正する補正パラメータを、調整値を用いて算出する校正工程と、
    所定領域に含まれる複数の前記面の位置及び大きさに応じて原画像を分割し、前記補正パラメータを用いて補正することで、補正済みの複数の分割画像を生成する分割工程と、
    前記複数の面それぞれに対応する投影装置を介して、前記補正済みの複数の分割画像を、前記複数の面に対応する投影面それぞれに投影するよう制御する制御工程と、をコンピュータに実行させるためのプログラムであって、
    前記校正工程は、更に、
    前記面に対応する投影面に投影された校正画像が撮影装置によって撮影された際の、撮影画像を表示するとともに、前記撮影装置から前記投影面の湾曲位置までの距離を増減させる調整値が入力された場合に、該調整値により増減された距離に応じて該撮影画像を画像変換し、画像変換後の撮影画像を表示し
    前記撮影画像の歪みを解消させる調整値入力されることで増減した前記距離に基づいて、前記投影面の湾曲形状を特定する、プログラム。
JP2016169182A 2016-08-31 2016-08-31 画像投影システム、情報処理装置、画像投影方法及びプログラム Expired - Fee Related JP6769179B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016169182A JP6769179B2 (ja) 2016-08-31 2016-08-31 画像投影システム、情報処理装置、画像投影方法及びプログラム
US15/692,004 US10298892B2 (en) 2016-08-31 2017-08-31 Image projecting system, information processing apparatus, and method for image projecting

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016169182A JP6769179B2 (ja) 2016-08-31 2016-08-31 画像投影システム、情報処理装置、画像投影方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2018037837A JP2018037837A (ja) 2018-03-08
JP6769179B2 true JP6769179B2 (ja) 2020-10-14

Family

ID=61244148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016169182A Expired - Fee Related JP6769179B2 (ja) 2016-08-31 2016-08-31 画像投影システム、情報処理装置、画像投影方法及びプログラム

Country Status (2)

Country Link
US (1) US10298892B2 (ja)
JP (1) JP6769179B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6784944B2 (ja) * 2018-03-26 2020-11-18 カシオ計算機株式会社 投影制御装置、マーカ検出方法及びプログラム
JP6550162B1 (ja) 2018-03-29 2019-07-24 中村 一人 タクシー配車システム及びタクシー配車方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6310650B1 (en) * 1998-09-23 2001-10-30 Honeywell International Inc. Method and apparatus for calibrating a tiled display
JP3497805B2 (ja) * 2000-08-29 2004-02-16 オリンパス株式会社 画像投影表示装置
JP3959740B2 (ja) * 2001-07-30 2007-08-15 ソニー株式会社 プロジェクタおよび画像補正方法
ATE407516T1 (de) * 2003-03-26 2008-09-15 Matsushita Electric Works Ltd Verfahren zur bereitstellung von helligkeitsfilter, und system zur schaffung eines virtualraums
JP4501481B2 (ja) * 2004-03-22 2010-07-14 セイコーエプソン株式会社 マルチプロジェクションシステムのための画像補正方法
US20080136976A1 (en) * 2004-09-01 2008-06-12 Olympus Corporation Geometric Correction Method in Multi-Projection System
JP2006109088A (ja) * 2004-10-05 2006-04-20 Olympus Corp マルチプロジェクションシステムにおける幾何補正方法
KR100741251B1 (ko) * 2005-07-11 2007-07-19 최해용 분할 투사 영상시스템
US7717569B2 (en) * 2006-04-13 2010-05-18 Nokia Corporation Projector screen with one or more markers
US20080129894A1 (en) * 2006-12-02 2008-06-05 Electronics And Telecommunications Research Institute Geometric calibration apparatus for correcting image distortions on curved screen, and calibration control system and method using the same
JP2009200683A (ja) * 2008-02-20 2009-09-03 Seiko Epson Corp 画像処理装置、プロジェクタ、歪み補正方法
JP2010206671A (ja) * 2009-03-05 2010-09-16 Seiko Epson Corp プロジェクターおよびプロジェクターシステム
US8274613B2 (en) * 2009-08-27 2012-09-25 Seiko Epson Corporation Display masks for display and calibration in projector-based display systems
JP5560771B2 (ja) * 2010-02-26 2014-07-30 セイコーエプソン株式会社 画像補正装置、画像表示システム、画像補正方法
FR2959023B1 (fr) * 2010-04-20 2012-05-25 Thales Sa Systeme de visualisation multi-projecteurs asservi
JP6299124B2 (ja) * 2013-09-13 2018-03-28 株式会社リコー 投影システム、画像処理装置、投影方法およびプログラム
JP2015173428A (ja) * 2014-02-19 2015-10-01 株式会社リコー 投影システム及び投影方法
CN107113391B (zh) * 2014-12-17 2021-01-12 索尼公司 信息处理装置和方法
US9904162B2 (en) * 2015-03-02 2018-02-27 Reald Inc. Multiple projector imaging system
US9948908B2 (en) * 2015-03-09 2018-04-17 Sony Corporation Display control device and display control method
JP6554873B2 (ja) * 2015-03-31 2019-08-07 株式会社リコー 投影システム、画像処理装置、校正方法およびプログラム
JP2016224172A (ja) * 2015-05-28 2016-12-28 株式会社リコー 投影システム、画像処理装置、校正方法およびプログラム
JP2017083550A (ja) 2015-10-26 2017-05-18 株式会社リコー 情報処理装置、画像投影システムおよびプログラム
US20170154452A1 (en) 2015-11-30 2017-06-01 Taeko Ishizu Display apparatus, display control method, and recording medium
JP6798108B2 (ja) * 2016-01-20 2020-12-09 セイコーエプソン株式会社 画像投射システム、及び、画像投射システムの制御方法

Also Published As

Publication number Publication date
JP2018037837A (ja) 2018-03-08
US10298892B2 (en) 2019-05-21
US20180063491A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
JP2591770B2 (ja) 実時間像発生システムに於ける包括的な歪み補正
US9456172B2 (en) System and method for correcting optical distortions when projecting 2D images onto 2D surfaces
KR101347270B1 (ko) 항공영상이미지의 편집을 위한 고정밀 영상도화 제작시스템
JP6769179B2 (ja) 画像投影システム、情報処理装置、画像投影方法及びプログラム
CN104427325A (zh) 快速集成图像生成方法及与用户交互的裸眼三维显示***
WO2007083494A1 (ja) 図形認識装置、図形認識方法および図形認識プログラム
US9754376B1 (en) Method and apparatus for generating a structured light speckle encoded pattern
Happ et al. Multiresolution segmentation: a parallel approach for high resolution image segmentation in multicore architectures
JP7461504B2 (ja) モデル生成方法、画像透視図の決定方法、装置、ディバイス及び媒体
CN114758337B (zh) 一种语义实例重建方法、装置、设备及介质
WO2023160513A1 (zh) 3d素材的渲染方法、装置、设备及存储介质
US20150262392A1 (en) Method and apparatus for quickly generating natural terrain
JP6454332B2 (ja) 透明体の屈折力を決定する方法及びその装置
KR102025113B1 (ko) LiDAR를 이용한 이미지 생성 방법 및 이를 위한 장치
CN108508795A (zh) 用于投影仪的控制方法和装置
JP6274962B2 (ja) 情報処理装置、制御方法、プログラム及び記録媒体
EP3794910B1 (en) A method of measuring illumination, corresponding system, computer program product and use
CN103150749B (zh) 用于多层体积光线投射的方法、***和装置
US20190156465A1 (en) Converting Imagery and Charts to Polar Projection
US11321832B2 (en) Image analysis device
US9014492B2 (en) Real-time image reconstruction
JP4839918B2 (ja) コンピュータ生成画像の校正システム、および、その方法
CN111028357A (zh) 增强现实设备的软阴影处理方法和装置
JP7448693B2 (ja) 複数のドメインデータセットを用いた機械学習の予測の生成
Mohammed et al. Visualize this: lessons from the front-lines of high performance visualization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200907

R151 Written notification of patent or utility model registration

Ref document number: 6769179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees