JP5916365B2 - 映像送信システム、映像送信方法及びコンピュータプログラム - Google Patents

Description

撮像した映像を加工する技術に関する。

ライブハウスやイベント会場などで撮影された動画像（映像）を、ほぼ同時刻に遠隔地で見ることを可能とする映像配信システムが提案されている。特許文献１に開示された映像配信システムは、以下のような構成である。カメラは、ライブハウスで行われるライブを撮影し、映像データをリアルタイムに配信サーバへ送信する。配信サーバは、ライブ中のアーティストのライブ映像の視聴をユーザ端末から要求された場合、カメラから継続的に受信している映像データをユーザ端末に配信する。

特開２０１１−１０３５２２号公報

しかしながら、ライブハウスやイベント会場（以下、単に「会場」という。）で撮影された映像をそのままユーザ端末に表示させると、種々の問題を生じる場合がある。例えば、会場における来場者の視点位置に応じた演出を行った場合に、異なる視点位置から撮影された会場の映像をそのままユーザ端末に表示させると、映像に演出がうまく反映されず、ユーザ端末の視聴者に違和感を与えることがある。

上記事情に鑑み、本発明は、会場における来場者の視野の映像と、ユーザ端末の視聴者に配信される映像とを異ならせることを可能とする技術の提供を目的としている。

本発明の一態様は、出演者の近辺に配置された画像表示装置の全部又は一部と、前記出演者と、を含む映像を撮像する撮像装置から前記映像の入力を受け付ける映像入力部と、前記映像のうち、前記画像表示装置が撮像されている部分の一部又は全てに対してマスク処理を行うマスク処理部と、前記マスク処理がなされた前記映像を、ネットワークを介して送信する送信部と、を備える映像送信システムである。

本発明の一態様は、上記の映像送信システムであって、前記前記画像表示装置は、前記撮像装置によって撮像された映像の一部又は全てを表示する。

本発明の一態様は、上記の映像送信システムであって、前記マスク処理部は、前記映像において、前記画像表示装置が撮像されている部分をマスク部分として判定し、前記マスク部分に対して他の画像を合成する。

本発明の一態様は、出演者の近辺に配置された画像表示装置の全部又は一部と、前記出演者と、を含む映像を撮像する撮像装置から前記映像の入力を受け付ける映像入力ステップと、前記映像のうち、前記画像表示装置が撮像されている部分の一部又は全てに対してマスク処理を行うマスク処理ステップと、前記マスク処理がなされた前記映像を、ネットワークを介して送信する送信ステップと、を有する映像送信方法である。

本発明の一態様は、出演者の近辺に配置された画像表示装置の全部又は一部と、前記出演者と、を含む映像を撮像する撮像装置から前記映像の入力を受け付ける映像入力ステップと、前記映像のうち、前記画像表示装置が撮像されている部分の一部又は全てに対してマスク処理を行うマスク処理ステップと、前記マスク処理がなされた前記映像を、ネットワークを介して送信する送信ステップと、をコンピュータに実行させるためのコンピュータプログラムである。

本発明により、会場における来場者の視野の映像と、ユーザ端末の視聴者に配信される映像とを異ならせることが可能となる。

本発明の第一実施形態（配信システム１）のシステム構成を表すシステム構成図である。 第一実施形態における会場表示制御システム４０の機能構成を示す概略ブロック図である。 第一実施形態における映像送信システム５０の機能構成を示す概略ブロック図である。 第一実施形態における会場設備１０の状態の具体例を示す図である。 マスク部分判定部５０２の処理の概略を示す図である。 第一実施形態における配信システム１において生成される画像の具体例を示す図である。 第一実施形態（配信システム１）における処理の流れを示すシーケンス図である。 本発明の第二実施形態（配信システム１ａ）のシステム構成を表すシステム構成図である。 第二実施形態における会場表示制御システム４０ａの機能構成を示す概略ブロック図である。 第二実施形態における映像送信システム５０ａの機能構成を示す概略ブロック図である。 第二実施形態における会場設備１０の状態の具体例を示す図である。 第二実施形態における配信システム１ａにおいて生成される画像の具体例を示す図である。 第二実施形態（配信システム１ａ）における処理の流れを示すシーケンス図である。

［第一実施形態］
図１は、本発明の第一実施形態（配信システム１）のシステム構成を表すシステム構成図である。配信システム１は、会場設備１０、撮像装置３０、会場表示制御システム４０、映像送信システム５０を備える。配信システム１によって生成された映像のデータは、映像送信システム５０によってネットワーク６０を介して端末装置７０へ配信される。

会場設備１０は、ステージ１０１、画像表示装置１０２を備える。
ステージ１０１は、出演者２０が位置する場所である。
画像表示装置１０２は、表示面を有した装置であり、会場表示制御システム４０の表示制御部４０２の制御に応じて表示面に画像を表示する。表示面は、例えばＬＥＤ（Light Emitting Diode）を複数配列することによって構成されても良いし、表示装置を複数配列することによって構成されても良いし、他の態様で構成されても良い。画像表示装置１０２は、ステージ１０１の近辺に配置される。画像表示装置１０２は、会場に設けられた客席２０１及び撮像装置３０から表示面を見ることができるように、客席２０１及び撮像装置３０へ表示面を向けて配置される。また、画像表示装置１０２は、その一部又は全部を、客席２０１に位置する来場者が出演者２０と同時に見ることができるように（すなわち同一視野に入るように）配置される。同様に、画像表示装置１０２は、その一部又は全部を、撮像装置３０が出演者２０と同時に撮像できるように（すなわち同一視野に入るように）配置される。図１の例では、画像表示装置１０２は、客席２０１及び撮像装置３０から見てステージ１０１の後方に配置される。

出演者２０は、ステージ上１０１で来場者に対する演出を行う者である。出演者２０は、人間や動物などの生物であっても良いし、ロボット等の装置であっても良い。
撮像装置３０は、出演者２０と、画像表示装置１０２の全部又は一部を撮像する。撮像装置３０は、撮像した映像を、会場表示制御システム４０及び映像送信システム５０に対して出力する。

会場表示制御システム４０は、画像表示装置１０２を制御し、撮像装置３０によって撮像された映像を表示面に表示させる。
映像送信システム５０は、撮像装置３０によって撮像された映像に対してマスク処理を行うことによってマスク映像データを生成する。映像送信システム５０は、ネットワーク６０を介して端末装置７０と通信可能である。映像送信システム５０は、マスク映像データを端末装置７０に対して送信する。

ネットワーク６０は、インターネット等の広域ネットワークであっても良いし、ＬＡＮ（Local Area Network）や無線ＬＡＮなどの狭域ネットワーク（構内ネットワーク）であっても良い。
端末装置７０は、携帯電話機、スマートフォン、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、ゲーム装置、テレビ受像機、専用端末装置などである。端末装置７０は、ネットワーク６０を介して映像送信システム５０からマスク映像データを受信し、受信したマスク映像データを表示する。

次に、会場表示制御システム４０及び映像送信システム５０について詳細に説明する。
図２は、第一実施形態における会場表示制御システム４０の機能構成を示す概略ブロック図である。会場表示制御システム４０は、１台又は複数台の情報処理装置によって構成される。例えば、会場表示制御システム４０が一台の情報処理装置で構成される場合、情報処理装置は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、会場表示制御プログラムを実行する。会場表示制御プログラムの実行によって、情報処理装置は、映像入力部４０１、表示制御部４０２を備える装置として機能する。なお、会場表示制御システム４０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。また、会場表示制御システム４０は、専用のハードウェアによって実現されても良い。会場表示制御プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。

映像入力部４０１は、撮像装置３０によって撮像された映像を画像表示制御システム４０に入力する。
表示制御部４０２は、映像入力部４０１によって入力された映像を画像表示装置１０２に表示させる。画像表示装置１０２には、撮像装置３０によって撮像された映像（例えば出演者２０の姿など）がほとんど遅延無く表示される。

図３は、第一実施形態における映像送信システム５０の機能構成を示す概略ブロック図である。映像送信システム５０は、１台又は複数台の情報処理装置によって構成される。例えば、映像送信システム５０が１台の情報処理装置で構成される場合、情報処理装置は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、映像送信プログラムを実行する。映像送信プログラムの実行によって、情報処理装置は、映像入力部５０１、マスク部分判定部５０２、マスク画像生成部５０３、合成部５０４、送信部５０５を備える装置として機能する。なお、映像送信システム５０の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。また、映像送信システム５０は、専用のハードウェアによって実現されても良い。映像送信プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。

映像入力部５０１は、撮像装置３０によって撮像された映像を映像送信システム５０に入力する。以下、映像入力部５０１によって入力された映像を「入力映像」という。
マスク部分判定部５０２は、入力映像の画像平面上でマスクすべき部分（以下、「マスク部分」という。）を所定のタイミング毎に判定する。マスク部分は、入力映像において、画像表示装置１０２が撮影されている部分の一部又は全てである。所定のタイミングは、例えばフレーム毎であっても良いし、所定数のフレーム毎であっても良いし、フレーム内の変化が閾値を超えたタイミングであっても良いし、他のタイミングであっても良い。

マスク画像生成部５０３は、マスク部分判定部５０２によって判定されたマスク部分をマスクするための画像（以下、「マスク画像」という。）を生成する。
合成部５０４は、入力映像にマスク画像を合成することによって、マスクされた映像のデータ（以下、「マスク映像データ」という。）を生成する。合成部５０４は、マスク映像データを送信部５０５に出力する。
送信部５０５は、合成部５０４によって生成されたマスク映像データを、ネットワーク６０を介して端末装置７０に送信する。

図４は、第一実施形態における会場設備１０の状態の具体例を示す図である。図４の例では、ステージ１０１上で出演者２０が演出を行っている。ステージ１０１上の出演者２０の近辺には、奥側に画像表示装置１０２が配置されている。さらに、ステージ１０１の出演者２０の近辺には、天井１０３、左壁１０４、右壁１０５が配置されている。撮像装置３０は、会場設備１０及び出演者２０を撮像している。撮像装置３０によって撮像された映像は、会場表示制御システム４０によって画像表示装置１０２に表示されている。上述したように、画像表示装置１０２には撮像された映像がほとんど遅延無く表示されるため、出演者２０の姿と画像表示装置１０２に表示されている姿とは殆ど一致している。

図５は、マスク部分判定部５０２の処理の概略を示す図である。マスク部分判定部５０２は、例えば画像表示装置１０２が撮影されている部分をマスク部分として判定する。本実施形態の会場設備１０では、画像表示装置１０２はステージ１０１の奥側の壁面として配置されている。そのため、画像表示装置１０２が撮影されている部分（図５の符号８０１で示される部分）を、マスク部分判定部５０２がマスク部分として判定する。
以下、マスク部分判定部５０２がマスク部分を判定する処理の複数の具体例について説明する。

（第１判定方法）
以下、マスク部分判定部５０２の処理の具体例のうち、第１判定方法について説明する。配信システム１には、図１に示される各設備に加えて更に、距離画像撮像装置が備えられる。距離画像撮像装置の視点位置及び視野は、撮像装置３０が撮像する視点位置及び視野とほとんど同じように設定される。距離画像撮像装置は、入力映像の各フレームに対する距離画像を撮像する。距離画像とは、各画素値として、距離画像撮像装置の視点位置からその画素に写っている物体までの間の距離を有する画像である。距離画像撮像装置は、繰り返し測距を行うことによって各タイミングでの距離画像を生成し出力する。

マスク部分判定部５０２は、距離画像撮像装置によって撮像された距離画像の入力を受ける。マスク部分判定部５０２は、距離の値に関する閾値を予め記憶している。マスク部分判定部５０２は、距離画像の各画素値と閾値とを比較し、各画素について画像表示装置１０２が撮影された画素であるか否か判定する。画像表示装置１０２が撮影された画素と判定された場合、その画素には、画像表示装置１０２よりも手前に位置する人（例えばステージ１０１上の出演者２０）や物（例えばステージ上１０１に設置された機材）が撮影されている。マスク部分判定部５０２は、画像表示装置１０２が撮影された画素を、マスク部分の一部であると判定する。マスク部分判定部５０２は、距離画像の全ての画素について判定を行い、マスク部分を判定する。

このような第１判定方法は、マスクすべき対象物（画像表示装置１０２）が、距離画像撮像装置からの距離が略一定に構成される場合に有効である。例えば、画像表示装置１０２が、図４に示すようにステージ１０１の奥側に設置された略平面として構成される場合に有効である。

（第２判定方法）
以下、マスク部分判定部５０２の処理の具体例のうち、第２判定方法について説明する。第２判定方法においても、配信システム１に距離画像撮像装置が備えられ、その構成は上述した通りである。

マスク部分判定部５０２は、距離画像撮像装置によって撮像された距離画像の入力を受ける。マスク部分判定部５０２、画素毎に、距離の値に関する閾値を予め記憶している。マスク部分判定部５０２は、距離画像の画素毎に、その画素に対応した閾値と画素値とを比較し、各画素について画像表示装置１０２が撮影された画素であるか否か判定する。画像表示装置１０２が撮影された画素と判定された場合、その画素には、画像表示装置１０２よりも手前に位置する人（例えばステージ１０１上の出演者２０）や物（例えばステージ上１０１に設置された機材）が撮影されている。マスク部分判定部５０２は、画像表示装置１０２が撮影された画素を、マスク部分の一部であると判定する。マスク部分判定部５０２は、距離画像の全ての画素について判定を行い、マスク部分を判定する。

このような第２判定方法は、マスクすべき対象物（画像表示装置１０２）が、距離画像撮像装置からの距離が一定に構成されない場合に有効である。例えば、画像表示装置１０２が、図４に示す左壁１０４や右壁１０５にも配置された場合、画像表示装置１０２と距離画像撮像装置との間の距離は大きな幅を有する。このような場合であっても、画像表示装置１０２が撮影された画素であるか否かを適切に判定することが可能となる。

（第３判定方法）
以下、マスク部分判定部５０３の処理の具体例のうち、第３判定方法について説明する。第３判定方法では、距離画像撮像装置に代えて、所定波長光受光装置を備える。また、第３判定方法では、画像表示装置１０２は、可視光線とは異なる波長の光を発光する発光素子（以下、「判定用発光素子」という。）を備える。判定用発光素子は、画像表示装置１０２の全体にわたって配置される。配置される判定用発光素子同士の間隔は、所定波長光受光装置の視野や解像度などとの関係で適宜設定されることが望ましい。

所定波長光受光装置の視点位置及び視野は、撮像装置３０が撮像する視点位置及び視野とほとんど同じように設定される。所定波長光受光装置は、判定用発光素子によって発光された光と他の波長の光とを区別するための画像（以下、「判定用画像」という。）を生成する。所定波長光受光装置は、例えば自装置の受光素子の前に、判定用発光素子が発する波長の光のみを通過させるフィルタを備えることによって、判定用画像を生成しても良い。所定波長光受光装置は、入力映像の各フレームに対する判定用画像を撮像する。所定波長光受光装置は、繰り返し受光を行うことによって各タイミングでの判定用画像を生成し出力する。

マスク部分判定部５０３は、所定波長光受光装置によって生成された判定用画像の入力を受ける。マスク部分判定部５０３は、判定用画像のうち、判定用発光素子によって発光された光が撮像された画素を、画像表示装置１０２が撮影された画素であると判定する。画像表示装置１０２が撮影された画素と判定された場合、その画素には、画像表示装置１０２よりも手前に位置する人（例えばステージ１０１上の出演者２０）や物（例えばステージ上１０１に設置された機材）が撮影されている。マスク部分判定部５０２は、画像表示装置１０２が撮影された画素を、マスク部分の一部であると判定する。マスク部分判定部５０２は、距離画像の全ての画素について判定を行い、マスク部分を判定する。

このような第３判定方法は、マスクすべき対象物（画像表示装置１０２）が、距離画像撮像装置からの距離が一定に構成されない場合に有効である。例えば、画像表示装置１０２が、図４に示す左壁１０４や右壁１０５にも配置された場合、画像表示装置１０２と距離画像撮像装置との間の距離は大きな幅を有する。このような場合であっても、画像表示装置１０２が撮影された画素であるか否かを適切に判定することが可能となる。

以上、マスク部分判定部５０２がマスク部分を判定する処理の具体例について説明したが、マスク部分判定部５０２は上述した方法とは異なる方法によってマスク部分を判定しても良い。

図６は、第一実施形態における配信システム１において生成される画像の具体例を示す図である。図６（Ａ）は、撮像装置３０によって生成される映像の具体例を示す図である。図６（Ｂ）は、マスク画像の具体例を示す図である。図６（Ｃ）は、合成部５０４によって生成されるマスク映像データの具体例を示す図である。

図７は、第一実施形態（配信システム１）における処理の流れを示すシーケンス図である。撮像装置３０は、画像表示装置１０２や出演者２０を撮像する（ステップＳ１０１）。撮像装置３０によって撮像された映像は、例えば図６（Ａ）に示されるような映像である。撮像装置３０は、撮像した映像を、会場表示制御システム４０及び映像送信システム５０に対して出力する。

会場表示制御システム４０は、撮像装置３０によって撮像された映像を、画像表示装置１０２の表示面に表示させる（ステップＳ２０１）。このとき、会場表示制御システム４０の表示制御部４０２は、撮像された映像のうち、一部（例えば出演者２０が撮影されている部分）を拡大して画像表示装置１０２に表示しても良い。このような制御が行われることによって、図６（Ａ）に示すように、画像表示装置１０２に大きく出演者２０の姿を表示させることが可能となる。

映像送信システム５０のマスク部分判定部５０２は、撮像装置３０によって撮像された映像に基づいて、マスク部分を判定する（ステップＳ３０１）。マスク画像生成部５０３は、マスク部分判定部５０２によって判定されたマスク部分をマスクするための画像（マスク画像）を生成する（ステップＳ３０２）。図６（Ａ）の映像に基づいて生成されるマスク画像は、例えば図６（Ｂ）に示されるようなマスク画像である。図６（Ｂ）に示されるマスク画像は、白い画素と黒い画素の二値画像として生成される。マスク画像のうち白い画素の部分は、合成された後に映像がそのまま表示される。一方、マスク画像のうち黒い画素の部分は、合成された後に映像がマスクされ、他の映像が表示される。例えば、黒い画素の部分は、白い画素で埋められても良いし、予め用意されている画像に置き換えられても良い。

合成部５０４は、入力映像にマスク映像を合成することによってマスク映像データを生成する（ステップＳ３０３）。合成部５０４によって生成されるマスク映像データは、例えば図６（Ｃ）に示されるような映像のデータである。図６（Ｃ）に示されるマスク映像データの例では、マスク画像の黒い画素の部分には、予め同じ撮像条件（視点位置、視野角など）で撮像装置３０によって撮像されたマスク用画像が合成されている。マスク用画像は、画像表示装置１０２に何も表示を行っていない状態で撮像された画像であっても良いし、画像表示装置１０２に所定の画像（例えばロゴマークや風景の画像など）を表示している状態で撮像された画像であっても良い。
送信部５０５は、合成部５０４によって生成されたマスク映像データを、ネットワーク６０を介して端末装置７０に送信する（ステップＳ３０４）。

このように構成された配信システム１では、会場における来場者の視野の映像と、ユーザ端末の視聴者に配信される映像とを異ならせることが可能となる。すなわち以下の通りである。会場における来場者の視野に写る映像では、ステージ１０１上にいる出演者２０の姿と、画像表示装置１０２に表示されている映像とが一緒に映る。一方、ユーザ端末の視聴者に配信される映像では、ステージ１０１上に出演者２０の姿は映るものの、画像表示装置１０２の全部又は一部（マスク部分に相当する部分）に表示されている映像は映らない。そのため、会場で撮像された映像をそのまま端末装置に表示させた際に生じうる種々の問題を解決できる。

例えば、生身の出演者２０の姿と、画像表示装置１０２に表示された出演者２０の姿とが同時に視界に入っても会場の来場者は違和感が生じにくい。これに対し、端末装置７０上で閲覧する場合には、違和感が生じやすい。このような問題に対し、配信システム１では、端末装置７０上で閲覧される映像には、画像表示装置１０２の全部又は一部がマスクされるため、生身の出演者２０の姿と、画像表示装置１０２に表示された出演者２０の姿とが同時に視界に入ることが制限される。そのため、上記の違和感を生じにくくすることが可能となる。

また、会場では、その場の雰囲気に応じた演出や、現場だからこそ違和感なく感じることができる演出を行う場合がある。そのような場合に、会場の映像をそのまま端末装置に表示させると、端末装置の視聴者に違和感を与える場合がある。より具体的には、以下のような問題がある。会場で撮影した映像にコンピュータグラフィック（ＣＧ）等を合成して端末装置７０のユーザに配信する場合、ＣＧに対応する画像を会場設備１０の画像表示装置１０２に表示することがある。画像表示装置１０２に表示された画像をそのまま端末装置７０に配信してしまうと、画像表示装置１０２に表示された映像とＣＧを合成した映像とが、内容的、位置的に重複してしまう。そのため、端末装置７０のユーザにとって斬新な映像を提供する際の妨げになっていた。このような問題に対しても、上述したように、画像表示装置１０２の全部又は一部をマスクすることによって、違和感を生じにくくすることが可能となる。

＜変形例＞
画像表示装置１０２の配置位置は、ステージ１０１の後方に限定される必要は無く、ステージ１０１の脇（側方）や天井などに配置されても良い。すなわち、図４における左壁１０４及び右壁１０５が画像表示装置として構成されても良い。この場合、左壁１０４、画像表示装置１０２、右壁１０５が一つの画像表示装置として構成されても良い。
距離画像撮像装置は、撮像装置３０と一体の装置として構成されても良い。
会場表示制御システム４０の表示制御部４０２は、撮像装置３０によって撮像された映像をそのまま画像表示装置１０２に表示させるのではなく、撮像装置３０によって撮像された映像を加工して画像表示装置１０２に表示させても良い。例えば、表示制御部４０２は、撮像装置３０によって撮像された映像に対し、画像や文字などを付加する加工を行っても良い。この場合、会場では見ることのできる画像や文字を、端末装置７０のユーザに対して閲覧できないようにすることが可能となる。また、合成部５０４は、表示制御部４０２によって付加された画像や文字などを、マスク映像データに対して付加する加工を行っても良い。

［第二実施形態］
図８は、本発明の第二実施形態（配信システム１ａ）のシステム構成を表すシステム構成図である。図８において、第一実施形態と同じ構成には図１と同じ符号を付して表し、その説明を省く。

配信システム１ａは、会場表示制御システム４０に代えて会場表示制御システム４０ａを備える点、映像送信システム５０に代えて映像送信システム５０ａを備える点、で第一実施形態（配信システム１）と異なり、他の構成は同様である。配信システム１ａでは、会場表示制御システム４０ａは、映像送信システム５０ａに対して画像のデータを送信する。

図９は、第二実施形態における会場表示制御システム４０ａの機能構成を示す概略ブロック図である。第二実施形態における会場表示制御システム４０ａは、位置検出部４１１、追加画像生成部４１２、合成部４１３をさらに備える点、表示制御部４０２に代えて表示制御部４０２ａを備える点で、第一実施形態における会場表示制御システム４０と異なり、他の構成は第一実施形態における会場表示制御システム４０と同様である。

位置検出部４１１は、出演者２０の位置を検出する。位置検出部４１１は、出演者２０の位置を表す情報（以下、「位置情報」という。）を生成し、追加画像生成部４１２に出力する。位置検出部４１１は、既存のどのような方法によって位置情報を取得しても良い。位置検出処理の具体例として以下のような処理がある。位置検出部４１１は、映像において出演者２０の顔追跡処理を行うことによって出演者２０の位置を検出しても良い。位置検出部４１１は、距離画像撮像装置によって生成される距離画像と、初期値画像（ステージ１０１に出演者２０がいない状態で撮像された距離画像）との差分を算出することによって出演者２０の位置を検出しても良い。位置検出部４１１は、出演者２０によって所持される位置検出用装置２１の位置を出演者２０の位置として検出しても良い。この場合、位置検出部４１１は、例えば位置検出用装置２１から出力される赤外線や信号を受信することによって位置検出用装置２１の位置を検出しても良い。

追加画像生成部４１２は、映像入力部４０１によって入力される映像に対して追加する（合成する）画像（以下、「追加画像」という。）を、位置情報に応じて生成する。追加画像生成部４１２は、生成した画像を合成部４１３に出力する。追加画像生成部４１２が行う追加画像生成処理の複数の具体例について説明する。

（第１画像生成法）
追加画像生成部４１２は、画像記憶装置を備える。画像記憶装置は、一種類の画像のみを記憶する。追加画像生成部４１２は、画像記憶装置から画像を読み出す。追加画像生成部４１２は、位置検出部４１１によって生成された位置情報に応じて、読み出した画像の配置位置を変更して追加画像を生成する。そして、追加画像生成部４１２は、追加画像を合成部４１３に出力する。

（第２画像生成法）
追加画像生成部４１２は、画像記憶装置を備える。画像記憶装置は、位置情報と画像とを対応付けたレコードを複数記憶する。追加画像生成部４１２は、位置検出部４１１によって生成された位置情報に応じた画像を画像記憶装置から読み出す。追加画像生成部４１２は、読み出した画像を追加画像として合成部４１３に出力する。

（第３画像生成法）
追加画像生成部４１２は、画像記憶装置を備える。画像記憶装置は、位置情報と画像とを対応付けたレコードを複数記憶する。追加画像生成部４１２は、位置検出部４１１によって生成された位置情報に応じた画像を画像記憶装置から読み出す。追加画像生成部４１２は、位置検出部４１１によって生成された位置情報に応じて、読み出した画像の配置位置を変更して追加画像を生成する。追加画像生成部４１２は、生成した追加画像を合成部４１３に出力する。

以上、追加画像生成部４１２が追加画像を生成する処理の具体例について説明したが、追加画像生成部４１２は上述した方法とは異なる方法によって追加画像を生成しても良い。
また、追加画像生成部４１２は、画像記憶装置から読み出した画像と位置情報とを、映像送信システム５０ａへ送信する。

合成部４１３は、映像入力部４０１によって入力された映像に追加画像を合成することによって、合成映像を生成する。合成部４１３は、合成映像を表示制御部４０２ａに出力する。
表示制御部４０２ａは、合成映像を画像表示装置１０２に表示させる。画像表示装置１０２には、撮像装置３０によって撮像された映像（例えば出演者２０の姿など）に追加画像が合成された映像（合成映像）が、ほとんど遅延無く表示される。

図１０は、第二実施形態における映像送信システム５０ａの機能構成を示す概略ブロック図である。第二実施形態における映像送信システム５０ａは、合成用画像生成部５１１をさらに備える点、合成部５０４に代えて合成部５０４ａを備える点で、第一実施形態における映像送信システム５０と異なり、他の構成は第一実施形態における映像送信システム５０と同様である。

合成用画像生成部５１１は、会場表示制御システム４０ａから画像及び位置情報を受信する。合成用画像生成部５１１は、受信した画像及び位置情報に基づいて、合成用画像を生成する。合成用画像生成部５１１は、例えば受信した画像を位置情報に応じて加工することによって、合成用画像を生成する。より具体的には、合成用画像生成部５１１、位置情報が示す空間座標上の位置に相当する画像平面上の位置を、入力映像の画像平面において検出する。そして、合成用画像生成部５１１は、検出した画像平面上の位置を起点として所定の長さ分離れた位置に、受信した画像を配置する。合成用画像生成部５１１は、受信した画像が配置された部分以外は、透過する値を有した画素を用いて合成用画像を生成する。

合成部５０４ａは、入力映像にマスク画像を合成し、その上に合成用画像を合成することによって、マスク映像データを生成する。そのため、マスク部分の上には合成用画像が合成されて表示される。合成部５０４ａは、マスク映像データを送信部５０５に出力する。

図１１は、第二実施形態における会場設備１０の状態の具体例を示す図である。図１１の例では、ステージ１０１上で出演者２０が演出を行っている。出演者２０は、必要に応じて位置検出用装置２１を所持している。ステージ１０１上の出演者２０の近辺には、奥側に画像表示装置１０２が配置されている。さらに、ステージ１０１の出演者２０の近辺には、天井１０３、左壁１０４、右壁１０５が配置されている。撮像装置３０は、会場設備１０及び出演者２０を撮像している。撮像装置３０によって撮像された映像は会場表示制御システム４０によって編集され、合成映像が画像表示装置１０２に表示されている。図１１の例では、仮想人物２２の画像（コンピュータグラフィックで生成されても良いし、写真を用いて生成されても良い）が追加画像として合成されている。上述したように、画像表示装置１０２には合成映像がほとんど遅延無く表示されるため、出演者２０の姿と画像表示装置１０２に表示されている姿とは殆ど一致している。

図１２は、第二実施形態における配信システム１ａにおいて生成される画像の具体例を示す図である。図１２（Ａ）は、撮像装置３０によって生成される映像の具体例を示す図である。図１２（Ｂ）は、マスク画像の具体例を示す図である。図１２（Ｃ）は、合成用画像生成部５１１によって生成された合成用画像の具体例を示す図である。図１２（Ｄ）は、合成部５０４によって生成されるマスク映像データの具体例を示す図である。

図１３は、第二実施形態（配信システム１ａ）における処理の流れを示すシーケンス図である。撮像装置３０は、画像表示装置１０２や出演者２０を撮像する（ステップＳ１０１）。撮像装置３０によって撮像された映像は、例えば図１２（Ａ）に示されるような映像である。撮像装置３０は、撮像した映像を、会場表示制御システム４０ａ及び映像送信システム５０ａに対して出力する。

会場表示制御システム４０ａは、出演者２０の位置を検出する（ステップＳ２１１）。次に、会場表示制御システム４０ａは、追加画像を生成する（ステップＳ４１２）。また、会場表示制御システム４０ａは、追加画像に用いられる画像及び位置情報を、映像送信システム５０ａに通知する。会場表示制御システム４０ａは、撮像装置３０によって撮像された映像に追加画像を合成し（ステップＳ２１３）、合成映像を画像表示装置１０２に表示させる（ステップＳ２１４）。このとき、会場表示制御システム４０ａの合成部４１３は、撮像された映像のうち、一部（例えば出演者２０が撮影されている部分）を拡大し、拡大後の映像に合成用画像を合成することによって合成映像を生成しても良い。また、会場表示制御システム４０ａの合成部４１３は、合成後の映像のうち、一部（例えば出演者２０が撮影されている部分）を拡大することのよって合成映像を生成しても良い。このような制御が行われることによって、図１２（Ａ）に示すように、画像表示装置１０２に大きく出演者２０の姿を表示させることが可能となる。

映像送信システム５０ａのマスク部分判定部５０２は、撮像装置３０によって撮像された映像に基づいて、マスク部分を判定する（ステップＳ３０１）。マスク画像生成部５０３は、マスク部分判定部５０２によって判定されたマスク部分をマスクするための画像（マスク画像）を生成する（ステップＳ３０２）。図１２（Ａ）の映像に基づいて生成されるマスク画像は、例えば図１２（Ｂ）に示されるようなマスク画像である。図１２（Ｂ）に示されるマスク画像は、白い画素と黒い画素の二値画像として生成される。マスク画像のうち白い画素の部分は、合成された後に映像がそのまま表示される。一方、マスク画像のうち黒い画素の部分は、合成された後に映像がマスクされ、他の映像が表示される。例えば、黒い画素の部分は、白い画素で埋められても良いし、予め用意されている画像に置き換えられても良い。

合成用画像生成部５１１は、会場表示制御システム４０ａから送信された画像及び位置情報に基づいて、合成用画像を生成する（ステップＳ３１１）。合成用画像生成部５１１によって生成される合成用画像は、例えば図１２（Ｃ）に示されるような画像である。

合成部５０４ａは、入力映像にマスク映像を合成し、さらに合成用画像を合成することによってマスク映像データを生成する（ステップＳ３１２）。合成部５０４ａによって生成されるマスク映像データは、例えば図１２（Ｄ）に示されるような映像のデータである。図１２（Ｄ）に示されるマスク映像データの例では、マスク画像の黒い画素の部分には、予め同じ撮像条件（視点位置、視野角など）で撮像装置３０によって撮像されたマスク用画像が合成されている。マスク用画像は、画像表示装置１０２に何も表示を行っていない状態で撮像された画像であっても良いし、画像表示装置１０２に所定の画像（例えばロゴマークや風景の画像など）を表示している状態で撮像された画像であっても良い。さらに、図１２（Ｄ）に示されるマスク映像データの例では、マスク画像の上にさらに合成用画像が合成されている。そのため、図１２（Ｄ）に示されるマスク映像データの例では、図１２（Ｃ）に示されている仮想人物２２の画像が表示されている。
送信部５０５は、合成部５０４ａによって生成されたマスク映像データを、ネットワーク６０を介して端末装置７０に送信する（ステップＳ３０４）。

このように構成された配信システム１ａも、第一実施形態（配信システム１）と同様の効果を奏する。
さらに、配信システム１ａは以下のような効果を奏する。配信システム１ａでは、出演者２０の位置に応じて追加画像が合成された映像（合成映像）が画像表示装置１０２に表示される。会場における来場者は、画像表示装置１０２を見ることによって、出演者２０と仮想人物２２とのやり取りを認識することができる。しかしながら、生身の出演者２０の近くには仮想人物２２が実際に存在していないため、多少の違和感が生じてしまう場合がある。これに対し、端末装置７０に表示されるマスク映像データでは、図１２（Ｄ）に示されるように、画像表示装置１０２の表示面上ではなく、実際の出演者２０の近くに仮想人物２２の画像が合成された映像が表示される。そのため、出演者２０と仮想人物２２とのやり取りをより自然に認識することが可能となる。

＜変形例＞
追加画像生成部４１２は、画像記憶装置から読み出した画像を映像送信システム５０ａへ送信せず、位置情報を映像送信システム５０ａへ送信しても良い。この場合、映像送信システム５０ａの合成用画像生成部５１１は、画像記憶装置を備えており、画像記憶装置から追加画像の生成に用いる画像を読み出しても良い。この場合、追加画像生成部４１２が読み出す画像と、合成用画像生成部５１１が読み出す画像とは、異なっても良いし同じでも良い。

位置検出部４１１は、出演者２０の位置に加えて更に、出演者２０の向き又は位置検出用装置２１の向きを表す情報（以下、「向き情報」という。）を検出しても良い。この場合、追加画像生成部４１２は、向き情報に応じて追加画像を生成しても良い。同様に、合成用画像生成部５１１は、向き情報に応じて追加画像を生成しても良い。例えば、合成用画像生成部５１１は、検出した画像平面上の位置を起点として、向き情報が示す方向に所定の長さ分離れた位置に、受信した画像を配置して合成用画像を生成しても良い。このように構成されることによって、出演者２０が向いている方向に、コンピュータグラフィックにより描かれた仮想人物などの姿を表示させることができる。そのため、出演者２０と仮想人物とのやり取りなどの演出をより自然に行う事が可能となる。

追加画像や合成用画像に表示される画像は、仮想人物２２の画像に限定される必要は無い。例えば、人物以外の仮想の生物（動物や空想上の生物など）や、仮想の物体や文字や演出用の画像（爆発を表す画像など）であっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１，１ａ…配信システム， １０…会場設備， １０１…ステージ， １０２…画像表示装置， １０３…天井， １０４…左壁， １０５…右壁， ２０…出演者， ２１…位置検出用装置， ２２…仮想人物， ２０１…客席， ３０…撮像装置， ４０，４０ａ…会場表示制御システム， ４０１…映像入力部， ４０２，４０２ａ…表示制御部， ４１１…位置検出部， ４１２…追加画像生成部， ４１３…合成部， ５０，５０ａ…映像送信システム， ５０１…映像入力部， ５０２…マスク部分判定部（マスク処理部）， ５０３…マスク画像生成部（マスク処理部）， ５０４，５０４ａ…合成部（マスク処理部）， ５０５…送信部， ５１１…合成用画像生成部， ６０…ネットワーク， ７０…端末装置

Claims (4)

1. 出演者の近辺に配置された画像表示装置の全部又は一部と、前記出演者と、を含む映像を撮像する撮像装置から前記映像の入力を受け付ける映像入力部と、
   前記映像のうち、前記画像表示装置が撮像されている部分の一部又は全てに対してマスク処理を行うマスク処理部と、
   前記マスク処理がなされた前記映像を、ネットワークを介して送信する送信部と、
   を備え、
   前記マスク処理部は、前記映像において、前記画像表示装置が撮像されている部分をマスク部分として判定し、前記マスク部分に対して他の画像を合成し、
   前記マスク処理部によって他の画像が合成された前記映像に対して、前記出演者の位置に応じた画像を合成する合成部をさらに備える、
   映像送信システム。
2. 前記画像表示装置は、前記撮像装置によって撮像された映像の一部又は全てを表示する、請求項１に記載の映像送信システム。
3. 出演者の近辺に配置された画像表示装置の全部又は一部と、前記出演者と、を含む映像を撮像する撮像装置から前記映像の入力を受け付ける映像入力ステップと、
   前記映像のうち、前記画像表示装置が撮像されている部分の一部又は全てに対してマスク処理を行うマスク処理ステップと、
   前記マスク処理がなされた前記映像を、ネットワークを介して送信する送信ステップと、
   を有し、
   前記マスク処理ステップでは、前記映像において、前記画像表示装置が撮像されている部分をマスク部分として判定し、前記マスク部分に対して他の画像を合成し、
   前記マスク処理ステップにおいて他の画像が合成された前記映像に対して、前記出演者の位置に応じた画像を合成する合成ステップをさらに有する、
   映像送信方法。
4. 出演者の近辺に配置された画像表示装置の全部又は一部と、前記出演者と、を含む映像を撮像する撮像装置から前記映像の入力を受け付ける映像入力部と、前記映像のうち、前記画像表示装置が撮像されている部分の一部又は全てに対してマスク処理を行うマスク処理部と、前記マスク処理がなされた前記映像を、ネットワークを介して送信する送信部と、を備え、前記マスク処理部は、前記映像において、前記画像表示装置が撮像されている部分をマスク部分として判定し、前記マスク部分に対して他の画像を合成し、前記マスク処理部によって他の画像が合成された前記映像に対して、前記出演者の位置に応じた画像を合成する合成部をさらに備える、映像送信システムとして、
   コンピュータを機能させるためのコンピュータプログラム。

Images