JP2003333572A - 仮想観客形成装置およびその方法、仮想観客形成受信装置およびその方法ならびに仮想観客形成プログラム - Google Patents

Abstract

(57)【要約】 【課題】 多数の視聴者があたかもスタジオに集まって
参加しているような仮想的な会場構成を形成して視聴者
参加型番組を充実させることができる仮想観客形成装置
の実現を課題とする。 【解決手段】 俯瞰カメラ１３、スタジオカメラ１４で
撮像した現場映像に対して視聴者側から送信され受信装
置１１で受信された視聴者映像を仮想観客として映像合
成装置１２で合成し、スタジオマイク１７で集音した現
場音声と送信され受信装置１１で受信された視聴者音声
とをミキサー１８で仮想観客音声として合成し、これら
を送信装置１９により視聴者側に送信するものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視聴者の視聴者映
像および視聴者音声を、撮影現場の現場映像および現場
音声と合成して視聴者が仮想的に撮影現場に仮想観客と
して参加することができる仮想観客形成装置およびその
方法、仮想観客形成受信装置およびその方法ならびに仮
想観客形成プログラムに関する。

【０００２】

【従来の技術】従来、視聴者を参加させる視聴者参加型
の番組には、視聴者が撮影場所に出向いて行く場合や、
出演者が出演している番組の撮影場所から電話（テレビ
電話を含む）によって視聴者と話をする場合や、ファク
シミリによる参加の形態をとる場合や、データ放送によ
る参加の形態をとる場合などがある。さらに、視聴者参
加型の番組では、大掛かりな形式として、対象とする視
聴者の家庭に中継クルーを派遣して、スタジオと結んで
参加させる形態をとることにより、視聴者をその番組に
参加させることも行っている。

【０００３】

【発明が解決しようとする課題】しかし、従来の視聴者
参加型番組では、以下に示すような問題点について解決
が望まれていた。 （１）視聴者が撮影場所に実際に出かけて行くことで、
番組に参加する場合は、撮影場所に行くまでの時間、費
用が大きくかかるため、気軽に誰でも参加するというわ
けには行かなかった

【０００４】（２）視聴者が電話による会話やファクシ
ミリによって情報を送ることで番組への参加を行う番組
形態では、相手の表情や姿が認識できないため、臨場感
の再現には限界があった。また、ファクシミリでは、視
聴者がリアルタイムでの反応を得ることができなかっ
た。

【０００５】（３）視聴者が、データ放送により番組へ
の参加を行う番組形態では、視聴者からの文字などの情
報を送受信することで番組に参加する形態であるため
に、スタジオの臨場感が再現できないのは勿論のこと、
参加する視聴者の個人のアイデンティティを表わすこと
が困難であった。

【０００６】（４）出演者が視聴者宅に中継クルーと共
に伺うことで、視聴者が参加を行う番組形態では、番組
に参加することができる視聴者の数が生番組では限られ
てしまうことになり、また、中継クルーを派遣すること
は、大掛かりになって費用も時間も大きくかかるという
問題があった。

【０００７】本発明は、前記の問題点に鑑みて創案され
たものであり、画像処理の技術を有効に利用することに
よって映像・音声効果をあげ、多数の視聴者があたかも
スタジオに集まって参加しているような仮想的な観客を
形成して視聴者参加型番組を充実させる仮想観客形成装
置およびその方法、仮想観客形成受信装置およびその方
法ならびに仮想観客形成プログラムを提供することを課
題とする。

【０００８】

【課題を解決するための手段】上記課題を解決するた
め、本発明に係る仮想観客形成装置は、撮影現場の現場
映像を撮像する局側撮像手段と、この局側撮像手段から
の現場映像と視聴者側から送信された視聴者の視聴者映
像とを合成して出力する映像合成装置と、前記撮影現場
の現場音声を集音する局側集音手段と、この局側集音手
段からの現場音声と前記視聴者側から送信された視聴者
の視聴者音声を合成して出力する音声合成装置と、を備
える構成とした。

【０００９】このように構成されることにより、仮想観
客形成装置は、局側撮像手段によりスタジオなどの撮影
現場の現場映像を撮像すると共に、局側集音手段により
現場音声を集音して、視聴者から送信されてきた視聴者
映像および視聴者音声とをそれぞれ映像合成装置および
音声合成装置により合成して、視聴者映像から仮想観客
映像を生成し、視聴者音声から仮想観客音声を生成して
いる。そして、仮想観客形成装置では、合成した映像お
よび音声の出力として、例えば、視聴者側に局側信号と
して送信するものであっても構わない。もちろん、この
仮想観客形成装置では、映像および音声を送信装置に出
力し、その送信装置が多重した後に局側信号として送信
するものでも構わない。

【００１０】また、本発明に係る仮想観客形成装置にお
いて、前記映像合成装置は、前記局側撮像手段からの現
場映像に対して前記視聴者映像を仮想観客として配列し
た仮想観客映像として合成し、前記音声合成装置は前記
局側集音手段からの現場音声に対して前記視聴者音声を
前記仮想観客の仮想観客音声として合成する構成とし
た。このように構成されることにより、仮想観客形成装
置は、視聴者映像を現場映像に合成してその撮影現場に
あたかも視聴者が観客として参加している状態を提供す
ることができる。

【００１１】さらに、本発明に係る仮想観客形成装置に
おいて、前記音声合成装置は、前記視聴者音声を前記現
場音声と合成するための通話路と、前記仮想観客音声同
士の相互会話音声とするための通話路とを切換える通話
路切換手段を有する構成とした。このように構成される
ことにより、仮想観客形成装置は、通話路切換手段によ
り視聴者同士が会話を行うことができる通話路に切換え
ることができる。

【００１２】また、本発明に係る仮想観客形成方法は、
局側の撮影現場の現場映像を撮像すると共に、局側の撮
影現場の現場音声を集音するステップと、視聴者側から
送信された視聴者の視聴者映像および視聴者音声からな
る視聴者側信号を受信するステップと、前記視聴者側信
号に含まれる視聴者映像を前記現場映像の仮想観客映像
として合成すると共に、前記視聴者側信号に含まれる視
聴者音声を前記現場音声に仮想観客の仮想観客音声とし
て合成するステップと、を含むこととした。

【００１３】このように構成されることにより、仮想観
客形成方法では、はじめに局側として例えばスタジオで
行なわれる撮影現場の現場映像をテレビカメラなどの撮
像手段により撮像し、かつ、現場音声を集音マイクなど
の集音手段により集音すると共に、視聴者側から送られ
てくる視聴者映像および視聴者音声とを受信する。なお
視聴者映像および視聴者音声は、あらかじめ選択されて
決められた人数分の視聴者に関するものである。そし
て、現場映像に視聴者映像が仮想観客映像となるように
合成されると共に、現場音声に視聴者音声が仮想観客の
仮想観客音声となるように合成されることになる。

【００１４】また、本発明に係る仮想観客形成受信装置
は、視聴者の視聴者映像を撮像する視聴者側撮像手段
と、視聴者の視聴者音声を集音する視聴者側集音手段
と、前記視聴者側撮像手段からの視聴者映像と前記視聴
者側集音手段からの視聴者音声とを視聴者側信号として
局側に送信する送信手段と、前記局側の撮影現場で生成
された現場映像および現場音声に対して、前記視聴者側
信号に含まれる視聴者映像および視聴者音声がそれぞれ
仮想観客映像および仮想観客音声として合成されて生成
された局側信号として受信される視聴者側受信手段とを
備える構成とした。

【００１５】このように構成されることにより、仮想観
客形成受信装置は、例えば、インターネットなどの送信
手段を介して、視聴者側撮像手段および視聴者側集音手
段により得られた視聴者映像および視聴者音声を視聴者
側信号として局側に送信する。そして、局側の撮影現場
の現場映像および現場音声に対して、視聴者側信号に含
まれる視聴者映像および視聴者音声が、仮想観客映像お
よび仮想観客音声として合成して生成された局側信号を
受信することで、あらかじめ局側に仮想観客として選択
されていた視聴者は、自分の映像をテレビなどの表示画
面上で認識することができる。

【００１６】さらに、本発明に係る仮想観客形成受信装
置において、前記視聴者音声を前記現場音声に合成して
仮想観客音声となる通話路と、前記仮想観客音声同士の
相互会話音声となる通話路とを切換える局側の通話路切
換手段を操作する切換操作手段を有する構成とした。

【００１７】このように構成されることにより、仮想観
客形成受信装置では、通話路切換手段を操作すること
で、局側に設定されている通話路を切換えるための通話
路切換手段を操作して仮想観客として認識できる特定の
視聴者と会話をすることが可能となる。

【００１８】また、本発明に係る仮想観客形成受信方法
は、視聴者の視聴者映像を撮像すると共に、視聴者の視
聴者音声を集音して前記視聴者映像と前記視聴者音声と
を視聴者側信号として局側に送信するステップと、前記
局側の撮影現場の現場映像に前記視聴者映像を仮想観客
として合成された仮想観客映像と、前記撮影現場の現場
音声に前記視聴者音声を仮想観客の音声として合成され
た仮想観客音声とが含まれる局側信号として受信するス
テップと、受信した前記局側信号による映像および音声
を視聴者側の表示装置に表示するステップと、前記視聴
者音声を前記現場音声に合成して仮想観客音声となる通
話路と、前記仮想観客音声同士の相互会話音声となる通
話路とを切換える通話路切換手段を、視聴者側に設置さ
れた切換操作手段により切換え操作するステップとを含
むこととした。

【００１９】このように構成されることにより、仮想観
客形成受信方法では、視聴者側で現場映像と視聴者映像
から合成された仮想観客映像と現場音声と視聴者音声か
ら合成された仮想観客音声を受信して表示し、必要に応
じて隣接する仮想観客同士で会話を行うことができる。

【００２０】そして、本発明に係る仮想観客形成プログ
ラムにおいて、視聴者の視聴者映像を局側の撮影現場の
現場映像に合成して仮想観客を実現するためにコンピュ
ータを、局側の撮影現場の現場映像に、前記局側で受信
した視聴者の視聴者映像を仮想観客として合成する映像
合成手段、この映像合成手段に対応して前記撮影現場の
現場音声に、前記局側で受信した視聴者の視聴者音声を
仮想観客の仮想観客音声として合成する音声合成手段、
として実行させるように構成した。

【００２１】このように構成されることにより、コンピ
ュータに対して、スタジオ映像と視聴者映像から仮想観
客映像を形成させ、スタジオ音声と視聴者音声から仮想
観客音声を形成させ、これらを視聴者側に送信させるこ
とが可能な仮想観客形成プログラムを実現することがで
きる。

【００２２】

【発明の実施の形態】以下、本発明に係る仮想観客形成
装置と仮想観客形成受信装置について添付図面を参照に
して詳細に説明する。

【００２３】本発明のシステム全体構成を、図１に示
す。本発明のシステム全体構成は局側に設置される仮想
観客形成装置１と、視聴者側に設置される仮想観客形成
受信装置２ａ、２ｂ…２ｎから構成される。後記するよ
うに仮想観客形成受信装置２ａ、２ｂ…２ｎでは、個々
の視聴者の視聴者映像と視聴者音声とが視聴者側信号と
して局側に送られる。局側の仮想観客形成装置１ではこ
れらの個々の視聴者の視聴者映像と視聴者音声とを合成
して仮想観客を作成し、局側のカメラで実際に撮影した
現場映像である出演者像および局側のマイクで実際に集
音したと現場音声である出演者音声と合成して視聴者参
加番組を作り局側信号として視聴者に放送する。

【００２４】本発明の仮想観客形成装置と仮想観客形成
受信装置の一実施の形態を図２および図３に示す。図２
は仮想観客形成装置の構成を示すブロック図である。ま
た、図３は仮想観客形成受信装置の構成を示すブロック
図である。なお、視聴者側において各構成を全体的に示
す場合を、仮想観客形成受信装置２、視聴者撮像手段と
してのテレビカメラ２１、視聴者集音手段としてのマイ
ク２２、送信手段２３、視聴者側受信手段２４、表示装
置２５、切換操作手段２６等とし、個々に示す場合を、
各符号の後に英小文字ａ，ｂ…ｎを付して説明する。

【００２５】図２に示すように、仮想観客形成装置１
は、視聴者側の仮想観客形成受信装置２からの視聴者信
号を受信する受信装置１１と、仮想観客形成受信装置２
からの複数の視聴者映像、スタジオを俯瞰する俯瞰カメ
ラ１３の映像、あるいはスタジオ出演者の映像を撮像す
るスタジオカメラ１４の映像を合成する映像合成装置１
２と、この映像合成装置１２の出力映像、あるいはスタ
ジオカメラ１４の映像を選択出力する画像スイッチャー
１５と、この画像スイッチャー１５を制御する切換え装
置１６と、スタジオの音声を集音するスタジオマイク１
７と、仮想観客形成受信装置２からの複数の視聴者音声
と、スタジオマイク１７の現場音声と合成するミキサー
１８と、画像スイッチャー１５の出力とミキサー１８の
出力を仮想観客形成受信装置２に送信する送信装置１９
とを含んで構成されている。なお、ここでは、俯瞰カメ
ラ１３とスタジオカメラ１４が局側撮像手段に、スタジ
オマイク１７が局側集音手段に、ミキサー１８が音声合
成装置に、送信装置１９が出力手段に相当する。

【００２６】仮想観客形成装置１の受信装置１１は、視
聴者側から視聴者側信号であるデータ通信として送られ
てくる符号化された映像信号と音声信号を受信し復号す
る装置であり、例えば、視聴者側とインターネットを介
して接続されたパソコンやワークステーションなどがそ
の一例である。

【００２７】映像合成装置１２は、画像と画像とを自然
な感じで合成して１つ画像に組合すことができる装置で
あり、例えば、フォト・レタッチ・ソフトを持ち、画像
処理機能やコンピュータグラフィック機能を持ったパソ
コンやワークステーションなどで実現することができ
る。なお、ここでは、スタジオに設置したブルーバック
に視聴者映像を合成するようにして仮想観客を生成して
いる。

【００２８】画像スイッチャー１５は、複数のカメラ映
像を切換えるためのものであり、放送局などで従来から
用いられているものをそのまま用いることができる。ま
た、ミキサー１８についても複数の音声入力について音
量バランスをとって合成することができる従来からある
オーディオミキサーをそのまま用いることができる。

【００２９】なお、ここでは、送信装置１９が局側信号
として現場映像と視聴者映像および現場音声と視聴者音
声をすでに多重して送信できるものとして説明している
が、この送信装置１９は、局側信号として送信できる装
置に出力するためのものであっても構わない。

【００３０】仮想観客形成装置１の送信装置１９として
は、一般的な画面については、例えば地上波放送や衛星
放送など放送設備を送信装置１９として用いて局側信号
を視聴者側に送ることができる。なお、後記する個別受
信者近傍情報抽出装置４１（４１ａ〜４１ｎ）（図８参
照）からの個別信号を送信する場合は、視聴者別にイン
ターネットなどの個別回線にデータ通信として局側信号
を送ることになるため、パソコンやワークステーション
を送信装置１９として用いる必要があり、放送との連携
が必要である。

【００３１】図３に示すように、仮想観客形成受信装置
２は、視聴者側の映像を撮像するテレビカメラ２１と、
視聴者側の音声を集音するマイク２２と、テレビカメラ
２１からの映像出力とマイク２２からの音声出力を仮想
観客形成装置１に送信する送信手段２３と、仮想観客形
成装置１からの信号を受信する視聴者側受信手段２４
と、この視聴者側受信手段２４の出力映像を表示し出力
音声を再生する表示装置２５とを含んで構成されてい
る。なお、テレビカメラ２１は視聴者側撮像手段に、マ
イク２２は視聴者側集音手段に相当する。

【００３２】仮想観客形成受信装置２のテレビカメラ２
１とマイク２２は、それぞれ単体の装置でも、携帯型の
ビデオカメラ装置などを用いても良い。また、送信手段
２３は視聴者側信号である視聴者映像および視聴者音声
をデータ信号として符号化して送信するもので、インタ
ーネットを介して局側に接続されたパソコンなどがその
一例である。

【００３３】局側信号を受信する視聴者側受信手段２４
と表示装置２５には、一般的な画面を受信する場合は通
常のテレビ受信機を用いることができる。個別信号受信
にはインターネットを介して局側に接続されたパソコン
などを用いるものである。

【００３４】次に、図１および図４に沿って視聴者側情
報を合成する過程について説明する。視聴者側の仮想観
客形成受信装置２では各視聴者のテレビの画面の近くに
テレビカメラ２１とマイク２２がセットされ、視聴者は
番組に参加したいとき、局側に視聴者参加希望の旨を通
信手段などにより伝達する。そして、局側から参加当選
の連絡があった場合に特定の番組に仮想観客として参加
することができる。さらに参加が決定した視聴者は、局
側から知らされた参加人数に対応して自分あるいは家族
（一人の場合は本人のみ）の視聴者画像と視聴者音声を
テレビカメラ２１とマイク２２により撮影あるいは集音
して送信手段２３を介してコード化して局に送信する。

【００３５】局側の仮想観客形成装置１では、受信装置
１１により各視聴者の送信手段２３ａ〜２３ｎから送ら
れてきた情報をデコードして画像と音声に分離させ、各
視聴者画像は映像合成装置１２に入力され、各視聴者音
声はミキサー（音声合成装置）１８に入力させる。

【００３６】映像合成装置１２は、送られてきた視聴者
画像から人物の顔や全・半身画像を背景から抜き出して
スタジオの番組に対応させた観客となるように、現場映
像と合成し、図５に示すように、あたかも観客席を撮像
しているような仮想的な映像である仮想観客映像を生成
する。この映像合成装置１２は、視聴者画像をあらかじ
めきめられた順番に整列して配置する構成であっても、
整列する配置場所だけ決めておき、その配置場所に視聴
者画像を配置するような構成にする等、視聴者映像が現
場映像に対して仮想観客となるように合成するものであ
れば良い。この映像合成装置１２からの仮想観客映像
は、画像スイッチャー１５（図２参照）等に出力され
る。

【００３７】図２に示すように、画像スイッチャー１５
を制御する切換え装置１６は、番組出演者を撮像してい
るカメラ映像の合間に、この仮想的な観客席を切換えて
示し、あたかも、スタジオやホールに実際に見にきた観
客のように放送することができる。この仮想観客映像
は、ホールのように仮想的な１階席、２階席に振り分け
ることもできるし、一部の観客をズームし、観客間やス
テージを撮像しているカメラをパンニングしてその映像
を示すことも可能である。なお、カメラで撮像した顔画
像のかわりに、デフォルメしたイラストや、視聴者が選
んだり、作成したりしたキャラクターを表示することも
可能である。

【００３８】なお、ミキサー１８は、本質的には従来か
らあるオーディオミキサーと同じ動作であるが、各視聴
者からの声に残響音を付加するなどして合成し、あたか
も観客席からの大観衆の声や音のように処理したり、ま
た、双方向にやりとりする必要があるときには、任意の
視聴者の音声のみを取り上げたりすることもできる。さ
らに、視聴者の声を、本人しか分からないような音声に
変形させて再生することもできる。

【００３９】前記した実施の形態では、局側は各視聴者
の画像を仮想観客として利用することができるが、視聴
者側では、自分が何時映るかどの様な状態で映るかが分
からない。その分、臨場感が損なわれ、映される側とし
ては不安であるため、以下に示す構成とすることで解消
することが可能となる。

【００４０】図６および図２に示すように、本発明の第
２の実施の形態では、スタジオを俯瞰的に上部から撮像
する俯瞰カメラ１３の映像と、スタジオやホールで使用
されているスタジオカメラ（実カメラ）１４の画像と、
仮想観客を撮影するためにコンピュータグラフィックな
どで作成した仮想カメラ３１の画像とを、映像合成装置
１２で合成して、送信装置１９を介して視聴者側に送信
する。この時の俯瞰カメラ１３の映像の例を図７に示
す。

【００４１】図３に示すように、視聴者側ではこのよう
にして送られた映像について視聴者側受信手段２４を用
いて復調し、表示装置２５で表示する。図７に示す映像
の送受信の方法は、画像信号をそのまま送信しても良い
し、圧縮多重化して送信してもよい。もちろんインター
ネットなどの別回線を用いて送信することもできる。各
視聴者の家庭では、図７に示すような画像から自分たち
が仮想観客のどの辺にいるかを知ることができると共
に、画像での仮想カメラ３１の動きからいつ自分が映る
かをあらかじめ予想して撮影映像となるための準備をす
ることができる。

【００４２】次に、図７ないし図８を主に用いて、本発
明の第３実施の形態について説明する。本発明の第３の
実施の形態では、個別受信者近傍情報抽出装置４１によ
り仮想観客の特定抽出領域（近傍情報抽出領域）を表示
させるものである。この個別受信者近傍情報抽出装置４
１は、映像合成装置１２およびミキサー１８の出力か
ら、各個別の視聴者（仮に視聴者（観客Ａ１））とその
視聴者に隣り合った観客（視聴者（観客Ａ２）および視
聴者（観客ＡＮ））の声など、その視聴者の近傍の、例
えば図７で近傍情報抽出領域とされている部分の、画像
・音声情報を抽出しており、送信装置１９と視聴者側受
信手段２４とを経て各個別視聴者宅の表示装置２５に表
示させている。

【００４３】個別受信者近傍情報抽出装置４１は、視聴
者が中心となるような映像を抽出するために、図８で
は、仮想観客となる視聴者ごとに対応して設置されてい
るが、ある程度の範囲を抽出してその範囲内に写ってい
る視聴者に送信する場合では、視聴者ごとに設置する必
要はない。このようにして、各個別の視聴者は、あたか
も、スタジオやホールで直接見ている時のように、周囲
の観客の様子を見たり、喚声や話し声などの声を聞いた
りすることができる。近傍情報抽出領域の広さはある範
囲内で選択することもできる。

【００４４】さらに、第４の本発明の形態では、前記し
た第３の実施の形態に加えて、各個別の視聴者（仮想観
客形成受信装置）は、マイク・スピーカ４４ａ〜４４ｎ
から構成されるヘッドセットを備えていると共に、局側
の中継装置４３ａ〜４３ｎを介して局側の交換装置（通
話路切換手段）４２による通話路の切換え接続を行なう
ための切換操作手段２６（図１、図９参照）とを備えて
いる。

【００４５】交換装置４２は、局側に設置され、視聴者
から送られてくる視聴者音声を仮想観客音声として合成
するための通話路と、仮想観客同士が会話することがで
きる相互会話音声となる通話路とを切換えをするための
ものである。また、図８および図９に示すように、切換
操作手段２６は、交換装置４２の切換え操作を視聴者の
操作により行なうためのものであり、ここではスイッチ
の回転角度により映像上で隣接する仮想観客同士の会話
を可能となるように構成されている。なお、仮想観客同
士の相互会話音声の通話路を選択した場合は、仮想観客
として隣同志や近傍に座った仮想観客同志で、あたかも
劇場で実際に隣の観客と話す場合のように意見の交換や
会話のやり取りを行うことができる。

【００４６】すなわち、視聴者は例えば、図９に示すよ
うなパネル面を持つ切換操作手段２６のスイッチを持っ
ていて、視聴者Ａ２は自分の声をスタジオに届けるか、
左隣の視聴者ＡＮさんに届けるか、右隣の視聴者Ａ１さ
んに届けるかをスイッチの切換えで選ぶことができる。

【００４７】切換操作手段２６のスイッチの切換えをＡ
Ｎにすると、例えば音声信号で、左隣の視聴者ＡＮさん
に対して会話信号が送られる。ＡＮさんが会話に同意し
ＡＮさんのスイッチを右側に倒すと視聴者Ａ２側で左隣
のＡＮさんの声が聞こえ、ＡＮさん側で視聴者Ａ１の話
が聞こえ、会話が可能になる。同様にスイッチの切換え
をＡ１にすると、Ａ１さんの同意が得られれば右隣のＡ
１さんとの声が聞こえ、会話することができる。

【００４８】この場合、交換装置４２は、中継装置４３
ａ〜４３ｎを介して、音声の切換えを行う。それと共
に、交換装置４２は、現在の切換え状態の情報を映像合
成装置１２に送る。そのため、視聴者Ａ２とＡＮさん、
Ａ１さんの会話が行われている場合は、映像合成装置１
２が、図１０に示すような出演者などが映るメインの画
像の一部に視聴者Ａ２等の周辺のモニタ画像を合成し
て、会話を行っている仮想観客同士の映像が付された状
態として視聴者に送ることができるように動作すること
もできる。このとき、複数の仮想観客同士がそれぞれ会
話を行っている場合は、一定の時間で画像スイッチャー
１５（図２参照）が、モニタ画像を所定時間の範囲内で
切換えるようにしている。なお、映像合成装置１２は、
図示しない各視聴者側の端末装置に対して、ネットワー
クを介して、モニタ画像を出力する出力手段を備えてい
れば、仮想観客同士のモニタ画像について、会話してい
る当事者に対して個々に送信することも可能となる。

【００４９】以上、本発明の仮想観客形成装置と仮想観
客形成受信装置について説明したが、これらの装置で用
いられる仮想観客形成方法と、このような仮想観客形成
方法をコンピュータに実現させる仮想観客形成プログラ
ムも本発明の対象とするものである。

【００５０】

【発明の効果】以上説明したように、本発明の請求項
１、請求項２、請求項４、請求項８では、局側撮像手段
で撮像したスタジオ映像と視聴者側から送信された視聴
者映像とを映像合成装置で合成し、局側集音手段で集音
したスタジオ音声と視聴者側から送信された視聴者音声
とを音声合成装置で合成して送信することで、仮想観客
の映像と音声を視聴者に送り、視聴者参加型の番組を容
易に実現することができる。また、請求項３に記載の仮
想観客形成装置は、通話路切換手段を有することによ
り、通話路を切り替えて視聴者の音声の用途を広げるこ
とが可能となる。

【００５１】本発明の請求項５、請求項６、請求項７で
は、視聴者映像と視聴者音声を視聴者側信号として局側
に送信し、局側で生成されたスタジオ音声を含むスタジ
オ映像と視聴者側信号とを合成した局側信号を受信する
ことで、仮想観客の映像・音声を得て視聴者参加型の番
組に容易に参加することができる。また、請求項６、請
求項７では、切換操作手段を備えているため、視聴者
は、仮想観客として隣同志や近傍に座った仮想観客同志
で、あたかも劇場で実際に隣の観客と話す場合のように
意見の交換や会話のやり取りを行うことができる。

【図面の簡単な説明】

【図１】本発明に係るシステムの全体構成を示す説明図
である。

【図２】本発明に係る仮想観客形成装置の構成を示すブ
ロック図である。

【図３】本発明に係る仮想観客形成受信装置の構成を示
すブロック図である。

【図４】本発明に係る視聴者側情報を合成する装置構成
を示すブロック図である。

【図５】本発明に係る映像合成装置により合成された仮
想的な観客席の映像の一例を示す説明図である。

【図６】本発明に係る仮想観客形成装置の第２の実施の
形態を示すブロック図である。

【図７】図６の実施の形態による俯瞰カメラからの映像
の一例を示す説明図である。

【図８】本発明の仮想観客形成装置の第３および第４の
実施の形態を示すブロック図である。

【図９】本発明の仮想観客形成装置の第４の実施の形態
で視聴者に設けられた切換操作手段のパネル面の一例を
示す正面図である。

【図１０】本発明の仮想観客形成受信装置での表示画面
の一例を示す正面図である。

【符号の説明】

１ 仮想観客形成装置 ２ 仮想観客形成受信装置 １１ 受信装置 １２ 映像合成装置 １３ 俯瞰カメラ（局側撮像手段） １４ スタジオカメラ（局側撮像手段） １５ 画像スイッチャー １６ 切換え装置（通話路切換手段） １７ スタジオマイク（局側集音手段） １８ ミキサー（音声合成装置） １９ 送信装置（出力手段） ２１、２１ａ〜２１ｎ テレビカメラ（視聴者側撮像
手段） ２２、２２ａ〜２２ｎ マイク（視聴者側集音手段） ２３、２３ａ〜２３ｎ 送信手段 ２４ 視聴者側受信手段 ２５ 表示装置 ２６ 切換操作手段 ３１ 仮想カメラ ４１、４１ａ〜４１ｎ 個別受信者近傍情報抽出装置 ４２ 交換装置 ４３、４３ａ〜４３ｎ 中継装置 ４４、４４ａ〜４４ｎ マイク・スピーカ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 5/262 Ｈ０４Ｎ 5/262 (72)発明者 清水 俊宏 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 大谷 明 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 5C023 AA11 AA13 AA14 CA01 CA04 5C025 BA30 CA02 CA19 DA10 5C064 AA02 AB04 AC04 AC06 AC11 AC12 AC16 BA01 BB10 BC16 BC20 BC23 BD01 BD02 BD08

Claims (8)

【特許請求の範囲】
1. 【請求項１】 撮影現場の現場映像を撮像する局側撮像
   手段と、この局側撮像手段からの現場映像と視聴者側か
   ら送信された視聴者の視聴者映像とを合成して出力する
   映像合成装置と、前記撮影現場の現場音声を集音する局
   側集音手段と、この局側集音手段からの現場音声と前記
   視聴者側から送信された視聴者の視聴者音声を合成して
   出力する音声合成装置と、を備えることを特徴とする仮
   想観客形成装置。
2. 【請求項２】 前記映像合成装置は、前記局側撮像手段
   からの現場映像に対して前記視聴者映像を仮想観客とし
   て配列した仮想観客映像として合成し、前記音声合成装
   置は前記局側集音手段からの現場音声に対して前記視聴
   者音声を前記仮想観客の仮想観客音声として合成するこ
   とを特徴とする請求項１に記載の仮想観客形成装置。
3. 【請求項３】 前記音声合成装置は、前記視聴者音声を
   前記現場音声と合成するための通話路と、前記仮想観客
   音声同士の相互会話音声とするための通話路とを切換え
   る通話路切換手段を有することを特徴とする請求項２に
   記載の仮想観客形成装置。
4. 【請求項４】 局側の撮影現場の現場映像を撮像すると
   共に、局側の撮影現場の現場音声を集音するステップ
   と、視聴者側から送信された視聴者の視聴者映像および
   視聴者音声からなる視聴者側信号を受信するステップ
   と、前記視聴者側信号に含まれる視聴者映像を前記現場
   映像の仮想観客映像として合成すると共に、前記視聴者
   側信号に含まれる視聴者音声を前記現場音声に仮想観客
   の仮想観客音声として合成するステップと、を含むこと
   を特徴とする仮想観客形成方法。
5. 【請求項５】 視聴者の視聴者映像を撮像する視聴者側
   撮像手段と、視聴者の視聴者音声を集音する視聴者側集
   音手段と、前記視聴者側撮像手段からの視聴者映像と前
   記視聴者側集音手段からの視聴者音声とを視聴者側信号
   として局側に送信する送信手段と、前記局側の撮影現場
   で生成された現場映像および現場音声に対して、前記視
   聴者側信号に含まれる視聴者映像および視聴者音声がそ
   れぞれ仮想観客映像および仮想観客音声として合成され
   て生成された局側信号として受信される視聴者側受信手
   段とを備えることを特徴とする仮想観客形成受信装置。
6. 【請求項６】 前記視聴者音声を前記現場音声に合成し
   て仮想観客音声となる通話路と、前記仮想観客音声同士
   の相互会話音声となる通話路とを切換える局側の通話路
   切換手段を操作する切換操作手段を有することを特徴と
   する請求項５に記載の仮想観客形成受信装置。
7. 【請求項７】 視聴者の視聴者映像を撮像すると共に、
   視聴者の視聴者音声を集音して前記視聴者映像と前記視
   聴者音声とを視聴者側信号として局側に送信するステッ
   プと、 前記局側の撮影現場の現場映像に前記視聴者映像を仮想
   観客として合成された仮想観客映像と、前記撮影現場の
   現場音声に前記視聴者音声を仮想観客の音声として合成
   された仮想観客音声とが含まれる局側信号として受信す
   るステップと、 受信した前記局側信号による映像および音声を視聴者側
   の表示装置に表示するステップと、 前記視聴者音声を前記現場音声に合成して仮想観客音声
   となる通話路と、前記仮想観客音声同士の相互会話音声
   となる通話路とを切換える通話路切換手段を、視聴者側
   に設置された切換操作手段により切換え操作するステッ
   プと、 を含むことを特徴とする仮想観客形成受信方法。
8. 【請求項８】 視聴者の視聴者映像を局側の撮影現場の
   現場映像に合成して仮想観客を実現するためにコンピュ
   ータを、 局側の撮影現場の現場映像に、前記局側で受信した視聴
   者の視聴者映像を仮想観客として合成する映像合成手
   段、 この映像合成手段に対応して前記撮影現場の現場音声
   に、前記局側で受信した視聴者の視聴者音声を仮想観客
   の仮想観客音声として合成する音声合成手段、 として実行させることを特徴とする仮想観客形成プログ
   ラム。