JP2009094701A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】通信ネットワークを介してセッションを行うに際し、映像に変化を与えて娯楽性を高める。
【解決手段】情報送信装置１１０は、マイクＭＩＣａ〜ＭＩＣｃにより収音された演奏音を表す音声情報を送信するとともに、カメラＣＡＭａ〜ＣＡＭｃにより撮影された映像を表す映像情報をこれに対応する位置情報と対応付けて送信する。情報処理装置１２０は、音声情報と、位置情報が対応付けられた映像情報とを受信し、これらを適宜に加工してスピーカＳＰａ〜ＳＰｃ及びスクリーンＳＣＲａ〜ＳＣＲｃに供給する。情報処理装置１２０は、映像情報を位置情報に応じて、複数の演奏者の映像が違和感なく表示されるように加工する。
【選択図】図１

Description

本発明は、映像情報を加工する技術に関する。

通信ネットワークを介してセッションを行うための技術が知られている（例えば、特許文献１参照）。このような技術を用いれば、遠隔の地にいる演奏者同士でも気軽にセッションを行うことが可能となる。通信ネットワークを介してセッションを行う場合、演奏音等の音声に加えて演奏者の映像を再生すれば、より臨場感が高まり、セッションの娯楽性を高めることができる。
特許第３８４６３４４号公報

しかし、単に演奏者の映像を映し出すだけでは、映像の再生が単調に終始し、実際に演奏者が会してセッションを行う場合に比べて現実味や面白味に欠けるという問題点があった。
そこで、本発明は、通信ネットワークを介してセッションを行うに際し、映像に変化を与えて娯楽性を高めることを目的としている。

本発明に係る情報処理装置は、音声情報と、複数の映像情報と、各々が前記複数の映像情報のいずれかに対応付けられた複数の位置情報とを通信ネットワークを介して取得する取得手段と、前記取得手段により取得された複数の映像情報を、当該映像情報に対応付けられた前記位置情報に応じた態様で加工する映像加工手段と、前記映像加工手段により加工された複数の映像情報と前記取得手段により取得された音声情報とを出力する出力手段とを備えることを特徴とする。

本発明に係る情報処理装置において、前記映像加工手段は、前記映像情報が出力されることにより表示される映像の位置又は大きさを変更する加工を行う構成としてもよい。
また、前記映像加工手段は、前記複数の映像情報を合成する加工を行う構成としてもよい。

本発明に係る情報処理装置において、前記位置情報は、対応する前記映像情報が表す映像を撮影した撮影手段と被写体との距離を表す情報であり、前記映像加工手段は、前記映像情報が表す映像の大きさを前記位置情報が表す距離に応じて変更する加工を行う構成としてもよい。
また、前記位置情報は、対応する前記映像情報が表す映像を撮影した撮影手段のある撮影方向を基準とした撮影角度を表す情報であり、前記映像加工手段は、前記映像情報が表す映像の表示位置を当該映像情報に対応する前記位置情報が表す撮影角度に応じて変更する加工を行う構成としてもよい。
あるいは、前記位置情報は、対応する前記映像情報が表す映像を撮影した撮影手段の位置を表す情報であり、前記映像加工手段は、前記映像情報が表す映像の表示位置を前記複数の位置情報が表す位置に応じて変更する加工を行う構成としてもよい。

本発明に係る情報処理装置において、前記音声情報及び前記映像情報は、それぞれ、対象者の音声及び映像を表し、前記位置情報は、測位手段により計測された前記対象者の位置を表し、前記映像加工手段は、前記映像情報が表す映像の表示位置を前記複数の位置情報が表す位置に応じて変更する加工を行う構成としてもよい。

本発明に係る情報処理装置において、前記映像情報に対する加工の態様を指定する指定手段を備え、前記映像加工手段は、前記位置情報に応じた態様の加工と、前記指定手段により指定された態様の加工とを行う構成としてもよい。

本発明に係る情報処理装置は、前記音声情報に対応付けられる位置情報を取得する位置情報取得手段と、前記位置情報取得手段により取得された位置情報に応じた態様で前記音声情報を加工する音声加工手段とを備える構成としてもよい。
あるいは、本発明に係る情報処理装置は、前記映像加工手段により前記複数の映像情報に行われた加工の態様に応じて前記音声情報を加工する音声加工手段を備える構成としてもよい。

本発明に係る情報処理装置において、前記取得手段により取得された音声情報と映像情報とを同期させる同期手段を備え、前記取得手段は、前記音声情報及び映像情報のそれぞれについて、各々の再生タイミングを表す時間情報を対応付けて取得し、前記同期手段は、前記映像加工手段による加工の前又は後に、前記音声情報及び映像情報のそれぞれに対応付けられた前記時間情報に基づいて当該音声情報及び映像情報を同期させる構成としてもよい。

なお、本発明の実施の形態は、上述した情報処理装置に限らず、コンピュータにかかる情報処理装置の機能を実現させるためのプログラムや、かかるプログラムを記憶した記録媒体であってもよい。

本発明によれば、通信ネットワークを介してセッションを行うに際し、映像に変化を与えて娯楽性を高めることが可能となる。

［実施形態］
図１は、本発明の一実施形態であるネットワークセッションシステムの全体構成を概略的に示す図である。同図に示すように、ネットワークセッションシステム１０は、第１セッション地点と第２セッション地点とをネットワーク１３０を介して接続した構成を有する。ネットワーク１３０は、第１セッション地点と第２セッション地点との間の通信を可能にする通信ネットワークであり、例えば、インターネットである。

本実施形態において、第１セッション地点には、３人の演奏者がいるものとする。また、第２セッション地点は、第１セッション地点において記録された音声や映像を再生する地点であり、ここには１人の演奏者がいるものとする。第１セッション地点の３人の演奏者は、それぞれ、ここではキーボード、ドラム又はギターのいずれかを演奏し、第２セッション地点の演奏者は、第１セッション地点の演奏に合わせて歌唱するヴォーカリストであるとする。

第１セッション地点には、複数のマイクＭＩＣａ、ＭＩＣｂ及びＭＩＣｃと、複数のカメラＣＡＭａ、ＣＡＭｂ及びＣＡＭｃと、情報送信装置１１０とが設けられている。マイクＭＩＣａ、ＭＩＣｂ及びＭＩＣｃは、それぞれ、キーボードの演奏者（以下「演奏者ａ」という。）、ドラムの演奏者（以下「演奏者ｂ」という。）又はギターの演奏者（以下「演奏者ｃ」という。）のいずれかに対応するマイクロホンであり、対応する演奏者の演奏音や歌唱音を収音する。カメラＣＡＭａ、ＣＡＭｂ及びＣＡＭｃは、それぞれ、演奏者ａ、ｂ又はｃのいずれかに対応するビデオカメラであり、対応する演奏者を撮影する。なお、カメラＣＡＭａ、ＣＡＭｂ及びＣＡＭｃは、被写体である演奏者までの距離を測定できるよう構成されている。被写体までの距離は、例えば、オートフォーカス機構を有するビデオカメラであればフォーカス時の測距により求めることができる。情報送信装置１１０は、マイクＭＩＣａ、ＭＩＣｂ及びＭＩＣｃにより収音された演奏音を表す音声情報と、カメラＣＡＭａ、ＣＡＭｂ及びＣＡＭｃにより撮影された映像を表す映像情報とを取得し、適当なデータ処理を施して第２セッション地点へと送信する。なお、情報送信装置１１０は、自動で処理を行ってもよいが、演奏者以外の操作者が操作できるように構成されている。

第２セッション地点には、情報処理装置１２０と、複数のスクリーンＳＣＲａ、ＳＣＲｂ及びＳＣＲｃと、複数のスピーカＳＰａ、ＳＰｂ及びＳＰｃと、マイクＭＩＣｄとが設けられている。情報処理装置１２０は、情報送信装置１１０から送信された音声情報及び映像情報と、マイクＭＩＣｄから供給された音声情報とを取得し、適当なデータ処理を施すことによりこれらを加工して出力する。なお、情報処理装置１２０も、自動で処理を行ってもよいが、演奏者以外の操作者が操作できるように構成されている。スクリーンＳＣＲａ、ＳＣＲｂ及びＳＣＲｃは、それぞれ、情報処理装置１２０から出力された映像情報を投影するためのスクリーンである。スクリーンＳＣＲａ、ＳＣＲｂ及びＳＣＲｃは、ここでは、液晶等の表示素子により構成されたスクリーンであるとするが、別途設けられる投影装置（プロジェクタ等）により投影された映像を表示する布や幕であってもよい。この場合には、投影装置が映像情報を取得するように構成すればよい。スピーカＳＰａ、ＳＰｂ及びＳＰｃは、それぞれ、いわゆるマルチスピーカであり、情報処理装置１２０から出力された音声情報を音声として再生する。スピーカＳＰａ、ＳＰｂ及びＳＰｃは、それぞれ、いわゆるアレイスピーカであると望ましい。ここにおいて、スピーカＳＰａは、他のスピーカＳＰｂ及びＳＰｃから見て相対的に「左」、スピーカＳＰｂは相対的に「中央」、スピーカＳＰｃは相対的に「右」に、それぞれ位置している。マイクＭＩＣｄは、ヴォーカリスト（以下「演奏者ｄ」という。）に対応するマイクロホンであり、演奏者ｄの歌唱音声を収音する。なお、本実施形態においては、マイクＭＩＣｄの位置は固定であり、あらかじめ決められた位置であるとする。

以上の構成のもと、本実施形態のネットワークセッションシステム１０においては、情報送信装置１１０が音声情報及び映像情報を送信し、情報処理装置１２０が再生地点での再生に適した態様となるようにこれらを加工して出力する。
本実施形態の情報処理装置１２０は、情報の加工に際して２通りの態様をとり得る。一方は、取得した映像情報に対応する位置情報に基づいて映像情報を加工するものであり、他方は、取得した映像情報に対応する位置情報に基づいて映像情報及び音声情報を加工するものである。そこで、以下では、前者を第１実施例、後者を第２実施例として説明する。なお、第２実施例においては、第１実施例と重複する説明を適宜省略する。

（１）第１実施例
図２は、本実施例に係る情報送信装置１１０の構成を示すブロック図である。同図に示すように、情報送信装置１１０は、入力部１１１と、制御部１１２と、記憶部１１３と、操作部１１４と、通信部１１５とを備える。なお、情報送信装置１１０は、汎用のパーソナルコンピュータであってもよいし、図２の構成を備えた専用の装置であってもよい。

入力部１１１は、音声情報及び映像情報を入力するインタフェースである。入力部１１１は、マイクＭＩＣａ、ＭＩＣｂ及びＭＩＣｃ並びにカメラＣＡＭａ、ＣＡＭｂ及びＣＡＭｃと接続され、それぞれから音声情報又は映像情報を取得する。図２において、符号Ａ_aは演奏者ａに対応する音声情報を表し、符号Ｖ_aは演奏者ａに対応する映像情報を表している。同様に、符号Ａ_b、Ａ_c、Ｖ_b及びＶ_cは、それぞれ、添字に対応する演奏者の音声情報又は映像情報を表している。

また、入力部１１１は、映像情報Ｖ_a、Ｖ_b及びＶ_cとともに、各々の映像情報に対応付けられた位置情報Ｐ_a、Ｐ_b及びＰ_cを取得する。位置情報としては、例えば、各カメラＣＡＭａ〜ＣＡＭｃの相対的な位置関係を表す情報（以下「相対位置情報」という。）や、各カメラＣＡＭａ〜ＣＡＭｃから対応する演奏者までの距離を表す情報（以下「距離情報」という。）を用いることができる。相対位置情報とは、図１に示す構成でいえば、カメラＣＡＭａが相対的に「左」、カメラＣＡＭｂが相対的に「中央」、カメラＣＡＭｃが相対的に「右」であることを示す情報をいう。これらの位置情報は、映像情報に対応付けられて付加された形式でもよいし、映像情報に含まれる形式でもよい。

制御部１１２は、ＣＰＵ（Central Processing Unit）等の演算装置やメモリを備え、記憶部１１３に記憶されたプログラムを実行することにより情報送信装置１１０の各部の動作を制御する。制御部１１２は、プログラムを実行することにより、音声情報や映像情報にデータ処理を実行する。制御部１１２が実行するデータ処理には、音声情報や映像情報を所定のフォーマットに変換するエンコード処理と、音声情報に位置情報及び時間情報を付加するとともに、映像情報に時間情報を付加する付加処理とが含まれる。

記憶部１１３は、ハードディスク等の書き換え可能な記憶媒体を備え、制御部１１２が実行するプログラムを記憶する。操作部１１４は、ボタンやスライダ（ツマミ）等の操作子を備え、操作者による操作を受け付ける。操作部１１４は、操作者による操作を受け付けると、これを表すデータを制御部１１２に供給する。通信部１１５は、ネットワーク１３０を介して通信を行うためのインタフェースであり、制御部１１２から供給された音声情報や映像情報を情報処理装置１２０に送信する。

図３は、本実施例に係る情報処理装置１２０の構成を示すブロック図である。同図に示すように、情報処理装置１２０は、通信部１２１と、制御部１２２と、記憶部１２３と、操作部１２４と、音声入力部１２５と、音声出力部１２６と、映像出力部１２７とを備える。なお、情報処理装置１２０は、汎用のパーソナルコンピュータであってもよいし、図３の構成を備えた専用の装置であってもよい。

通信部１２１は、通信部１１５と同様のインタフェースであり、情報送信装置１１０から送信された音声情報や映像情報を受信し、制御部１２２に供給する。制御部１２２は、演算装置やメモリを備え、記憶部１２３に記憶されたプログラムを実行することにより情報処理装置１２０の各部の動作を制御する。制御部１２２は、プログラムを実行することにより、音声情報や映像情報にデータ処理を実行する。制御部１２２が実行するデータ処理には、所定のフォーマットでエンコードされた音声情報や映像情報をデコードするデコード処理と、映像情報を位置情報に基づいて加工する加工処理と、複数の音声情報をミキシングするミキシング処理とが含まれる。なお、制御部１２２は、音声情報と映像情報のそれぞれに対する専用のＤＳＰ（Digital Signal Processor）などによってデータ処理を行う構成であってもよい。

記憶部１２３は、書き換え可能な記憶媒体を備え、制御部１２２が実行するプログラムを記憶する。操作部１２４は、操作者による操作を操作子により受け付け、これを表すデータを制御部１２２に供給する。音声入力部１２５は、マイクＭＩＣｄと接続され、マイクＭＩＣｄから音声情報を取得する。音声出力部１２６は、制御部１２２によりミックス処理が実行された音声情報を取得し、これをスピーカＳＰａ、ＳＰｂ及びＳＰｃに出力する。映像出力部１２７は、制御部１２２により加工処理が実行された映像情報を取得し、これをスクリーンＳＣＲａ、ＳＣＲｂ及びＳＣＲｃに出力する。

情報送信装置１１０及び情報処理装置１２０の構成は、以上のとおりである。続いて、情報送信装置１１０及び情報処理装置１２０のそれぞれの動作を説明する。

図４は、本実施例における情報送信装置１１０の動作を示すフローチャートである。同図に示すように、情報送信装置１１０の制御部１１２は、まず、入力部１１１を介して演奏者ａ、ｂ及びｃに対応する音声情報と映像情報とを取得する（ステップＳ１１）。次に、制御部１１２は、映像情報に位置情報を付加するか否かを判断する（ステップＳ１２）。制御部１１２は、この判断を操作部１１４からのデータがあるか否かにより行う。すなわち、ここにおいて映像情報に位置情報を付加するか否かは、操作者の任意である。操作者は、映像情報に必要な位置情報が付加されていない場合や、映像情報に付加されている位置情報を変更する場合などに、必要に応じて、操作部１１４を操作することにより位置情報を付加することができる。よって、制御部１１２は、映像情報に付加すべき位置情報がある場合に、その位置情報を付加する（ステップＳ１３）。

続いて、制御部１１２は、音声情報と映像情報のそれぞれに時間情報を付加する処理を実行する（ステップＳ１４）。ここにおいて、時間情報とは、複数の音声情報及び映像情報を同期して再生できるようにするための情報をいう。時間情報は、例えば、音声情報及び映像情報の再生タイミングを示す情報であり、情報処理装置１２０は、この時間情報が示すタイミングで複数の音声情報及び映像情報を読み出すことによって、時間的なずれを生じさせることなくこれらを再生することができる。

音声情報及び映像情報に時間情報を付加したら、制御部１１２は、音声情報及び映像情報を所定のフォーマットで符号化するエンコード処理を実行し（ステップＳ１５）、エンコードされた音声情報及び映像情報を通信部１１５に出力し、通信部１１５を介して情報処理装置１２０に送信する（ステップＳ１６）。

図５は、本実施例における情報処理装置１２０の動作を示すフローチャートである。情報処理装置１２０は、情報送信装置１１０から以上のように音声情報及び映像情報が送信されると、同図に示す処理を実行する。まず、情報処理装置１２０の制御部１２２は、音声情報及び映像情報を受信すると、通信部１２１を介してこれらを取得する（ステップＳ２１）。また、制御部１２２は、第１セッション地点の音声情報及び映像情報を取得しつつ、音声入力部１２５を介してマイクＭＩＣｄからの音声情報、すなわち第２セッション地点の演奏者（演奏者ｄ）の音声情報を取得する（ステップＳ２２）。

次に、制御部１２２は、通信部１２１を介して取得した音声情報及び映像情報を同期させる処理を実行する（ステップＳ２３）。制御部１２２は、音声情報及び映像情報に付加された時間情報を参照し、これらが時間的なずれを生じることなく再生されるように各音声情報及び映像情報の再生タイミングを調整する。

制御部１２２は、映像情報を同期させたら、これを加工する加工処理を実行する（ステップＳ２４）。このとき、制御部１２２は、各々の映像情報に対応付けられた位置情報を参照し、映像情報を加工する。例えば、制御部１２２は、位置情報に含まれる距離情報に基づき、スクリーンＳＣＲａ〜ＳＣＲｃに表示される演奏者がほぼ等しい大きさとなるように各映像情報を拡大又は縮小する加工を行う。
また、制御部１２２は、マイクＭＩＣｄとスクリーンＳＣＲａ〜ＳＣＲｃとの距離を表す情報を更に用いて、演奏者ａ〜ｄが一堂に会しているように見えるように映像情報の倍率を変更する加工を行ってもよい。この場合、マイクＭＩＣｄとスクリーンＳＣＲａ〜ＳＣＲｃとの距離を表す情報は、制御部１２２のメモリ等にあらかじめ記憶されていると望ましいが、操作者が入力してもよい。

制御部１２２は、音声情報を同期させたら、これにミキシング処理を実行する（ステップＳ２５）。このとき、制御部１２２は、マイクＭＩＣａ〜ＭＩＣｄのそれぞれから取得した音声情報を、スピーカＳＰａ〜ＳＰｃにおいて適当なバランスで再生されるように分配する比率を決定し、ミキシングを行う。本実施例においては、マイクＭＩＣａからの音声情報は主にスピーカＳＰａから出力され、マイクＭＩＣｂからの音声情報は主にスピーカＳＰｂから出力される、といったように、第２セッション地点において、第１セッション地点における演奏者の相対的な位置関係と一致する態様で音声情報が再生される。なお、マイクＭＩＣｄからの音声情報については、スピーカＳＰａ〜ＳＰｃに配分する比率を特に問わない。

その後、制御部１２２は、ミキシングされた音声情報と加工された映像情報とを出力し、音声出力部１２６及び映像出力部１２７を介してスピーカＳＰａ〜ＳＰｃ及びスクリーンＳＣＲａ〜ＳＣＲｃに供給する（ステップＳ２６）。これにより、第２セッション地点においては、演奏者ａ〜ｄの演奏音や歌唱音がミキシングされて再生され、演奏者ａ〜ｃの加工された映像が演奏者ｄの背後に再生される。

本実施形態のネットワークセッションシステム１０は、以上のように動作することによって、複数の音声情報及び映像情報の再生タイミングを同期させるとともに、加工した映像情報により表示される映像の大きさを適宜に変更することが可能となる。ゆえに、本実施形態のネットワークセッションシステム１０によれば、遠隔の地で撮影された複数の映像を違和感なく再生し、あたかも全演奏者が実際に会しているような臨場感のあるリアルなセッションを行うことが可能となる。

なお、本実施形態においては、セッション地点が２箇所であるが、セッション地点が３箇所以上に分かれていてもよい。このような場合は、表示される複数の映像の大きさが等しくなるように複数のカメラの設置位置を調整するのが比較的困難であるため、本実施例による効果がより顕著となるといえる。

（２）第２実施例
図６は、本実施例に係る情報送信装置１１０の構成を示すブロック図である。本実施例において、情報送信装置１１０は、音声情報に位置情報を対応付ける点が第１実施例と異なっている。また、情報処理装置１２０は、音声情報に対応付けられた位置情報に基づいて音声情報を加工する点が第１実施例と異なっている。そこで、本実施例ではこれらの点を中心に説明する。

制御部１１２は、音声情報Ａ_a、Ａ_b及びＡ_cに位置情報を付加する。制御部１１２が音声情報Ａ_a、Ａ_b及びＡ_cに付加する位置情報は、それぞれ、同一の演奏者に係る映像情報に付加された位置情報である。すなわち、音声情報Ａ_aには映像情報Ｖ_aと同一の位置情報Ｐ_aが付加され、以下同様に、音声情報Ａ_bには位置情報Ｐ_b、音声情報Ａ_cには位置情報Ｐ_cが付加される。すなわち、制御部１１２は、映像情報に対応付けられた位置情報を特定し、特定した位置情報を音声情報に付加して対応付ける処理を行う。

図７は、本実施例における情報送信装置１１０の動作を示すフローチャートである。同図に示すように、本実施例における情報送信装置１１０の動作は、音声情報に位置情報を付加するステップ（ステップＳ１Ａ）がステップＳ１３とＳ１４の間に追加される点を除けば、第１実施例における動作（図４参照）と同様である。ステップＳ１Ａにおいて、制御部１１２は、上述した要領で音声情報に位置情報を付加する。なお、制御部１１２は、ステップＳ１３において、ユーザの操作による位置情報が映像情報に付加された場合には、その位置情報も音声情報に付加する。その後、制御部１１２は、音声情報及び映像情報を出力し、情報処理装置１２０に送信する。

図８は、本実施例における情報処理装置１２０の動作を示すフローチャートである。同図に示すように、本実施例における情報処理装置１２０の動作は、音声情報を加工するステップ（ステップＳ２Ａ）がステップＳ２４とＳ２５に追加される点を除けば、第１実施例における動作（図５参照）と同様である。ステップＳ２Ａにおいて、制御部１２２は、ステップＳ２４において映像情報に行われた加工の態様に応じて音声情報を加工する。制御部１２２は、例えば、ある映像情報に対して、その映像情報が表す映像を拡大する加工を行った場合には、当該映像情報と同一の位置情報が付加された音声情報が表す演奏音の音量を増加させ、その映像情報が表す映像を縮小する加工を行った場合には、当該映像情報と同一の位置情報が付加された音声情報が表す演奏音の音量を低減させる加工を行う。その後、制御部１２２は、同期及び加工が行われた音声情報をミキシングし、これを加工した映像情報とともに出力する。

なお、本実施例において、音声情報は、付加された位置情報が映像情報に付加されたものと同一のものであるため、映像情報に行われた加工の態様と同様の態様で加工される。しかしながら、音声情報は、映像情報に行われた加工の態様によるのではなく、付加された位置情報に基づいて加工されてもよい。

本実施形態のネットワークセッションシステム１０は、以上のように動作することによって、再生される映像の加工の態様に応じて演奏音を加工することが可能となる。ゆえに、本実施形態のネットワークセッションシステム１０は、本実施例に従って動作することにより、第１実施例の場合に比べ、よりリアリティのあるセッションを行うことが可能となる。

［変形例］
本発明は、上述した実施形態に限らず、その他の形態でも実施し得る。本発明に対しては、例えば、以下のような変形を適用することが可能である。なお、以下に示す変形例は、各々を適宜に組み合わせてもよい。

（１）変形例１
本発明に係る情報処理装置は、音声情報や映像情報の加工を操作者の指定に基づいて行ってもよい。例えば、操作者は、上述した操作部１２４を介して加工の態様を指定し、制御部１２２は、操作者により指定された態様の加工を行うようにすることができる。このとき、操作者は、演奏の内容に応じて音声情報や映像情報の加工の態様を決定する。例えば、ギターの演奏者ｃが楽曲のあるパートをソロで演奏する場合、操作者は、演奏者ｃに対応する映像を右側のスクリーンＳＣＲｃではなく中央のスクリーンＳＣＲｂに表示させるよう指定したり、演奏者ｃに対応する音声を他の音声よりも音量が大きくなるよう指定したりしてもよい。また、この場合、操作者は、演奏者ｃに対応する映像が拡大されるよう指定を行ってもよい。すなわち、操作者は、映像情報については、映像の拡大又は縮小や表示されるスクリーンの切り替えなどを指定することが可能であり、音声情報については、演奏音の音量や再生されるスピーカの切り替えなどを指定することが可能である。例えば、制御部１２２は、表示されるスクリーンを入れ替えるよう指定された場合には、相対位置情報によらずに、操作者の指定のみによって映像情報の出力先を決定してもよい。

なお、本発明に係る情報処理装置は、音声情報や映像情報の加工に際し、位置情報に応じた態様の加工と操作者の指定に応じた態様の加工の双方を行ってもよいが、位置情報に応じた態様の加工に代えて操作者の指定に応じた態様の加工を行うようにしてもよい。
また、上述した実施形態においては、音声情報や映像情報の加工が同期処理（ステップＳ２３）の後に行われたが、本発明に係る情報処理装置は、音声情報や映像情報の加工を同期処理の前に行ってもよい。

（２）変形例２
本発明において、位置情報は、上述した相対位置情報や距離情報に限らない。例えば、上述したカメラＣＡＭａ〜ＣＡＭｃの撮影方向が天地方向又は左右方向に回転可能であり、その回転角が計測可能である場合、位置情報は、その回転角を表す情報であってもよい。ここにおいて、回転角を表す情報とは、ある撮影方向を基準とし、演奏者を撮影している方向とその基準となる方向とのずれ（角度）を表す情報である。

かかる情報を位置情報として用いた場合、本発明に係る情報処理装置は、この位置情報に基づいて映像の位置や演奏音の定位点を制御することができ、これらを変更するように映像情報や音声情報を加工することが可能である。例えば、上述した実施形態において、ギターの演奏者ｃがドラムの演奏者ｂに近づくように（すなわち、右から左に）移動し、カメラＣＡＭｃが演奏者ｃを追うように回転しながら撮影を行った場合、位置情報は、時間の経過に従って回転角が変化する情報となる。制御部１２２は、このような位置情報を取得した場合、スクリーンＳＣＲｃに表示される演奏者ｃの映像が右から左に移動するような加工を映像情報に対して行う。また、このとき、制御部１２２は、演奏者ｃの演奏音が映像に伴って移動しているように知覚されるような加工を音声情報に対して行ってもよい。

また、位置情報は、測位手段により計測された演奏者の位置を表す情報であってもよい。この場合において、測位手段は、例えば、いわゆるＩＣタグ等の情報（電波等）を発信する発信手段と、この情報を受信する受信手段とにより構成することができる。この構成において、演奏者は、発信手段を自身と共に移動するように携帯し、受信手段は、発信手段から発信された情報を受信することにより、演奏者の位置を特定することができる。この場合、本発明に係る情報送信装置は、この発信手段が特定した位置を位置情報として取得し、これを映像情報と対応付けて送信する。
なお、かかる測位手段を実現する技術としては、例えば、ＵＷＢ（Ultra Wide Band）などが挙げられる。

（３）変形例３
本発明に係る情報処理装置は、複数の映像情報を合成する加工を行ってもよい。例えば、スクリーンに表示される複数の映像の隣り合う辺の部分を合成し、複数の映像が１つの映像になるように映像情報を加工してもよい。このようにすれば、１つのスクリーンで映像を再生することが可能となる。

なお、このような加工を行う場合、第１セッション地点においては、演奏者をいわゆるブルーバック（ブルースクリーン）を用いて撮影するのが望ましい。このようにすれば、映像情報から演奏者の映像を抽出することが容易となるからである。この場合、演奏者の映像情報の他に演奏者の背景を構成する映像情報を別途取得し、これらを合成するようにしてもよい。なお、背景部分に相当する映像情報は、情報処理装置がこれを記憶していてもよいし、通信ネットワークを介して外部装置から取得してもよい。
この変形例は、上述した変形例２と組み合わせて適用されると、より好適である。

（４）変形例４
第２セッション地点には、光の照射方向が映像に応じて変化する照明装置が設けられてもよい。この照明装置は、いわゆるスポットライトのように、局所的な照明であると望ましい。このようにすれば、映像上の演奏者があたかもその場にいるような演出効果を行うことができる。

照明装置の照射方向を制御するためには、映像情報に対応付けられた位置情報を用いればよい。例えば、位置情報が回転角を表す情報である場合、照明装置は、照射方向をこの回転角に応じて変化させることにより光の照射方向を映像に応じて変化させることが可能となる。
なお、この照明装置は、操作者により点灯及び消灯を制御される構成でもよい。

（５）変形例５
第２セッション地点には、演奏者ｄが映像を確認するための表示装置が設けられてもよい。この表示装置は、いわゆるカラオケ装置の表示部のように、演奏者ｄが歌唱する楽曲の歌詞を表示してもよい。また、この表示装置は、スクリーンに表示される映像と同様の映像を表示してもよい。

（６）変形例６
本発明において、取得する音声情報及び映像情報の数は、上述した実施形態に限定されない。上述した実施形態においては、第１セッション地点から３人の演奏者に対応する音声情報及び映像情報が送信されたが、演奏者をより多数としてもよいし、２人としてもよい。また、第１実施例においては、３人の演奏音を３つのマイクで収音せずに１つのマイクで収音してもよい。

また、第２セッション地点の演奏者の人数も、変更可能である。例えば、第２セッション地点に複数の演奏者がおり、それぞれの演奏音を複数のマイクで収音してもよい。あるいは、第２セッション地点には演奏者がおらず、第１セッション地点の演奏音と映像を再生するのみであってもよい。
また、第２セッション地点における出力先（スクリーン及びスピーカ）の数も、変更可能である。

さらに、セッション地点は、３箇所以上あってもよい。本発明に係る情報処理装置は、このような場合であっても、時間情報を参照することによって複数の音声情報及び映像情報を同期させることが可能である。

（７）変形例７
本発明におけるセッションは、歌唱や演奏を目的としたものに限らず、複数の対象者が集団で行う種々の活動を含み得る。例えば、通信ネットワークを介した会議において本発明を適用してもよいし、学校での授業等に本発明を適用してもよい。すなわち、本発明において収音や撮影の対象となる者は、演奏者に限らない。

（８）変形例８
本発明は、コンピュータに上述した制御部１２２の機能を実現させるためのプログラムとしても提供され得る。かかるプログラムは、これを記憶させた光ディスク等の記録媒体としても提供可能であり、また、インターネット等の通信ネットワークを介して所定のサーバ装置からコンピュータにダウンロードされ、これをインストールして利用可能にするなどの形態でも提供され得る。

本発明のネットワークセッションシステムの構成を示す図である。 情報送信装置の構成を示すブロック図である。 情報処理装置の構成を示すブロック図である。 情報送信装置の動作を示すフローチャートである。 情報処理装置の動作を示すフローチャートである。 情報送信装置の構成を示すブロック図である。 情報送信装置の動作を示すフローチャートである。 情報処理装置の動作を示すフローチャートである。

符号の説明

１０…ネットワークセッションシステム、１１０…情報送信装置、１１１…入力部、１１２…制御部、１１３…記憶部、１１４…操作部、１１５…通信部、１２０…情報処理装置、１２１…通信部、１２２…制御部、１２３…記憶部、１２４…操作部、１２５…音声入力部、１２６…音声出力部、１２７…映像出力部、１３０…ネットワーク

Claims (12)

1. 音声情報と、複数の映像情報と、各々が前記複数の映像情報のいずれかに対応付けられた複数の位置情報とを通信ネットワークを介して取得する取得手段と、
   前記取得手段により取得された複数の映像情報を、当該映像情報に対応付けられた前記位置情報に応じた態様で加工する映像加工手段と、
   前記映像加工手段により加工された複数の映像情報と前記取得手段により取得された音声情報とを出力する出力手段と
   を備えることを特徴とする情報処理装置。
2. 前記映像加工手段は、前記映像情報が出力されることにより表示される映像の位置又は大きさを変更する加工を行う
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記映像加工手段は、前記複数の映像情報を合成する加工を行う
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記位置情報は、対応する前記映像情報が表す映像を撮影した撮影手段と被写体との距離を表す情報であり、
   前記映像加工手段は、前記映像情報が表す映像の大きさを前記位置情報が表す距離に応じて変更する加工を行う
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記位置情報は、対応する前記映像情報が表す映像を撮影した撮影手段のある撮影方向を基準とした撮影角度を表す情報であり、
   前記映像加工手段は、前記映像情報が表す映像の表示位置を当該映像情報に対応する前記位置情報が表す撮影角度に応じて変更する加工を行う
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記位置情報は、対応する前記映像情報が表す映像を撮影した撮影手段の位置を表す情報であり、
   前記映像加工手段は、前記映像情報が表す映像の表示位置を前記複数の位置情報が表す位置に応じて変更する加工を行う
   ことを特徴とする請求項１に記載の情報処理装置。
7. 前記音声情報及び前記映像情報は、それぞれ、対象者の音声及び映像を表し、
   前記位置情報は、測位手段により計測された前記対象者の位置を表し、
   前記映像加工手段は、前記映像情報が表す映像の表示位置を前記複数の位置情報が表す位置に応じて変更する加工を行う
   ことを特徴とする請求項１に記載の情報処理装置。
8. 前記映像情報に対する加工の態様を指定する指定手段を備え、
   前記映像加工手段は、前記位置情報に応じた態様の加工と、前記指定手段により指定された態様の加工とを行う
   ことを特徴とする請求項１に記載の情報処理装置。
9. 前記音声情報に対応付けられる位置情報を取得する位置情報取得手段と、
   前記位置情報取得手段により取得された位置情報に応じた態様で前記音声情報を加工する音声加工手段と
   を備えることを特徴とする請求項１に記載の情報処理装置。
10. 前記映像加工手段により前記複数の映像情報に行われた加工の態様に応じて前記音声情報を加工する音声加工手段を備えることを特徴とする請求項１に記載の情報処理装置。
11. 前記取得手段により取得された音声情報と映像情報とを同期させる同期手段を備え、
    前記取得手段は、前記音声情報及び映像情報のそれぞれについて、各々の再生タイミングを表す時間情報を対応付けて取得し、
    前記同期手段は、前記映像加工手段による加工の前又は後に、前記音声情報及び映像情報のそれぞれに対応付けられた前記時間情報に基づいて当該音声情報及び映像情報を同期させる
    ことを特徴とする請求項１に記載の情報処理装置。
12. コンピュータを、
    音声情報と、複数の映像情報と、各々が前記複数の映像情報のいずれかに対応付けられた複数の位置情報とを通信ネットワークを介して取得する取得手段と、
    前記取得手段により取得された複数の映像情報を、当該映像情報に対応付けられた前記位置情報に応じた態様で加工する映像加工手段と、
    前記映像加工手段により加工された複数の映像情報と前記取得手段により取得された音声情報とを出力する出力手段
    として機能させるためのプログラム。

Images