JP2015198298A - 映像配信システム - Google Patents

Abstract

【課題】配信対象の映像に配慮した映像配信システムを提供する。【解決手段】スマートフォン１００で撮影された映像をストリーミングサーバ３００を用いてＰＣ４００に配信する映像配信システムにおいて、スマートフォン１００で撮影された映像のうち配信対象とすべき被写体の映像を特定するための照合情報が格納される格納媒体と、スマートフォン１００で撮影された映像を前記格納媒体に格納されている照合情報と対比しながら配信対象とすべきでない映像をフィルタリングするフィルタ手段と、前記フィルタ手段によってフィルタされなかった映像の撮影領域に対する被写体の面積の大きさに基づいて当該映像を配信するか否かを判定する判定手段を備える管理サーバ２００と、を備える。【選択図】図１

Description

本発明は、映像配信システムに関し、特に、携帯型撮影装置を利用した映像配信システムに関する。

従来、特許文献１には、ライブ配信サーバと、ライブ配信サーバからストリーミング配信されたライブコンテンツを蓄積し視聴者の要求した再生位置から再配信する時差配信サーバとを具備する映像配信システムが開示されている。

この種の映像配信システムは、例えばアーティストのコンサート会場などで活用することができる。一例としては、コンサート会場に足を運んだ客が、自己が所有するスマートフォンなどの携帯型撮影装置を利用して、コンサート会場でアーティストの演奏風景等を動画撮影し、その映像をライブ配信サーバを通じて視聴者に配信することも可能となる。この場合、あたかも、そのコンサート会場にいるかのような臨場感あふれる映像を楽しむことができるようになる。

特開２０１３−１９２０６２号公報

しかし、特許文献１に開示されている映像配信システムは、ライブ配信サーバに対してアップロードされた映像は、無条件で視聴者がダウンロードすることが可能となるので、視聴者が希望しないような映像が配信される可能性がある。

すなわち、コンサート会場などに足を運んだ客が撮影した映像は、例えば、その客自身がプライベート感覚で撮影したプライベート映像も含まれることもあろうし、撮影技術が伴っていないことから配信にふさわしい映像でないこともあろう。また、アーティストが複数人からなるグループで構成されている場合には、そのメンバーの中の特定のアーティストの映像に特化した映像のみ配信を希望する視聴者がいる場合も考えられる。さらに、配信されうる数多の映像を視聴者に送信してしまうと、視聴者が希望に沿った映像を見つけることが困難である。このため、視聴者が無条件で如何なる映像も視聴できるようにすることは回避すべきである。

そこで、本発明は、配信対象の映像に配慮した映像配信システムを提供することを課題とする。

上記課題を解決するために、本発明は、
携帯型撮影装置（例えば、図１のスマートフォン１００）で撮影された映像を視聴者端末に配信する映像配信システムにおいて、
携帯型撮影装置で撮影された映像のうち配信対象とすべき被写体の映像を特定するための照合情報が格納される格納媒体（例えば、図１の管理サーバ２００、或いは、図２の格納媒体１４０）と、
前記携帯型撮影装置で撮影された映像を前記格納媒体に格納されている照合情報と対比しながら配信対象とすべきでない映像をフィルタリングするフィルタ手段（例えば、図２のフィルタ手段１５０）と、
前記フィルタ手段によってフィルタされなかった映像に点数付けをして点数の高い映像を配信する配信手段（例えば、図３の選定手段２０２或いは図４の分析手段３０２、又は、図１のストリーミングサーバ３００）と、
を備える。

また、本発明の受信装置は、
上記映像配信システムから配信される映像を受信する受信手段と、
前記受信手段によって受信された映像を表示する表示手段と、
前記映像の視聴者によって選択されるパラメータの係数を映像配信システムに送信する送信手段とを備える。

本発明の実施形態の映像配信システムの模式的な構成図である。 図１に示すスマートフォン１００の模式的な構成を示すブロック図である。 図１に示す管理サーバ２００の模式的な構成を示すブロック図である。 図１に示すストリーミングサーバ３００の模式的な構成を示すブロック図である。 図１に示すスマートフォン１００及びストリーミングサーバ３００の動作の概要を示すフローチャートである。 図１に示すＰＣ４００及びストリーミングサーバ３００の動作の概要を示すフローチャートである。 図１のＰＣ４００のディスプレイに表示される画面例を示す図である。 図７の画面例からコンサートの映像配信がされた後の画面例を示す図である。

１００ スマートフォン
１１０ 撮影手段
１２０ 作成手段
１３０ 通信手段
１４０ 格納媒体
１５０ フィルタ手段
２００ 管理サーバ
３００ ストリーミングサーバ
４００ パーソナルコンピュータ（ＰＣ）
５００ コンテンツデータベース（コンテンツＤＢ）
６００ 管理データベース（管理ＤＢ）
７００ ネットワーク

発明の実施の形態

以下、本発明の実施形態について、図面に基づいて説明する。

図１は、本発明の実施形態の映像配信システムの模式的な構成図である。図１には、以下説明する、スマートフォン１００と、管理サーバ２００と、ストリーミングサーバ３００と、パーソナルコンピュータ（以下、「ＰＣ」と称する。）４００と、コンテンツデータベース（以下、「コンテンツＤＢ」と称する。）５００と、管理データベース（以下、「管理ＤＢ」と称する。）６００と、ネットワーク７００とを示している。

なお、 図１には、スマートフォン１００、ストリーミングサーバ３００及びＰＣ４００を、それぞれ１つずつ示しているが、実際には、これらは複数存在している点に留意されたい。

スマートフォン１００は、コンサート会場等において、そのユーザ等である撮影者の操作に従って映像を撮像するものである。また、スマートフォン１００は、その映像からそのサムネイルを作成するものである。スマートフォン１００は、携帯型撮影装置の一例であり、この他にもムービーカメラ、タブレット、ノート型パーソナルコンピュータ、Google Glass（商品名）といったウェアラブルコンピュータなどを用いることもできる。ただし、本実施形態では、携帯型撮影装置は、撮影した映像を管理サーバ２００に送信できるように、通信機能を内蔵又は外付けできるものとするとよい。

管理サーバ２００は、本実施形態の映像配信システムの種々の制御を司るサーバである。具体的には、管理サーバ２００は、スマートフォン１００から撮影を開始又は終了した際に送信される撮影開始信号又は撮影終了信号を受信して撮影が開始又は終了したことを記録したり、スマートフォン１００で撮影された映像を暗号化するためのスクランブルコードを生成してスマートフォン１００に送信したり、ＰＣ４００から送信される映像配信要求に応じてストリーミングサーバ３００間の負荷分散制御を行ったり、スマートフォン１００から送信される映像がプライベート感覚で撮影したプライベート映像である場合に当該映像をコンテンツＤＢ５００に保存したり、スマートフォン１００から送信される映像をＰＣ４００に配信するか否かを照合情報のいくつかを用いて選定したりするものである。

ストリーミングサーバ３００は、スマートフォン１００から送信される映像自体又はそのサムネイルを受信して、受信した映像自体からその撮影領域に対する被写体の面積の大きさ、その被写体の音声ボリューム、撮影者が操作するスマートフォン１００と被写体との角度（撮影角度）、或いは、その映像自体の中心からの被写体中心の距離などを分析して、その分析結果を管理ＤＢ６００に保存したり、ＰＣ４００からの配信要求に応じて映像又はそのサムネイルを当該ＰＣ４００に配信したり、その配信に先立って上記分析結果から実際に映像又はそのサムネイルを配信するか否かを分析したりするものである。また、ストリーミングサーバ３００は、スマートフォン１００で撮影された映像単位で、当該映像とその映像を撮像した際のイベントと被写体との関連情報を作成するものである。

ＰＣ４００（受信装置）は、ストリーミングサーバ３００から配信される映像を受信して、視聴者に向けて出力するものである。したがって、ＰＣ４００は、ＰＣ４００自体に付帯するディスプレイ及びスピーカを有し、これらから映像及び音声を出力する。なお、ＰＣ４００は、映像の出力機器の一例であり、デスクトップ型でもノート型でもよく、ネットワーク７００に接続可能なスマートフォン、タブレット、テレビジョン受信機、ウェアラブルコンピュータなどとしてもよい。

コンテンツＤＢ５００は、スマートフォン１００から送信されるプライベート映像が保存されるデータベースである。なお、プライベート映像をコンテンツＤＢ５００に保存させるためには、その対象となる被写体（家族、友人等）の顔画像等を予めスマートフォン１００に格納しておき、スマートフォン１００で撮影した映像と当該顔画像等とをスマートフォン１００において照合し、一致するものをコンテンツＤＢ５００に送信すればよい。

コンテンツＤＢ５００には、スマートフォン１００或いはそのユーザが所有するＰＣなどの情報処理装置からアクセス可能であり、コンテンツＤＢ５００に保存されたプライベート映像を、後日、スマートフォン１００等でストリーミング等のダウンロードをして視聴できるようにしている。

加えて、コンテンツＤＢ５００には、プライベート映像のみならず、後述するフィルタ対象となった映像の全てを保存してもよい。係る場合には、コンテンツＤＢ５００を物理的又は論理的に分割して、フィルタ対象となった映像のうちプライベート映像と、それ以外の映像との保存先を分けてもよい。

管理ＤＢ６００は、ストリーミングサーバ３００から送信される関連付け情報、被写体の面積の大きさの分析結果、被写体の音声ボリュームの分析結果、撮影者が操作するスマートフォン１００と被写体との角度、撮影者が操作するスマートフォン１００と被写体との角度、又は、映像中心からの被写体の距離の分析結果などが保存されるデータベースである。

ネットワーク７００は、図１に示す各装置を相互に接続するインターネットなどのネットワークである。なお、本実施形態の場合には、スマートフォン１００は、無線ネットワークを利用して通信を行うが、その他の装置は、有線ネットワークと無線ネットワークとのいずれを利用して通信を行ってもよい。

図２は、図１に示すスマートフォン１００の模式的な構成を示すブロック図である。図２には、以下説明する、撮影手段１１０と、作成手段１２０と、通信手段１３０と、格納媒体１４０と、フィルタ手段１５０とを示している。

撮影手段１１０は、コンサート会場等の映像を撮影するためのものであり、既知のように、カメラ部及びそれに付帯するレンズ部と、これらを駆動する駆動部などとを含み、静止画及び動画を撮影できるものである。

作成手段１２０は、既知の手法等により、撮影手段１１０によって撮影された映像から、その内容を示すサムネイルを作成するものである。

通信手段１３０は、主として、管理サーバ２００との間では管理サーバ２００に登録されている照合情報の一部を管理サーバ２００から受信し、ストリーミングサーバ３００との間では映像自体又はそのサムネイルを送信するなど種々の信号又はデータを送信するものである。

格納媒体１４０は、撮影手段１１０で撮影された映像のうち、ＰＣ４００への配信対象とすべき被写体の映像を特定するために、管理サーバ２００から送信される照合情報が格納されるものである。

フィルタ手段１５０は、撮影手段１１０によって撮影された映像を、格納媒体１４０に格納されている照合情報と定期的（例えば５秒から１５秒ごと）に対比しながら、配信対象とすべきでない映像をフィルタリングするものである。

もっとも、これらの各手段１１０等のいくつかは、例えば、管理サーバ２００或いはストリーミングサーバ３００に設けたり、別途ネットワーク７００上に配置する専用サーバに設けたりするようにしてもよい。また、これらの各手段１１０等は、例えば、スマートフォン１００にインストールされるアプリケーションソフトとスマートフォン１００のＣＰＵ及びメモリとの協働によって実現することができる。

図３は、図１に示す管理サーバ２００の模式的な構成を示すブロック図である。図３には、主として、スマートフォン１００に対して既述の照合情報の一部を送信したりＰＣ４００から映像の検索条件を受信したりする通信手段２０１と、後述するストリーミングサーバ３００の分析手段３０２による分析結果に基づいて配信対象の映像を選定する選定手段２０２と、ストリーミングサーバ３００間の通信の負荷状況を確認して負荷分散制御を行う負荷分散手段２０３とを示している。選定手段２０２による選定手法については後述する。

図４は、図１に示すストリーミングサーバ３００の模式的な構成を示すブロック図である。図４には、主として、スマートフォン１００から送信される映像自体又はそのサムネイルを受信して配信対象として選定された映像等をＰＣ４００に配信する通信手段３０１と、通信手段３０１によって受信された映像から配信対象の映像を選定する際に用いる指標を算出するための分析手段３０２とを示している。

ここで、ＰＣ４００に配信される映像については、一般的には、撮影領域に対する被写体の面積が小さい映像よりも大きい映像としたが好ましいと考えられるであろうし、また、視聴者に臨場感を適切に伝えるためには、光学デバイス又は電子デバイスのフィルタによる劣化が少ない映像とした方が好ましいと考えられる。

このため、分析手段３０２は、例えば、ＰＣ４００に配信される映像を、
（１）撮影領域に対する被写体の面積の大きさ、
（２）映像領域に連続して被写体が表示されている時間の長さ、
（３）映像の撮影時の手振れの少なさ、
（４）スマートフォン１００のカメラの画素数の多さ、
（５）明暗の分布及びコントラストの明瞭さ、
（６）ノイズの少なさ、
などのパラメータから分析する。結論を先に述べると、これらの分析結果が優れた映像が、管理サーバ２００の選定手段２０２によって選定されることになる。

一例をあげると、これらのパラメータは、上記（１）、（２）については画像の特徴点を抽出することで分析することができ、また、上記（３）については画像の移動量の検出又は加速度センサによるセンサ結果に基づいて、上記（４）についてはスマートフォン１００のスペックから、上記（５）については輝度ヒストグラムに基づいて、上記（６）については周波数解析により、それぞれ分析することができる。

分析手段３０２では、一例を示すと、ＰＣ４００から送信される例えば全映像についての種々のパラメータの平均値を求め、これらとの関係で個々の映像に対し、不偏分散を算出したりすることで、個々の映像についての分析を行っている。

具体的には、例えば上記パラメータ（１）に着目すれば、映像サンプル数をＮ、全映像サンプルにおける被写体の画像占有面積の単位時間当たりの平均値をｍ_ｓ、映像サンプルの被写体の画像占有面積をＳ_ｉとした場合に、以下の数式（１）で表される不偏分散σ_ｓ ^２を算出する。そして、個々の映像を不偏分散σ_ｓ ^２との関係で分析すればよい。

同様に、例えば、上記の画像占有面積Ｓ_ｉに代えて、被写体の発する音声ボリュームＶ_ｉ、撮影者が操作するスマートフォン１００と被写体との角度Ａ_ｉ、又は、映像毎の被写体の映像中心からの距離Ｄ_ｉを用い、かつ、被写体の画像占有面積の単位時間当たりの平均値ｍ_ｓに代えて、映像に重畳されている被写体の発する音声ボリュームの平均値ｍ_ｖ、撮影者が操作するスマートフォン１００と被写体との角度の平均値ｍ_Ａ、又は、被写体の映像中心からの距離の平均値ｍ_Δを用いることで、映像信号全体の音声ボリューム等に関する不偏分散σ_ｖ ^２、σ_Ａ ^２又はσ_Δ ^２を算出することができる。

ここで、例えば、スマートフォン１００で撮影をするコンサート会場が広ければ広いほど、各スマートフォン１００と被写体との角度及び距離が大きく相違するので、映像内における被写体の占有率の相違を補完するため、映像フレームに対する被写体画像の占有率及び角度の変化が発生することに配慮するとよい。例えば、分析手段３０２による分析に先立って、会場内を座席番号などに基づいて複数の撮影エリアに分割して、撮影エリア毎に分析するといったことも一法である。

選定手段２０２は、上記のように、分析手段３０２による分析結果に基づいて、どの映像を配信するかを選定する。例えば、既述の３つの不偏分散σ_ｓ ^２、σ_ｖ ^２、σ_Ａ ^２或いはσ_Δ ^２を用いて、配信対象の映像を選定する際には、これらに対応して視聴者が選択できる係数をそれぞれ、ｋ_ｓ、ｋ_ｖ、ｋ_Ａ或いはｋ_Δとした場合に、数値ｘの分散ｙにおける偏差値に係数ｋを加味した値をｆ(ｘ,ｙ,ｋ)で表して、以下の数式を用いることができる。
ｆ（Ｓ_ｉ，σ_ｓ ^２，ｋ_ｓ）＋ｆ（Ｖ_ｉ，σ_ｖ ^２，ｋ_ｖ）＋ｆ（Ｄ_ｉ，σ_Δ ^２，ｋ_Ａ或いはｋ_Δ）・・・（２）

このとき、映像毎に数式（２）を適用して、値の大きい映像ほど、配信対象として好ましいということができる。視聴者は、数式（２）の例で、仮に被写体が大きく映っている映像の配信を希望する場合には、これに係るｋ_ｓの値を高くすればよいということになる。換言すると、視聴者毎に、ｋ_ｓ、ｋ_ｖ、ｋ_Ａ或いはｋ_Δの数値を選択させれば、視聴者の嗜好に合致した映像を、当該視聴者に配信することが可能となる。

ところで、例えば複数の映像間で数式（２）の算出値が近接しているような場合、映像の優先順位が頻繁に前後してＰＣ４００に配信される映像の過剰な切り替えが発生する可能性がある。そのため、優先順位の決定時に順位変動の閾値を設けておくことで、ＰＣ４００に配信される映像の過剰な切り替えの発生を抑えてもよい。

図５は、図１に示すスマートフォン１００及びストリーミングサーバ３００の動作の概要を示すフローチャートである。図５に示すように、まず、スマートフォン１００では、通信手段１３０によって、管理サーバ２００からネットワーク７００を通じて送信される照合情報の一部が受信される。この照合情報は、格納媒体１４０に格納され、また、この照合情報に基づいて、フィルタ手段１５０のフィルタ設定がなされる（ステップＳ１１）。

ここでいう照合情報の一部とは、例えば、対象となる被写体の顔写真又は声とすることができ、その被写体が歌手であれば楽曲のメロディーなどのユニークな情報などとすることができる。このような照合情報を用いれば、画像特徴点及び色ヒストグラムによる物体追跡、声紋分析、音声指紋等に基づいて画像認識技術又は音声認識技術等を行うことによって、スマートフォン１００で撮影された映像が配信対象とすべき被写体の映像であるか否かを特定することが可能となる。

また、アーティストが複数人からなるグループで構成されている場合には、そのメンバーのアーティストごとに、照合情報を用意しておけば、アーティストごとに特化した映像を配信することもできる。

また、照合情報の一部として、客観的に不愉快と判断される映像、あるいは倫理道徳に反していて配信に相応しくない映像を排除するための、特定画像や放送禁止用語などのブラックリスト情報などを用いれば、画像特徴点、声紋分析、音声指紋等に基づいて画像認識技術又は音声認識技術等を行うことによって、スマートフォン１００で撮影された映像につき、配信に相応しくない映像を排除することが可能となる。

なお、図５ではステップＳ１１のフィルタ設定は撮影開始前に一回だけ行う例を示しているが、この動作は例えばスマートフォン１００のユーザの指示により不定期に、又は、所定時間ごとなど定期的に行ってもよい。こうすれば、例えばコンサートなどイベントの進行状況に合わせて配信対象を変更することができる。加えて、ネットワーク７００の帯域の使用状況に合わせて配信対象を絞ったりするなど、より柔軟な制御が可能となる。なお、この制御は、具体的には、スマートフォン１００のユーザからのアップロード状況を監視しておき、ストリーミングサーバ３００の総帯域容量をオーバーしそうであれば、例えば、撮影領域に対する被写体の面積が所定の閾値％以上でアップロードを許可するなどフィルタ手段１５０等におけるフィルタ条件を厳しくすることが考えられる。

また、スマートフォン１００では、通信手段１３０によって、管理サーバ２００から送信される、スマートフォン１００で撮影された映像を暗号化するためのスクランブルコードが受信される。

その後、スマートフォン１００では、撮影者から撮影開始の指示があると、それに従って撮影手段１１０によってコンサート会場等の映像の撮影を開始するとともに、通信手段１３０によって撮影開始を示す撮影開始信号を管理サーバ２００に送信する（ステップＳ１２）。

この結果、管理サーバ２００では、スマートフォン１００で撮影が開始されたことを記録することができる。

また、撮影手段１１０による撮影が開始されると、スマートフォン１００の内蔵メモリに、その映像が順次一時的に記憶されていき、後述のステップＳ１７にて撮影終了と判定されるまで、この一時記憶処理を行う（ステップＳ１３）。

それから、スマートフォン１００では、フィルタ手段１５０によって、一時記憶されている映像を、例えば前回読み終えた箇所からの１０秒間分を読み出す。そして、その１０秒間の映像につき、フィルタの設定情報と対比しながら、配信対象とすべき映像であるか否か判定する（ステップＳ１４）。

判定の結果、上記映像が配信対象とすべき映像でない、つまりフィルタ対象であれば、その映像を配信せず、また、これに伴って、ステップＳ１５，Ｓ１６をスキップしてからステップＳ１７へ移行する。一方、上記映像が配信対象とすべき映像である、つまりフィルタ対象でなければ、最終的にはＰＣ４００に当該映像が配信可能となるが、ＰＣ４００のユーザである視聴者が容易に視聴対象の映像を選択できるように、例えば、作成手段１２０によって映像のサムネイルを作成する（ステップＳ１５）。

なお、そのスマートフォン１００で撮影した映像につき、フィルタ処理される映像数が規定数を超えた場合には、そのスマートフォン１００で撮影した映像については、本システムにおいて優良な撮影者でなく、もっといえば悪意のある撮影者である可能性も否定できないので、このコンサート会場で撮影した映像については一切配信をしないようにしてもよい。この場合には、以後、ステップＳ１４〜ステップＳ１７を実行せずに、ステップＳ１８へ移行してもよい。

また、特定のスマートフォン１００で撮影された映像に対して、全てのＰＣ４００からの映像配信要求が存在しなくなった場合には、ストリーミングサーバ３００は、そのスマートフォン１００に対して配信停止要求を送信して、ステップＳ１８へ移行してもよい。このような処理は、所望の映像配信を優先させられるので、ネットワーク７００の帯域確保に寄与することになる。

その後、スマートフォン１００では、一時記憶されている映像であってフィルタ対象でないもの及びそのサムネイルに対して、スクランブルコードを用いて暗号化処理を行う。この暗号化された映像は、最終的にＰＣ４００に配信され得るパブリック映像であり、これをネットワーク７００を介してストリーミングサーバ３００に送信する（ステップＳ１６）。

なお、ステップＳ１６の実行に先立って、管理サーバ２００において、ストリーミングサーバ３００間の負荷状況を確認して、スマートフォン１００に送信先のストリーミングサーバ３００を通知し、特定のストリーミングサーバ３００に負荷がかからないように負荷分散制御を行うとよい。

その後、スマートフォン１００では、撮影者からの撮影終了の指示があるか否かを確認し、撮影終了でない場合にはステップＳ１３へ移行する（ステップＳ１７）。

一方、撮影終了である場合には、通信手段１３０によって撮影終了を示す撮影終了信号を管理サーバ２００に送信する。これにより、管理サーバ２００では、スマートフォン１００で撮影が終了したことを記録することができる。それから、スマートフォン１００は、フィルタ対象となった映像にプライベート映像が含まれているか否かを判定する（ステップＳ１８）。

なお、ステップＳ１６，ステップＳ１７の実行により、管理サーバ２００では、スマートフォン１００から送信された映像と既述の照合情報とを対比して、当該映像を再生したときに被写体がどの時間帯に映っているかといった索引を作成することもできる。このような索引をＰＣ４００に送信すれば、ＰＣ４００のユーザが視聴しようとしている映像を検索しやすくなる。

また、管理サーバ２００では、ストリーミングサーバ３００間の負荷状況を確認して、特定のストリーミングサーバ３００に負荷がかからないように負荷分散制御を行うとよい。

ステップＳ１８の判定の結果、フィルタ対象となった映像にプライベート映像が含まれていない場合には、図５に示す処理を終了する。一方、フィルタ対象となった映像にプライベート映像が含まれている場合には、そのプライベート映像をスマートフォン１００のユーザ等が将来的に閲覧できるように、ネットワーク７００を介してストリーミングサーバ３００に送信する（ステップＳ１９）。

これらのいずれかの処理を実行することで、管理サーバ２００からネットワーク７００を介して、プライベート映像がコンテンツＤＢ５００に保存されることになる。なお、ステップＳ１８，ステップＳ１９の処理に代えて、フィルタ対象となった映像の全てを管理サーバ２００に送信してもよい。

また、図５では、ステップＳ１８，ステップＳ１９をステップＳ１７の撮影終了後に実行しているが、これは、主として、ほぼリアルタイムに撮影した映像を送信することを優先させることで、ステップＳ１６で映像等を送信することの帯域を十分に確保するためである。したがって、ほぼリアルタイムな映像の配信を要しない場合には、ステップＳ１８を削除するとともに、ステップＳ１６とパラレルな処理としてステップＳ１９を実行するようにしてもよい。

さらに、図５において説明したスマートフォン１００の処理の一部は、管理サーバ２００或いはストリーミングサーバ３００において実行してもよい。例えば、スマートフォン１００ではフィルタ処理を行わず、一時記憶された全ての映像を送信するようにして、ストリーミングサーバ３００で受信した映像のフィルタ処理を行い、パブリック映像とプライベート映像との判別を行うようにしてもよい。

一方、ストリーミングサーバ３００は、ステップＳ１６でスマートフォン１００より送信されたパブリック映像を、ネットワーク７００を介して受信し、この映像を配信するのに先立って当該映像に識別番号を付してコンテンツＤＢ５００に記憶する（ステップＳ２１）。

その後、ストリーミングサーバ３００では、コンテンツＤＢ５００に記憶した映像のうち、まだ読み出していない識別番号が付された映像を読み出して、その映像に所望の被写体の画像が含まれているか、又は、所望の被写体の音声が含まれているか、つまり、その映像から所望の被写体が抽出できるか否かを判定する（ステップＳ２２）。

判定の結果、その映像に所望の被写体が抽出できない場合には、ステップＳ２３〜ステップＳ２７をスキップする。一方、その映像に被写体が抽出できる場合には、その映像における被写体毎の画像占有面積Ｓ_ｉを所定の映像時間刻みで割り出し、分析手段３０２により数式（１）を用いて不偏分散σ_ｓ ^２を算出する（ステップＳ２３）。

同様に、選択的に、既述の音声ボリュームＶ_ｉ及びこれに関する不偏分散σ_ｖ ^２と、撮影角度Ａ_ｉ及びこれに関する不偏分散σ_Ａ ^２、又は、映像中心からの距離Ｄ_ｉ及びこれに関する不偏分散σ_Δ ^２などを算出する（ステップＳ２４，Ｓ２５）。

こうして算出した画像占有面積Ｓ_ｉ等は、図示しない格納媒体に格納され、また既に格納されている画像占有面積Ｓ_ｉ等があれば、それらの平均値ｍ_ｓ等も算出し、かつ、算出していた平均値ｍ_ｓ等があれば、それを更新する（ステップＳ２６）。

その後、ストリーミングサーバ３００では、映像とイベントと被写体との関連付け情報を作成し、これを映像のリンク情報として、算出した画像占有面積Ｓ_ｉ等とともに、ネットワーク７００を介して管理ＤＢ６００へ送信する（ステップＳ２７）。

ストリーミングサーバ３００では、スマートフォン１００からパブリック映像を受信している間、上記ステップＳ２２〜ステップＳ２７の処理を、全被写体の確認が完了するまで繰り返し実施する（ステップＳ２８）。

その後、スマートフォン１００からネットワーク７００を介して送信されたプライベート映像を受信したストリーミングサーバ３００は、スマートフォン１００のユーザが将来的に閲覧できるように、識別番号をつけてコンテンツＤＢ５００に記憶する（ステップＳ２９）。

図６は、図１に示すＰＣ４００及びストリーミングサーバ３００の動作の概要を示すフローチャートである。図６に示すように、まず、ＰＣ４００では、視聴開始時に視聴者により視聴対象の映像に係るイベント、被写体、又は撮影エリアが指定されると、それらのうち指定されたものを識別する情報を検索条件として受け付ける（ステップＳ３１）。

その後、ＰＣ４００は、当該検索条件をネットワーク７００を介して管理サーバ２００へ送信して、映像の選定を依頼するとともに、配信対象のストリーミングサーバ３００の決定を依頼する（ステップＳ３２）。

この際、ＰＣ４００は、映像の分析の際に用いる係数ｋ_ｓ、ｋ_ｖ、ｋ_Δ、及び、選択的に既述の閾値を初期値に設定し、その設定した値を管理サーバ２００に送信してもよい。

そして、管理サーバ２００は、ＰＣ４００から送信された検索条件に従って配信すべき映像の選定を行い、かつ、ストリーミングサーバ３００間の負荷状況をチェックして、そのチェック結果に基づいてＰＣ４００へ映像を配信するストリーミングサーバ３００を決定し、選定済みの映像を示す情報と当該ストリーミングサーバ３００を示す情報とをネットワーク７００を介してＰＣ４００に送信する。

ＰＣ４００は、管理サーバ２００から送信される各情報を受けると、選定された映像を表示手段によりディスプレイに表示して、その映像の配信要求を視聴者に促す。また、ＰＣ４００は、決定されたストリーミングサーバ３００との間で映像配信のためのストリーミング回線の確立リクエストを行う（ステップＳ３３）。

ＰＣ４００からのストリーミング回線の確立リクエストを受けたストリーミングサーバ３００は、それに従って、ストリーミング回線の確立処理を実行する（ステップＳ４２）。

また、ＰＣ４００では、実際に、選定された映像についての配信要求が視聴者から行われた場合には、ストリーミングサーバ３００によって確立されたストリーミング回線を通じて、そのストリーミングサーバ３００に対して、当該映像の配信要求をネットワーク７００を介して行う（ステップＳ３４）。

ストリーミングサーバ３００は、ＰＣ４００からの配信要求を受けると、ＰＣ４００に対し、ストリーミング回線を通じて、選定済みの映像の配信を開始する（ステップＳ４３）。

その後、ストリーミングサーバ３００は、ＰＣ４００又は管理サーバ２００からの指示待ち状態に遷移する。

一方、ＰＣ４００は、ストリーミングサーバ３００から配信されてきた映像を、表示手段によりディスプレイに表示し、それに付帯する音声をマイクロフォンから出力する（ステップＳ３５）。

その後、ＰＣ４００は、視聴者からのコマンド入力待ち状態に遷移する（ステップＳ３６）。

そして、視聴者から、何らかのコマンドが入力された場合には、そのコマンドが視聴者の嗜好等に合致する映像の配信を要求するために、既述の係数を変更するための係数変更コマンドであるか否かを判定する（ステップＳ３７）。

判定の結果、係数変更コマンドでない場合には、ステップＳ３９へ移行する。一方、係数変更コマンドである場合には、視聴者が入力した係数を受け付けて、それを管理サーバ２００に送信することで係数変更指示を行う（ステップＳ３８）。

管理サーバ２００は、ＰＣ４００からの係数変更指示に従って、既述の数式（２）を用いて、配信対象とすべき映像を選定して、ストリーミングサーバ３００に対して、その選定結果を送信する。

ここで、配信対象とすべき映像を選定するタイミングは、適宜決定すればよい。あまりに短時間に設定すると、場合によっては、頻繁に配信対象の映像が切り替わることになる。一方、あまりに長時間に設定すると、視聴者が配信を望む映像以外の映像が配信される時間が相対的に長くなる。そこで、一例としては、数秒から数十秒程度に設定することが考えられる。

仮に、視聴者が、被写体が大きく中央に映っている映像の配信を希望している場合、スマートフォン１００のカメラの画素数の多少にもよるが、典型的にはコンサート会場の比較的前列に位置する撮影者によって撮影された映像が配信される時間が多くなると予想される。

実際に、配信対象とすべき映像を選定するという処理を実行すると、以下のような映像配信がなされることが想定される。すなわち、特定の撮影者が撮影した映像が特定のＰＣ４００に配信されていた場合において、その撮影者のスマートフォン１００のカメラの向きが何らかの事情により被写体とは別の向きに変わったとする。

そして、その際、配信対象とすべき映像を選定するタイミングが到来すれば、その撮影者が撮影した映像についての偏差値の値は低下することになるから、特定のＰＣ４００に対して配信される映像は、他の撮影者が撮影した映像に切り替わることになる。

つまり、本実施形態の映像配信システムは、映像の配信中にその映像の点数よりも高い点数の映像があるときに、その高い点数の映像に配信対象を切り替える切替手段を備えるということができる。

平たく言うと、特定の視聴者に対して、その視聴者の嗜好に照らして最適な映像が通常時には配信されているが、何らかの事情によりその映像が最適ではなくなった場合には、その特定の視聴者に対して配信する映像を、次点の映像に切り替えることを、ストリーミングサーバ３００で行うことになる。

その後、最適な映像の撮影者が、元どおりの条件で撮影を再開できた場合には、その後に配信対象とすべき映像を選定するタイミングが到来すれば、通常は、また、当該次点の映像から上記の最適な映像に、配信対象が切り替わることになろう。したがって、視聴者には、配信対象とすべき映像を選定するタイミングが到来するごとに、その時に、視聴者の嗜好に最適な映像が配信されることになる。

なお、配信対象とすべき映像を選定するタイミングは、定期的であっても不定期であってもよい。不定期な場合としては、例えば、音声ボリュームが大きく変化するタイミングに合わせることが考えられる。

こうすると、例えば歌手がまさに歌っている途中で映像が差し替わることがなく、切り替えが起きるタイミングは、歌手が歌っていない小節間などになるので、視聴者が普段テレビ番組などで見慣れているカメラの切り替わりと同じようなタイミングで映像配信対象を切り替えることが可能となる。

また、入力されるコマンドは、係数変更コマンドのみならず、配信されている映像に係るイベント自体を変更するイベント変更コマンドであったり、被写体自体を変更する被写体変更コマンドであったり、視聴者がお気に入りの映像を選択して手元に保持する保持コマンドだったり、配信される映像の視聴を終了するための終了コマンドなど、配信映像に関する種々のコマンドがある。

ＰＣ４００は、視聴者から、何らかのコマンドが入力された場合、そのコマンドが係数変更コマンドでないと判定された場合には、そのコマンドが終了であるか否かが判定される（ステップＳ３９）。

判定の結果、そのコマンドが終了コマンドである場合には、ステップＳ４１へ移行する。一方、そのコマンドが終了コマンド以外のコマンドである場合には、そのコマンドに応じた処理を実行する（ステップＳ４０）。

そのコマンドが保持コマンドであった場合を例に付言すると、視聴者の嗜好に沿った映像については、所定期間内においてはいつでもＰＣ４００からアクセスできるように、映像をストックしておくための「お気に入りエリア」を、ストリーミングサーバ３００に設け、視聴者がＰＣ４００を操作することで特定の映像の保持を指示した場合には、当該特定の映像を、お気に入りエリアに格納するとよい。

この他にも、ステップＳ３１で設定された検索条件の履歴を管理サーバ２００で記録しておき、当該履歴に基づく映像を視聴者の嗜好に沿ったものであると仮定して、管理サーバ２００からＰＣ４００に対して、その映像のサムネイルを送信してもよい。このサムネイルは、後述する表示領域４６０（図８）に表示される。この際、視聴者がそのサムネイルの映像に興味を持った場合には、その映像をお気に入りエリアに複製できるようにしておくとよい。

また、管理サーバ２００では、負荷分散手段２０３が、ストリーミングサーバ３００間の負荷状況を適宜確認して、特定のストリーミングサーバ３００に負荷がかからないように負荷分散制御を行う。

具体的には、負荷分散手段２０３は、ＰＣ４００との間でストリーミング回線を接続しているストリーミングサーバ３００の負荷が過多となっている場合には、そうでない他のストリーミングサーバ３００を選択して、ＰＣ４００との接続先を当該他のストリーミングサーバ３００に変更する。この際、ストリーミング回線を接続していたストリーミングサーバ３００に対しては、視聴の終了指示が送信される。

ＰＣ４００は、視聴者から、何らかのコマンドが入力された場合、そのコマンドが終了コマンドであれば、映像の配信を完了させるために、ストリーミングサーバ３００及び管理サーバ２００に対して視聴終了の指示を送信して、図６に示す処理を終了する（ステップＳ４１）。

一方、ストリーミングサーバ３００は、ステップＳ３９の実行によって管理サーバ２００から送信される指示を受けると、選定結果に合致する映像を選定し、ＰＣ４００に送信する。そして、ストリーミングサーバ３００は、その後、ＰＣ４００から視聴の終了指示が送信されてくると、それに応じてストリーミング回線を開放して、図６に示す処理を終了する（ステップＳ４４）。

なお、図６において説明した管理サーバ２００の処理の一部は、ＰＣ４００で実行してもよい。例えば、管理サーバ２００において、ステップＳ４２に示す映像の選定を行い、その選定結果を管理サーバ２００からＰＣ４００へ送信してもよい。

また、視聴者がＰＣ４００を操作することによって、お気に入りエリアに格納していた映像の配信要求を行うと、ステップＳ３２以降の処理が実行され、その映像の配信が開始されるようにしてもよい。

さらに、本実施形態では、視聴者の利便性を向上させるために、以下のような機能を有している。すなわち、視聴者が既述の係数の変更を指示した結果、変更前の係数の場合に選定された映像が良いと考えることもあるとの考慮から、係数自体の履歴を管理サーバ２００に送信することで、変更前の係数に合致する映像の配信を行えるようにするとよい。一方で、係数の変更の度に履歴をとると、所望の係数を探しきれないこともあるので、係数が変更されない時間が所定時間を超える場合にのみ履歴を取るようにしたり、お気に入りエリアに特定の映像を格納する際に、その時の係数の履歴を取るようにしたりするとよい。

このような履歴は、視聴者がＰＣを操作することによって、管理サーバ２００にアクセスすれば、適宜、選択できるようにしておけばよい。

図７は、図１のＰＣ４００のディスプレイに表示される画面例を示す図である。図７には、コンサートのポスターなどの表示領域４１０と、現在の日時情報の表示領域４２０と、コンサートに出演するアーティストらの被写体選択領域４４０と、選択された被写体を表示する表示領域４５０とを示している。

ＰＣ４００のユーザが、被写体選択領域４４０の中から所望の被写体を選択すると、その被写体の名前が表示領域４５０に掲載される。ここでは、アーティストＡが被写体として選択された状態を示している。

図８は、図７の画面例からコンサートの映像配信がされた後の画面例を示す図である。図８には、図７に示した部分の他に、アーティストＡを被写体とした８つの映像のサムネイルの表示領域４６０と、被写体選択領域４４０に隣接していずれかのサムネイルを選択するための選択領域４７０とを示している。

ＰＣ４００のユーザが、選択領域４７０を通じて所望の映像を選択すると、その選択された映像が、例えば全画面表示の態様でＰＣ４００のディスプレイに表示される。

本実施形態では、コンサート会場で撮影する場合を例に映像配信システムの説明をしたが、本実施形態の映像配信システムは、その他にも、野球場、サッカー場、陸上競技場といったスポーツ会場で撮影する場合、運動会、旅行といった行事での各所で撮影する場合を含む種々のイベントにおいて撮影する場合にも好適に用いることができる。

Claims (6)

1. 携帯型撮影装置で撮影された映像を視聴者端末に配信する映像配信システムにおいて、
   携帯型撮影装置で撮影された映像のうち配信対象とすべき被写体の映像を特定するための照合情報が格納される格納媒体と、
   前記携帯型撮影装置で撮影された映像を前記格納媒体に格納されている照合情報と対比しながら配信対象とすべきでない映像をフィルタリングするフィルタ手段と、
   前記フィルタ手段によってフィルタされなかった映像に点数付けをして点数の高い映像を配信する配信手段と、
   を備える映像配信システム。
2. さらに、前記配信手段による映像の配信中にその映像よりも点数よりも高い点数の映像があるときに、当該高い点数の映像に配信対象を切り替える切替手段を備える、請求項１記載の映像配信システム。
3. 前記配信手段は、配信候補の複数の映像の各々における、
   被写体の画像占有面積と、
   当該被写体の発する音声ボリュームと、
   前記携帯型撮影装置と被写体との角度と、
   当該被写体の映像中心からの距離と、のいずれかに基づいて、前記各映像に点数付けをする、請求項１記載の映像配信システム。
4. 前記点数付けは、映像の配信先である視聴者によって選択されるパラメータの係数を加味して行われる、請求項１記載の映像配信システム。
5. 前記フィルタ手段によってフィルタされた映像が格納されるデータベースを備える、請求項１記載の映像配信システム。
6. 請求項１記載の映像配信システムから配信される映像を受信する受信手段と、
   前記受信手段によって受信された映像を表示する表示手段と、
   前記映像の視聴者によって選択されるパラメータの係数を映像配信システムに送信する送信手段とを備える受信装置。