JP2015198298A - 映像配信システム - Google Patents
映像配信システム Download PDFInfo
- Publication number
- JP2015198298A JP2015198298A JP2014074551A JP2014074551A JP2015198298A JP 2015198298 A JP2015198298 A JP 2015198298A JP 2014074551 A JP2014074551 A JP 2014074551A JP 2014074551 A JP2014074551 A JP 2014074551A JP 2015198298 A JP2015198298 A JP 2015198298A
- Authority
- JP
- Japan
- Prior art keywords
- video
- subject
- distribution
- distributed
- distribution system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
【課題】配信対象の映像に配慮した映像配信システムを提供する。【解決手段】スマートフォン100で撮影された映像をストリーミングサーバ300を用いてPC400に配信する映像配信システムにおいて、スマートフォン100で撮影された映像のうち配信対象とすべき被写体の映像を特定するための照合情報が格納される格納媒体と、スマートフォン100で撮影された映像を前記格納媒体に格納されている照合情報と対比しながら配信対象とすべきでない映像をフィルタリングするフィルタ手段と、前記フィルタ手段によってフィルタされなかった映像の撮影領域に対する被写体の面積の大きさに基づいて当該映像を配信するか否かを判定する判定手段を備える管理サーバ200と、を備える。【選択図】図1
Description
本発明は、映像配信システムに関し、特に、携帯型撮影装置を利用した映像配信システムに関する。
従来、特許文献1には、ライブ配信サーバと、ライブ配信サーバからストリーミング配信されたライブコンテンツを蓄積し視聴者の要求した再生位置から再配信する時差配信サーバとを具備する映像配信システムが開示されている。
この種の映像配信システムは、例えばアーティストのコンサート会場などで活用することができる。一例としては、コンサート会場に足を運んだ客が、自己が所有するスマートフォンなどの携帯型撮影装置を利用して、コンサート会場でアーティストの演奏風景等を動画撮影し、その映像をライブ配信サーバを通じて視聴者に配信することも可能となる。この場合、あたかも、そのコンサート会場にいるかのような臨場感あふれる映像を楽しむことができるようになる。
しかし、特許文献1に開示されている映像配信システムは、ライブ配信サーバに対してアップロードされた映像は、無条件で視聴者がダウンロードすることが可能となるので、視聴者が希望しないような映像が配信される可能性がある。
すなわち、コンサート会場などに足を運んだ客が撮影した映像は、例えば、その客自身がプライベート感覚で撮影したプライベート映像も含まれることもあろうし、撮影技術が伴っていないことから配信にふさわしい映像でないこともあろう。また、アーティストが複数人からなるグループで構成されている場合には、そのメンバーの中の特定のアーティストの映像に特化した映像のみ配信を希望する視聴者がいる場合も考えられる。さらに、配信されうる数多の映像を視聴者に送信してしまうと、視聴者が希望に沿った映像を見つけることが困難である。このため、視聴者が無条件で如何なる映像も視聴できるようにすることは回避すべきである。
そこで、本発明は、配信対象の映像に配慮した映像配信システムを提供することを課題とする。
上記課題を解決するために、本発明は、
携帯型撮影装置(例えば、図1のスマートフォン100)で撮影された映像を視聴者端末に配信する映像配信システムにおいて、
携帯型撮影装置で撮影された映像のうち配信対象とすべき被写体の映像を特定するための照合情報が格納される格納媒体(例えば、図1の管理サーバ200、或いは、図2の格納媒体140)と、
前記携帯型撮影装置で撮影された映像を前記格納媒体に格納されている照合情報と対比しながら配信対象とすべきでない映像をフィルタリングするフィルタ手段(例えば、図2のフィルタ手段150)と、
前記フィルタ手段によってフィルタされなかった映像に点数付けをして点数の高い映像を配信する配信手段(例えば、図3の選定手段202或いは図4の分析手段302、又は、図1のストリーミングサーバ300)と、
を備える。
携帯型撮影装置(例えば、図1のスマートフォン100)で撮影された映像を視聴者端末に配信する映像配信システムにおいて、
携帯型撮影装置で撮影された映像のうち配信対象とすべき被写体の映像を特定するための照合情報が格納される格納媒体(例えば、図1の管理サーバ200、或いは、図2の格納媒体140)と、
前記携帯型撮影装置で撮影された映像を前記格納媒体に格納されている照合情報と対比しながら配信対象とすべきでない映像をフィルタリングするフィルタ手段(例えば、図2のフィルタ手段150)と、
前記フィルタ手段によってフィルタされなかった映像に点数付けをして点数の高い映像を配信する配信手段(例えば、図3の選定手段202或いは図4の分析手段302、又は、図1のストリーミングサーバ300)と、
を備える。
また、本発明の受信装置は、
上記映像配信システムから配信される映像を受信する受信手段と、
前記受信手段によって受信された映像を表示する表示手段と、
前記映像の視聴者によって選択されるパラメータの係数を映像配信システムに送信する送信手段とを備える。
上記映像配信システムから配信される映像を受信する受信手段と、
前記受信手段によって受信された映像を表示する表示手段と、
前記映像の視聴者によって選択されるパラメータの係数を映像配信システムに送信する送信手段とを備える。
100 スマートフォン
110 撮影手段
120 作成手段
130 通信手段
140 格納媒体
150 フィルタ手段
200 管理サーバ
300 ストリーミングサーバ
400 パーソナルコンピュータ(PC)
500 コンテンツデータベース(コンテンツDB)
600 管理データベース(管理DB)
700 ネットワーク
110 撮影手段
120 作成手段
130 通信手段
140 格納媒体
150 フィルタ手段
200 管理サーバ
300 ストリーミングサーバ
400 パーソナルコンピュータ(PC)
500 コンテンツデータベース(コンテンツDB)
600 管理データベース(管理DB)
700 ネットワーク
以下、本発明の実施形態について、図面に基づいて説明する。
図1は、本発明の実施形態の映像配信システムの模式的な構成図である。図1には、以下説明する、スマートフォン100と、管理サーバ200と、ストリーミングサーバ300と、パーソナルコンピュータ(以下、「PC」と称する。)400と、コンテンツデータベース(以下、「コンテンツDB」と称する。)500と、管理データベース(以下、「管理DB」と称する。)600と、ネットワーク700とを示している。
なお、 図1には、スマートフォン100、ストリーミングサーバ300及びPC400を、それぞれ1つずつ示しているが、実際には、これらは複数存在している点に留意されたい。
スマートフォン100は、コンサート会場等において、そのユーザ等である撮影者の操作に従って映像を撮像するものである。また、スマートフォン100は、その映像からそのサムネイルを作成するものである。スマートフォン100は、携帯型撮影装置の一例であり、この他にもムービーカメラ、タブレット、ノート型パーソナルコンピュータ、Google Glass(商品名)といったウェアラブルコンピュータなどを用いることもできる。ただし、本実施形態では、携帯型撮影装置は、撮影した映像を管理サーバ200に送信できるように、通信機能を内蔵又は外付けできるものとするとよい。
管理サーバ200は、本実施形態の映像配信システムの種々の制御を司るサーバである。具体的には、管理サーバ200は、スマートフォン100から撮影を開始又は終了した際に送信される撮影開始信号又は撮影終了信号を受信して撮影が開始又は終了したことを記録したり、スマートフォン100で撮影された映像を暗号化するためのスクランブルコードを生成してスマートフォン100に送信したり、PC400から送信される映像配信要求に応じてストリーミングサーバ300間の負荷分散制御を行ったり、スマートフォン100から送信される映像がプライベート感覚で撮影したプライベート映像である場合に当該映像をコンテンツDB500に保存したり、スマートフォン100から送信される映像をPC400に配信するか否かを照合情報のいくつかを用いて選定したりするものである。
ストリーミングサーバ300は、スマートフォン100から送信される映像自体又はそのサムネイルを受信して、受信した映像自体からその撮影領域に対する被写体の面積の大きさ、その被写体の音声ボリューム、撮影者が操作するスマートフォン100と被写体との角度(撮影角度)、或いは、その映像自体の中心からの被写体中心の距離などを分析して、その分析結果を管理DB600に保存したり、PC400からの配信要求に応じて映像又はそのサムネイルを当該PC400に配信したり、その配信に先立って上記分析結果から実際に映像又はそのサムネイルを配信するか否かを分析したりするものである。また、ストリーミングサーバ300は、スマートフォン100で撮影された映像単位で、当該映像とその映像を撮像した際のイベントと被写体との関連情報を作成するものである。
PC400(受信装置)は、ストリーミングサーバ300から配信される映像を受信して、視聴者に向けて出力するものである。したがって、PC400は、PC400自体に付帯するディスプレイ及びスピーカを有し、これらから映像及び音声を出力する。なお、PC400は、映像の出力機器の一例であり、デスクトップ型でもノート型でもよく、ネットワーク700に接続可能なスマートフォン、タブレット、テレビジョン受信機、ウェアラブルコンピュータなどとしてもよい。
コンテンツDB500は、スマートフォン100から送信されるプライベート映像が保存されるデータベースである。なお、プライベート映像をコンテンツDB500に保存させるためには、その対象となる被写体(家族、友人等)の顔画像等を予めスマートフォン100に格納しておき、スマートフォン100で撮影した映像と当該顔画像等とをスマートフォン100において照合し、一致するものをコンテンツDB500に送信すればよい。
コンテンツDB500には、スマートフォン100或いはそのユーザが所有するPCなどの情報処理装置からアクセス可能であり、コンテンツDB500に保存されたプライベート映像を、後日、スマートフォン100等でストリーミング等のダウンロードをして視聴できるようにしている。
加えて、コンテンツDB500には、プライベート映像のみならず、後述するフィルタ対象となった映像の全てを保存してもよい。係る場合には、コンテンツDB500を物理的又は論理的に分割して、フィルタ対象となった映像のうちプライベート映像と、それ以外の映像との保存先を分けてもよい。
管理DB600は、ストリーミングサーバ300から送信される関連付け情報、被写体の面積の大きさの分析結果、被写体の音声ボリュームの分析結果、撮影者が操作するスマートフォン100と被写体との角度、撮影者が操作するスマートフォン100と被写体との角度、又は、映像中心からの被写体の距離の分析結果などが保存されるデータベースである。
ネットワーク700は、図1に示す各装置を相互に接続するインターネットなどのネットワークである。なお、本実施形態の場合には、スマートフォン100は、無線ネットワークを利用して通信を行うが、その他の装置は、有線ネットワークと無線ネットワークとのいずれを利用して通信を行ってもよい。
図2は、図1に示すスマートフォン100の模式的な構成を示すブロック図である。図2には、以下説明する、撮影手段110と、作成手段120と、通信手段130と、格納媒体140と、フィルタ手段150とを示している。
撮影手段110は、コンサート会場等の映像を撮影するためのものであり、既知のように、カメラ部及びそれに付帯するレンズ部と、これらを駆動する駆動部などとを含み、静止画及び動画を撮影できるものである。
作成手段120は、既知の手法等により、撮影手段110によって撮影された映像から、その内容を示すサムネイルを作成するものである。
通信手段130は、主として、管理サーバ200との間では管理サーバ200に登録されている照合情報の一部を管理サーバ200から受信し、ストリーミングサーバ300との間では映像自体又はそのサムネイルを送信するなど種々の信号又はデータを送信するものである。
格納媒体140は、撮影手段110で撮影された映像のうち、PC400への配信対象とすべき被写体の映像を特定するために、管理サーバ200から送信される照合情報が格納されるものである。
フィルタ手段150は、撮影手段110によって撮影された映像を、格納媒体140に格納されている照合情報と定期的(例えば5秒から15秒ごと)に対比しながら、配信対象とすべきでない映像をフィルタリングするものである。
もっとも、これらの各手段110等のいくつかは、例えば、管理サーバ200或いはストリーミングサーバ300に設けたり、別途ネットワーク700上に配置する専用サーバに設けたりするようにしてもよい。また、これらの各手段110等は、例えば、スマートフォン100にインストールされるアプリケーションソフトとスマートフォン100のCPU及びメモリとの協働によって実現することができる。
図3は、図1に示す管理サーバ200の模式的な構成を示すブロック図である。図3には、主として、スマートフォン100に対して既述の照合情報の一部を送信したりPC400から映像の検索条件を受信したりする通信手段201と、後述するストリーミングサーバ300の分析手段302による分析結果に基づいて配信対象の映像を選定する選定手段202と、ストリーミングサーバ300間の通信の負荷状況を確認して負荷分散制御を行う負荷分散手段203とを示している。選定手段202による選定手法については後述する。
図4は、図1に示すストリーミングサーバ300の模式的な構成を示すブロック図である。図4には、主として、スマートフォン100から送信される映像自体又はそのサムネイルを受信して配信対象として選定された映像等をPC400に配信する通信手段301と、通信手段301によって受信された映像から配信対象の映像を選定する際に用いる指標を算出するための分析手段302とを示している。
ここで、PC400に配信される映像については、一般的には、撮影領域に対する被写体の面積が小さい映像よりも大きい映像としたが好ましいと考えられるであろうし、また、視聴者に臨場感を適切に伝えるためには、光学デバイス又は電子デバイスのフィルタによる劣化が少ない映像とした方が好ましいと考えられる。
このため、分析手段302は、例えば、PC400に配信される映像を、
(1)撮影領域に対する被写体の面積の大きさ、
(2)映像領域に連続して被写体が表示されている時間の長さ、
(3)映像の撮影時の手振れの少なさ、
(4)スマートフォン100のカメラの画素数の多さ、
(5)明暗の分布及びコントラストの明瞭さ、
(6)ノイズの少なさ、
などのパラメータから分析する。結論を先に述べると、これらの分析結果が優れた映像が、管理サーバ200の選定手段202によって選定されることになる。
(1)撮影領域に対する被写体の面積の大きさ、
(2)映像領域に連続して被写体が表示されている時間の長さ、
(3)映像の撮影時の手振れの少なさ、
(4)スマートフォン100のカメラの画素数の多さ、
(5)明暗の分布及びコントラストの明瞭さ、
(6)ノイズの少なさ、
などのパラメータから分析する。結論を先に述べると、これらの分析結果が優れた映像が、管理サーバ200の選定手段202によって選定されることになる。
一例をあげると、これらのパラメータは、上記(1)、(2)については画像の特徴点を抽出することで分析することができ、また、上記(3)については画像の移動量の検出又は加速度センサによるセンサ結果に基づいて、上記(4)についてはスマートフォン100のスペックから、上記(5)については輝度ヒストグラムに基づいて、上記(6)については周波数解析により、それぞれ分析することができる。
分析手段302では、一例を示すと、PC400から送信される例えば全映像についての種々のパラメータの平均値を求め、これらとの関係で個々の映像に対し、不偏分散を算出したりすることで、個々の映像についての分析を行っている。
具体的には、例えば上記パラメータ(1)に着目すれば、映像サンプル数をN、全映像サンプルにおける被写体の画像占有面積の単位時間当たりの平均値をms、映像サンプルの被写体の画像占有面積をSiとした場合に、以下の数式(1)で表される不偏分散σs 2を算出する。そして、個々の映像を不偏分散σs 2との関係で分析すればよい。
同様に、例えば、上記の画像占有面積Siに代えて、被写体の発する音声ボリュームVi、撮影者が操作するスマートフォン100と被写体との角度Ai、又は、映像毎の被写体の映像中心からの距離Diを用い、かつ、被写体の画像占有面積の単位時間当たりの平均値msに代えて、映像に重畳されている被写体の発する音声ボリュームの平均値mv、撮影者が操作するスマートフォン100と被写体との角度の平均値mA、又は、被写体の映像中心からの距離の平均値mΔを用いることで、映像信号全体の音声ボリューム等に関する不偏分散σv 2、σA 2又はσΔ 2を算出することができる。
ここで、例えば、スマートフォン100で撮影をするコンサート会場が広ければ広いほど、各スマートフォン100と被写体との角度及び距離が大きく相違するので、映像内における被写体の占有率の相違を補完するため、映像フレームに対する被写体画像の占有率及び角度の変化が発生することに配慮するとよい。例えば、分析手段302による分析に先立って、会場内を座席番号などに基づいて複数の撮影エリアに分割して、撮影エリア毎に分析するといったことも一法である。
選定手段202は、上記のように、分析手段302による分析結果に基づいて、どの映像を配信するかを選定する。例えば、既述の3つの不偏分散σs 2、σv 2、σA 2或いはσΔ 2を用いて、配信対象の映像を選定する際には、これらに対応して視聴者が選択できる係数をそれぞれ、ks、kv、kA或いはkΔとした場合に、数値xの分散yにおける偏差値に係数kを加味した値をf(x,y,k)で表して、以下の数式を用いることができる。
f(Si,σs 2,ks)+f(Vi,σv 2,kv)+f(Di,σΔ 2,kA或いはkΔ)・・・(2)
f(Si,σs 2,ks)+f(Vi,σv 2,kv)+f(Di,σΔ 2,kA或いはkΔ)・・・(2)
このとき、映像毎に数式(2)を適用して、値の大きい映像ほど、配信対象として好ましいということができる。視聴者は、数式(2)の例で、仮に被写体が大きく映っている映像の配信を希望する場合には、これに係るksの値を高くすればよいということになる。換言すると、視聴者毎に、ks、kv、kA或いはkΔの数値を選択させれば、視聴者の嗜好に合致した映像を、当該視聴者に配信することが可能となる。
ところで、例えば複数の映像間で数式(2)の算出値が近接しているような場合、映像の優先順位が頻繁に前後してPC400に配信される映像の過剰な切り替えが発生する可能性がある。そのため、優先順位の決定時に順位変動の閾値を設けておくことで、PC400に配信される映像の過剰な切り替えの発生を抑えてもよい。
図5は、図1に示すスマートフォン100及びストリーミングサーバ300の動作の概要を示すフローチャートである。図5に示すように、まず、スマートフォン100では、通信手段130によって、管理サーバ200からネットワーク700を通じて送信される照合情報の一部が受信される。この照合情報は、格納媒体140に格納され、また、この照合情報に基づいて、フィルタ手段150のフィルタ設定がなされる(ステップS11)。
ここでいう照合情報の一部とは、例えば、対象となる被写体の顔写真又は声とすることができ、その被写体が歌手であれば楽曲のメロディーなどのユニークな情報などとすることができる。このような照合情報を用いれば、画像特徴点及び色ヒストグラムによる物体追跡、声紋分析、音声指紋等に基づいて画像認識技術又は音声認識技術等を行うことによって、スマートフォン100で撮影された映像が配信対象とすべき被写体の映像であるか否かを特定することが可能となる。
また、アーティストが複数人からなるグループで構成されている場合には、そのメンバーのアーティストごとに、照合情報を用意しておけば、アーティストごとに特化した映像を配信することもできる。
また、照合情報の一部として、客観的に不愉快と判断される映像、あるいは倫理道徳に反していて配信に相応しくない映像を排除するための、特定画像や放送禁止用語などのブラックリスト情報などを用いれば、画像特徴点、声紋分析、音声指紋等に基づいて画像認識技術又は音声認識技術等を行うことによって、スマートフォン100で撮影された映像につき、配信に相応しくない映像を排除することが可能となる。
なお、図5ではステップS11のフィルタ設定は撮影開始前に一回だけ行う例を示しているが、この動作は例えばスマートフォン100のユーザの指示により不定期に、又は、所定時間ごとなど定期的に行ってもよい。こうすれば、例えばコンサートなどイベントの進行状況に合わせて配信対象を変更することができる。加えて、ネットワーク700の帯域の使用状況に合わせて配信対象を絞ったりするなど、より柔軟な制御が可能となる。なお、この制御は、具体的には、スマートフォン100のユーザからのアップロード状況を監視しておき、ストリーミングサーバ300の総帯域容量をオーバーしそうであれば、例えば、撮影領域に対する被写体の面積が所定の閾値%以上でアップロードを許可するなどフィルタ手段150等におけるフィルタ条件を厳しくすることが考えられる。
また、スマートフォン100では、通信手段130によって、管理サーバ200から送信される、スマートフォン100で撮影された映像を暗号化するためのスクランブルコードが受信される。
その後、スマートフォン100では、撮影者から撮影開始の指示があると、それに従って撮影手段110によってコンサート会場等の映像の撮影を開始するとともに、通信手段130によって撮影開始を示す撮影開始信号を管理サーバ200に送信する(ステップS12)。
この結果、管理サーバ200では、スマートフォン100で撮影が開始されたことを記録することができる。
また、撮影手段110による撮影が開始されると、スマートフォン100の内蔵メモリに、その映像が順次一時的に記憶されていき、後述のステップS17にて撮影終了と判定されるまで、この一時記憶処理を行う(ステップS13)。
それから、スマートフォン100では、フィルタ手段150によって、一時記憶されている映像を、例えば前回読み終えた箇所からの10秒間分を読み出す。そして、その10秒間の映像につき、フィルタの設定情報と対比しながら、配信対象とすべき映像であるか否か判定する(ステップS14)。
判定の結果、上記映像が配信対象とすべき映像でない、つまりフィルタ対象であれば、その映像を配信せず、また、これに伴って、ステップS15,S16をスキップしてからステップS17へ移行する。一方、上記映像が配信対象とすべき映像である、つまりフィルタ対象でなければ、最終的にはPC400に当該映像が配信可能となるが、PC400のユーザである視聴者が容易に視聴対象の映像を選択できるように、例えば、作成手段120によって映像のサムネイルを作成する(ステップS15)。
なお、そのスマートフォン100で撮影した映像につき、フィルタ処理される映像数が規定数を超えた場合には、そのスマートフォン100で撮影した映像については、本システムにおいて優良な撮影者でなく、もっといえば悪意のある撮影者である可能性も否定できないので、このコンサート会場で撮影した映像については一切配信をしないようにしてもよい。この場合には、以後、ステップS14〜ステップS17を実行せずに、ステップS18へ移行してもよい。
また、特定のスマートフォン100で撮影された映像に対して、全てのPC400からの映像配信要求が存在しなくなった場合には、ストリーミングサーバ300は、そのスマートフォン100に対して配信停止要求を送信して、ステップS18へ移行してもよい。このような処理は、所望の映像配信を優先させられるので、ネットワーク700の帯域確保に寄与することになる。
その後、スマートフォン100では、一時記憶されている映像であってフィルタ対象でないもの及びそのサムネイルに対して、スクランブルコードを用いて暗号化処理を行う。この暗号化された映像は、最終的にPC400に配信され得るパブリック映像であり、これをネットワーク700を介してストリーミングサーバ300に送信する(ステップS16)。
なお、ステップS16の実行に先立って、管理サーバ200において、ストリーミングサーバ300間の負荷状況を確認して、スマートフォン100に送信先のストリーミングサーバ300を通知し、特定のストリーミングサーバ300に負荷がかからないように負荷分散制御を行うとよい。
その後、スマートフォン100では、撮影者からの撮影終了の指示があるか否かを確認し、撮影終了でない場合にはステップS13へ移行する(ステップS17)。
一方、撮影終了である場合には、通信手段130によって撮影終了を示す撮影終了信号を管理サーバ200に送信する。これにより、管理サーバ200では、スマートフォン100で撮影が終了したことを記録することができる。それから、スマートフォン100は、フィルタ対象となった映像にプライベート映像が含まれているか否かを判定する(ステップS18)。
なお、ステップS16,ステップS17の実行により、管理サーバ200では、スマートフォン100から送信された映像と既述の照合情報とを対比して、当該映像を再生したときに被写体がどの時間帯に映っているかといった索引を作成することもできる。このような索引をPC400に送信すれば、PC400のユーザが視聴しようとしている映像を検索しやすくなる。
また、管理サーバ200では、ストリーミングサーバ300間の負荷状況を確認して、特定のストリーミングサーバ300に負荷がかからないように負荷分散制御を行うとよい。
ステップS18の判定の結果、フィルタ対象となった映像にプライベート映像が含まれていない場合には、図5に示す処理を終了する。一方、フィルタ対象となった映像にプライベート映像が含まれている場合には、そのプライベート映像をスマートフォン100のユーザ等が将来的に閲覧できるように、ネットワーク700を介してストリーミングサーバ300に送信する(ステップS19)。
これらのいずれかの処理を実行することで、管理サーバ200からネットワーク700を介して、プライベート映像がコンテンツDB500に保存されることになる。なお、ステップS18,ステップS19の処理に代えて、フィルタ対象となった映像の全てを管理サーバ200に送信してもよい。
また、図5では、ステップS18,ステップS19をステップS17の撮影終了後に実行しているが、これは、主として、ほぼリアルタイムに撮影した映像を送信することを優先させることで、ステップS16で映像等を送信することの帯域を十分に確保するためである。したがって、ほぼリアルタイムな映像の配信を要しない場合には、ステップS18を削除するとともに、ステップS16とパラレルな処理としてステップS19を実行するようにしてもよい。
さらに、図5において説明したスマートフォン100の処理の一部は、管理サーバ200或いはストリーミングサーバ300において実行してもよい。例えば、スマートフォン100ではフィルタ処理を行わず、一時記憶された全ての映像を送信するようにして、ストリーミングサーバ300で受信した映像のフィルタ処理を行い、パブリック映像とプライベート映像との判別を行うようにしてもよい。
一方、ストリーミングサーバ300は、ステップS16でスマートフォン100より送信されたパブリック映像を、ネットワーク700を介して受信し、この映像を配信するのに先立って当該映像に識別番号を付してコンテンツDB500に記憶する(ステップS21)。
その後、ストリーミングサーバ300では、コンテンツDB500に記憶した映像のうち、まだ読み出していない識別番号が付された映像を読み出して、その映像に所望の被写体の画像が含まれているか、又は、所望の被写体の音声が含まれているか、つまり、その映像から所望の被写体が抽出できるか否かを判定する(ステップS22)。
判定の結果、その映像に所望の被写体が抽出できない場合には、ステップS23〜ステップS27をスキップする。一方、その映像に被写体が抽出できる場合には、その映像における被写体毎の画像占有面積Siを所定の映像時間刻みで割り出し、分析手段302により数式(1)を用いて不偏分散σs 2を算出する(ステップS23)。
同様に、選択的に、既述の音声ボリュームVi及びこれに関する不偏分散σv 2と、撮影角度Ai及びこれに関する不偏分散σA 2、又は、映像中心からの距離Di及びこれに関する不偏分散σΔ 2などを算出する(ステップS24,S25)。
こうして算出した画像占有面積Si等は、図示しない格納媒体に格納され、また既に格納されている画像占有面積Si等があれば、それらの平均値ms等も算出し、かつ、算出していた平均値ms等があれば、それを更新する(ステップS26)。
その後、ストリーミングサーバ300では、映像とイベントと被写体との関連付け情報を作成し、これを映像のリンク情報として、算出した画像占有面積Si等とともに、ネットワーク700を介して管理DB600へ送信する(ステップS27)。
ストリーミングサーバ300では、スマートフォン100からパブリック映像を受信している間、上記ステップS22〜ステップS27の処理を、全被写体の確認が完了するまで繰り返し実施する(ステップS28)。
その後、スマートフォン100からネットワーク700を介して送信されたプライベート映像を受信したストリーミングサーバ300は、スマートフォン100のユーザが将来的に閲覧できるように、識別番号をつけてコンテンツDB500に記憶する(ステップS29)。
図6は、図1に示すPC400及びストリーミングサーバ300の動作の概要を示すフローチャートである。図6に示すように、まず、PC400では、視聴開始時に視聴者により視聴対象の映像に係るイベント、被写体、又は撮影エリアが指定されると、それらのうち指定されたものを識別する情報を検索条件として受け付ける(ステップS31)。
その後、PC400は、当該検索条件をネットワーク700を介して管理サーバ200へ送信して、映像の選定を依頼するとともに、配信対象のストリーミングサーバ300の決定を依頼する(ステップS32)。
この際、PC400は、映像の分析の際に用いる係数ks、kv、kΔ、及び、選択的に既述の閾値を初期値に設定し、その設定した値を管理サーバ200に送信してもよい。
そして、管理サーバ200は、PC400から送信された検索条件に従って配信すべき映像の選定を行い、かつ、ストリーミングサーバ300間の負荷状況をチェックして、そのチェック結果に基づいてPC400へ映像を配信するストリーミングサーバ300を決定し、選定済みの映像を示す情報と当該ストリーミングサーバ300を示す情報とをネットワーク700を介してPC400に送信する。
PC400は、管理サーバ200から送信される各情報を受けると、選定された映像を表示手段によりディスプレイに表示して、その映像の配信要求を視聴者に促す。また、PC400は、決定されたストリーミングサーバ300との間で映像配信のためのストリーミング回線の確立リクエストを行う(ステップS33)。
PC400からのストリーミング回線の確立リクエストを受けたストリーミングサーバ300は、それに従って、ストリーミング回線の確立処理を実行する(ステップS42)。
また、PC400では、実際に、選定された映像についての配信要求が視聴者から行われた場合には、ストリーミングサーバ300によって確立されたストリーミング回線を通じて、そのストリーミングサーバ300に対して、当該映像の配信要求をネットワーク700を介して行う(ステップS34)。
ストリーミングサーバ300は、PC400からの配信要求を受けると、PC400に対し、ストリーミング回線を通じて、選定済みの映像の配信を開始する(ステップS43)。
その後、ストリーミングサーバ300は、PC400又は管理サーバ200からの指示待ち状態に遷移する。
一方、PC400は、ストリーミングサーバ300から配信されてきた映像を、表示手段によりディスプレイに表示し、それに付帯する音声をマイクロフォンから出力する(ステップS35)。
その後、PC400は、視聴者からのコマンド入力待ち状態に遷移する(ステップS36)。
そして、視聴者から、何らかのコマンドが入力された場合には、そのコマンドが視聴者の嗜好等に合致する映像の配信を要求するために、既述の係数を変更するための係数変更コマンドであるか否かを判定する(ステップS37)。
判定の結果、係数変更コマンドでない場合には、ステップS39へ移行する。一方、係数変更コマンドである場合には、視聴者が入力した係数を受け付けて、それを管理サーバ200に送信することで係数変更指示を行う(ステップS38)。
管理サーバ200は、PC400からの係数変更指示に従って、既述の数式(2)を用いて、配信対象とすべき映像を選定して、ストリーミングサーバ300に対して、その選定結果を送信する。
ここで、配信対象とすべき映像を選定するタイミングは、適宜決定すればよい。あまりに短時間に設定すると、場合によっては、頻繁に配信対象の映像が切り替わることになる。一方、あまりに長時間に設定すると、視聴者が配信を望む映像以外の映像が配信される時間が相対的に長くなる。そこで、一例としては、数秒から数十秒程度に設定することが考えられる。
仮に、視聴者が、被写体が大きく中央に映っている映像の配信を希望している場合、スマートフォン100のカメラの画素数の多少にもよるが、典型的にはコンサート会場の比較的前列に位置する撮影者によって撮影された映像が配信される時間が多くなると予想される。
実際に、配信対象とすべき映像を選定するという処理を実行すると、以下のような映像配信がなされることが想定される。すなわち、特定の撮影者が撮影した映像が特定のPC400に配信されていた場合において、その撮影者のスマートフォン100のカメラの向きが何らかの事情により被写体とは別の向きに変わったとする。
そして、その際、配信対象とすべき映像を選定するタイミングが到来すれば、その撮影者が撮影した映像についての偏差値の値は低下することになるから、特定のPC400に対して配信される映像は、他の撮影者が撮影した映像に切り替わることになる。
つまり、本実施形態の映像配信システムは、映像の配信中にその映像の点数よりも高い点数の映像があるときに、その高い点数の映像に配信対象を切り替える切替手段を備えるということができる。
平たく言うと、特定の視聴者に対して、その視聴者の嗜好に照らして最適な映像が通常時には配信されているが、何らかの事情によりその映像が最適ではなくなった場合には、その特定の視聴者に対して配信する映像を、次点の映像に切り替えることを、ストリーミングサーバ300で行うことになる。
その後、最適な映像の撮影者が、元どおりの条件で撮影を再開できた場合には、その後に配信対象とすべき映像を選定するタイミングが到来すれば、通常は、また、当該次点の映像から上記の最適な映像に、配信対象が切り替わることになろう。したがって、視聴者には、配信対象とすべき映像を選定するタイミングが到来するごとに、その時に、視聴者の嗜好に最適な映像が配信されることになる。
なお、配信対象とすべき映像を選定するタイミングは、定期的であっても不定期であってもよい。不定期な場合としては、例えば、音声ボリュームが大きく変化するタイミングに合わせることが考えられる。
こうすると、例えば歌手がまさに歌っている途中で映像が差し替わることがなく、切り替えが起きるタイミングは、歌手が歌っていない小節間などになるので、視聴者が普段テレビ番組などで見慣れているカメラの切り替わりと同じようなタイミングで映像配信対象を切り替えることが可能となる。
また、入力されるコマンドは、係数変更コマンドのみならず、配信されている映像に係るイベント自体を変更するイベント変更コマンドであったり、被写体自体を変更する被写体変更コマンドであったり、視聴者がお気に入りの映像を選択して手元に保持する保持コマンドだったり、配信される映像の視聴を終了するための終了コマンドなど、配信映像に関する種々のコマンドがある。
PC400は、視聴者から、何らかのコマンドが入力された場合、そのコマンドが係数変更コマンドでないと判定された場合には、そのコマンドが終了であるか否かが判定される(ステップS39)。
判定の結果、そのコマンドが終了コマンドである場合には、ステップS41へ移行する。一方、そのコマンドが終了コマンド以外のコマンドである場合には、そのコマンドに応じた処理を実行する(ステップS40)。
そのコマンドが保持コマンドであった場合を例に付言すると、視聴者の嗜好に沿った映像については、所定期間内においてはいつでもPC400からアクセスできるように、映像をストックしておくための「お気に入りエリア」を、ストリーミングサーバ300に設け、視聴者がPC400を操作することで特定の映像の保持を指示した場合には、当該特定の映像を、お気に入りエリアに格納するとよい。
この他にも、ステップS31で設定された検索条件の履歴を管理サーバ200で記録しておき、当該履歴に基づく映像を視聴者の嗜好に沿ったものであると仮定して、管理サーバ200からPC400に対して、その映像のサムネイルを送信してもよい。このサムネイルは、後述する表示領域460(図8)に表示される。この際、視聴者がそのサムネイルの映像に興味を持った場合には、その映像をお気に入りエリアに複製できるようにしておくとよい。
また、管理サーバ200では、負荷分散手段203が、ストリーミングサーバ300間の負荷状況を適宜確認して、特定のストリーミングサーバ300に負荷がかからないように負荷分散制御を行う。
具体的には、負荷分散手段203は、PC400との間でストリーミング回線を接続しているストリーミングサーバ300の負荷が過多となっている場合には、そうでない他のストリーミングサーバ300を選択して、PC400との接続先を当該他のストリーミングサーバ300に変更する。この際、ストリーミング回線を接続していたストリーミングサーバ300に対しては、視聴の終了指示が送信される。
PC400は、視聴者から、何らかのコマンドが入力された場合、そのコマンドが終了コマンドであれば、映像の配信を完了させるために、ストリーミングサーバ300及び管理サーバ200に対して視聴終了の指示を送信して、図6に示す処理を終了する(ステップS41)。
一方、ストリーミングサーバ300は、ステップS39の実行によって管理サーバ200から送信される指示を受けると、選定結果に合致する映像を選定し、PC400に送信する。そして、ストリーミングサーバ300は、その後、PC400から視聴の終了指示が送信されてくると、それに応じてストリーミング回線を開放して、図6に示す処理を終了する(ステップS44)。
なお、図6において説明した管理サーバ200の処理の一部は、PC400で実行してもよい。例えば、管理サーバ200において、ステップS42に示す映像の選定を行い、その選定結果を管理サーバ200からPC400へ送信してもよい。
また、視聴者がPC400を操作することによって、お気に入りエリアに格納していた映像の配信要求を行うと、ステップS32以降の処理が実行され、その映像の配信が開始されるようにしてもよい。
さらに、本実施形態では、視聴者の利便性を向上させるために、以下のような機能を有している。すなわち、視聴者が既述の係数の変更を指示した結果、変更前の係数の場合に選定された映像が良いと考えることもあるとの考慮から、係数自体の履歴を管理サーバ200に送信することで、変更前の係数に合致する映像の配信を行えるようにするとよい。一方で、係数の変更の度に履歴をとると、所望の係数を探しきれないこともあるので、係数が変更されない時間が所定時間を超える場合にのみ履歴を取るようにしたり、お気に入りエリアに特定の映像を格納する際に、その時の係数の履歴を取るようにしたりするとよい。
このような履歴は、視聴者がPCを操作することによって、管理サーバ200にアクセスすれば、適宜、選択できるようにしておけばよい。
図7は、図1のPC400のディスプレイに表示される画面例を示す図である。図7には、コンサートのポスターなどの表示領域410と、現在の日時情報の表示領域420と、コンサートに出演するアーティストらの被写体選択領域440と、選択された被写体を表示する表示領域450とを示している。
PC400のユーザが、被写体選択領域440の中から所望の被写体を選択すると、その被写体の名前が表示領域450に掲載される。ここでは、アーティストAが被写体として選択された状態を示している。
図8は、図7の画面例からコンサートの映像配信がされた後の画面例を示す図である。図8には、図7に示した部分の他に、アーティストAを被写体とした8つの映像のサムネイルの表示領域460と、被写体選択領域440に隣接していずれかのサムネイルを選択するための選択領域470とを示している。
PC400のユーザが、選択領域470を通じて所望の映像を選択すると、その選択された映像が、例えば全画面表示の態様でPC400のディスプレイに表示される。
本実施形態では、コンサート会場で撮影する場合を例に映像配信システムの説明をしたが、本実施形態の映像配信システムは、その他にも、野球場、サッカー場、陸上競技場といったスポーツ会場で撮影する場合、運動会、旅行といった行事での各所で撮影する場合を含む種々のイベントにおいて撮影する場合にも好適に用いることができる。
Claims (6)
- 携帯型撮影装置で撮影された映像を視聴者端末に配信する映像配信システムにおいて、
携帯型撮影装置で撮影された映像のうち配信対象とすべき被写体の映像を特定するための照合情報が格納される格納媒体と、
前記携帯型撮影装置で撮影された映像を前記格納媒体に格納されている照合情報と対比しながら配信対象とすべきでない映像をフィルタリングするフィルタ手段と、
前記フィルタ手段によってフィルタされなかった映像に点数付けをして点数の高い映像を配信する配信手段と、
を備える映像配信システム。 - さらに、前記配信手段による映像の配信中にその映像よりも点数よりも高い点数の映像があるときに、当該高い点数の映像に配信対象を切り替える切替手段を備える、請求項1記載の映像配信システム。
- 前記配信手段は、配信候補の複数の映像の各々における、
被写体の画像占有面積と、
当該被写体の発する音声ボリュームと、
前記携帯型撮影装置と被写体との角度と、
当該被写体の映像中心からの距離と、のいずれかに基づいて、前記各映像に点数付けをする、請求項1記載の映像配信システム。 - 前記点数付けは、映像の配信先である視聴者によって選択されるパラメータの係数を加味して行われる、請求項1記載の映像配信システム。
- 前記フィルタ手段によってフィルタされた映像が格納されるデータベースを備える、請求項1記載の映像配信システム。
- 請求項1記載の映像配信システムから配信される映像を受信する受信手段と、
前記受信手段によって受信された映像を表示する表示手段と、
前記映像の視聴者によって選択されるパラメータの係数を映像配信システムに送信する送信手段とを備える受信装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014074551A JP2015198298A (ja) | 2014-03-31 | 2014-03-31 | 映像配信システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014074551A JP2015198298A (ja) | 2014-03-31 | 2014-03-31 | 映像配信システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015198298A true JP2015198298A (ja) | 2015-11-09 |
Family
ID=54547782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014074551A Pending JP2015198298A (ja) | 2014-03-31 | 2014-03-31 | 映像配信システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015198298A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6385543B1 (ja) * | 2017-09-29 | 2018-09-05 | 株式会社ドワンゴ | サーバ装置、配信システム、配信方法及びプログラム |
JP2021124516A (ja) * | 2020-01-31 | 2021-08-30 | 株式会社第一興商 | カラオケシステム |
-
2014
- 2014-03-31 JP JP2014074551A patent/JP2015198298A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6385543B1 (ja) * | 2017-09-29 | 2018-09-05 | 株式会社ドワンゴ | サーバ装置、配信システム、配信方法及びプログラム |
JP2019068203A (ja) * | 2017-09-29 | 2019-04-25 | 株式会社ドワンゴ | サーバ装置、配信システム、配信方法及びプログラム |
JP2021124516A (ja) * | 2020-01-31 | 2021-08-30 | 株式会社第一興商 | カラオケシステム |
JP7314073B2 (ja) | 2020-01-31 | 2023-07-25 | 株式会社第一興商 | カラオケシステム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5857122B2 (ja) | 興味の特徴を含むビデオサマリー | |
JP5877895B2 (ja) | 所定の人間を含むビデオサマリー | |
US9942295B2 (en) | Live crowdsourced media streaming | |
CN106941624B (zh) | 网络视频试看的处理方法和装置 | |
US20140086562A1 (en) | Method And Apparatus For Creating A Composite Video From Multiple Sources | |
US20110150427A1 (en) | Content providing server, content reproducing apparatus, content providing method, content reproducing method, program, and content providing system | |
US10070175B2 (en) | Method and system for synchronizing usage information between device and server | |
JP2009099142A (ja) | 画像共有システムおよび方法、ならびにコンテンツ共有システムおよび方法 | |
US11188760B2 (en) | Method and system for gaming segment generation in a mobile computing platform | |
US20180367861A1 (en) | Temporal generation of content playlists | |
US11941048B2 (en) | Tagging an image with audio-related metadata | |
US9189067B2 (en) | Media distribution system | |
US20110022495A1 (en) | Recording and reproducing apparatus for content | |
KR20160090123A (ko) | 선호채널 설정 장치 및 방법 | |
JP2015198298A (ja) | 映像配信システム | |
JPWO2015178234A1 (ja) | 画像検索システム、検索画面表示方法 | |
US20230124796A1 (en) | Managing and delivering user-provided content that is linked to on-demand media content | |
JP2015126517A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6148785B1 (ja) | 情報処理システム、情報処理装置及びプログラム | |
WO2021019987A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US20120207441A1 (en) | Apparatus, and associated method, for augmenting sensory perception of subject of interest | |
WO2023021759A1 (ja) | 情報処理装置、情報処理方法 | |
JP2014128008A (ja) | 電子機器及びその制御方法 | |
JPWO2019130585A1 (ja) | 撮像動画サービスシステム、サーバ装置、撮像動画管理方法、及びコンピュータプログラム | |
JP2019165369A (ja) | 情報処理装置 |