JP2005051703A - ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置 - Google Patents

ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置 Download PDF

Info

Publication number
JP2005051703A
JP2005051703A JP2003284061A JP2003284061A JP2005051703A JP 2005051703 A JP2005051703 A JP 2005051703A JP 2003284061 A JP2003284061 A JP 2003284061A JP 2003284061 A JP2003284061 A JP 2003284061A JP 2005051703 A JP2005051703 A JP 2005051703A
Authority
JP
Japan
Prior art keywords
live streaming
network
video data
broadcasting
broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003284061A
Other languages
English (en)
Inventor
Atsushi Hoshino
厚 星野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
INST TSUKUBA LIAISON CO Ltd
Institute of Tsukuba Liaision Co Ltd
Original Assignee
INST TSUKUBA LIAISON CO Ltd
Institute of Tsukuba Liaision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by INST TSUKUBA LIAISON CO Ltd, Institute of Tsukuba Liaision Co Ltd filed Critical INST TSUKUBA LIAISON CO Ltd
Priority to JP2003284061A priority Critical patent/JP2005051703A/ja
Priority to KR1020067002185A priority patent/KR20060120571A/ko
Priority to CNA2004800214128A priority patent/CN1830210A/zh
Priority to PCT/JP2004/010720 priority patent/WO2005013618A1/ja
Priority to US10/566,689 priority patent/US20060242676A1/en
Publication of JP2005051703A publication Critical patent/JP2005051703A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

【課題】 低コストで高い表現性の放送を実現するライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム及び記録媒体を提供する。
【解決手段】 ネットワーク２を介してライブ放送を行うライブストリーミング放送方法である。複数のカメラ映像データを入力しながら、該入力中の複数のカメラ映像データを合成する合成処理により得られる合成映像データを、視聴者による視聴用にネットワーク２に出力する。
【選択図】 図４

Description

本発明は、ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置に関する。
従来より、映像及び音声をインターネットなどのネットワークを介して視聴者向けにライブ放送するインターネットライブ放送、すなわちライブストリーミング放送が行われている。
視聴者（クライアント）がライブストリーミング放送を視聴するには、例えば、視聴用端末にてブラウザを起動し、放送の提供者（放送者）のホームページにアクセスして、放送内容のデータを視聴用端末に受信する。視聴用端末に受信されたデータは、予め視聴用端末に組み込まれたストリーミングプレーヤ（ストリーミングデコーダを含む）にてデコード処理によりストリーミングファイルに変換されて、放送内容のうち映像は視聴用端末の表示画面に表示されるとともに、音声はスピーカより出力される。これにより、視聴者は、放送内容を視聴することができる。
なお、視聴用端末は、例えば汎用のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。また、ストリーミングプレーヤは、汎用のブラウザに組み込まれたストリーミングプレーヤ、或いは、専用のストリーミングプレーヤであり、何れも視聴用端末にプログラム（ソフトウェア）をインストールすることにより視聴用端末内に構築される。
他方、放送者がライブストリーミング放送を行うには、放送用端末にて放送用プログラムを起動する一方で、該放送用端末内に、例えばカメラ映像データ及びマイクからの音声データを入力する。そして、これらのデータを、起動した放送用プログラムに従いエンコード処理してネットワークに向け出力する。
なお、放送用端末も、例えば汎用のＰＣである。また、放送用プログラムは、ストリーミングエンコーダとしての機能を含む汎用のプログラム（ソフトウェア）である。
以上のようなライブストリーミング放送の流れを図１４に示す。
図１４に示すように、放送者側では、カメラ１０１からの映像データ（動画）及びマイク１０２からの音声データを、放送用端末内のストリーミングエンコーダ１０３にてエンコード処理してストリーミングファイルに変換し、放送データとして連続的にネットワーク１０４に出力する。出力される放送データは、指定されたストリーミングサーバ１０６に入力される。
また、視聴者（クライアント）側の視聴用端末１０５では、ブラウザ１０５ａを起動して、放送者からの放送データを、ストリーミングサーバ１０６よりネットワーク１０４を介して連続的に受信し、該受信した放送用データを視聴用端末１０５内のストリーミングプレーヤ（ストリーミングデコーダ）１０５ｂにてデコード処理して、映像表示及び音声出力を連続的に行う。よって、視聴者側では、ネットワーク１０４を介した放送をリアルタイムで（ライブで）視聴することができる。
このようなライブストリーミング放送に関する技術としては、例えば、特許文献１の技術がある。
ところで、例えば汎用のＰＣなどの単一の機器を主として用いて編集を行う従来のライブストリーミング放送においては、映像及び音声を何ら加工せずに放送するといった放送態様が主流であり、その表現性には電波放送と比べて大きな格差があった。すなわち、従来は、例えば、複数のカメラ映像を合成したり、テロップを挿入したり、更にビデオ画像を合成したりする処理（アルファブレンド処理、レイ・オーバーレイ処理など）を行うことができなかった。
具体的には、例えば、マイクロソフト社製のストリーミングエンコード用のソフトウェアである「Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｅｎｃｏｄｅｒ（商品名）」に付属の編集機能によれば、カメラソースを１つしか選べず複数のカメラ映像を同時表示することができない。
また、映像を加工する場合にも、例えば特許文献１に開示されているように、単に、視聴者側の表示画面内の複数の表示領域にそれぞれ別個の映像を表示させるようにしただけのものが存在するに過ぎない。
従来、例えば、複数のカメラ映像を合成したり、テロップを挿入したり、更にビデオ画像を合成したりする処理（アルファブレンド処理、レイ・オーバーレイ処理など）を行うためには、例えば、図１５に示すように、ＰＣ２２０の他に多数の放送機材を備えて構成された放送システム２００を用いる必要があった。
すなわち、図１５に示す放送システム２００は、映像の編集用には、例えば、テロップなどの表示データを格納したＰＣ２０１、ダウンコンバータ２０２、ビデオテープの再生用の複数のビデオデッキ２０３、これらからの映像データのうち何れか１つを選択するためのスイッチャー２０４、確認用のモニター２０５、複数のカメラ２０６、複数のカメラ２０６からの映像データのうち何れか１つを選択するためのスイッチャー２０７、確認用のモニター２０８、各スイッチャー２０４、２０７からの映像データを合成する（アルファブレンド処理、レイ・オーバーレイ処理などを行う）ビデオミキサー２０９、ビデオミキサー２０９による合成後の映像データの確認用のモニター２１０を備えている。
また、音声の編集用には、例えば、効果音をサンプリングするためのサンプラー２１１、効果音にエフェクト処理を施すためのエフェクター２１２、マイク２１３、ＣＤプレーヤなどのプレーヤ２１４、ＭＩＤＩファイルを再生するためのＭＩＤＩ機器２１５、音声データをライン入力する音声機器２１６、これらからの各音声データをミキシングするミキサー２１７及び該ミキサー２１７によるミキシング後の音声データのモニター用のモニター２１８を備えている。
更に、ＰＣ２２０は、ビデオミキサー２０９からの映像データを受け入れるためのビデオキャプチャー２２１、ミキサー２１７からの音声データを受け入れるためのサウンドカード２２２、サウンドカード２２２からの音声データとビデオキャプチャー２２１からの映像データとをストリーミング放送用にエンコード処理してネットワーク１０４に出力するためのストリームエンコーダ（ストリーミングエンコーダ）２２３を備えている。
特開２００３−１２５３３９号公報（第２−６頁）
汎用のＰＣなどの単一の機器を主として用いて編集を行う従来のライブストリーミング放送の場合、上記のように、その映像及び音声表現には電波放送と比べて大きな格差があった。
また、具体的に、例えば「Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｅｎｃｏｄｅｒ（商品名）」を用いる場合には、カメラ間の映像スイッチング（切り替え）のためには、元々選択されていたカメラの動作を終了させた後に、別のカメラを起動するという手順を経る必要があり、切り替えに時間がかかるという問題がある。
また、図１５に示すように多数の放送機材を備えて構成された放送システム２００を用いる場合、機材のコストがかかる上、機材の設置や接続にも手間がかかる。加えて、放送システム２００の場合、以下に説明する問題がある。
図１６は、図１５に示す各種の放送機材のうち、特に、スイッチャー２０７及びビデオミキサー２０９にて行われる処理の流れを示すフローチャートである。
図１６に示すように、スイッチャー２０７では、複数のカメラ２０６より映像データをそれぞれ入力し（ステップＳ１０１）、これら映像データに対してそれぞれＡ／Ｄ変換を行う（ステップＳ１０２）。続いて、これら映像データのうち、放送者の操作により選択されているカメラ２１からの映像データを選別する（ステップＳ１０３）。続いて、該選別された映像データをＤ／Ａ変換して（ステップＳ１０４）、当該スイッチャー２０７より出力する（ステップＳ１０５）。
また、ビデオミキサー２０９では、スイッチャー２０７からの映像データをそれぞれ入力し（Ｓ１０６）、これら映像データに対してそれぞれＡ／Ｄ変換を行う（ステップＳ１０７）。続いて、該Ａ／Ｄ変換後の映像データを合成し（ステップＳ１０８）、該合成後の映像データをＤ／Ａ変換をして当該ビデオミキサー２０９よりＰＣ２２０に出力する。
すなわち、放送システム２００の場合、合成処理（ステップＳ１０８）を行うために、図１６に示すように、映像データの出力や入力（ステップＳ１０５及びステップＳ１０６）を行う必要がある上、Ａ／Ｄ変換（ステップＳ１０２及びステップＳ１０７）やＤ／Ａ変換（ステップＳ１０４及びステップＳ１０９）を繰り返す必要があり、処理に無駄が多かった。しかも、入出力やＡ／Ｄ、Ｄ／Ａ変換を繰り返すため映像データにノイズが生じる可能性も高まるという問題もあった。
また、従来のライブストリーミング放送においてテロップを挿入するためには、予めテロップ用の表示データを作成してＰＣ２０１に格納しておく必要があったため面倒な上、急遽テロップが必要になった場合には対応することができなかった。
更に、従来のライブストリーミング放送においては、一のストリーミングサーバ１０６からの一元的な放送を視聴することができるのみであった。このため、仮に、複数のストリーミングサーバ１０６からの多元放送を視聴することはできなかった。
また、ライブストリーミング放送においては、処理可能なデータ量の都合上、あまり大きな映像データを放送に用いることが困難であるという問題がある。このため、できる限り少ない処理データ量で、かつ、表現性に優れた放送内容とすることが望まれている。
さらに、ライブストリーミング放送に限定しない各種の放送においても、従来にない新規な表現性の放送方法が望まれている。
本発明は、上記のような問題点を解決するためになされたもので、低コストで高い表現性、或いは、今までにない新規な表現性の放送を実現するライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置を提供することを目的とする。
上記課題を解決するため、本発明のライブストリーミング放送方法は、ネットワークを介してライブ放送を行うライブストリーミング放送方法において、複数のカメラ映像データを入力しながら、該入力中の複数のカメラ映像データを合成する合成処理により得られる合成映像データを、視聴者による視聴用に前記ネットワークに出力することを特徴としている。
また、本発明のライブストリーミング放送方法は、ネットワークを介してライブ放送を行うライブストリーミング放送方法において、前記ネットワークを介して他のライブストリーミング放送を受信しながら、該受信中のライブストリーミング放送の映像データを、視聴者による視聴用に前記ネットワークに出力することを特徴としている。
この場合、複数の前記他のライブストリーミング放送を受信しながら、該受信中の複数のライブストリーミング放送の映像データを合成する合成処理により得られる合成映像データを、視聴者による視聴用に前記ネットワークに出力することが好ましい。
また、本発明のライブストリーミング放送方法は、ネットワークを介してライブ放送を行うライブストリーミング放送方法において、カメラ映像データを入力しながら、該入力中のカメラ映像データに他の映像データを合成する合成処理により得られる合成映像データを、視聴者による視聴用に前記ネットワークに出力することを特徴としている。
また、本発明のライブストリーミング放送方法は、前記他の映像データには、静止映像データ及びビデオ映像データのうち少なくとも何れか一方が含まれていることを特徴としている。
また、本発明のライブストリーミング放送方法は、前記他の映像データには、放送中の操作により入力されるテキスト表示データが含まれていることを特徴としている。
また、本発明のライブストリーミング放送方法は、前記他の映像データには、映像表示指定用であるが映像データではない指定情報に基づき生成される映像データが含まれていることを特徴としている。
また、本発明のライブストリーミング放送方法は、前記他の映像データには、プラグインデータが含まれていることを特徴としている。
また、本発明のライブストリーミング放送方法は、前記合成処理は、アルファブレンド処理又はピクチャーインピクチャ処理であることを特徴としている。
また、本発明のライブストリーミング放送方法は、ネットワークを介してライブ放送を行うライブストリーミング放送方法において、放送中の操作により入力されるテキスト表示データを、視聴者による視聴用に前記ネットワークに出力することを特徴としている。
また、本発明のライブストリーミング放送方法は、ネットワークを介してライブ放送を行うライブストリーミング放送方法において、映像表示指定用であるが映像データではない指定情報に基づき生成される映像データを、視聴者による視聴用に前記ネットワークに出力することを特徴としている。
また、本発明のライブストリーミング放送方法は、ネットワークを介してライブ放送を行うライブストリーミング放送方法において、プラグインデータを、視聴者による視聴用に前記ネットワークに出力することを特徴としている。
また、本発明のライブストリーミング放送方法は、ネットワークを介してライブ放送を行うライブストリーミング放送方法において、放送者側のブラウザのリンク先情報をスクリプトとして出力し、該リンク先情報のスクリプトに基づき視聴者側のブラウザのリンク先を指定することにより、視聴者側のリンク先を放送者側と同期的に切り替えさせることを特徴としている。
また、本発明のライブストリーミング放送方法は、ネットワークを介してライブ放送を行うライブストリーミング放送方法において、放送者側のブラウザ上に表示されるポインタの位置情報をスクリプトとして出力し、該位置情報のスクリプトに基づき視聴者側のブラウザ上におけるポインタの表示位置を指定することにより、視聴者側のポインタの表示位置を放送者側と連動させることを特徴としている。
また、本発明のライブストリーミング放送方法は、ネットワークを介してライブ放送を行うライブストリーミング放送方法において、放送者側のブラウザ上に放送者の操作により描かれる映像の映像データを、視聴者による視聴用に前記ネットワークに出力することを特徴としている。
また、本発明のライブストリーミング放送方法は、放送者の操作により描かれる映像の前記映像データを、動画映像データと合成して前記ネットワークに出力することを特徴としている。
また、本発明のライブストリーミング放送装置は、ネットワークを介してライブストリーミング放送方法を行うためのライブストリーミング放送装置において、本発明のいずれかのライブストリーミング放送方法における合成処理を実行する合成処理手段と、前記ネットワークへの前記出力を実行する出力手段と、を備えることを特徴としている。
また、本発明のライブストリーミング放送装置は、ネットワークを介してライブストリーミング放送方法を行うためのライブストリーミング放送装置において、前記ネットワークを介して他のライブストリーミング放送を受信する受信手段と、前記受信中のライブストリーミング放送の映像データを、視聴者による視聴用に前記ネットワークに出力する出力手段と、を備えることを特徴としている。
また、本発明のライブストリーミング放送装置は、ネットワークを介してライブストリーミング放送方法を行うためのライブストリーミング放送装置において、放送中の操作により入力されるテキスト表示データを、視聴者による視聴用に前記ネットワークに出力する出力手段を備えることを特徴としている。
また、本発明のライブストリーミング放送装置は、ネットワークを介してライブストリーミング放送方法を行うためのライブストリーミング放送装置において、映像表示指定用であるが映像データではない指定情報に基づき生成される映像データを、視聴者による視聴用に前記ネットワークに出力する出力手段を備えることを特徴としている。
また、本発明のライブストリーミング放送装置は、ネットワークを介してライブストリーミング放送方法を行うためのライブストリーミング放送装置において、プラグインデータを、視聴者による視聴用に前記ネットワークに出力する出力手段を備えることを特徴としている。
また、本発明のライブストリーミング放送装置は、ネットワークを介してライブストリーミング放送方法を行うためのライブストリーミング放送装置において、放送者側のブラウザのリンク先情報をスクリプトとして出力し、該リンク先情報のスクリプトに基づき視聴者側のブラウザのリンク先を指定することにより、視聴者側のリンク先を放送者側と同期的に切り替えさせる処理を実行することを特徴としている。
また、本発明のライブストリーミング放送装置は、ネットワークを介してライブストリーミング放送方法を行うためのライブストリーミング放送装置において、放送者側のブラウザ上に表示されるポインタの位置情報をスクリプトとして出力し、該位置情報のスクリプトに基づき視聴者側のブラウザ上におけるポインタの表示位置を指定することにより、視聴者側のポインタの表示位置を放送者側と連動させることを特徴としている。
また、本発明のライブストリーミング放送装置は、ネットワークを介してライブストリーミング放送方法を行うためのライブストリーミング放送装置において、放送者側のブラウザ上に放送者の操作により描かれる映像の映像データを、視聴者による視聴用に前記ネットワークに出力する出力手段を備えることを特徴としている。
また、本発明のライブストリーミング放送装置は、放送者の操作により描かれる映像の前記映像データを、動画映像データと合成する合成手段を備え、前記出力手段は、前記合成手段による合成後の映像データを前記ネットワークに出力することを特徴としている。
また、本発明のライブストリーミング放送システムは、本発明のライブストリーミング放送装置と、前記ライブストリーミング放送装置より出力される映像データを視聴者に配信するためのストリーミングサーバと、を備えることを特徴としている。
また、本発明のプログラムは、コンピュータ読み取り可能で、前記コンピュータを備える機器に入力される複数のカメラ映像データを合成して合成映像データを生成する複数カメラ映像合成処理を、前記コンピュータに実行させるプログラムであって、前記機器に入力される３つ以上のカメラ映像データのうち、任意の複数のカメラ映像データを選択的に前記複数カメラ映像合成処理に供するためカメラ映像データを選別するスイッチング処理と、前記複数カメラ映像合成と、前記複数カメラ映像合成により生成された合成映像データを前記機器より出力させる出力処理と、をこの順に前記コンピュータに実行させることを特徴としている。
また、本発明のプログラムは、コンピュータ読み取り可能なプログラムであって、本発明のストリーミング放送方法における合成処理と、前記ネットワークへの前記出力と、を前記コンピュータに実行させることを特徴としている。
また、本発明のプログラムは、コンピュータ読み取り可能なプログラムであって、ネットワークを介してライブストリーミング放送を受信する処理と、受信中のライブストリーミング放送の映像データを、視聴者による視聴用に前記ネットワークに出力する処理と、を前記コンピュータに実行させることを特徴としている。
また、本発明のプログラムは、コンピュータ読み取り可能で、ネットワークを介したライブストリーミング放送を前記コンピュータに実行させるプログラムであって、ライブストリーミング放送の放送中の操作により入力されるテキスト表示データを、視聴者による視聴用に前記ネットワークに出力する処理を前記コンピュータに実行させることを特徴としている。
また、本発明のプログラムは、コンピュータ読み取り可能で、ネットワークを介したライブストリーミング放送を前記コンピュータに実行させるプログラムであって、映像表示指定用であるが映像データではない指定情報に基づき生成される映像データを、視聴者による視聴用に前記ネットワークに出力する処理を前記コンピュータに実行させることを特徴としている。
また、本発明のプログラムは、コンピュータ読み取り可能で、ネットワークを介したライブストリーミング放送を前記コンピュータに実行させるプログラムであって、プラグインデータを、視聴者による視聴用に前記ネットワークに出力する処理を前記コンピュータに実行させることを特徴としている。
また、本発明のプログラムは、コンピュータ読み取り可能で、ネットワークを介したライブストリーミング放送を前記コンピュータに実行させるプログラムであって、放送者側のブラウザのリンク先情報をスクリプトとして出力し、該リンク先情報のスクリプトに基づき視聴者側のブラウザのリンク先を指定することにより、視聴者側のリンク先を放送者側と同期的に切り替えさせる処理を前記コンピュータに実行させることを特徴としている。
また、本発明のプログラムは、コンピュータ読み取り可能で、ネットワークを介したライブストリーミング放送を前記コンピュータに実行させるプログラムであって、放送者側のブラウザ上に表示されるポインタの位置情報をスクリプトとして出力し、該位置情報のスクリプトに基づき視聴者側のブラウザ上におけるポインタの表示位置を指定することにより、視聴者側のポインタの表示位置を放送者側と連動させる処理を前記コンピュータに実行させることを特徴としている。
また、本発明のプログラムは、コンピュータ読み取り可能で、ネットワークを介したライブストリーミング放送を前記コンピュータに実行させるプログラムであって、放送者側のブラウザ上に放送者の操作により描かれる映像の映像データを、視聴者による視聴用に前記ネットワークに出力する処理を前記コンピュータに実行させることを特徴としている。
また、本発明のプログラムは、コンピュータ読み取り可能なプログラムであって、プラグインデータを含む映像データを視聴者による視聴用に放送用ネットワークに出力する処理を前記コンピュータに実行させることを特徴としている。
また、本発明の記録媒体は、本発明のプログラムを記録したことを特徴としている。
また、本発明の放送方法は、プラグインデータを含む映像データを視聴者による視聴用に放送用ネットワークに出力することを特徴としている。
また、本発明の放送装置は、プラグインデータを含む映像データを視聴者による視聴用に放送用ネットワークに出力する出力手段を備えることを特徴としている。
本発明によれば、低コストで高い表現性の放送を実現することができる。
或いは、今までにない新規な表現性の放送を実現することができる。
以下、図面を参照して、本発明に係る実施形態について説明する。
〔第１の実施形態〕
図１は、本実施形態に係るストリーミング放送方法を実現するための各構成要素を示す全体ブロック図である。
図１に示すように、本実施形態に係るストリーミング放送方法においては、放送者側の編集装置（ストリーミング放送装置）１では、編集処理により映像データ及び音声データを生成しながら、該生成される映像データ及び音声データ、すなわち編集処理後の映像データ及び音声データを、放送データとして、ネットワーク２を介してストリーミングサーバ３に連続的に出力する。ここで、出力先のストリーミングサーバ３は、予め放送者によるＩＰ（インターネット・プロトコル）の入力又は選択作業により指定されている。また、ネットワーク２としては、例えば、インターネット、ＬＡＮ、携帯情報端末の通信網などが挙げられる。また、編集装置１は、例えば汎用のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であることが挙げられる。
他方、視聴者側（クライアント側）の視聴用端末４では、ストリーミングサーバ３からの映像データ及び音声データ（放送データ）を、ネットワーク２を介して連続的に受信しながら該視聴用端末４の表示部に表示、並びに、視聴用端末４のスピーカより出力する。
これにより、視聴者は、放送者側からの映像データに基づく映像を、ネットワーク２を介して連続的かつリアルタイムに視聴することができる。
なお、視聴用端末４は、例えば、汎用のＰＣであることの他に、ＰＤＡ或いは携帯電話機などの携帯情報端末装置であることが挙げられる。
視聴の際に、視聴者は、より具体的には、例えば、放送者側で予め作成したホームページにアクセスし、該ホームページ内の「放送開始ボタン」をクリックすることにより、放送（の表示及び音声出力）を開始させることができるようになっている。或いは、単に放送者側のホームページにアクセスするだけで放送が開始されるようになっている。この際、ストリーミングプレーヤ８２（ストリーミングデコーダを含む）が起動してプレーヤ画面内で放送の映像表示がなされるか、或いは、ブラウザ８１の画面内で放送の映像表示がなされる。このように、ホームページにアクセスして視聴するようにするためには、放送者は、ホームページのデータを予めサーバ（ストリーミングサーバ３とは別でホームページ用のサーバ）５に格納しておく。
なお、他の放送用のストリーミングサーバ６（図１）は、編集装置１以外の装置より出力される映像データによりライブストリーミング放送を行うための（例えば他の放送者用の）ストリーミングサーバである。
また、以上において、放送データの送受信（編集装置１→ストリーミングサーバ３間、並びに、ストリーミングサーバ３→視聴用端末間４での送受信）は、ＩＰ（インターネットプロトコル）により送受信端を指定して行われる。
図２は、編集装置１及びその周辺装置を示すブロック図である。
図２に示すように、放送者側の編集装置１には、複数（例えば、６つ）のカメラ２１からのカメラ映像データが入力されるようになっている。なお、カメラ２１は、カメラ映像データを、デジタルデータとして出力するものであっても良いし、アナログデータとして出力するものであっても良い。このうち、アナログデータとして出力するカメラ２１を用いる場合には、編集装置１では、入力されるカメラ映像データに対し、Ａ／Ｄ変換後に編集処理（後述）を施す。
また、編集装置１には、マイク２２からの音声データが入力されたり、外部の音声データ出力機器２３からの音声データがライン入力されたりするようになっている。なお、外部の音声データ出力機器２３は、例えばＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）プレーヤ或いはＭＤ（Ｍｉｎｉ Ｄｉｓｋ）プレーヤであることが挙げられる。
加えて、編集装置１には、映像データを処理するためのビデオカード２４、音声データを処理するためのサウンドカード２５、２６が差し込まれている。
さらに、編集装置１には、音声モニターとしての例えばヘッドホン（第２サウンドデバイス）２７が接続されている。
また、編集装置１は、編集前の映像データ（ソース映像データ）及び編集後の映像（放送される映像）の表示領域を含む操作画面Ｇ１（図６）を表示する表示部１２と、例えば編集後の音声を出力するスピーカ（第１サウンドデバイス）１３と、編集操作を行うための操作部１４と、時刻の計時及び時間計測を行うための時計部１５と、操作部１４に対する操作に応じて編集処理や表示部１２の表示制御を行う制御部１１と、を備え、ネットワーク２と接続されている。
このうち、表示部１２は、例えば液晶表示装置或いはブラウン管方式の表示装置からなる。この表示部１２への表示データ（映像データ）の出力は、例えば、ビデオカード２４のビデオバッファ２４ａを介して行われる。
また、スピーカ１３への音声データの出力は、例えば、サウンドカード２５のサウンドバッファ２５ａを介して行われる。
また、操作部１４は、例えば、キーボード１４ａ及びマウス１４ｂを備えて構成されている。
また、制御部１１は、図３に示すように、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１ｃ及び入出力インタフェース１１ｄを備えて構成されている。
このうちＣＰＵ１１ａは、演算部、制御部を備え、ＲＯＭ１１ｂに記憶されている各プログラムを実行することによって、放送用データ（映像データ及び音声データ）の編集処理、放送用データのネットワーク２への出力処理、ヘッドホン２７への音声データの出力処理、及び、表示部１２及びスピーカ１３の動作制御を行う。
ＲＯＭ（記録媒体）１１ｂには、演算用および制御用のプログラムと、編集に用いられるデータとが記憶されている。
具体的には、ＲＯＭ１１ｂに記憶されたプログラムには、例えば、編集プログラム３１、ストリーミングデコーダプログラム３２、ストリーミングエンコーダプログラム３３及びビデオデコーダプログラム３８が含まれている。
また、ＲＯＭ１１ｂに記憶された編集用のデータとしては、例えば、静止映像データ３４、ビデオ映像データ３５、効果音データ３６及び音楽データ３７が含まれている。なお、このうち静止映像データ３４は、例えば、ＪＰＥＧであり、ビデオ映像データ３５は、例えばＡＶＩ或いはｍｐｅｇであり、効果音データ３６は、例えばＷＡＶＥファイルであり、音楽データ３７は、例えば、ＷＡＶＥファイル、ｍｐ３、ＷＭＡ或いはＭＩＤＩである。
ＲＡＭ１１ｃは、ＣＰＵ１１ａの作業領域を備えている。編集に際しては、編集プログラム３１に従って、ＲＡＭ１１ｃには、例えば、カメラ２１からのカメラ映像データを受け入れるためのキャプチャーウィンドウ４１、スイッチングコントロール（後述）により選択された映像データを一時的に記憶するためのピクチャーバッファ（例えば、第１ピクチャーバッファ４２及び第２ピクチャーバッファ４３の２つのピクチャーバッファ）、及び、映像合成処理が全て終了した後の映像データを一時的に記憶するためのメインピクチャーバッファ４４が形成される。なお、ピクチャーバッファの数は、合成される映像データの数に対応した数となる。すなわち、合成される映像データの数が３つ以上であれば、ピクチャーバッファの数も３つ以上となる。
なお、以上の構成において、編集装置１、カメラ２１、マイク２２、ビデオカード２４、サウンドカード２５，２６、音声機器２３、ヘッドホン２７、ストリーミングサーバ３及びサーバ５により本実施形態に係るライブストリーミング放送システム５０が構成されている。
次に、各プログラムの実行に基づいてＣＰＵ１１ａが行う各種の処理について、それぞれ説明する。
＜ビデオデコーダプログラム３８の実行に基づく処理＞
ＣＰＵ１１ａは、ビデオデコーダ４５（図４）として、ビデオ映像データ３５をデコーディングする処理（ビデオデコーダ処理）を行う。
＜ストリーミングデコーダプログラム３２の実行に基づく処理＞
ＣＰＵ１１ａは、ストリーミングデコーダ４６（図４）として、ネットワーク２を介して他のストリーミングサーバ６より受信されるライブストリーミング放送データをデコードする処理（ストリーミングデコーダ処理）を行う。
＜ストリーミングエンコーダプログラム３３の実行に基づく処理＞
ＣＰＵ１１ａは、ストリーミングエンコーダ４７（図４）として、編集処理により生成された映像データ及び音声データをストリーミング放送用にエンコードし、該エンコード後のデータ（放送データ）をネットワーク２に対して出力する処理を行う。
＜編集プログラムの実行に基づく処理＞
編集プログラムの実行に基づきＣＰＵ１１ａが行う処理を以下に列挙する。
“キャプチャーウィンドウ生成処理”
複数（本実施形態の場合、具体的には例えば６つ）のカメラ２１と１対１で対応するようにキャプチャーウィンドウ４１（本実施形態の場合、具体的には例えば６つのキャプチャーウィンドウ４１）を生成する処理。
“第１スイッチングコントロール処理”
キャプチャーウィンドウ４１に受け入れられたカメラ映像データのうち第１ピクチャーバッファ４２及び第２ピクチャーバッファ４３への記憶用のデータをそれぞれ選別する処理（図４のステップＳ１）。
ただし、１つのカメラ２１からの（１つの）カメラ映像データのみを編集に用いる場合には、該１つのカメラ映像データを第１ピクチャーバッファ４２への記憶用に選別する。
“ピクチャーバッファ記憶処理”
スイッチングコントロールによって第１ピクチャーバッファ４２への記憶用に選別されたカメラ映像データは第１ピクチャーバッファ４２に、第２ピクチャーバッファ４３への記憶用に選別されたカメラ映像データは第２ピクチャーバッファ４３に、それぞれ一時的に記憶させる処理。
ただし、１つのカメラ２１からの（１つの）カメラ映像データのみを編集に用いる場合には、該１つのカメラ映像データを第１ピクチャーバッファ４２に記憶させ、第２ピクチャーバッファ４３にはカメラ映像データを記憶させない。
“複数カメラ映像合成処理”
第１及び第２ピクチャーバッファ４２、４３に記憶されたカメラ映像データを合成して合成映像データを生成する複数カメラ映像合成処理（図４のステップＳ２）。この複数カメラ映像合成処理としては、具体的には、例えば、アルファブレンド処理やピクチャーインピクチャ処理が含まれる。このうちアルファブレンド処理とは、複数の映像をそれぞれ半透明状態にして合成する処理である。例えば、一方の映像の透明度を次第に高めながら他方の映像の透明度を次第に低くするようなアルファブレンド処理を用いることにより、カメラ２１間の切替を違和感なく行うことができる。また、ピクチャーインピクチャ処理は、一の映像の中に他の映像を小さなウィンドウで表示する処理であり、同時に複数のカメラ２１からの映像を表示することができる。
なお、第１スイッチングコントロール処理（ステップＳ１）により選別されたカメラ映像データが１つのみである場合には、この複数カメラ映像合成処理は実行しない。
“テロップ用データ生成処理”
キーボード１４ａの操作により入力されるテキストデータの表示データをテロップとしてリアルタイムでカメラ映像に挿入（合成）するために生成する処理（図４のステップＳ３）。
“インフォメーション用表示データ生成処理”
表示指定に供される情報（例えば、時刻、カメラ位置及び（レースにおける）ラップタイム、スポーツの試合中継におけるスコア等）に基づき表示データをインフォメーション用表示データとして生成する処理（図４のステップＳ４）。
“プラグインデータ生成処理”
プラグインデータ（例えばＦＬＡＳＨアニメーション）を生成する処理（図４のステップＳ５）。
“静止映像データ取得処理”
選択された静止映像データ３５を取得する処理。
“第２スイッチングコントロール処理”
テロップ用データ生成処理（図４のステップＳ３）、インフォメーション用表示データ生成処理（図４のステップＳ４）、プラグインデータ生成処理（図４のステップＳ５）、静止映像データ取得処理、ビデオデコーダ処理及びストリーミングデコーダ処理により得られる映像データのうち少なくとも１つを合成処理（図４のステップＳ７；後述）用に選別する処理（図４のステップＳ６）。
“映像合成処理”
第２スイッチングコントロール処理により選別された映像データと、複数カメラ映像合成処理（ステップＳ２）により生成された合成映像データと、を更に合成する処理（図４のステップＳ７）。この映像合成処理により生成される映像データは、放送されるのと同じ映像の表示データとなる。
なお、複数カメラ映像合成処理が実行されない場合には、この映像合成処理では、第１ピクチャーバッファ４２からのカメラ映像データと、第２スイッチングコントロール処理により選別された映像データと、を合成する処理を行う。
“メインピクチャーバッファ記憶処理”
映像合成処理（ステップＳ７）により生成された映像データをメインピクチャーバッファ４４に一時的に記憶させる処理。
“ビデオバッファ記憶処理”
メインピクチャーバッファ４４からの映像データをビデオカード２４のビデオバッファ２４ａに記憶させる処理。
“効果音用１次バッファ記憶処理”
選択された効果音データ３６を対応する効果音用１次バッファ５１（図５）に記憶させる処理。
“サウンドエフェクト処理”
選択された効果音データ３６に対しサウンドエフェクトを施す処理（図５のステップＳ１１）。
“効果音用２次バッファ記憶処理”
サウンドエフェクト処理（ステップＳ１１）後の効果音データ３６をまとめて効果音用２次バッファ５２に記憶させる処理。
“音楽データデコード処理”
選択された音楽データ３７をデコーダ５３としてそれぞれデコードする処理。
“音楽データミキサー処理”
デコーダ５３によりデコードされた複数の音楽データ３７をミキシングする処理（図５のステップＳ１２）。
“ミキサー処理”
効果音用２次バッファ５２からの効果音データ３６、音声機器２３からの音声データ、マイク２２からの音声データ及び音楽データミキサー処理後の音楽データ３７をミキシングすることにより、放送されるのと同じ音声データを生成する処理（図５のステップＳ１３）。
“第１サウンドバッファ記憶処理”
ミキサー処理（ステップＳ１３）後の音声データをサウンドカード２５のサウンドバッファ２５ａに一時的に記憶させる処理。
“第１サウンドデバイス出力処理”
サウンドバッファ２５ａに記憶された音声データを第１サウンドデバイスとしてのスピーカ１３に出力する処理。
“モニター用ミキサー処理”
モニター用に選択された音楽データをミキシングする処理（図５のステップＳ１４）。
“第２サウンドバッファ記憶処理”
モニター用ミキサー処理（ステップＳ１４）後の音楽データをサウンドカード２６のサウンドバッファ２６ａに一時的に記憶させる処理。
“第２サウンドデバイス出力処理”
サウンドバッファ２６ａに記憶された音楽データを第２サウンドデバイスとしてのヘッドホン２７に出力する処理。
“操作画面表示処理”
表示部１２の表示画面に図６の操作画面Ｇ１を表示させる処理。
ここで、図６を参照して、操作画面Ｇ１内に形成された各表示領域及び各操作ボタンの機能について説明する。
すなわち、操作画面Ｇ１には、複数のカメラ２１のうち選択された何れかのカメラ２１からのカメラ映像データに基づき映像表示を行う表示領域６１、表示領域６１に表示されるカメラ映像を切り替えるための操作ボタン６２、放送されるのと同一の映像（ステップＳ７の映像合成処理後の映像データに基づく映像）又は選択されたプラグインデータ（選択時）を表示する表示領域６３、テロップ入力など各機能を実行するための操作ウィンドウを表示する表示領域６４、表示領域６４を用いて実行する各機能を切り替えるための操作ボタン６５、放送に用いるプラグインデータの種類を選択するための操作ボタン６７、カメラ２１間の切替などを行うための映像用クロスフェーダー操作部６８、ピクチャーインピクチャ、テロップ挿入、静止映像合成などの映像効果を加えるための操作ボタン６９、効果音データ３６を選択するための操作ボタン７１、音楽データ３７の選択候補のリストを表示する表示領域７２、スピーカ１３及びヘッドホン２７の音量を調節するための音声用クロスフェーダー操作部７３が形成されている。
なお、このうち操作ボタン６２、６５，６７、６９、７１は、マウス１４ｂを用いてクリックすることにより操作することができ、映像用クロスフェーダー操作部６８及び音声用クロスフェーダー操作部７３は、マウス１４ｂを用いてドラッグすることにより操作することができるようになっている。
また、表示領域６１にて表示される映像の映像データは、選択された何れかのキャプチャーウィンドウ４１よりビデオカード２４のビデオバッファ２４ａを介して表示部１２に入力され、該映像データに基づく表示がなされる（なお、図４では、簡単のため、キャプチャーウィンドウ４１から表示部１２への信号経路におけるビデオカード２４を省略している）。
次に、具体的な動作の例を説明する。
＜第１動作例＞
第１動作例では、１つのカメラ２１より１つのカメラ映像データを入力しながら、該入力中のカメラ映像データに他の映像データを合成することにより得られる合成映像データを視聴者による視聴用にネットワーク２に出力する場合の動作を説明する。
この場合、第１スイッチングコントロール（ステップＳ１）では、何れか１つのキャプチャーウィンドウ４１に受け入れられたカメラ映像データのみを第１ピクチャーバッファ４２への記憶用に選別する。また、第１ピクチャーバッファ４２から読み出されたカメラ映像データに対しては、複数カメラ映像合成処理Ｓ２は施さず、該カメラ映像データはそのまま映像合成処理（ステップＳ７）に供される。
他方、第２スイッチングコントロール（ステップＳ６）では、テロップ用データ生成処理（ステップＳ３）、インフォメーション用表示データ生成処理（ステップＳ４）、プラグインデータ生成処理（ステップＳ５）、静止映像データ取得処理、ビデオデコーダ処理及びストリーミングデコーダ処理により得られる映像データのうち少なくとも１つを合成処理（ステップＳ７）用に選別する。
また、映像合成処理（ステップＳ７）では、第２スイッチングコントロール（ステップＳ６）により選別された映像データと、第１ピクチャーバッファ４２からの映像データと、を合成する。これにより、放送されるのと同一映像の表示用データが生成される。
映像合成処理後の映像データは、メインピクチャーバッファ４４に記憶され、更に、ビデオバッファ２４ａに記憶される。
ビデオバッファ２４ａの映像データは、モニター用に表示部１２に出力され、表示領域６３（図６）での表示に供される一方で、ストリーミングエンコーダ４７によるエンコード処理用にも出力される。
他方、音声機器２３或いはマイク２２からの音声データ、サウンドエフェクト処理が施された効果音データ３６、及びデコード処理が施された音楽データ３７のうち少なくとも何れかの音声データは、ミキサー処理（ステップＳ１３）により放送されるのと同一の音声データとされた後に、サウンドバッファ２５ａを介して、ストリーミングエンコーダ４７によるエンコード処理用に出力される。
ストリーミングエンコーダ４７では、ビデオバッファ２４ａからの映像データと、サウンドバッファ２５ａからの音声データをストリーミング放送用にエンコードし、該エンコード後のデータ（放送データ）をネットワーク２に対して連続的に出力する。
また、視聴者側では、視聴用端末４にてブラウザ８１（図１）を起動して放送者のホームページにアクセスし、該ホームページの表示データをサーバ５（放送者のホームページ用のサーバ）より取得する。
そして、このホームページの画面表示開始とともに、或いは、ホームページの表示画面内に形成された「放送開始ボタン」をクリックすることにより、ライブストリーミング放送が開始される。この際、視聴用端末４では、ストリーミングプレーヤ（ストリーミングデコーダ）８２が起動する。このストリーミングプレーヤ８２は、視聴用端末４の表示画面にて、ストリーミングサーバ３より連続的に受信される映像データに基づく映像表示を行う一方で、ストリーミングサーバ３より連続的に受信される音声データに基づく音声を視聴用端末４のスピーカより出力する
これにより、視聴者は、ライブストリーミング放送を視聴することができる。
このように、第１動作例によれば、視聴者は、カメラ映像データに他の映像データを合成することにより得られる合成映像データに基づく映像を視聴することができる。
＜第２動作例＞
第２動作例では、複数のカメラ映像データを入力しながら、該入力中の複数のカメラ映像データを合成することにより得られる合成映像データを視聴者による視聴用にネットワークに出力する場合の動作を説明する。
この場合、第１スイッチングコントロール（ステップＳ１）では、何れか１つのキャプチャーウィンドウ４１に受け入れられたカメラ映像データを第１ピクチャーバッファ４２への記憶用に、また、何れか他の１つのキャプチャーウィンドウ４１に受け入れられたカメラ映像データを第２ピクチャーバッファ４３への記憶用に、それぞれ選別する。また、第１及び第２ピクチャーバッファ４２、４３からそれぞれ読み出されたカメラ映像データに対して、複数カメラ映像合成処理（ステップＳ２）を施すことにより、合成映像データを生成する。
また、この場合、第２スイッチングコントロール（ステップＳ６）では、第１動作例の場合と同様に、少なくとも何れか１つの映像データを選別するようにしても良いし、或いは、何れの映像データも選別しないようにしても良い。
映像合成処理（ステップＳ７）では、第２スイッチングコントロールにて何れか１つの映像データを選別した場合には、該選別した映像データと、複数カメラ映像合成処理後の合成映像データと、を合成する処理を行う。他方、第２スイッチングコントロールにて何れの映像データも選別しなかった場合には、映像合成処理（ステップＳ７）は行わずに、複数カメラ映像合成処理後の合成映像データをそのままメインピクチャーバッファ４４に記憶させる。
なお、第２動作例においても、音声処理並びに以後の映像処理は、第１動作例の場合と同様である。
ここで、この第２動作例における動作のうち、カメラ２１からの映像データ入力から複数カメラ映像合成処理（ステップＳ２）までの処理について、図７のフローチャートを参照して説明する。
先ず、各カメラ２１より映像データを入力して各キャプチャーウィンドウ４１に受け入れる（ステップＳ１５）。なお、カメラ２１からの映像データがアナログデータの場合には、ステップＳ１５にて、キャプチャーウィンドウ４１への受け入れ前に、各映像データに対してＡ／Ｄ変換を施す。
次に、各映像データに対して、第１スイッチングコントロール処理（ステップＳ１）を施す。
次に、第１スイッチングコントロール処理にて選別されたカメラ映像データを第１及び第２ピクチャーバッファ４２、４３に記憶する（ステップＳ１６、Ｓ１７）。
次に、第１及び第２ピクチャーバッファ４２、４３に記憶された映像データに対し複数カメラ映像合成処理（ステップＳ２）を施す。
更に、複数カメラ映像合成処理後の映像データは、メインピクチャーバッファ４４及びビデオバッファ２４ａを介してストリーミングエンコーダ４７によるエンコード処理が施された後に、ネットワーク２に出力される。
このように、第２動作例によれば、従来技術（図１５及び図１６）の場合とは異なり、複数の放送機材間での映像データの入出力を行ったり、Ａ／Ｄ変換及びＤ／Ａ変換を繰り返し行ったりすることなく、複数のカメラ映像を合成する処理を行うことが可能である。つまり、従来技術における処理の無駄を省くことができるとともに、入出力やＡ／Ｄ、Ｄ／Ａ変換を繰り返すことにより映像データにノイズが生じてしまうこともない。
＜第３動作例＞
第３動作例では、放送中の操作によりテロップを入力（挿入）する場合の具体的な動作を説明する。
この場合、放送者は、放送中に、テロップ入力に対応する操作ボタン６５を操作して、表示領域６４における表示をテロップ入力用の操作ウィンドウに切り替える。これにより、テロップ用データ生成処理（ステップＳ３）が可能な状態となる。
テロップ用データ生成処理では、テロップ入力用の操作ウィンドウにおいて、テロップ入力箇所を例えばマウスポインタで選択し、該選択箇所に表示されるテロップ入力用の枠（テキストボックス）にキーボード１４ａを操作して文字を入力し、操作ボタン６９のうち「テロップ表示」に対応するボタンをクリックする。すると、このクリック操作に連動して、第２スイッチングコントロール（ステップＳ６）では、テロップ用データ生成処理により得られる映像データ（つまり、テロップの表示データ）が選別されるようになる。
こうして、ライブストリーミング放送を実行しながら、編集作業によりリアルタイムでテロップを映像に挿入することができる。
このように、第３動作例によれば、リアルタイムでテロップを映像に挿入することができるので、従来技術（図１５）の場合とは異なり、予めテロップ用の表示データを作成して格納しておく必要が無く、簡便にテロップの挿入を行うことが可能となる。また、急遽テロップが必要になった場合にも即座に対応することができる。
＜第４動作例＞
第４動作例では、映像表示指定用であるが映像データではない指定情報（例えば、時刻情報、カメラ位置情報、スポーツの試合のスコア情報など）に基づき生成される映像データをカメラ映像データと合成する。
この場合、例えば、操作画面Ｇ１に形成された「時計表示ボタン」（図示略）をクリックすると、時計部１５より時刻情報を取得して、該取得した時刻情報に基づいて時刻表示用の映像データを生成し、該映像データをカメラ映像データと合成して放送用に出力する。
＜第５動作例＞
第５動作例では、プラグインデータ（例えば、ＦＬＡＳＨアニメーション）をカメラ映像データと合成する。
この場合、所望のプラグインデータと対応する操作ボタン６７をクリックすると、該プラグインデータをカメラ映像データと合成して放送用に出力する。
＜第６動作例＞
第６動作例では、カメラ２１からの映像データ及び静止映像データ３４にスプライト処理を施す場合について説明する。
スプライト処理とは、例えば、静止映像データ３４の特定色を透明色に変換するとともに、該静止映像データ３４の表示優先度が上位となるように該静止映像データ３４とカメラ２１からの映像データとを重ね合わせて合成する処理である。
この場合、例えば、図８に示すように、複数カメラ映像合成処理（ステップＳ２）よりも前段の処理が図４に示す場合と異なる。
すなわち、キャプチャーウィンドウ４１に受け入れられたカメラ２１からの映像データは、それぞれ第３スイッチングコントロール処理（ステップＳ２１）に供される。
この第３スイッチングコントロール処理では、例えば、何れか１つの映像データを第１ピクチャーバッファ４２への記憶用に、何れか他の１つの映像データを後述するスプライト処理（ステップＳ２３）に供するために、それぞれ選別する。
他方、第４スイッチングコントロール処理（ステップＳ２２）では、複数の静止映像データ３４のうち、例えば、何れか１つをスプライト処理に供するために選別する。
スプライト処理（ステップＳ２３）では、例えば、何れか１つずつのカメラ２１からの映像データと、静止映像データ３４と、に対してスプライト処理を施す。スプライト処理後の映像データ（カメラ２１からの映像データと静止映像データ３４との合成後の映像データ）は、第２ピクチャーバッファ４３を介して、複数カメラ映像合成処理（ステップＳ２）に供され、ここで、第１ピクチャーバッファ４２からの映像データと合成される。
第６動作例によれば、視聴者は、スプライト処理の施された映像データに基づく映像を視聴することができる。
＜第７動作例＞
第７動作例では、ネットワーク２を介して他のストリーミングサーバ６よりライブストリーミング放送を受信しながら、該受信中のライブストリーミング放送の映像データを視聴者による視聴用にネットワーク２に出力する場合について説明する。
この場合、第２スイッチングコントロール（ステップＳ６）では、ストリーミングデコーダ４６によるストリーミングデコーダ処理後の映像データが選別される。
その結果、他のストリーミングサーバ６より受信されるライブストリーミング放送の映像データがそのまま、或いは、該映像データに他の映像データを合成することにより得られる合成映像データが、ネットワーク２に出力される（放送される）。
第７動作例によれば、視聴者は、他のストリーミングサーバ６より受信されるライブストリーミング放送の映像データを用いた映像を視聴することができる。
＜第８動作例＞
第８動作例の場合、図９に示すように、ネットワーク２を介して複数の他のストリーミングサーバ６よりそれぞれライブストリーミング放送を受信しながら、該受信中の複数のライブストリーミング放送の映像データを合成する合成処理（ストリーミングデータ合成処理；ステップＳ３１）により得られる合成映像データを視聴者による視聴用にネットワーク２に出力する。
なお、ストリーミングデータ合成処理では、例えば、アルファブレンド処理或いはピクチャーインピクチャ処理を行う。
また、ストリーミングデータ合成処理により得られる合成映像データに、更に、他の映像データ（テロップ、静止画像、ビデオ映像データ等）を合成する処理（ステップＳ３２）を施しても良いし、このステップＳ３２は行わないようにしても良い。
ステップＳ３１又はステップＳ３２の処理後の合成映像データは、ストリーミングエンコーダ４７によるエンコードを施してからネットワーク２に出力する。
このように、第８動作例によれば、複数のストリーミングサーバ６からの多元的な放送を視聴用にネットワーク２に出力するので、視聴者は、複数のストリーミングサーバ６からの多元放送を視聴することができる。
〔第２の実施形態〕
第２の実施形態では、放送者側のブラウザのリンク先情報をスクリプトとして出力し、該リンク先情報のスクリプトに基づき視聴者側のブラウザのリンク先を指定することにより、視聴者側のリンク先を放送者側と同期的に切り替えさせるシンクロブラウザ機能について説明する。
図１０は、シンクロブラウザ機能の実行中における放送者側及び視聴者側の表示を示す図である。
図１０に示すように、放送者側の編集装置１の表示部１２の表示画面Ｇ２には、ブラウザ９１と、該ブラウザ９１内のマウスポインタ９２と、上記第１の実施形態で説明した何れかの編集処理により生成された映像データに基づく映像表示（つまり放送される映像の表示）を行う表示領域９３と、が表示されている。
他方、視聴者側の視聴用端末４の表示画面Ｇ３には、ブラウザ９５と、該ブラウザ９５内のポインタ９６と、放送される映像データに基づく映像表示を行う表示領域９７と、が表示されている。なお、このうちポインタ９６の表示データは、放送者のホームページ用のサーバ５へのアクセス時に該サーバ５よりダウンロードされ、ブラウザ９５を終了するまで視聴用端末４に記憶保持されてポインタ９６の表示用に用いられる。
次に、放送者側で、ブラウザ９１のリンク先を切り替える操作を行ったとする。すると、編集装置１は、ブラウザ９１のリンク先情報、すなわちＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）をスクリプトに変換して出力する。
すると、視聴用端末４では、ネットワーク２及びストリーミングサーバ３を介して、編集装置１よりスクリプトを受信し、該スクリプトにより指定されるリンク先にブラウザ９５の表示を切り替える。
また、第２の実施形態においては、放送者側のブラウザ９１上に表示されるマウスポインタ（ポインタ）９２の位置情報をスクリプトとして出力し、該位置情報のスクリプトに基づき視聴者側のブラウザ９５上におけるポインタ９６の表示位置を指定することにより、視聴者側のポインタ９６の表示位置を放送者側のマウスポインタ９２と連動させるようにもなっている（シンクロポインタ機能）。
すなわち、放送者側でマウスポインタ９２の位置を動かす都度、編集装置１は、マウスポインタ９２の位置情報（ブラウザ９１上における座標位置）をスクリプトに変換して出力する。
すると、視聴用端末４では、ネットワーク２及びストリーミングサーバ３を介して、編集装置１よりスクリプトを受信し、該スクリプトにより指定される位置（ブラウザ９５上における座標位置）にポインタ９６の表示位置を変更する。
次に、これらのシンクロブラウザ機能及びシンクロポインタ機能について、図１１のフローチャートを参照して説明する。なお、図１１に示すのは、編集装置１の制御部１１が行う処理である。
図１１に示すように、先ず、シンクロブラウザ機能が放送者の操作により開始されたか否かを判定する（ステップＳ４１）。
開始されたと判定した場合（ステップＳ４１のＹＥＳ）、マウスポインタ９２の座標をスクリプトに変換して出力する処理を行い（ステップＳ４２）、続いて、ブラウザ９１のリンク先情報をスクリプトに変換して出力する（ステップＳ４３）。
続くステップＳ４４では、シンクロブラウザ機能が放送者の操作により終了されたか否かを判定する。
終了されていないと判定した場合（ステップＳ４４のＮＯ）、ステップＳ４５に移行する。
ステップＳ４５では、マウスポインタ９２の座標が変化したか否かを判定し、変化したと判定した場合には（ステップＳ４５のＹＥＳ）、マウスポインタ９２の座標をスクリプトに変換して出力する処理を行い（ステップＳ４６）、ステップＳ４７に移行する。他方、ステップＳ４５にて、マウスポインタ９２の座標が変化していないと判定される場合には（ステップＳ４５のＮＯ）、ステップＳ４６をスキップしてステップＳ４７に移行する。
また、ステップＳ４７では、リンク先（リンク先情報）が変化したか否かを判定し、変化したと判定した場合には（ステップＳ４７のＹＥＳ）、ブラウザ９１のリンク先情報をスクリプトに変換して出力する処理を行い（ステップＳ４８）、再びステップＳ４４に移行する。他方、ステップＳ４７にて、リンク先が変化していないと判定される場合には（ステップＳ４７のＮＯ）、ステップＳ４８をスキップしてステップＳ４４に移行する。
また、ステップＳ４４にて、シンクロブラウザ機能が終了されたと判定された場合、及び、ステップＳ４１にて、シンクロブラウザ機能が開始されていないと判定された場合には、それぞれ、図１１に示す処理を終了する。
このような第２の実施形態によれば、以上に説明したようなシンクロブラウザ機能及びシンクロポインタ機能を実現することができるので、例えば、プレゼンテーションや会議、或いは、講義などを、ネットワーク２を介して好適に行うことができる。この際、放送者は、ブラウザ９１上をマウスでなぞりながらしゃべるだけで、簡単にプレゼンテーションや会議或いは講義を行うことができる。
また、視聴者側のブラウザ９５の表示を切り替えさせるためには、容量の小さいデータ（リンク先情報のスクリプト）を出力するだけで良いため、放送者側の編集装置１で扱うデータ容量を極力抑制することができ、少ない処理データ量で表現性に優れた放送内容とすることが可能となる。
加えて、上記のようなシンクロブラウザ機能及びシンクロポインタ機能の実行と並行して第１の実施形態で説明した何れかの放送を行うので、この放送内容を表示領域９７にて表示することができ、より一層表現性に優れた放送内容とすることができる。例えば、この表示領域９７にて、プレゼンタテーターや会議・講義の進行者を表示させることにより、プレゼンテーションや会議、或いは、講義などを一層分かり易くすることができる。
〔第３の実施形態〕
第３の実施形態では、図１２に示すように、放送者側のブラウザ９１上に放送中の操作により描かれる映像の映像データを、視聴者による視聴用にネットワーク２に出力する例（手書き機能）を説明する。
この場合、図１２に示すように、放送者が、放送中に、例えばマウス１４ｂ等の操作部を操作してブラウザ９１上に描画することにより、その描画が画像レイヤーの映像データに反映され、該映像データが、例えば、動画データ（カメラ２１からのカメラ映像データ、ビデオデコーダ４５からのビデオ映像データ、或いは、ストリーミングデコーダ４６からの他のライブストリーミング放送の映像データ）と合成され、ネットワーク２に出力される。
その結果、視聴者側の視聴用端末４のブラウザ９５上の表示も、放送者の操作により描かれる映像が反映される。
次に、第３の実施形態の場合の処理の流れを、図１３を参照して説明する。
動画データ９８ａは、上記のように、例えば、カメラ２１からのカメラ映像データ、ビデオデコーダ４５からのビデオ映像データ、或いは、ストリーミングデコーダ４６からの他のライブストリーミング放送の映像データである。また、映像データ９８ｂは、放送者による描画が表示に反映される画像レイヤーの映像データである。これら映像データ９８ｂ及び動画データ９８ａは、合成処理９９により合成される。その結果、合成後の映像データは、動画データ９８ａ上に、放送者により描かれた描画が重ね合わされた映像を表示するためのデータとなる。
このような合成後の映像データは、メインピクチャーバッファ４４に記憶された後に、ストリーミングエンコーダ４７にてストリーミング放送用にエンコードされて、ネットワーク２に出力される。
この出力された映像データを受信する視聴用端末４では、例えば図１２に示すように、放送者による描画が反映された放送内容を視聴することができる。
このような第３の実施形態によれば、放送者は、リアルタイムで簡単に描画を行って、この描画の映像データに基づく映像表示を視聴用端末４にて行わせることができる。よって、ネットワーク２を介して、容易にプレゼンテーションを行うことができる。
なお、上記の各実施形態においては、ライブストリーミング放送を前提とした説明を行ったが、例えば、プラグインデータを含む映像データを放送用に出力する技術は、ライブストリーミング放送に限らずその他の放送方法に適用しても良い。
本発明の実施形態に係るストリーミング放送方法を説明するためのブロック図である。 ストリーミング放送方法に用いられる編集装置及びその周辺装置を示すブロック図である。 編集装置が備える制御部の主要なブロック構成を示す図である。 編集装置が行う編集処理のうち映像データに対する処理の流れを説明するためのフローチャートである。 編集装置が行う編集処理のうち音声データに対する処理の流れを説明するためのフローチャートである。 編集処理中における編集装置の表示部の画面表示例を示す図である。 編集処理のうち特に複数カメラ映像合成処理の流れを説明するためのフローチャートである。 スプライト処理を行う場合の処理の流れの例を説明するためのフローチャートである。 複数の他のストリーミングサーバより受信するライブストリーミング放送を合成して出力する場合の処理の流れを説明するためのフローチャートである。 シンクロブラウザ機能及びシンクロポインタ機能を実行する場合の画面表示例を示す図である。 シンクロブラウザ機能及びシンクロポインタ機能を説明するためのフローチャートである。 手書き機能を実行する場合の画面表示例を示す図である。 手書き機能を説明するためのフローチャートである。 従来のライブストリーミング放送における処理の流れを説明するためのブロック図である。 従来技術において多数の放送機材を用いてライブ放送を行う場合のブロック図である。 図１５の技術の場合の要部の処理の流れを説明するためのフローチャートである。
符号の説明
１ 編集装置（ライブストリーミング放送装置）
２ ネットワーク
９１ ブラウザ
９５ ブラウザ
９２ マウスポインタ（ポインタ）
９６ ポインタ
４７ ストリーミングエンコーダ（出力手段）
４６ ストリーミングデコーダ（受信手段）
１１ｂ ＲＯＭ（記録媒体）

Claims (39)

  1. ネットワークを介してライブ放送を行うライブストリーミング放送方法において、
    複数のカメラ映像データを入力しながら、該入力中の複数のカメラ映像データを合成する合成処理により得られる合成映像データを、視聴者による視聴用に前記ネットワークに出力することを特徴とするライブストリーミング放送方法。
  2. ネットワークを介してライブ放送を行うライブストリーミング放送方法において、
    前記ネットワークを介して他のライブストリーミング放送を受信しながら、該受信中のライブストリーミング放送の映像データを、視聴者による視聴用に前記ネットワークに出力することを特徴とするライブストリーミング放送方法。
  3. 複数の前記他のライブストリーミング放送を受信しながら、該受信中の複数のライブストリーミング放送の映像データを合成する合成処理により得られる合成映像データを、視聴者による視聴用に前記ネットワークに出力することを特徴とする請求項２に記載のライブストリーミング放送方法。
  4. ネットワークを介してライブ放送を行うライブストリーミング放送方法において、
    カメラ映像データを入力しながら、該入力中のカメラ映像データに他の映像データを合成する合成処理により得られる合成映像データを、視聴者による視聴用に前記ネットワークに出力することを特徴とするライブストリーミング放送方法。
  5. 前記他の映像データには、静止映像データ及びビデオ映像データのうち少なくとも何れか一方が含まれていることを特徴とする請求項４に記載のライブストリーミング放送方法。
  6. 前記他の映像データには、放送中の操作により入力されるテキスト表示データが含まれていることを特徴とする請求項４又は５に記載のライブストリーミング放送方法。
  7. 前記他の映像データには、映像表示指定用であるが映像データではない指定情報に基づき生成される映像データが含まれていることを特徴とする請求項４乃至６のいずれか一項に記載のライブストリーミング放送方法。
  8. 前記他の映像データには、プラグインデータが含まれていることを特徴とする請求項４乃至７のいずれか一項に記載のライブストリーミング放送方法。
  9. 前記合成処理は、アルファブレンド処理又はピクチャーインピクチャ処理であることを特徴とする請求項１、３、４、５、６、７又は８のいずれか一項に記載のライブストリーミング放送方法。
  10. ネットワークを介してライブ放送を行うライブストリーミング放送方法において、
    放送中の操作により入力されるテキスト表示データを、視聴者による視聴用に前記ネットワークに出力することを特徴とするライブストリーミング放送方法。
  11. ネットワークを介してライブ放送を行うライブストリーミング放送方法において、
    映像表示指定用であるが映像データではない指定情報に基づき生成される映像データを、視聴者による視聴用に前記ネットワークに出力することを特徴とするライブストリーミング放送方法。
  12. ネットワークを介してライブ放送を行うライブストリーミング放送方法において、
    プラグインデータを、視聴者による視聴用に前記ネットワークに出力することを特徴とするライブストリーミング放送方法。
  13. ネットワークを介してライブ放送を行うライブストリーミング放送方法において、
    放送者側のブラウザのリンク先情報をスクリプトとして出力し、該リンク先情報のスクリプトに基づき視聴者側のブラウザのリンク先を指定することにより、視聴者側のリンク先を放送者側と同期的に切り替えさせることを特徴とするライブストリーミング放送方法。
  14. ネットワークを介してライブ放送を行うライブストリーミング放送方法において、
    放送者側のブラウザ上に表示されるポインタの位置情報をスクリプトとして出力し、該位置情報のスクリプトに基づき視聴者側のブラウザ上におけるポインタの表示位置を指定することにより、視聴者側のポインタの表示位置を放送者側と連動させることを特徴とするライブストリーミング放送方法。
  15. ネットワークを介してライブ放送を行うライブストリーミング放送方法において、
    放送者側のブラウザ上に放送者の操作により描かれる映像の映像データを、視聴者による視聴用に前記ネットワークに出力することを特徴とするライブストリーミング放送方法。
  16. 放送者の操作により描かれる映像の前記映像データを、動画映像データと合成して前記ネットワークに出力することを特徴とする請求項１５に記載のライブストリーミング放送方法。
  17. ネットワークを介してライブストリーミング放送方法を行うためのライブストリーミング放送装置において、
    請求項１、３、４、５、６、７、８又は９のいずれかに記載の合成処理を実行する合成処理手段と、
    前記ネットワークへの前記出力を実行する出力手段と、
    を備えることを特徴とするライブストリーミング放送装置。
  18. ネットワークを介してライブストリーミング放送方法を行うためのライブストリーミング放送装置において、
    前記ネットワークを介して他のライブストリーミング放送を受信する受信手段と、
    前記受信中のライブストリーミング放送の映像データを、視聴者による視聴用に前記ネットワークに出力する出力手段と、
    を備えることを特徴とするライブストリーミング放送装置。
  19. ネットワークを介してライブストリーミング放送方法を行うためのライブストリーミング放送装置において、
    放送中の操作により入力されるテキスト表示データを、視聴者による視聴用に前記ネットワークに出力する出力手段を備えることを特徴とするライブストリーミング放送装置。
  20. ネットワークを介してライブストリーミング放送方法を行うためのライブストリーミング放送装置において、
    映像表示指定用であるが映像データではない指定情報に基づき生成される映像データを、視聴者による視聴用に前記ネットワークに出力する出力手段を備えることを特徴とするライブストリーミング放送装置。
  21. ネットワークを介してライブストリーミング放送方法を行うためのライブストリーミング放送装置において、
    プラグインデータを、視聴者による視聴用に前記ネットワークに出力する出力手段を備えることを特徴とするライブストリーミング放送装置。
  22. ネットワークを介してライブストリーミング放送方法を行うためのライブストリーミング放送装置において、
    放送者側のブラウザのリンク先情報をスクリプトとして出力し、該リンク先情報のスクリプトに基づき視聴者側のブラウザのリンク先を指定することにより、視聴者側のリンク先を放送者側と同期的に切り替えさせる処理を実行することを特徴とするライブストリーミング放送装置。
  23. ネットワークを介してライブストリーミング放送方法を行うためのライブストリーミング放送装置において、
    放送者側のブラウザ上に表示されるポインタの位置情報をスクリプトとして出力し、該位置情報のスクリプトに基づき視聴者側のブラウザ上におけるポインタの表示位置を指定することにより、視聴者側のポインタの表示位置を放送者側と連動させることを特徴とするライブストリーミング放送装置。
  24. ネットワークを介してライブストリーミング放送方法を行うためのライブストリーミング放送装置において、
    放送者側のブラウザ上に放送者の操作により描かれる映像の映像データを、視聴者による視聴用に前記ネットワークに出力する出力手段を備えることを特徴とするライブストリーミング放送装置。
  25. 放送者の操作により描かれる映像の前記映像データを、動画映像データと合成する合成手段を備え、
    前記出力手段は、前記合成手段による合成後の映像データを前記ネットワークに出力することを特徴とする請求項２４に記載のライブストリーミング放送装置。
  26. 請求項１７乃至２５のいずれか一項に記載のライブストリーミング放送装置と、
    前記ライブストリーミング放送装置より出力される映像データを視聴者に配信するためのストリーミングサーバと、
    を備えることを特徴とするライブストリーミング放送システム。
  27. コンピュータ読み取り可能で、
    前記コンピュータを備える機器に入力される複数のカメラ映像データを合成して合成映像データを生成する複数カメラ映像合成処理を、前記コンピュータに実行させるプログラムであって、
    前記機器に入力される３つ以上のカメラ映像データのうち、任意の複数のカメラ映像データを選択的に前記複数カメラ映像合成処理に供するためカメラ映像データを選別するスイッチング処理と、
    前記複数カメラ映像合成と、
    前記複数カメラ映像合成により生成された合成映像データを前記機器より出力させる出力処理と、
    をこの順に前記コンピュータに実行させることを特徴とするプログラム。
  28. コンピュータ読み取り可能なプログラムであって、
    請求項１、３、４、５、６、７、８又は９のいずれかに記載の合成処理と、
    前記ネットワークへの前記出力と、
    を前記コンピュータに実行させることを特徴とするプログラム。
  29. コンピュータ読み取り可能なプログラムであって、
    ネットワークを介してライブストリーミング放送を受信する処理と、
    受信中のライブストリーミング放送の映像データを、視聴者による視聴用に前記ネットワークに出力する処理と、
    を前記コンピュータに実行させることを特徴とするプログラム。
  30. コンピュータ読み取り可能で、
    ネットワークを介したライブストリーミング放送を前記コンピュータに実行させるプログラムであって、
    ライブストリーミング放送の放送中の操作により入力されるテキスト表示データを、視聴者による視聴用に前記ネットワークに出力する処理を前記コンピュータに実行させることを特徴とするプログラム。
  31. コンピュータ読み取り可能で、
    ネットワークを介したライブストリーミング放送を前記コンピュータに実行させるプログラムであって、
    映像表示指定用であるが映像データではない指定情報に基づき生成される映像データを、視聴者による視聴用に前記ネットワークに出力する処理を前記コンピュータに実行させることを特徴とするプログラム。
  32. コンピュータ読み取り可能で、
    ネットワークを介したライブストリーミング放送を前記コンピュータに実行させるプログラムであって、
    プラグインデータを、視聴者による視聴用に前記ネットワークに出力する処理を前記コンピュータに実行させることを特徴とするプログラム。
  33. コンピュータ読み取り可能で、
    ネットワークを介したライブストリーミング放送を前記コンピュータに実行させるプログラムであって、
    放送者側のブラウザのリンク先情報をスクリプトとして出力し、該リンク先情報のスクリプトに基づき視聴者側のブラウザのリンク先を指定することにより、視聴者側のリンク先を放送者側と同期的に切り替えさせる処理を前記コンピュータに実行させることを特徴とするプログラム。
  34. コンピュータ読み取り可能で、
    ネットワークを介したライブストリーミング放送を前記コンピュータに実行させるプログラムであって、
    放送者側のブラウザ上に表示されるポインタの位置情報をスクリプトとして出力し、該位置情報のスクリプトに基づき視聴者側のブラウザ上におけるポインタの表示位置を指定することにより、視聴者側のポインタの表示位置を放送者側と連動させる処理を前記コンピュータに実行させることを特徴とするプログラム。
  35. コンピュータ読み取り可能で、
    ネットワークを介したライブストリーミング放送を前記コンピュータに実行させるプログラムであって、
    放送者側のブラウザ上に放送者の操作により描かれる映像の映像データを、視聴者による視聴用に前記ネットワークに出力する処理を前記コンピュータに実行させることを特徴とするプログラム。
  36. コンピュータ読み取り可能なプログラムであって、
    プラグインデータを含む映像データを視聴者による視聴用に放送用ネットワークに出力する処理を前記コンピュータに実行させることを特徴とするプログラム。
  37. 請求項２７乃至３６のいずれか一項に記載のプログラムを記録したことを特徴とする記録媒体。
  38. プラグインデータを含む映像データを、視聴者による視聴用に放送用ネットワークに出力することを特徴とする放送方法。
  39. プラグインデータを含む映像データを、視聴者による視聴用に放送用ネットワークに出力する出力手段を備えることを特徴とする放送装置。

JP2003284061A 2003-07-31 2003-07-31 ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置 Pending JP2005051703A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2003284061A JP2005051703A (ja) 2003-07-31 2003-07-31 ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
KR1020067002185A KR20060120571A (ko) 2003-07-31 2004-07-28 라이브 스트리밍 방송 방법, 라이브 스트리밍 방송 장치,및 컴퓨터 프로그램
CNA2004800214128A CN1830210A (zh) 2003-07-31 2004-07-28 实时流广播方法、实时流广播设备、实时流广播***、程序、记录介质、广播方法和广播设备
PCT/JP2004/010720 WO2005013618A1 (ja) 2003-07-31 2004-07-28 ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
US10/566,689 US20060242676A1 (en) 2003-07-31 2004-07-28 Live streaming broadcast method, live streaming broadcast device, live streaming broadcast system, program, recording medium, broadcast method, and broadcast device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003284061A JP2005051703A (ja) 2003-07-31 2003-07-31 ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置

Publications (1)

Publication Number Publication Date
JP2005051703A true JP2005051703A (ja) 2005-02-24

Family

ID=34113828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003284061A Pending JP2005051703A (ja) 2003-07-31 2003-07-31 ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置

Country Status (5)

Country Link
US (1) US20060242676A1 (ja)
JP (1) JP2005051703A (ja)
KR (1) KR20060120571A (ja)
CN (1) CN1830210A (ja)
WO (1) WO2005013618A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017118417A (ja) * 2015-12-25 2017-06-29 株式会社フェイス 複数の人がそれぞれの情報端末で同じライブイベントをそれぞれの視点で撮影した複数のビデオストリームを１つのｕｇｃ番組に編成してライブ配信すること
US9905268B2 (en) 2016-03-24 2018-02-27 Fujitsu Limited Drawing processing device and method
JP6305614B1 (ja) * 2017-09-04 2018-04-04 株式会社ドワンゴ コンテンツ配信サーバ、コンテンツ配信方法およびコンテンツ配信プログラム
JP2019079510A (ja) * 2017-10-25 2019-05-23 Ｌｉｎｅ株式会社 生放送中の音声フィードバックのための方法とシステム、および非一時的コンピュータ読取可能な記録媒体
CN112291502A (zh) * 2020-02-24 2021-01-29 北京字节跳动网络技术有限公司 信息交互方法、装置、***和电子设备
JP7026839B1 (ja) 2021-06-18 2022-02-28 株式会社電通 リアルタイムデータ処理装置
JP2022550496A (ja) * 2020-09-04 2022-12-02 ネイバー コーポレーション 多重ライブ配信環境でチャンネルのシームレス切り替えモードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8412840B2 (en) * 2005-11-14 2013-04-02 Ando Media, Llc Live media serving system and method
JP5045983B2 (ja) * 2006-06-30 2012-10-10 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP4793449B2 (ja) * 2006-11-10 2011-10-12 三菱電機株式会社 ネットワーク映像合成表示システム
US8055779B1 (en) * 2007-05-10 2011-11-08 Adobe Systems Incorporated System and method using data keyframes
US9979931B2 (en) * 2007-05-30 2018-05-22 Adobe Systems Incorporated Transmitting a digital media stream that is already being transmitted to a first device to a second device and inhibiting presenting transmission of frames included within a sequence of frames until after an initial frame and frames between the initial frame and a requested subsequent frame have been received by the second device
KR20090068711A (ko) * 2007-12-24 2009-06-29 이원일 방송카메라와 연동된 주문형 방송서비스시스템 및 그 방법
WO2009094483A1 (en) * 2008-01-22 2009-07-30 Reality Check Studios Inc. Data control and display system
US20120200780A1 (en) * 2011-02-05 2012-08-09 Eli Doron Systems, methods, and operation for networked video control room
CN102739925A (zh) * 2011-05-16 2012-10-17 新奥特（北京）视频技术有限公司 一种日志记录方法和装置
US8646023B2 (en) 2012-01-05 2014-02-04 Dijit Media, Inc. Authentication and synchronous interaction between a secondary device and a multi-perspective audiovisual data stream broadcast on a primary device geospatially proximate to the secondary device
US9928021B2 (en) * 2014-12-30 2018-03-27 Qualcomm Incorporated Dynamic selection of content for display on a secondary display device
US10380137B2 (en) 2016-10-11 2019-08-13 International Business Machines Corporation Technology for extensible in-memory computing
CN106507161B (zh) * 2016-11-29 2019-11-15 腾讯科技（深圳）有限公司 视频直播方法及直播装置
CN107071502B (zh) * 2017-01-24 2020-04-07 百度在线网络技术（北京）有限公司 视频播放方法和装置
JP7164623B2 (ja) 2018-03-28 2022-11-01 ライン プラス コーポレーション ライブ放送で発生するゲスト放送のディレイを解消する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体
KR102171356B1 (ko) * 2019-05-21 2020-10-28 주식회사 오마이플레이 대회 일정과 연동되는 경기영상 스트리밍 방법 및 장치
JP7213170B2 (ja) * 2019-11-28 2023-01-26 ローランド株式会社 配信補助装置および配信補助方法
CN111954006A (zh) * 2020-06-30 2020-11-17 深圳点猫科技有限公司 一种用于移动端的跨平台视频播放实现方法及装置
JP7062328B1 (ja) * 2021-09-17 2022-05-06 株式会社Tomody コンテンツ配信サーバ

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001230995A (ja) * 2000-02-15 2001-08-24 Fuji Television Network Inc コンテンツ制作装置、及びネットワーク型放送システム
JP2002108184A (ja) * 2000-09-27 2002-04-10 Ishige Koichi パソコン教習方法およびパソコン教習用プログラム記録媒体
JP2002149640A (ja) * 2000-11-02 2002-05-24 Internatl Business Mach Corp <Ibm> 情報処理システム、端末装置、情報処理支援サーバ、情報処理方法、ｈｔｍｌ文書、記憶媒体及びプログラム伝送装置
JP2002354451A (ja) * 2001-02-23 2002-12-06 Artech Communication Inc ストリーミング放送システム
JP2003006158A (ja) * 2001-03-21 2003-01-10 Mitsubishi Electric Research Laboratories Inc ウェブコンテンツを共同的に閲覧する方法
JP2003036017A (ja) * 2001-07-24 2003-02-07 Univ Waseda ネットワーク型遠隔学習システムおよび学習方法、並びに管理サーバおよびコーディネータ、並びにプログラム
JP2003091345A (ja) * 2001-09-18 2003-03-28 Sony Corp 情報処理装置、並びにガイダンス提示方法、ガイダンス提示プログラム及びガイダンス提示プログラムが記録された記録媒体
JP2003091472A (ja) * 2001-09-18 2003-03-28 Sony Corp コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ送出プログラム
JP2003092706A (ja) * 2001-09-18 2003-03-28 Sony Corp 効果付加装置、効果付加方法、及び効果付加プログラム
JP2003109199A (ja) * 2001-09-28 2003-04-11 Sumitomo Electric Ind Ltd 車両事故防止システム及び画像提供装置
JP2003115889A (ja) * 2001-10-05 2003-04-18 Alpine Electronics Inc マルチメディア情報提供方法及び装置
JP2003162275A (ja) * 2001-11-27 2003-06-06 Matsushita Electric Ind Co Ltd オンスクリーンディスプレイ表示回路
JP2003167575A (ja) * 2001-11-30 2003-06-13 Nippon Telegraph & Telephone East Corp 音・映像同期合成配信方法、演奏者端末用装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体並びに、サービス提供装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体
JP2003179910A (ja) * 2001-12-10 2003-06-27 Toshiba Corp 画像配信システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115736A (ja) * 1998-09-30 2000-04-21 Mitsubishi Electric Corp 情報配信システム及び情報送信装置及び情報受信装置
JP2001243154A (ja) * 2000-03-02 2001-09-07 Fujitsu Ltd 共有情報利用システム、方法及び記憶媒体

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001230995A (ja) * 2000-02-15 2001-08-24 Fuji Television Network Inc コンテンツ制作装置、及びネットワーク型放送システム
JP2002108184A (ja) * 2000-09-27 2002-04-10 Ishige Koichi パソコン教習方法およびパソコン教習用プログラム記録媒体
JP2002149640A (ja) * 2000-11-02 2002-05-24 Internatl Business Mach Corp <Ibm> 情報処理システム、端末装置、情報処理支援サーバ、情報処理方法、ｈｔｍｌ文書、記憶媒体及びプログラム伝送装置
JP2002354451A (ja) * 2001-02-23 2002-12-06 Artech Communication Inc ストリーミング放送システム
JP2003006158A (ja) * 2001-03-21 2003-01-10 Mitsubishi Electric Research Laboratories Inc ウェブコンテンツを共同的に閲覧する方法
JP2003036017A (ja) * 2001-07-24 2003-02-07 Univ Waseda ネットワーク型遠隔学習システムおよび学習方法、並びに管理サーバおよびコーディネータ、並びにプログラム
JP2003091345A (ja) * 2001-09-18 2003-03-28 Sony Corp 情報処理装置、並びにガイダンス提示方法、ガイダンス提示プログラム及びガイダンス提示プログラムが記録された記録媒体
JP2003091472A (ja) * 2001-09-18 2003-03-28 Sony Corp コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ送出プログラム
JP2003092706A (ja) * 2001-09-18 2003-03-28 Sony Corp 効果付加装置、効果付加方法、及び効果付加プログラム
JP2003109199A (ja) * 2001-09-28 2003-04-11 Sumitomo Electric Ind Ltd 車両事故防止システム及び画像提供装置
JP2003115889A (ja) * 2001-10-05 2003-04-18 Alpine Electronics Inc マルチメディア情報提供方法及び装置
JP2003162275A (ja) * 2001-11-27 2003-06-06 Matsushita Electric Ind Co Ltd オンスクリーンディスプレイ表示回路
JP2003167575A (ja) * 2001-11-30 2003-06-13 Nippon Telegraph & Telephone East Corp 音・映像同期合成配信方法、演奏者端末用装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体並びに、サービス提供装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体
JP2003179910A (ja) * 2001-12-10 2003-06-27 Toshiba Corp 画像配信システム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017118417A (ja) * 2015-12-25 2017-06-29 株式会社フェイス 複数の人がそれぞれの情報端末で同じライブイベントをそれぞれの視点で撮影した複数のビデオストリームを１つのｕｇｃ番組に編成してライブ配信すること
US9905268B2 (en) 2016-03-24 2018-02-27 Fujitsu Limited Drawing processing device and method
US11122303B2 (en) 2017-09-04 2021-09-14 DWANGO, Co., Ltd. Content distribution server, content distribution method and content distribution program
JP6305614B1 (ja) * 2017-09-04 2018-04-04 株式会社ドワンゴ コンテンツ配信サーバ、コンテンツ配信方法およびコンテンツ配信プログラム
JP2019047366A (ja) * 2017-09-04 2019-03-22 株式会社ドワンゴ コンテンツ配信サーバ、コンテンツ配信方法およびコンテンツ配信プログラム
US11729435B2 (en) 2017-09-04 2023-08-15 Dwango Co., Ltd. Content distribution server, content distribution method and content distribution program
JP7221638B2 (ja) 2017-10-25 2023-02-14 Ｌｉｎｅ株式会社 生放送中の音声フィードバックのための方法とシステム、および非一時的コンピュータ読取可能な記録媒体
JP2019079510A (ja) * 2017-10-25 2019-05-23 Ｌｉｎｅ株式会社 生放送中の音声フィードバックのための方法とシステム、および非一時的コンピュータ読取可能な記録媒体
CN112291502A (zh) * 2020-02-24 2021-01-29 北京字节跳动网络技术有限公司 信息交互方法、装置、***和电子设备
CN112291502B (zh) * 2020-02-24 2023-05-26 北京字节跳动网络技术有限公司 信息交互方法、装置、***和电子设备
JP2022550496A (ja) * 2020-09-04 2022-12-02 ネイバー コーポレーション 多重ライブ配信環境でチャンネルのシームレス切り替えモードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体
JP7312858B2 (ja) 2020-09-04 2023-07-21 ネイバー コーポレーション 多重ライブ配信環境でチャンネルのシームレス切り替えモードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体
JP7026839B1 (ja) 2021-06-18 2022-02-28 株式会社電通 リアルタイムデータ処理装置
WO2022264440A1 (ja) 2021-06-18 2022-12-22 株式会社電通 リアルタイムデータ処理装置
KR20220169473A (ko) 2021-06-18 2022-12-27 가부시키가이샤 덴츠 실시간 데이터 처리 장치
JP2023000791A (ja) * 2021-06-18 2023-01-04 株式会社電通 リアルタイムデータ処理装置
TWI824324B (zh) * 2021-06-18 2023-12-01 日商電通股份有限公司 即時資料處理裝置、方法及程式

Also Published As

Publication number Publication date
WO2005013618A1 (ja) 2005-02-10
CN1830210A (zh) 2006-09-06
KR20060120571A (ko) 2006-11-27
US20060242676A1 (en) 2006-10-26

Similar Documents

Publication Publication Date Title
JP2005051703A (ja) ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
CN110798697B (zh) 视频显示方法、装置、***以及电子设备
CN106792092B (zh) 直播视频流分镜显示控制方法及其相应的装置
US10244291B2 (en) Authoring system for IPTV network
US8736658B2 (en) Image-based video conference control method, terminal, and system
CN101272478B (zh) 内容分发***及方法、服务器装置及接收装置
US20200186887A1 (en) Real-time broadcast editing system and method
JP6280215B2 (ja) ビデオ会議端末、セカンダリストリームデータアクセス方法およびコンピュータ記憶媒体
JP6131053B2 (ja) 情報再生端末
CN108449632A (zh) 一种演唱视频实时合成的方法及终端
CN104822070A (zh) 多路视频流播放方法及装置
US20020188772A1 (en) Media production methods and systems
JP2007067595A (ja) 番組情報の通知方法
JP2006222942A (ja) 映像合成装置、映像合成方法及び映像合成プログラム
JP2006041884A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
KR102029604B1 (ko) 실시간 방송 편집 시스템 및 편집 방법
CN115379277B (zh) 一种基于iptv业务的vr全景视频播放方法和***
US20020158895A1 (en) Method of and a system for distributing interactive audiovisual works in a server and client system
KR20100135131A (ko) 디스플레이 장치에서 영상 처리 방법 및 디스플레이 장치
CN112004100A (zh) 将多路音视频源集合成单路音视频源的驱动方法
KR101067952B1 (ko) 트래픽이 절감된 화상통신 운영 시스템 및 방법
JP2008090526A (ja) 会議情報保存装置、システム、会議情報表示装置及びプログラム
CN114765695B (zh) 一种直播数据处理方法、装置、设备及介质
JP2004040274A (ja) ビデオミキシング装置および方法
CN114666648B (zh) 视频播放方法及电子设备

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050616

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050708

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050708

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051031

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080618