JP7065545B1 - ライブ配信システム、ライブ配信方法、及びライブ配信プログラム - Google Patents

Abstract

【課題】配信者と視聴者とがコミュニケーションをとりながらリアルタイムで画像処理方法を決定可能なライブ配信システム、ライブ配信方法、及びライブ配信プログラムを提供する。【解決手段】カメラと、マイクロフォンと、映像調整装置と、映像変換装置と、動画データを視聴者端末へ送信する配信サーバとを備えるライブ配信システムであって、映像変換装置は、映像編集部と、入出力部と、視聴者情報管理部と、視聴者情報記憶部とを備え、映像編集部は、特定の人物の顔画像データを用いて構築された学習モデルを記憶する画像データ記憶部と、動画データに映っている人物の顔の画像を抽出し、学習モデルの、特定の人物の顔の画像と一致する画像を判定する顔画像判定部と、顔の画像にたいして画像処理を行ったのち、データに基づき画像処理の方法を決定する画像処理部と、視聴者端末から送信されたデータに基づき画像処理を行う画像表示部とを備える。【選択図】図５

Description

本発明は、ライブ配信システム、ライブ配信方法、及びライブ配信プログラムに関する。

スポーツ、音楽の演奏等をライブ配信する際、出演者に加えて観客が撮影されていることがある。観客席を撮影する場合、出演者と観客席とが互いに離れていれば、観客の個人が特定できない程度の解像度によって撮影されるなどの措置が取られる。出演者と観客との距離が近い場合など、出演者と観客が同時に映像内に映る場合は、特許文献１及び特許文献２に開示されているように、映像内の特定人物を除く人物の顔画像を画像処理することにより、観客の個人が特定できないようにすることができる。

特開２００２－１９１０４４号公報 特開２００１―２５６４９６号公報

特許文献１及び特許文献２に開示されている方法によれば、画像処理を行わない特定人物、及び画像処理方法は配信者が決定しており、視聴者は配信された映像を視聴するのみであった。

上記問題点を鑑み、本発明は、配信者と視聴者とがコミュニケーションをとりながらリアルタイムで画像処理方法を決定可能なライブ配信システム、ライブ配信方法、及びライブ配信プログラムを提供することを目的とする。

本発明の第１の態様は、ライブを撮影して１又は複数の映像データを生成するための１又は複数のカメラと、ライブの音声を録音して１又は複数の音声データを生成するための１又は複数のマイクロフォンと、１又は複数の映像データ及び又は複数の音声データから動画データを生成する映像調整装置と、動画データを編集する映像変換装置と、編集された動画データを視聴者端末へ送信する配信サーバとを備えるライブ動画を配信するライブ配信システムであって、映像変換装置は、映像編集部と、視聴者端末と、ライブ動画に対するコメントをライブ動画において表現するための情報を含むコメントデータと、顔の画像に対する画像処理の方法をリクエストする情報を含むリクエストデータの送受信をする入出力部と、１又は複数の視聴者の登録と認証を行う視聴者情報管理部と、１又は複数の視聴者の視聴者情報、視聴者ＩＤ及びパスワードを記憶する視聴者情報記憶部とを備え、映像編集部は、予め撮影された画像データ内の、１又は複数の特定の人物に関するタグを付与された、１又は複数の特定の人物の顔画像データを用いて構築された学習モデルを記憶する画像データ記憶部と、画像認識により、動画データの画像に映っている１又は複数の人物の顔の画像を抽出し、抽出された１又は複数の顔の画像の中に、学習モデルの、１又は複数の特定の人物の顔の画像と一致する画像があるかどうかを判定する顔画像判定部と、顔画像判定部によって判定された１又は複数の顔の画像のうち、１又は複数の特定の人物の顔の画像と一致しない画像に対して顔の個人を特定することが困難となるように画像処理を行ったのち、視聴者端末から送信されたリクエストデータに基づき画像処理を行う画像処理部と、視聴者端末から送信されたコメントデータに基づきコメントをライブ動画に表示する画像処理を行う画像表示部とを備えることを要旨とする。

本発明の第１の態様において、画像処理は顔の画像に対するモザイク処理であり、画像処理部は、抽出された又は複数の顔の画像のうち、１又は複数の特定の人物の顔の画像と一致しない画像にのみモザイク処理を行ってもよい。

本発明の第１の態様において、画像処理部は、抽出された１又は複数の顔の画像のうち、１又は複数の特定の人物の顔の画像と一致する画像と、一致しない画像とは、互いに異なる画像処理を行ってもよい。

本発明の第１の態様において、画像処理は顔の画像に対するモザイク処理であり、画像処理部は、リクエストデータに基づき、抽出された１又は複数の顔の画像に対して行うモザイク処理のモザイクの粗さを決定してもよい。

本発明の第１の態様において、画像処理は顔の画像に対するモザイク処理であり、画像処理部は、リクエストデータに基づき、抽出された１又は複数の顔の画像に対して行うモザイク処理のモザイクの範囲を決定してもよい。

本発明の第１の態様において、画像処理部は、リクエストデータに基づき、抽出された１又は複数の顔の画像のうち、画像処理を行う画像を決定してもよい。

本発明の第１の態様において、画像処理部による、リクエストデータに基づく画像処理の方法は、課金によって視聴者が決定可能としてもよい。

本発明の第１の態様において、画像処理部による、リクエストデータに基づく画像処理の方法は、視聴者による多数決によって決定されてもよい。

本発明の第１の態様において、視聴者による多数決によって決定される画像処理の方法の選択肢の内容は、画像表示部によってライブ動画に表示された前記コメントにおいて提案され、１又は複数の特定の人物がコメントにおいて提案された選択肢の内容を了承することにより、ライブ動画に提案された選択肢が表示されてもよい。

本発明の第１の態様において、画像処理部は、リクエストデータに基づき、抽出された１又は複数の顔の画像のうち、どの顔画像に対して画像処理を行うかを決定してもよい。

本発明の第１の態様において、データ記憶部は、予め撮影されたマーカーの画像データを用いて構築されたマーカー学習モデルを更に記憶し、画像処理部は、データに基づき、マーカーを装着した人物の顔の画像に対して画像処理を行ってもよい。

本発明の第１の態様において、画像処理部による、リクエストデータに基づく画像処理の方法の決定は、視聴者が所定の条件を満たすことによって可能となってよい。

本発明の第２の態様は、視聴者端末にライブ動画を配信するライブ配信方法であって、ライブを撮影して１又は複数の映像データを生成する映像データ生成ステップと、ライブの音声を録音して１又は複数の音声データを生成する音声データ生成ステップと、１又は複数の映像データ及び１又は複数の音声データから動画データを生成する動画データ生成ステップと、動画データを編集する映像編集ステップと、編集された動画データを前記視聴者端末へ送信する配信ステップと、１又は複数の視聴者の視聴者情報、視聴者ＩＤ及びパスワードを記憶する視聴者情報記憶ステップと、１又は複数の視聴者の登録と認証を行う視聴者情報管理ステップと、視聴者端末と、ライブ動画に対するコメントをライブ動画において表現するための情報を含むコメントデータと、顔の画像に対する画像処理の方法をリクエストする情報を含むリクエストデータの送受信をする入出力ステップとを備え、映像編集ステップは、画像認識により、動画データの画像に映っている１又は複数の人物の顔の画像を抽出する抽出ステップと、抽出された１又は複数の顔の画像の中に、予め撮影された画像データ内の、１又は複数の特定の人物に関するタグを付与された、１又は複数の特定の人物の顔画像データを用いて構築された学習モデルの、１又は複数の特定の人物の顔の画像と一致する画像があるかどうかを判定する顔画像判定ステップと、画像判定ステップにおいて判定された１又は複数の顔の画像のうち、１又は複数の特定の人物の顔の画像と一致しない画像に対して顔の個人を特定することが困難となるように画像処理を行ったのち、視聴者端末から送信されたリクエストデータに基づき画像処理を行う画像処理ステップと、視聴者端末から送信されたコメントデータに基づきコメントをライブ動画に表示する画像処理を行う画像表示ステップとを備えることを要旨とする。

本発明の第３の態様は、コンピュータに、ライブを撮影して１又は複数の映像データを生成する映像データ生成機能と、ライブの音声を録音して１又は複数の音声データを生成する音声データ生成機能と、１又は複数の映像データ及び１又は複数の音声データから動画データを生成する動画データ生成機能と、動画データを編集する映像編集機能と、編集された動画データを視聴者端末へ送信する配信機能と、１又は複数の視聴者の視聴者情報、視聴者ＩＤ及びパスワードを記憶する視聴者情報記憶機能と、１又は複数の視聴者の登録と認証を行う視聴者情報管理機能と、視聴者端末と、ライブ動画に対するコメントをライブ動画において表現するための情報を含むコメントデータと、顔の画像に対する画像処理の方法をリクエストする情報を含むリクエストデータの送受信をする入出力機能とを備え、映像編集機能は、画像認識により、動画データの画像に映っている１又は複数の人物の顔の画像を抽出する抽出機能と、抽出された１又は複数の顔の画像の中に、予め撮影された画像データ内の、１又は複数の特定の人物に関するタグを付与された、又は複数の特定の人物の顔画像データを用いて構築された学習モデルの、又は複数の特定の人物の顔の画像と一致する画像があるかどうかを判定する顔画像判定機能と、顔画像判定機能によって判定された１又は複数の顔の画像のうち、１又は複数の特定の人物の顔の画像と一致しない画像に対して顔の個人を特定することが困難となるように画像処理を行ったのち、視聴者端末から送信されたリクエストデータに基づき画像処理を行う画像処理機能と視聴者端末から送信されたコメントデータに基づきコメントをライブ動画に表示する画像処理を行う画像表示機能とを備えるためのライブ配信プログラムであることを要旨とする。

本発明によれば、配信者と視聴者とがコミュニケーションをとりながらリアルタイムで画像処理方法を決定可能なライブ配信システム、ライブ配信方法、及びライブ配信プログラムを提供できる。

本発明の実施形態に係るライブ配信システムの全体構成の一例を示す概要図である。 本実施形態に係るライブ配信システムの映像調整装置の構成の一例を示すブロック図である。 本実施形態に係るライブ配信システムの映像変換装置の構成の一例を示すブロック図である。 本実施形態に係るライブ配信システムの映像編集部の構成の一例を示すブロック図である。 本実施形態に係るライブ配信システムの動作を説明するためのフローチャートである。 本実施形態に係るライブ配信システムの動作を説明するためのフローチャートである。

次に、図面を参照して、本発明の実施形態を説明する。実施形態に係る図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、図面は模式的なものである。

又、実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、各構成要素の構成や配置、レイアウト等を下記のものに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

（実施形態）
本発明の第１の実施形態に係るライブ配信システムを以下に説明する。図１に、本実施形態に係るライブ配信システム１０の構成の一例を示す。図１に示すライブ配信システム１０は、第１カメラ１０１ａ、第２カメラ１０１ｂ、第３カメラ１０１ｃ、第１マイクロフォン１０２ａ、第２マイクロフォン１０２ｂ、第３マイクロフォン１０２ｃ、映像調整装置１０３、映像変換装置１０４、配信サーバ１０５、ネットワーク１０６、視聴者端末１０７ａ、１０７ｂ、１０７ｃから構成される。

１又は複数の視聴者端末１０７ａ、１０７ｂ、１０７ｃは、モバイル端末、パーソナルコンピュータ等、視聴者がライブ配信システムからネットワーク１０６を介して動画データを受信して閲覧し、かつ映像変換装置１０４とデータの送受信を行うことのできる端末である。

映像変換装置１０４は、パーソナルコンピュータ（ＰＣ）、メインフレーム、ワークステーション、クラウドコンピューティングシステム等、種々の電子計算機（計算リソース）であり、ディスプレイ、その他、入力用のキーボード、マウス等が接続されている。ネットワーク１０６は、インターネット、光ネットワーク、電話回線網等、いかなる通信網であってもよい。

図２に、映像調整装置１０３の構成の一例を示す。図２に示す映像調整装置１０３は、第１映像データ変換器２０１ａ、第２映像データ変換器２０１ｂ、第３映像データ変換器２０１ｃ、第１音声データ変換器２０２ａ、第２音声データ変換器２０２ｂ、第３音声データ変換器２０２ｃ、第１合成器２０３ａ、第２合成器２０３ｂ、第３合成器２０３ｃ、スイッチャー２０４、エンコーダー２０５、ストリーミングサーバ２０６から構成される。

図３に、映像変換装置１０４の構成の一例を示す。図３に示す映像変換装置１０４は、映像編集部３０１、入出力部３０２、視聴者情報管理部３０３、視聴者情報記憶部３０４から構成される。

ライブ会場において、出演者によるライブパフォーマンスが行われ、第１カメラ１０１ａ、第２カメラ１０１ｂ、第３カメラ１０１ｃによる撮影が行われ、それぞれのカメラによって第１映像データ、第２映像データ、第３映像データが生成される。同様に、第１マイクロフォン１０２ａ、第２マイクロフォン１０２ｂ、第３マイクロフォン１０２ｃによる録音が行われ、それぞれのマイクロフォンによって第１音声データ、第２音声データ、第３音声データが生成される。

第１カメラ１０１ａ、第２カメラ１０１ｂ、第３カメラ１０１ｃによって得られた第１映像データ、第２映像データ、第３映像データは、それぞれ、第１映像データ変換器２０１ａ、第２映像データ変換器２０１ｂ、第３映像データ変換器２０１ｃによってアナログデータからデジタルデータに変換され、さらに、圧縮処理がなされる。第１マイクロフォン１０２ａ、第２マイクロフォン１０２ｂ、第３マイクロフォン１０２ｃによって得られた第１音声データ、第２音声データ、第３３音声データについても同様に、それぞれ、第１音声データ変換器２０２ａ、第２音声データ変換器２０２ｂ、第３音声データ変換器２０２ｃによってアナログデータからデジタルデータに変換され、さらに、圧縮処理がなされる。

これらの第１～第３映像データ及び第１～第３音声データは、それぞれ、第１合成器２０３ａ、第２合成器２０３ｂ、第３合成器２０３ｃにおいて同期がとられ、合成されて、第１動画データ、第２動画データ、第３動画データが生成される。

第１動画データ、第２動画データ、第３動画データは、それぞれ、スイッチャー２０４に入力され、スイッチャー２０４において、配信される動画が選択される。第１動画データ、第２動画データ、第３動画データのうち、配信される動画として選択された動画データは、エンコーダー２０５及びストリーミングサーバ２０６において、ストリーミング形式のデータに変換される。

ストリーミング形式に変換された動画データは、映像編集部３０１において編集がなされたのち、配信サーバ１０５から、ネットワーク１０６を介して、視聴者端末１０７ａ、１０７ｂ、１０７ｃへ配信される。

図４に、映像編集部３０１の構成の一例を示す。図４に示す映像編集部３０１は、顔画像判定部４０１、画像データ記憶部４０２、画像処理部４０３、画像表示部４０４とから構成される。

顔画像判定部４０１は、画像認識により、動画データの画像に映っている全ての人物の顔の画像を抽出し、抽出された顔の画像の中に、画像データ記憶部４０２に記憶されている、１又は複数の特定の人物の顔の画像と一致する画像があるかどうかを判定する。

画像データ記憶部４０２は、顔画像判定部４０１が画像認識を行う際に用いられる機械学習モデルを記憶する。この機械学習モデルは、予め学習されたモデルであり、本実施形態において、予め撮影された画像データ内の、１又は複数の特定の人物に関するタグを付与された、１又は複数の特定の人物の顔画像データを用いて構築されたものである。本実施形態において、１又は複数の特定の人物とは、例えば、ライブパフォーマンスを行う出演者、司会者、等である。

画像処理部４０３は、顔画像判定部４０１によって抽出された顔の画像に対して、画像処理を行う。ここで、本実施形態において、画像処理部４０３によって行われる画像処理とは、顔画像判定部４０１によって抽出された顔の画像の少なくとも一部に対して、モザイクを掛ける、ぼかす、他の画像で覆う等、個人の特定が困難となるように加工することを指す。

本実施形態においては、動画配信の開始時点で、顔画像判定部４０１は、抽出された顔の画像の中の、１又は複数の特定の人物の顔の画像と一致すると判定された顔の画像に対しては、モザイク処理を行わない等、１又は複数の特定の人物を除く人物の顔画像とは異なる処理を行うように設定される。

視聴者は視聴者端末１０７ａ、１０７ｂ、１０７ｃにおいて、本実施形態に係るライブ配信システムによって配信されるライブ動画を視聴し、ライブ動画に対するコメント、感想、メッセージ等をライブ動画において表現するための情報等を含むコメントデータを視聴者端末１０７ａ、１０７ｂ、１０７ｃから入出力部３０２に送信することができる。

コメントデータは、視聴者端末１０７ａ、１０７ｂ、１０７ｃから、ネットワーク１０６を介して、映像変換装置１０４の入出力部３０２に送信されたのち、画像表示部４０４に送信される。画像表示部４０４は、コメントデータに基づき、コメント、感想、メッセージ等がライブ動画の画面のコメント欄に表示されるように画像処理を行う。

視聴者、及び、司会者、出演者、観客等の、ライブ動画に映る人物は、画像表示部４０４によってライブ動画の画面のコメント欄に表示されるコメントの内容を、ライブ会場にライブ動画の画面を表示するディスプレイを設置する等の方法によって知ることができる。コメントの内容に対して、ライブ動画に映る人物が応答することによって、視聴者とライブ動画に映る人物とが、コミュニケーションをとることができる。

視聴者は、更に、視聴者端末１０７ａ、１０７ｂ、１０７ｃにおいて、本実施形態に係るライブ動画を視聴し、画像処理部４０３が顔画像判定部４０１によって抽出された顔の画像に対してモザイク処理等を行う際の、処理方法をリクエストする情報を含むリクエストデータを視聴者端末１０７ａ、１０７ｂ、１０７ｃから入出力部３０２に送信することができる。

リクエストデータは、視聴者端末１０７ａ、１０７ｂ、１０７ｃから入出力部３０２に送信されたのち、画像処理部４０３に送信される。画像処理部４０３は、リクエストデータに含まれる、処理方法をリクエストする情報に基づき、顔画像判定部４０１によって抽出された顔の画像に対してモザイク処理等を行う。

視聴者によってリクエストされる、画像処理部４０３が顔画像判定部４０１によって抽出された顔の画像に対してモザイク処理等を行う際の、処理方法としては、モザイク処理を行う人物の顔の画像を指定してもよい。本実施形態において、動画配信開始時点で、顔画像判定部４０１によって抽出された顔の画像に対して、出演者および司会者等、画像データ記憶部４０２に記憶されている、１又は複数の特定の人物の顔の画像と一致しない画像にのみモザイク処理を行うとするが、視聴者のリクエストにより、例えば、出演者、司会者等、１又は複数の特定の人物の顔の画像にもモザイク処理を行うとしてもよい。

例えば、ライブの出演者、司会者等、１又は複数の特定の人物が、視聴者の好まないパフォーマンスを行ったとき、そのパフォーマンスを行った特定の人物の顔の画像に対して、画像処理部４０３によってモザイク処理をするように視聴者がリクエストする等、視聴者の反応や要望をリアルタイムに反映させることができる。

視聴者によってリクエストされる、画像処理部４０３が顔画像判定部４０１によって抽出された顔の画像に対してモザイク処理等を行う際の、他の処理方法としては、例えば、モザイクの粗さを指定することができる。モザイクの粗さの指定方法としては、例えば、各モザイクの１単位のサイズを数値で指定してもよい。

顔の画像に掛けるモザイクの粗さは、粗さが小さい程、顔の個人を特定しやすく、粗さが大きい程、顔の個人を特定することが困難になる。例えば、ライブ動画の画像に映っている観客の顔の画像に掛けられているモザイクの粗さが十分でなく、観客の個人が特定される可能性がある場合、視聴者は、観客の個人が特定されないように、モザイクの粗さを大きくするようにリクエストすることができる。また、例えば、特定の人物の顔の画像に対して、画像処理部４０３によってモザイク処理を行う場合、特定の人物に欠けるモザイクの粗さを小さくし、観客とは区別できるようにすることができる。

また、顔画像判定部４０１によって抽出された顔の画像に対してモザイク処理等を行う際の、他の処理方法としては、モザイク処理等を行う範囲を指定することができる。モザイク処理を行う範囲を広く指定すると、顔の画像だけでなく、例えば、モザイク処理をする人物の首、衣服の部分等、広い範囲でモザイク処理がなされる。モザイク処理を行う範囲を狭く指定すると、顔の画像の一部だけにモザイク処理がなされる。モザイク処理を行う範囲を指定する方法としては、モザイク処理をする範囲の大きさ、位置を指定してもよい。例えば、眼だけにモザイク処理をする、等の方法である。

顔の画像に掛けるモザイク処理等の範囲の広さは、範囲が小さい程、顔の個人を特定しやすく、範囲が大きい程、顔の個人を特定することが困難になる。モザイクの粗さを指定する場合と同様、観客の個人が特定されないように、モザイクの範囲を大きくするようにリクエストすることができ、また、特定の人物に欠けるモザイクの範囲を小さくし、観客とは区別できるようにすることができる。

顔画像判定部４０１によって抽出された顔の画像に対してモザイク処理等を行う際の、他の処理方法としては、モザイク処理として指定部分にモザイクを掛ける方法のほかに、例えば、他の画像によって覆い隠す方法がある。他の画像としては、他の人物の顔や、イラスト等が挙げられ、他の画像を視聴者が指定できるようにしてもよい。

例えば、ライブ動画の出演者等、特定の人物が行ったパフォーマンスに応じた画像によって、特定の人物の顔の画像を覆い隠す等、視聴者の意向をリアルタイムにライブに反映させることにより、ライブをより興味を引き付けるものとすることができる。

顔画像判定部４０１によって抽出された顔の画像に対してモザイク処理等を行う際の、他の処理方法としては、モザイク処理として指定部分にモザイクを掛ける代わりに、ぼかしを入れる方法であってもよい。

また、ライブをより興味を引き付けるものとするために、リクエスト内容は、視聴者の多数決によって決定されてもよい。ライブ動画の画面内に、例えば、モザイク処理の方法について１又は複数の選択肢が表示され、各視聴者が、視聴者端末１０７ａ、１０７ｂ、１０７ｃから入出力部３０２に、１又は複数の選択肢のうち希望するモザイク処理方法を送信してもよい。

上記のように、リクエスト内容を視聴者の多数決によって決定する際、モザイク処理の方法についての１又は複数の選択肢は、ライブ動画の画面のコメント欄に表示される視聴者から送信されたコメントによって選出されてもよい。例えば、視聴者から選択肢の内容について提案するコメントがコメント欄に表示され、司会者が選択肢の内容についての提案を了承すること等により、提案された選択肢の内容が採用され、ライブ動画の画面内に、採用された選択肢の内容が表示されてもよい。

また、例えば、観客等、１又は複数の特定の人物以外の人物のうちの特定の顔の画像に対する画像処理方法を、視聴者のリクエストによって決定してもよい。この場合、画像データ記憶部４０２に記憶されていない顔画像に対する画像処理であるので、例えば、帽子、名札、番号札等をマーカーとし、予め撮影されたマーカーの画像データを用いて構築されたマーカー機械学習モデルを画像データ記憶部４０２に記憶させておき、マーカーを観客等に装着させ、マーカーに基づき、画像処理を行う人物を特定するようにしてもよい。

視聴者が、モザイク処理等を行う際の、処理方法をリクエストする情報を含むリクエストデータを視聴者端末１０７ａ、１０７ｂ、１０７ｃから入出力部３０２に送信する際、配信者が、リクエストを希望する視聴者に対して課金することによってリクエストを可能としてもよい。また、リクエスト内容によって、課金の金額が決定されてもよく、課金額によって、リクエストが通るかどうかが決定されてもよい。

視聴者による、モザイク処理等を行う際の、処理方法のリクエストは、対価の支払いによって可能となるとしてもよい。又は、例えば、出演者に関連した物品等を購入し、購入した物品や購入金額等に応じて、処理方法のリクエストが可能となるようにしてもよい。あるいは、動画配信中に、出演者、司会者が視聴者とコミュニケーションをとり、コミュニケーションの内容に基づき、所定の条件を満たす等、視聴者が配信される動画を閲覧中に、特定の条件を満たすことによって処理方法のリクエストが可能となるようにしてもよい。出演者、司会者が視聴者とコミュニケーションをとり、コミュニケーションの内容に基づき、所定の条件を満たす場面としては、例えば、ライブ動画において、司会者が視聴者に対して質問等を行い、視聴者が司会者の質問に対してメッセージで回答し、司会者が視聴者の回答に対して適切な回答であると判断してその旨を本実施形態に係るライブ配信システムに入力すること、等が挙げられる。

本実施形態に係るライブ配信システムにおいて、視聴者がモザイク処理等を行う際の処理方法をリクエストする場合、視聴者は、前もってライブ配信システムに視聴者登録を行う。視聴者登録を行う際は、視聴者によって、視聴者端末１０７ａ、１０７ｂ、１０７ｃから、ネットワーク１０６及び入出力部３０２を介して、視聴者情報管理部３０３へ視聴者登録を行うための視聴者情報が送信される。視聴者情報管理部３０３は、受信した視聴者情報をもとに、視聴者ＩＤとパスワードを生成し、視聴者情報記憶部３０４に視聴者情報、視聴者ＩＤ及びパスワードを記憶させ、視聴者ＩＤ及びパスワードを、視聴者端末１０７ａ、１０７ｂ、１０７ｃに送信する。視聴者は、視聴者ＩＤ及びパスワードを用いて視聴者情報管理部３０３によって認証を受けることによって、処理方法のリクエストが可能となる。

図５及び図６のフローチャートを参照しながら、本実施形態に係るライブ配信方法を説明する。なお、図５及び図６のフロー開始時点で視聴者登録及び視聴者認証はすでに行われているものとする。

図５に示すフローは、ライブの動画が撮影されてから視聴者端末１０７ａ、１０７ｂ、１０７ｃへ配信されるまでのフローである。

ステップＳ５０１において、第１～第３カメラ１０１ａ～１０１ｃによる撮影、及び第１～第３マイクロフォン１０２ａ～１０２ｃによる録音が行われる。

ステップＳ５０２において、第１～第３映像データ変換器２０１ａ～２０１ｃ、第１～第３音声データ変換器２０２ａ～２０２ｃによって、第１～第３動画データが生成される。

ステップＳ５０３において、スイッチャー２０４によって、第１～第３動画データの中から、配信される動画が選択され、選択された動画データが、エンコーダー２０５及びストリーミングサーバ２０６によって、ストリーミング形式のデータに変換される。

ステップＳ５０４において、顔画像判定部４０１が、画像認識により、動画データの画像に映っている全ての人物の顔の画像を抽出する。

ステップＳ５０５において、顔画像判定部４０１が、抽出された全ての人物の顔の画像の中に、画像データ記憶部４０２に記憶されている、１又は複数の特定の人物の顔の画像と一致する画像があるかどうかを判定する。

ステップＳ５０６において、画像処理部４０３は、顔画像判定部４０１によって抽出された全ての人物の顔のうち、条件に適合する人物の顔の画像に対して、モザイク処理等を行う。

ステップＳ５０７において、編集された動画データが、配信サーバ１０５から、ネットワーク１０６を介して、視聴者端末１０７ａ、１０７ｂ、１０７ｃへ配信される。

図６に示すフローは、視聴者端末１０７ａ、１０７ｂ、１０７ｃへライブ動画が配信されてから、視聴者によってリクエストされた顔の画像に対するモザイク処理方法が実行された動画が配信されるまでのフローである。

ステップＳ６０１において、画像処理部４０３が顔画像判定部４０１によって抽出された顔の画像に対してモザイク処理等を行う際の、処理方法をリクエストする情報を含むリクエストデータが視聴者端末１０７ａ、１０７ｂ、１０７ｃから入出力部３０２へ送信される。

ステップＳ６０２において、入出力部３０２は、リクエストデータを受信すると、リクエストデータを画像処理部４０３に送信する。

ステップＳ６０３において、画像処理部４０３が、リクエストデータに含まれる、処理方法をリクエストする情報に基づき、顔画像判定部４０１によって抽出された顔の画像に対してモザイク処理等を行う。

以上、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１０ ライブ配信システム
１０１ａ 第１カメラ
１０１ｂ 第２カメラ
１０１ｃ 第３カメラ
１０２ａ 第１マイクロフォン
１０２ｂ 第２マイクロフォン
１０２ｃ 第３マイクロフォン
１０３ 映像調整装置
１０４ 映像変換装置
１０５ 配信サーバ
１０６ ネットワーク
１０７ａ、１０７ｂ、１０７ｃ 視聴者端末
２０１ａ 第１映像データ変換器
２０１ｂ 第２映像データ変換器
２０１ｃ 第３映像データ変換器
２０２ａ 第１音声データ変換器
２０２ｂ 第２音声データ変換器
２０２ｃ 第３音声データ変換器
２０３ａ 第１合成器
２０３ｂ 第２合成器
２０３ｃ 第３合成器
２０４ スイッチャー
２０５ エンコーダー
２０６ ストリーミングサーバ
３０１ 映像編集部
３０２ 入出力部
３０３ 視聴者情報管理部
３０４ 視聴者情報記憶部
４０１ 顔画像判定部
４０２ 画像データ記憶部
４０３ 画像処理部
４０４ 画像表示部

Claims (14)

1. ライブを撮影して１又は複数の映像データを生成するための１又は複数のカメラと、
   前記ライブの音声を録音して１又は複数の音声データを生成するための１又は複数のマイクロフォンと、
   前記１又は複数の映像データ及び前記１又は複数の音声データから動画データを生成する映像調整装置と、
   前記動画データを編集する映像変換装置と、
   編集された前記動画データを視聴者端末へ送信する配信サーバと
   を備えるライブ動画を配信するライブ配信システムであって、前記映像変換装置は、
   映像編集部と、
   前記視聴者端末と、前記ライブ動画に対するコメントを前記ライブ動画において表現するための情報を含むコメントデータと、顔の画像に対する画像処理の方法をリクエストする情報を含むリクエストデータの送受信をする入出力部と、
   １又は複数の視聴者の登録と認証を行う視聴者情報管理部と、
   前記１又は複数の視聴者の視聴者情報、視聴者ＩＤ及びパスワードを記憶する視聴者情報記憶部と
   を備え、前記映像編集部は、
   予め撮影された画像データ内の、１又は複数の特定の人物に関するタグを付与された、１又は複数の特定の人物の顔画像データを用いて構築された学習モデルを記憶する画像データ記憶部と、
   画像認識により、前記動画データの画像に映っている１又は複数の人物の顔の画像を抽出し、抽出された前記１又は複数の顔の画像の中に、前記学習モデルの、前記１又は複数の特定の人物の顔の画像と一致する画像があるかどうかを判定する顔画像判定部と、
   前記顔画像判定部によって判定された前記１又は複数の顔の画像のうち、前記１又は複数の特定の人物の顔の画像と一致しない画像に対して顔の個人を特定することが困難となるように画像処理を行ったのち、前記視聴者端末から送信された前記リクエストデータに基づき画像処理を行う画像処理部と、
   前記視聴者端末から送信された前記コメントデータに基づき前記コメントを前記ライブ動画に表示する画像処理を行う画像表示部と
   を備えることを特徴とするライブ配信システム。
2. 前記画像処理は顔の画像に対するモザイク処理であり、前記画像処理部は、抽出された前記１又は複数の顔の画像のうち、前記１又は複数の特定の人物の顔の画像と一致しない画像にのみモザイク処理を行うことを特徴とする請求項１に記載のライブ配信システム。
3. 前記画像処理部は、抽出された前記１又は複数の顔の画像のうち、前記１又は複数の特定の人物の顔の画像と一致する画像と、一致しない画像とは、互いに異なる画像処理を行うことを特徴とする請求項１に記載のライブ配信システム。
4. 前記画像処理は顔の画像に対するモザイク処理であり、前記画像処理部は、前記リクエストデータに基づき、抽出された前記１又は複数の顔の画像に対して行うモザイク処理のモザイクの粗さを決定することを特徴とする請求項１に記載のライブ配信システム。
5. 前記画像処理は顔の画像に対するモザイク処理であり、前記画像処理部は、前記リクエストデータに基づき、抽出された前記１又は複数の顔の画像に対して行うモザイク処理のモザイクの範囲を決定することを特徴とする請求項１に記載のライブ配信システム。
6. 前記画像処理部は、前記リクエストデータに基づき、抽出された前記１又は複数の顔の画像のうち、画像処理を行う画像を決定することを特徴とする請求項１に記載のライブ配信システム。
7. 前記画像処理部による、前記リクエストデータに基づく画像処理の方法は、課金によって視聴者が決定可能となることを特徴とする請求項１に記載のライブ配信システム。
8. 前記画像処理部による、前記リクエストデータに基づく画像処理の方法は、前記視聴者による多数決によって決定されることを特徴とする請求項１に記載のライブ配信システム。
9. 前記視聴者による多数決によって決定される前記画像処理の方法の選択肢の内容は、前記画像表示部によって前記ライブ動画に表示された前記コメントにおいて提案され、前記１又は複数の特定の人物が前記コメントにおいて提案された前記選択肢の内容を了承することにより、前記ライブ動画に提案された前記選択肢が表示されることを特徴とする請求項８に記載のライブ配信システム。
10. 前記画像処理部は、前記リクエストデータに基づき、抽出された前記１又は複数の顔の画像のうち、どの顔画像に対して画像処理を行うかを決定することを特徴とする請求項１に記載のライブ配信システム。
11. 前記画像データ記憶部は、予め撮影されたマーカーの画像データを用いて構築されたマーカー学習モデルを更に記憶し、
    前記画像処理部は、前記リクエストデータに基づき、マーカーを装着した人物の顔の画像に対して画像処理を行うことを特徴とする請求項１に記載のライブ配信システム。
12. 前記画像処理部による、前記リクエストデータに基づく画像処理の方法の決定は、前記視聴者が所定の条件を満たすことによって可能となることを特徴とする請求項１に記載のライブ配信システム。
13. 視聴者端末にライブ動画を配信するライブ配信方法であって、
    ライブを撮影して１又は複数の映像データを生成する映像データ生成ステップと、
    前記ライブの音声を録音して１又は複数の音声データを生成する音声データ生成ステップと、
    前記１又は複数の映像データ及び前記１又は複数の音声データから動画データを生成する動画データ生成ステップと、
    前記動画データを編集する映像編集ステップと、
    編集された前記動画データを前記視聴者端末へ送信する配信ステップと、
    １又は複数の視聴者の視聴者情報、視聴者ＩＤ及びパスワードを記憶する視聴者情報記憶ステップと、
    前記１又は複数の視聴者の登録と認証を行う視聴者情報管理ステップと、
    前記視聴者端末と、前記ライブ動画に対するコメントを前記ライブ動画において表現するための情報を含むコメントデータと、顔の画像に対する画像処理の方法をリクエストする情報を含むリクエストデータの送受信をする入出力ステップと、
    を備え、前記映像編集ステップは、
    画像認識により、前記動画データの画像に映っている１又は複数の人物の顔の画像を抽出する抽出ステップと、
    抽出された前記１又は複数の顔の画像の中に、予め撮影された画像データ内の、１又は複数の特定の人物に関するタグを付与された、前記１又は複数の特定の人物の顔画像データを用いて構築された学習モデルの、前記１又は複数の特定の人物の顔の画像と一致する画像があるかどうかを判定する顔画像判定ステップと、
    前記顔画像判定ステップにおいて判定された前記１又は複数の顔の画像のうち、前記１又は複数の特定の人物の顔の画像と一致しない画像に対して顔の個人を特定することが困難となるように画像処理を行ったのち、前記視聴者端末から送信された前記リクエストデータに基づき画像処理を行う画像処理ステップと、
    前記視聴者端末から送信された前記コメントデータに基づき前記コメントを前記ライブ動画に表示する画像処理を行う画像表示ステップと
    を備えることを特徴とするライブ配信方法。
14. コンピュータに、
    ライブを撮影して１又は複数の映像データを生成する映像データ生成機能と、
    前記ライブの音声を録音して１又は複数の音声データを生成する音声データ生成機能と、
    前記１又は複数の映像データ及び前記１又は複数の音声データから動画データを生成する動画データ生成機能と、
    前記動画データを編集する映像編集機能と、
    編集された前記動画データを視聴者端末へ送信する配信機能と、
    １又は複数の視聴者の視聴者情報、視聴者ＩＤ及びパスワードを記憶する視聴者情報記憶機能と、
    前記１又は複数の視聴者の登録と認証を行う視聴者情報管理機能と、
    前記視聴者端末と、ライブ動画に対するコメントを前記ライブ動画において表現するための情報を含むコメントデータと、顔の画像に対する画像処理の方法をリクエストする情報を含むリクエストデータの送受信をする入出力機能と、
    を備え、前記映像編集機能は、
    画像認識により、前記動画データの画像に映っている１又は複数の人物の顔の画像を抽出する抽出機能と、
    抽出された前記１又は複数の顔の画像の中に、予め撮影された画像データ内の、１又は複数の特定の人物に関するタグを付与された、前記１又は複数の特定の人物の顔画像データを用いて構築された学習モデルの、前記１又は複数の特定の人物の顔の画像と一致する画像があるかどうかを判定する顔画像判定機能と、
    前記顔画像判定機能によって判定された前記１又は複数の顔の画像のうち、前記１又は複数の特定の人物の顔の画像と一致しない画像に対して顔の個人を特定することが困難となるように画像処理を行ったのち、前記視聴者端末から送信された前記リクエストデータに基づき画像処理を行う画像処理機能と、
    前記視聴者端末から送信された前記コメントデータに基づき前記コメントを前記ライブ動画に表示する画像処理を行う画像表示機能と
    を備えることを実現させるためのライブ配信プログラム。
    
    

Images