JP7471752B2 - サーバ装置 - Google Patents

Description

本発明は、サーバ装置に関する。

サーバ装置には、Ｚｏｏｍ（登録商標）等のオンライン会議アプリケーションを搭載した複数の端末装置と通信可能に接続して、複数の端末装置の間のオンライン会議を運用するものがある。換言すれば、上記のオンライン会議用のサーバ装置と複数の端末装置とからオンライン会議システムが構成され、各端末装置の利用者は、このシステムを利用することにより、直接会うことなくオンラインで会議を開催することができる。

また最近では、感染症等の影響を懸念して、利用者が、飲食店に来店したり家に訪問したりすることなく、上記のオンライン会議システムを利用することでオンラインで飲み会を開催する、いわゆるオンライン飲み会が実施されている。オンライン飲み会では、利用者がパーソナルコンピュータや家庭用ゲーム機等に搭載されたアプリケーションを使用することで、利用者同士でオンラインでカラオケを楽しむことがある。

また、特許文献１に記載のテレビ会議システムは、複数の異なる会議場内にそれぞれ設置されるテレビ会議端末と，各テレビ会議端末に対応して設置され、会議場内のユーザが所持する無線送信機から発信される識別コードを検知する無線受信機と、テレビ会議端末及び無線受信機とネットワークを介して接続されるテレビ会議管理装置とを備える。このテレビ会議システムでは、テレビ会議端末を会議室や自宅の書斎、カラオケ店等に設置し、利用者の無線送信機と接続することにより、複数の場所をテレビ会議により接続して遠隔パーティを実現可能にしている。

特開２００４－３４３１７８号公報

上記のようなオンライン飲み会が行われれば、利用者の外出が抑制され、感染症等の拡大を抑制することができる。オンライン会議システムでは、オンライン飲み会の中でカラオケを楽しむ機能を拡充することで、オンライン飲み会を促進することができる。

しかしながら、オンライン飲み会でカラオケを楽しむとき、一の利用者（歌唱者）がカラオケを歌唱中に、それを聞いている他の利用者（聴衆）も一緒に歌唱する場合がある。この場合、オンライン会議システムでは、他の利用者の歌唱が歌唱者に送信され、歌唱者は他の利用者の歌唱をうるさく不快に感じるおそれがある。また、他の利用者の歌唱を禁止すると、オンライン飲み会の盛り上がりに水を差すことになる。これにより、利用者がオンライン飲み会でのカラオケを楽しむことができず、カラオケの利用が減少して、オンライン飲み会が促進されなくなるおそれもある。

本発明の目的は、オンライン飲み会で歌唱者がカラオケを歌唱するときに他の利用者の歌唱によって生じる不快感を抑制することができるオンライン会議用のサーバ装置を提供することである。

上記課題を解決するために、本発明のサーバ装置は、複数の端末装置と通信可能に接続され、前記複数の端末装置の間のオンライン会議を運用するサーバ装置であって、前記オンライン会議中に各端末装置から送信された音声データを受信する受信部と、各端末装置から受信した前記音声データに基づいて、カラオケ演奏の開始及び終了を検出する第１の検出部と、一の端末装置の前記音声データからカラオケ演奏の開始を検出した場合に、当該一の端末装置に対して他の端末装置の前記音声データの送信を中断し、前記一の端末装置の前記音声データからカラオケ演奏の終了を検出した場合に、前記一の端末装置に対する前記他の端末装置の前記音声データの送信を再開するように制御する送信制御部と、を有する。

本発明によれば、オンライン飲み会で歌唱者がカラオケを歌唱するときに他の利用者の歌唱によって生じる不快感を抑制することができる。

本発明の第１の実施形態のサーバ装置を備えたオンライン会議システムを示すブロック図である。 本発明の第１の実施形態のサーバ装置の音声データ送信動作を示すフローチャートである。 本発明の第２の実施形態のサーバ装置を備えたオンライン会議システムを示すブロック図である。 本発明の第２の実施形態のサーバ装置の音声データ送信動作を示すフローチャートである。

（第１の実施形態）
［オンライン会議システム］
以下、本発明の第１の実施形態のオンライン会議用のサーバ装置３を備えたオンライン会議システム１について説明する。図１は、第１の実施形態のオンライン会議システム１の構成を示すブロック図である。図１に示すように、第１の実施形態のオンライン会議システム１は、複数の端末装置２と、オンライン会議用のサーバ装置３とを備えている。複数の端末装置２とサーバ装置３とは、インターネットや移動体通信網等のネットワーク４を介して通信可能に接続される。オンライン会議システム１で実施されるオンライン会議は、複数の端末装置２の利用者が開催するオンライン飲み会等の会合に利用可能である。

［端末装置］
各端末装置２は、当該端末装置２の周囲の音声及び映像を入力する入力部１０、ネットワーク４を介して音声及び映像を送受信する通信部１１、受信した音声及び映像を出力する出力部１２を備える。各端末装置２は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等で構成される。各端末装置２は、オンライン会議を利用する利用者が保有する装置であって、Ｚｏｏｍ（登録商標）等のオンライン会議アプリケーションを搭載（インストール）している。

各端末装置２の入力部１０は、音声を集音するマイクを内蔵し、あるいは外部機器のマイクを接続することで、音声の入力機能を実現する。また、入力部１０は、映像を撮影するカメラを内蔵し、あるいは外部機器のカメラを接続することで、映像の入力機能を実現する。

各端末装置２の通信部１１は、ネットワーク４を介して通信を行うインタフェースである。各端末装置２がオンライン会議アプリケーションを起動させると、通信部１１は、サーバ装置３と通信可能に接続される。このとき、各端末装置２は、例えばサーバ装置３に展開される所定の仮想的なルームに参加可能となり、当該ルームに参加している複数の端末装置２の間でオンライン会議を実行する。オンライン会議の実行中では、通信部１１は、入力部１０により入力した音声及び映像をそれぞれ音声データ及び映像データとしてサーバ装置３へ送信する。また、オンライン会議の実行中では、通信部１１は、他の端末装置２によりサーバ装置３へ送信された音声データ及び映像データをサーバ装置３から受信する。

各端末装置２の出力部１２は、音声を出力するスピーカを内蔵し、あるいは外部機器のスピーカを接続することで、音声の出力機能を実現し、通信部１１によりサーバ装置３から受信した他の端末装置２の音声データを出力する。また、出力部１２は、映像を出力するディスプレイ等の表示装置を内蔵し、あるいは外部機器の表示装置を接続することで、映像の出力機能を実現し、通信部１１によりサーバ装置３から受信した他の端末装置２の映像データを出力する。

なお、各端末装置２は、カラオケ演奏を実行するカラオケ用アプリケーションを搭載（インストール）していてもよい。オンライン会議アプリケーションの実行中でも、カラオケ用アプリケーションは実行可能である。

［サーバ装置］
サーバ装置３は、オンライン会議アプリケーションを搭載した複数の端末装置２と通信可能に接続して、各端末装置２のオンライン会議アプリケーションを通じて複数の端末装置２の間のオンライン会議を運用する装置である。サーバ装置３は、オンライン会議システム１を運営する管理者等が保有、管理する装置である。サーバ装置３は、例えば上記したように所定の仮想的なルームを展開し、当該ルームに参加している複数の端末装置２の間でオンライン会議を実行する。

サーバ装置３は、制御部２０、記憶部２１及び通信部２２を備える。制御部２０は、ＣＰＵ（Central Processing Unit）等を有して構成され、サーバ装置３を統括制御する。記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の記憶媒体を有して構成される。記憶部２１は、サーバ装置３の各部及び各機能を制御するためのプログラムやデータを記憶し、制御部２０が、記憶部２１に記憶されたプログラムやデータに基づいて演算処理を実行することにより、各部及び各機能を制御する。

通信部２２は、ネットワーク４を介して通信を行うインタフェースであり、オンライン会議アプリケーションを起動させる各端末装置２と通信可能に接続される。通信部２２は、各端末装置２から音声データ及び映像データを受信する受信部２３として機能すると共に、受信した音声データ及び映像データを複数の端末装置２のそれぞれへ送信する送信部２４として機能する。

また、サーバ装置３の制御部２０は、記憶部２１に記憶されたプログラムを実行することにより、第１の検出部２６、第２の検出部２７、記憶制御部２８及び送信制御部２９として動作する。

第１の検出部２６は、オンライン会議の音声データに基づいてカラオケ演奏の開始及び終了を検出する。具体的には、第１の検出部２６は、受信部２３により各端末装置２から受信した音声データを解析して、各音声データから音楽データや音声キーワード等を検出する。音楽データは、各端末装置２の音声データから抽出されるカラオケ演奏音であり、例えば、楽曲の前奏区間に対応するカラオケ演奏音がカラオケ演奏開始に対応する。音声キーワードは、各端末装置２の音声データから抽出される会話音声であり、例えば、「カラオケ」、「歌う」、「演奏開始」等がカラオケ演奏開始に対応する。第１の検出部２６は、検出した音楽データや音声キーワード等がカラオケ演奏開始に対応するか否かを判定してカラオケ演奏の開始を検出する。

第１の検出部２６は、各端末装置２の音声データから少なくとも所定音量以上でカラオケ演奏開始に対応する音楽データ（前奏区間に対応するカラオケ演奏音等）を検出し始めたときに、カラオケ演奏開始を検出する。ここで、所定音量とは、例えば、端末装置２を使用している利用者の会話音量と同等レベルの音量である。カラオケ演奏開始の検出後、第１の検出部２６は、音楽データ又は所定音量以上の音楽データを所定時間以上検出しなくなったときに、カラオケ演奏終了を検出する。第１の検出部２６は、カラオケ演奏開始からカラオケ演奏終了まではカラオケ演奏中と判定する。

第１の検出部２６は、オンライン会議を実行中の端末装置２のカラオケ用アプリケーションにより出力されるカラオケ演奏音を検出し、あるいは、この端末装置２以外の他の機器（例えば、カラオケ装置、家庭用ゲーム機、家庭用ゲーム機に接続されるテレビ、スマートフォン、タブレット端末、パーソナルコンピュータ等）のカラオケ機能により出力されるカラオケ演奏音を検出してもよい。

なお、第１の検出部２６は、記憶部２１に予め記憶したデータパターンに基づいて、あるいは、外部の人工知能サーバ等によって機械学習された学習モデルに基づいて、各音声データを解析してカラオケ演奏を検出してよい。

また、第１の検出部２６は、カラオケ演奏が検出された音声データを送信した端末装置２を、歌唱者の端末装置２と判定し、その他の端末装置２を聴衆の端末装置２と判定してよい。第１の検出部２６は、一人の歌唱者に対応する端末装置２又は二人以上の歌唱者に対応する端末装置２を判定してよい。また、第１の検出部２６は、歌唱者に対応する一つの端末装置２又は二つ以上の端末装置２を判定してよい。

第２の検出部２７は、オンライン会議の音声データに基づいてカラオケ歌唱の開始及び終了を検出する。具体的には、第２の検出部２７は、受信部２３により各端末装置２から受信した音声データを解析して、各音声データから歌唱データを検出する。歌唱データは、各端末装置２の音声データから抽出されるカラオケ歌唱音である。第２の検出部２７は、検出した歌唱データがカラオケ歌唱開始に対応するか否かを判定してカラオケ歌唱の開始を検出する。

第２の検出部２７は、第１の検出部２６によりカラオケ演奏を検出している場合に、各端末装置２の音声データから歌唱データを検出し始めたときに、カラオケ歌唱開始を検出する。カラオケ歌唱開始の検出後、第２の検出部２７は、歌唱データを所定時間以上検出しなくなったとき、又は第１の検出部２６によりカラオケ演奏終了を検出したときに、カラオケ歌唱終了を検出する。第２の検出部２７は、カラオケ歌唱開始からカラオケ歌唱終了まではカラオケ歌唱中と判定する。また、第２の検出部２７は、各端末装置２の音声データから少なくとも所定音量以上の歌唱データを抽出した場合にカラオケ歌唱を検出してもよい。

なお、第２の検出部２７は、第１の検出部２６によりカラオケ演奏が検出された歌唱者の端末装置２の音声データだけでなく、聴衆の端末装置２の音声データについても、カラオケ歌唱を検出してよい。換言すれば、第２の検出部２７は、カラオケ歌唱を検出した端末装置２が、歌唱者の端末装置２であるか聴衆の端末装置２であるかを判定できる。

また、第２の検出部２７は、記憶部２１に予め記憶したデータパターンに基づいて、あるいは、外部の人工知能サーバ等によって機械学習された学習モデルに基づいて、各音声データを解析してカラオケ歌唱を検出してよい。

記憶制御部２８は、オンライン会議中の複数の端末装置２から通信部２２の受信部２３が受信した音声データを、必要に応じて記憶部２１に記憶するように制御する。また、記憶制御部２８は、記憶部２１に記憶した音声データを、必要に応じて削除するように制御する。

送信制御部２９は、オンライン会議中の複数の端末装置２から通信部２２の受信部２３が受信した音声データ及び映像データを、各端末装置２へ送信するように通信部２２の送信部２４を制御する。具体的には、送信制御部２９は、複数の端末装置２のそれぞれの映像データを各端末装置２へ送信するように制御する。送信制御部２９は、音声送信の通常モードとして、複数の端末装置２のそれぞれの音声データのうち、一の端末装置２から受信した音声データを、当該一の端末装置２へ送信せずに、他の端末装置２のみへ送信するように制御する。

また、送信制御部２９は、第１の検出部２６により歌唱者の端末装置２の音声データからカラオケ演奏開始を検出している場合には、音声送信の歌唱時モードとして、聴衆の端末装置２の音声データを歌唱者の端末装置２へ送信しないように、すなわち送信中断を行うように制御する。なお、送信制御部２９は、歌唱時モードでは、聴衆の端末装置２に対する音声データの送信は、通常モードと同様である。

カラオケ演奏開始の検出後、このカラオケ演奏を検出している間は、送信制御部２９は、聴衆の端末装置２の音声データについて歌唱者の端末装置２への送信中断を継続するように制御する。そして、送信制御部２９は、第１の検出部２６により歌唱者の端末装置２の音声データからカラオケ演奏終了を検出したとき、聴衆の端末装置２の音声データについて歌唱者の端末装置２への送信中断を解除して、歌唱者の端末装置２への送信を再開するように制御する。

［オンライン会議における音声データ送信動作］
次に、第１の実施形態において、オンライン会議システム１のオンライン会議におけるサーバ装置３による音声データ送信動作の例について説明する。図２は、第１の実施形態の音声データ送信動作の例を示すフローチャートである。このオンライン会議動作の例では、複数の利用者が、端末装置２Ａ、端末装置２Ｂ、端末装置２Ｃ及び端末装置２Ｄを使用していて、オンライン会議システム１を利用してオンライン飲み会を開催している。図２のフローチャートでは、サーバ装置３に加えて端末装置２Ａと端末装置２Ｂ～２Ｄとが図示され、端末装置２Ｂ～２Ｄはそれぞれ同様のフローを経由する。

オンライン飲み会において、端末装置２Ａ～２Ｄは、周囲から入力した音声データをサーバ装置３へ送信している（ステップＳ１、Ｓ２）。

サーバ装置３の受信部２３は、端末装置２Ａ～２Ｄのそれぞれから音声データを受信する（ステップＳ３）。

サーバ装置３の第１の検出部２６は、各端末装置２Ａ～２Ｄのそれぞれの音声データに基づき、音楽データが検出されたか否かを判定して、カラオケ演奏が開始したか否かを検出する（ステップＳ４）。

第１の検出部２６がカラオケ演奏の開始を検出していない場合（ステップＳ４：ＮＯ）、サーバ装置３の送信制御部２９は、通常モードとして、一の端末装置２から受信した音声データを他の端末装置２のみへ送信するように制御する。例えば、送信制御部２９は、端末装置２Ａに対して端末装置２Ｂ、２Ｃ、２Ｄの音声データを送信し、端末装置２Ｂに対して端末装置２Ａ、２Ｃ、２Ｄの音声データを送信し、端末装置２Ｃに対して端末装置２Ａ、２Ｂ、２Ｄの音声データを送信し、端末装置２Ｄに対して端末装置２Ａ、２Ｂ、２Ｃの音声データを送信するように制御する（ステップＳ５）。

複数の端末装置２Ａ～２Ｄは、サーバ装置３から各端末装置２Ａ～２Ｄの音声データを受信して、各利用者に向けて出力する（ステップＳ６、Ｓ７）。

一方、第１の検出部２６は、例えば、端末装置２Ａの音声データから、所定音量以上でカラオケ演奏開始に対応する音楽データを検出した場合、この端末装置２Ａ及びその利用者（歌唱者）によるカラオケ演奏の開始を検出する。また、第１の検出部２６は、この端末装置２Ａを歌唱者の端末装置２Ａと判定すると共に、他の端末装置２Ｂ～２Ｄを聴衆の端末装置２Ｂ～２Ｄと判定する。

このように端末装置２Ａのカラオケ演奏の開始が検出された場合（ステップＳ４：ＹＥＳ）、送信制御部２９は、歌唱時モードとして、歌唱者の端末装置２Ａに対する聴衆の端末装置２Ｂ～２Ｄの音声データの送信を中断するように制御する（ステップＳ８）。なお、送信制御部２９は、歌唱時モードでは、聴衆の端末装置２Ｂ～２Ｄに対する音声データの送信はそのまま維持するように制御する（ステップＳ９）。すなわち、送信制御部２９は、端末装置２Ｂに対して端末装置２Ａ、２Ｃ、２Ｄの音声データを送信し、端末装置２Ｃに対して端末装置２Ａ、２Ｂ、２Ｄの音声データを送信し、端末装置２Ｄに対して端末装置２Ａ、２Ｂ、２Ｃの音声データを送信するように制御する。

端末装置２Ａの音声データからカラオケ演奏が検出されている間、聴衆の端末装置２Ｂ～２Ｄは、サーバ装置３から各端末装置２Ａ～２Ｄの音声データを受信して、各利用者に向けて出力する（ステップＳ７）。一方、歌唱者の端末装置２Ａは、サーバ装置３から各端末装置２Ｂ～２Ｄの音声データを受信せず、出力しない。

また、カラオケ演奏開始の検出後、第１の検出部２６は、カラオケ演奏の開始が検出された歌唱者の端末装置２Ａの音声データに基づき、音楽データを検出しなくなったか否かを判定して、カラオケ演奏が終了したか否かを検出する（ステップＳ４）。

第１の検出部２６がカラオケ演奏の終了を検出していない場合（ステップＳ４：ＹＥＳ）、送信制御部２９は、歌唱時モードを維持し、歌唱者の端末装置２Ａに対する音声データの送信中断を維持するように制御する（ステップＳ８）。

一方、第１の検出部２６がカラオケ演奏の終了を検出した場合（ステップＳ４：ＮＯ）、送信制御部２９は、歌唱時モードから通常モードへと戻して、歌唱者の端末装置２Ａに対する音声データの送信を中断前の状態に戻して聴衆の端末装置２Ｂ～２Ｄの音声データを送信するように制御する（ステップＳ５）。なお、送信制御部２９は、歌唱者の端末装置２Ａが歌唱時モードであっても、聴衆の端末装置２Ｂ～２Ｄに対する音声データの送信はそのまま維持するように制御する（ステップＳ５）。

端末装置２Ａのカラオケ演奏の開始を検出してからカラオケ演奏を検出しなくなり、すなわち、端末装置２Ａのカラオケ演奏の終了を検出した後、複数の端末装置２Ａ～２Ｄは、サーバ装置３から各端末装置２Ａ～２Ｄの音声データを受信して、各利用者に向けて出力する（ステップＳ６、Ｓ７）。

なお、上記の第１の実施形態では、送信制御部２９は、第１の検出部２６により歌唱者の端末装置２の音声データからカラオケ演奏を検出したときに、歌唱時モードとして、歌唱者の端末装置２に対する聴衆の端末装置２の音声データの送信を中断する例を説明したが、本発明はこの例に限定されない。例えば、他の実施形態では、送信制御部２９は、第１の検出部２６により歌唱者の端末装置２の音声データからカラオケ演奏を検出すると共に、第２の検出部２７により歌唱者の端末装置２の音声データからカラオケ歌唱を検出している間に、歌唱時モードとして、歌唱者の端末装置２に対する聴衆の端末装置２の音声データの送信を中断するようにしてもよい。

あるいは、他の実施形態では、送信制御部２９は、第２の検出部２７により聴衆の端末装置２の音声データからカラオケ歌唱を検出している場合に、歌唱時モードとして、全ての聴衆の端末装置２の音声データ又はカラオケ歌唱を検出した聴衆の端末装置２の音声データの送信を中断するようにしてもよい。

上記したように、本発明の第１の実施形態のサーバ装置３は、各端末装置２から受信した音声データに基づいて、カラオケ演奏の開始及び終了を検出する第１の検出部２６と、一の端末装置２の音声データからカラオケ演奏の開始を検出した場合に、当該一の端末装置２（すなわち、歌唱者の端末装置２）に対して他の端末装置２（すなわち、聴衆の端末装置２）の音声データの送信を中断し、一の端末装置２の音声データからカラオケ演奏の終了を検出した場合に、一の端末装置２に対する他の端末装置２の音声データの送信を再開するように制御する送信制御部２９と、を有する。

これにより、複数の端末装置２のオンライン飲み会において、カラオケ演奏が音声データに含まれる端末装置２を歌唱者の端末装置２として認識することができる。そして、歌唱者がカラオケ演奏を開始して歌唱をしている間、歌唱者の端末装置２へは、聴衆の端末装置２の音声データが送信されない。そのため、歌唱者が流したカラオケ演奏に合わせて、聴衆が歌唱を行った場合でも、聴衆の歌唱は、歌唱者の端末装置２で出力されることがないので、歌唱者は、聴衆の歌唱をうるさく不快に感じることがないので、オンライン飲み会でのカラオケをより楽しむことができる。

このように、本発明のサーバ装置３は、オンライン飲み会で歌唱者がカラオケを歌唱するときに他の利用者の歌唱によって生じる不快感を抑制することができる。また、聴衆は歌唱者を邪魔することがなく歌唱者のカラオケに乗じることができ、歌唱を禁止されないのでオンライン飲み会の盛り上がりに水を差すことがなく、オンライン飲み会でのカラオケをより楽しむことができる。従って、オンライン飲み会でのカラオケの利用を促進して、オンライン飲み会を促進することができる。

また、上記したように、第１の実施形態において、第１の検出部２６は、音声データから少なくとも所定音量以上の音楽データを抽出した場合にカラオケ演奏の開始を検出する。これにより、端末装置２の周囲でカラオケ歌唱を目的として流れるカラオケ演奏と、カラオケ歌唱を目的としていないＢＧＭやテレビ等の音楽とを識別することができる。従って、不用意に音声データの送信が中断されることを抑制することができる。

（第２の実施形態）
以下、本発明の第２の実施形態のオンライン会議用のサーバ装置３を備えたオンライン会議システム１について説明する。図３は、第２の実施形態のオンライン会議システム１の構成を示すブロック図である。図３に示すように、第２の実施形態のオンライン会議システム１は、第１の実施形態のオンライン会議システム１と同様に、複数の端末装置２と、オンライン会議用のサーバ装置３とを備えている。第２の実施形態の説明において、第１の実施形態と同一の構成要素には第１の実施形態と同一の符号を付し、その説明を省略する。

第２の実施形態のサーバ装置３は、制御部２０、記憶部２１及び通信部２２を備える。制御部２０は、記憶部２１に記憶されたプログラムを実行することにより、第１の検出部２６、第２の検出部２７、記憶制御部２８及び送信制御部２９に加えて、再生制御部３０として動作する。第２の実施形態において、制御部２０は、歌唱者の音楽データ及び歌唱データと聴衆の歌唱データとを同期して記憶するように各部を制御する。

第２の実施形態の第２の検出部２７は、上記した同期記憶を行う前提として、第１の検出部２６により一の端末装置２（すなわち、歌唱者の端末装置２）の音声データからカラオケ演奏の開始を検出すると共に、第２の検出部２７により一の端末装置２の音声データからカラオケ歌唱の開始を検出した場合に、他の端末装置２（すなわち、聴衆の端末装置２）の音声データに基づいて聴衆のカラオケ歌唱の開始を検出する。すなわち、第２の検出部２７は、オンライン飲み会において歌唱者がカラオケ演奏の下でカラオケ歌唱を行っている場合、上記した同期記憶を行うために、聴衆のカラオケ歌唱を識別して検出する。

このとき、第２の検出部２７は、歌唱者の端末装置２の音声データからカラオケ演奏が検出されている間、聴衆の端末装置２の音声データから検出される歌唱データを、全てカラオケ歌唱として検出してよい。あるいは、第２の検出部２７は、聴衆の端末装置２の音声データから検出される歌唱データが所定音量以上の場合に、その歌唱データをカラオケ歌唱として検出してもよい。

特に、第２の検出部２７は、歌唱者の端末装置２の音声データ及び聴衆の端末装置２の音声データの比較結果が所定条件を満足する場合に、聴衆の端末装置２のカラオケ歌唱の開始を検出するようにしてもよい。第２の検出部２７は、歌唱者の端末装置２の音声データに含まれる音楽データ（すなわち、カラオケ演奏音）及び歌唱データと、聴衆の端末装置２の音声データに含まれる歌唱データとを比較する。このとき、第２の検出部２７は、同じ演奏区間（歌唱区間）を比較するように、歌唱者の音楽データ及び歌唱データと聴衆の歌唱データを取得する。

第２の検出部２７は、例えば、歌唱者の音楽データ及び歌唱データからリズム及び音程を抽出すると共に、聴衆の歌唱データからリズム及び音程を抽出して、歌唱者のリズム及び音程と、聴衆のリズム及び音程とを比較する。そして、第２の検出部２７は、歌唱者のリズム及び音程と、聴衆のリズム及び音程とのマッチング率を算出し、マッチング率が所定閾値（例えば、８０％）以上の場合に、所定条件を満足すると判定するとよい。なお、第２の検出部２７は、マッチング等の比較判定を行った歌唱データの開始時点にさかのぼって、聴衆の端末装置２のカラオケ歌唱の開始を検出するとよい。

第２の実施形態の記憶制御部２８は、上記した同期記憶を行う前提として、第１の検出部２６により歌唱者の端末装置２の音声データからカラオケ演奏の開始を検出した場合に、歌唱者の端末装置２の音声データを記憶部２１に記憶する。このとき、記憶制御部２８は、第１の検出部２６により歌唱者の端末装置２の音声データからカラオケ演奏の終了を検出するまで、歌唱者の端末装置２の音声データを記憶部２１に記憶する。すなわち、記憶制御部２８は、カラオケ演奏の開始から終了まで、カラオケ演奏の音楽データ及びカラオケ歌唱の歌唱データを記憶部２１に記憶する。

なお、記憶制御部２８は、常時、端末装置２の音声データを一時的に記憶していて、カラオケ演奏の開始が検出された歌唱者の端末装置２の音声データを演奏開始時点（例えば、前奏区間の開始時点）にさかのぼって記憶部２１に記憶するとよい。

また、記憶制御部２８は、第１の検出部２６及び第２の検出部２７により歌唱者の端末装置２の音声データからカラオケ演奏及びカラオケ歌唱を検出している場合であって、第２の検出部２７により聴衆の端末装置２の音声データからカラオケ歌唱の開始を検出した場合に、聴衆の端末装置２の音声データを記憶部２１に記憶する。

なお、記憶制御部２８は、常時、端末装置２の音声データを一時的に記憶していて、カラオケ歌唱の開始が検出された聴衆の端末装置２の音声データを歌唱開始時点にさかのぼって記憶部２１に記憶するとよい。

特に、記憶制御部２８は、同じカラオケ演奏での歌唱者の端末装置２の音声データと聴衆の端末装置２の音声データとを同期して同期歌唱データとして記憶部２１に記憶する。換言すれば、記憶制御部２８は、第２の検出部２７により歌唱者の端末装置２の音声データ及び聴衆の端末装置２の音声データの比較結果が所定条件を満足すると判定した場合に、歌唱者の端末装置２の音声データと聴衆の端末装置２の音声データとを同期して記憶部２１に記憶する。

記憶制御部２８は、歌唱者の端末装置２の音声データと聴衆の端末装置２の音声データとを関連付けて同時再生できるように同期して処理される同期歌唱データとしてもよく、あるいは、歌唱者の端末装置２の音声データと聴衆の端末装置２の音声データとを合成して同期して生成される同期歌唱データとしてもよい。

なお、記憶制御部２８は、第２の検出部２７による比較結果が所定条件を満足する時間が比較的短い場合には、同期記憶を行わず、一方、所定時間以上満足している場合には、同期歌唱データの記憶を行うようにしてもよい。

記憶制御部２８は、例えば、歌唱者の端末装置２の歌唱データの開始時点に、聴衆の端末装置２の歌唱データの開始時点を合わせるように、両音声データを同期して記憶部２１に記憶するとよい。このとき、記憶制御部２８は、第２の検出部２７によるカラオケ歌唱の開始の検出時点や、端末装置２での音声データの入力時点や、端末装置２の音声データのサーバ装置３での受信時点を参照して、歌唱データの開始時点を取得してもよい。

ところで、歌唱者は、カラオケ演奏を直接的に聴いているため、カラオケ演奏のリズムに対して遅延時間なくカラオケ歌唱していると解される。一方、聴衆は、カラオケ演奏の音声データが歌唱者の端末装置２からサーバ装置３へ送信された後、サーバ装置３から聴衆の端末装置２へ送信されてから、聴衆の端末装置２から出力されるカラオケ演奏を聴いてカラオケ歌唱することになる。そのため、歌唱者に比べて、聴衆がカラオケ演奏を聴くまでには、少なくとも歌唱者の端末装置２からサーバ装置３への送信時間とサーバ装置３から聴衆の端末装置２への送信時間とに相当する遅延時間が発生することになる。

すなわち、サーバ装置３では、歌唱者の端末装置２から送信される音楽データ及び歌唱データに比べて、聴衆の歌唱者の端末装置２から送信される歌唱データは、この遅延時間だけ遅れて受信される。従って、第２の検出部２７は、歌唱者の音楽データ及び歌唱データのリズムと、聴衆の歌唱データのリズムとを比較する場合、この遅延時間を取り除いて行うとよい。また、記憶制御部２８は、第２の検出部２７によるカラオケ歌唱の開始の検出時点や、端末装置２の音声データのサーバ装置３での受信時点を同期記憶のために判定する場合、この遅延時間を取り除いて行うとよい。

再生制御部３０は、記憶制御部２８により記憶部２１に記憶した同期歌唱データの再生を制御する。具体的には、再生制御部３０は、歌唱者の端末装置２に表示させるオンライン会議アプリケーションの表示画面に、同期歌唱データの再生要求ボタン等の操作キーを表示する。なお、複数の同期歌唱データが記憶部２１に記憶されている場合、再生要求ボタンは、同期歌唱データを選択可能にしてよい。歌唱者の端末装置２は、再生要求ボタンの操作に応じて再生要求をサーバ装置３へ送信し、サーバ装置３は、歌唱者の端末装置２から再生要求を受信する。

再生制御部３０は、同期歌唱データが記憶されたオンライン会議中（オンライン飲み会中）に再生要求を受信すると、同期歌唱データを全ての端末装置２に送信する。この場合、通常モードの送信制御部２９は、オンライン会議中の複数の端末装置２のそれぞれの音声データを、各端末装置２へ送信している。そのため、各端末装置２は、オンライン会議中の音声データと同期歌唱データとを受信して合わせて出力部１２で出力する。

一方、再生制御部３０は、オンライン会議終了後に再生要求を受信すると、同期歌唱データを歌唱者の端末装置２のみに送信する。そのため、歌唱者の端末装置２のみが、同期歌唱データを受信して出力部１２で出力する。

第２の実施形態において、オンライン会議システム１のオンライン会議におけるサーバ装置３による音声データ送信動作の例について説明する。図４は、第２の実施形態の音声データ送信動作の例を示すフローチャートである。

第２の実施形態の音声データ送信動作は、第１の実施形態の音声データ送信動作と同様に進行し、第１の実施形態の音声データ送信動作との相違点は、サーバ装置３において第２の検出部２７及び記憶制御部２８による同期記憶フロー（ステップＳ１１～Ｓ）を含むことである。

同期記憶フローでは、先ず、第１の検出部２６により端末装置２Ａのカラオケ演奏の開始が検出された場合（ステップＳ４：ＹＥＳ）、記憶制御部２８は、歌唱者の端末装置２Ａの音声データを記憶部２１に記憶する（ステップＳ１１）。また、第２の検出部２７が、聴衆の端末装置２Ｂ～２Ｄの音声データに基づいて、例えば、端末装置２Ｂの聴衆の音声データから歌唱データを検出すると（ステップＳ１２：ＹＥＳ）、記憶制御部２８は、歌唱者の端末装置２Ａの音声データと聴衆の端末装置２Ｂの音声データとを同期して同期歌唱データとして記憶部２１に記憶する（ステップＳ１３）。

なお、第１の検出部２６が端末装置２Ａのカラオケ演奏の開始を検出してからカラオケ演奏を検出しなくなり、すなわち、カラオケ演奏の終了を検出した場合（ステップＳ４：ＮＯ）、記憶制御部２８は同期記憶を終了する（ステップＳ１４）。

上記したように、本発明の第２の実施形態のサーバ装置３は、一の端末装置２（歌唱者の端末装置２）の音声データからカラオケ演奏の開始を検出した場合に、当該音声データを記憶部２１に記憶する記憶制御部２８と、一の端末装置２の音声データからカラオケ演奏の開始を検出した場合に、他の端末装置２（聴衆の端末装置２）の音声データに基づいてカラオケ歌唱の開始を検出する第２の検出部２７と、を有する。記憶制御部２８は、他の端末装置２の音声データからカラオケ歌唱の開始を検出した場合に、他の端末装置２の音声データを一の端末装置２の音声データに同期させて記憶部２１に記憶する。

これにより、サーバ装置３は、歌唱者がカラオケ歌唱を行っている間に、聴衆の歌唱を歌唱者へ出力していない場合でも、歌唱者は、カラオケ歌唱の終了後等に、歌唱者と聴衆とのカラオケ歌唱の同期記憶データを再生することが可能となる。カラオケ演奏の終了後であれば、聴衆の歌唱が、歌唱者の歌唱を邪魔することなく、歌唱者はうるさく不快に感じることもない。また、歌唱者の歌唱に対する聴衆の歌唱にハモリが入っていた場合等、歌唱者又は聴衆がカラオケ歌唱の確認を所望することがあり、オンライン飲み会では、同期記憶データの再生を所望する場合がある。このように、歌唱者及び聴衆のカラオケ歌唱の同期記憶データは、カラオケの盛り上がりを高め、カラオケの利用を促進し、更にオンライン飲み会の盛り上がりを高めることができる。

また、上記したように、第２の実施形態において、第２の検出部２７は、一の端末装置２の音声データ及び他の端末装置２の音声データの比較結果が所定条件を満足する場合に、他の端末装置２のカラオケ歌唱の開始を検出する。これにより、聴衆の音声データのうちで、歌唱者のカラオケ歌唱と同時に聴きたいものだけを、カラオケ歌唱と認識して同期記憶させることができる。例えば、歌唱者のカラオケ歌唱に関係のない音楽や邪魔になる音楽等は、同期記憶から除外することができ、カラオケの盛り上がりに関係のある音楽だけを同期記憶させることができる。

また、本実施形態では、各端末装置２がオンライン会議アプリケーションを使用することで、サーバ装置３で展開されるオンライン会議に参加する例を説明したが、端末装置２は、オンライン会議アプリケーションに限らず、ブラウザやその他のプログラムやソフトウェアによってオンライン会議に参加してもよい。

また、本発明は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴うサーバ装置もまた本発明の技術思想に含まれる。

１ オンライン会議システム
２ 端末装置
３ サーバ装置
４ ネットワーク
１０ 入力部
１１ 通信部
１２ 出力部
２０ 制御部
２１ 記憶部
２２ 通信部
２３ 受信部
２４ 送信部
２６ 第１の検出部
２７ 第２の検出部
２８ 記憶制御部
２９ 送信制御部
３０ 再生制御部

Claims (4)

1. 複数の端末装置と通信可能に接続され、前記複数の端末装置の間のオンライン会議を運用するサーバ装置であって、
   前記オンライン会議中に各端末装置から送信された音声データを受信する受信部と、
   各端末装置から受信した前記音声データに基づいて、カラオケ演奏の開始及び終了を検出する第１の検出部と、
   一の端末装置の前記音声データからカラオケ演奏の開始を検出した場合に、当該一の端末装置に対して他の端末装置の前記音声データの送信を中断し、前記一の端末装置の前記音声データからカラオケ演奏の終了を検出した場合に、前記一の端末装置に対する前記他の端末装置の前記音声データの送信を再開するように制御する送信制御部と、を有することを特徴とするサーバ装置。
2. 前記第１の検出部は、前記音声データから少なくとも所定音量以上の音楽データを抽出した場合にカラオケ演奏の開始を検出することを特徴とする請求項１に記載のサーバ装置。
3. 前記一の端末装置の前記音声データからカラオケ演奏の開始を検出した場合に、当該音声データを記憶部に記憶する記憶制御部と、
   前記一の端末装置の前記音声データからカラオケ演奏の開始を検出した場合に、前記他の端末装置の前記音声データに基づいてカラオケ歌唱の開始を検出する第２の検出部と、を有し、
   前記記憶制御部は、前記他の端末装置の前記音声データからカラオケ歌唱の開始を検出した場合に、前記他の端末装置の前記音声データを前記一の端末装置の前記音声データに同期させて前記記憶部に記憶することを特徴とする請求項１又は２に記載のサーバ装置。
4. 前記第２の検出部は、前記一の端末装置の前記音声データ及び前記他の端末装置の前記音声データの比較結果が所定条件を満足する場合に、前記他の端末装置のカラオケ歌唱の開始を検出することを特徴とする請求項３に記載のサーバ装置。

Images