JP7307306B2 - 情報処理装置、情報処理システム、制御方法、及びプログラム - Google Patents

Description

本発明は、データのやり取りにより行うコミュニケーションの方法に関する。

動画（映像、音声）を双方向に送受信してコミュニケーションをとることができるシステムが存在する（例えば、特許文献１参照）。

特開２００８－２１０４１７号公報

このようなシステムのなかには、通信回線の状況に応じて、映像の画質を自動的に調整し、双方向通信を行うという機能を備えたものがある。

そのため、通信回線のデータ転送速度が低い、通信帯域が狭い場合には、映像の画質が落ち、ブロックノイズが発生して、やり取りしている映像が見えづらくなることがある。

そこで、相互の端末間において、動画（映像、音声）を送受信する方式と、映像と音声とを切り離し、映像と音声とを別々に送受信するが、映像は、高画質の静止画を低フレームレートで送受信する方式の何れを選択して実現する仕組みが存在する。

高画質な映像でコミュニケーションを取りたいケースにおいて、後者の方式を利用することで通信回線の状況によらず、高画質な映像でコミュニケーションをとることができる。

しかしながら、後者の方式では、映像と音声とを切り離し、静止画でやり取りを行うため、録画したデータに音声がなくなってしまう。また、低フレームレートでのやり取りのため、映像としての情報が少なくなっている。

そのため、コミュニケーションの内容を確認することが難しいといった課題が存在する。

そこで、本発明では、ユーザに対して、画質の良い映像を表示することができることができる仕組みを提供することを目的とする。

上記目的を達成するための本発明は、第１の情報処理装置と第２の情報処理装置とにより通信可能な装置からなる情報処理システムであって、前記第１の情報処理装置は、撮影した所定のフレームレートの画像データを前記第２の情報処理装置へ送信する第１の送信手段と、取得した音声データを前記第２の情報処理装置及び前記装置へ送信する第２の送信手段と、前記所定のフレームレートよりも高いフレームレートで撮影された画像データを前記装置へ送信する第３の送信手段と、を備え、前記第２の情報処理装置は、第１の送信手段により送信された画像データを受信する第１の受信手段と、第２の送信手段により送信された音声データを受信する第２の受信手段と、を備え、前記装置は、前記第２の送信手段により送信された音声データと前記第３の送信手段により送信された画像データとを合成する生成手段と、を備えたことを特徴とする。

本発明によれば、ユーザに対して、画質の良い映像を表示することができる、という効果を奏する。

情報処理システムの概略の構成図である。 ハードウェア構成の一例を示すブロック図である 情報処理システムの機能ブロック図である。 コミュニケーション通信処理を示すフローチャートである。 コミュニケーション通信処理を示すフローチャートである。 録画開始時の動作の処理を示すフローチャートである。 録画終了時の動作の処理を示すフローチャートである。 録画データ合成時の動作の処理を示すフローチャートである。 それぞれのＡＰＩの構成の一例を示す構成図である。 それぞれのコマンドの構成の一例を示す構成図である。 録画データの構成の一例を示す構成図である。 ログイン画面の構成を示す構成図である。 コミュニケーション画面の構成を示す構成図である。 ログイン画面の構成を示す構成図である。 ルーム選択画面の構成を示す構成図である。 コミュニケーション画面の構成を示す構成図である。 録画データ確認画面の構成を示す構成図である。

図１を利用して本実施形態における情報処理システムの概略構成について記述する。

本発明に関わる情報処理システムの概略構成の一例として、情報処理システムは、クライアント端末１００、クライアント端末１０１、ネットワーク１０２、通信サーバ１０３、及びデータ管理サーバ１０４で構成されており、それぞれネットワーク１０２を介して、通信可能なように接続されている。

クライアント端末１００は、本情報処理システムにおいて、ログイン画面１２００（詳細後述）やコミュニケーション画面１３００（詳細後述）を表示し、種々の入出力を行うクライアント機能を提供する。

尚、これらの画面は、例えば、Ｗｅｂブラウザを用いて提供することが可能であるが、このような態様に限らず、生成したアプリケーションにより提供することも可能である。

クライアント端末１０１は、本情報処理システムにおいて、ログイン画面、ルーム選択画面、あるいはコミュニケーション画面を表示し、種々の入出力を行うクライアント機能を提供する。

尚、これらの画面は、前述したように、例えば、Ｗｅｂブラウザを用いて提供することが可能であるが、このような態様に限らず、生成したアプリケーションにより提供することも可能である。

通信サーバ１０３は、外部のプラットフォームであり、音声、映像などをリアルタイムで通信可能な技術（例えば、ＷｅｂＲＴＣ等）を用いた通信機能を提供する。

データ管理サーバ１０４は、映像などのデータを記憶し、ケースによっては、音声のデータ（以降、音声データ）と映像のデータ（以降、映像データ）とを合成してクライアント端末へ提供する。

データ管理サーバ１０４は、録画装置１０５と記憶装置１０６とを備えており、録画装置１０５は、音声データと映像データとを合成し、記憶装置１０６は、映像データや、音声データと映像データとを合成した合成データを記憶する。

次に、図２に示すフローチャートを用いて、クライアント端末１００、及びクライアント端末１０１のハードウェアの概略構成について説明を行う。

図２に示すように、各装置は、システムバス２０４を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、よび通信Ｉ／Ｆコントローラ２０８が接続される。

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

ＲＯＭ２０２あるいは外部メモリ２１１は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

入力コントローラ２０５は、キーボードや不図示のマウス等のポインティングデバイス等の入力デバイス２０９からの入力を制御する。

入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

ビデオコントローラ２０６は、ディスプレイ２１０などの外部出力装置への表示を制御する。

ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。

なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。

なお、ビデオコントローラ２０６は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

メモリコントローラ２０７は、外部メモリ２１１へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

通信Ｉ／Ｆコントローラ２０８は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

カメラコントローラ２１２は、カメラ２１４による撮影を制御する。カメラ２１４によって撮影することにより得られた画像は、外部メモリ２１１やＲＯＭ２０２等の記憶領域へ記憶される。

音声コントローラ２１３は、マイク／スピーカ２１５による発音や集音の制御を行う。マイク／スピーカ２１５に対して発せられた音を取得して、音声データとして外部メモリ２１１やＲＯＭ２０２等の記憶領域へ記憶したり、音量を調節して発音することができる。

尚、通信サーバ１０３、及びデータ管理サーバ１０４も、ほぼ同様な構成を備えるため、説明は省略する。

次に、図３を用いて情報処理システムにおける各機能の概略について説明を行うが、各機能について、後述するフローチャートと合わせて説明を行う。

クライアント端末１００は、ログイン部３００、ルーム管理部３０１、静止画取得部３０２、静止画表示部３０３、録画開始／終了部３０４、及び送受信部３０５を備えている。

ログイン部３００は、クライアント端末１００における情報処理システムへのログイン機能を備え、ログイン画面１２００（図１２参照）を出力し、入力されたユーザＩＤやパスワードを用いて認証を行い、当該ユーザをログインさせる。

ルーム管理部３０１は、通信サーバ１０３を利用した音声データや映像データなどをリアルタイムでやり取りしコミュニケーションを行う空間（以後、ルーム）への入室および退室機能を備える。

また、クライアント端末１００を起動したユーザが発した声などの音声データを、入室したルームへ配信する機能を備える。さらに、レコーダー起動ＡＰＩ９００（図９参照）を生成し、データ管理サーバ１０４に対して送信する機能を備える。

静止画取得部３０２は、静止画取得ＡＰＩ９３０（図９参照）を生成し、静止画取得ＡＰＩ９３０を利用してクライアント端末１０１で撮影してアップロードされた静止画を記憶装置１０６から取得する機能を備える。

静止画表示部３０３は、記憶装置１０６から取得した静止画を、コミュニケーション画面１３００（図１３参照）に出力する機能を備えている。

録画開始／終了部３０４は、録画要求コマンド１０００（図１０参照）を生成し、クライアント端末１０１に対して送信する機能を備えている。

送受信部３０５は、他の装置等と種々のデータのやり取りを行う機能を備えている。

クライアント端末１０１は、ログイン部３１０、ルーム管理部３１１、静止画アップロード部３１２、録画開始／終了部３１３、映像データ保存部３１４、映像データアップロード部３１５、及び送受信部３１６を備えている。

ログイン部３１０は、クライアント端末１０１における情報処理システムへのログイン機能を備え、ログイン画面１４００（図１４参照）を出力し、入力されたユーザＩＤやパスワードを用いて認証を行い、当該ユーザをログインさせる。

ルーム管理部３１１は、ルームへの入室および退室機能を備え、また、クライアント端末１０１を起動したユーザが発した声などの音声データを、入室したルームへ配信する機能を備えている。

静止画アップロード部３１２は、静止画アップロードＡＰＩ９２０（図９参照）を生成し、静止画アップロードＡＰＩ９２０を利用して、クライアント端末１０１が動作するデバイスのカメラで撮影した静止画のデータ（以降、静止画データ）を記憶装置１０６へ送信する機能を持つ。

録画開始／終了部３１３は、録画開始/録画終了コマンド１００１（図１０参照）を生成し、録画装置１０５に対して送信する機能を備えている。

映像データ保存部３１４は、クライアント端末１０１が動作するデバイスのカメラで撮影した映像データを保存する機能を備えている。

映像データアップロード部３１５は、映像データアップロードＡＰＩ９５０（図９参照）を生成し、映像データアップロードＡＰＩ９５０を用いて、映像データ保存部３１４で保存した映像データを記憶装置１０６へ送信する機能を備えている。

送受信部３１６は、他の装置等と種々のデータのやり取りを行う機能を備えている。

録画装置１０５は、ログイン部３２、ルーム管理部３２１、音声データ保存部３２２、音声データアップロード部３２３、映像／音声データ取得部３２４、映像／音声データ合成部３２５、合成データアップロード部３２６、及び送受信部３２７を備えている。

ログイン部３２０は、録画装置１０５における情報処理システムへのログイン機能を備えている。

ルーム管理部３２１は、ルームへの入室および退出機能を備え、音声データ保存部３２２は、ルームに配信されている音声データを取得し、保存する機能を備えている。

音声データアップロード部３２３は、音声データアップロードＡＰＩ９４０（図９参照）を生成し、音声データアップロードＡＰＩ９４０を利用して、音声データ保存部３２２で保存した音声データを記憶装置１０６へ送信する機能を備えている。

映像／音声データ取得部３２４は、記憶装置１０６に保存されている映像データおよび音声データを、記憶装置１０６から取得する機能を備えている。

映像／音声データ合成部３２５は、映像／音声データ取得部３２４で取得した映像データおよび音声データを合成する機能を備えている。

合成データアップロード部３２６は、合成データアップロードＡＰＩ９７０（図９参照）を生成し、合成データアップロードＡＰＩ９７０を用いて、映像／音声データ合成部３２５で生成した合成データを記憶装置１０６へ送信する機能を持つ。

送受信部３２７は、他の装置等と種々のデータのやり取りを行う機能を備えている。

データ管理サーバ１０４は、起動部３３０、データストレージ部３３１、データ合成指示部３３２、及び送受信部３３３を備えている。

起動部３３０は、クライアント端末１００のルーム管理部３０１において送信されたレコーダー起動ＡＰＩ９００を受信すると、録画準備ＡＰＩ９１０（図９参照）を生成し、録画装置１０５に対して録画準備ＡＰＩ９１０を送信する機能を備えている。

データストレージ部３３１は、情報処理システムにおいて生成された静止画、音声データ、映像データ、及び合成データを保存する機能を備えている。

データ合成指示部３３２は、映像データアップロード部３１５によって、記憶装置１０６に映像データが保存されたことを検知し、映像データ／音声データ合成ＡＰＩ９６０（図９参照）を生成する。

生成した映像／音声データ合成ＡＰＩ９６０を録画装置１０５に送信する機能を備えている。

送受信部３０５は、他の装置等と種々のデータのやり取りを行う機能を備えている。

図４及び図５に示すフローチャートを用いて本実施形態におけるコミュニケーション通信処理について説明を行う。

ステップＳ４００では、ログイン部３００は、ログイン画面１２００（図１２参照）を出力し、ログイン画面１２００に対して入力されたユーザＩＤ及びパスワード等のユーザ情報を取得して認証を行い、認証がなされると、情報処理システムへのログインがなされる。

図１２には、クライアント端末１００に出力されるログイン画面１２００の構成が示されており、ログイン画面１２００は、ユーザＩＤを入力するためのユーザＩＤ入力欄１２０１、パスワードを入力するためのパスワード入力欄１２０２、及びログインの指示を行うために押下するためのログインボタン１２０３を備えている。

ユーザは、ログインボタン１２０３を押下すると、ユーザＩＤ入力欄１２０１及びパスワード入力欄１２０２に入力されたユーザＩＤ及びパスワードを用いて認証を行い、認証がなされると、情報処理システムへのログインがなされる。

ステップＳ４０１では、ルーム管理部３０１は、コミュニケーション画面１３００（図１３参照）を出力する。

図１３には、クライアント端末１００に出力されるコミュニケーション画面１３００の構成が示されており、コミュニケーション画面１３００は、リモート撮影ボタン１３０１、録画開始／終了ボタン１３０２、ルーム選択リストボックス１３０３、ルーム入室ボタン１３０４、及びルーム退室ボタン１３０５を備えている。

リモート撮影ボタン１３０１を押下すると、通信相手のクライアント端末１０１に対してリモートで撮影指示を行う。

録画開始／終了ボタン１３０２を押下すると、録画を開始することができ、録画が開始すると録画開始／終了ボタン１３０２が赤色に変わる。

一方、録画実行中の状態で録画開始/終了ボタン１３０２を押下して、録画を終了することができ、録画が終了するとボタンが緑色に変わる。

ルーム選択リストボックス１３０３には、入室するルームを出力選択することができ、ルーム入室ボタン１３０４を押下して、選択したルームへの入室ができ、ルーム退室ボタン１３０５を押下すると、入室しているルームから退室することができる。

本ステップでは、ルーム選択リストボックス１３０３に出力されたルームが選択された状態で、ルーム入室ボタン１３０４が押下されたことを検知すると、選択されたルームへユーザを入室させる。

ステップＳ４０２では、ルーム管理部３０１は、クライアント端末１００で取得した音声をルームに対して配信する。

ステップＳ４０３では、ルーム管理部３０１は、レコーダー起動ＡＰＩ９００を生成し、送受信部３０５によって、データ管理サーバ１０４に送信する。

図９には、レコーダー起動ＡＰＩ９００の構成が示されており、レコーダー起動ＡＰＩ９００は、ユーザＩＤ、及びルームを識別するためのルームＩＤで構成される。尚、ルームＩＤには、ステップＳ４０１で選択したルームのルームＩＤが設定される。

レコーダー起動ＡＰＩ９００は、クライアント端末１００からデータ管理サーバ１０４に対して、録画装置１０５の起動要求を行うためのＡＰＩである。

ステップＳ４０４では、送受信部３３３は、ステップＳ４０３においてクライアント端末１００から送信されたレコーダー起動ＡＰＩ９００を受信する。

ステップＳ４０５では、起動部３３０は、録画準備ＡＰＩ９１０を生成し、送受信部３３３によって録画装置１０５に送信する。

図９には、録画準備ＡＰＩ９１０の構成が示されており、録画準備ＡＰＩ９１０は、ドメイン（ユーザＩＤのドメイン、

以降の文字列）、ルームＩＤで構成される。

録画準備ＡＰＩ９１０は、録画装置１０５に対して、録画準備要求を行うためのＡＰＩであり、録画準備とは、本情報処理システムへのログインおよびクライアント端末１００と同じルームへの入室する処理を指し示し、ドメイン及びルームＩＤの情報を利用することで録画準備処理の実行ができる。

ステップＳ４０６では、送受信部３２７は、ステップＳ４０５においてデータ管理サーバ１０４から送信された録画準備ＡＰＩ９１０を受信する。

ステップＳ４０７では、ログイン部３２０は、ステップＳ４０６において受信した録画準備ＡＰＩ９１０のパラメーターを利用して、本情報処理システムにログインする。

ステップＳ４０８では、ルーム管理部３２１は、ステップＳ４０１において入室したルームと同じルームへ録画装置１０５を入室させる。

ステップＳ４０９では、ルーム管理部３２１は、録画準備ＡＰＩレスポンス９１１を生成し、送受信部３２７によってデータ管理サーバ１０４に返す。

図９には、録画準備ＡＰＩレスポンス９１１の構成が示されており、録画準備ＡＰＩレスポンス９１１は、録画準備がなされた旨等を示すメッセージで構成される。

ステップＳ４１０では、送受信部３３３は、ステップＳ４０９において録画装置１０５から送信された録画準備ＡＰＩレスポンス９１１を受信する。

ステップＳ４１１では、送受信部３３３は、レコーダー起動ＡＰＩレスポンス９０１をクライアント端末１００に返す。

図９には、レコーダー起動ＡＰＩレスポンス９０１の構成が示されており、レコーダー起動ＡＰＩレスポンス９０１は、録画準備がなされた旨等を示すメッセージで構成される。

ステップＳ４１２では、送受信部３０５は、ステップＳ４１１によってデータ管理サーバ１０４から送信されたレコーダー起動ＡＰＩレスポンス９０１を受信する。

ステップＳ４１３は、ステップＳ４１４からステップＳ５１９の処理を所定時間の間隔（例えば、１秒間隔）で繰り返し処理を行うことを示している。

ステップＳ４１４では、静止画取得部３０２は、静止画取得ＡＰＩ９３０（図９参照）を生成し、送受信部３０５によって、データ管理サーバ１０４に送信する。

図９には、静止画取得ＡＰＩ９３０の構成が示されており、静止画取得ＡＰＩ９３０は、テナントＩＤ（ユーザＩＤのドメイン、

以降の文字列）、ルームＩＤ、及びファイルＩＤ（詳細後述）で構成される。

静止画取得ＡＰＩ９３０は、クライアント端末１００からデータ管理サーバ１０４に対して、記憶装置１０６に保存された静止画取得要求を行うためのＡＰＩであり、テナントＩＤ、ルームＩＤ、及びファイルＩＤを利用することで、記憶装置１０６から特定の静止画を取得することができる。

ステップＳ４１５では、送受信部３３３は、ステップＳ４１４においてクライアント端末１００から送信された静止画取得ＡＰＩ９３０を受信する。

ステップＳ４１６では、静止画取得部３３４は、ステップＳ４１５において受信した静止画取得ＡＰＩ９３０のパラメーターに従って、記憶装置１０６から静止画を取得する。

ステップＳ４１７では、送受信部３３３は、ステップＳ４１６において記憶装置１０６から取得した静止画を静止画取得ＡＰＩレスポンス９３１（図９参照）でクライアント端末１００に返す。

図９には、静止画取得ＡＰＩレスポンス９３１の構成が示されており、静止画取得ＡＰＩレスポンス９３１は、ステータスコード（ＨＴＴＰにおけるエラーコード等）、及び静止画取得ＵＲＬで構成される。

静止画取得ＡＰＩレスポンス９３１をクライアント端末１００が受信すると、クライアント端末１００は、静止画取得ＵＲＬを利用することで、静止画を取得することができる。

ステップＳ４１８では、送受信部３０５は、ステップＳ４１７において返信された静止画取得ＡＰＩレスポンス９３１を受信し、ステップＳ４１９では、静止画表示部３０３は、ステップＳ４１８において受信した静止画取得ＡＰＩレスポンス９３１に含まれる静止画を画面に表示する。

ステップＳ５００では、ログイン部３１０によって、ログイン画面１４００（図１４参照）を出力し、ログイン画面１４００に対して入力されたユーザＩＤ及びパスワード等のユーザ情報を取得して認証を行い、認証がなされると、情報処理システムへのログインがなされる。

図１４には、クライアント端末１０１に出力されるログイン画面１４００の構成が示されており、ログイン画面１４００は、ユーザＩＤを入力するためのユーザＩＤ入力欄１４０１、パスワードを入力するためのパスワード入力欄１４０２、及びログインの指示を行うために押下するためのログインボタン１４０３を備えている。

ユーザは、ログインボタン１４０３を押下すると、ユーザＩＤ入力欄１４０１及びパスワード入力欄１４０２に入力されたユーザＩＤ及びパスワードを用いて認証を行い、認証がなされると、情報処理システムへのログインがなされる。

ステップＳ５０１では、ルーム管理部３１１は、ルーム選択画面１５００（図１５参照）を出力する。

図１５には、ルーム選択画面１５００の構成が示されており、ルーム選択画面１５００は、ルーム選択リストボックス１５０１で入室するルームを選択し、ルーム入室ボタン１５０４を押下して、選択したルームへの入室ができる。

また、録画データアップロードボタン１５０３を押下して、映像データのアップロードをすることができる。

また、戻るボタン１５０２を押下すると、前に表示されていたログイン画面１４００が表示される。

入室がなされると、コミュニケーション画面１６００（図１６参照）が表示される。

図１６には、コミュニケーション画面１６００の構成が示されており、コミュニケーション画面１６００は、ルームを退室する際に押下するためのルーム退室ボタン１６０１、写真撮影を行う撮影ボタン１６０２、録画開始／終了ボタン１６０３を押下すると、録画を開始することができ、再度、録画開始／終了ボタン１６０３を押下すると録画が終了する。

ステップＳ５０２では、ルーム管理部３１１は、クライアント端末１０１で取得した音声をルームに対して配信する。

ステップＳ５０３では、映像データ保存部３１４は、クライアント端末１０１で動作するカメラで撮影した映像をバッファ領域に所定のフレームレート（例えば、毎秒３０ｆｐｓ）で保存する。ここで保存した映像は、後続の録画処理の映像データとして利用する。

概ね、毎秒３０ｆｐｓで保存することによって、高いフレームレートの映像データとして残すことができ、また、クライアント端末１０１のバッファ領域に保存することによって、高い画質の映像データとして残すことができる。

ステップＳ５０４は、ステップＳ４１５からＳ５３０の処理を1秒間隔で繰り返し処理を行うことを示している。

ステップＳ５０５では、静止画アップロード部３１２は、ステップＳ５０３において保存している映像データから、毎秒1枚の静止画を取得する。ここで取得した静止画は、クライアント端末１００とのコミュニケーションに利用する。

ステップＳ５０６では、静止画アップロード部３１２は、静止画アップロードＡＰＩ９２０（図９参照）を生成し、送受信部３１６によって、静止画アップロードＡＰＩ９２０を利用して、ステップＳ５０５で取得した静止画をデータ管理サーバ１０４に送信する。

図９には、静止画アップロードＡＰＩ９２０の構成が示されており、静止画アップロードＡＰＩ９２０は、テナントＩＤ、ルームＩＤ、ファイルＩＤ、静止画のバイナリデータで構成される。

静止画アップロードＡＰＩ９２０は、クライアント端末１０１からデータ管理サーバ１０４に対して、記憶装置１０６へ静止画アップロード要求を行うためのＡＰＩであり、テナントＩＤ、ルームＩＤ、及びファイルＩＤ（相手との通信を行うために、ＩＤが一意となるように発行される。）を利用することで、記憶装置１０６に保存された静止画を一意に管理することができる。

ステップＳ４２０では、送受信部３３３は、ステップＳ５０６においてクライアント端末１０１から送信された静止画アップロードＡＰＩ９２０を受信し、ステップＳ４２１では、データストレージ部３３１は、静止画アップロードＡＰＩ９２０に含まれる静止画を取得し、記憶装置１０６に保存する。

ステップＳ４２２では、送受信部３３３は、静止画アップロードＡＰＩレスポンス９２１（図９参照）をクライアント端末１０１に返す。

図９には、静止画アップロードＡＰＩレスポンス９２１の構成が示されており、静止画アップロードＡＰＩレスポンス９２１は、ステータスコード、及びメッセージ（処理結果を示すメッセージ）で構成される。

ステップＳ４３０では、送受信部３１６は、ステップＳ４２９において返信された静止画アップロードＡＰＩレスポンス９２１を受信する。

図６に示すフローチャートを用いて本実施形態における録画開始時の動作の処理について説明する。

ステップＳ６００では、録画開始／終了部３０４は、コミュニケーション画面１３００の録画開始／終了ボタン１３０２が押下されたことを受け付けると、録画要求コマンド１０００（図１０参照）を生成して、送受信部３０５によって、クライアント端末１０１（入室しているルーム）に対して送信する。

図１０には、録画要求コマンド１０００の構成が示されており、録画要求コマンド１０００は、録画を開始／終了を指示するためのコマンド、録画フラグ（録画を開始しているか、停止しているかを示す）、及び録画ＩＤ（相手との通信を行うために、ＩＤが一意となるように発行される。）で構成される。ここでは、コマンドとして録画を開始する指示に係る指示情報が含まれている。

録画要求コマンド１０００は、クライアント端末１００からクライアント端末１０１に対して、録画の開始／終了を指示するコマンドである。

録画ＩＤは、録画処理によって生成される映像データ、音声データ、および合成データを一意に識別するための情報である。

録画ＩＤを映像データ、音声データおよび合成データのファイル名として利用することで、映像データと音声データを紐づけることができる。これにより、映像データと音声データとが別々に保存されていても、合成処理によって、映像データと音声データが1つになった合成データを生成することができる。

ステップＳ６０１では、送受信部３１６は、ステップＳ６００において送信された録画要求コマンド１０００を受信する。

ステップＳ６０２では、録画開始／終了部３１３は、録画開始日時（例えば、システム日時等）を取得する。

ステップＳ６０３では、録画開始／終了部３１３は、録画開始／録画終了コマンド１００１を生成し、クライアント端末１００（入室しているルーム）に対して録画開始／録画終了コマンド１００１（図１０参照）を送信する。

図１０には、録画開始／録画終了コマンド１００１の構成が示されており、録画開始／録画終了コマンド１００１は、コマンド、録画フラグ、録画ＩＤ、録画開始日時で構成される。

録画開始／録画終了コマンド１００１は、クライアント端末１０１から録画装置１０５に対して、録画の開始/終了を指示するコマンドである。ここでは、録画の開始を指示するコマンドが含まれている。

ステップＳ６０４では、送受信部３２７は、ステップＳ６０３においてクライアント端末１０１から送信された録画開始／録画終了コマンド１００１を受信する。

ステップＳ６０５では、ルーム管理部３２１は、ステップＳ６０４において受信した録画開始／録画終了コマンド１００１から、録画ＩＤ、及び録画開始日時を取得する。

ステップＳ６０６は、ステップＳ６０７の処理を録画開始／録画終了コマンド１００１を再度受信するまで繰り返すことを示している。

ステップＳ６０７では、音声データ保存部３２２は、入室しているルームに配信されている音声データをＷｅｂブラウザのバッファ領域に保存する。

ステップＳ６０８では、映像データ保存部３１４は、映像データ１１０１（図１１参照）の構成で映像データのファイル名を生成する。

図１１には、映像データ１１０１の構成が示されており、映像データ１１０１は、クライアント端末１０１で生成される映像データであり、ファイル名を録画開始／録画終了コマンド１００１に含まれる、録画開始日時と録画ＩＤで構成し、ファイル名を録画開始／録画終了コマンド１００１に含まれる、録画開始日時と録画ＩＤで構成する。ファイル名が録画ＩＤと録画開始日時で構成されているため、後続の合成処理において、映像データと音声データとの紐づけを行うことができる。

ステップＳ６０９は、ステップＳ６１０の処理を、録画要求コマンド１０００を再度受信するまで繰り返すことを示している。

ステップＳ６１０では、ステップＳ５０３において、クライアント端末１０１のバッファ領域に保存している映像データをファイルに書き出す。

図７に示すフローチャートを用いて本実施形態における録画終了時の動作の処理について説明する。

ステップＳ７００では、録画開始／終了部３０４は、録画要求コマンド１０００を生成し、送受信部３０５によって、クライアント端末１０１（入室しているルーム）に対して録画要求コマンド１０００を送信する。この際に、コマンドとして録画を終了する指示に係る指示情報が含まれている。

ステップＳ７０１では、送受信部３１６は、録画要求コマンド１０００を受信し、ステップＳ７０２では、録画開始／終了部３１３は、録画開始／録画終了コマンド１００１（図１１参照）を生成し、入室しているルームに対して録画開始/録画終了コマンド１００１を送信する。ここでは、コマンドとして、録画を終了する指示のコマンドが含まれている。

ステップＳ７０３では、送受信部３２７は、ステップＳ７０２において送信された録画開始／録画終了コマンド１００１を受信する。

ステップＳ７０４では、音声データ保存部３２２は、ステップＳ６０７において開始した音声データの保存処理を終了する。

ステップＳ７０５では、音声データアップロード部３２３は、音声データアップロードＡＰＩ９４０（図９参照）を生成し、送受信部３２７は、音声データアップロードＡＰＩ９４０を利用して、保存した音声データをデータ管理サーバ１０４に送信する。

図９には、音声データアップロードＡＰＩ９４０の構成が示されており、音声データアップロードＡＰＩ９４０は、テナントＩＤ、ルームＩＤ、及びファイルＩＤで構成される。

音声データアップロードＡＰＩ９４０は、録画装置１０５からデータ管理サーバ１０４に対して、記憶装置１０６へ音声データアップロード要求を行うためのＡＰＩである。

テナントＩＤ、ルームＩＤ、及びファイルＩＤを利用することで、記憶装置１０６に保存された音声データを一意に管理することができ、送信する音声データのファイル名は、音声データ１１００（図１１参照）の構成とすることで、ファイル名が録画ＩＤと録画開始日時とで構成されているため、後続の合成処理において映像データと音声データとの紐づけを行うことができる。

図１１には、音声データ１１００の構成が示されており、音声データ１１００は、録画装置１０５で生成される音声データであり、ファイル名を録画開始／録画終了コマンド１００１に含まれる、録画開始日時と録画ＩＤとで構成する。

ステップＳ７０６では、送受信部３３３は、ステップＳ７０５において、録画装置１０５から送信された音声データアップロードＡＰＩ９４０を受信する。

ステップＳ７０７では、データストレージ部３３１は、ステップＳ７０６において受信した音声データアップロードＡＰＩから音声データを取得し、記憶装置１０６に保存する。

ステップＳ７０８では、データストレージ部３３１は、音声データアップロードＡＰＩレスポンス９４１（図９参照）を生成し、送受信部３３３によって、録画装置１０５に送信する。

図９には、音声データアップロードＡＰＩレスポンス９４１の構成が示されており、音声データアップロードＡＰＩレスポンス９４１は、ステータスコード、及びプロードＵＲＬで構成される。アップロードＵＲＬを利用することで、録画装置１０５が音声データのアップロードをすることができる。

ステップＳ７０９では、送受信部３２７は、ステップＳ７０８においてデータ管理サーバ１０４から送信された音声データアップロードＡＰＩレスポンス９４１を受信する。

ステップＳ７１０では、映像データ保存部３１４は、ステップＳ６１０において開始した映像データのファイル書き出し処理を終了し、ステップＳ７１１では、映像データ保存部３１４は、書き出した映像データをストレージ領域に保存する。

次に、図８に示すフローチャートを用いて本実施形態における録画データ合成時の動作の処理について説明する。

ステップＳ８００では、映像データアップロード部３１５は、映像データアップロードＡＰＩ９５０（図９参照）を生成する。

図９には、映像データアップロードＡＰＩ９５０の構成が示されており、映像データアップロードＡＰＩ９５０は、テナントＩＤ、ルームＩＤ、及びファイルＩＤで構成される。

映像データアップロードＡＰＩ９５０は、クライアント端末１０１からデータ管理サーバ１０４に対して、記憶装置１０６へ映像データアップロード要求を行うためのＡＰＩである。テナントＩＤ、ルームＩＤ、及びファイルＩＤを利用することで、記憶装置１０６に保存された映像データを一意に管理することができる。

映像データアップロードＡＰＩ９５０を利用して、ステップＳ７１１においてクライアント端末１０１のストレージ領域に保存した映像データを、データ管理サーバ１０４に送信する。

ステップＳ８０１では、送受信部３３３は、ステップＳ８００においてクライアント端末１０１から送信された映像データアップロードＡＰＩ９５０を受信する。

ステップＳ８０２では、データストレージ部３３１は、ステップＳ８０１において受信した映像データアップロードＡＰＩ９５０から映像データを取得し、記憶装置１０６に保存する。

ステップＳ８０３では、データストレージ部３３１は、映像データアップロードＡＰＩレスポンス９５１（図９参照）を生成し、送受信部３３３は、クライアント端末１０１に送信する。

映像データアップロードＡＰＩレスポンス９５１は、ステータスコード、及びアップロードＵＲＬで構成されており、アップロードＵＲＬを利用することで、クライアント端末１０１が映像データのアップロードをすることができる。

ステップＳ８０４では、送受信部３１６は、ステップＳ８０３においてデータ管理サーバ１０４から送信された映像データアップロードＡＰＩレスポンス９５１を受信する。

ステップＳ８０５では、データ合成指示部３３２は、映像／音声データ合成ＡＰＩ９６０（図９参照）を生成し、送受信部３３３によって、録画装置１０５に送信する。

図９には、映像／音声データ合成ＡＰＩ９６０の構成が示されており、映像／音声データ合成ＡＰＩ９６０は、映像データ保存パス、音声データ保存パス、及び合成データ保存パスで構成される。

映像／音声データ合成ＡＰＩ９６０は、データ管理サーバ１０４から録画装置１０５に対して、映像データ、及び音声データの合成要求を行うためのＡＰＩである。

映像データ保存パス、及び音声データ保存パスを利用することで、録画装置１０５は、記憶装置１０６から合成対象の映像データと音声データとを取得することができる。

ステップＳ８０６では、送受信部３２７は、ステップＳ８０５においてデータ管理サーバ１０４から送信された映像／音声データ合成ＡＰＩ９６０を受信する。

ステップＳ８０７では、映像／音声データ取得部３２４は、ステップＳ８０６において受信した映像／音声データ合成ＡＰＩ９６０の情報を元に、記憶装置１０６から映像データを取得する。

ステップＳ８０８では、映像／音声データ取得部３２４は、ステップＳ８０６において受信した映像／音声データ合成ＡＰＩ９６０の情報を元に、記憶装置１０６から音声データを取得する。

ステップＳ８０９では、映像／音声データ合成部３２５は、ステップＳ８０７及びステップＳ８０８において記憶装置１０６から取得した映像データと音声データとの合成処理を行う。

ステップＳ８１０では、映像／音声データ合成部３２５は、ステップＳ８０９で合成することにより得られた合成データ１１０２をファイル保存する。

図１１には、合成データ１１０２の構成が示されており、合成データ１１０２は、録画装置１０５で生成される合成データであり、ファイル名を録画開始/録画終了コマンド１００１に含まれる、録画開始日時と録画ＩＤとで構成する。

、ステップＳ８１１では、合成データアップロード部３２６は、合成データアップロードＡＰＩ９７０（図９参照）を生成し、送受信部３２７によって、データ管理サーバ１０４に送信する。

図９には、合成データアップロードＡＰＩ９７０の構成が示されており、合成データアップロードＡＰＩ９７０は、テナントＩＤ、ルームＩＤ、及びファイルＩＤで構成される。

合成データアップロードＡＰＩ９７０は、録画装置１０５からデータ管理サーバ１０４に対して、記憶装置１０６へ合成データアップロード要求を行うためのＡＰＩである。テナントＩＤ、ルームＩＤ、及びファイルＩＤを利用することで、記憶装置１０６に保存された合成データを一意に管理することができる。合成データアップロードＡＰＩ９７０を利用して、合成データをデータ管理サーバ１０４に送信する。

ステップＳ８１２では、送受信部３３３は、ステップＳ８１１において録画装置１０５から送信された合成データアップロードＡＰＩ９７０を受信し、ステップＳ８１３では、データ合成指示部３３２は、合成データアップロードＡＰＩ９７０から合成データを取得し、記憶装置１０６に保存し、ステップＳ８１４では、データ合成指示部３３２は、合成データアップロードＡＰＩレスポンス９７１（図９参照）を生成し、送受信部３３３によって、録画装置１０５に送信する。

図９には、合成データアップロードＡＰＩレスポンス９７１の構成が示されており、合成データアップロードＡＰＩレスポンス９７１は、ステータスコード、及びアップロードＵＲＬで構成される。アップロードＵＲＬを利用することで、録画装置１０５が合成データのアップロードをすることができる。

ステップＳ８１５では、送受信部３２７は、ステップＳ８１４においてデータ管理サーバ１０４から送信された合成データアップロードＡＰＩレスポンス９７１を受信する。

図１７には、データ管理サーバ１０４に保存されている合成データを再生するための録画データ確認画面１７００の構成が示されており、録画データ確認画面１７００には、当該合成データを識別するためにサムネイル画像等を表示しておき、再生ボタン１７０１を押下することにより、合成データの再生を行うことができる。

以上、実施形態について示したが、本発明は、例えば、システム、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。

具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明におけるプログラムは、図４乃至８に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図４乃至８の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図４乃至８の各装置の処理方法ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。

また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。

この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ クライアント端末１００
１０１ クライアント端末
１０２ ネットワーク
１０３ 通信サーバ
１０４ データ管理サーバ

Claims (5)

1. 第１の情報処理装置と第２の情報処理装置とにより通信可能な装置からなる情報処理システムであって、
   前記第１の情報処理装置は、
   撮影した所定のフレームレートの画像データを前記第２の情報処理装置へ送信する第１の送信手段と、
   取得した音声データを前記第２の情報処理装置及び前記装置へ送信する第２の送信手段と、
   前記所定のフレームレートよりも高いフレームレートで撮影された画像データを前記装置へ送信する第３の送信手段と、
   を備え、
   前記第２の情報処理装置は、
   第１の送信手段により送信された画像データを受信する第１の受信手段と、
   第２の送信手段により送信された音声データを受信する第２の受信手段と、
   を備え、
   前記装置は、
   前記第２の送信手段により送信された音声データと前記第３の送信手段により送信された画像データとを合成する生成手段と、
   を備えたことを特徴とする情報処理システム。
2. 所定のフレームレートで撮影した画像データを第２の情報処理装置へ送信する第１の情報処理装置と当該第２の情報処理装置と通信可能な装置であって、
   第１の情報処理装置で取得した音声データを受信する第１の受信手段と、
   前記所定のフレームレートよりも高いフレームレートで撮影された画像データを受信する第２の受信手段と、
   前記第２の受信手段により受信した画像データと前記第１の受信手段により受信した音声データとを合成する生成手段と、
   を備えたことを特徴とする装置。
3. 第１の情報処理装置と第２の情報処理装置とにより通信可能な装置からなる情報処理システムの制御方法であって、
   前記第１の情報処理装置は、
   撮影した所定のフレームレートの画像データを前記第２の情報処理装置へ送信する第１の送信ステップと、
   取得した音声データを前記第２の情報処理装置及び前記装置へ送信する第２の送信ステップと、
   前記所定のフレームレートよりも高いフレームレートで撮影された画像データを前記装置へ送信する第３の送信ステップと、
   を実行し、
   前記第２の情報処理装置は、
   第１の送信ステップにより送信された画像データを受信する第１の受信ステップと、
   第２の送信ステップにより送信された音声データを受信する第２の受信ステップと、
   を実行し、
   前記装置は、
   前記第２の送信ステップにより送信された音声データと前記第３の送信ステップにより送信された画像データとを合成する生成ステップと、
   を実行することを特徴とする情報処理システムの制御方法。
4. 所定のフレームレートで撮影した画像データを第２の情報処理装置へ送信する第１の情報処理装置と当該第２の情報処理装置と通信可能な装置の制御方法であって、
   前記装置は、
   第１の情報処理装置で取得した音声データを受信する第１の受信ステップと、
   前記所定のフレームレートよりも高いフレームレートで撮影された画像データを受信する第２の受信ステップと、
   前記第２の受信ステップにより受信した画像データと前記第１の受信ステップにより受信した音声データとを合成する生成ステップと、
   を実行することを特徴とする装置の制御方法。
5. コンピュータを、
   所定のフレームレートで撮影した画像データを第２の情報処理装置へ送信する第１の情報処理装置で取得した音声データを受信する第１の受信手段と、
   前記所定のフレームレートよりも高いフレームレートで撮影された画像データを受信する第２の受信手段と、
   前記第２の受信手段により受信した画像データと前記第１の受信手段により受信した音声データとを合成する生成手段
   として機能させるためのプログラム。
   

Images