JP2024006703A - 情報処理システム、検索方法、プログラム - Google Patents

Abstract

【課題】ユーザー情報を用いて手書きデータを検索できる検索方法を提供すること。【解決手段】本発明は、表示装置が表示した手書きデータを含む議事録を検索する情報処理システムであって、端末装置からユーザー情報を検索キーとする検索要求を受信した場合、予め定められた規則でまとめられた手書きデータに前記ユーザー情報が対応付けて保存された記憶装置を前記ユーザー情報で検索する検索部と、前記ユーザー情報に適合した前記手書きデータを含む検索結果を前記端末装置に送信する通信部と、を有することを特徴とする。【選択図】図２

Description

本発明は、情報処理システム、検索方法、及び、プログラムに関する。

タッチパネル式のディスプレイにユーザーが専用の電子ペンや指などで描画した手書きデータを表示する電子黒板などの表示装置が知られている。単なるホワイトボードと異なり手書きデータを電子データで保存したり、ＰＣ（Personal Computer）等の外部装置と接続したりして外部装置が表示する資料の画像を表示装置が表示することができる。

このような表示装置が表示した表示情報を検索する技術が知られている（例えば、特許文献１参照。）。特許文献１には、デジタイザによりユーザーが文字として描画した自由曲線であっても検索することが可能な検索結果表示装置が開示されている。

しかしながら、従来の技術では、ユーザー情報を用いて手書きデータを検索することが困難であるという問題があった。すなわち、表示装置が会議などで使用された場合、会議の参加者名で検索するとその参加者が参加した会議の議事録などを検索できる。しかし、参加者により議事録を検索しても、該議事録に所望の手書きデータが含まれているとは限らない。あるいは、検索に適合した議事録からユーザーが所望の手書きデータを探し出すことが容易でなかった。

本発明は、上記課題に鑑み、ユーザー情報を用いて手書きデータを検索できる検索方法を提供することを目的とする。

上記課題に鑑み、本発明は、表示装置が表示した手書きデータを含む議事録を検索する情報処理システムであって、端末装置からユーザー情報を検索キーとする検索要求を受信した場合、予め定められた規則でまとめられた手書きデータに前記ユーザー情報が対応付けて保存された記憶装置を前記ユーザー情報で検索する検索部と、前記ユーザー情報に適合した前記手書きデータを含む検索結果を前記端末装置に送信する通信部と、を有することを特徴とする。

ユーザー情報を用いて手書きデータを検索できる情報処理システムを提供することができる。

検索により目的の手書きデータにたどり着く際の作業を説明する図である。 記録情報の検索方法を説明する図である。 遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。 記録情報作成システムの構成例を示す図である。 情報処理システム及び端末装置のハードウェア構成例を示す図である。 ミーティングデバイスのハードウェア構成例を示す図である。 ミーティングデバイスの撮像範囲を説明する図である。 パノラマ画像と話者画像の切り出しを説明する図である。 電子黒板の一例のハードウェア構成図である。 記録情報作成システムにおける端末装置、ミーティングデバイス、及び、情報処理システムの機能をブロックに分けて説明する機能ブロック図の一例である。 情報記憶部が記憶している動画記録情報の一例を示す図である。 コミュニケーション管理部が管理する会議情報の一例を示す図である。 対応付け情報記憶部に記憶された、会議ＩＤと機器識別情報とが対応付けられた対応付け情報の一例を示す図である。 ユーザー情報記憶部に記憶されたユーザー情報の一例を示す図である。 記録情報記憶部に記憶されている記録情報とオブジェクト情報の一例を示す図である。 記録情報の一部であるテキストデータの構造を説明する図である。 電子黒板の機能をブロックに分けて説明する機能ブロック図の一例である。 機器情報記憶部に記憶されている機器識別情報等の一例を示す図である。 オブジェクト情報記憶部に保存されているオブジェクト情報を説明する図である。 ストローク、手書きデータ、及び手書き資料の関係を説明する図である。 会議情報、手書きデータ、ストロークデータ、及び、ユーザー情報の対応を説明する図である。 手書きデータの区切り方を説明する図である。 情報記録アプリが表示する、結合画像動画表示画面の一例を示す図である。 検索メニュー画面の一例を示す図である。 会議参加者検索ボタンが押下された場合に端末装置が表示する検索画面の一例を示す図である。 情報処理システムから送信された検索結果を表示する検索結果画面の一例を示す図である。 検索条件設定画面の一例を示す図である。 情報記録アプリがパノラマ画像、話者画像及びアプリの画面を録画する手順を示すシーケンス図の一例である。 ユーザーが会議で記録された記録情報及びオブジェクト情報を検索する処理を説明するシーケンス図の一例である。

以下、本発明を実施するための形態の一例として、記録情報作成システムと記録情報作成システムが行う検索方法について説明する。

＜手書きデータの検索の概略＞
参加者が会議で電子黒板などに手書きすることで電子黒板が表示した手書きデータ等が会議に対応づけて保存される。任意のユーザーが会議の参加者をもとにこの手書きデータを再利用したり確認したりしたい場合がある。この場合、ユーザーは、参加者名で手書きデータ等が含まれるオブジェクト情報を検索し、検索に適合したオブジェクト情報が所望の手書きデータを含んでいるか否かを開いて確認しなければならない。あるいは、一つのオブジェクト情報が大きすぎて該当の内容が含まれているかわからない場合も起こっていた。すなわち、ユーザーが参加者名によりオブジェクト情報を検索しても目的の手書きデータにたどり着きにくかった。

図１は、検索により目的の手書きデータにたどり着く際の作業を説明する図である。会議１（図１（ａ)）、会議２（図１（ｂ））が行われ、それぞれ、参加者１３１，１３４、テキストデータ１３２，１３５、複数の手書きデータ１３３，１３６等が保存されている。これらの手書きデータから、ユーザーが、Ａさんが手書きした図を確認したいとする。この状況は、例えば、「Ａさんが会議中に描いた説明図をもう一度見返したい、いつの会議の議事録に添付されているだろうか。」というような状況である。

このとき検索方法の１つとして、ユーザーがＡさんの名前で議事録を検索しても図１（ａ）（ｂ）のようにＡさんが参加した全ての会議の議事録全体が出力されてしまい、Ａさんによる手書きデータにたどりつくことが難しい。議事録にはＡさん以外の参加者による手書きデータも含まれるためである。

そこで、図２に示すように、本実施形態では、意味がある手書きデータに区切って各手書きデータに筆記者を対応付けておく。図２は、本実施形態における手書きデータの検索方法を説明する図である。本実施形態では、手書きデータに筆記者の識別情報が対応付けて記録される。手書きデータは、ユーザーにとって何らかの意味がある１つ以上のストロークである。図２の手書きデータ１３７はＡさん、手書きデータ１３８はＢさん、手書きデータ１３９はＡさんとＣさん、がそれぞれ筆記者である。ユーザーが「Ａさん」で手書きデータを検索した場合、手書きデータ１３７、１３９が適合するので、ユーザーが目的の手書きデータにたどり着くことが容易になる。

このように本実施形態の検索方法は、意味がある１つ以上のストロークに筆記者を対応付けておくことで、議事録全体ではなくその参加者が筆記したストロークを意味がある単位で提供することができる。したがって、ユーザーが目的の手書きデータにたどり着くことが容易になる。

＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、電子ペン、人の指や手、棒状部材などがある。

ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークという。ストロークは、ディスプレイに接触することなく、ユーザーの動きを追跡することを含む。この場合、表示装置は、例えばマウスやポインティングデバイスを使用して、ユーザーのジェスチャー、ユーザーの手又は足によるボタンの押下、又は他の方法で、ストロークを開始させてもよい。更に、ユーザーは、同じ又は異なるジェスチャー、ボタンを離す、又はマウスやポインティングデバイスを使用して、ストロークを終了させてもよい。

ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレイに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書きデータには、描画ツール（直線描画ツール、円形描画ツール等）を使った図形の描写等も含まれる。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。手書き入力は、タッチインターフェース、ペンやスタイラスなどの触覚オブジェクト、又はユーザーの体を使って実行されてもよい。また、手書き入力は、ジェスチャーベースの入力、手の動きの追跡入力、又はユーザーによる他のタッチフリー入力など、他のタイプの入力を介して実行されてもよい。本発明の実施形態では、手書き入力及び手書き入力データに言及するが、他の形態の手書き入力が利用されてもよい。

ストロークデータに基づいてディスプレイに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。ストロークデータが手書き認識して変換されたオブジェクトには、テキストの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等も含まれてよい。テキストとは主に１つ以上の文字を含む文字列（文字コード）であり、数字、記号なども含む。テキストを文字列という場合がある。

ユーザー情報は、ユーザーを特定できる情報であればよい。本実施形態では、ユーザー情報は、参加者名又はユーザーＩＤという用語で説明され、参加者名とユーザーＩＤは相互に変換可能である。

記憶装置は、議事録が記憶されている装置であればよい。議事録は、会議にて議論された内容や取り決められたことなどが記録された情報である。本実施形態では、記録情報（結合画像動画、テキストデータ）及びオブジェクト情報が議事録に保存されている。記録情報記憶部７００１が記憶装置の一例である。記録情報記憶部７００１を情報処理システムが有していてもよい。

会議とは、関係者が対面又はリモートで、特定の目的に関して意見交換し、合意、施策などの意思決定をすること。会議は、会、会合、集会、寄り合い、集まり、ミーティングなどともいう。

予め定められた規則とは、手書きされた複数のストロークデータをどのように区切るかを決まりである。規則を条件と称してもよい。本実施形態では、この規則を時間的な間隔として説明する。

＜遠隔会議における議事録の作成方法の一例＞
図３を参照して、パノラマ画像とアプリの画面を用いた議事録の作成方法の概略を説明する。図３は、遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。図３に示すように、図示する自拠点１０２にいるユーザーが遠隔会議サービスシステム９０を利用して、他の拠点１０１と遠隔会議を行っている。

本実施形態の記録情報作成システム１００は、マイクとスピーカを備えたミーティングデバイス６０が撮像した水平パノラマ画像（以下、パノラマ画像という）と、端末装置１０が実行するアプリケーション（以下、アプリという）が作成する画面と、を用いて、記録情報（議事録）を作成する。音声については、記録情報作成システム１００は、遠隔会議アプリ４２が受信する音声と、ミーティングデバイス６０が取得する音声とを合成して、記録情報に含める。以下、概略を説明する。

(1) 端末装置１０では、後述する情報記録アプリ４１と遠隔会議アプリ４２とが動作している。この他、資料表示用のアプリなども動作していてよい。情報記録アプリ４１は、端末装置１０が出力する音声（遠隔会議アプリ４２が他拠点から受信した音声を含む。）をミーティングデバイス６０（第二の機器、機器の一例）に送信する。ミーティングデバイス６０は、自身が取得している音声と、遠隔会議アプリ４２の音声とをミキシング（合成）する。

(2) ミーティングデバイス６０はマイクを備え、音声を取得した方向に基づき、パノラマ画像から話者を切り出す処理を行い、話者画像を作成する。ミーティングデバイス６０は、パノラマ画像と話者画像の両方を端末装置１０に送信する。

(3) 端末装置１０で動作する情報記録アプリ４１は、パノラマ画像２０３と話者画像２０４を表示できる。情報記録アプリ４１は、ユーザーが選択した任意のアプリ画面（例えば遠隔会議アプリ４２の画面１０３）と、パノラマ画像２０３と話者画像２０４と、を結合する。例えば、左側にパノラマ画像２０３と話者画像２０４、右側に遠隔会議アプリ４２の画面１０３が配置されるように、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する（以下、結合画像１０５という）。(3)の処理は繰り返し実行されるので、結合画像１０５は動画となる（以下、結合画像動画という）。また、情報記録アプリ４１は、結合画像動画に合成された音声を結合して音声付きの動画を作成する。

なお、本実施形態では、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する例を説明するが、情報記録アプリ４１がこれらを別々に保存し、再生時に画面に配置してもよい。

(4) 情報記録アプリ４１は、編集作業（ユーザーによる不要箇所のカット）を受け付け、結合画像動画を完成させる。結合画像動画は記録情報の一部を構成する。

(5) 情報記録アプリ４１は、作成した結合画像動画（音声付き）をストレージサービスシステム７０に送信し保存しておく。

(6) また、情報記録アプリ４１は、結合画像動画から音声のみを抽出しておき（結合前の音声を取っておいてもよい）、抽出した音声を、情報処理システム５０に送信する。情報処理システム５０は音声をテキストデータに変換する音声認識サービスシステム８０に送信し、音声をテキスト化する。テキストデータには、録画開始から何分後に話したか、というデータも含まれる。

なお、リアルタイムのテキスト化の場合、ミーティングデバイス６０が情報処理システム５０に直接音声を送信する。情報処理システム５０は音声認識により得られたテキストデータをリアルタイムに情報記録アプリ４１に送信する。

(7) 情報処理システム５０は、結合画像動画を格納したストレージサービスシステム７０に、テキストデータを追加で格納する。テキストデータは記録情報の一部を構成する。

なお、情報処理システム５０は、ユーザーに対し利用したサービスに応じた課金処理を実行できる。例えば、課金はテキストデータ量、結合画像動画のファイルサイズ、処理時間などに基づいて算出される。

このように、結合画像動画には、ユーザーを含む周囲のパノラマ画像や話者画像が表示され、更に、遠隔会議アプリ４２など、遠隔会議中に表示されたアプリの画面が表示される。遠隔会議の参加者や参加者でない者が、結合画像動画を議事録として閲覧した場合、遠隔会議中の様子が臨場感と共に再現される。

＜システム構成例＞
続いて、図４を参照して、記録情報作成システム１００のシステム構成を説明する。図４は、記録情報作成システム１００の構成例を示す。図４では、遠隔会議を行う複数の拠点のうち１つの拠点（自拠点１０２）を示し、自拠点１０２における端末装置１０がネットワークを介して情報処理システム５０と、ストレージサービスシステム７０と、遠隔会議サービスシステム９０と、通信する。自拠点１０２には更に、ミーティングデバイス６０と電子黒板２が配置され、端末装置１０はこのミーティングデバイス６０とＵＳＢケーブル等を介して通信可能に接続されている。なお、ミーティングデバイス６０、電子黒板２及び情報処理システム５０が機器管理システムとして動作する。

端末装置１０では、少なくとも情報記録アプリ４１と遠隔会議アプリ４２とが動作する。遠隔会議アプリ４２は、他の拠点１０１の端末装置１０とネットワーク上の遠隔会議サービスシステム９０を介して通信することができ、各拠点のユーザー同士が遠隔地から会議できるようになっている。情報記録アプリ４１は、遠隔会議アプリ４２が実施する遠隔会議における記録情報を、情報処理システム５０及びミーティングデバイス６０の機能を使って作成する。

なお、本実施形態では、遠隔会議中の記録情報を作成する例を説明するが、会議は、遠隔の拠点と通信する会議でなくてもよい。つまり、会議は１拠点内の参加者のみが参加する会議でもよい。この場合、ミーティングデバイス６０が撮像する画像と集音した音声がそれぞれ合成なしに保存される他、情報記録アプリ４１の処理に変更はない。

端末装置１０には通常の画角のカメラが内蔵されており（外付けでもよい）、端末装置１０を操作するユーザー１０７を含む正面の画像を撮像している。通常の画角とは、パノラマ画像でない画像であるが、本実施形態では、主に全天球画像のように曲面でない平面画像である。したがって、ユーザーは、情報記録アプリ４１を意識することなく、遠隔会議アプリ４２を使用した従来の遠隔会議が可能である。情報記録アプリ４１やミーティングデバイス６０は、端末装置１０の処理負荷増を除けば遠隔会議アプリ４２に影響を与えない。なお、遠隔会議アプリ４２はミーティングデバイス６０が撮像するパノラマ画像や話者画像を遠隔会議サービスシステム９０に送信することも可能である。

情報記録アプリ４１はミーティングデバイス６０と通信して記録情報を作成する。情報記録アプリ４１はまた、ミーティングデバイス６０が取得した音声と遠隔会議アプリ４２が他の拠点から受信した音声との合成等を行う。この合成はミーティングデバイス６０が行う場合がある。ミーティングデバイス６０は、パノラマ画像の撮像装置、マイク、及び、スピーカを備えたミーティング用のデバイスである。端末装置１０が有するカメラは正面の限られた範囲しか撮像できないが、ミーティングデバイス６０はミーティングデバイス６０を囲む全周囲（必ずしも全周囲でなくてもよい）を撮像できる。ミーティングデバイス６０は図４に示す複数の参加者１０６を常に画角に収めることができる。

この他、ミーティングデバイス６０は、パノラマ画像からの話者画像の切り出し等を行う。なお、ミーティングデバイス６０は、机の上に限らず自拠点１０２のどこに配置されてもよい。ミーティングデバイス６０は全天球画像を撮像できるので、例えば天井に配置されてもよい。

情報記録アプリ４１は、端末装置１０で実行中のアプリの一覧表示、上記した記録情報のための画像合成（結合画像動画の作成）、結合画像動画の再生、編集の受け付け等を行う。また、情報記録アプリ４１は、実施された又はこれから実施される予定の遠隔会議のリスト表示、等を行う。遠隔会議のリストは、記録情報に関する情報に使用され、ユーザーが遠隔会議と記録情報とを結びつけることができる。

遠隔会議アプリ４２は、他の拠点１０１との通信接続、他の拠点１０１との画像及び音声の送受信、画像の表示や音声の出力等を行う。

なお、情報記録アプリ４１及び遠隔会議アプリ４２はＷｅｂアプリでもネイティブアプリでもよい。Ｗｅｂアプリとは、Ｗｅｂサーバー上のプログラムとＷｅｂブラウザ上のプログラムが協働して処理を行うアプリであり、端末装置１０へのインストールが不要なアプリである。ネイティブアプリとは、端末装置１０にインストールして利用されるアプリである。本実施形態では、両者ともネイティブアプリであるとして説明する。

端末装置１０は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末等、通信機能を備えた汎用的な情報処理装置でよい。端末装置１０は、この他、電子黒板２、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ、カーナビ、産業機械、医療機器、ネットワーク家電等でもよい。端末装置１０は情報記録アプリ４１と遠隔会議アプリ４２が動作する装置であればよい。

電子黒板２は、ペンや指等の入力手段でタッチパネルに手書きされたデータをディスプレイに表示する。電子黒板２は、有線又は無線で端末装置１０等と通信することができ、端末装置１０が表示する画面を取り込んでディスプレイに表示することができる。電子黒板２は、手書きデータをテキストデータに変換したり、他の拠点の電子黒板２とディスプレイに表示される情報を共有したりすることができる。電子黒板２は、タッチパネルを有さない単なる白板にプロジェクタが映像を投影する形態のものでもよい。また、電子黒板２は、タッチパネルを備えたタブレット端末、ノートＰＣ、ＰＤＡ、ゲーム機等でもよい。

電子黒板２は、情報処理システム５０と通信することができる。電子黒板２は、例えば、電源オンされた後、情報処理システム５０にポーリングするなどして、情報処理システム５０から情報を受信できる。

情報処理システム５０は、ネットワーク上に配置された一台以上の情報処理装置である。情報処理システム５０は、情報記録アプリ４１と協働して処理を行う１つ以上のサーバーアプリと、基盤サービスを有している。このサーバーアプリは、遠隔会議のリストの管理、遠隔会議で記録された記録情報の管理、各種設定やストレージパスの管理等を行う。基盤サービスは、ユーザー認証や契約、課金処理等を行う。

なお、情報処理システム５０の機能の全て又は一部は、クラウド環境に存在してもよいし、オンプレミス環境に存在してもよい。情報処理システム５０は複数台のサーバー装置により構成されてもよいし、一台の情報処理装置により構成されてもよい。例えば、サーバーアプリと基盤サービスが別々の情報処理装置より提供されてよいし、更にサーバーアプリ内の機能ごとに情報処理装置が存在してもよい。情報処理システム５０と次述するストレージサービスシステム７０、音声認識サービスシステム８０が一体でもよい。

ストレージサービスシステム７０は、ネットワーク上の記憶手段であり、ファイル等の保存を受け付けるストレージサービスを提供する。ストレージサービスシステム７０としてはＯｎｅ Ｄｒｉｖｅ（登録商標）、Ｇｏｏｇｌｅ Ｗｏｒｋｓｐａｃｅ（登録商標）、ＤｒｏｐＢｏｘ（登録商標）等が知られている。ストレージサービスシステム７０は、オンプレミスのＮＡＳ（Network Attached Storage）等でもよい。

音声認識サービスシステム８０は、音声データに音声認識を行いテキストデータに変換するサービスを提供する。音声認識サービスシステム８０は、汎用的な商用サービスでもよいし、情報処理システム５０の機能の一部でもよい。

＜ハードウェア構成例＞
図５を参照して、本実施形態に係る情報処理システム５０及び端末装置１０のハードウェア構成について説明する。

＜＜情報処理システム及び端末装置＞＞
図５は、本実施形態に係る情報処理システム５０及び端末装置１０の一例のハードウェア構成を示す図である。図５に示されているように、情報処理システム５０及び端末装置１０はコンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ（Hard Disk）５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ/Ｆ(Interface)５０８、ネットワークＩ/Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、光学ドライブ５１４、メディアＩ/Ｆ５１６を備えている。

これらのうち、ＣＰＵ５０１は、情報処理システム５０及び端末装置１０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ/Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ/Ｆ５０９は、ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図５に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード５１１は、文字、数値、又は各種指示などの入力に使用される複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ５１４は、着脱可能な記録媒体の一例としての光記憶媒体５１３に対する各種データの読み出し又は書き込みを制御する。なお、光記憶媒体５１３は、ＣＤ，ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）等でよい。メディアＩ/Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

＜＜ミーティングデバイス＞＞
図６を用いて、ミーティングデバイス６０のハードウェア構成を説明する。図６は、３６０°の動画を撮像可能なミーティングデバイス６０のハードウェア構成図の一例である。以下では、ミーティングデバイス６０は撮像素子を使用した、デバイスの周囲３６０°の動画を所定の高さで撮像する装置とするが、撮像素子は１つでも２つ以上のいくつでもよい。また、必ずしも専用装置である必要はなくPCやデジタルカメラ、スマートフォン等に後付けの３６０°動画の撮像ユニットを取り付けることで、実質的に同じ機能を有するようにしてもよい。

図６に示されているように、ミーティングデバイス６０は、撮像ユニット６０１、画像処理ユニット６０４、撮像制御ユニット６０５、マイク６０８、音処理ユニット６０９、ＣＰＵ(Central Processing Unit)６１１、ＲＯＭ(Read Only Memory)６１２、ＳＲＡＭ(Static Random Access Memory)６１３、ＤＲＡＭ(Dynamic Random Access Memory)６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、アンテナ６１７ａ、音声センサー６１８、及びMicro USB用の凹状の端子６２１によって構成されている。

このうち、撮像ユニット６０１は、半球画像を結像するための３６０°の画角を有する広角レンズ（いわゆる魚眼レンズ）６０２と、各広角レンズに対応させて設けられている撮像素子６０３（イメージセンサー）を備えている。撮像素子６０３は、魚眼レンズ６０２による光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサーやＣＣＤ(Charge Coupled Device)センサーなどの画像センサー、この画像センサーの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット６０１の撮像素子６０３（イメージセンサー）は、画像処理ユニット６０４とパラレルＩ/Ｆバスで接続されている。一方、撮像ユニット６０１の撮像素子６０３は、撮像制御ユニット６０５とは、シリアルＩ/Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット６０４、撮像制御ユニット６０５及び音処理ユニット６０９は、バス６１０を介してＣＰＵ６１１と接続される。更に、バス６１０には、ＲＯＭ６１２、ＳＲＡＭ６１３、ＤＲＡＭ６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、及び音声センサー６１８なども接続される。

画像処理ユニット６０４は、撮像素子６０３から出力される画像データをパラレルＩ/Ｆバスを通して取り込み、画像データに対して所定の処理を施して、魚眼映像からパノラマ画像や話者画像のデータを作成する。更に、画像処理ユニット６０４は、パノラマ画像と話者画像等を合成処理して、１つの動画を出力する。

撮像制御ユニット６０５は、一般に撮像制御ユニット６０５をマスタデバイス、撮像素子６０３をスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子６０３のレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ６１１から受け取る。また、撮像制御ユニット６０５は、同じくＩ２Ｃバスを利用して、撮像素子６０３のレジスタ群のステータスデータ等を取り込み、ＣＰＵ６１１に送る。

また、撮像制御ユニット６０５は、操作部６１５の撮像開始ボタンが押下されたタイミングあるいはPCから撮像開始指示を受信したタイミングで、撮像素子６０３に画像データの出力を指示する。ミーティングデバイス６０によっては、ディスプレイ（例えば、ＰＣやスマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子６０３からの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット６０５は、後述するように、ＣＰＵ６１１と協働して撮像素子６０３の画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、ミーティングデバイス６０にはディスプレイが設けられていないが、表示部を設けてもよい。

マイク６０８は、音を音（信号）データに変換する。音処理ユニット６０９は、マイク６０８ａ、マイク６０８ｂ、マイク６０８ｃから出力される音声データをＩ/Ｆバスを通して取り込み、これらの音声データをミキシングして所定の処理を施す。音処理ユニット６０９はまた、マイク６０８ａ、マイク６０８ｂ、マイク６０８ｃから入力される音声レベル（音量）から音源（発話者）の方向を判断する。

ＣＰＵ６１１は、ミーティングデバイス６０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ミーティングデバイス６０を動作させるための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部６１５は、撮像開始ボタン６１５ａなどの操作ボタンの総称である。ユーザーは操作部６１５を操作することで、撮像や録画を開始する他、電源ON/OFFの実行、通信接続の実行、種々の撮像モードや撮像条件などの設定を入力する。

外部機器接続Ｉ/Ｆ６１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＰＣ等である。ＤＲＡＭ６１４に記憶された動画データや画像データは、この外部機器接続Ｉ/Ｆ６１６を介して外部端末に送信されたり、外付けのメディアに記録されたりする。

通信部６１７は、ミーティングデバイス６０に設けられたアンテナ６１７ａを介して、Ｗｉ－Ｆｉ（登録商標）等の無線通信技術によって、インターネット経由でクラウドサーバと通信し、記憶した動画データや画像データをクラウドサーバに送信してもよい。また、通信部６１７は、BLE（Bluetooth Low Energy。登録商標）やNFC等の近距離無線通信技術を用いて付近のデバイスと通信可能でもよい。

音声センサー６１８は、ミーティングデバイス６０の周辺（水平面）の３６０°においてどの方向から音声が大きい音で入力されたかを特定するために、３６０°の音声情報を取得するセンサーである。音処理ユニット６０９は入力した３６０°の音声パラメータに基づき、最も強い方向を特定して３６０°における音声入力方向を出力する。

なお、他のセンサー（方位・加速度センサーやGPS等）が方位・位置・角度・加速度等を算出し、画像補正や位置情報付加に用いてもよい。

また画像処理ユニット６０４は、パノラマ画像の作成を次の方法で行う。ＣＰＵ６１１は、球面映像を入力するイメージセンサーから入力されたRAWデータをBayer変換（RGB補完処理）等の所定のカメラ映像処理を行って魚眼映像（曲面の映像）を作成する。更に作成した魚眼映像（曲面の映像）に対してDeWarp処理（歪み補正処理）を行い、ミーティングデバイス６０の周辺の３６０°が写ったパノラマ画像（平面の映像）を作成する。

ＣＰＵ６１１は話者画像の作成を次の方法で行う。ＣＰＵ６１１は周辺の３６０°が写ったパノラマ画像（平面の映像）から、話者を切り出した話者画像を作成する。ＣＰＵ６１１は、音声センサー６１８及び音処理ユニット６０９を用いて出力した360°から特定した音声入力方向を、話者の方向として、上記パノラマ画像から話者画像を切り出す。このとき音声入力方向から人の画像を切り出す方法は、360°から特定した音声方向を中心に30°を切り取って、その中で顔検出を実施して切り出す。ＣＰＵ６１１は、更に切り出した話者画像のうち、直近で発言のあった特定人数分（３名等）の話者画像を特定する。

パノラマ画像と、１以上の話者画像は個別に情報記録アプリ４１に送信されてもよいし、ミーティングデバイス６０がこれらから１枚の画像を作成して、情報記録アプリ４１に送信してもよい。本実施形態では、パノラマ画像と１以上の話者画像は個別にミーティングデバイス６０から情報記録アプリ４１に送信されるものとする。

図７は、ミーティングデバイス６０の撮像範囲を説明する図である。図７（ａ）に示すように、ミーティングデバイス６０は水平方向に３６０°の範囲を撮像する。図７（ｂ）に示すように、ミーティングデバイス６０は、ミーティングデバイス６０の高さに水平な方向を０°とし、上下に所定の角度を撮像範囲とする。

図８は、パノラマ画像と話者画像の切り出しを説明する図である。図８に示すように、ミーティングデバイス６０が撮像する画像は球体の一部１１０をなすため、三次元の形状を有している。ミーティングデバイス６０は、図７（ｂ）で示したように、上下の所定角度と左右の所定角度ごとに画角を区切って透視投影変換を行う。透視投影変換を水平方向３６０°の全体で隙間なく行うことで、所定数の平面画像が得られるので、所定数の平面画像を左右に連結することでパノラマ画像１１１が得られる。また、ミーティングデバイス６０はパノラマ画像から音声方向を中心に所定の範囲で顔検出を実施して、顔の中心から左右に１５°（全体で３０°）を切り出すことで、話者画像１１２を作成する。

＜＜電子黒板＞＞
図９は、電子黒板２のハードウェア構成図である。図９に示されているように、電子黒板２は、ＣＰＵ(Central Processing Unit)４０１、ＲＯＭ(Read Only Memory)４０２、ＲＡＭ(Random Access Memory)４０３、ＳＳＤ(Solid State Drive)４０４、ネットワークＩ/Ｆ４０５、及び、外部機器接続Ｉ/Ｆ(Interface)４０６を備えている。

これらのうち、ＣＰＵ４０１は、電子黒板２全体の動作を制御する。ＲＯＭ４０２は、ＩＰＬ(Initial Program Loader)等のＯＳの起動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＳＳＤ４０４は、電子黒板２用のプログラム等の各種データを記憶する。ネットワークＩ/Ｆ４０５は、通信ネットワークとの通信を制御する。外部機器接続Ｉ/Ｆ４０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ４３０、外付け機器（マイク４４０、スピーカ４５０、カメラ４６０）である。

また、電子黒板２は、キャプチャデバイス４１１、ＧＰＵ４１２、ディスプレイコントローラ４１３、接触センサー４１４、センサコントローラ４１５、電子ペンコントローラ４１６、近距離通信回路４１９、及び近距離通信回路４１９のアンテナ４１９ａ、電源スイッチ４２２及び選択スイッチ類４２３を備えている。

これらのうち、キャプチャデバイス４１１は、外付けのＰＣ４７０のディスプレイの表示情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)４１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ４１３は、ＧＰＵ４１２からの出力画像をディスプレイ４８０等へ出力するために画面表示の制御及び管理を行う。接触センサー４１４は、ディスプレイ４８０上に電子ペン４９０やユーザーの手Ｈ等が接触したことを検知する。センサコントローラ４１５は、接触センサー４１４の処理を制御する。接触センサー４１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ４８０の上側両端部に設置された２つ受発光装置が、ディスプレイ４８０に平行して複数の赤外線を放射し、ディスプレイ４８０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサー４１４である受発光装置は、物体によって赤外線が遮断された位置（受光素子上の位置）をセンサコントローラ４１５に出力し、センサコントローラ４１５が、これらの２つの位置情報から物体の接触位置である座標位置を特定する。電子ペンコントローラ４１６は、電子ペン４９０とＢｌｕｅｔｏｏｔｈ通信することで、ディスプレイ４８０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路４１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ４２２は、電子黒板２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類４２３は、例えば、ディスプレイ４８０の表示の明暗や色合い等を調整するためのスイッチ群である。

更に、電子黒板２は、バスライン４１０を備えている。バスライン４１０は、図９に示されているＣＰＵ４０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、接触センサー４１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネルでもよい。接触センサー４１４は、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルでもよい。接触センサー４１４は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルでもよい。この他、接触センサー４１４は種々の検出手段を用いてもよい。また、電子ペンコントローラ４１６が、電子ペン４９０のペン先及びペン尻だけでなく、電子ペン４９０のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

＜機能について＞
次に、図１０を参照して、記録情報作成システム１００が有する機能構成について説明する。図１０は、記録情報作成システム１００における端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の機能をブロックに分けて説明する機能ブロック図の一例である。

＜＜端末装置＞＞
端末装置１０で動作する情報記録アプリ４１は、通信部１１、操作受付部１２、表示制御部１３、アプリ画面取得部１４、音声取得部１５、デバイス通信部１６、録画制御部１７、音声データ処理部１８、録画再生部１９、アップロード部２０、編集処理部２１、及び、コード解析部２２、を有している。端末装置１０が有するこれら各部は、図５に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開された情報記録アプリ４１に従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置１０は、図５に示されているＨＤ５０４等によって構築される記憶部１０００を有している。記憶部１０００には情報記憶部１００１が構築されている。

通信部１１は、ネットワークを介して情報処理システム５０と各種の情報を通信する。通信部１１は、例えば、遠隔会議のリストを情報処理システム５０から受信したり、音声データの認識要求を情報処理システム５０に送信したりする。

表示制御部１３は情報記録アプリ４１に設定されている画面遷移にしたがって情報記録アプリ４１においてユーザーインターフェースとなる各種の画面を表示する。操作受付部１２は、情報記録アプリ４１に対する各種の操作を受け付ける。

アプリ画面取得部１４は、デスクトップ画面、又は、ユーザーが選択したアプリの画面をＯＳ（Operating System）等から取得する。ユーザーが選択したアプリが遠隔会議アプリ４２の場合、遠隔会議アプリ４２が生成する画面（各拠点の画像、資料の画像等）が得られる。

音声取得部１５は、遠隔会議アプリ４２が遠隔会議において受信した音声データを遠隔会議アプリ４２から取得する。なお、音声取得部１５が取得する音声は、端末装置１０が集音する音声は含まれず、遠隔会議において受信された音声データのみである点に注意されたい。ミーティングデバイス６０が別に、音声を集音しているためである。

デバイス通信部１６は、ＵＳＢケーブルなどを利用してミーティングデバイス６０と通信する。デバイス通信部１６は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等でミーティングデバイス６０と通信してよい。デバイス通信部１６は、パノラマ画像と話者画像をミーティングデバイス６０から受信し、音声取得部１５が取得した音声データをミーティングデバイス６０に送信する。デバイス通信部１６は、ミーティングデバイス６０で合成された音声データを受信する。

録画制御部１７は、デバイス通信部１６が受信したパノラマ画像と話者画像、及び、アプリ画面取得部１４が取得したアプリの画面を結合し、結合画像を作成する。また、録画制御部１７は繰り返し作成する結合画像を時系列に接続して結合画像動画を作成し、ミーティングデバイス６０で合成された音声データを結合画像動画に結合して音声付きの結合画像動画を作成する。

音声データ処理部１８は、録画制御部１７が抽出する結合画像動画に結合された音声データ、又は、ミーティングデバイス６０から受信した合成後の音声データの、テキストデータへの変換を情報処理システム５０に要求する。

録画再生部１９は、結合画像動画の再生を行う。結合画像動画は、録画中は端末装置１０に保存され、その後、情報処理システム５０にアップロードされる。

アップロード部２０は、遠隔会議が終了すると、結合画像動画を情報処理システム５０に送信する。

編集処理部２１は、ユーザーの操作に応じて、結合画像動画の編集（一部の削除、つなぎ合わせ等）を実行する。

コード解析部２２は、パノラマ画像に含まれる二次元コードを検出すると共に、二次元コードを解析して機器識別情報を取得する。

図１１は、情報記憶部１００１が記憶している動画記録情報を示す。動画記録情報は、会議ＩＤ、録画ＩＤ、更新日時、タイトル、アップロード、保存先等の各項目を有している。ユーザーが情報処理システム５０にログインすると、情報記録アプリ４１は情報処理システム５０の会議情報記憶部５００１から会議情報をダウンロードする。会議情報に含まれる会議ＩＤなどが動画記録情報に反映される。図１１の動画記録情報は、あるユーザーが操作する端末装置１０が保持するものである。

・会議ＩＤは、開催された遠隔会議を識別する識別情報である。会議ＩＤは、会議管理システム９に遠隔会議の予定が登録された際に採番されるか、又は、情報記録アプリ４１からの要求で情報処理システム５０が採番する。

・録画ＩＤは、遠隔会議において録画された結合画像動画を識別する識別情報である。録画ＩＤはミーティングデバイス６０が採番するが、情報記録アプリ４１や情報処理システム５０が採番してもよい。同じ会議ＩＤに異なる録画ＩＤが付与されるのは、遠隔会議の途中で録画が終了したが、何らかの理由で再開した場合を示す。

・更新日時は、結合画像動画が更新された（録画が終了した）日時である。結合画像動画が編集された場合、編集された日時である。

・タイトルは、会議の会議名である。会議管理システム９への会議の登録時に設定されてもよいし、ユーザーが任意に設定してもよい。

・アップロードは、結合画像動画が情報処理システム５０にアップロードされたか否かを示す。

・保存先は、ストレージサービスシステム７０において、結合画像動画、テキストデータ、及び、オブジェクト情報が保存されている場所（ＵＲＬやファイルパス）を示す。したがって、ユーザーはアップロードされた結合画像動画を任意に閲覧できる。なお、結合画像動画とテキストデータは、例えばＵＲＬに続いて別々のファイル名で保存される。

＜＜ミーティングデバイス＞＞
図１０に戻って説明する。ミーティングデバイス６０は、端末通信部６１、パノラマ画像作成部６２、話者画像作成部６３、集音部６４、及び、音声合成部６５を有している。ミーティングデバイス６０が有するこれら各部は、図６に示されている各構成要素のいずれかが、ＲＯＭ６１２からＤＲＡＭ６１４に展開されたプログラムに従ったＣＰＵ６１１からの命令によって動作することで実現される機能、又は機能する手段である。

端末通信部６１は、ＵＳＢケーブルなどを利用して端末装置１０と通信する。端末通信部６１は、有線ケーブルで接続されるだけでなく、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等で端末装置１０と通信可能であればよい。

パノラマ画像作成部６２はパノラマ画像を作成する。話者画像作成部６３は話者画像を作成する。これらの作成方法は図７、図８にて説明した。

集音部６４は、ミーティングデバイス６０が有するマイクが取得する音声を音声データ（デジタル）に変換する。これにより、端末装置１０側の拠点でユーザーや参加者が発言した内容が集音される。

音声合成部６５は、端末装置１０から送信された音声と集音部６４が集音した音声を合成する。これにより、他の拠点１０１で発言された音声と、自拠点１０２の発言がまとめられる。

＜＜情報処理システム＞＞
情報処理システム５０は、通信部５１、認証部５２、画面生成部５３、コミュニケーション管理部５４、機器管理部５５、テキスト変換部５６、手書きデータ分割部５７、検索部５８を有する。情報処理システム５０が有するこれら各部は、図５に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム５０は、図５に示されているＨＤ５０４等によって構築される記憶部５０００を有している。記憶部５０００には、会議情報記憶部５００１、録画情報記憶部５００２、対応付け情報記憶部５００３、ユーザー情報記憶部５００４、が構築される。

通信部５１は、端末装置１０と各種の情報を送受信する。通信部５１は、例えば、遠隔会議のリストを端末装置１０に送信したり、音声データの認識要求を端末装置１０から受信したりする。

認証部５２は、端末装置１０を操作するユーザーを認証する。認証部５２は、例えば、通信部５１によって受信された認証要求に含まれている認証情報（ユーザーＩＤ及びパスワード）が予め保持する認証情報と一致するか否かにより、ユーザーを認証する。なお、認証情報は、ＩＣカードのカード番号、顔や指紋などの生体認証情報等でもよい。また、認証部５２は、外部の認証システムやＯＡＵＴＨなどの認証方法で認証してもよい。

画面生成部５３は、情報記録アプリ４１が表示する情報を提供する。画面の構成は情報記録アプリ４１が有しているので、画面生成部５３は、ヒートマップや活発度などをＸＭＬ等で端末装置１０に提供する。端末装置１０がＷｅｂアプリを実行する場合、画面生成部５３は、Ｗｅｂアプリが表示する画面情報の生成を行う。画面情報は、ＨＴＭＬ、ＸＭＬ、ＣＳＳ（Cascade Style Sheet）、及びJavaScript（登録商標）等により作成される。

コミュニケーション管理部５４は、各ユーザーのアカウント又は情報処理システム５０に付与されたシステム用のアカウントで、遠隔会議に関する情報を会議管理システム９から取得する。コミュニケーション管理部５４は、予約された会議の会議情報を会議ＩＤと対応付けて会議情報記憶部５００１に記憶させる。また、コミュニケーション管理部５４は、テナントに所属するユーザーに閲覧権限がある会議情報を取得する。会議には会議ＩＤが設定されているので、会議ＩＤにより遠隔会議と記録情報が対応付けられる。

機器管理部５５は、会議で使用される電子黒板２とミーティングデバイス６０の機器識別情報を受信した場合、それらを対応付けて対応付け情報記憶部５００３に保存する。したがって、会議ＩＤと電子黒板２の機器識別情報とミーティングデバイス６０の機器識別情報が対応付けられる。会議ＩＤには結合画像動画も対応付けられるので、電子黒板２で入力された手書きデータと結合画像動画も対応付けられる。また、機器管理部５５は、録画が終了されると（会議が終了すると）、対応付け情報記憶部５００３から対応付けを削除する。

テキスト変換部５６は、端末装置１０からテキストデータへの変換を要求された音声データを外部の音声認識サービスシステム８０を利用してテキストデータに変換する。テキスト変換部５６自身が変換してもよい。

手書きデータ分割部５７は、電子黒板２から送信された手書きデータについて、手書きの中断による時間的な区切りに応じて一まとまりのストロークデータを１つの手書きデータに区切る。本実施形態では、手書きデータに筆記者ＩＤが対応付けられる。また、検索時に提供できるように１つの手書きデータが１つのファイル（例えばＰＤＦファイル）で保存される。なお、手書きデータは、手書き場所の違いによる距離的な区切りのみ、又は、時間と距離の両方で分割されてもよい。

図１２は、コミュニケーション管理部５４が管理する、会議情報記憶部５００１に記憶された会議情報の一例である。コミュニケーション管理部５４は上記のアカウントを使ってテナントに所属する当該ユーザーが閲覧権限のある遠隔会議のリストを取得できる。本実施形態では、遠隔会議を例にしているが、遠隔会議のリストには１つの会議室だけで開催される会議も含まれている。

会議情報は会議ＩＤで管理され、参加者、タイトル（会議名）、開始日時、終了日時、場所などと対応付けられている。これらは会議情報の一例であり、会議情報は、他にも情報を含みうる。

・参加者の項目は、会議の参加者である。

・タイトルの項目は、会議名や会議の議題など、会議の内容を表す。

・開始日時の項目は、会議が開始される予定の日時である。

・終了日時の項目は、会議が終了する予定の日時である。

・場所の項目は、会議の開催場所であり、例えば会議室や、支社名、建屋などである。

・電子黒板情報の項目は、会議で使用された電子黒板２の識別情報である。

・ミーティングデバイスの項目は、会議で使用されたミーティングデバイス６０の識別情報である。

・閲覧権限の項目は、会議の開催者が予め会議情報を登録する際又は開催後に閲覧権限をもつユーザーとして登録したユーザーＩＤである。例えば、会議ごとに、参加者のみ、参加者＋任意のユーザー名、又は、任意のユーザー名などが会議情報に登録される。登録されたユーザー以外が検索した場合、検索部５８は検索に適合しても当該会議の記録情報及びオブジェクト情報に関する検索結果を提供しない。

図１１，図１２に示すように、会議ＩＤにより会議で録画された結合画像動画が特定される。

録画情報記憶部５００２に記憶されている録画情報は図１１と同様でよい。ただし、情報処理システム５０では、テナントに所属する全てのユーザーが録画した結合画像動画のリストを有する。

図１３は、対応付け情報記憶部５００３に記憶された、会議ＩＤに対し、電子黒板２の機器識別情報とミーティングデバイス６０の機器識別情報が対応付けられた対応付け情報を示す。情報記録アプリ４１が機器識別情報を情報処理システム５０に送信してから、録画を終了するまでこの対応付け情報が保持される。

図１４は、ユーザー情報記憶部５００４に記憶されたユーザー情報の一例である。ユーザー情報記憶部５００４には、ユーザーＩＤ、名前、部署、パスワード、権限情報等が対応付けて記憶されている。ユーザーＩＤは例えば職員を識別する識別情報である。名前はユーザーの氏名やニックネームなどである。部署はユーザーが所属する部署である。パスワードはユーザーがログインする際に入力したパスワードと比較される文字列である。権限情報は、ユーザーに関する各種の権限である。記録情報及びオブジェクト情報の検索時に、権限情報は閲覧権限情報となる。権限情報は数が大きいほど権限が強い。例えば、検索者であるユーザーの権限情報が、手書きデータやテキストデータに添付されたユーザーの権限情報以上でないと、情報処理システム５０が検索結果を提供しないという制御が可能になる。

＜＜ストレージサービスシステム＞＞
ストレージサービスシステム７０は記録情報及びオブジェクト情報を記憶するサービスシステムであればよい。記録情報記憶部７００１には、記録情報（結合画像動画、テキストデータ）及びオブジェクト情報が保存されている。

図１５は、記録情報記憶部７００１に記憶されている記録情報とオブジェクト情報を示す。図１５に示すように、記録情報である結合画像動画とテキストデータ、及び、オブジェクト情報が会議ＩＤに対応付けて保存されている。結合画像動画には合成された音声が含まれており、テキストデータは合成後の音声データが音声認識により変換されたものである。オブジェクト情報は後述する電子黒板２に入力された手書きデータなどのオブジェクトに関する情報である。記録情報とオブジェクト情報は会議ＩＤと対応付けられているので、会議情報とも対応付けられている。

図１６は、記録情報の一部であるテキストデータの構造を説明する図である。図１６に示すように、テキストデータは、ＩＤ、time、認識結果文字列、音声データ、拠点識別情報、話者ＩＤの項目が対応付けられている。

・ＩＤは自拠点音声と他拠点音声が所定の規則で分割された場合に採番される識別情報である。所定の規則は、ミーティングデバイス６０（及び音声認識サービスシステム８０の少なくとも一方）に設定されており、例えば、一定時間の無音状態が継続すると区切る、無音状態がなくても一定時間で強制的に区切る、形態素解析により検出した一文ずつ区切る、などである。

・timeは、録画開始からの継続時間による発言時刻である。記録開始時にいわゆる時刻も保存されるので、textが発言された時刻（絶対的な時刻）も分かる。

・認識結果文字列は分割された合成音声が音声認識で変換されたテキストデータの一部である。合成音声は、認識結果文字列の変換元となった音声データである。

・音声データは、拠点の判断後に自拠点音声と他拠点音声が合成された合成音声（分割済み）である。

・拠点識別情報は、自拠点音声の音圧と他拠点音声の音圧に基づいて判断された、音声データが発言された拠点の識別情報である。拠点識別情報は、例えば１が自拠点、２が他拠点を表す。

・話者ＩＤは、認識結果文字列を発言した話者を示すユーザーＩＤである。ユーザーＩＤによりどの参加者が発言したかも特定できる。会議中に話者を識別する方法はいくつか知られている。識別する方法は、例えば、予め各社員が声紋を登録しておく方法、ミーティングデバイス６０が話者の方向を検出しているので、その方向の参加者を顔認識する方法など、どのような方法でもよい。話者ごとにマイクが用意される会場ではどのマイクが集音したかで話者が特定される。

このように、テキストデータ（ここでは認識結果文字列）が話者ＩＤと対応付けられているので、参加者名でテキストデータが検索された場合、検索部５８が話者ＩＤを検索して、当該参加者が発言したテキストデータが特定される。

＜＜電子黒板＞＞
図１７は、電子黒板２の機能をブロックに分けて説明する機能ブロック図である。電子黒板２は、接触位置検出部３１、描画データ生成部３２、データ記録部３３、表示制御部３４、コード生成部３５、通信部３６、及び、認証部３７を有する。電子黒板２が有する各機能は、図９に示されている各構成要素のいずれかが、ＳＳＤ４０４からＲＡＭ４０３上に展開されたプログラムに従ったＣＰＵ４０１からの命令によって動作することで実現される機能又は手段である。

接触位置検出部３１は接触センサー４１４に対し電子ペン４９０が接触した位置の座標を検出する。描画データ生成部３２は電子ペン４９０のペン先が接触した座標を接触位置検出部３１から取得する。描画データ生成部３２はこの座標点列を補間することで接続してストロークデータを生成する。

表示制御部３４は手書きデータやユーザーが操作するためのメニューなどをディスプレイに表示する。

データ記録部３３は、電子黒板２に手書きされた手書きデータ、円や三角などの図形、済などのスタンプ、ＰＣの画面、ファイル等をオブジェクト情報記憶部３００２に保存する。手書きデータ、図形、及び、ＰＣの画面などの画像、ファイル等はオブジェクトとして扱われる。

通信部３６はＷＩ－ＦｉやＬＡＮに接続し、情報処理システム５０と通信する。通信部３６は、オブジェクト情報を情報処理システム５０に送信したり、情報処理システム５０に記憶されたオブジェクト情報を情報処理システム５０から受信してディスプレイ４８０に表示させたりする。

コード生成部３５は、機器情報記憶部３００１に記憶された電子黒板２の機器識別情報と会議で使用可能な機器であることを示す情報を２次元のパターンに符号化して二次元コードを生成する。また、コード生成部３５は電子黒板２の機器識別情報と会議で使用可能な機器であることを示す情報をバーコードに符号化できる。機器識別情報はシリアル番号やＵＵＩＤ（Universally Unique Identifier）などでよい。ユーザーが設定したものでもよい。

認証部３７は、電子黒板２のユーザーを認証する。認証方法は認証部５２と同様でよい。また、認証部３７は認証部５２に認証を依頼してもよい。

また、電子黒板２は、図９に示されているＳＳＤ４０４等によって構築される記憶部３０００を有している。記憶部３０００には機器情報記憶部３００１とオブジェクト情報記憶部３００２が構築されている。

図１８は、機器情報記憶部３００１に記憶されている機器識別情報等を示す。
・機器識別情報は、電子黒板２の識別情報である。
・ＩＰアドレスは、他の装置がネットワークを介して電子黒板２と接続するためのＩＰアドレスである。
・パスワードは電子黒板２に他の装置が接続する際の認証に使用される。

図１９は、オブジェクト情報記憶部３００２に保存されているオブジェクト情報を説明する図である。オブジェクト情報は、電子黒板２が表示するオブジェクトを管理する情報である。オブジェクト情報は情報処理システム５０に送信され議事録として使用される。遠隔会議の開催時に他の拠点に電子黒板２が配置されている場合、オブジェクト情報が共有される。

・会議ＩＤの項目は、情報処理システム５０から通知された会議の識別情報が設定される。

・オブジェクトＩＤの項目は、オブジェクトを識別する識別情報が設定される。

・種別の項目は、オブジェクトの種類が設定され、手書きデータ、図形、画像、等がある。手書きはストロークデータ（座標点列）である。図形は、三角や四角などの幾何学的な形状である。画像は、ＰＣやインターネットなどから取り込まれたＪｐｅｇ、Ｐｎｇ、ＴＩ/ＦＦなどの画像データである。いずれのオブジェクトも、データ本体がオブジェクトＩＤに対応付けられて保存されている。手書きデータが文字認識によりテキストに変換されてもよい。

・電子黒板２の１画面をページと称する。ページの項目はそのページ番号である。

・座標の項目は、電子黒板２の所定の原点を基準とするオブジェクトの位置が設定される。オブジェクトの位置は例えばオブジェクトの外接矩形の左上頂点である。座標は例えば、ディスプレイの画素単位で表される。

・サイズの項目は、オブジェクトの外接矩形の幅と高さが設定される。

・筆記者ＩＤの項目は、オブジェクトを入力したユーザーのユーザーＩＤである。ユーザーは電子黒板２の使用を開始する前に電子黒板２にログインする。ログインによりユーザーＩＤが特定される。例えば、同時には一人のユーザーのみが電子黒板２に入力する場合、最後にログインしたユーザーのユーザーＩＤがオブジェクトに対応付けられる。同時に複数のユーザーが電子黒板２に入力する場合、電子ペンとユーザーＩＤが対応付けられるとよい。例えばユーザーがログインした順番に、電子ペンのＩＤとユーザーＩＤとが対応付けられ、ユーザーが入力に使用した電子ペンにより、オブジェクトを入力したユーザーＩＤが特定される。筆記者ＩＤの項目に複数のユーザーＩＤが登録されているのは、１つの手書きデータが複数のストロークを有し、それぞれを異なるユーザーが手書きしたためである。なお、本実施形態では、筆記者ＩＤは、情報処理システム５０側で付与されるが、説明の便宜上、図１９に図示した。筆記者ＩＤを電子黒板２が付与してもよい。

複数のユーザーＩＤが対応付けられた手書きデータは、複数のユーザーＩＤのうち１つでも検索に適合すれば、適合した手書きデータが提供される。

・タイムスタンプの項目は、オブジェクトの入力が開始された時刻（時間情報の一例）が設定される。タイムスタンプはオブジェクトの入力が終了した時刻でもよい。手書きデータのタイムスタンプは、図２２で説明するように、ストロークとストロークの間の時間により区切られた際の、最初のストローク又は最後のストロークが入力された時刻である。タイムスタンプは、絶対時刻でも会議が始まってから（表示装置の電源ＯＮから）の経過時間でもよい。

＜ストローク、手書きデータ、手書き資料の関係＞
図２０は、ストローク、手書きデータ、及び手書き資料の関係を説明する図である。図２０（ａ）はストロークの一例を示す。図２０（ｂ）は手書きデータの一例を示す。手書きデータは１つ以上のストロークをまとめたものである。図２０（ｃ）は手書き資料の一例を示す。手書き資料は１つ以上の手書きデータを有する。これらに示すように、手書きデータは意味がある複数のストロークのあつまりであり、手書き資料は１つ以上の手書きデータから構成される。手書き資料は手書きデータをまとめたものである。

図２１は、会議情報１４１、手書きデータ１４２、ストロークデータ１４３、及び、ユーザー情報１４４の対応を説明する図である。図２１に示すように、会議情報１４１にはオブジェクト情報（手書きデータを含む）が対応付けられている。手書きデータ１４２はこれを構成する各ストロークデータ１４３と対応付けられている。１つのストロークデータ１４３は、タイムスタンプ、筆記者ＩＤ、及び、点郡の座標データと対応付けられている。また、筆記者ＩＤは、ユーザー情報１４４と対応付けられている。

＜手書きデータの作成＞
本実施形態では、手書きデータは、意味がある１つ以上のストロークがまとめられたストロークの集まりである。検索結果にストロークが一つ一つ表示されても何を筆記していたか把握することが困難なためである。こうすることで、検索結果が見やすくなる。手書きデータは、意味がある複数のストロークのグループと称してよい。

図２２は、手書きデータの区切り方を説明する図である。手書きデータの区切り方として入力されたストロークとストロークの間の時間的な間隔に着目する方法がある。これは連続して手書きされたストロークは、意味がある手書きデータを構成するだろうという考え方に基づいており、手書きデータ分割部５７は、予め設計者が決めたしきい値以上の時間が経過したあとに手書きされたストロークを別の手書きデータとして分割する。

図２２では時間軸に対し、ストロークの書き込み時間が四角３０７で示されている。四角３０７と四角３０７の間隔が、電子黒板２に電子ペンが触れていない時間（ペンアップあらペンダウンまでの時間）である。時間に対し、ストローク３０１、ストローク３０２、ストローク３０３、ストローク３０４、ストローク３０５、が追加されている。電子ペンがストローク３０３を入力後ペンアップしてから、ストローク３０４の入力のためにペンダウンするまでの間隔がしきい値以上であるとする。この場合、手書きデータ分割部５７はストローク３０１、ストローク３０２、ストローク３０３を１つの手書きデータ１５１として記録し、ストローク３０４、ストローク３０５を１つの手書きデータ１５２として記録する。

ペンアップからペンダウンまでの時間を用いて分割する理由は、会議では複数人で一つのオブジェクトを描く場合があるためである。複数人が描いたオブジェクトに対して例えば単純にユーザーＩＤを用いて個人別にストロークを抽出すると、他人のストロークが前提となっているために、各個人別にストロークが何を筆記していたか把握することが困難なことがある。

＜結合画像動画の表示＞
図２３は、情報記録アプリ４１が表示する、結合画像動画表示画面２４０の一例である。なお、結合画像動画表示画面２４０は会議の終了後に表示される画面であるが、会議中の画面もほぼ同じである。結合画像動画表示画面２４０は、会議書誌情報欄２２１、画像表示欄２４１、文字起こしボタン２４２、１つ以上のテキスト表示欄２４３、自動スクロールボタン２４４、検索ボタン２４５を有する。

・会議書誌情報欄２２１は、会議情報の少なくとも一部が表示される欄である。図２３では、会議名、会議が開催される時間、場所が表示されている。

・画像表示欄２４１は、表示ボタン２４１ａ、巻き戻しボタン２４１ｂ、早送りボタン２４１ｃ、タイムインジケータ２４１ｄ、表示速度ボタン２４１ｅ、音量ボタン２４１ｆ等を有する。画像表示欄２４１は、結合画像動画を表示する。図２３では、画像表示欄２４１の結合画像動画は、左側にパノラマ画像と話者画像が配置され、右側に遠隔会議アプリ４２の画面が表示されている。遠隔会議アプリ４２の画面は、遠隔会議中に、拠点の画像になったり資料の画像になったりする。したがって、ユーザーは各種のボタンを操作して所望の場面の画面を閲覧できる。

・画像表示欄２４１に表示中の結合画像動画の音声データがテキストデータに変換済みの場合、テキスト表示欄２４３に、発言内容が文字で表示される。テキスト表示欄２４３には、合成された音声データが音声認識により変換されたテキストデータが表示される。

・文字起こしボタン２４２は、テキスト表示欄２４３に表示されるテキストデータを結合画像動画の表示時刻に対応して表示させるか否かをユーザーが切り替えるボタンである。

・自動スクロールボタン２４４は、表示時刻に関係なく、自動でテキストデータをスクロールさせるか否かをユーザーが切り替えるボタンである。

・検索ボタン２４５は、ユーザーがキーワードを指定してテキストデータを検索するためのボタンである。検索ボタン２４５は表示中の結合画像動画に添付されたテキストデータのみを検索するためのボタンであり、本実施形態で説明する検索と異なる。

＜検索時の画面例＞
図２４～図２７を参照して、端末装置１０が表示する検索時の画面について説明する。図２４は、検索メニュー画面２５０の一例である。会議情報を検索したいユーザーは端末装置１０を情報処理システム５０に接続させる。情報処理システム５０の画面生成部５３はユーザーが求めた検索メニュー画面２５０を生成し、その画面情報を端末装置１０に送信する。

検索メニュー画面２５０は、検索時に端末装置１０が最初に表示する画面である。検索メニュー画面２５０は、開催日時検索ボタン２５１、会議参加者検索ボタン２５２、及び、キーワード検索ボタン２５３を有している。開催日時検索ボタン２５１は、ユーザーが開催日時で会議情報を検索するためのボタンである。会議参加者検索ボタン２５２は、ユーザーが参加者名で会議情報を検索するためのボタンである。キーワード検索ボタン２５３は、ユーザーがキーワードで会議情報を検索するためのボタンである。本実施形態では、会議参加者検索ボタン２５２が押下された場合を説明する。

図２５は、会議参加者検索ボタン２５２が押下された場合に端末装置１０が表示する検索画面２６０の一例である。検索画面２６０は、ユーザーが検索キーとなる参加者を入力するための画面である。検索画面２６０は、追加ボタン２６１、検索キー欄２６２、及び、検索実行ボタン２６３を有している。

追加ボタン２６１が押下されると、ユーザーリスト画面２７０が表示される。ユーザーリスト画面２７０は、会議に参加することができる社員等のリストを表示する。ユーザーリスト画面２７０は名前入力欄２７１、検索ボタン２７２，リスト欄２７３、検索対象参加者欄２７４等を有する。リスト欄２７３は、社員の名前、フリガナ、部署などを社員ごとに表示する。ユーザーはリスト欄２７３から、検索キーにしたいユーザーを選択できる。リスト欄２７３で選択されたユーザーは検索対象参加者欄２７４に表示される。

また、ユーザーが名前入力欄２７１に検索したい参加者の一部又は全部の名前を入力し、検索ボタン２７２を押下すると、検索に適合した参加者の名前が表示される。図２５に示すように、ユーザーが名前入力欄２７１に「エー」と入力し、検索ボタン２７２を押下した場合、リスト欄２７３に「エー」を一部に含むユーザーのリストが表示される。

ユーザーがＯＫボタン２７５又はキャンセルボタン２７６を押下するとユーザーリスト画面２７０が閉じる。また、ユーザーがＯＫボタン２７５を押下すると、検索対象参加者欄２７４に表示されていた参加者の名前が検索画面２６０の検索キー欄２６２に表示される。ユーザーが検索実行ボタン２６３を押下すると、検索キー欄２６２に表示されていた参加者の名前と検索要求が情報処理システム５０に送信される。

図２６は、情報処理システム５０から送信された検索結果を表示する検索結果画面２８０の一例である。検索結果画面２８０は、検索キー欄２６２の検索キーに適合した検索結果２８１を表示する。適合した検索結果２８１の表示順序は、会議の開催日時の新しい順でもよいし、会議名や種類(発言、又は筆記)などで並び替えられてもよい。

検索結果２８１は、どの情報に検索キーが適合したかを示す種類２８２、記録情報又はオブジェクト情報が記録された会議名２８３、及び、内容２８４（テキストデータ又は手書きデータ）が表示される。種類２８２は、例えば音声データから変換されたテキストを示す発言、手書きデータを示す筆記等がある。種類２８２が発言の場合、内容２８４は話者が検索キーのユーザーである一文、該一文の前後の文などでよい。種類２８２が筆記の場合、内容２８４は筆記者が検索キーのユーザーである手書きデータの画像（例えばサムネイル画像）である。図に示すように、手書きデータそのものが検索結果画面２８０に表示されるので、ユーザーは確認したかったＡさんの手書き内容を容易に確認できる。

また、図２７に示すように、検索結果をより絞り込むフィルター設定をユーザーが利用できてよい。図２７は、検索条件設定画面２９０の一例である。検索条件設定画面２９０は、記録情報の種類設定欄２９１、期間設定欄２９２を有している。ユーザーは、発言や筆記などの種類での絞り込みや、会議の開催された日時による絞り込みの設定ができる。

＜処理又は動作＞
続いて、以上の構成に基づいて、記録情報作成システム１００が行う動作及び処理について説明する。

＜＜結合画像動画の保存＞＞
図２８を参照し、結合画像動画の保存処理について説明する。図２８は、情報記録アプリ４１がパノラマ画像、話者画像及びアプリの画面を録画する手順を示すシーケンス図の一例である。図２８では、リアルタイムに音声が認識される場合を説明するが、音声認識は一定時間ごとや会議終了後にまとめて行われてもよい。

S21：ユーザーは遠隔会議アプリ４２を操作して遠隔会議を開始する。ここでは、自拠点１０２と他の拠点１０１の遠隔会議アプリ４２が遠隔会議を開始したものとする。自拠点１０２の遠隔会議アプリ４２は、端末装置１０が有するカメラが撮像する画像、マイクが集音する音声を他の拠点１０１の遠隔会議アプリ４２に送信する。他の拠点１０１の遠隔会議アプリ４２は、受信した画像をディスプレイに表示し、受信した音声をスピーカから出力する。同様に、他の拠点１０１の遠隔会議アプリ４２は、端末装置１０が有するカメラが撮像する画像、マイクが集音する音声を自拠点１０２の遠隔会議アプリ４２に送信する。自拠点１０２の遠隔会議アプリ４２は、受信した画像をディスプレイに表示し、受信した音声をスピーカから出力する。各遠隔会議アプリ４２はこれを繰り返して、遠隔会議を実現する。

S22：ユーザーは記録する項目などの録画設定を行う。情報記録アプリ４１の操作受付部１２が設定を受け付ける。

ユーザーは遠隔会議を事前に予約済みの場合、遠隔会議のリストを表示し、結合画像動画を対応付ける遠隔会議を選択できる。ユーザーは情報処理システム５０にログイン済みなので、情報処理システム５０はログインしたユーザーが閲覧権限のある遠隔会議を特定する。情報処理システム５０は特定した遠隔会議のリストを端末装置１０に送信するので、ユーザーは開催中又はこれから開催される遠隔会議を選択する。これにより、会議ＩＤ等、遠隔会議に関する情報が決定される。

また、ユーザーは遠隔会議を事前に予約していなくても、結合画像動画を作成する際に会議を作成できる。以下では、情報記録アプリ４１が、結合画像動画を作成する際に会議を作成し、会議ＩＤを情報処理システム５０から取得する場合を説明する。

S23：ユーザーは録画開始を情報記録アプリ４１に指示する。情報記録アプリ４１の操作受付部１２が指示を受け付ける。表示制御部１３は録画中画面を表示する。

S24：遠隔会議が選択されていないので（会議ＩＤが決まってないため）、情報記録アプリ４１の通信部１１が、遠隔会議作成要求を情報処理システム５０に送信する。

S25：情報処理システム５０の通信部５１は遠隔会議作成要求を受信し、コミュニケーション管理部５４が、会議管理システム９が採番した重複しない会議ＩＤを取得し、通信部５１が会議ＩＤを情報記録アプリ４１に送信する。

S26：また、コミュニケーション管理部５４は、通信部５１を介して、結合画像動画の保存先（ストレージサービスシステム７０のＵＲＬ）を情報記録アプリ４１に送信する。

S27：情報記録アプリ４１の通信部１１が会議ＩＤと録画ファイルの保存先を受信することで、録画制御部１７が録画の準備が整ったと判断し、録画を開始する。

S28：情報記録アプリ４１のアプリ画面取得部１４は、ユーザーが選択したアプリの画面をアプリに対し要求する（アプリ画面取得部１４は、より詳細にはＯＳを介して、アプリの画面を取得する）。図２８では、ユーザーが選択したアプリを遠隔会議アプリ４２とする。

S29：情報記録アプリ４１の録画制御部１７は、デバイス通信部１６を介して、ミーティングデバイス６０に録画開始を通知する。ミーティングデバイス６０はパノラマ画像と話者画像を情報記録アプリ４１に送信している。

S30：ミーティングデバイス６０の端末通信部６１が録画開始を受信すると、重複しない録画ＩＤを採番し、録画ＩＤを情報記録アプリ４１に返す。なお、録画ＩＤは情報記録アプリ４１が採番してもよいし、情報処理システム５０から取得してもよい。

S31：遠隔会議サービスシステム９０は繰り返し、他拠点から送信された音声データ及び画像データを遠隔会議アプリに送信する。

S32：情報記録アプリ４１の音声取得部１５は端末装置１０が出力する音声データ（遠隔会議アプリ４２が受信した音声データ）を取得する。

S33：デバイス通信部１６が、音声取得部１５が取得した音声データと合成要求をミーティングデバイス６０に送信する。

S34：ミーティングデバイス６０の端末通信部６１は音声データと合成要求を受信する。集音部６４は常に周囲の音声を集音している。ミーティングデバイス６０は端末通信部６１が受信した他拠点音声と、集音部６４が集音した自拠点音声を所定の規則で分割し、それぞれの音圧に基づいて拠点を判断する。

S35：次に、音声合成部６５が、集音部６４が集音した自拠点音声（周囲の音声データ）と、端末通信部６１が受信した他拠点音声を合成する。したがって、合成音声は分割された状態で生成される。例えば、音声合成部６５は、自拠点音声と他拠点音声を足し合わせる。ミーティングデバイス６０の周辺の鮮明な音声が記録されるので、特にミーティングデバイス６０周辺（会議室側）の音声のテキスト化精度が向上する。

この音声の合成は、端末装置１０でも可能である。しかし、録画機能が端末装置１０に、音声処理がミーティングデバイス６０に分散して配置されることで、端末装置１０とミーティングデバイス６０の負荷を低減できる。録画機能がミーティングデバイス６０に、音声処理が端末装置１０に分散して配置されてもよい。

S36：ミーティングデバイス６０の端末通信部６１は、音声認識要求（分割済みの合成音声）と拠点識別情報を情報処理システム５０に送信する。

S37：情報処理システム５０の通信部５１は、音声認識要求（分割済みの合成音声）と拠点識別情報を受信し、テキスト変換部５６が音声認識要求（分割済みの合成音声）を音声認識サービスシステムに送信し、認識結果文字列を取得する。

S38：情報処理システム５０は、認識結果文字列、音声データ、及び、拠点識別情報を情報記録アプリ４１に返す。情報処理システム５０が情報記録アプリ４１にこれらを返すため、ミーティングデバイス６０はステップS36で自機の識別情報を添付しておく。また、情報記録アプリ４１は予め、端末装置１０のＩＰアドレスと、ミーティングデバイス６０から取得した識別情報を、情報処理システム５０に設定しておく。こうすることで、情報処理システム５０がミーティングデバイス６０の識別情報に基づいて端末装置１０を特定できる。

S39：情報処理システム５０の通信部５１は、認識結果文字列、音声データ、拠点識別情報を結合画像動画と同じ保存先に保存する。なお、これらには会議ＩＤが添付される。

S40：また、ミーティングデバイス６０のパノラマ画像作成部６２はパノラマ画像を作成し、話者画像作成部６３は話者画像を作成する。

S41：情報記録アプリ４１のデバイス通信部１６は、パノラマ画像と話者画像を繰り返しミーティングデバイス６０から取得する。また、デバイス通信部１６は、合成後の音声データを繰り返しミーティングデバイス６０に要求して取得する。これらの取得は、デバイス通信部１６がミーティングデバイス６０に要求することで行われてもよい。あるいは、ミーティングデバイス６０が自動的にパノラマ画像と話者画像を送信してもよい。音声データの合成要求を受け取ったミーティングデバイス６０が自動的に合成後の音声データを情報記録アプリ４１に送信してもよい。

S42：情報記録アプリ４１の表示制御部１３はアプリの画面、パノラマ画像、話者画像を並べて表示する。また、情報記録アプリ４１の録画制御部１７は、遠隔会議アプリ４２から取得したアプリの画面と、パノラマ画像と、話者画像を結合して結合画像動画として保存する。すなわち、録画制御部１７は、繰り返し受信されるアプリの画面と、パノラマ画像と、話者画像を結合して結合画像を作成し、結合画像動画を構成するフレームに結合画像を指定することで結合画像動画を作成する。また、録画制御部１７はミーティングデバイス６０から受信した音声データを保存しておく。

情報記録アプリ４１は以上のステップS32～S42を繰り返す。

S43：遠隔会議が終わり、録画の必要がなくなると、ユーザーが録画終了を情報記録アプリ４１に指示する。情報記録アプリ４１の操作受付部１２が指示を受け付ける。

S44：情報記録アプリ４１のデバイス通信部１６は、ミーティングデバイス６０に録画終了を通知する。ミーティングデバイス６０は、引き続きパノラマ画像と話者画像の作成や音声の合成を継続する。ただし、ミーティングデバイス６０は録画中かどうかで解像度やfpsを変えるなど処理の不可を変更してもよい。

S45：情報記録アプリ４１の録画制御部１７は、結合画像動画に音声データを結合して音声付きの結合画像動画を作成する。パノラマ画像、話者画像及びアプリの画面が一切保存されない場合は、音声データは独立していてよい。

S46：情報記録アプリ４１のアップロード部２０は、通信部１１を介して、結合画像動画の保存先に結合画像動画を保存する。録画情報記憶部５００２において結合画像動画は会議ＩＤ及び録画ＩＤと対応付けられている。結合画像動画にはアップロード済みが記録される。

なお、ステップS32～S42の処理は、図２８に示すとおりの順番でなくてもよく、音声データの合成と結合画像動画の保存が前後してもよい。

S47：ユーザーが会議終了を電子黒板２に入力する。ユーザーが端末装置１０に会議終了を入力し、端末装置１０から電子黒板２に会議終了が送信されてもよい。この場合、会議終了は情報処理システム５０を経由して電子黒板２に送信されてよい。

S48：電子黒板２の通信部３６は、会議ＩＤを指定して、会議中に表示した（例えば手書きされた）オブジェクト情報を情報処理システム５０に送信する。通信部３６は電子黒板２の機器識別情報を情報処理システム５０に送信してもよい。この場合、対応付け情報により会議ＩＤが特定される。

S49：情報処理システム５０の通信部５１はオブジェクト情報を受信すると、手書きデータ分割部５７がストローク同士の時間的な間隔がしきい値以上となる度に、手書きデータを分割する。なお、この分割は電子黒板２で行っておいてもよい。情報処理システム５０は会議ＩＤに基づいて結合画像動画等と同じ保存先にオブジェクト情報を保存する。

保存先はユーザーに通知されているので、ユーザーはメールなどで保存先を知らせることで結合画像動画を参加者と共有できる。結合画像動画、音声データ、テキストデータ、オブジェクト情報を作成する装置がそれぞれ異なっても、１つの格納場所に集めて格納でき、後でユーザー等が容易に閲覧できる。

図２９は、ユーザーが会議で記録された記録情報及びオブジェクト情報を検索する処理を説明するシーケンス図である。

S51：ユーザーが検索画面２６０及び検索条件設定画面２９０に検索条件を入力する。端末装置１０の操作受付部１２が入力を受け付ける。ここでは、参加者名で記録情報又はオブジェクト情報を検索する旨が入力された。通信部１１は参加者名を指定した検索要求を情報処理システム５０に送信する。なお、参加者名でなくユーザーＩＤが指定されてもよい。通信部１１は検索者であるユーザーのユーザーＩＤも送信するか、又は、ログインによりユーザーＩＤが特定されている。

S52：情報処理システム５０の通信部５１は検索要求を受信し、検索部５８が参加者名でストレージサービスシステム７０の記録情報（結合画像動画、テキストデータ）及びオブジェクト情報を検索する。まず、検索部５８は、端末装置１０から送信された検索対象の種類が手書きデータかテキストデータか、又は、その両方かを判断する。検索部５８は、端末装置１０から送信された会議の開催日により検索対象の期間を判断する。

次に、検索部５８は、参加者名をユーザー情報記憶部５００４で検索しユーザーＩＤに変換する。その上で、検索部５８はテキストデータをユーザーＩＤで検索する。すなわち、話者ＩＤの項目はユーザーＩＤで検索される。認識結果文字列が参加者名で検索されてもよい。また、検索部５８は、オブジェクト情報の筆記者ＩＤの項目をユーザーＩＤで検索する。以上により、検索キーである参加者に適合した手書きデータやテキストデータ（分割済みの検索結果文字列）が特定される。

なお、検索部５８は、適合した手書きデータ又はテキストデータに対応付けられていた会議ＩＤにより会議情報から閲覧権限を取得し、検索者（ステップS51で特定されたユーザーＩＤ）がこの閲覧権限に含まれる場合に当該手書きデータ又はテキストデータを提供すると判断する。

S53：情報処理システム５０の画面生成部５３は検索結果画面２８０を生成し、通信部５１が検索結果画面２８０の画面情報を端末装置１０に送信する。画面生成部５３は、適合した検索結果２８１を、会議の開催日時の新しい順、会議名、又は、種類(発言、又は筆記)によりソートする。端末装置１０の通信部１１が検索結果画面２８０の画面情報を受信し、表示制御部１３が検索結果画面２８０を表示する。

＜主な効果＞
以上説明したように、本実施形態の検索方法は、意味がある１つ以上のストロークに筆記者を対応付けておくことで、資料全体ではなくその参加者が筆記したストロークを意味がある単位で提供することができる。したがって、ユーザーが目的の手書きデータにたどり着くことが容易になる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では、時間的に手書きデータが区切られたが、意味的に手書きデータが区切られてもよい。この場合、手書きデータ分割部５７は、ストロークを意味的にまとまりがある手書きデータに区切る機械学習を行った手書きデータ分割モデルで、ストロークを手書きデータに区切る。手書きデータ分割部５７は、リアルタイムに区切ることもバッチ処理で区切ることもできる。

また、端末装置１０とミーティングデバイス６０が一体でもよい。端末装置１０にミーティングデバイス６０が外付けされてもよい。また、ミーティングデバイス６０は、全天球カメラとマイクとスピーカがケーブルで接続されたものでもよい。

また、他の拠点１０１においてもミーティングデバイス６０が配置されてよい。他の拠点１０１は別途、ミーティングデバイス６０を使用して結合画像動画とテキストデータを作成する。また、１つの拠点に複数のミーティングデバイス６０が配置されてもよい。この場合、ミーティングデバイス６０ごとに複数の記録情報が作成される。

また、本実施形態で使用した、結合画像動画における、パノラマ画像２０３，話者画像２０４、及び、アプリの画面の配置は一例に過ぎない。パノラマ画像２０３が下で話者画像２０４が上でもよいし、ユーザーが配置を変更したり、再生時にはパノラマ画像２０３と話者画像２０４の表示と非表示を個別に切り替えたりしてもよい。

また、図１０などの構成例は、端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、情報処理システム５０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

更に、情報処理システム５０は、開示された処理ステップ、例えば図２８,図２９を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム５０が有する複数の情報処理装置によって実行され得る。また、情報処理システム５０は、1つのサーバー装置にまとめられていても良いし、複数の装置に分けられていても良い。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（Digital Signal Processor）、FPGA（Field Programmable Gate Array）、及び、従来の回路モジュール等のデバイスを含む。

＜請求項に関する付記＞
［請求項１］
表示装置が表示した手書きデータを含む議事録を検索する情報処理システムであって、
端末装置からユーザー情報を検索キーとする検索要求を受信した場合、予め定められた規則でまとめられた手書きデータに前記ユーザー情報が対応付けて保存された記憶装置を前記ユーザー情報で検索する検索部と、
前記ユーザー情報に適合した前記手書きデータを含む検索結果を前記端末装置に送信する通信部と、
を有することを特徴とする情報処理システム。
［請求項２］
前記手書きデータは１つ以上のストロークデータで構成されており、
前記規則として、前記手書きデータはストロークデータ間の時間的な区切りでまとめられていることを特徴とする請求項１に記載の情報処理システム。
［請求項３］
前記手書きデータは、時間情報と前記ユーザー情報が添付された１つ以上のストロークデータを有しており、
複数の前記ストロークデータに添付された前記時間情報の間隔がしきい値以上である場合に、前記手書きデータを区切る手書きデータ分割部を有し、
前記手書きデータ分割部は、時間的に区切った前記手書きデータごとに、前記ストロークデータに添付されている前記ユーザー情報を対応付けて前記記憶装置に保存することを特徴とする請求項１又は２に記載の情報処理システム。
［請求項４］
前記通信部は、前記ユーザー情報に適合した前記手書きデータの画像を前記検索結果に含めて前記端末装置に送信することを特徴とする請求項１～３のいずれか１項に記載の情報処理システム。
［請求項５］
前記記憶装置には、前記ユーザー情報に対応付けて会議中にユーザーが発言したテキストデータが記憶されており、
前記検索部は、前記テキストデータに対応づけられた前記ユーザー情報を、前記端末装置から送信された前記ユーザー情報で検索することを特徴とする請求項１～４のいずれか１項に記載の情報処理システム。
［請求項６］
前記検索要求には、前記テキストデータ又は前記手書きデータを検索対象とするか否かの設定が含まれており、
前記検索部は、前記検索対象とすると設定されている前記テキストデータ又は前記手書きデータに対応付けられている前記ユーザー情報を検索することを特徴とする請求項５に記載の情報処理システム。
［請求項７］
前記端末装置は前記検索要求と共に閲覧権限情報を送信し、
前記テキストデータ及び前記手書きデータには前記閲覧権限情報が対応付けられており、
前記検索部は、前記閲覧権限情報が適合しない前記手書きデータ又は前記テキストデータを前記検索結果に含めないことを特徴とする請求項５又は６に記載の情報処理システム。
［請求項８］
前記検索部は、会議が開催された日時又は会議名によって前記検索結果を並び替えることを特徴とする請求項１～７のいずれか１項に記載の情報処理システム。
［請求項９］
前記手書きデータには、該手書きデータが含む複数のストロークデータをそれぞれ手書きした複数のユーザー情報が対応付けられており、
前記検索部は、前記複数のユーザー情報を検索し、前記複数のユーザー情報のうち１つでも前記端末装置から送信された前記ユーザー情報に適合する場合、前記通信部は、適合した前記手書きデータを含む検索結果を前記端末装置に送信することを特徴とする請求項１～８のいずれか１項に記載の情報処理システム。

１０ 端末装置
５０ 情報処理システム
６０ ミーティングデバイス
７０ ストレージサービスシステム
１００ 記録情報作成システム

特開２００８－１０２６１３号公報

Claims (11)

1. 表示装置が表示した手書きデータを含む議事録を検索する情報処理システムであって、
   端末装置からユーザー情報を検索キーとする検索要求を受信した場合、予め定められた規則でまとめられた手書きデータに前記ユーザー情報が対応付けて保存された記憶装置を前記ユーザー情報で検索する検索部と、
   前記ユーザー情報に適合した前記手書きデータを含む検索結果を前記端末装置に送信する通信部と、
   を有することを特徴とする情報処理システム。
2. 前記手書きデータは１つ以上のストロークデータで構成されており、
   前記規則として、前記手書きデータはストロークデータ間の時間的な区切りでまとめられていることを特徴とする請求項１に記載の情報処理システム。
3. 前記手書きデータは、時間情報と前記ユーザー情報が添付された１つ以上のストロークデータを有しており、
   複数の前記ストロークデータに添付された前記時間情報の間隔がしきい値以上である場合に、前記手書きデータを区切る手書きデータ分割部を有し、
   前記手書きデータ分割部は、時間的に区切った前記手書きデータごとに、前記ストロークデータに添付されている前記ユーザー情報を対応付けて前記記憶装置に保存することを特徴とする請求項２に記載の情報処理システム。
4. 前記通信部は、前記ユーザー情報に適合した前記手書きデータの画像を前記検索結果に含めて前記端末装置に送信することを特徴とする請求項１～３のいずれか１項に記載の情報処理システム。
5. 前記端末装置には音声及び映像を記録するデバイスが接続されており、
   前記記憶装置には、前記端末装置から取得した音声が音声認識により変換されたテキストデータであって、ユーザーが発言したテキストデータが前記ユーザー情報に対応付けて記憶されており、
   前記検索部は、前記テキストデータに対応づけられた前記ユーザー情報を、前記端末装置から送信された前記ユーザー情報で検索することを特徴とする請求項１に記載の情報処理システム。
6. 前記検索要求には、前記テキストデータ又は前記手書きデータを検索対象とするか否かの設定が含まれており、
   前記検索部は、前記検索対象とすると設定されている前記テキストデータ又は前記手書きデータに対応付けられている前記ユーザー情報を検索することを特徴とする請求項５に記載の情報処理システム。
7. 前記端末装置は前記検索要求と共に閲覧権限情報を送信し、
   前記テキストデータ及び前記手書きデータには前記閲覧権限情報が対応付けられており、
   前記検索部は、前記閲覧権限情報が適合しない前記手書きデータ又は前記テキストデータを前記検索結果に含めないことを特徴とする請求項５又は６に記載の情報処理システム。
8. 前記検索部は、会議が開催された日時又は会議名によって前記検索結果を並び替えることを特徴とする請求項１に記載の情報処理システム。
9. 前記手書きデータには、該手書きデータが含む複数のストロークデータをそれぞれ手書きした複数のユーザー情報が対応付けられており、
   前記検索部は、前記複数のユーザー情報を検索し、前記複数のユーザー情報のうち１つでも前記端末装置から送信された前記ユーザー情報に適合する場合、前記通信部は、適合した前記手書きデータを含む検索結果を前記端末装置に送信することを特徴とする請求項１に記載の情報処理システム。
10. 表示装置が表示した手書きデータを含む議事録を検索する情報処理システムによる検索方法であって、
    検索部が、端末装置からユーザー情報を検索キーとする検索要求を受信した場合、予め定められた規則でまとめられた手書きデータに前記ユーザー情報が対応付けて保存された記憶装置を前記ユーザー情報で検索するステップと、
    通信部が、前記ユーザー情報に適合した前記手書きデータを含む検索結果を前記端末装置に送信するステップと、
    を有することを特徴とする検索方法。
11. 表示装置が表示した手書きデータを含む議事録を検索する情報処理システムを、
    端末装置からユーザー情報を検索キーとする検索要求を受信した場合、予め定められた規則でまとめられた手書きデータに前記ユーザー情報が対応付けて保存された記憶装置を前記ユーザー情報で検索する検索部と、
    前記ユーザー情報に適合した前記手書きデータを含む検索結果を前記端末装置に送信する通信部、
    として機能させるためのプログラム。

Images