JP2024025003A - 記録情報作成システム、情報処理システム、プログラム - Google Patents

記録情報作成システム、情報処理システム、プログラム Download PDF

Info

Publication number
JP2024025003A
JP2024025003A JP2022128058A JP2022128058A JP2024025003A JP 2024025003 A JP2024025003 A JP 2024025003A JP 2022128058 A JP2022128058 A JP 2022128058A JP 2022128058 A JP2022128058 A JP 2022128058A JP 2024025003 A JP2024025003 A JP 2024025003A
Authority
JP
Japan
Prior art keywords
information
search
recorded information
recorded
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022128058A
Other languages
English (en)
Inventor
倫希 神田
Tomoki Kanda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2022128058A priority Critical patent/JP2024025003A/ja
Publication of JP2024025003A publication Critical patent/JP2024025003A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Digital Computer Display Output (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】記録情報の記録時間に対応付けて、検索に適合したオブジェクトが表示された位置を提示する技術を提供すること。【解決手段】本発明は、デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置に表示された時刻情報を含むオブジェクト情報を端末装置に提供し、前記端末装置から検索キーを指定した検索要求を受信する通信部と、前記検索要求に応じて、前記オブジェクト情報を前記検索キーで検索する検索部と、前記記録情報の記録時間に対応付けて、検索に適合したオブジェクトの位置２２１を表示するための情報を前記端末装置に提供する表示情報提供部と、を有する情報処理システムと、前記端末装置を、前記記録情報又は前記オブジェクト情報を再生する画面２２０に、前記検索に適合したオブジェクトの位置を前記記録情報の記録時間に対応付けて表示する表示制御部として機能させるプログラムと、を有する。【選択図】図１

Description

本発明は、記録情報作成システム、情報処理システム、及びプログラムに関する。
会議の議事録の作成を支援する技術として、会議中の参加者の発言を記録したり、会議中の映像を記録情報として録画したりする技術が知られている。参加者等は再生ソフトを操作して発言や映像を再生できる。また、会議に手書きデータ等のオブジェクトを表示する表示装置が使用されることがある。
会議の音声と手書きデータ等とを時間を合わせて再生する技術が知られている（例えば、特許文献１参照。）。特許文献１には、各ストロークと、各ストロークの入力順ないし入力時刻と、各音声とが互いに対応づけられた複合情報を生成し、複合情報中の入力順ないし入力時刻に基づいて、ストロークと音声を、互いに対応をとりながら出力する技術が開示されている。
しかしながら、従来の技術では、記録情報の記録時間に対応付けて、検索に適合したオブジェクトが表示された位置が提示されないという問題がある。例えば、ユーザーが参加者名でオブジェクトを検索すると、参加者が手書きしたオブジェクトを特定できるが、記録情報のどの場面でオブジェクトが表示されているかを、検索者が記録情報を順番に見ていく必要があり、手間がかかった。
本発明は、上記課題に鑑み、記録情報の記録時間に対応付けて、検索に適合したオブジェクトが表示された位置を提示する技術を提供する。
本発明は、デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置に表示された時刻情報を含むオブジェクト情報を端末装置に提供し、前記端末装置から検索キーを指定した検索要求を受信する通信部と、前記検索要求に応じて、前記オブジェクト情報を前記検索キーで検索する検索部と、前記記録情報の記録時間に対応付けて、検索に適合したオブジェクトの位置を表示するための情報を前記端末装置に提供する表示情報提供部と、を有する情報処理システムと、前記端末装置を、前記記録情報又は前記オブジェクト情報を再生する画面に、前記検索に適合したオブジェクトの位置を前記記録情報の記録時間に対応付けて表示する表示制御部として機能させるプログラムと、を有する。
記録情報の記録時間に対応付けて、検索に適合したオブジェクトが表示された位置を提示する技術を提供できる。
付加情報の検索によるオブジェクトの表示例を説明する図である。 遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。 記録情報作成システムの構成例を示す図である。 情報処理システム及び端末装置のハードウェア構成例を示す図である。 ミーティングデバイスのハードウェア構成例を示す図である。 ミーティングデバイスの撮像範囲を説明する図である。 パノラマ画像と話者画像の切り出しを説明する図である。 電子黒板の一例のハードウェア構成図である。 記録情報作成システムにおける端末装置、ミーティングデバイス、及び、情報処理システムの機能をブロックに分けて説明する機能ブロック図の一例である。 情報記憶部が記憶している動画記録情報の一例を示す図である。 コミュニケーション管理部が管理する会議情報の一例を示す図である。 対応付け情報記憶部に記憶された、会議ＩＤと機器識別情報とが対応付けられた対応付け情報の一例を示す図である。 記録情報記憶部に記憶されている記録情報とオブジェクト情報の一例を示す図である。 記録情報の一部であるテキストデータの構造を説明する図である。 電子黒板の機能をブロックに分けて説明する機能ブロック図の一例である。 機器情報記憶部に記憶されている機器識別情報等の一例を示す図である。 オブジェクト情報記憶部に保存されているオブジェクト情報を説明する図である。 手書きデータを構成するストロークデータの構造を説明する図である。 会議で記録情報とオブジェクト情報が保存される処理を説明するシーケンス図の一例である。 ユーザーが結合画像動画を再生する際に付加情報を追加する処理を説明するシーケンス図の一例である。 端末装置が表示する録画再生画面の一例を示す図である。 検索欄の一例を拡大して示す図である。 付加情報を入力するための入力欄の一例を示す図である。 ユーザーが検索キーでオブジェクトを検索する処理を説明するシーケンス図の一例である。 録画再生画面の電子黒板デバイス表示領域において、検索に適合したオブジェクトがある場合に表示されるオブジェクト位置マークの一例を示す図である。 オブジェクト位置マークの押下により表示されたオブジェクトの表示例を示す図である。 録画再生画面の電子黒板デバイス表示領域において、検索に適合したオブジェクトの種類に応じたオブジェクト位置マークの一例を示す図である。 オブジェクト位置マークが押下された場合にオブジェクト位置マークが表示された時刻から再生される記録情報を示す図の一例である。 オブジェクト位置マークがマウスオーバーされた場合に表示される記録情報のサムネイルの一例を示す図である。 オブジェクト位置マークのマウスオーバーにより表示される、検索に適合したオブジェクトと記録情報のサムネイルを示す図の一例である。 電子黒板デバイス表示領域の表示状態に応じて、オブジェクト位置マークの押下時に表示制御部がオブジェクトと記録情報のどちらを表示するかを切り替える処理を説明するフローチャート図である。
以下、本発明を実施するための形態の一例として、記録情報作成システムと記録情報作成システムが行う表示方法について説明する。
＜記録情報の表示の概略＞
本実施形態の情報処理システムは、電子黒板が表示する各種のオブジェクト（ストローク、画像、ページ等）に、録画中や再生中に情報を付加し、後に、この付加した付加情報を検索して、オブジェクトを表示させたり、記録情報を再生したりすることができる。
図１は、付加情報２４０の検索によるオブジェクトの表示例を説明する図である。図１（ａ）は録画再生画面２２０のうち、電子黒板デバイス表示領域２１０を示す。電子黒板デバイス表示領域２１０は、電子黒板が表示したストロークなどのオブジェクト、及び、ミーティングデバイスが録画した記録情報を表示する領域である。ユーザーは、ストロークをマウスなどのポインティングデバイスで選択することで付加情報を表示させたり、付加情報を追加したりできる。付加情報は、筆記者や補足など、オブジェクトに対応付けられた付加的な情報である。ユーザーは付加情報２４０を検索できる。
図１（ｂ）は、録画再生画面２２０を示す。録画再生画面２２０には検索欄２５０があり、ユーザーは検索欄２５０に入力した検索キーで付加情報２４０を検索できる。例えば「ＡＡＡ」を検索キーとすると、記載者が「ＡＡＡ」のオブジェクトを情報処理システムが検索する。録画再生画面２２０は検索に適合したオブジェクトが表示された位置を、記録情報の記録時間に対応付けて表示する。
図１（ｂ）ではシークバー２７０上に２つのオブジェクト位置マーク２２１が表示されている。オブジェクトには入力時刻が対応付けられており、シークバー２７０上にオブジェクトが入力された時刻がオブジェクト位置マーク２２１で表示される。シークバー２７０は、記録情報の記録時間を全長とするので、記録情報のどの場面でオブジェクトが表示されているかを、ユーザーが容易に判断できる。
図１（ｃ）に示すように、ユーザーがオブジェクト位置マーク２２１をポインティングデバイス５１２で例えばマウスオーバー（タッチパネルの場合はホバリング。以下、単にマウスオーバーという。）すると、その場面のオブジェクトのサムネイル２２２，２２３が表示される。また、ユーザーがオブジェクト位置マーク２２１を例えば押下すると、オブジェクトの入力時刻から記録情報が再生されたり、オブジェクトの入力時刻までの全てのオブジェクトが表示されたりしてもよい。
このように、ユーザーは付加情報２４０を検索することで、記録情報のどの場面にオブジェクトが表示されているかを把握できる。ユーザーが記録情報を順番に見ながらオブジェクトを探すよりも短時間に、目的のオブジェクトが表示される場面を再生できる。
＜用語について＞
会議とは、会合して評議することをいう。会議は、コンベンション、集会、集まり、ミーティング、評議、発表会、プレゼンテーション、コンファレンス、談合、会談、合議、話合い、セミナー等と呼ばれてもよい。
記録情報とは、例えば会議中に記録された音声を含む。記録情報に映像が含まれていてもよい。音声はテキストデータに変換されていてもよいし、変換されていなくてもよい。
記録時間は、記録情報が記録された時間（総時間）である。シークバー２７０はこの記録時間を示す。
表示装置は、オブジェクトを表示できるものであればよい。本実施形態では、電子黒板２と用語で説明される。
ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークという。ストロークは、ディスプレイに接触することなく、ユーザーの動きを追跡することを含む。この場合、電子黒板は、例えばマウスやポインティングデバイスを使用して、ユーザーのジェスチャー、ユーザーの手又は足によるボタンの押下、又は他の方法で、ストロークを開始させてもよい。更に、ユーザーは、同じ又は異なるジェスチャー、ボタンを離す、又はマウスやポインティングデバイスを使用して、ストロークを終了させてもよい。
ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレイに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。手書き入力は、タッチインターフェース、ペンやスタイラスなどの触覚オブジェクト、又はユーザーの体を使って実行されてもよい。また、手書き入力は、ジェスチャーベースの入力、手の動きの追跡入力、又はユーザーによる他のタッチフリー入力など、他のタイプの入力を介して実行されてもよい。本発明の実施形態では、手書き入力及び手書き入力データに言及するが、他の形態の手書き入力が利用されてもよい。
ストロークデータに基づいてディスプレイに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。ストロークデータが手書き認識して変換されたオブジェクトには、テキストの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等も含まれてよい。テキストとは主に１つ以上の文字を含む文字列（文字コード）であり、数字、記号なども含む。テキストを文字列という場合がある。
＜遠隔会議における議事録の作成方法の一例＞
図２を参照して、パノラマ画像とアプリの画面を用いた議事録の作成方法の概略を説明する。図２は、遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。図２に示すように、図示する自拠点１０２にいるユーザーが遠隔会議サービスシステム９０を利用して、他の拠点１０１と遠隔会議を行っている。
本実施形態の記録情報作成システム１００は、マイクとスピーカを備えたミーティングデバイス６０が撮像した水平パノラマ画像（以下、パノラマ画像という）と、端末装置１０が実行するアプリケーション（以下、アプリという）が作成する画面と、を用いて、記録情報（議事録）を作成する。音声については、記録情報作成システム１００は、遠隔会議アプリ４２が受信する音声と、ミーティングデバイス６０が取得する音声とを合成して、記録情報に含める。以下、概略を説明する。
(1) 端末装置１０では、後述する情報記録アプリ４１と遠隔会議アプリ４２とが動作している。この他、資料表示用のアプリなども動作していてよい。情報記録アプリ４１は、端末装置１０が出力する音声（遠隔会議アプリ４２が他拠点から受信した音声を含む。）をミーティングデバイス６０（第二の機器、機器の一例）に送信する。ミーティングデバイス６０は、自身が取得している音声と、遠隔会議アプリ４２の音声とをミキシング（合成）する。
(2) ミーティングデバイス６０はマイクを備え、音声を取得した方向に基づき、パノラマ画像から話者を切り出す処理を行い、話者画像を作成する。ミーティングデバイス６０は、パノラマ画像と話者画像の両方を端末装置１０に送信する。
(3) 端末装置１０で動作する情報記録アプリ４１は、パノラマ画像２０３と話者画像２０４を表示できる。情報記録アプリ４１は、ユーザーが選択した任意のアプリ画面（例えば遠隔会議アプリ４２の画面１０３）と、パノラマ画像２０３と話者画像２０４と、を結合する。例えば、左側にパノラマ画像２０３と話者画像２０４、右側に遠隔会議アプリ４２の画面１０３が配置されるように、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する（以下、結合画像１０５という）。(3)の処理は繰り返し実行されるので、結合画像１０５は動画となる（以下、結合画像動画という）。また、情報記録アプリ４１は、結合画像動画に合成された音声を結合して音声付きの動画を作成する。
なお、本実施形態では、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する例を説明するが、情報記録アプリ４１がこれらを別々に保存し、再生時に画面に配置してもよい。
(4) 情報記録アプリ４１は、編集作業（ユーザーによる不要箇所のカット）を受け付け、結合画像動画を完成させる。結合画像動画は記録情報の一部を構成する。
(5) 情報記録アプリ４１は、作成した結合画像動画（音声付き）をストレージサービスシステム７０に送信し保存しておく。
(6) また、情報記録アプリ４１は、結合画像動画から音声のみを抽出しておき（結合前の音声を取っておいてもよい）、抽出した音声を、情報処理システム５０に送信する。情報処理システム５０は音声をテキストデータに変換する音声認識サービスシステム８０に送信し、音声をテキスト化する。テキストデータには、録画開始から何分後に話したか、というデータも含まれる。
なお、リアルタイムのテキスト化の場合、ミーティングデバイス６０が情報処理システム５０に直接音声を送信する。情報処理システム５０は音声認識により得られたテキストデータをリアルタイムに情報記録アプリ４１に送信する。
(7) 情報処理システム５０は、結合画像動画を格納したストレージサービスシステム７０に、テキストデータを追加で格納する。テキストデータは記録情報の一部を構成する。
なお、情報処理システム５０は、ユーザーに対し利用したサービスに応じた課金処理を実行できる。例えば、課金はテキストデータ量、結合画像動画のファイルサイズ、処理時間などに基づいて算出される。
このように、結合画像動画には、ユーザーを含む周囲のパノラマ画像や話者画像が表示され、更に、遠隔会議アプリ４２など、遠隔会議中に表示されたアプリの画面が表示される。遠隔会議の参加者や参加者でない者が、結合画像動画を議事録として閲覧した場合、遠隔会議中の様子が臨場感と共に再現される。
＜システム構成例＞
続いて、図３を参照して、記録情報作成システム１００のシステム構成を説明する。図３は、記録情報作成システム１００の構成例を示す。図３では、遠隔会議を行う複数の拠点のうち１つの拠点（自拠点１０２）を示し、自拠点１０２における端末装置１０がネットワークを介して情報処理システム５０と、ストレージサービスシステム７０と、遠隔会議サービスシステム９０と、通信する。自拠点１０２には更に、ミーティングデバイス６０と電子黒板２が配置され、端末装置１０はこのミーティングデバイス６０とＵＳＢケーブル等を介して通信可能に接続されている。なお、ミーティングデバイス６０、電子黒板２及び情報処理システム５０が機器管理システムとして動作する。
端末装置１０では、少なくとも情報記録アプリ４１と遠隔会議アプリ４２とが動作する。遠隔会議アプリ４２は、他の拠点１０１の端末装置１０とネットワーク上の遠隔会議サービスシステム９０を介して通信することができ、各拠点のユーザー同士が遠隔地から会議できるようになっている。情報記録アプリ４１は、遠隔会議アプリ４２が実施する遠隔会議における記録情報を、情報処理システム５０及びミーティングデバイス６０の機能を使って作成する。
なお、本実施形態では、遠隔会議中の記録情報を作成する例を説明するが、会議は、遠隔の拠点と通信する会議でなくてもよい。つまり、会議は１拠点内の参加者のみが参加する会議でもよい。この場合、ミーティングデバイス６０が撮像する画像と集音した音声がそれぞれ合成なしに保存される他、情報記録アプリ４１の処理に変更はない。
端末装置１０には通常の画角のカメラが内蔵されており（外付けでもよい）、端末装置１０を操作するユーザー１０７を含む正面の画像を撮像している。通常の画角とは、パノラマ画像でない画像であるが、本実施形態では、主に全天球画像のように曲面でない平面画像である。したがって、ユーザーは、情報記録アプリ４１を意識することなく、遠隔会議アプリ４２を使用した従来の遠隔会議が可能である。情報記録アプリ４１やミーティングデバイス６０は、端末装置１０の処理負荷増を除けば遠隔会議アプリ４２に影響を与えない。なお、遠隔会議アプリ４２はミーティングデバイス６０が撮像するパノラマ画像や話者画像を遠隔会議サービスシステム９０に送信することも可能である。
情報記録アプリ４１はミーティングデバイス６０と通信して記録情報を作成する。情報記録アプリ４１はまた、ミーティングデバイス６０が取得した音声と遠隔会議アプリ４２が他の拠点から受信した音声との合成等を行う。この合成はミーティングデバイス６０が行う場合がある。ミーティングデバイス６０は、パノラマ画像の撮像装置、マイク、及び、スピーカを備えたミーティング用のデバイスである。端末装置１０が有するカメラは正面の限られた範囲しか撮像できないが、ミーティングデバイス６０はミーティングデバイス６０を囲む全周囲（必ずしも全周囲でなくてもよい）を撮像できる。ミーティングデバイス６０は図３に示す複数の参加者１０６を常に画角に収めることができる。
この他、ミーティングデバイス６０は、パノラマ画像からの話者画像の切り出し等を行う。なお、ミーティングデバイス６０は、机の上に限らず自拠点１０２のどこに配置されてもよい。ミーティングデバイス６０は全天球画像を撮像できるので、例えば天井に配置されてもよい。
情報記録アプリ４１は、端末装置１０で実行中のアプリの一覧表示、上記した記録情報のための画像合成（結合画像動画の作成）、結合画像動画の再生、編集の受け付け等を行う。また、情報記録アプリ４１は、実施された又はこれから実施される予定の遠隔会議のリスト表示、等を行う。遠隔会議のリストは、記録情報に関する情報に使用され、ユーザーが遠隔会議と記録情報とを結びつけることができる。
遠隔会議アプリ４２は、他の拠点１０１との通信接続、他の拠点１０１との画像及び音声の送受信、画像の表示や音声の出力等を行う。
なお、情報記録アプリ４１及び遠隔会議アプリ４２はＷｅｂアプリでもネイティブアプリでもよい。Ｗｅｂアプリとは、Ｗｅｂサーバー上のプログラムとＷｅｂブラウザ上のプログラムが協働して処理を行うアプリであり、端末装置１０へのインストールが不要なアプリである。ネイティブアプリとは、端末装置１０にインストールして利用されるアプリである。本実施形態では、両者ともネイティブアプリであるとして説明する。
端末装置１０は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末等、通信機能を備えた汎用的な情報処理装置でよい。端末装置１０は、この他、電子黒板２、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ、カーナビ、産業機械、医療機器、ネットワーク家電等でもよい。端末装置１０は情報記録アプリ４１と遠隔会議アプリ４２が動作する装置であればよい。
電子黒板２は、ペンや指等の入力手段でタッチパネルに手書きされたデータをディスプレイに表示する。電子黒板２は、有線又は無線で端末装置１０等と通信することができ、端末装置１０が表示する画面を取り込んでディスプレイに表示することができる。電子黒板２は、手書きデータをテキストデータに変換したり、他の拠点の電子黒板２とディスプレイに表示される情報を共有したりすることができる。電子黒板２は、タッチパネルを有さない単なる白板にプロジェクタが映像を投影する形態のものでもよい。また、電子黒板２は、タッチパネルを備えたタブレット端末、ノートＰＣ、ＰＤＡ、ゲーム機等でもよい。
電子黒板２は、情報処理システム５０と通信することができる。電子黒板２は、例えば、電源オンされた後、情報処理システム５０にポーリングするなどして、情報処理システム５０から情報を受信できる。
情報処理システム５０は、ネットワーク上に配置された一台以上の情報処理装置である。情報処理システム５０は、情報記録アプリ４１と協働して処理を行う１つ以上のサーバーアプリと、基盤サービスを有している。このサーバーアプリは、遠隔会議のリストの管理、遠隔会議で記録された記録情報の管理、各種設定やストレージパスの管理等を行う。基盤サービスは、ユーザー認証や契約、課金処理等を行う。
なお、情報処理システム５０の機能の全て又は一部は、クラウド環境に存在してもよいし、オンプレミス環境に存在してもよい。情報処理システム５０は複数台のサーバー装置により構成されてもよいし、一台の情報処理装置により構成されてもよい。例えば、サーバーアプリと基盤サービスが別々の情報処理装置より提供されてよいし、更にサーバーアプリ内の機能ごとに情報処理装置が存在してもよい。情報処理システム５０と次述するストレージサービスシステム７０、音声認識サービスシステム８０が一体でもよい。
ストレージサービスシステム７０は、ネットワーク上の記憶手段であり、ファイル等の保存を受け付けるストレージサービスを提供する。ストレージサービスシステム７０としてはＯｎｅ Ｄｒｉｖｅ（登録商標）、Ｇｏｏｇｌｅ Ｗｏｒｋｓｐａｃｅ（登録商標）、ＤｒｏｐＢｏｘ（登録商標）等が知られている。ストレージサービスシステム７０は、オンプレミスのＮＡＳ（Network Attached Storage）等でもよい。
音声認識サービスシステム８０は、音声データに音声認識を行いテキストデータに変換するサービスを提供する。音声認識サービスシステム８０は、汎用的な商用サービスでもよいし、情報処理システム５０の機能の一部でもよい。
＜ハードウェア構成例＞
図４を参照して、本実施形態に係る情報処理システム５０及び端末装置１０のハードウェア構成について説明する。
＜＜情報処理システム及び端末装置＞＞
図４は、本実施形態に係る情報処理システム５０及び端末装置１０の一例のハードウェア構成を示す図である。図４に示されているように、情報処理システム５０及び端末装置１０はコンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ（Hard Disk）５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ/Ｆ(Interface)５０８、ネットワークＩ/Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、光学ドライブ５１４、メディアＩ/Ｆ５１６を備えている。
これらのうち、ＣＰＵ５０１は、情報処理システム５０及び端末装置１０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ/Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ/Ｆ５０９は、ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図４に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
また、キーボード５１１は、文字、数値、又は各種指示などの入力に使用される複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ５１４は、着脱可能な記録媒体の一例としての光記憶媒体５１３に対する各種データの読み出し又は書き込みを制御する。なお、光記憶媒体５１３は、ＣＤ，ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）等でよい。メディアＩ/Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。
＜＜ミーティングデバイス＞＞
図５を用いて、ミーティングデバイス６０のハードウェア構成を説明する。図５は、３６０°の動画を撮像可能なミーティングデバイス６０のハードウェア構成図の一例である。以下では、ミーティングデバイス６０は撮像素子を使用した、デバイスの周囲３６０°の動画を所定の高さで撮像する装置とするが、撮像素子は１つでも２つ以上のいくつでもよい。また、必ずしも専用装置である必要はなくPCやデジタルカメラ、スマートフォン等に後付けの３６０°動画の撮像ユニットを取り付けることで、実質的に同じ機能を有するようにしてもよい。
図５に示されているように、ミーティングデバイス６０は、撮像ユニット６０１、画像処理ユニット６０４、撮像制御ユニット６０５、マイク６０８、音処理ユニット６０９、ＣＰＵ(Central Processing Unit)６１１、ＲＯＭ(Read Only Memory)６１２、ＳＲＡＭ(Static Random Access Memory)６１３、ＤＲＡＭ(Dynamic Random Access Memory)６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、アンテナ６１７ａ、音声センサー６１８、及びMicro USB用の凹状の端子６２１によって構成されている。
このうち、撮像ユニット６０１は、半球画像を結像するための３６０°の画角を有する広角レンズ（いわゆる魚眼レンズ）６０２と、各広角レンズに対応させて設けられている撮像素子６０３（イメージセンサー）を備えている。撮像素子６０３は、魚眼レンズ６０２による光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサーやＣＣＤ(Charge Coupled Device)センサーなどの画像センサー、この画像センサーの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット６０１の撮像素子６０３（イメージセンサー）は、画像処理ユニット６０４とパラレルＩ/Ｆバスで接続されている。一方、撮像ユニット６０１の撮像素子６０３は、撮像制御ユニット６０５とは、シリアルＩ/Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット６０４、撮像制御ユニット６０５及び音処理ユニット６０９は、バス６１０を介してＣＰＵ６１１と接続される。更に、バス６１０には、ＲＯＭ６１２、ＳＲＡＭ６１３、ＤＲＡＭ６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、及び音声センサー６１８なども接続される。
画像処理ユニット６０４は、撮像素子６０３から出力される画像データをパラレルＩ/Ｆバスを通して取り込み、画像データに対して所定の処理を施して、魚眼映像からパノラマ画像や話者画像のデータを作成する。更に、画像処理ユニット６０４は、パノラマ画像と話者画像等を合成処理して、１つの動画を出力する。
撮像制御ユニット６０５は、一般に撮像制御ユニット６０５をマスタデバイス、撮像素子６０３をスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子６０３のレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ６１１から受け取る。また、撮像制御ユニット６０５は、同じくＩ２Ｃバスを利用して、撮像素子６０３のレジスタ群のステータスデータ等を取り込み、ＣＰＵ６１１に送る。
また、撮像制御ユニット６０５は、操作部６１５の撮像開始ボタンが押下されたタイミングあるいはPCから撮像開始指示を受信したタイミングで、撮像素子６０３に画像データの出力を指示する。ミーティングデバイス６０によっては、ディスプレイ（例えば、ＰＣやスマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子６０３からの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
また、撮像制御ユニット６０５は、後述するように、ＣＰＵ６１１と協働して撮像素子６０３の画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、ミーティングデバイス６０にはディスプレイが設けられていないが、表示部を設けてもよい。
マイク６０８は、音を音（信号）データに変換する。音処理ユニット６０９は、マイク６０８ａ、マイク６０８ｂ、マイク６０８ｃから出力される音声データをＩ/Ｆバスを通して取り込み、これらの音声データをミキシングして所定の処理を施す。音処理ユニット６０９はまた、マイク６０８ａ、マイク６０８ｂ、マイク６０８ｃから入力される音声レベル（音量）から音源（発話者）の方向を判断する。
ＣＰＵ６１１は、ミーティングデバイス６０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ミーティングデバイス６０を動作させるための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
操作部６１５は、撮像開始ボタン６１５ａなどの操作ボタンの総称である。ユーザーは操作部６１５を操作することで、撮像や録画を開始する他、電源ON/OFFの実行、通信接続の実行、種々の撮像モードや撮像条件などの設定を入力する。
外部機器接続Ｉ/Ｆ６１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＰＣ等である。ＤＲＡＭ６１４に記憶された動画データや画像データは、この外部機器接続Ｉ/Ｆ６１６を介して外部端末に送信されたり、外付けのメディアに記録されたりする。
通信部６１７は、ミーティングデバイス６０に設けられたアンテナ６１７ａを介して、Ｗｉ－Ｆｉ（登録商標）等の無線通信技術によって、インターネット経由でクラウドサーバと通信し、記憶した動画データや画像データをクラウドサーバに送信してもよい。また、通信部６１７は、BLE（Bluetooth Low Energy。登録商標）やNFC等の近距離無線通信技術を用いて付近のデバイスと通信可能でもよい。
音声センサー６１８は、ミーティングデバイス６０の周辺（水平面）の３６０°においてどの方向から音声が大きい音で入力されたかを特定するために、３６０°の音声情報を取得するセンサーである。音処理ユニット６０９は入力した３６０°の音声パラメータに基づき、最も強い方向を特定して３６０°における音声入力方向を出力する。
なお、他のセンサー（方位・加速度センサーやGPS等）が方位・位置・角度・加速度等を算出し、画像補正や位置情報付加に用いてもよい。
また画像処理ユニット６０４は、パノラマ画像の作成を次の方法で行う。ＣＰＵ６１１は、球面映像を入力するイメージセンサーから入力されたRAWデータをBayer変換（RGB補完処理）等の所定のカメラ映像処理を行って魚眼映像（曲面の映像）を作成する。更に作成した魚眼映像（曲面の映像）に対してDeWarp処理（歪み補正処理）を行い、ミーティングデバイス６０の周辺の３６０°が写ったパノラマ画像（平面の映像）を作成する。
ＣＰＵ６１１は話者画像の作成を次の方法で行う。ＣＰＵ６１１は周辺の３６０°が写ったパノラマ画像（平面の映像）から、話者を切り出した話者画像を作成する。ＣＰＵ６１１は、音声センサー６１８及び音処理ユニット６０９を用いて出力した360°から特定した音声入力方向を、話者の方向として、上記パノラマ画像から話者画像を切り出す。このとき音声入力方向から人の画像を切り出す方法は、360°から特定した音声方向を中心に30°を切り取って、その中で顔検出を実施して切り出す。ＣＰＵ６１１は、更に切り出した話者画像のうち、直近で発言のあった特定人数分（３名等）の話者画像を特定する。
パノラマ画像と、１以上の話者画像は個別に情報記録アプリ４１に送信されてもよいし、ミーティングデバイス６０がこれらから１枚の画像を作成して、情報記録アプリ４１に送信してもよい。本実施形態では、パノラマ画像と１以上の話者画像は個別にミーティングデバイス６０から情報記録アプリ４１に送信されるものとする。
図６は、ミーティングデバイス６０の撮像範囲を説明する図である。図６（ａ）に示すように、ミーティングデバイス６０は水平方向に３６０°の範囲を撮像する。図６（ｂ）に示すように、ミーティングデバイス６０は、ミーティングデバイス６０の高さに水平な方向を０°とし、上下に所定の角度を撮像範囲とする。
図７は、パノラマ画像と話者画像の切り出しを説明する図である。図７に示すように、ミーティングデバイス６０が撮像する画像は球体の一部１１０をなすため、三次元の形状を有している。ミーティングデバイス６０は、図６（ｂ）で示したように、上下の所定角度と左右の所定角度ごとに画角を区切って透視投影変換を行う。透視投影変換を水平方向３６０°の全体で隙間なく行うことで、所定数の平面画像が得られるので、所定数の平面画像を左右に連結することでパノラマ画像１１１が得られる。また、ミーティングデバイス６０はパノラマ画像から音声方向を中心に所定の範囲で顔検出を実施して、顔の中心から左右に１５°（全体で３０°）を切り出すことで、話者画像１１２を作成する。
＜＜電子黒板＞＞
図８は、電子黒板２のハードウェア構成図である。図８に示されているように、電子黒板２は、ＣＰＵ(Central Processing Unit)４０１、ＲＯＭ(Read Only Memory)４０２、ＲＡＭ(Random Access Memory)４０３、ＳＳＤ(Solid State Drive)４０４、ネットワークＩ/Ｆ４０５、及び、外部機器接続Ｉ/Ｆ(Interface)４０６を備えている。
これらのうち、ＣＰＵ４０１は、電子黒板２全体の動作を制御する。ＲＯＭ４０２は、ＩＰＬ(Initial Program Loader)等のＯＳの起動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＳＳＤ４０４は、電子黒板２用のプログラム等の各種データを記憶する。ネットワークＩ/Ｆ４０５は、通信ネットワークとの通信を制御する。外部機器接続Ｉ/Ｆ４０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ４３０、外付け機器（マイク４４０、スピーカ４５０、カメラ４６０）である。
また、電子黒板２は、キャプチャデバイス４１１、ＧＰＵ４１２、ディスプレイコントローラ４１３、接触センサー４１４、センサコントローラ４１５、電子ペンコントローラ４１６、近距離通信回路４１９、及び近距離通信回路４１９のアンテナ４１９ａ、電源スイッチ４２２及び選択スイッチ類４２３を備えている。
これらのうち、キャプチャデバイス４１１は、外付けのＰＣ４７０のディスプレイの表示情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)４１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ４１３は、ＧＰＵ４１２からの出力画像をディスプレイ４８０等へ出力するために画面表示の制御及び管理を行う。接触センサー４１４は、ディスプレイ４８０上に電子ペン４９０やユーザーの手Ｈ等が接触したことを検知する。センサコントローラ４１５は、接触センサー４１４の処理を制御する。接触センサー４１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ４８０の上側両端部に設置された２つ受発光装置が、ディスプレイ４８０に平行して複数の赤外線を放射し、ディスプレイ４８０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサー４１４である受発光装置は、物体によって赤外線が遮断された位置（受光素子上の位置）をセンサコントローラ４１５に出力し、センサコントローラ４１５が、これらの２つの位置情報から物体の接触位置である座標位置を特定する。電子ペンコントローラ４１６は、電子ペン４９０とＢｌｕｅｔｏｏｔｈ通信することで、ディスプレイ４８０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路４１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ４２２は、電子黒板２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類４２３は、例えば、ディスプレイ４８０の表示の明暗や色合い等を調整するためのスイッチ群である。
更に、電子黒板２は、バスライン４１０を備えている。バスライン４１０は、図８に示されているＣＰＵ４０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、接触センサー４１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネルでもよい。接触センサー４１４は、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルでもよい。接触センサー４１４は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルでもよい。この他、接触センサー４１４は種々の検出手段を用いてもよい。また、電子ペンコントローラ４１６が、電子ペン４９０のペン先及びペン尻だけでなく、電子ペン４９０のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
＜機能について＞
次に、図９を参照して、記録情報作成システム１００が有する機能構成について説明する。図９は、記録情報作成システム１００における端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の機能をブロックに分けて説明する機能ブロック図の一例である。
＜＜端末装置＞＞
端末装置１０で動作する情報記録アプリ４１は、通信部１１、操作受付部１２、表示制御部１３、アプリ画面取得部１４、音声取得部１５、デバイス通信部１６、録画制御部１７、音声データ処理部１８、録画再生部１９、アップロード部２０、編集処理部２１、及び、コード解析部２２、を有している。端末装置１０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開された情報記録アプリ４１に従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置１０は、図４に示されているＨＤ５０４等によって構築される記憶部１０００を有している。記憶部１０００には情報記憶部１００１が構築されている。
通信部１１は、ネットワークを介して情報処理システム５０と各種の情報を通信する。通信部１１は、例えば、遠隔会議のリストを情報処理システム５０から受信したり、音声データの認識要求を情報処理システム５０に送信したりする。
表示制御部１３は情報記録アプリ４１に設定されている画面遷移にしたがって情報記録アプリ４１においてユーザーインターフェースとなる各種の画面を表示する。操作受付部１２は、情報記録アプリ４１に対する各種の操作を受け付ける。
アプリ画面取得部１４は、デスクトップ画面、又は、ユーザーが選択したアプリの画面をＯＳ（Operating System）等から取得する。ユーザーが選択したアプリが遠隔会議アプリ４２の場合、遠隔会議アプリ４２が生成する画面（各拠点の画像、資料の画像等）が得られる。
音声取得部１５は、遠隔会議アプリ４２が遠隔会議において受信した音声データを遠隔会議アプリ４２から取得する。なお、音声取得部１５が取得する音声は、端末装置１０が集音する音声は含まれず、遠隔会議において受信された音声データのみである点に注意されたい。ミーティングデバイス６０が別に、音声を集音しているためである。
デバイス通信部１６は、ＵＳＢケーブルなどを利用してミーティングデバイス６０と通信する。デバイス通信部１６は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等でミーティングデバイス６０と通信してよい。デバイス通信部１６は、パノラマ画像と話者画像をミーティングデバイス６０から受信し、音声取得部１５が取得した音声データをミーティングデバイス６０に送信する。デバイス通信部１６は、ミーティングデバイス６０で合成された音声データを受信する。
録画制御部１７は、デバイス通信部１６が受信したパノラマ画像と話者画像、及び、アプリ画面取得部１４が取得したアプリの画面を結合し、結合画像を作成する。また、録画制御部１７は繰り返し作成する結合画像を時系列に接続して結合画像動画を作成し、ミーティングデバイス６０で合成された音声データを結合画像動画に結合して音声付きの結合画像動画を作成する。
音声データ処理部１８は、録画制御部１７が抽出する結合画像動画に結合された音声データ、又は、ミーティングデバイス６０から受信した合成後の音声データの、テキストデータへの変換を情報処理システム５０に要求する。
録画再生部１９は、結合画像動画の再生を行う。結合画像動画は、録画中は端末装置１０に保存され、その後、情報処理システム５０にアップロードされる。
アップロード部２０は、遠隔会議が終了すると、結合画像動画を情報処理システム５０に送信する。
編集処理部２１は、ユーザーの操作に応じて、結合画像動画の編集（一部の削除、つなぎ合わせ等）を実行する。
コード解析部２２は、パノラマ画像に含まれる二次元コードを検出すると共に、二次元コードを解析して機器識別情報を取得する。
図１０は、情報記憶部１００１が記憶している動画記録情報を示す。動画記録情報は、会議ＩＤ、録画ＩＤ、更新日時、タイトル、アップロード、保存先等の各項目を有している。ユーザーが情報処理システム５０にログインすると、情報記録アプリ４１は情報処理システム５０の会議情報記憶部５００１から会議情報をダウンロードする。会議情報に含まれる会議ＩＤなどが動画記録情報に反映される。図１０の動画記録情報は、あるユーザーが操作する端末装置１０が保持するものである。
・会議ＩＤは、開催された遠隔会議を識別する識別情報である。会議ＩＤは、会議管理システム９に遠隔会議の予定が登録された際に採番されるか、又は、情報記録アプリ４１からの要求で情報処理システム５０が採番する。
・録画ＩＤは、遠隔会議において録画された結合画像動画を識別する識別情報である。録画ＩＤはミーティングデバイス６０が採番するが、情報記録アプリ４１や情報処理システム５０が採番してもよい。同じ会議ＩＤに異なる録画ＩＤが付与されるのは、遠隔会議の途中で録画が終了したが、何らかの理由で再開した場合を示す。
・更新日時は、結合画像動画が更新された（録画が終了した）日時である。結合画像動画が編集された場合、編集された日時である。
・タイトルは、会議の会議名である。会議管理システム９への会議の登録時に設定されてもよいし、ユーザーが任意に設定してもよい。
・アップロードは、結合画像動画が情報処理システム５０にアップロードされたか否かを示す。
・保存先は、ストレージサービスシステム７０において、結合画像動画、テキストデータ、及び、オブジェクト情報が保存されている場所（ＵＲＬやファイルパス）を示す。したがって、ユーザーはアップロードされた結合画像動画を任意に閲覧できる。なお、結合画像動画とテキストデータは、例えばＵＲＬに続いて別々のファイル名で保存される。
＜＜ミーティングデバイス＞＞
図９に戻って説明する。ミーティングデバイス６０は、端末通信部６１、パノラマ画像作成部６２、話者画像作成部６３、集音部６４、及び、音声合成部６５を有している。ミーティングデバイス６０が有するこれら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ６１２からＤＲＡＭ６１４に展開されたプログラムに従ったＣＰＵ６１１からの命令によって動作することで実現される機能、又は機能する手段である。
端末通信部６１は、ＵＳＢケーブルなどを利用して端末装置１０と通信する。端末通信部６１は、有線ケーブルで接続されるだけでなく、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等で端末装置１０と通信可能であればよい。
パノラマ画像作成部６２はパノラマ画像を作成する。話者画像作成部６３は話者画像を作成する。これらの作成方法は図６、図７にて説明した。
集音部６４は、ミーティングデバイス６０が有するマイクが取得する音声を音声データ（デジタル）に変換する。これにより、端末装置１０側の拠点でユーザーや参加者が発言した内容が集音される。
音声合成部６５は、端末装置１０から送信された音声と集音部６４が集音した音声を合成する。これにより、他の拠点１０１で発言された音声と、自拠点１０２の発言がまとめられる。
＜＜情報処理システム＞＞
情報処理システム５０は、通信部５１、認証部５２、表示情報提供部５３、コミュニケーション管理部５４、機器管理部５５、テキスト変換部５６、検索部５７、及び、付加情報受付部５８を有する。情報処理システム５０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム５０は、図４に示されているＨＤ５０４等によって構築される記憶部５０００を有している。記憶部５０００には、会議情報記憶部５００１、録画情報記憶部５００２、対応付け情報記憶部５００３、が構築される。
通信部５１は、端末装置１０と各種の情報を送受信する。通信部５１は、例えば、遠隔会議のリストを端末装置１０に送信したり、音声データの認識要求を端末装置１０から受信したりする。
認証部５２は、端末装置１０を操作するユーザーを認証する。認証部５２は、例えば、通信部５１によって受信された認証要求に含まれている認証情報（ユーザーＩＤ及びパスワード）が予め保持する認証情報と一致するか否かにより、ユーザーを認証する。なお、認証情報は、ＩＣカードのカード番号、顔や指紋などの生体認証情報等でもよい。また、認証部５２は、外部の認証システムやＯＡＵＴＨなどの認証方法で認証してもよい。
表示情報提供部５３は、情報記録アプリ４１が表示する情報を提供する。画面の構成は情報記録アプリ４１が有しているので、表示情報提供部５３は、ヒートマップや活発度などをＸＭＬ等で端末装置１０に提供する。端末装置１０がＷｅｂアプリを実行する場合、表示情報提供部５３は、Ｗｅｂアプリが表示する画面情報の生成を行う。画面情報は、ＨＴＭＬ、ＸＭＬ、ＣＳＳ（Cascade Style Sheet）、及びJavaScript（登録商標）等により作成される。
コミュニケーション管理部５４は、各ユーザーのアカウント又は情報処理システム５０に付与されたシステム用のアカウントで、遠隔会議に関する情報を会議管理システム９から取得する。コミュニケーション管理部５４は、予約された会議の会議情報を会議ＩＤと対応付けて会議情報記憶部５００１に記憶させる。また、コミュニケーション管理部５４は、テナントに所属するユーザーに閲覧権限がある会議情報を取得する。会議には会議ＩＤが設定されているので、会議ＩＤにより遠隔会議と記録情報が対応付けられる。
機器管理部５５は、会議で使用される電子黒板２とミーティングデバイス６０の機器識別情報を受信した場合、それらを対応付けて対応付け情報記憶部５００３に保存する。したがって、会議ＩＤと電子黒板２の機器識別情報とミーティングデバイス６０の機器識別情報が対応付けられる。会議ＩＤには結合画像動画も対応付けられるので、電子黒板２で入力された手書きデータと結合画像動画も対応付けられる。また、機器管理部５５は、録画が終了されると（会議が終了すると）、対応付け情報記憶部５００３から対応付けを削除する。
テキスト変換部５６は、端末装置１０からテキストデータへの変換を要求された音声データを外部の音声認識サービスシステム８０を利用してテキストデータに変換する。テキスト変換部５６自身が変換してもよい。
検索部５７は、オブジェクトに対応付けられている付加情報２４０、テキストデータ（ミーティングデバイスが集音し音声認識されたテキストデータ）、文字列（電子黒板２に文字コードで入力された文字）を検索し、適合したオブジェクトのタイムスタンプを返す。付加情報２４０としては、筆記者、及び、補足などがある。
付加情報受付部５８は、オブジェクトに対する付加情報２４０を受け付ける。付加情報２４０は、例えば筆記者と補足（任意の文字列）である。
図１１は、コミュニケーション管理部５４が管理する、会議情報記憶部５００１に記憶された会議情報の一例である。コミュニケーション管理部５４は上記のアカウントを使ってテナントに所属する当該ユーザーが閲覧権限のある遠隔会議のリストを取得できる。本実施形態では、遠隔会議を例にしているが、遠隔会議のリストには１つの会議室だけで開催される会議も含まれている。
会議情報は会議ＩＤで管理され、参加者、タイトル（会議名）、開始日時、終了日時、場所などと対応付けられている。これらは会議情報の一例であり、会議情報は、他にも情報を含みうる。
・参加者の項目は、会議の参加者である。
・タイトルの項目は、会議名や会議の議題など、会議の内容を表す。
・開始日時の項目は、会議が開始される予定の日時である。
・終了日時の項目は、会議が終了する予定の日時である。
・場所の項目は、会議の開催場所であり、例えば会議室や、支社名、建屋などである。
・電子黒板情報の項目は、会議で使用された電子黒板２の識別情報である。
・ミーティングデバイスの項目は、会議で使用されたミーティングデバイス６０の識別情報である。
・閲覧権限の項目は、会議の開催者が予め会議情報を登録する際又は開催後に閲覧権限をもつユーザーとして登録したユーザーＩＤである。例えば、会議ごとに、参加者のみ、参加者＋任意のユーザー名、又は、任意のユーザー名などが会議情報に登録される。
図１０，図１１に示すように、会議ＩＤにより会議で録画された結合画像動画が特定される。
録画情報記憶部５００２に記憶されている録画情報は図１０と同様でよい。ただし、情報処理システム５０では、テナントに所属する全てのユーザーが録画した結合画像動画のリストを有する。
図１２は、対応付け情報記憶部５００３に記憶された、会議ＩＤに対し、電子黒板２の機器識別情報とミーティングデバイス６０の機器識別情報が対応付けられた対応付け情報を示す。情報記録アプリ４１が機器識別情報を情報処理システム５０に送信してから、録画を終了するまでこの対応付け情報が保持される。
＜＜ストレージサービスシステム＞＞
ストレージサービスシステム７０は記録情報及びオブジェクト情報を記憶するサービスシステムであればよい。記録情報記憶部７００１には、記録情報（結合画像動画、テキストデータ）及びオブジェクト情報が保存されている。
図１３は、記録情報記憶部７００１に記憶されている記録情報とオブジェクト情報を示す。図１３に示すように、記録情報である結合画像動画とテキストデータ、及び、オブジェクト情報が会議ＩＤに対応付けて保存されている。結合画像動画には合成された音声が含まれており、テキストデータは合成後の音声データが音声認識により変換されたものである。オブジェクト情報は後述する電子黒板２に入力された手書きデータなどのオブジェクトに関する情報である。結合画像動画には、話者切り替わりデータが添付されている。記録情報とオブジェクト情報は会議ＩＤと対応付けられているので、会議情報とも対応付けられている。
図１４は、記録情報の一部であるテキストデータの構造を説明する図である。図１４に示すように、テキストデータには、ＩＤ、time、認識結果文字列、音声データ、拠点識別情報、話者ＩＤの項目が対応付けられている。
・ＩＤは自拠点音声と他拠点音声が所定の規則で分割された場合に採番される識別情報である。所定の規則は、ミーティングデバイス６０（及び音声認識サービスシステム８０の少なくとも一方）に設定されており、例えば、一定時間の無音状態が継続すると区切る、無音状態がなくても一定時間で強制的に区切る、形態素解析により検出した一文ずつ区切る、などである。
・timeは、録画開始からの継続時間による発言時刻である。記録開始時にいわゆる時刻も保存されるので、textが発言された時刻（国又は地域の標準時）も分かる。
・認識結果文字列は分割された合成音声が音声認識で変換されたテキストデータの一部である。合成音声は、認識結果文字列の変換元となった音声データである。
・音声データは、拠点の判断後に自拠点音声と他拠点音声が合成された合成音声（分割済み）である。
・拠点識別情報は、自拠点音声の音圧と他拠点音声の音圧に基づいて判断された、音声データが発言された拠点の識別情報である。拠点識別情報は、例えば１が自拠点、２が他拠点を表す。
・話者ＩＤは、認識結果文字列を発言した話者を示すユーザーＩＤである。ユーザーＩＤによりどの参加者が発言したかも特定できる。会議中に話者を識別する方法はいくつか知られている。識別する方法は、例えば、予め各社員が声紋を登録しておく方法、ミーティングデバイス６０が話者の方向を検出しているので、その方向の参加者を顔認識する方法など、どのような方法でもよい。話者ごとにマイクが用意される会場ではどのマイクが集音したかで話者が特定される。
＜＜電子黒板＞＞
図１５は、電子黒板２の機能をブロックに分けて説明する機能ブロック図である。電子黒板２は、接触位置検出部３１、描画データ生成部３２、データ記録部３３、表示制御部３４、コード生成部３５、通信部３６、及び、認証部３７を有する。電子黒板２が有する各機能は、図８に示されている各構成要素のいずれかが、ＳＳＤ４０４からＲＡＭ４０３上に展開されたプログラムに従ったＣＰＵ４０１からの命令によって動作することで実現される機能又は手段である。
接触位置検出部３１は接触センサー４１４に対し電子ペン４９０が接触した位置の座標を検出する。描画データ生成部３２は電子ペン４９０のペン先が接触した座標を接触位置検出部３１から取得する。描画データ生成部３２はこの座標点列を補間することで接続してストロークデータを生成する。
表示制御部３４は手書きデータやユーザーが操作するためのメニューなどをディスプレイに表示する。
データ記録部３３は、電子黒板２に手書きされた手書きデータ、円や三角などの図形、済などのスタンプ、ＰＣの画面、ファイル等をオブジェクト情報記憶部３００２に保存する。手書きデータ、図形、及び、ＰＣの画面などの画像、ファイル等はオブジェクトとして扱われる。
通信部３６はＷＩ－ＦｉやＬＡＮに接続し、情報処理システム５０と通信する。通信部３６は、オブジェクト情報を情報処理システム５０に送信したり、情報処理システム５０に記憶されたオブジェクト情報を情報処理システム５０から受信してディスプレイ４８０に表示させたりする。
コード生成部３５は、機器情報記憶部３００１に記憶された電子黒板２の機器識別情報と会議で使用可能な機器であることを示す情報を２次元のパターンに符号化して二次元コードを生成する。また、コード生成部３５は電子黒板２の機器識別情報と会議で使用可能な機器であることを示す情報をバーコードに符号化できる。機器識別情報はシリアル番号やＵＵＩＤ（Universally Unique Identifier）などでよい。ユーザーが設定したものでもよい。
認証部３７は、電子黒板２のユーザーを認証する。認証方法は認証部５２と同様でよい。また、認証部３７は認証部５２に認証を依頼してもよい。
また、電子黒板２は、図８に示されているＳＳＤ４０４等によって構築される記憶部３０００を有している。記憶部３０００には機器情報記憶部３００１とオブジェクト情報記憶部３００２が構築されている。
図１６は、機器情報記憶部３００１に記憶されている機器識別情報等を示す。
・機器識別情報は、電子黒板２の識別情報である。
・ＩＰアドレスは、他の装置がネットワークを介して電子黒板２と接続するためのＩＰアドレスである。
・パスワードは電子黒板２に他の装置が接続する際の認証に使用される。
図１７は、オブジェクト情報記憶部３００２に保存されているオブジェクト情報を説明する図である。オブジェクト情報は、電子黒板２が表示するオブジェクトを管理する情報である。オブジェクト情報は情報処理システム５０に送信され議事録として使用される。遠隔会議の開催時に他の拠点に電子黒板２が配置されている場合、オブジェクト情報が共有される。
・会議ＩＤの項目は、情報処理システム５０から通知された会議の識別情報が設定される。
・オブジェクトＩＤの項目は、オブジェクトを識別する識別情報が設定される。
・種別の項目は、オブジェクトの種類が設定され、文字列、手書きデータ、文字、図形、画像、等がある。文字列は、手書きデータが手書き認識された１つ以上の文字（実体は文字コード）である。文字列をテキストデータという場合もある。手書きデータは１つ以上のストロークデータ（座標点列）である。手書きデータは、ストロークのペンアップから次のストロークのペンダウンまでの時間が、閾値以上となることで分割される。図形は、三角や四角などの幾何学的な形状である。画像は、ＰＣやインターネットなどから取り込まれたＪｐｅｇ、Ｐｎｇ、ＴＩ/ＦＦなどの画像データである。いずれのオブジェクトも、データ本体がオブジェクトＩＤに対応付けられて保存されている。
・電子黒板２の１画面をページと称する。ページの項目はそのページ番号である。
・座標の項目は、電子黒板２の所定の原点を基準とするオブジェクトの位置が設定される。オブジェクトの位置は例えばオブジェクトの外接矩形の左上頂点である。座標は例えば、ディスプレイの画素単位で表される。
・サイズの項目は、オブジェクトの外接矩形の幅と高さが設定される。
・筆記者ＩＤの項目は、オブジェクトを入力したユーザーのユーザーＩＤである。ユーザーは電子黒板２の使用を開始する前に電子黒板２にログインする。ログインによりユーザーＩＤが特定される。例えば、同時には一人のユーザーのみが電子黒板２に入力する場合、最後にログインしたユーザーのユーザーＩＤがオブジェクトに対応付けられる。同時に複数のユーザーが電子黒板２に入力する場合、電子ペンとユーザーＩＤが対応付けられるとよい。例えばユーザーがログインした順番に、電子ペンのＩＤとユーザーＩＤとが対応付けられ、ユーザーが入力に使用した電子ペンにより、オブジェクトを入力したユーザーＩＤが特定される。筆記者ＩＤの項目に複数のユーザーＩＤが登録されているのは、１つの手書きデータが複数のストロークを有し、それぞれを異なるユーザーが手書きしたためである。
このように筆記者ＩＤは、情報処理システム５０側で付与されてもよいし、付加情報２４０の１つとしてユーザーにより設定されてもよい。ユーザーにより設定される場合、筆記者ＩＤは筆記者名でよい。
・タイムスタンプの項目は、オブジェクトの入力が開始された時刻（時刻情報の一例）が設定される。タイムスタンプはオブジェクトの入力が終了した時刻でもよい。
・補足の項目は、ユーザーがオブジェクトに対し任意に追加した文字列である。なお、補足は、電子黒板２に対しユーザーがオブジェクトを指定して追加することもできる。補足は、１ストローク単位でユーザーが追加可能である。この場合、補足は図１８（ｂ）のストロークデータＩＤに対応付けて保存される。
図１８は、手書きデータを構成するストロークデータの構造を説明する図である。図１８（ａ）は、各ページに含まれるストロークを含むページデータを示す概念図である。ページデータは、ディスプレイ４８０に表示される１ページ分のストローク配列データである。ページデータは、図１８（ａ）に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開始時刻、ストロークやジェスチャー等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、及び、電子ペン４９０やユーザーの手Ｈによるストロークによって生じたストローク配列データを識別するためのストローク配列データＩＤ、が関連付けて記憶されている。
このようなページデータにより、例えば、ユーザーが電子ペン４９０によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、ストロークデータＩＤが１つで一文字のアルファベット［Ｓ］が示される。ところが、ユーザーが電子ペン４９０によってアルファベット「Ｔ」を描く場合、二筆書きとなるため、ストロークデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。
ストローク配列データは、図１８（ｂ）に示されているように詳細な情報を示している。図１８（ｂ）は、ストローク配列データを示す概念図である。１つのストローク配列データは、複数のストロークデータによって表される。そして、１つのストロークデータは、手書きデータと紐付けるためのオブジェクトＩＤ、ストロークデータを識別するためのストロークデータＩＤ、１つのストロークの書き始めの時刻を示す開始時刻、１つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、ストロークの通過点の配列を識別するための座標配列データＩＤ、及び、ストロークを筆記した筆記者のユーザーＩＤを示している。
この座標配列データは、図１８（ｃ）に示されているように詳細な情報を示している。図１８（ｃ）は、座標配列データを示す概念図である。図１８（ｃ）に示されているように、座標配列データは、ディスプレイ４８０上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときのストロークの開始時刻からの差分の時刻（ｍｓ）、及び、この１点における電子ペン４９０の筆圧の各情報を示している。即ち、図１８（ｃ）に示されている１点の集まりが、図１８（ｂ）に示されている１つの座標配列データで示されている。例えば、ユーザーが電子ペン４９０によってアルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
＜会議の開始から終了までの処理＞
まず、図１９を参照して、会議の開始から終了までの流れを説明する。図１９は、会議で記録情報とオブジェクト情報が保存される処理を説明するシーケンス図である。なお、予め電子黒板２とミーティングデバイス６０とが対応付け情報記憶部５００３で対応付けられているものとする。
S21：ユーザーが端末装置１０の情報記録アプリ４１を操作して会議開始を指示する。例えば、ユーザーは会議情報のリストから会議を選択してよい。なお、ユーザーは別途、遠隔会議アプリ４２を操作して他の拠点との遠隔会議を開始してもよいし、遠隔会議はしなくてもよい。
S22：端末装置１０の操作受付部１２は会議開始を受け付け、通信部１１が会議ＩＤを指定して会議開始を情報処理システム５０に送信する。
S23：次に、ユーザーが電子黒板２に対し、会議を指定して会議参加を指示する。
S24：これにより、電子黒板２の通信部３６が電子黒板２の機器識別情報と会議ＩＤを指定して会議参加を情報処理システム５０に送信する。
S25：会議開始に応じて情報記録アプリ４１のデバイス通信部１６は、記録開始をミーティングデバイス６０に要求する。
S26：ミーティングデバイス６０の端末通信部６１は録画開始要求を受信し、パノラマ画像作成部６２がパノラマ画像の作成を開始し、話者画像作成部６３が話者画像の作成を開始する。また、集音部６４が周囲の音声を集音する。なお、遠隔会議が開催された場合は音声の合成が行われるが、音声の合成はミーティングデバイス６０又は端末装置１０のどちらで行われてもよい。
S27：端末通信部６１はパノラマ画像と話者画像及び集音した音声データを端末装置１０に送信する。端末装置１０のデバイス通信部１６はパノラマ画像と話者画像及び集音した音声データを受信する。録画制御部１７は、パノラマ画像と話者画像及び集音した音声データを合成したり、更に遠隔会議アプリ４２の映像を合成したりして結合画像動画を生成する。
S28：端末装置１０の通信部１１はリアルタイムに音声データの認識を情報処理システム５０に要求する。リアルタイムとは、最大の遅延時間が保証されていることをいう。
S29：情報処理システム５０の通信部５１は音声データを受信すると、テキスト変換部５６が音声データをテキストデータに変換する。
S30：情報処理システム５０の通信部５１は、ミーティングデバイス６０と会議ＩＤで対応付けられている電子黒板２にテキストデータを送信する。
S31：電子黒板２の通信部３６はテキストデータを受信して、表示制御部１３がテキスト表示領域にテキストデータを表示する。
S32：ユーザーが電子黒板２にストロークなどのオブジェクトを入力する。描画データ生成部３２がストロークを生成し、表示制御部３４がディスプレイ４８０に表示する。データ記録部３３は、オブジェクト情報を生成する。
S33：電子黒板２の通信部３６はストロークデータなどのオブジェクト情報を情報処理システム５０に送信する。通信部３６は会議終了後にまとめて送信してもよい。情報処理システム５０の通信部５１はオブジェクト情報を受信し、オブジェクト情報記憶部５００４に時系列に保存する。
S34：会議が終了すると、ユーザーが端末装置１０の情報記録アプリ４１を操作して会議終了を指示する。
S35：端末装置１０の操作受付部１２は会議終了を受け付け、通信部１１が会議ＩＤを指定して会議終了を情報処理システム５０に送信する。会議終了に応じて通信部１１は、会議ＩＤと共に結合画像動画を情報処理システム５０に送信する。
S36：情報処理システム５０の通信部５１は結合画像動画を受信し、通信部５１は、ストレージサービスシステム７０に記録情報（結合画像動画、テキストデータ）、及び、オブジェクト情報を保存する。
S37：会議終了に応じて情報記録アプリ４１のデバイス通信部１６は、記録停止をミーティングデバイス６０に要求する。録画制御部１７は録画を停止するが、パノラマ画像と話者画像及び集音した音声データは継続して情報記録アプリ４１が受信する場合がある。
S38：ユーザーが電子黒板２に対し、会議終了を指示する。これにより、電子黒板２はオブジェクト情報を情報処理システム５０に送信しなくなる。
＜記録情報の再生と付加情報の追加＞
次に、図２０を参照して、ユーザーが記録情報を再生する際に付加情報２４０を追加する処理を説明する。図２０は、ユーザーが記録情報を再生する際に付加情報２４０を追加する処理を説明するシーケンス図の一例である。
S41：ユーザーは会議の一覧などから会議を選択することで、記録情報の再生を端末装置に指示する。端末装置１０の操作受付部１２が選択を受け付ける。
S42：端末装置１０の通信部１１は、会議ＩＤを指定して記録情報、会議情報及びオブジェクト情報を情報処理システムに要求する。
S43：情報処理システムの通信部５１は記録情報の要求を受信し、会議ＩＤで特定される会議情報、ストレージサービスシステム７０から取得した記録情報（結合画像動画、テキストデータ）、及び、オブジェクト情報を端末装置１０に送信する。
S44：端末装置１０の通信部１１が記録情報、会議情報及びオブジェクト情報を受信し、表示制御部１３が録画再生画面２２０に記録情報、会議情報及びオブジェクト情報を表示する。録画再生画面２２０の一例を図２１に示す。
S45：ユーザーは録画再生画面２２０に表示されるオブジェクトに対し、付加情報２４０を追加する。操作受付部１２が付加情報２４０を受け付ける。追加方法の一例を図２３にて説明する。
S46：ユーザーが付加情報２４０の保存を端末装置１０に入力すると、操作受付部１２が受け付ける。
S47：端末装置１０の通信部１１は、付加情報２４０が追加されたオブジェクト情報を情報処理システム５０に送信する。情報処理システム５０の通信部５１は、付加情報２４０が追加されたオブジェクト情報を受信し、付加情報受付部５８が、付加情報２４０が追加されたオブジェクト情報をストレージサービスシステム７０に保存する。
図２１は、端末装置１０が表示する録画再生画面２２０の一例を示す。録画再生画面２２０の会議詳細領域２３０には会議情報が表示され、電子黒板デバイス表示領域２１０には記録情報又はオブジェクト情報が切り替えて表示され、議事録領域２３１には会議の議事録が表示される。図２１（ａ）の録画再生画面２２０では、電子黒板デバイス表示領域２１０に記録情報が表示されている。
ユーザーが電子黒板ボタン２１１をポインティングデバイス５１２で押下（例えばクリック）すると、図２１（ｂ）の録画再生画面２２０に切り替わる。電子黒板ボタン２１１は、現在の再生時刻におけるオブジェクト情報を表示させるボタンである。図２１（ｂ）の録画再生画面２２０では、電子黒板デバイス表示領域２１０にオブジェクト情報が表示されている。閲覧者が録画画面ボタン２１２をポインティングデバイス５１２で押下（例えばクリック）すると、図２１（ａ）の録画再生画面２２０に切り替わる。
図２１（ａ）では時間と共に記録情報が再生され、図２１（ｂ）では時間と共にオブジェクトが変化する。オブジェクトは動画でないが、タイムスタンプを有しているので、表示制御部は１３が動画のようにオブジェクトの追加と削除を再現できる。したがって、電子黒板デバイス表示領域２１０に記録情報とオブジェクトが同時に表示されなくても、記録情報とオブジェクトは同期して表示される。また、記録情報とオブジェクトが別の領域に同時に同期を取りながら表示されてもよい。ユーザーはシークバー２７０のスライダを操作して時刻を早めたり遅くしたりして、所望の時刻の記録情報やオブジェクトを確認できる。
なお、図２１（ｂ）では、説明の便宜上、１つのストロークのみが表示されているが、電子黒板デバイス表示領域２１０には、記録情報の再生時刻に表示中のページにおいて、再生時刻までに入力された全てのオブジェクトが表示される。
また、図２２に示すように、録画再生画面２２０は検索欄２５０を有している。図２２は検索欄２５０を拡大して示す。検索欄２５０は、筆記者の入力欄２５１、補足の入力欄２５２、文字列の入力欄２５３、及び、テキストの入力欄２５４を有している。筆記者の入力欄２５１は、筆記者の検索キーをユーザーが入力するための欄である。補足の入力欄２５２の入力欄は、補足の検索キーをユーザーが入力するための欄である。文字列の入力欄２５３は、文字列（電子黒板で文字変換された文字列）の検索キーをユーザーが入力するための欄である。テキストの入力欄２５４は、テキストデータ（ミーティングデバイスが集音した音声が音声認識されたテキストデータ）の検索キーをユーザーが入力するための欄である。
ユーザーは、検索欄２５０に検索キーを入力し、検索ボタン２５５を押下することによりオブジェクト情報を検索できる。検索はＡＮＤ検索でもＯＲ検索でもよい。ユーザーがＡＮＤ検索又はＯＲ検索を設定できてよい。
図２１に戻って説明する。図２１（ｂ）の電子黒板デバイス表示領域２１０に表示されたストロークを、ユーザーがポインティングデバイス５１２で押下（例えば右クリック）すると、図２３に示すようにストローク又は１つの手書きデータに対応付けられた入力欄２６０が表示される。１つの手書きデータとは、ストロークと次のストロークの入力に閾値以上の時間又は距離の間隔がある場合に、１つ以上のストロークをグループ化したものである。１つのストローク又は１つの手書きデータのどちらに付加情報２４０が対応付けられてもよい。
図２３は、付加情報（筆記者と補足）を入力するための入力欄２６０を示す。入力欄２６０は、筆記者欄２６１と補足欄２６２を有している。筆記者欄２６１には、選択されたストロークを手書きした筆記者のユーザーＩＤが表示される。筆記者が記録されていない場合には、筆記者が表示されない場合もある。補足欄２６２には、ユーザーが追加した任意の補足が表示される。ユーザーが筆記者欄２６１に筆記者を、補足欄２６２に補足を追加するためには、補足追記ボタン２６３を押下すればよい。あるいは、入力欄２６０が表示された直後から筆記者と補足が入力可能でもよい。
入力欄２６０は、会議中にユーザーが電子黒板２に対し同様の操作で表示させることもでき、会議中にユーザーが付加情報２４０を入力してもよい。
このように、ユーザーは、誰がストロークを手書きしたか、ストロークにどのような補足情報があるか等を任意に設定できる。入力欄２６０は、ストローク以外の画像、文字列、図形などにも表示可能である。
＜検索の流れ＞
次に、図２４を参照して、ユーザーがオブジェクトを検索する処理を説明する。図２４は、ユーザーが検索キーでオブジェクトを検索する処理を説明するシーケンス図である。録画再生画面２２０を標示するまでの処理(S51～S53)は図２０と同様でよい。
S54：ユーザーが検索欄２５０に検索キーを入力する。操作受付部１２が検索キーの入力を受け付ける。
S55：端末装置１０の通信部１１は、検索キーを指定した検索要求を情報処理システム５０に送信する。
S56：情報処理システム５０の通信部５１は検索要求を受信し、検索キーでストレージサービスシステム７０にあるオブジェクト情報の付加情報２４０、文字列、及び、テキストデータを検索する。これにより、検索キーに適合するオブジェクトが特定される。付加情報２４０は、上記のように筆記者及び補足である。
S57：情報処理システム５０の表示情報提供部５３は、通信部５１を介して、検索に適合したオブジェクト情報（検索結果）を端末装置１０に送信する。ここで送信されるオブジェクト情報は、端末装置１０が予めどの情報を情報処理システム５０から取得済みかによって異なる。例えば、情報処理システム５０がオブジェクト情報の全体（例えば一会議分）を端末装置１０に送信済みの場合、ステップS57ではオブジェクトＩＤを送信すればよい。端末装置１０側でオブジェクトが表示された時刻（タイムスタンプ）を特定でき、オブジェクト位置マーク２２１とサムネイルを表示することもできる。情報処理システム５０がオブジェクト情報の全体を端末装置１０に送信していない場合、ステップS57ではタイムスタンプと検索に適合したオブジェクト情報を送信する。これにより、端末装置１０側で、オブジェクト位置マーク２２１とサムネイルを表示することもできる。
なお、端末装置１０が予めどの情報を情報処理システム５０から取得済みかに関わらず、情報処理システム５０の表示情報提供部５３は、付加情報２４０、文字列、及び、テキストデータのうちどれが検索キーと適合したかを端末装置１０に提供する。すなわち、表示情報提供部５３は検索に適合した検索対象の種類を端末装置１０に提供する。こうすることで、端末装置１０はオブジェクト位置マークの態様を検索に適合した検索対象の種類によって変更できる（図２７参照）。
S58：端末装置１０の通信部１１はステップS57で説明したオブジェクト情報を受信し、表示制御部１３が検索結果として、オブジェクト位置マーク２２１をタイムスタンプ上に表示する。表示例については後述する。
S59：ユーザーがオブジェクト位置マーク２２１をポインティングデバイスでマウスオーバーした。操作受付部１２がマウスオーバーを受け付ける。
S60：端末装置１０の表示制御部１３は、オブジェクト位置マーク２２１が表示されている時刻のオブジェクト又は記録情報のサムネイルをポップアップ表示する。
S61：ユーザーがオブジェクト位置マーク２２１をポインティングデバイスで押下（例えばクリック）した。操作受付部１２が押下を受け付ける。
S62：端末装置１０の表示制御部１３は、オブジェクト位置マーク２２１が表示されている時刻のオブジェクトを電子黒板デバイス表示領域２１０に表示するか、又は、オブジェクト位置マーク２２１が表示されている時刻から記録情報を再生する。オブジェクトを表示するか、記録情報を再生するかについて、詳細は後述する。なお、オブジェクト位置マーク２２１が表示されている時刻の記録情報を端末装置１０が受信済みでない場合、端末装置１０はオブジェクト位置マーク２２１が表示されている時刻の記録情報を情報処理システム５０から取得する。
＜オブジェクト位置マーク等の表示例＞
図２５～図３０を参照し、オブジェクト位置マークやサムネイル等の表示例を説明する。図２５は、録画再生画面２２０の電子黒板デバイス表示領域２１０において、検索に適合したオブジェクトがある場合に表示されるオブジェクト位置マークを示す。図２５（ａ）に示すように、シークバー２７０上にオブジェクト位置マーク２２１が表示される。オブジェクト位置マーク２２１は検索に適合したオブジェクトのタイムスタンプが、記録情報の記録時間に変換されたものである。例えば、記録情報の録画開始が１２時００分００秒であり、検索に適合したオブジェクトのタイムスタンプが１２時３分４５秒の場合、オブジェクトは記録情報の開始からの差分である３分４５秒の経過時に入力された。表示制御部１３は、３分４５秒をシークバー２７０の長さに応じた位置に変換して、オブジェクト位置マーク２２１を表示する。表示制御部１３は、下式でオブジェクト位置マーク２２１の位置を算出する。この計算を情報処理システム５０が行ってもよい。
シークバー２７０の長さ×差分/（記録情報の録画時間）
オブジェクト位置マーク２２１には検索に適合したオブジェクト情報が対応付けられている。ユーザーが筆記者を検索した場合は、筆記者が入力したストロークが入力された再生時刻を把握でき、ストロークが入力された場面の記録情報を再生できる。ユーザーが補足を検索した場合は、補足が追加されたストロークが入力された再生時刻を把握でき、ストロークが入力された場面の記録情報を再生できる。
図２５（ｂ）に示すように、ユーザーがオブジェクト位置マーク２２１をポインティングデバイス５１２でマウスオーバー（第一の操作の一例）すると、表示制御部１３がオブジェクトのサムネイル２７１、２７２と付加情報２４０を表示する。サムネイル２７１、２７２には、少なくとも検索に適合したオブジェクト（１つのストローク、又は、１つの手書きデータ）が表示される。あるいは、サムネイル２７１、２７２に、検索に適合したオブジェクトのタイムスタンプに対し一定時間前と後のオブジェクトが表示されてもよい。あるいは、検索に適合したオブジェクトが含まれるページにおいて、該オブジェクトのタイムスタンプまでに入力された全てのオブジェクトが表示されてもよい。
ユーザーがオブジェクト位置マーク２２１をポインティングデバイス５１２で押下した場合（第二の操作の一例）、表示制御部１３が、オブジェクト位置マーク２２１が表示されている時刻のオブジェクトを表示する。
図２６は、オブジェクト位置マーク２２１の押下により表示されたオブジェクトの表示例である。図２６では、電子黒板デバイス表示領域２１０に、オブジェクト位置マーク２２１が表示されている時刻のオブジェクトが表示されている。すなわち、表示制御部１３は、記録情報が表示されていた電子黒板デバイス表示領域２１０に、記録情報に代えて、オブジェクトを表示する。ユーザーはシークバー２７０のスライダを時間順に移動させなくても所望のオブジェクトを表示させることができる。
図２７に示すように、表示制御部１３は、検索に適合したオブジェクトの種類に応じて、オブジェクト位置マーク２２１の態様を変えてもよい。図２７は、録画再生画面２２０の電子黒板デバイス表示領域２１０において、検索に適合したオブジェクトの種類に応じたオブジェクト位置マークを示す。図２７では、筆記者が適合したオブジェクト位置マーク２２１ａ、補足が適合したオブジェクト位置マーク２２１ｂ、文字列が適合したオブジェクト位置マーク２２１ｃ、及び、テキストデータが適合したオブジェクト位置マーク２２１ｄがそれぞれ異なる形状で表示されている。ユーザーは検索欄２５０に入力した検索キーのどれが適合したかを判断して、オブジェクト位置マーク２２１を選択できる。複数のオブジェクトの種類で検索キーが適合した場合、シークバー２７０上の同じ位置に異なるオブジェクト位置マークが表示される。
なお、図２７のオブジェクト位置マーク２２１は、同じ形状で色を変えてもよいし、形状と色を変えてもよい。
＜オブジェクト位置マークが表示されている位置からの記録情報の再生＞
図２８は、オブジェクト位置マーク２２１が押下された場合にオブジェクト位置マーク２２１が表示されていた時刻から再生される記録情報を示す。図２８（ａ）は図２１（ａ）と同じものである。図２８（ｂ）に示すように、オブジェクト位置マーク２２１が例えば押下されると、電子黒板デバイス表示領域２１０には、オブジェクト位置マーク２２１が表示された時刻から記録情報が再生される。オブジェクト位置マーク２２１が録画開始から３分４５秒に対応付けられていれば、録画再生部１９は３分４５秒から記録情報を再生する。こうすることで、ユーザーがシークバー２７０を操作しなくても、ストロークが入力された場面の記録情報を再生できる。
オブジェクト位置マーク２２１の押下により、オブジェクト位置マーク２２１が表示された時刻から記録情報が再生されるのか、オブジェクトが表示されるのかは、ユーザーが予め電子黒板２に設定しておく方法がある。あるいは、オブジェクト位置マーク２２１の押下によりポップアップメニューが表示され、記録情報の再生又はオブジェクトの表示をユーザーが選択する方法がある。
＜オブジェクト位置マークに基づく記録情報のサムネイル表示＞
図２９に示すように、ユーザーがオブジェクト位置マーク２２１をポインティングデバイスでマウスオーバーした場合に、表示制御部１３が記録情報のサムネイルを表示してもよい。図２９は、オブジェクト位置マークがマウスオーバーされた場合に表示される記録情報のサムネイル２７３，２７４を示す。図２９（ａ）は図２１（ａ）と同じものである。
図２９（ｂ）に示すように、ユーザーがオブジェクト位置マーク２２１をポインティングデバイス５１２でマウスオーバーした場合、オブジェクト位置マーク２２１が表示されている位置における記録情報のサムネイル２７３，２７４が表示される。ユーザーは、オブジェクト位置マーク２２１を押下するかどうか、どのオブジェクト位置マーク２２１を押下するかを判断しやすい。
図２９のように、サムネイル２７３，２７４に記録情報が表示される場合、オブジェクト位置マーク２２１の押下により、オブジェクト位置マーク２２１が表示されている時刻のオブジェクトが電子黒板デバイス表示領域２１０に表示されてもよいし、当該時刻から記録情報が再生されてもよい。
また、図３０に示すように、ユーザーがオブジェクト位置マーク２２１をポインティングデバイスでマウスオーバーした場合に、表示制御部１３が、検索に適合したオブジェクトと記録情報の両方のサムネイル２７１～２７４を表示してもよい。図３０は、オブジェクト位置マークのマウスオーバーにより表示される、検索に適合したオブジェクトと記録情報のサムネイル２７１～２７４を示す。図３０では、１つのオブジェクト位置マーク２２１に対し、検索に適合したオブジェクトと記録情報のサムネイル２７１～２７４がそれぞれ表示されている。
シークバー２７０上には、二種類のオブジェクト位置マーク２２１、２８１（それぞれ第一のマークと第二のマークの一例）が表示されている。オブジェクト位置マーク２２１は、オブジェクト位置マーク２２１の押下により、オブジェクト位置マーク２２１が表示されている時刻のオブジェクトを電子黒板デバイス表示領域２１０に表示するためのものである（図２６参照）。
オブジェクト位置マーク２８１は、オブジェクト位置マーク２８１の押下により、当該時刻から記録情報を電子黒板デバイス表示領域２１０に再生するためのものである（図２８参照）。ユーザーは１回の操作でオブジェクトを表示させることも記録情報を再生することも可能になる。
＜領域の表示状態に応じたオブジェクトと記録情報の表示切り替え＞
電子黒板デバイス表示領域２１０にオブジェクト又は記録情報のどちらが表示されているかによって、オブジェクト位置マーク２２１への操作に対する処理を切り替えてもよい。
図３１は、電子黒板デバイス表示領域２１０の表示状態に応じて、オブジェクト位置マーク２２１の押下時に表示制御部１３がオブジェクトと記録情報のどちらを表示するかを切り替える処理を説明するフローチャート図である。
操作受付部１２はオブジェクト位置マーク２２１がマウスオーバーしたか否か判断する（Ｓ１０１）。
マウスオーバーされた場合（Ｓ１０１のＹｅｓ）、表示制御部１３は、電子黒板デバイス表示領域２１０に記録情報を表示中か否か判断する（Ｓ１０２）。
ステップＳ１０２の判断がＹｅｓの場合、表示制御部１３は、検索に適合したオブジェクトのサムネイルを表示する（Ｓ１０３）。
ステップＳ１０２の判断がＮｏの場合、表示制御部１３は、オブジェクト位置マーク２２１が表示されている時刻の記録情報のサムネイルを表示する（Ｓ１０４）。
操作受付部１２はオブジェクト位置マーク２２１が押下されたか否か判断する（Ｓ１０５）。
押下された場合、表示制御部１３は、電子黒板デバイス表示領域２１０に記録情報を表示中か否か判断する（Ｓ１０６）。
ステップＳ１０６の判断がＹｅｓの場合、表示制御部１３は、検索に適合したオブジェクトを電子黒板デバイス表示領域２１０に表示する（Ｓ１０７）。
ステップＳ１０６の判断がＮｏの場合、表示制御部１３は、オブジェクト位置マーク２２１が表示されている時刻から記録情報を再生する（Ｓ１０８）。
こうすることで、オブジェクトと記録情報のうち電子黒板デバイス表示領域２１０に表示されていない方をサムネイルで表示したり、再生時刻を移動して記録情報を再生したりすることができ、情報の一覧性が向上する。
＜主な効果＞
以上説明したように、本実施形態の記録情報作成システム１００は、ユーザーがオブジェクト情報を検索することで、記録情報のどの場面にオブジェクトが表示されているかを把握できる。ユーザーが記録情報を順番に見ながらオブジェクトを探すよりも短時間に、目的のオブジェクトが表示される場面を再生できる。
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、本実施形態では、検索を情報処理システム５０が行ったが、検索を端末装置１０が行ってもよい。
また、端末装置１０は、オブジェクトの表示と記録情報の再生を、同じ画面で並列に行ってもよい。この場合、オブジェクト位置マークの押下により、オブジェクト位置マークのオブジェクトが表示され、オブジェクト位置マークの位置から記録情報が再生される。
また、端末装置１０がネイティブアプリを実行する例を説明したが、端末装置１０がＷｅｂアプリを実行してもよい。
また、端末装置１０とミーティングデバイス６０が一体でもよい。端末装置１０にミーティングデバイス６０が外付けされてもよい。また、ミーティングデバイス６０は、全天球カメラとマイクとスピーカがケーブルで接続されたものでもよい。
また、他の拠点１０１においてもミーティングデバイス６０が配置されてよい。他の拠点１０１は別途、ミーティングデバイス６０を使用して結合画像動画とテキストデータを作成する。また、１つの拠点に複数のミーティングデバイス６０が配置されてもよい。この場合、ミーティングデバイス６０ごとに複数の記録情報が作成される。
また、本実施形態で使用した、結合画像動画における、パノラマ画像２０３，話者画像２０４、及び、アプリの画面の配置は一例に過ぎない。パノラマ画像２０３が下で話者画像２０４が上でもよいし、ユーザーが配置を変更したり、再生時にはパノラマ画像２０３と話者画像２０４の表示と非表示を個別に切り替えたりしてもよい。
また、図９などの構成例は、端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、情報処理システム５０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
更に、情報処理システム５０は、開示された処理ステップ、例えば図２４を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム５０が有する複数の情報処理装置によって実行され得る。また、情報処理システム５０は、1つのサーバー装置にまとめられていても良いし、複数の装置に分けられていても良い。
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（Digital Signal Processor）、FPGA（Field Programmable Gate Array）、及び、従来の回路モジュール等のデバイスを含む。
＜請求項に関する付記＞
[請求項１]
デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置に表示された時刻情報を含むオブジェクト情報を端末装置に提供し、
前記端末装置から検索キーを指定した検索要求を受信する通信部と、
前記検索要求に応じて、前記オブジェクト情報を前記検索キーで検索する検索部と、
前記記録情報の記録時間に対応付けて、検索に適合したオブジェクトの位置を表示するための情報を前記端末装置に提供する表示情報提供部と、を有する情報処理システムと、
前記端末装置を、
前記記録情報又は前記オブジェクト情報を再生する画面に、前記検索に適合したオブジェクトの位置を前記記録情報の記録時間に対応付けて表示する表示制御部として機能させるプログラムと、を有する記録情報作成システム。
[請求項２]
前記表示情報提供部は、前記記録情報のシークバー上に、検索に適合したオブジェクトの位置を表示するための情報を前記端末装置に提供する請求項１に記載の記録情報作成システム。
[請求項３]
前記情報処理システムは、
前記端末装置においてオブジェクトに対応付けられた付加情報を前記端末装置から受け付け、前記オブジェクト情報に対応付けて保存する付加情報受付部を有し、
前記検索部は、前記付加情報を前記検索キーで検索する請求項１又は２に記載の記録情報作成システム。
[請求項４]
前記付加情報は、前記オブジェクトの筆記者、及び、任意の文字列である請求項３に記載の記録情報作成システム。
[請求項５]
前記検索部は、前記端末装置から送信された、筆記者を検索するための検索キー、及び、任意の文字列を検索するための検索キーで前記付加情報を検索し、
前記表示情報提供部は、検索に適合したのが筆記者、又は、前記任意の文字列のいずれであるかの種別と共に、前記位置を表示するための情報を前記端末装置に提供し、
前記表示制御部は、前記種別に応じて異なる態様で、前記記録情報のシークバー上に検索に適合したオブジェクトの位置を表示する請求項４に記載の記録情報作成システム。
[請求項６]
前記検索部は、前記端末装置から送信された、前記音声が音声認識されたテキストデータを検索するための検索キー、及び、前記表示装置が表示した文字列を検索するための検索キーで前記付加情報を検索し、
前記表示情報提供部は、検索に適合したのが前記テキストデータ、又は、前記表示装置が表示した前記文字列のいずれであるかの種別と共に、前記位置を表示するための情報を前記端末装置に提供し、
前記表示制御部は、前記種別に応じて異なる態様で、前記記録情報のシークバー上に検索に適合したオブジェクトの位置を表示する請求項５に記載の記録情報作成システム。
[請求項７]
前記表示制御部は、前記検索に適合したオブジェクトの位置として、前記記録情報のシークバー上にマークを表示する請求項１～５のいずれか１項に記載の記録情報作成システム。
[請求項８]
前記マークに対する第一の操作に応じて、前記表示制御部は、前記検索に適合したオブジェクトのサムネイルを表示する請求項７に記載の記録情報作成システム。
[請求項９]
前記マークに対する第二の操作に応じて、前記表示制御部は、前記記録情報又は前記オブジェクト情報が表示されていた前記画面の領域に、前記記録情報又は前記オブジェクト情報に代えて、前記検索に適合したオブジェクトを表示する請求項７に記載の記録情報作成システム。
[請求項１０]
前記マークに対する第一の操作に応じて、前記表示制御部は、前記検索に適合したオブジェクトが有する時刻における前記記録情報のサムネイルを表示する請求項７に記載の記録情報作成システム。
[請求項１１]
前記マークに対する第二の操作に応じて、前記表示制御部は、前記記録情報又は前記オブジェクト情報が表示されていた前記画面の領域に、前記記録情報又は前記オブジェクト情報に代えて、前記検索に適合したオブジェクトが有する時刻から前記記録情報を再生する請求項７に記載の記録情報作成システム。
[請求項１２]
前記マークに対する第一の操作に応じて、前記表示制御部は、前記検索に適合したオブジェクトのサムネイル、及び、前記検索に適合したオブジェクトが有する時刻における前記記録情報のサムネイルを表示する請求項７に記載の記録情報作成システム。
[請求項１３]
前記表示制御部は、前記シークバー上に第一のマークと第二のマークを表示し、
前記第一のマークに対する第二の操作に応じて、前記表示制御部は、前記記録情報又は前記オブジェクト情報が表示されていた前記画面の領域に、前記記録情報又は前記オブジェクト情報に代えて、前記検索に適合したオブジェクトを表示し、
前記第二のマークに対する第二の操作に応じて、前記表示制御部は、前記記録情報又は前記オブジェクト情報が表示されていた前記画面の領域に、前記記録情報又は前記オブジェクト情報に代えて、前記検索に適合したオブジェクトが有する時刻から前記記録情報を再生する請求項７に記載の記録情報作成システム。
[請求項１４]
前記表示制御部は、前記画面の予め定められた領域に、前記記録情報又は前記オブジェクト情報のどちらが表示されているかに応じて、
前記マークに対する第一の操作に対し、前記検索に適合したオブジェクトが有する時刻における前記記録情報のサムネイルを表示するか、前記検索に適合したオブジェクトを表示するかを切り替え、
前記マークに対する第二の操作に対し、前記記録情報又は前記オブジェクト情報が表示されていた前記画面の領域に、前記記録情報又は前記オブジェクト情報に代えて、前記検索に適合したオブジェクトを表示するか、前記検索に適合したオブジェクトが有する時刻から前記記録情報を再生するかを切り替える請求項７に記載の記録情報作成システム。
１０ 端末装置
５０ 情報処理システム
６０ ミーティングデバイス
７０ ストレージサービスシステム
１００ 記録情報作成システム
特開２０１０－１５４０８９号公報

Claims (17)

  1. デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置に表示された時刻情報を含むオブジェクト情報を端末装置に提供し、
    前記端末装置から検索キーを指定した検索要求を受信する通信部と、
    前記検索要求に応じて、前記オブジェクト情報を前記検索キーで検索する検索部と、
    前記記録情報の記録時間に対応付けて、検索に適合したオブジェクトの位置を表示するための情報を前記端末装置に提供する表示情報提供部と、を有する情報処理システムと、
    前記端末装置を、
    前記記録情報又は前記オブジェクト情報を再生する画面に、前記検索に適合したオブジェクトの位置を前記記録情報の記録時間に対応付けて表示する表示制御部として機能させるプログラムと、を有する記録情報作成システム。
  2. 前記表示情報提供部は、前記記録情報のシークバー上に、検索に適合したオブジェクトの位置を表示するための情報を前記端末装置に提供する請求項１に記載の記録情報作成システム。
  3. 前記情報処理システムは、
    前記端末装置においてオブジェクトに対応付けられた付加情報を前記端末装置から受け付け、前記オブジェクト情報に対応付けて保存する付加情報受付部を有し、
    前記検索部は、前記付加情報を前記検索キーで検索する請求項１又は２に記載の記録情報作成システム。
  4. 前記付加情報は、前記オブジェクトの筆記者、及び、任意の文字列である請求項３に記載の記録情報作成システム。
  5. 前記検索部は、前記端末装置から送信された、筆記者を検索するための検索キー、及び、任意の文字列を検索するための検索キーで前記付加情報を検索し、
    前記表示情報提供部は、検索に適合したのが筆記者、又は、前記任意の文字列のいずれであるかの種別と共に、前記位置を表示するための情報を前記端末装置に提供し、
    前記表示制御部は、前記種別に応じて異なる態様で、前記記録情報のシークバー上に検索に適合したオブジェクトの位置を表示する請求項４に記載の記録情報作成システム。
  6. 前記検索部は、前記端末装置から送信された、前記音声が音声認識されたテキストデータを検索するための検索キー、及び、前記表示装置が表示した文字列を検索するための検索キーで前記付加情報を検索し、
    前記表示情報提供部は、検索に適合したのが前記テキストデータ、又は、前記表示装置が表示した前記文字列のいずれであるかの種別と共に、前記位置を表示するための情報を前記端末装置に提供し、
    前記表示制御部は、前記種別に応じて異なる態様で、前記記録情報のシークバー上に検索に適合したオブジェクトの位置を表示する請求項５に記載の記録情報作成システム。
  7. 前記表示制御部は、前記検索に適合したオブジェクトの位置として、前記記録情報のシークバー上にマークを表示する請求項１に記載の記録情報作成システム。
  8. 前記マークに対する第一の操作に応じて、前記表示制御部は、前記検索に適合したオブジェクトのサムネイルを表示する請求項７に記載の記録情報作成システム。
  9. 前記マークに対する第二の操作に応じて、前記表示制御部は、前記記録情報又は前記オブジェクト情報が表示されていた前記画面の領域に、前記記録情報又は前記オブジェクト情報に代えて、前記検索に適合したオブジェクトを表示する請求項７に記載の記録情報作成システム。
  10. 前記マークに対する第一の操作に応じて、前記表示制御部は、前記検索に適合したオブジェクトが有する時刻における前記記録情報のサムネイルを表示する請求項７に記載の記録情報作成システム。
  11. 前記マークに対する第二の操作に応じて、前記表示制御部は、前記記録情報又は前記オブジェクト情報が表示されていた前記画面の領域に、前記記録情報又は前記オブジェクト情報に代えて、前記検索に適合したオブジェクトが有する時刻から前記記録情報を再生する請求項７に記載の記録情報作成システム。
  12. 前記マークに対する第一の操作に応じて、前記表示制御部は、前記検索に適合したオブジェクトのサムネイル、及び、前記検索に適合したオブジェクトが有する時刻における前記記録情報のサムネイルを表示する請求項７に記載の記録情報作成システム。
  13. 前記表示制御部は、前記シークバー上に第一のマークと第二のマークを表示し、
    前記第一のマークに対する第二の操作に応じて、前記表示制御部は、前記記録情報又は前記オブジェクト情報が表示されていた前記画面の領域に、前記記録情報又は前記オブジェクト情報に代えて、前記検索に適合したオブジェクトを表示し、
    前記第二のマークに対する第二の操作に応じて、前記表示制御部は、前記記録情報又は前記オブジェクト情報が表示されていた前記画面の領域に、前記記録情報又は前記オブジェクト情報に代えて、前記検索に適合したオブジェクトが有する時刻から前記記録情報を再生する請求項７に記載の記録情報作成システム。
  14. 前記表示制御部は、前記画面の予め定められた領域に、前記記録情報又は前記オブジェクト情報のどちらが表示されているかに応じて、
    前記マークに対する第一の操作に対し、前記検索に適合したオブジェクトが有する時刻における前記記録情報のサムネイルを表示するか、前記検索に適合したオブジェクトを表示するかを切り替え、
    前記マークに対する第二の操作に対し、前記記録情報又は前記オブジェクト情報が表示されていた前記画面の領域に、前記記録情報又は前記オブジェクト情報に代えて、前記検索に適合したオブジェクトを表示するか、前記検索に適合したオブジェクトが有する時刻から前記記録情報を再生するかを切り替える請求項７に記載の記録情報作成システム。
  15. デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置に表示された時刻情報を含むオブジェクト情報を端末装置に提供する情報処理システムであって、
    前記端末装置から検索キーを指定した検索要求を受信する通信部と、
    前記検索要求に応じて、前記オブジェクト情報を前記検索キーで検索する検索部と、
    前記記録情報の記録時間に対応付けて、検索に適合したオブジェクトの位置を表示するための情報を前記端末装置に提供する表示情報提供部と、
    を有する情報処理システム。
  16. デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置に表示された時刻情報を含むオブジェクト情報を端末装置に提供する情報処理システムを、
    前記端末装置から検索キーを指定した検索要求を受信する通信部と、
    前記検索要求に応じて、前記オブジェクト情報を前記検索キーで検索する検索部と、
    前記記録情報の記録時間に対応付けて、検索に適合したオブジェクトの位置を表示するための情報を前記端末装置に提供する表示情報提供部、
    として機能させるためのプログラム。
  17. デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置に表示された時刻情報を含むオブジェクト情報を端末装置に提供し、
    前記端末装置から検索キーを指定した検索要求を受信する通信部と、
    前記検索要求に応じて、前記オブジェクト情報を前記検索キーで検索する検索部と、
    前記記録情報の記録時間に対応付けて、検索に適合したオブジェクトの位置を表示するための情報を前記端末装置に提供する表示情報提供部と、を有する情報処理システムと通信する端末装置を、
    前記記録情報又は前記オブジェクト情報を再生する画面に、前記検索に適合したオブジェクトの位置を前記記録情報の記録時間に対応付けて表示する表示制御部として機能させるプログラム。
JP2022128058A 2022-08-10 2022-08-10 記録情報作成システム、情報処理システム、プログラム Pending JP2024025003A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022128058A JP2024025003A (ja) 2022-08-10 2022-08-10 記録情報作成システム、情報処理システム、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022128058A JP2024025003A (ja) 2022-08-10 2022-08-10 記録情報作成システム、情報処理システム、プログラム

Publications (1)

Publication Number Publication Date
JP2024025003A true JP2024025003A (ja) 2024-02-26

Family

ID=90010666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022128058A Pending JP2024025003A (ja) 2022-08-10 2022-08-10 記録情報作成システム、情報処理システム、プログラム

Country Status (1)

Country Link
JP (1) JP2024025003A (ja)

Similar Documents

Publication Publication Date Title
JP5898378B2 (ja) 情報処理装置およびアプリケーション実行方法
JP6888854B1 (ja) 遠隔勤務支援システム及び遠隔勤務支援方法
US20230292011A1 (en) Information processing system, image-capturing device, and display method
US20230308762A1 (en) Display terminal, information processing system, communication system, displaying method, information processing method, communication method, and recording medium
US10593077B2 (en) Associating digital ink markups with annotated content
JP2010154089A (ja) 会議システム
JP2024025003A (ja) 記録情報作成システム、情報処理システム、プログラム
JP4649944B2 (ja) 動画像処理装置、動画像処理方法およびプログラム
JP2024006703A (ja) 情報処理システム、検索方法、プログラム
JP2023121636A (ja) 情報処理システム、通信システム、画像共有方法、プログラム
JP2024014716A (ja) プログラム、情報処理システム、記録情報作成システム、表示方法
US20230297313A1 (en) Device management system, information processing method, information processing server, and non-transitory recording medium
JP2024029642A (ja) 情報処理装置、表示方法、プログラム
JP2024008632A (ja) 情報処理システム、表示方法、プログラム、記録情報作成システム
CN114363705A (zh) 一种增强现实设备及交互增强方法
US20240031653A1 (en) Information processing server, record creation system, display control method, and non-transitory recording medium
US20230280961A1 (en) Device management system, information processing system, information processing device, device management method, and non-transitory recording medium
JP7226600B1 (ja) 記録情報作成システム、記録情報作成方法、プログラム
US11966658B2 (en) System and method for displaying image, image-capturing device, and recording medium
US20230289126A1 (en) System, method for adjusting audio volume, and apparatus
US20230262200A1 (en) Display system, display method, and non-transitory recording medium
US20230308764A1 (en) Display terminal, communication system, method for displaying, method for communicating, and recording medium
US20210266455A1 (en) Image capture control system, method and computer program product
US20230368399A1 (en) Display terminal, communication system, and non-transitory recording medium
US20230308622A1 (en) Display terminal, displaying method, and recording medium