JP2024014716A - プログラム、情報処理システム、記録情報作成システム、表示方法 - Google Patents
プログラム、情報処理システム、記録情報作成システム、表示方法 Download PDFInfo
- Publication number
- JP2024014716A JP2024014716A JP2023080044A JP2023080044A JP2024014716A JP 2024014716 A JP2024014716 A JP 2024014716A JP 2023080044 A JP2023080044 A JP 2023080044A JP 2023080044 A JP2023080044 A JP 2023080044A JP 2024014716 A JP2024014716 A JP 2024014716A
- Authority
- JP
- Japan
- Prior art keywords
- information
- time
- recorded
- unit
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004891 communication Methods 0.000 claims abstract description 88
- 239000003086 colorant Substances 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 description 73
- 238000010586 diagram Methods 0.000 description 70
- 238000012545 processing Methods 0.000 description 54
- 230000006870 function Effects 0.000 description 29
- 238000003384 imaging method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 24
- 238000007726 management method Methods 0.000 description 15
- 238000003825 pressing Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000005674 electromagnetic induction Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】オブジェクトが入力された際のオブジェクト、又は、オブジェクトについて議論されている記録情報を再生させるための指示情報を表示する技術を提供すること。【解決手段】本発明は、デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置によりオブジェクトが表示された時刻情報を含むオブジェクト情報を情報処理システムから受信する端末装置を、前記記録情報と前記オブジェクト情報を受信する通信部と、前記記録情報を再生する録画再生部と、前記オブジェクト210を表示する表示制御部と、前記時刻情報における前記オブジェクト、又は、該オブジェクトに関する前記音声又は前記映像が記録されている前記記録情報を再生させるための指示情報を前記時刻情報に基づいて表示する指示情報表示部、として機能させるためのプログラムを提供する。【選択図】図1
Description
本発明は、プログラム、情報処理システム、記録情報作成システム、及び表示方法に関する。
タッチパネル式のディスプレイにユーザーが専用の電子ペンや指などで描画したストロークなどのオブジェクトを表示する電子黒板などの表示装置が知られている。単なるホワイトボードと異なりオブジェクトを電子データで保存したり、PC(Personal Computer)等の外部機器と接続したりして外部機器が表示する資料の映像を表示装置が表示することができる。
表示装置が過去に表示したオブジェクトを表示させる技術が知られている(例えば、特許文献1参照。)。特許文献1には、オブジェクトのスナップショットをタイムライン上に表示し、ユーザーがスナップショットを選択することで過去のオブジェクトに戻って閲覧することができる電子ホワイトボードシステムが開示されている。
しかしながら、従来の技術では、オブジェクトが入力された際のオブジェクト、又は、オブジェクトについて議論されている記録情報を再生させるための指示情報が表示されないという問題があった。例えば、会議で表示装置が使用されると共に、会議の参加者の音声や映像が記録される場合がある。この場合、閲覧者はオブジェクト情報が表示されていた際に行われた議論を音声や映像で確認したい場合がある。あるいは、参加者はオブジェクトの入力開始時やその前後のオブジェクトを確認したい場合がある。
本発明は、上記課題に鑑み、オブジェクトについて議論されている記録情報を再生させるための指示情報を表示するプログラムを提供することを目的とする。
上記課題に鑑み、本発明は、デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置によりオブジェクトが表示された時刻情報を含むオブジェクト情報を情報処理システムから受信する端末装置を、前記記録情報と前記オブジェクト情報を受信する通信部と、前記記録情報を再生する録画再生部と、前記オブジェクトを表示する表示制御部と、
前記時刻情報における前記オブジェクト、又は、該オブジェクトに関する前記音声又は前記映像が記録されている前記記録情報を再生させるための指示情報を前記時刻情報に基づいて表示する指示情報表示部、として機能させるためのプログラムを提供する。
前記時刻情報における前記オブジェクト、又は、該オブジェクトに関する前記音声又は前記映像が記録されている前記記録情報を再生させるための指示情報を前記時刻情報に基づいて表示する指示情報表示部、として機能させるためのプログラムを提供する。
オブジェクトが入力された際のオブジェクト、又は、オブジェクトについて議論されている記録情報を再生させるための指示情報を表示する技術を提供できる。
以下、本発明を実施するための形態の一例として、記録情報作成システムと記録情報作成システムが行う表示方法について説明する。
<記録情報とオブジェクト情報の同期再生の概略>
図1は、端末装置が表示する録画再生画面220の一例である。録画再生画面220の詳細については後述する。図1の例では、閲覧者が任意のオブジェクトをマウスなどのポインティングデバイス512のカーソル230で押下すると、録画再生画面220にはオブジェクトが表示されていた時刻(入力開始時刻、最終更新時刻など)を表示する。図1では、「ABC」というオブジェクト210を閲覧者が選択した。このため、「ABC」が入力された入力開始時刻である「2:31」という時刻情報(後述する変換後操作時刻211)が表示されている。したがって、閲覧者は「ABC」というオブジェクト210が入力された時刻の会議の様子を、タイムインジケータ213で「2:31」を指定することで確認すればよいことが分かる。
図1は、端末装置が表示する録画再生画面220の一例である。録画再生画面220の詳細については後述する。図1の例では、閲覧者が任意のオブジェクトをマウスなどのポインティングデバイス512のカーソル230で押下すると、録画再生画面220にはオブジェクトが表示されていた時刻(入力開始時刻、最終更新時刻など)を表示する。図1では、「ABC」というオブジェクト210を閲覧者が選択した。このため、「ABC」が入力された入力開始時刻である「2:31」という時刻情報(後述する変換後操作時刻211)が表示されている。したがって、閲覧者は「ABC」というオブジェクト210が入力された時刻の会議の様子を、タイムインジケータ213で「2:31」を指定することで確認すればよいことが分かる。
このように、本実施形態の記録情報作成システムは、オブジェクトに関連付けて、会議などでオブジェクトに関する議論が行われている時刻を表示できる。
<用語について>
指示情報は、オブジェクトに関する音声や映像が記録されている記録情報を再生させるための情報である。指示情報は、オブジェクトが表示されていた時間帯の一部を含む。指示情報は、時刻そのものの他、タイムインジケータ上の位置でもよく、記録情報においてオブジェクトが表示されているおよその時刻が分かればよい。
指示情報は、オブジェクトに関する音声や映像が記録されている記録情報を再生させるための情報である。指示情報は、オブジェクトが表示されていた時間帯の一部を含む。指示情報は、時刻そのものの他、タイムインジケータ上の位置でもよく、記録情報においてオブジェクトが表示されているおよその時刻が分かればよい。
会議とは、会合して評議することをいう。会議は、コンベンション、集会、集まり、ミーティング、評議、発表会、プレゼンテーション、コンファレンス、談合、会談、合議、話合い、セミナー等と呼ばれてもよい。
デバイスとは、会議中の音声と映像を記録する装置であればよい。また、音声のみが記録されてもよい。本実施形態では、デバイスは、ミーティングデバイスという用語で説明される。
記録情報とは、例えば会議中に記録された音声を含む。記録情報に映像が含まれていてもよい。音声はテキストデータに変換されていてもよいし、変換されていなくてもよい。
ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークという。ストロークは、ディスプレイに接触することなく、ユーザーの動きを追跡することを含む。この場合、電子黒板は、例えばマウスやポインティングデバイスを使用して、ユーザーのジェスチャー、ユーザーの手又は足によるボタンの押下、又は他の方法で、ストロークを開始させてもよい。更に、ユーザーは、同じ又は異なるジェスチャー、ボタンを離す、又はマウスやポインティングデバイスを使用して、ストロークを終了させてもよい。
ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレイに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、1つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。手書き入力は、タッチインターフェース、ペンやスタイラスなどの触覚オブジェクト、又はユーザーの体を使って実行されてもよい。また、手書き入力は、ジェスチャーベースの入力、手の動きの追跡入力、又はユーザーによる他のタッチフリー入力など、他のタイプの入力を介して実行されてもよい。本発明の実施形態では、手書き入力及び手書き入力データに言及するが、他の形態の手書き入力が利用されてもよい。
ストロークデータに基づいてディスプレイに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。ストロークデータが手書き認識して変換されたオブジェクトには、テキストの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等も含まれてよい。テキストとは主に1つ以上の文字を含む文字列(文字コード)であり、数字、記号なども含む。テキストを文字列という場合がある。
<遠隔会議における議事録の作成方法の一例>
図2を参照して、パノラマ画像とアプリの画面を用いた議事録の作成方法の概略を説明する。図2は、遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。図2に示すように、図示する自拠点102にいるユーザーが遠隔会議サービスシステム90を利用して、他の拠点101と遠隔会議を行っている。
図2を参照して、パノラマ画像とアプリの画面を用いた議事録の作成方法の概略を説明する。図2は、遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。図2に示すように、図示する自拠点102にいるユーザーが遠隔会議サービスシステム90を利用して、他の拠点101と遠隔会議を行っている。
本実施形態の記録情報作成システム100は、マイクとスピーカを備えたミーティングデバイス60が撮像した水平パノラマ画像(以下、パノラマ画像という)と、端末装置10が実行するアプリケーション(以下、アプリという)が作成する画面と、を用いて、記録情報(議事録)を作成する。音声については、記録情報作成システム100は、遠隔会議アプリ42が受信する音声と、ミーティングデバイス60が取得する音声とを合成して、記録情報に含める。以下、概略を説明する。
(1) 端末装置10では、後述する情報記録アプリ41と遠隔会議アプリ42とが動作している。この他、資料表示用のアプリなども動作していてよい。情報記録アプリ41は、端末装置10が出力する音声(遠隔会議アプリ42が他拠点から受信した音声を含む。)をミーティングデバイス60(第二の機器、機器の一例)に送信する。ミーティングデバイス60は、自身が取得している音声と、遠隔会議アプリ42の音声とをミキシング(合成)する。
(2) ミーティングデバイス60はマイクを備え、音声を取得した方向に基づき、パノラマ画像から話者を切り出す処理を行い、話者画像を作成する。ミーティングデバイス60は、パノラマ画像と話者画像の両方を端末装置10に送信する。
(3) 端末装置10で動作する情報記録アプリ41は、パノラマ画像203と話者画像204を表示できる。情報記録アプリ41は、ユーザーが選択した任意のアプリ画面(例えば遠隔会議アプリ42の画面103)と、パノラマ画像203と話者画像204と、を結合する。例えば、左側にパノラマ画像203と話者画像204、右側に遠隔会議アプリ42の画面103が配置されるように、パノラマ画像203、話者画像204、アプリの画面103を結合する(以下、結合画像105という)。(3)の処理は繰り返し実行されるので、結合画像105は動画となる(以下、結合画像動画という)。また、情報記録アプリ41は、結合画像動画に合成された音声を結合して音声付きの動画を作成する。
なお、本実施形態では、パノラマ画像203、話者画像204、アプリの画面103を結合する例を説明するが、情報記録アプリ41がこれらを別々に保存し、再生時に画面に配置してもよい。
(4) 情報記録アプリ41は、編集作業(ユーザーによる不要箇所のカット)を受け付け、結合画像動画を完成させる。結合画像動画は記録情報の一部を構成する。
(5) 情報記録アプリ41は、作成した結合画像動画(音声付き)をストレージサービスシステム70に送信し保存しておく。
(6) また、情報記録アプリ41は、結合画像動画から音声のみを抽出しておき(結合前の音声を取っておいてもよい)、抽出した音声を、情報処理システム50に送信する。情報処理システム50は音声をテキストデータに変換する音声認識サービスシステム80に送信し、音声をテキスト化する。テキストデータには、録画開始から何分後に話したか、というデータも含まれる。
なお、リアルタイムのテキスト化の場合、ミーティングデバイス60が情報処理システム50に直接音声を送信する。情報処理システム50は音声認識により得られたテキストデータをリアルタイムに情報記録アプリ41に送信する。
(7) 情報処理システム50は、結合画像動画を格納したストレージサービスシステム70に、テキストデータを追加で格納する。テキストデータは記録情報の一部を構成する。
なお、情報処理システム50は、ユーザーに対し利用したサービスに応じた課金処理を実行できる。例えば、課金はテキストデータ量、結合画像動画のファイルサイズ、処理時間などに基づいて算出される。
このように、結合画像動画には、ユーザーを含む周囲のパノラマ画像や話者画像が表示され、更に、遠隔会議アプリ42など、遠隔会議中に表示されたアプリの画面が表示される。遠隔会議の参加者や参加者でない者が、結合画像動画を議事録として閲覧した場合、遠隔会議中の様子が臨場感と共に再現される。
<システム構成例>
続いて、図3を参照して、記録情報作成システム100のシステム構成を説明する。図3は、記録情報作成システム100の構成例を示す。図3では、遠隔会議を行う複数の拠点のうち1つの拠点(自拠点102)を示し、自拠点102における端末装置10がネットワークを介して情報処理システム50と、ストレージサービスシステム70と、遠隔会議サービスシステム90と、通信する。自拠点102には更に、ミーティングデバイス60と電子黒板2が配置され、端末装置10はこのミーティングデバイス60とUSBケーブル等を介して通信可能に接続されている。
続いて、図3を参照して、記録情報作成システム100のシステム構成を説明する。図3は、記録情報作成システム100の構成例を示す。図3では、遠隔会議を行う複数の拠点のうち1つの拠点(自拠点102)を示し、自拠点102における端末装置10がネットワークを介して情報処理システム50と、ストレージサービスシステム70と、遠隔会議サービスシステム90と、通信する。自拠点102には更に、ミーティングデバイス60と電子黒板2が配置され、端末装置10はこのミーティングデバイス60とUSBケーブル等を介して通信可能に接続されている。
端末装置10では、少なくとも情報記録アプリ41と遠隔会議アプリ42とが動作する。遠隔会議アプリ42は、他の拠点101の端末装置10とネットワーク上の遠隔会議サービスシステム90を介して通信することができ、各拠点のユーザー同士が遠隔地から会議できるようになっている。情報記録アプリ41は、遠隔会議アプリ42が実施する遠隔会議における記録情報を、情報処理システム50及びミーティングデバイス60の機能を使って作成する。
なお、本実施形態では、遠隔会議中の記録情報を作成する例を説明するが、会議は、遠隔の拠点と通信する会議でなくてもよい。つまり、会議は1拠点内の参加者のみが参加する会議でもよい。この場合、ミーティングデバイス60が撮像する画像と集音した音声がそれぞれ合成なしに保存される他、情報記録アプリ41の処理に変更はない。
端末装置10には通常の画角のカメラが内蔵されており(外付けでもよい)、端末装置10を操作するユーザー107を含む正面の画像を撮像している。通常の画角とは、パノラマ画像でない画像であるが、本実施形態では、主に全天球画像のように曲面でない平面画像である。したがって、ユーザーは、情報記録アプリ41を意識することなく、遠隔会議アプリ42を使用した従来の遠隔会議が可能である。情報記録アプリ41やミーティングデバイス60は、端末装置10の処理負荷増を除けば遠隔会議アプリ42に影響を与えない。なお、遠隔会議アプリ42はミーティングデバイス60が撮像するパノラマ画像や話者画像を遠隔会議サービスシステム90に送信することも可能である。
情報記録アプリ41はミーティングデバイス60と通信して記録情報を作成する。情報記録アプリ41はまた、ミーティングデバイス60が取得した音声と遠隔会議アプリ42が他の拠点から受信した音声との合成等を行う。この合成はミーティングデバイス60が行う場合がある。ミーティングデバイス60は、パノラマ画像の撮像装置、マイク、及び、スピーカを備えたミーティング用のデバイスである。端末装置10が有するカメラは正面の限られた範囲しか撮像できないが、ミーティングデバイス60はミーティングデバイス60を囲む全周囲(必ずしも全周囲でなくてもよい)を撮像できる。ミーティングデバイス60は図3に示す複数の参加者106を常に画角に収めることができる。
この他、ミーティングデバイス60は、パノラマ画像からの話者画像の切り出し等を行う。なお、ミーティングデバイス60は、机の上に限らず自拠点102のどこに配置されてもよい。ミーティングデバイス60は全天球画像を撮像できるので、例えば天井に配置されてもよい。
情報記録アプリ41は、端末装置10で実行中のアプリの一覧表示、上記した記録情報のための画像合成(結合画像動画の作成)、結合画像動画の再生、編集の受け付け等を行う。また、情報記録アプリ41は、実施された又はこれから実施される予定の遠隔会議のリスト表示、等を行う。遠隔会議のリストは、記録情報に関する情報に使用され、ユーザーが遠隔会議と記録情報とを結びつけることができる。
遠隔会議アプリ42は、他の拠点101との通信接続、他の拠点101との画像及び音声の送受信、画像の表示や音声の出力等を行う。
なお、情報記録アプリ41及び遠隔会議アプリ42はWebアプリでもネイティブアプリでもよい。Webアプリとは、Webサーバー上のプログラムとWebブラウザ上のプログラムが協働して処理を行うアプリであり、端末装置10へのインストールが不要なアプリである。ネイティブアプリとは、端末装置10にインストールして利用されるアプリである。本実施形態では、両者ともネイティブアプリであるとして説明する。
端末装置10は、例えば、PC(Personal Computer)、スマートフォン、タブレット端末等、通信機能を備えた汎用的な情報処理装置でよい。端末装置10は、この他、電子黒板2、ゲーム機、PDA(Personal Digital Assistant)、ウェアラブルPC、カーナビ、産業機械、医療機器、ネットワーク家電等でもよい。端末装置10は情報記録アプリ41と遠隔会議アプリ42が動作する装置であればよい。
電子黒板2は、ペンや指等の入力手段でタッチパネルに手書きされたデータをディスプレイに表示する表示装置である。電子黒板2は、有線又は無線で端末装置10等と通信することができ、PC470が表示する画面を取り込んでディスプレイに表示することができる。電子黒板2は、手書きデータをテキストデータに変換したり、他の拠点の電子黒板2とディスプレイに表示される情報を共有したりすることができる。電子黒板2は、タッチパネルを有さない単なる白板にプロジェクタが映像を投影する形態のものでもよい。また、電子黒板2は、タッチパネルを備えたタブレット端末、ノートPC、PDA、ゲーム機等でもよい。
電子黒板2は、情報処理システム50と通信することができる。電子黒板2は、例えば、電源オンされた後、情報処理システム50にポーリングするなどして、情報処理システム50から情報を受信できる。
情報処理システム50は、ネットワーク上に配置された一台以上の情報処理装置である。情報処理システム50は、情報記録アプリ41と協働して処理を行う1つ以上のサーバーアプリと、基盤サービスを有している。このサーバーアプリは、遠隔会議のリストの管理、遠隔会議で記録された記録情報の管理、各種設定やストレージパスの管理等を行う。基盤サービスは、ユーザー認証や契約、課金処理等を行う。
なお、情報処理システム50の機能の全て又は一部は、クラウド環境に存在してもよいし、オンプレミス環境に存在してもよい。情報処理システム50は複数台のサーバー装置により構成されてもよいし、一台の情報処理装置により構成されてもよい。例えば、サーバーアプリと基盤サービスが別々の情報処理装置より提供されてよいし、更にサーバーアプリ内の機能ごとに情報処理装置が存在してもよい。情報処理システム50と次述するストレージサービスシステム70、音声認識サービスシステム80が一体でもよい。
ストレージサービスシステム70は、ネットワーク上の記憶手段であり、ファイル等の保存を受け付けるストレージサービスを提供する。ストレージサービスシステム70としてはOne Drive(登録商標)、Google Workspace(登録商標)、DropBox(登録商標)等が知られている。ストレージサービスシステム70は、オンプレミスのNAS(Network Attached Storage)等でもよい。
音声認識サービスシステム80は、音声データに音声認識を行いテキストデータに変換するサービスを提供する。音声認識サービスシステム80は、汎用的な商用サービスでもよいし、情報処理システム50の機能の一部でもよい。
<ハードウェア構成例>
図4を参照して、本実施形態に係る情報処理システム50及び端末装置10のハードウェア構成について説明する。
図4を参照して、本実施形態に係る情報処理システム50及び端末装置10のハードウェア構成について説明する。
<<情報処理システム及び端末装置>>
図4は、本実施形態に係る情報処理システム50及び端末装置10の一例のハードウェア構成を示す図である。図4に示されているように、情報処理システム50及び端末装置10はコンピュータによって構築されており、CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、バスライン510、キーボード511、ポインティングデバイス512、光学ドライブ514、メディアI/F516を備えている。
図4は、本実施形態に係る情報処理システム50及び端末装置10の一例のハードウェア構成を示す図である。図4に示されているように、情報処理システム50及び端末装置10はコンピュータによって構築されており、CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、バスライン510、キーボード511、ポインティングデバイス512、光学ドライブ514、メディアI/F516を備えている。
これらのうち、CPU501は、情報処理システム50及び端末装置10全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリやプリンタ等である。ネットワークI/F509は、ネットワークを利用してデータ通信をするためのインターフェースである。バスライン510は、図4に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
また、キーボード511は、文字、数値、又は各種指示などの入力に使用される複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ514は、着脱可能な記録媒体の一例としての光記憶媒体513に対する各種データの読み出し又は書き込みを制御する。なお、光記憶媒体513は、CD,DVD、Blu-ray(登録商標)等でよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出し又は書き込み(記憶)を制御する。
<<ミーティングデバイス>>
図5を用いて、ミーティングデバイス60のハードウェア構成を説明する。図5は、360°の動画を撮像可能なミーティングデバイス60のハードウェア構成図の一例である。以下では、ミーティングデバイス60は撮像素子を使用した、デバイスの周囲360°の動画を所定の高さで撮像する装置とするが、撮像素子は1つでも2つ以上のいくつでもよい。また、必ずしも専用装置である必要はなくPCやデジタルカメラ、スマートフォン等に後付けの360°動画の撮像ユニットを取り付けることで、実質的に同じ機能を有するようにしてもよい。
図5を用いて、ミーティングデバイス60のハードウェア構成を説明する。図5は、360°の動画を撮像可能なミーティングデバイス60のハードウェア構成図の一例である。以下では、ミーティングデバイス60は撮像素子を使用した、デバイスの周囲360°の動画を所定の高さで撮像する装置とするが、撮像素子は1つでも2つ以上のいくつでもよい。また、必ずしも専用装置である必要はなくPCやデジタルカメラ、スマートフォン等に後付けの360°動画の撮像ユニットを取り付けることで、実質的に同じ機能を有するようにしてもよい。
図5に示されているように、ミーティングデバイス60は、撮像ユニット601、画像処理ユニット604、撮像制御ユニット605、マイク608、音処理ユニット609、CPU(Central Processing Unit)611、ROM(Read Only Memory)612、SRAM(Static Random Access Memory)613、DRAM(Dynamic Random Access Memory)614、操作部615、外部機器接続I/F616、通信部617、アンテナ617a、音声センサー618、及びMicro USB用の凹状の端子621によって構成されている。
このうち、撮像ユニット601は、半球画像を結像するための360°の画角を有する広角レンズ(いわゆる魚眼レンズ)602と、各広角レンズに対応させて設けられている撮像素子603(イメージセンサー)を備えている。撮像素子603は、魚眼レンズ602による光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサーやCCD(Charge Coupled Device)センサーなどの画像センサー、この画像センサーの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット601の撮像素子603(イメージセンサー)は、画像処理ユニット604とパラレルI/Fバスで接続されている。一方、撮像ユニット601の撮像素子603は、撮像制御ユニット605とは、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット604、撮像制御ユニット605及び音処理ユニット609は、バス610を介してCPU611と接続される。更に、バス610には、ROM612、SRAM613、DRAM614、操作部615、外部機器接続I/F616、通信部617、及び音声センサー618なども接続される。
画像処理ユニット604は、撮像素子603から出力される画像データをパラレルI/Fバスを通して取り込み、画像データに対して所定の処理を施して、魚眼映像からパノラマ画像や話者画像のデータを作成する。更に、画像処理ユニット604は、パノラマ画像と話者画像等を合成処理して、1つの動画を出力する。
撮像制御ユニット605は、一般に撮像制御ユニット605をマスタデバイス、撮像素子603をスレーブデバイスとして、I2Cバスを利用して、撮像素子603のレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU611から受け取る。また、撮像制御ユニット605は、同じくI2Cバスを利用して、撮像素子603のレジスタ群のステータスデータ等を取り込み、CPU611に送る。
また、撮像制御ユニット605は、操作部615の撮像開始ボタンが押下されたタイミングあるいはPCから撮像開始指示を受信したタイミングで、撮像素子603に画像データの出力を指示する。ミーティングデバイス60によっては、ディスプレイ(例えば、PCやスマートフォンのディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子603からの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット605は、後述するように、CPU611と協働して撮像素子603の画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、ミーティングデバイス60にはディスプレイが設けられていないが、表示部を設けてもよい。
マイク608は、音を音(信号)データに変換する。音処理ユニット609は、マイク608a、マイク608b、マイク608cから出力される音声データをI/Fバスを通して取り込み、これらの音声データをミキシングして所定の処理を施す。音処理ユニット609はまた、マイク608a、マイク608b、マイク608cから入力される音声レベル(音量)から音源(発話者)の方向を判断する。
CPU611は、ミーティングデバイス60の全体の動作を制御すると共に必要な処理を実行する。ROM612は、ミーティングデバイス60を動作させるための種々のプログラムを記憶している。SRAM613及びDRAM614はワークメモリであり、CPU611で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM614は、画像処理ユニット604での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
操作部615は、撮像開始ボタン615aなどの操作ボタンの総称である。ユーザーは操作部615を操作することで、撮像や録画を開始する他、電源ON/OFFの実行、通信接続の実行、種々の撮像モードや撮像条件などの設定を入力する。
外部機器接続I/F616は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、PC等である。DRAM614に記憶された動画データや画像データは、この外部機器接続I/F616を介して外部端末に送信されたり、外付けのメディアに記録されたりする。
通信部617は、ミーティングデバイス60に設けられたアンテナ617aを介して、Wi-Fi(登録商標)等の無線通信技術によって、インターネット経由でクラウドサーバと通信し、記憶した動画データや画像データをクラウドサーバに送信してもよい。また、通信部617は、BLE(Bluetooth Low Energy。登録商標)やNFC等の近距離無線通信技術を用いて付近のデバイスと通信可能でもよい。
音声センサー618は、ミーティングデバイス60の周辺(水平面)の360°においてどの方向から音声が大きい音で入力されたかを特定するために、360°の音声情報を取得するセンサーである。音処理ユニット609は入力した360°の音声パラメータに基づき、最も強い方向を特定して360°における音声入力方向を出力する。
なお、他のセンサー(方位・加速度センサーやGPS等)が方位・位置・角度・加速度等を算出し、画像補正や位置情報付加に用いてもよい。
また画像処理ユニット604は、パノラマ画像の作成を次の方法で行う。CPU611は、球面映像を入力するイメージセンサーから入力されたRAWデータをBayer変換(RGB補完処理)等の所定のカメラ映像処理を行って魚眼映像(曲面の映像)を作成する。更に作成した魚眼映像(曲面の映像)に対してDeWarp処理(歪み補正処理)を行い、ミーティングデバイス60の周辺の360°が写ったパノラマ画像(平面の映像)を作成する。
CPU611は話者画像の作成を次の方法で行う。CPU611は周辺の360°が写ったパノラマ画像(平面の映像)から、話者を切り出した話者画像を作成する。CPU611は、音声センサー618及び音処理ユニット609を用いて出力した360°から特定した音声入力方向を、話者の方向として、上記パノラマ画像から話者画像を切り出す。このとき音声入力方向から人の画像を切り出す方法は、360°から特定した音声方向を中心に30°を切り取って、その中で顔検出を実施して切り出す。CPU611は、更に切り出した話者画像のうち、直近で発言のあった特定人数分(3名等)の話者画像を特定する。
パノラマ画像と、1以上の話者画像は個別に情報記録アプリ41に送信されてもよいし、ミーティングデバイス60がこれらから1枚の画像を作成して、情報記録アプリ41に送信してもよい。本実施形態では、パノラマ画像と1以上の話者画像は個別にミーティングデバイス60から情報記録アプリ41に送信されるものとする。
図6は、ミーティングデバイス60の撮像範囲を説明する図である。図6(a)に示すように、ミーティングデバイス60は水平方向に360°の範囲を撮像する。図6(b)に示すように、ミーティングデバイス60は、ミーティングデバイス60の高さに水平な方向を0°とし、上下に所定の角度を撮像範囲とする。
図7は、パノラマ画像と話者画像の切り出しを説明する図である。図7に示すように、ミーティングデバイス60が撮像する画像は球体の一部110をなすため、三次元の形状を有している。ミーティングデバイス60は、図6(b)で示したように、上下の所定角度と左右の所定角度ごとに画角を区切って透視投影変換を行う。透視投影変換を水平方向360°の全体で隙間なく行うことで、所定数の平面画像が得られるので、所定数の平面画像を左右に連結することでパノラマ画像111が得られる。また、ミーティングデバイス60はパノラマ画像から音声方向を中心に所定の範囲で顔検出を実施して、顔の中心から左右に15°(全体で30°)を切り出すことで、話者画像112を作成する。
<<電子黒板>>
図8は、電子黒板2のハードウェア構成図である。図8に示されているように、電子黒板2は、CPU(Central Processing Unit)401、ROM(Read Only Memory)402、RAM(Random Access Memory)403、SSD(Solid State Drive)404、ネットワークI/F405、及び、外部機器接続I/F(Interface)406を備えている。
図8は、電子黒板2のハードウェア構成図である。図8に示されているように、電子黒板2は、CPU(Central Processing Unit)401、ROM(Read Only Memory)402、RAM(Random Access Memory)403、SSD(Solid State Drive)404、ネットワークI/F405、及び、外部機器接続I/F(Interface)406を備えている。
これらのうち、CPU401は、電子黒板2全体の動作を制御する。ROM402は、IPL(Initial Program Loader)等のOSの起動に用いられるプログラムを記憶する。RAM403は、CPU401のワークエリアとして使用される。SSD404は、電子黒板2用のプログラム等の各種データを記憶する。ネットワークI/F405は、通信ネットワークとの通信を制御する。外部機器接続I/F406は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ430、外付け機器(マイク440、スピーカ450、カメラ460)である。
また、電子黒板2は、キャプチャデバイス411、GPU412、ディスプレイコントローラ413、接触センサー414、センサコントローラ415、電子ペンコントローラ416、近距離通信回路419、及び近距離通信回路419のアンテナ419a、電源スイッチ422及び選択スイッチ類423を備えている。
これらのうち、キャプチャデバイス411は、外付けのPC470のディスプレイの表示情報を静止画又は動画として表示させる。GPU(Graphics Processing Unit)412は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ413は、GPU412からの出力画像をディスプレイ480等へ出力するために画面表示の制御及び管理を行う。接触センサー414は、ディスプレイ480上に電子ペン490やユーザーの手H等が接触したことを検知する。センサコントローラ415は、接触センサー414の処理を制御する。接触センサー414は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ480の上側両端部に設置された2つの受発光装置が、ディスプレイ480に平行して複数の赤外線を放射し、ディスプレイ480の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサー414である受発光装置は、物体によって赤外線が遮断された位置(受光素子上の位置)をセンサコントローラ415に出力し、センサコントローラ415が、これらの2つの位置情報から物体の接触位置である座標位置を特定する。電子ペンコントローラ416は、電子ペン490とBluetooth(登録商標)通信することで、ディスプレイ480へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路419は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ422は、電子黒板2の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類423は、例えば、ディスプレイ480の表示の明暗や色合い等を調整するためのスイッチ群である。
更に、電子黒板2は、バスライン410を備えている。バスライン410は、図8に示されているCPU401等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、接触センサー414は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネルでもよい。接触センサー414は、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルでもよい。接触センサー414は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルでもよい。この他、接触センサー414は種々の検出手段を用いてもよい。また、電子ペンコントローラ416が、電子ペン490のペン先及びペン尻だけでなく、電子ペン490のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
<機能について>
次に、図9を参照して、記録情報作成システム100が有する機能構成について説明する。図9は、記録情報作成システム100における端末装置10、ミーティングデバイス60、及び、情報処理システム50の機能をブロックに分けて説明する機能ブロック図の一例である。
次に、図9を参照して、記録情報作成システム100が有する機能構成について説明する。図9は、記録情報作成システム100における端末装置10、ミーティングデバイス60、及び、情報処理システム50の機能をブロックに分けて説明する機能ブロック図の一例である。
<<端末装置>>
端末装置10で動作する情報記録アプリ41は、通信部11、操作受付部12、表示制御部13、アプリ画面取得部14、音声取得部15、デバイス通信部16、録画制御部17、音声データ処理部18、録画再生部19、アップロード部20、編集処理部21、コード解析部22、指示情報表示部23を有している。端末装置10が有するこれら各部は、図4に示されている各構成要素のいずれかが、HD504からRAM503に展開された情報記録アプリ41に従ったCPU501からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置10は、図4に示されているHD504等によって構築される記憶部1000を有している。記憶部1000には情報記憶部1001が構築されている。
端末装置10で動作する情報記録アプリ41は、通信部11、操作受付部12、表示制御部13、アプリ画面取得部14、音声取得部15、デバイス通信部16、録画制御部17、音声データ処理部18、録画再生部19、アップロード部20、編集処理部21、コード解析部22、指示情報表示部23を有している。端末装置10が有するこれら各部は、図4に示されている各構成要素のいずれかが、HD504からRAM503に展開された情報記録アプリ41に従ったCPU501からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置10は、図4に示されているHD504等によって構築される記憶部1000を有している。記憶部1000には情報記憶部1001が構築されている。
通信部11は、ネットワークを介して情報処理システム50と各種の情報を通信する。通信部11は、例えば、遠隔会議のリストを情報処理システム50から受信したり、音声データの認識要求を情報処理システム50に送信したりする。
表示制御部13は情報記録アプリ41に設定されている画面遷移にしたがって情報記録アプリ41においてユーザーインターフェースとなる各種の画面を表示する。操作受付部12は、情報記録アプリ41に対する各種の操作を受け付ける。
アプリ画面取得部14は、デスクトップ画面、又は、ユーザーが選択したアプリの画面をOS(Operating System)等から取得する。ユーザーが選択したアプリが遠隔会議アプリ42の場合、遠隔会議アプリ42が生成する画面(各拠点の画像、資料の画像等)が得られる。
音声取得部15は、遠隔会議アプリ42が遠隔会議において受信した音声データを遠隔会議アプリ42から取得する。なお、音声取得部15が取得する音声は、端末装置10が集音する音声は含まれず、遠隔会議において受信された音声データのみである点に注意されたい。ミーティングデバイス60が別に、音声を集音しているためである。
デバイス通信部16は、USBケーブルなどを利用してミーティングデバイス60と通信する。デバイス通信部16は、無線LANやBluetooth(登録商標)等でミーティングデバイス60と通信してよい。デバイス通信部16は、パノラマ画像と話者画像をミーティングデバイス60から受信し、音声取得部15が取得した音声データをミーティングデバイス60に送信する。デバイス通信部16は、ミーティングデバイス60で合成された音声データを受信する。
録画制御部17は、デバイス通信部16が受信したパノラマ画像と話者画像、及び、アプリ画面取得部14が取得したアプリの画面を結合し、結合画像を作成する。また、録画制御部17は繰り返し作成する結合画像を時系列に接続して結合画像動画を作成し、ミーティングデバイス60で合成された音声データを結合画像動画に結合して音声付きの結合画像動画を作成する。
音声データ処理部18は、録画制御部17が抽出する結合画像動画に結合された音声データ、又は、ミーティングデバイス60から受信した合成後の音声データの、テキストデータへの変換を情報処理システム50に要求する。なお、テキストデータへの変換は結合画像動画のストレージサービスシステム70への保存時に行われてもよい。
録画再生部19は、結合画像動画の再生を行う。結合画像動画は、録画中は端末装置10に保存され、その後、情報処理システム50にアップロードされる。
アップロード部20は、遠隔会議が終了すると、結合画像動画を情報処理システム50に送信する。
編集処理部21は、ユーザーの操作に応じて、結合画像動画の編集(一部の削除、つなぎ合わせ等)を実行する。
コード解析部22は、パノラマ画像に含まれる二次元コードを検出すると共に、二次元コードを解析して機器識別情報を取得する。
指示情報表示部23は、オブジェクトに対応付けられている操作時刻をオブジェクトの周囲等に表示したり、操作時刻に相当するタイムインジケータ上の位置にマークを表示したりする。
図10は、情報記憶部1001が記憶している動画記録情報を示す。動画記録情報は、会議ID、録画ID、更新日時、タイトル、アップロード、保存先等の各項目を有している。ユーザーが情報処理システム50にログインすると、情報記録アプリ41は情報処理システム50の会議情報記憶部5001から会議情報をダウンロードする。会議情報に含まれる会議IDなどが動画記録情報に反映される。図10の動画記録情報は、あるユーザーが操作する端末装置10が保持するものである。
・会議IDは、開催された遠隔会議を識別する識別情報である。会議IDは、スケジュール管理システム9にユーザーが遠隔会議の予定を登録した際に採番されるか、又は、情報記録アプリ41からの要求で情報処理システム50が採番する。
・録画IDは、遠隔会議において録画された結合画像動画を識別する識別情報である。録画IDはミーティングデバイス60が採番するが、情報記録アプリ41や情報処理システム50が採番してもよい。同じ会議IDに異なる録画IDが付与されるのは、遠隔会議の途中で録画が終了したが、何らかの理由で再開した場合を示す。
・更新日時は、結合画像動画が更新された(録画が終了した)日時である。結合画像動画が編集された場合、編集された日時である。
・タイトルは、会議の会議名である。スケジュール管理システム9への会議の登録時に設定されてもよいし、ユーザーが任意に設定してもよい。
・アップロードは、結合画像動画が情報処理システム50にアップロードされたか否かを示す。
・保存先は、ストレージサービスシステム70において、結合画像動画、テキストデータ、及び、オブジェクト情報が保存されている場所(URLやファイルパス)を示す。したがって、ユーザーはアップロードされた結合画像動画を任意に閲覧できる。なお、結合画像動画とテキストデータは、例えばURLに続いて別々のファイル名で保存される。保存先には、会議で決まったアクションリストなど、議事録も保存されてよい。
<<ミーティングデバイス>>
図9に戻って説明する。ミーティングデバイス60は、端末通信部61、パノラマ画像作成部62、話者画像作成部63、集音部64、音声合成部65を有している。ミーティングデバイス60が有するこれら各部は、図5に示されている各構成要素のいずれかが、ROM612からDRAM614に展開されたプログラムに従ったCPU611からの命令によって動作することで実現される機能、又は機能する手段である。
図9に戻って説明する。ミーティングデバイス60は、端末通信部61、パノラマ画像作成部62、話者画像作成部63、集音部64、音声合成部65を有している。ミーティングデバイス60が有するこれら各部は、図5に示されている各構成要素のいずれかが、ROM612からDRAM614に展開されたプログラムに従ったCPU611からの命令によって動作することで実現される機能、又は機能する手段である。
端末通信部61は、USBケーブルなどを利用して端末装置10と通信する。端末通信部61は、有線ケーブルで接続されるだけでなく、無線LANやBluetooth(登録商標)等で端末装置10と通信可能であればよい。
パノラマ画像作成部62はパノラマ画像を作成する。話者画像作成部63は話者画像を作成する。これらの作成方法は図6、図7にて説明した。
集音部64は、ミーティングデバイス60が有するマイクが取得する音声を音声データ(デジタル)に変換する。これにより、端末装置10側の拠点でユーザーや参加者が発言した内容が集音される。
音声合成部65は、端末装置10から送信された音声と集音部64が集音した音声を合成する。これにより、他の拠点101で発言された音声と、自拠点102の発言がまとめられる。
<<情報処理システム>>
情報処理システム50は、通信部51、認証部52、画面生成部53、コミュニケーション管理部54、機器管理部55、テキスト変換部56、操作時刻変換部57、を有する。情報処理システム50が有するこれら各部は、図4に示されている各構成要素のいずれかが、HD504からRAM503に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム50は、図4に示されているHD504等によって構築される記憶部5000を有している。記憶部5000には、会議情報記憶部5001、録画情報記憶部5002、対応付け情報記憶部5003、オブジェクト情報記憶部5004が構築される。これらのうち、オブジェクト情報記憶部5004については電子黒板2において説明する。
情報処理システム50は、通信部51、認証部52、画面生成部53、コミュニケーション管理部54、機器管理部55、テキスト変換部56、操作時刻変換部57、を有する。情報処理システム50が有するこれら各部は、図4に示されている各構成要素のいずれかが、HD504からRAM503に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム50は、図4に示されているHD504等によって構築される記憶部5000を有している。記憶部5000には、会議情報記憶部5001、録画情報記憶部5002、対応付け情報記憶部5003、オブジェクト情報記憶部5004が構築される。これらのうち、オブジェクト情報記憶部5004については電子黒板2において説明する。
通信部51は、端末装置10と各種の情報を送受信する。通信部51は、例えば、遠隔会議のリストを端末装置10に送信したり、音声データの認識要求を端末装置10から受信したりする。
認証部52は、端末装置10を操作するユーザーを認証する。認証部52は、例えば、通信部51によって受信された認証要求に含まれている認証情報(ユーザーID及びパスワード)が予め保持する認証情報と一致するか否かにより、ユーザーを認証する。なお、認証情報は、ICカードのカード番号、顔や指紋などの生体認証情報等でもよい。また、認証部52は、外部の認証システムやOAUTHなどの認証方法で認証してもよい。
画面生成部53は、情報記録アプリ41が表示する情報を提供する。画面の構成は情報記録アプリ41が有しているので、画面生成部53は、ヒートマップや活発度などをXML等で端末装置10に提供する。端末装置10がWebアプリを実行する場合、画面生成部53は、Webアプリが表示する画面情報の生成を行う。画面情報は、HTML、XML、CSS(Cascade Style Sheet)、及びJavaScript(登録商標)等により作成される。本実施形態では、画面生成部53は、操作時刻に基づいてオブジェクトを記録情報と同期させて表示させる画面を生成する。また、画面生成部53は、オブジェクトに関する音声又は映像が記録されている記録情報を再生させるための指示情報を時刻情報に基づいて表示する画面を生成する。
コミュニケーション管理部54は、各ユーザーのアカウント又は情報処理システム50に付与されたシステム用のアカウントで、遠隔会議に関する情報をスケジュール管理システム9から取得する。スケジュール管理システム9は、各ユーザーのスケジュールを管理するシステムである。会議の開催は各参加者のスケジュールとしてスケジュール管理システム9に登録され、各参加者により共有される。コミュニケーション管理部54は、予約された会議の会議情報を会議IDと対応付けて会議情報記憶部5001に記憶させる。また、コミュニケーション管理部54は、テナントに所属するユーザーに閲覧権限がある会議情報を取得する。会議には会議IDが設定されているので、会議IDにより遠隔会議と記録情報が対応付けられる。
機器管理部55は、会議で使用される電子黒板2とミーティングデバイス60の機器識別情報を受信した場合、それらを対応付けて対応付け情報記憶部5003に保存する。したがって、会議IDと電子黒板2の機器識別情報とミーティングデバイス60の機器識別情報が対応付けられる。会議IDには結合画像動画も対応付けられるので、電子黒板2で入力されたオブジェクトと結合画像動画も対応付けられる。また、機器管理部55は、録画が終了されると(会議が終了すると)、対応付け情報記憶部5003から対応付けを削除する。
テキスト変換部56は、端末装置10からテキストデータへの変換を要求された音声データを外部の音声認識サービスシステム80を利用してテキストデータに変換する。テキスト変換部56自身が変換してもよい。
操作時刻変換部57は、電子黒板2に対する操作時刻を、結合画像動画の録画開始時刻からの経過時間に変換する。電子黒板2に対する操作時刻はその国又は地域の標準時間で記録されているからである。
図11は、コミュニケーション管理部54が管理する、会議情報記憶部5001に記憶された会議情報の一例である。コミュニケーション管理部54は上記のアカウントを使ってテナントに所属する当該ユーザーが閲覧権限のある遠隔会議のリストを取得できる。本実施形態では、遠隔会議を例にしているが、遠隔会議のリストには1つの会議室だけで開催される会議も含まれている。
会議情報は会議IDで管理され、参加者、タイトル(会議名)、開始日時、終了日時、場所などと対応付けられている。これらは会議情報の一例であり、会議情報は、他にも情報を含みうる。
・参加者の項目は、会議の参加者である。
・タイトルの項目は、会議名や会議の議題など、会議の内容を表す。
・開始日時の項目は、会議が開始される予定の日時である。
・終了日時の項目は、会議が終了する予定の日時である。
・場所の項目は、会議の開催場所であり、例えば会議室や、支社名、建屋などである。
・電子黒板情報の項目は、会議で使用された電子黒板2の識別情報である。
・ミーティングデバイスの項目は、会議で使用されたミーティングデバイス60の識別情報である。
・閲覧権限の項目は、会議の開催者が予め会議情報を登録する際又は開催後に閲覧権限をもつユーザーとして登録したユーザーIDである。例えば、会議ごとに、参加者のみ、参加者+任意のユーザー名、又は、任意のユーザー名などが会議情報に登録される。
・電子黒板操作データIDの項目は、後述する電子黒板操作データの識別情報であり、会議情報において電子黒板操作データIDはオブジェクト情報との紐付けに使用される。
図10,図11に示すように、会議IDにより会議で録画された結合画像動画が特定される。また、各会議には会議に作成される議事録が対応付けられてもよい。
録画情報記憶部5002に記憶されている録画情報は図10と同様でよい。ただし、情報処理システム50では、テナントに所属する全てのユーザーが録画した結合画像動画のリストを有する。
図12は、対応付け情報記憶部5003に記憶された、会議IDに対し、電子黒板2の機器識別情報とミーティングデバイス60の機器識別情報が対応付けられた対応付け情報を示す。情報記録アプリ41が電子黒板2とミーティングデバイス60の機器識別情報を情報処理システム50に送信してから、録画を終了するまでこの対応付け情報が保持される。
<<ストレージサービスシステム>>
ストレージサービスシステム70は記録情報及びオブジェクト情報を記憶するサービスシステムであればよい。記録情報記憶部7001には、記録情報(結合画像動画、テキストデータ)及びオブジェクト情報が保存されている。
ストレージサービスシステム70は記録情報及びオブジェクト情報を記憶するサービスシステムであればよい。記録情報記憶部7001には、記録情報(結合画像動画、テキストデータ)及びオブジェクト情報が保存されている。
図13は、記録情報記憶部7001に記憶されている記録情報とオブジェクト情報を示す。図13に示すように、記録情報である結合画像動画とテキストデータ、及び、オブジェクト情報が会議IDに対応付けて保存されている。結合画像動画には合成された音声が含まれており、テキストデータは合成後の音声データが音声認識により変換されたものである。オブジェクト情報は後述する電子黒板2に入力された手書きデータなどのオブジェクトに関する情報である。記録情報とオブジェクト情報は会議IDと対応付けられているので、会議情報とも対応付けられている。
図14は、記録情報の一部であるテキストデータの構造を説明する図である。図14に示すように、テキストデータには、ID、time、認識結果文字列、音声データ、拠点識別情報、話者IDの項目が対応付けられている。
・IDの項目は、自拠点音声と他拠点音声が所定の規則で分割された場合に採番される識別情報である。所定の規則は、ミーティングデバイス60(及び音声認識サービスシステム80の少なくとも一方)に設定されており、例えば、一定時間の無音状態が継続すると区切る、無音状態がなくても一定時間で強制的に区切る、形態素解析により検出した一文ずつ区切る、などである。
・timeの項目は、結合画像動画の録画開始からの継続時間による発言時刻である。記録開始時にいわゆる時刻も保存されるので、textが発言された時刻(絶対的な時刻)も分かる。
・認識結果文字列の項目は、分割された合成音声が音声認識で変換されたテキストデータの一部である。合成音声は、認識結果文字列の変換元となった音声データである。
・音声データの項目は、拠点の判断後に自拠点音声と他拠点音声が合成された合成音声(分割済み)である。
・拠点識別情報の項目は、自拠点音声の音圧と他拠点音声の音圧に基づいて判断された、音声データが発言された拠点の識別情報である。拠点識別情報は、例えば1が自拠点、2が他拠点を表す。
・話者IDの項目は、認識結果文字列を発言した話者を示すユーザーIDである。ユーザーIDによりどの参加者が発言したかも特定できる。会議中に話者を識別する方法はいくつか知られている。識別する方法は、例えば、予め各社員が声紋を登録しておく方法、ミーティングデバイス60が話者の方向を検出しているので、その方向の参加者を顔認識する方法など、どのような方法でもよい。話者ごとにマイクが用意される会場ではどのマイクが集音したかで話者が特定される。
<<電子黒板>>
図15は、電子黒板2の機能をブロックに分けて説明する機能ブロック図である。電子黒板2は、接触位置検出部31、描画データ生成部32、データ記録部33、表示制御部34、コード生成部35、通信部36、認証部37、操作受付部38、を有する。電子黒板2が有する各機能は、図8に示されている各構成要素のいずれかが、SSD404からRAM403上に展開されたプログラムに従ったCPU401からの命令によって動作することで実現される機能又は手段である。
図15は、電子黒板2の機能をブロックに分けて説明する機能ブロック図である。電子黒板2は、接触位置検出部31、描画データ生成部32、データ記録部33、表示制御部34、コード生成部35、通信部36、認証部37、操作受付部38、を有する。電子黒板2が有する各機能は、図8に示されている各構成要素のいずれかが、SSD404からRAM403上に展開されたプログラムに従ったCPU401からの命令によって動作することで実現される機能又は手段である。
接触位置検出部31は接触センサー414に対し電子ペン490が接触した位置の座標を検出する。描画データ生成部32は電子ペン490のペン先が接触した座標を接触位置検出部31から取得する。描画データ生成部32はこの座標点列を補間することで接続してストロークデータを生成する。
表示制御部34は手書きデータやユーザーが操作するためのメニューなどをディスプレイ480に表示する。
データ記録部33は、電子黒板2に手書きされた手書きデータ、円や三角などの図形、済などのスタンプ、PCの画面、ファイル等をオブジェクト情報記憶部3002に保存する。手書きデータ、図形、及び、PCの画面などの画像、ファイル等はオブジェクトとして扱われる。
通信部36はWI-FiやLANに接続し、情報処理システム50と通信する。通信部36は、オブジェクト情報を情報処理システム50に送信したり、情報処理システム50に記憶されたオブジェクト情報を情報処理システム50から受信してディスプレイ480に表示させたりする。
コード生成部35は、機器情報記憶部3001に記憶された電子黒板2の機器識別情報と会議で使用可能な機器であることを示す情報を2次元のパターンに符号化して二次元コードを生成する。また、コード生成部35は電子黒板2の機器識別情報と会議で使用可能な機器であることを示す情報をバーコードに符号化できる。機器識別情報はシリアル番号やUUID(Universally Unique Identifier)などでよい。ユーザーが設定したものでもよい。
認証部37は、電子黒板2のユーザーを認証する。認証方法は認証部52と同様でよい。また、認証部37は認証部52に認証を依頼してもよい。
操作受付部38は、電子黒板2が表示するメニューや操作時刻の押下など、電子黒板2に対するユーザーの操作を受け付ける。
また、電子黒板2は、図8に示されているSSD404等によって構築される記憶部3000を有している。記憶部3000には機器情報記憶部3001とオブジェクト情報記憶部3002が構築されている。
図16は、機器情報記憶部3001に記憶されている機器識別情報等を示す。
・機器識別情報は、電子黒板2の識別情報である。
・IPアドレスは、他の装置がネットワークを介して電子黒板2と接続するためのIPアドレスである。
・パスワードは電子黒板2に他の装置が接続する際の認証に使用される。
・機器識別情報は、電子黒板2の識別情報である。
・IPアドレスは、他の装置がネットワークを介して電子黒板2と接続するためのIPアドレスである。
・パスワードは電子黒板2に他の装置が接続する際の認証に使用される。
図17、図18は、オブジェクト情報記憶部3002に保存されている電子黒板操作データ及びオブジェクト情報を説明する図である。オブジェクト情報記憶部3002とオブジェクト情報記憶部5004に保存される情報は同じでよい。電子黒板操作データは、電子黒板2が表示するオブジェクトへの操作を時系列に記録した情報である。図17のような電子黒板操作データに電子黒板操作データIDが付与され、記録情報に対応付けられる。
まず、図17は、電子黒板操作データを模式的に示す。電子黒板操作データは、操作ID、操作時刻、操作種別、オブジェクトID、オブジェクト種別、オブジェクト詳細の各項目を有している。
・操作IDの項目は、電子黒板2に対する一操作を識別する識別情報である。
・操作時刻の項目は、電子黒板2に対しユーザーが操作した時刻であり、換言すると、オブジェクトの入力開始時刻又は更新時刻である。該オブジェクトが初めて入力された場合、操作時刻は入力開始時刻であり、入力済みのオブジェクトが更新された場合、操作時刻は更新時刻である。同じオブジェクトについて最も遅い更新時刻が最終更新時刻である。入力開始時刻と最終更新時刻は、それぞれオブジェクト情報に保存される。
・オブジェクトIDの項目は、電子黒板に表示されたオブジェクトの識別情報である。図17では、1つのストロークに1つのオブジェクトIDが付与されているが、後述の図19にて説明するように、複数のストロークにまとめて1つのオブジェクトIDが付与されることが好ましい。
・オブジェクト種別の項目は、ストローク、テキスト、図形などのオブジェクトの種別を示す。
・オブジェクト詳細の項目は、どのようなオブジェクトが入力されたかなど、オブジェクトの詳細な情報である。
次に、図18を参照して、図17の電子黒板操作データを用いて生成されるオブジェクト情報とオブジェクトの表示例の遷移を説明する。図18は、電子黒板操作データに基づいてオブジェクト情報がどのように生成されるかを説明する図である。
(1)ユーザーが、ストローク221を手書きした。データ記録部33は操作IDを付与して、このストロークの電子黒板操作データを記録する。図17によれば、操作IDは「1」、操作時刻は「13:30:00」、操作種別は作成、オブジェクトIDは「1」、オブジェクト種別はストローク、オブジェクト詳細は「パス、緑色」である。データ記録部33は、これらを図18(a)のオブジェクト情報に記載する。なお、入力開始時刻は操作時刻と同じ「13:30:00」、最終更新時刻は操作時刻と同じ「13:30:00」である。
(2)次に、ユーザーが、テキスト222を手書きした。データ記録部33は図17の操作ID=2の電子黒板操作データを作成する。そして、データ記録部33は電子黒板操作データを図18(b)のオブジェクト情報に転記する。入力開始時刻は操作時刻と同じ「13:31:10」、最終更新時刻は操作時刻と同じ「13:31:10」である。
(3)ユーザーが、ストローク221を削除した。データ記録部33は図17の操作ID=3の電子黒板操作データを作成する。操作種別が削除なので、データ記録部33は、削除されたオブジェクトID=1をオブジェクト情報から特定し、当該オブジェクト情報を削除する(図18(c))。
(4)ユーザーが、テキスト222の一部「B」を削除した。データ記録部33は図17の操作ID=4の電子黒板操作データを作成する。操作種別が更新なので、データ記録部33は、更新されたオブジェクトID=2をオブジェクト情報から特定し、オブジェクトの詳細を更新する(「ABC」→「AC」)。また、データ記録部33は最終更新時刻を、電子黒板操作データの操作時刻である「13:33:35」に更新する図18(d))。
なお、手書きデータは1つ以上のストロークの組み合わせなので、どこからどこまでが1つのオブジェクト(意味のある手書きデータ)かを適宜、電子黒板2又は情報処理システム50が判断する。
図19は、手書きデータの区切り方を説明する図である。手書きデータの区切り方として入力されたストロークとストロークの間の時間的な間隔に着目する方法がある。これは連続して手書きされたストロークは、意味がある手書きデータを構成するだろうという考え方に基づいており、データ記録部33は、予め設計者が決めた閾値以上の時間が経過したあとに手書きされたストロークを別の手書きデータとして分割する。
図19では時間軸に対し、ストロークの書き込み時間が四角307で示されている。四角307と四角307の間隔が、電子黒板2に電子ペンが触れていない時間(ペンアップからペンダウンまでの時間)である。時間に対し、ストローク301、ストローク302、ストローク303、ストローク304、ストローク305、が追加されている。電子ペンがストローク303を入力後ペンアップしてから、ストローク304の入力のためにペンダウンするまでの間隔が閾値以上であるとする。この場合、データ記録部33はストローク301、ストローク302、ストローク303を1つの手書きデータ151として記録し、ストローク304、ストローク305を1つの手書きデータ152として記録する。
ペンアップからペンダウンまでの時間を用いて分割する理由は、会議では複数人で一つのオブジェクトを描く場合があるためである。複数人が描いたオブジェクトに対して例えば単純にユーザーIDを用いて個人別にストロークを抽出すると、他人のストロークが前提となっているために、各個人別にストロークが何を筆記していたか把握することが困難なことがある。
<操作時刻の変換>
続いて、図20を参照して、操作時刻の経過時間への変換について説明する。操作時刻は、該当国の標準時で記録されている。日本の場合は日本標準時である。これに対し、結合画像動画の録画開始時刻や録画終了時刻は標準時で記録されるが、結合画像動画を構成する各フレームは、録画開始時刻からの経過時間しか有していない。このため、操作時刻変換部57が、操作時刻を録画開始時刻からの経過時間に変換する。
続いて、図20を参照して、操作時刻の経過時間への変換について説明する。操作時刻は、該当国の標準時で記録されている。日本の場合は日本標準時である。これに対し、結合画像動画の録画開始時刻や録画終了時刻は標準時で記録されるが、結合画像動画を構成する各フレームは、録画開始時刻からの経過時間しか有していない。このため、操作時刻変換部57が、操作時刻を録画開始時刻からの経過時間に変換する。
図20は、操作時刻を、録画開始時刻からの経過時間に変換する処理を説明する図である。図20(a)は、図11と同じ会議情報である。例えば、会議IDが「1」の会議では、結合画像動画の録画開始時刻が「13:28」である。図20(b)は電子黒板操作データの一例である。電子黒板操作データの操作時刻が「13:30:00」、「13:31:10」、「13:32:05」「13:33:35」だとすると、録画開始時刻との差異は、それぞれ「2:00」「3:10」「4:05」「5:35」である。操作時刻変換部57は、このように録画開始時刻と操作時刻との差異を変換後操作時刻として算出し、この変換後操作時刻を電子黒板操作データに追加する。こうすることで、閲覧者が再生されたオブジェクトを指定すると、端末装置10は、このオブジェクトに対応付けられた変換後操作時刻の結合画像動画を再生できる。
操作時刻には、入力開始時刻と最終更新時刻が含まれるので、オブジェクト情報に保存される入力開始時刻と最終更新時刻がそれぞれ変換後操作時刻に変換される。
<動作手順>
図21は、会議で記録された記録情報とオブジェクト情報の保存と、端末装置10がこれらを閲覧する処理を説明するシーケンス図である。なお、予め電子黒板2とミーティングデバイス60が対応付けられているものとする。
図21は、会議で記録された記録情報とオブジェクト情報の保存と、端末装置10がこれらを閲覧する処理を説明するシーケンス図である。なお、予め電子黒板2とミーティングデバイス60が対応付けられているものとする。
S1:ユーザーが端末装置10の情報記録アプリ41を操作して会議開始を指示する。例えば、ユーザーは会議情報のリストから会議を選択してよい。なお、ユーザーは別途、遠隔会議アプリ42を操作して他の拠点との遠隔会議を開始してもよいし、遠隔会議はしなくてもよい。
S2:端末装置10の操作受付部12は会議開始を受け付け、通信部11が会議IDを指定して会議開始を情報処理システム50に送信する。
S3:会議開始に応じて情報記録アプリ41のデバイス通信部16は、録画開始をミーティングデバイス60に要求する。
S4:ミーティングデバイス60の端末通信部61は録画開始要求を受信し、パノラマ画像作成部62がパノラマ画像の作成を開始し、話者画像作成部63が話者画像の作成を開始する。また、集音部64が周囲の音声を集音する。なお、遠隔会議が開催された場合は音声の合成が行われるが、音声の合成はミーティングデバイス60又は端末装置10のどちらで行われてもよい。
S5:端末通信部61はパノラマ画像と話者画像及び集音した音声データを端末装置10に送信する。端末装置10のデバイス通信部16はパノラマ画像と話者画像及び集音した音声データを受信する。録画制御部17は、パノラマ画像と話者画像及び集音した音声データを合成したり、更に遠隔会議アプリ42の映像を合成したりして結合画像動画を生成する。
S6:次に、ユーザーが電子黒板2に対し、会議を指定して会議参加を指示する。
S7:これにより、電子黒板2の通信部36が電子黒板2の機器識別情報と会議IDを指定して会議参加を情報処理システム50に送信する。
S8:ユーザーが電子黒板2にストロークなどのオブジェクトを入力する。描画データ生成部32がストロークを生成し、表示制御部34がディスプレイ480に表示する。データ記録部33は、電子黒板操作データ及びオブジェクト情報を生成する。
S9:電子黒板2の通信部36は電子黒板操作データ及びオブジェクト情報を情報処理システム50に送信する。これらは会議終了後にまとめて送信されてもよい。
S10:情報処理システム50の通信部51は電子黒板操作データ及びオブジェクト情報を受信し、オブジェクト情報記憶部5004に時系列に保存する。
S11:ユーザーが端末装置10の情報記録アプリ41を操作して会議終了を指示する。
S12:端末装置10の操作受付部12は会議終了を受け付け、通信部11が会議IDを指定して会議終了を情報処理システム50に送信する。
S13:また、会議終了に応じて情報記録アプリ41の通信部11は、会議IDと共に結合画像動画を情報処理システム50に送信する。
S14:情報処理システム50の通信部51は結合画像動画を受信し、テキスト変換部56が音声をテキストデータに変換する。通信部51は、ストレージサービスシステム70に記録情報(結合画像動画、テキストデータ)、及び、オブジェクト情報を保存する。
S15:会議終了後、閲覧者が、端末装置10の情報記録アプリ41を操作して、会議を指定して記録情報とオブジェクト情報の閲覧を指示する。なお、閲覧者は参加者でも参加者以外のものでもよい。
S16:端末装置10の操作受付部12は記録情報の閲覧を受け付け、通信部11が会議IDを指定して記録情報とオブジェクト情報を情報処理システム50に要求する。
S17:情報処理システム50の通信部51は、記録情報とオブジェクト情報の要求を受信し、ストレージサービスシステム70から会議IDで特定される記録情報とオブジェクト情報を取得する。通信部51はこれらを端末装置10に送信する。
S18:端末装置10の通信部11は記録情報とオブジェクト情報を受信し、表示制御部13が記録情報とオブジェクト情報を録画再生画面220に表示する。表示例は後述する。
S19:閲覧者が例えば表示されたオブジェクトをポインティングデバイス512で押下する。
S20:端末装置10の操作受付部12はオブジェクトの選択を受け付け、指示情報表示部23がオブジェクトに対応付けられた変換後操作時刻を表示する。
S21:閲覧者が例えば表示されたタイムインジケータのポインタが変換後操作時刻に一致するように操作する。
S22:端末装置10の操作受付部12はポインタの操作を受け付け、録画再生部19がポインタで指定された変換後操作時刻の結合画像動画を表示し、表示制御部13がポインタで指定された変換後操作時刻のオブジェクトを表示する。
<録画再生画面の例>
続いて、図22から図31を参照して、上記のステップS18で表示された録画再生画面220について説明する。
続いて、図22から図31を参照して、上記のステップS18で表示された録画再生画面220について説明する。
図22は、変換後操作時刻を表示した録画再生画面220の一例を示す。図22に示す録画再生画面220の構成は一例に過ぎないが、まず録画再生画面220の構成を説明する。
・領域1は、会議情報のうち比較的重要なものが表示される領域である。領域1には、例えば、会議名、会議の日時、会議の場所などが表示される。
・領域2は、結合画像動画(パノラマ画像203、話者画像204)、及び、オブジェクト210が表示される領域である。録画再生部19は、通常の動画再生と同様に結合画像動画を再生する。一方、オブジェクトは動画ではないので、結合画像動画の再生時刻を参照しながら、電子黒板操作データにおいて再生時刻=変換後操作時刻となったオブジェクトIDのオブジェクトを、表示制御部13が表示する。こうすることで、結合画像動画とオブジェクトが同期して表示される。また、領域2において、ユーザーが所定の操作を行うと、録画再生部19はオブジェクトの再生を開始する。録画再生部19は、ユーザーが指定した時刻以降のオブジェクトを時間の経過に応じて変化させながら表示する。オブジェクトの再生と同期させて、録画再生部19は、結合画像動画も再生してもよい。録画再生部19は、指定した時刻以降の変換後操作時刻を電子黒板操作データから順番に取得し、変換後操作時刻が切り替わるまでは結合画像動画を再生時刻に応じて再生し、再生時刻が次の変換後操作時刻になるとオブジェクト詳細に基づいてオブジェクトを再生する。なお、オブジェクト及び結合画像動画のいずれの場合も倍速再生(0.5、0.75、1.25、1.5、1.75、2.0倍速等、又は、任意の倍速)が可能でよい。オブジェクト又は結合画像動画のいずれか一方のみが再生されてもよい。この場合、再生されないオブジェクト又は結合画像動画は静止した状態になる。
・領域3は、会議情報のうち領域1で表示されない情報が表示される。領域3には、例えば、参加者名、決定事項などが表示される。
・領域4は、テキストデータが表示される領域である。テキストデータもオブジェクトと同様に、結合画像動画と同期して表示される。したがって、領域4のテキストデータは再生時刻と共に下方向にスクロールする。
領域2には、「ABC」というオブジェクト210が表示されている。閲覧者がオブジェクト210をポインティングデバイス512で押下すると、このオブジェクト210に対応付けられた変換後操作時刻211を指示情報表示部23が表示する。この変換後操作時刻211は、入力開始時刻でも最終更新時刻でもよいが、ここでは入力開始時刻が変換された変換後操作時刻211が表示されている。変換後操作時刻211は入力開始時刻及び最終更新時刻の中央値でもよい。
閲覧者は、このオブジェクト210に関する議論は、変換後操作時刻211に行われていることを確認できる。閲覧者は、タイムインジケータ213のポインタ212を操作して、変換後操作時刻211の結合画像動画を再生できる。なお、変換後操作時刻211は表示後、一定時間の経過で消去されてよい。
図22では、説明の便宜上、1つのオブジェクト210しか表示されていないが、閲覧者がタイムインジケータ213のポインタ212を進めると、その時刻までに入力された全てのオブジェクトが表示される。したがって、閲覧者は所望のオブジェクトを表示させてから、該オブジェクトを選択することで、このオブジェクト210に対応付けられた変換後操作時刻211を表示させることができる。
あるいは、図23に示すように、閲覧者がオブジェクト210をポインティングデバイス512で押下すると、指示情報表示部23がこのオブジェクト210に対応付けられた変換後操作時刻211を表示すると共に、録画再生部19が変換後操作時刻211から結合画像動画を再生してもよい。図23は、オブジェクトの押下により、変換後操作時刻211から結合画像動画が再生される録画再生画面220を示す。閲覧者はタイムインジケータ213のポインタ212を操作しなくても、変換後操作時刻211の結合画像動画を再生できる。
録画再生部19は、変換後操作時刻211の少し前の時刻から結合画像動画を再生してもよい。オブジェクトの描画前から関連する会話が開始している場合、閲覧者が最初から会話を聞くことができる。
また、図23では、オブジェクト210の押下で、変換後操作時刻211から結合画像動画が再生されたが、図22のように表示された変換後操作時刻211の押下で、変換後操作時刻211から結合画像動画が再生されてもよい。
なお、変換後操作時刻211から結合画像動画が再生された場合、表示制御部13は、電子黒板操作データの最初から変換後操作時刻211までのオブジェクトを表示する。ユーザーは結合画像動画だけでなく、変換後操作時刻211まで遡ってオブジェクトを確認できる。ユーザーが特に操作しなくても結合画像動画とオブジェクトを同期できる。以下、特に記載しない場合、オブジェクトは結合画像動画と同期して表示される。
また、図24に示すように、メニュー操作を経て、録画再生部19が変換後操作時刻211の結合画像動画を再生してもよい。図24は、オブジェクト210の押下後に録画再生画面220に表示されるメニュー215を示す。閲覧者がオブジェクト210を選択すると、変換後操作時刻211が表示されると共に、メニュー215が表示される。閲覧者が、「描画時間から再生を選択する」という選択肢215a(表示部品の一例)を選択すると、録画再生部19が変換後操作時刻211から結合画像動画を再生する。図24によれば、閲覧者はタイムインジケータ213のポインタ212を操作しなくても、変換後操作時刻211の結合画像動画を再生できる。
また、図25に示すように、変換後操作時刻211が常に表示されてもよい。図25(a)は、変換後操作時刻が常に表示された録画再生画面220を示す。図25(b)は、領域2に表示されているオブジェクト210,216に関するオブジェクト情報である。図25(a)では、「ABC」というオブジェクト210と、「DE」というオブジェクト216のすべてに変換後操作時刻211,217が表示されている。このような処理は、結合画像動画の再生時刻に応じて、表示制御部13が電子黒板操作データの入力開始時刻が再生時刻となったオブジェクトを表示すると、指示情報表示部23がこのオブジェクトの変換後操作時刻211,217を表示することで実現できる。閲覧者はオブジェクト210,216を押下しなくてもこのオブジェクトに関する議論が行われた変換後操作時刻211,217を確認できる。
また、図26に示すように、オブジェクトの入力開始時刻と最終更新時刻の2つの変換後操作時刻218が表示されてもよい。図26(a)は、オブジェクトの入力開始時刻と最終更新時刻の2つの変換後操作時刻218が表示された録画再生画面220を示す。図26(b)は、領域2に表示されているオブジェクトに関するオブジェクト情報である。オブジェクト情報によれば、領域2に表示中のオブジェクトうちオブジェクト210の入力開始時刻が「2:31」、最終更新時刻が「3:25」である。図26(a)では、「ABC」というオブジェクト210が押下されているので、指示情報表示部23が「2:31~3:25」という2つの変換後操作時刻218を表示している。同様に、閲覧者が「DE」というオブジェクト216を押下した場合、指示情報表示部23が「4:30~4:30」という2つの変換後操作時刻218を表示する。
したがって、閲覧者はオブジェクト210に関する議論がいつからいつまで行われたかを確認でき、結合画像動画の検索性が向上する。
次に、図27を参照して、複数のオブジェクトの変換後操作時刻について説明する。図27(a)は、複数のオブジェクト210,216が選択された場合の変換後操作時刻219の表示例を示す。図27(b)は、領域2に表示されているオブジェクトに関するオブジェクト情報である。閲覧者は、ポインティングデバイス512で領域2の複数のオブジェクト210,216を囲むなどして、複数のオブジェクトを選択できる。指示情報表示部23は、選択された複数のオブジェクトの中で、最初の入力開始時刻と最後の最終更新時刻をオブジェクト情報から検索して表示する。図27(a)では、例として、「ABC」と「DE」の2つのオブジェクト210,216が選択されている。「ABC」の入力開始時刻が「2:31」と、「DE」の最終更新時刻が「4:30」なので、指示情報表示部23は選択された2つのオブジェクトについて「2:31~4:30」という範囲を示す変換後操作時刻219を表示する。閲覧者は、複数のオブジェクトに関する議論がいつからいつまで行われたかを確認でき、結合画像動画の検索性が向上する。
また、図28に示すように、選択されたオブジェクトの変換後操作時刻と発話区間が重複している場合に発話区間の最初から結合画像動画を再生してもよい。図28(a)は、発話区間の最初から再生される結合画像動画を示す。図28(b)は、領域2に表示されているオブジェクトに関するオブジェクト情報である。図28(c)は、テキストデータのtimeの項目から求めた発話開始時刻と発話終了時刻を示す。
発話区間とは、音声が継続している時間帯であり、例えば一定時間以上の無音状態で1つの発話区間が区切られた区間である。発話区間情報は、発話区間を示すある時刻から別の時刻までの情報である。この一定時間の長さがテキストデータで1つの認識結果文字列を区切るものと同じ場合、発話区間は1つの認識結果文字列が発話された時間である。ただし、発話区間の長さはテキストデータの区切りと同じでなくてもよい。例えば、話者が切り替わった場合、無音状態が一定時間未満でも発話区間が区切られてよい。図28の説明では、一例として、発話開始時刻はテキストデータのtimeの項目と同じであり、発話終了時刻は、次の認識結果文字列に対応付けられたtimeの値から無音状態の長さを減じた時刻である。なお、発話開始時刻と発話終了時刻はいずれも結合画像動画の開始時刻からの経過時間に変換されている。
図28(a)では、「ABC」というオブジェクト210がポインティングデバイス512で選択された。「ABC」の変換後操作時刻は「2:31」である。この時刻「2:31」は、図28(c)の発話区間によると、「2:15」から「3:20」まで発話されたテキストデータ1と重複している。このため、録画再生部19はテキストデータ1の発話開始時刻の「2:15」から結合画像動画を再生する。タイムインジケータ213のポインタ212が「2:15」に瞬間的に移動する。閲覧者は、オブジェクトに関する議論のうち、最初の議論から結合画像動画を閲覧できる。
また、図29に示すように、録画再生部19は、ページ単位でオブジェクトの変換後操作時刻に応じた結合画像動画から再生してもよい。図29(a)は、ページ内の最後に入力されたオブジェクトの変換後操作時刻から再生される結合画像動画を示す。図29(b)は、領域2に表示されているオブジェクトに関するオブジェクト情報である。
領域2の下部には各ページのサムネイル225(表示部品の一例)が表示される。ページとは例えば1画面(ディスプレイサイズ分)に表示されたオブジェクトを表す区切りをいう。閲覧者がサムネイル225からページを選択すると、ページ内のオブジェクトの中でオブジェクトが最後に更新された最終更新時刻から、録画再生部19が結合画像動画を再生する。例えば、閲覧者が2ページ目を選択すると、2ページ目にあるオブジェクトの最終更新時刻である「5:20」から結合画像動画が再生される。また、表示制御部13は、電子黒板操作データの最初から「5:20」までに操作時刻があるオブジェクトを領域2に表示する。閲覧者は、ページ2の最終状態から議論を確認したいオブジェクトを選択して、再度、該オブジェクトの変換後操作時刻211から結合画像動画を再生させることができる。すなわち、閲覧者は、ページ内の全てのオブジェクトから議論を確認したいオブジェクトを選択できる。
また、図30に示すように、タイムインジケータとオブジェクトの色が対応付けられていてもよい。図30(a)は、タイムインジケータ213と同じ色でオブジェクトが表示される録画再生画面220を示す。図30(b)は、領域2に表示されているオブジェクトに関するオブジェクト情報である。
タイムインジケータ213は以下のように時間帯で色分けされている。このように色と時間帯が予め対応付けられているものとする。録画再生部19は、タイムインジケータの長さを時間帯で区分して対応している色で表示する。
・0:00~2:00 黄
・2:00~4:00 緑
・4:00~6:00 青
・6:00~8:00 紫
一方、オブジェクト情報によると「AB」というオブジェクト226は「1:31」が入力開始時刻であり、「CD」というオブジェクト227は「3:30」が入力開始時刻であり、「EF」というオブジェクト228は「5:00」入力開始時刻であり、「GH」というオブジェクト229は「6:20」入力開始時刻である。このため、表示制御部13は、色と時間帯の対応付けに基づいて、「AB」というオブジェクト226を黄で、「CD」というオブジェクト227を緑で、「EF」というオブジェクト228を青で、「GH」というオブジェクト229を紫で、それぞれ表示する。したがって、閲覧者は、各オブジェクトについて議論が行われた時間帯をタイムインジケータ213から容易に特定できる。
・0:00~2:00 黄
・2:00~4:00 緑
・4:00~6:00 青
・6:00~8:00 紫
一方、オブジェクト情報によると「AB」というオブジェクト226は「1:31」が入力開始時刻であり、「CD」というオブジェクト227は「3:30」が入力開始時刻であり、「EF」というオブジェクト228は「5:00」入力開始時刻であり、「GH」というオブジェクト229は「6:20」入力開始時刻である。このため、表示制御部13は、色と時間帯の対応付けに基づいて、「AB」というオブジェクト226を黄で、「CD」というオブジェクト227を緑で、「EF」というオブジェクト228を青で、「GH」というオブジェクト229を紫で、それぞれ表示する。したがって、閲覧者は、各オブジェクトについて議論が行われた時間帯をタイムインジケータ213から容易に特定できる。
また、図31に示すように、オブジェクトの操作時刻と結合画像動画の再生時刻との差と、オブジェクトの濃淡とが対応付けられていてもよい。図31(a)は、オブジェクトの操作時刻と再生時刻との差をオブジェクトの濃淡に対応させた録画再生画面220を示す。図31(b)は、領域2に表示されているオブジェクトに関するオブジェクト情報である。
各オブジェクト226~229は、会議中に描画されたオブジェクト詳細の色で表示されている。一方、「AB」というオブジェクト226の入力開始時刻は「1:31」であり、「CD」というオブジェクト227の入力開始時刻は「3:30」であり、「EF」というオブジェクト228の入力開始時刻は「5:00」であり、「GH」というオブジェクト229の入力開始時刻は「6:20」である。
表示制御部13は、オブジェクト226~229の入力開始時刻と再生時刻との差をオブジェクト226~229の濃淡に対応させる。現在の再生時刻が「3:30」であるとすると入力開始時刻との差の絶対値は以下になる。
AB 「3:30」-「1:31」=1:59
CD 「3:30」-「3:30」=0
EF 「3:30」-「5:00」=1:30
GH 「3:30」-「6:20」=2:50
表示制御部13は、差が小さいほど色を濃く、差が大きいほど色を薄くする。差が極端に大きい場合、オブジェクトが透明になるので実質的には非表示である。したがって、表示制御部13は、「CD」→「EF」→「AB」→「GH」の順に色を濃くする。表示制御部13は、例えば1秒ごとなどに色の濃さを再計算して、色を更新する。なお、表示制御部13は、現在の再生時刻「3:30」には表示されていないオブジェクトについても濃度を薄くして表示する。現在の再生時刻が「3:30」に対し前後のどのくらいの範囲のオブジェクトを表示するか(どのくらいで透明にするか)は閲覧者が設定できてよい。
AB 「3:30」-「1:31」=1:59
CD 「3:30」-「3:30」=0
EF 「3:30」-「5:00」=1:30
GH 「3:30」-「6:20」=2:50
表示制御部13は、差が小さいほど色を濃く、差が大きいほど色を薄くする。差が極端に大きい場合、オブジェクトが透明になるので実質的には非表示である。したがって、表示制御部13は、「CD」→「EF」→「AB」→「GH」の順に色を濃くする。表示制御部13は、例えば1秒ごとなどに色の濃さを再計算して、色を更新する。なお、表示制御部13は、現在の再生時刻「3:30」には表示されていないオブジェクトについても濃度を薄くして表示する。現在の再生時刻が「3:30」に対し前後のどのくらいの範囲のオブジェクトを表示するか(どのくらいで透明にするか)は閲覧者が設定できてよい。
したがって、再生時刻における議論と関連性の高いオブジェクトだけ表示されるので視認性が高くなる。また、未来の時間のオブジェクトも表示することで理解しやすくなる。閲覧者は、オブジェクトの色の濃さで、現在の再生時刻に対し、どのくらい前、又は、後にオブジェクトが入力されたかを判断できる。なお、再生時刻との差は、入力開始時刻でなく、最終更新時刻との差でもよい。
<主な効果>
以上説明したように、本実施例の記録情報作成システムによれば、オブジェクトに関連付けて、オブジェクトに関する議論が行われている時刻を提示できる。
以上説明したように、本実施例の記録情報作成システムによれば、オブジェクトに関連付けて、オブジェクトに関する議論が行われている時刻を提示できる。
本実施例では、オブジェクトの操作時刻をタイムインジケータに表示する記録情報作成システムについて説明する。
まず、図32を参照して概略を説明する。図32は、本実施例の録画再生画面220の一例である。図32の録画再生画面220では、タイムインジケータ213にオブジェクトのペンダウン時刻がマーク260で示されている。マーク260は、1つのオブジェクトの入力が開始された時刻(又は終了した時刻でもよい)、及び、一定時間書き込みがない状態から再度書き込みがされた時刻に表示される。
閲覧者がポインティングデバイス512でマーク260を押下すると、端末装置10はマーク260に対応するペンダウン時刻から結合画像動画を再生する。また、表示制御部13は、電子黒板操作データの最初からペンダウン時刻までのオブジェクトを表示する。
なお、本実施例においては、上記の実施例にて説明した図4、図5、図8のハードウェア構成図、及び、図9に示した機能ブロック図を援用できるものとして説明する。
一方、図33に示すように、端末装置10の機能が実施例1とは異なっている。図33は、電子黒板2の機能をブロックに分けて説明する機能ブロック図である。本実施例の電子黒板2は、映像表示部39を有している。映像表示部39は、PC470等の外部機器がHDMI(登録商標。以下省略する。)ケーブル等を介して送信する映像をキャプチャデバイス411が受信した場合、ディスプレイ480の全体又は一部に映像を表示する。
図34は、ストロークデータのデータ構造を示す。線タイプは実線、破線等を示す。線色は線の色を示す。線太さは線の太さを示す。ペンダウン時刻はペン又は指がタッチパネルに接触した時刻(標準時)を示す。ペンダウン座標はその接触座標である。差分座標(Δx1, Δy1)、…、差分座標(Δxn, Δyn)は、ユーザーがペン又は指をタッチパネルに接触してから離れるまでの間、所定の時間間隔毎に算出された、ペンの座標と前回の検出座標との差分(X軸方向の差とY軸方向の差)である。
図34のようなストロークデータは実施例1でも作成されている。本実施形態では、ペンダウン時刻が操作時刻となる場合があるので、図を示して説明した。
なお、本実施例では実施例1の電子黒板操作データとして、ストロークの入力だけでなく、ページ切り替え操作、手書き領域の拡張操作(スワイプイベントデータ)、及び、映像入力イベントデータ、を例にして説明する。
<動作手順>
図35は、オブジェクト情報の記録処理を説明するシーケンス図の一例である。
図35は、オブジェクト情報の記録処理を説明するシーケンス図の一例である。
S41:ユーザーがミーティングデバイス60と電子黒板2を同じ会議で使用して会議に参加する。ミーティングデバイス60と電子黒板2は同一会議に参加させる手順により連携済であり(図12参照)、それぞれ情報処理システム50に共通の会議IDを指定して結合画像動画や電子黒板操作データを送信することが可能な状態となっている。
S42:会議中、ミーティングデバイス60のパノラマ画像作成部62はパノラマ画像を作成し、話者画像作成部63は話者画像を作成する。集音部64は音声を取得する。端末通信部61は、パノラマ画像、話者画像及び音声データを端末装置10に送信する。
S43:端末装置10のデバイス通信部16はパノラマ画像、話者画像及び音声データを受信し、これらを記録しておく。
S44:会議中、任意のタイミングでユーザーが電子黒板2のタッチパネルにペンや指で触れることでストロークを描画する。
S45:描画データ生成部32は、ユーザーがタッチパネルに触れた座標列からストロークデータを生成する。
S46:データ記録部33は、ストロークデータを図34に示したデータ構造に整形し、オブジェクト情報記憶部3002に保存する。データ記録部33はペン又は指がタッチパネルに接触した時刻(ペンダウン時刻)もオブジェクト情報記憶部3002に保存する。
S47:表示制御部34は、ディスプレイ480にストロークを表示する。
S48:電子黒板2の通信部36は、会議IDを指定して、情報処理システム50に図34のようなストロークデータを送信する。
S49:情報処理システム50の通信部51はストロークデータを受信し、自身のオブジェクト情報記憶部5004に保存する。
次に、図36は、電子黒板2の会議終了時の処理を説明するシーケンス図である。
S51:ユーザーが端末装置10の情報記録アプリ41で会議終了ボタンを押す。
S52:これにより、デバイス通信部16が会議終了(映像、音声の入力停止)をミーティングデバイス60に送信する。
S53:ミーティングデバイス60の端末通信部61は会議終了を受信し、映像、音声の生成を終了する。
S54:情報記録アプリ41は会議中に記録したパノラマ画像と話者画像と音声から結合画像動画を作成する。
S55:端末装置10の通信部11は結合画像動画を情報処理システム50に送信する。
S56:情報処理システム50の通信部51は結合画像動画を受信し、テキスト変換部56が音声をテキストデータに変換する。情報処理システム50は、結合画像動画、テキストデータ、及び、オブジェクト情報を会議IDに対応付けてストレージサービスシステム70に保存する。
<結合画像動画の再生>
図37は、結合画像動画の再生時の処理を説明するシーケンス図である。
図37は、結合画像動画の再生時の処理を説明するシーケンス図である。
S61:会議終了後、閲覧者は端末装置10の情報記録アプリ41が表示する会議一覧画面にて先に実施した会議を選択する。
S62:操作受付部12が操作を受け付け、通信部11が会議IDを指定して記録情報を情報処理システム50に要求する。
S63:情報処理システム50の通信部51は要求を受信し、ストレージサービスシステム70から会議IDで特定される記録情報(結合画像動画とテキストデータ)を取得する。
S64:情報処理システム50の通信部51は記録情報を端末装置10に送信する。
S65:端末装置10の通信部11が記録情報を受信し、録画再生部19が録画再生画面220に結合画像動画とテキストデータを表示する。録画再生部19は結合画像動画を再生し、また、音声を端末装置10のスピーカから出力する。
S66:また、情報処理システム50の通信部51は会議IDに対応付けられているオブジェクト情報を端末装置10に送信する。
S67:端末装置10の通信部11がオブジェクト情報を受信し、表示制御部13が録画再生画面220にオブジェクトを表示する。指示情報表示部23は、ペンダウン時刻に基づいてマーク260を表示するタイムインジケータ上の位置を算出する。実施例1と同様に、ストロークデータの最初のペンダウン時刻は結合画像動画の録画開始時刻からの変換後操作時刻に変換されている。指示情報表示部23は、タイムインジケータの長さに、変換後操作時刻/(結合画像動画の録画時間)を乗じると、タイムインジケータ上のマーク260の位置を算出できる。
S68:表示制御部13は、このマーク260とペンダウン時刻とを対応付けるリンクを作成する。リンクの詳細を図38にて説明する。マーク260は結合画像動画の再生時刻を示すので、リンクとは、結合画像動画の再生時刻である。再生時刻はペンダウン時刻である。マーク260にはリンクが埋め込まれている。
S69:閲覧者がポインティングデバイス512を操作してマーク260を押下する。端末装置10の操作受付部12が押下を受け付ける。
S70-1:本実施例では、同じ領域で、結合画像動画とオブジェクトを切り替えて表示するので、端末装置10の表示制御部13は、結合画像動画をオブジェクトの表示に切り替える。
S70-2:そして表示制御部13は、マーク260に対応付けられたリンクが有する再生時刻のオブジェクトを録画再生画面220に表示する。再生時刻のオブジェクトとは、該当するページにおいて、電子黒板操作データの最初から再生時刻(ペンダウン時刻)までの全てのオブジェクトである。
図38は、リンクを説明する図である。図38では、1つのストロークごとにペンダウンとペンアップが時間軸に対応づけられている。リンクは、マーク260と操作時刻とを対応付ける。例えば、ストローク1のペンダウン時刻「00:30」とマーク260が対応付けられ、ストローク1のペンダウン時刻「00:50」がマーク260と対応付けられる。マーク260の押下により操作時刻のオブジェクトを表示させることができる。
一方、マーク260はその押下により操作時刻から結合画像動画を再生させることができる。したがって、リンクは、マーク260と結合画像動画の再生時刻を対応付ける。このように、リンクは、マーク260と操作時刻、又は、再生時刻とを対応付ける。
<画面例>
図39は、本実施例の録画再生画面220の一例を示す。なお、この録画再生画面220の構成は実施例1と異なっているが、特別な意図はなく、録画再生画面220は実施例1、2で共通でもよい。領域1には会議情報が表示され、領域2には結合画像動画又はオブジェクト情報が切り替えて表示され、領域3には会議の議事録が表示される。図39(a)の録画再生画面220では、領域2に結合画像動画が表示されている。また、図39(a)の録画再生画面220にはタイムインジケータ上にマーク260が表示されている。
図39は、本実施例の録画再生画面220の一例を示す。なお、この録画再生画面220の構成は実施例1と異なっているが、特別な意図はなく、録画再生画面220は実施例1、2で共通でもよい。領域1には会議情報が表示され、領域2には結合画像動画又はオブジェクト情報が切り替えて表示され、領域3には会議の議事録が表示される。図39(a)の録画再生画面220では、領域2に結合画像動画が表示されている。また、図39(a)の録画再生画面220にはタイムインジケータ上にマーク260が表示されている。
閲覧者がマーク260をポインティングデバイス512で押下(例えばクリック)すると、図39(b)の録画再生画面220に切り替わる。領域2に戻るボタン261が表示される。図39(b)の録画再生画面220では、領域2にオブジェクト情報が表示されている。表示制御部13は、マーク260に対応付けられた再生時刻(ペンダウン時刻)のオブジェクト情報を領域2に表示する。すなわち、表示制御部13は、電子黒板操作データの最初からペンダウン時刻までのオブジェクト情報に基づいてオブジェクト262を表示する。
なお、領域2にオブジェクト262が表示されると、録画再生部19は結合画像動画の再生を停止する。録画再生部19は結合画像動画の再生を停止せずに、引き続き再生してもよい。また、表示制御部13は、結合画像動画が再生されている場合、再生時刻に合わせてオブジェクト262の表示を変化させていくとよい。
閲覧者が戻るボタン261を押下すると、図39(a)の録画再生画面220に切り替わる。録画再生部19は、押下されたマーク260に対応付けられた再生時刻(ペンダウン時刻)から、結合画像動画を再生する。すなわち、録画再生部19は、再生を停止した時刻から(あるいはその数秒前から)結合画像動画の再生を再開する。
また、閲覧者がマーク260をポインティングデバイス512でダブルクリック(又はダブルタップ)すると、図39(c)の録画再生画面220に切り替わる。図39(c)の録画再生画面220では、領域2に結合画像動画が表示されている。録画再生部19は、押下されたマーク260に対応付けられた再生時刻(ペンダウン時刻)から結合画像動画を再生する。したがって、ストロークが手書きされた時刻の結合画像動画を閲覧者が閲覧できる。なお、領域2に結合画像動画が表示される場合、録画再生部19は結合画像動画の再生を停止しないでよい。
このように、タイムインジケータ213にマーク260が表示されることで、マーク260に対応付けられた操作時刻のオブジェクトを表示できる。閲覧者はオブジェクトが入力された時刻の電子黒板2の状態を表示できる。また、閲覧者はオブジェクトが入力された時刻の結合画像動画を再生できる。電子黒板2とミーティングデバイス60を連携させ同一会議に参加させた会議で、会議後に閲覧者は、会議の結合画像動画と共に各オブジェクトを確認することができる。
図39では、領域2内でオブジェクトと結合画像動画が切り替えられているが、実施例1と同様に並行して両方が表示されてよい。この場合、オブジェクトと結合画像動画は同期して表示される。
また、マーク260の押下(クリック又はタップ)、又はダブルクリックは一例であって、閲覧者が異なる操作でオブジェクトの表示と結合画像動画の再生を切り替えられればよい。また、録画再生画面220は、オブジェクトの表示→結合画像動画の再生→元に戻る、のように循環してもよい。
<ページ切り替えをタイミングとするオブジェクトの表示>
図40は電子黒板のディスプレイ480の下部に表示されるサムネイル225とページ追加ボタン263を示す。本実施例の電子黒板2は、保存済みのページのサムネイル225を電子黒板2のディスプレイ480の下部に表示すると共に、ページ追加ボタン263の押下により新たな白紙ページを表示できる。現在、電子黒板2が表示中のページは、サムネイルが強調して表示される(例えば色付きの矩形264で示される)。また、サムネイル225の押下により、電子黒板2は該ページを再度、表示する。ユーザーは再表示されたページのオブジェクトを編集したり、オブジェクトを追加したりできる。
図40は電子黒板のディスプレイ480の下部に表示されるサムネイル225とページ追加ボタン263を示す。本実施例の電子黒板2は、保存済みのページのサムネイル225を電子黒板2のディスプレイ480の下部に表示すると共に、ページ追加ボタン263の押下により新たな白紙ページを表示できる。現在、電子黒板2が表示中のページは、サムネイルが強調して表示される(例えば色付きの矩形264で示される)。また、サムネイル225の押下により、電子黒板2は該ページを再度、表示する。ユーザーは再表示されたページのオブジェクトを編集したり、オブジェクトを追加したりできる。
ページ追加ボタン263及びサムネイル225の選択も、ストロークデータと同様に電子黒板操作データとして、操作時刻と共に記録される。ページ追加ボタン及びサムネイルの選択を記録した電子黒板操作をページ操作データという。ページ操作データのデータ構造を図41に示す。
・操作タイプはページ追加ボタンによる新規ページ追加、ページ選択ボタンによるページ選択を示す。
・操作元ページ番号はページ操作を行う前にディスプレイ480に表示していたページ番号を示す。
・遷移先ページ番号はページ操作を実施したことによってディスプレイ480に表示するページ番号を示す。
・操作時刻はページ操作を実施した時刻を示す。
図42は、オブジェクト情報の記録処理を説明するシーケンス図の一例である。なお、図42の説明では主に図35との相違を説明する。ステップS71~S73は図35のステップS41~S43と同じでよい。
S74:会議中、ユーザーが、電子黒板2が表示するページ追加ボタン263を押下すると、表示制御部34が現在のページの末尾に新規ページを追加する。
S75:表示制御部34は、新規ページを表示する。データ記録部33は、ページ操作が実施された時刻情報を含んだページ操作データを生成し、電子黒板2のオブジェクト情報記憶部3002に保存する。
S76:また、ページ操作データの記録後、電子黒板2の通信部36は、情報処理システム50にページ操作データを送信する。
S77:情報処理システム50の通信部51はページ操作データを受信し、オブジェクト情報記憶部5004に保存する。
なお、ページ追加だけでなくサムネイル225の押下によるページ選択の場合も、ページ操作データが同様の流れで情報処理システム50に記録される。
会議終了処理は図36と同じでよく、会議終了後の録画再生画面220の表示処理は図37と同じでよい。ただし、リンクの作成方法が異なる。端末装置10の表示制御部13は、ページ操作データに付与されている操作時刻と結合画像動画の再生時刻とを紐付けるためのリンクを作成する。指示情報表示部23は、タイムインジケータ上でのマーク260の位置を算出する。そして、指示情報表示部23は、算出した位置にリンクが埋め込まれたマーク260を表示する。
ユーザーがタイムインジケータ上に表示されたマーク260を押下すると、録画再生部19は結合画像動画の再生を止めて、表示制御部13が、当該ページにおいて電子黒板操作データの最初からリンクに対応付けられたページの切り替え操作があった時刻までのオブジェクトを表示する。オブジェクトの表示から結合画像動画の画面には、戻るボタン261で切り替えが可能である。なお、マーク260のダブルクリックにより、ページの切り替え操作があった時刻から結合画像動画が再生される。
<手書き領域の拡張操作の時刻を用いたオブジェクトの表示>
本実施例の電子黒板2は、オブジェクトの手書き領域をディスプレイ480の画面サイズよりも広く拡張できる。図43はオブジェクトの手書き領域の拡張を説明する図である。
本実施例の電子黒板2は、オブジェクトの手書き領域をディスプレイ480の画面サイズよりも広く拡張できる。図43はオブジェクトの手書き領域の拡張を説明する図である。
図43(a)は、ディスプレイ480と同じサイズの手書き領域を示す。ユーザーが会議の議題として、あるプロジェクトの進捗を記載した後、プロジェクトの日程変更を行うために、日程表を記載することとなった。ユーザーは、ディスプレイ480の任意の位置をタッチして上方へのスワイプ操作を行う。こうすることで、図43(b)に示すように、電子黒板2は表示済みのオブジェクト270をディスプレイ480の手書き領域外へ移動する。手書き領域がスワイプ操作に応じた大きさだけ拡張される。拡張されるサイズは、電子黒板2のディスプレイ480と同じサイズでもよい。
ユーザーによる拡張操作があった場合、電子黒板2は、電子黒板操作データとして、時刻情報を付加したスワイプイベントデータを情報処理システム50に送信する。情報処理システム50は、オブジェクト情報記憶部5004にこのスワイプイベントデータを記録する。
図44は、手書き領域の拡張操作(スワイプイベントデータ)のデータ構造を示す。操作タイプは拡張操作を示す。操作時刻はこの拡張操作(スワイプ)が行われた時刻を示す。なお、拡張操作はスワイプに限られず、拡張操作のためのボタンで行われてもよい。
図45は、オブジェクト情報の記録処理を説明するシーケンス図の一例である。なお、図45の説明では主に図42との相違を説明する。ステップS81~S83は図42のステップS71~S73と同じでよい。
S84:会議中、ユーザーが、プロジェクトの日程変更を行うために、日程表を記載したいが、記載するスペースが無いため、上方へのスワイプ操作を行って、手書き領域を拡張する。
S85:この操作により表示制御部34は、データ記録部33は、スワイプした移動量が所定の値以上であるか否かを判断して、所定の値以上である場合、手書き領域の拡張操作があった操作時刻を有するスワイプイベントデータを作成する。
S86:通信部36は、手書き領域の拡張操作(スワイプイベントデータ)を情報処理システム50に送信する。
S87:情報処理システム50の通信部51は手書き領域の拡張操作(スワイプイベントデータ)を受信し、オブジェクト情報記憶部5004に保存する。
会議終了処理は図36と同じでよく、会議終了後の録画再生画面220の表示処理は図37と同じでよい。ただし、リンクの作成方法が異なる。端末装置10の表示制御部13は、手書き領域の拡張操作(スワイプイベントデータ)に付与されている操作時刻と結合画像動画の再生時刻とを紐付けるためのリンクを作成する。そして指示情報表示部23は、タイムインジケータ上でのマーク260の位置を算出する。指示情報表示部23は、算出した位置にリンクが埋め込まれたマーク260を表示する。
ユーザーがタイムインジケータ上に表示されたマーク260を押下すると、録画再生部19は結合画像動画の再生を止めて、表示制御部13が、当該ページにおいて拡張操作があった時刻までのオブジェクトを表示する。オブジェクトの表示から結合画像動画の画面には、戻るボタン261で切り替えが可能である。なお、マーク260のダブルクリックにより、ページの切り替え操作があった時刻から結合画像動画が再生される。
<外部映像の入力をタイミングとするオブジェクトの表示>
本実施例の電子黒板2は、PC470などの外部機器から映像を受信し、その映像をディスプレイ480に表示できる。電子黒板2のキャプチャデバイス411がPC470からHDMIケーブルを介して映像の入力を検知すると、電子黒板2は映像をディスプレイ480に表示する。
本実施例の電子黒板2は、PC470などの外部機器から映像を受信し、その映像をディスプレイ480に表示できる。電子黒板2のキャプチャデバイス411がPC470からHDMIケーブルを介して映像の入力を検知すると、電子黒板2は映像をディスプレイ480に表示する。
図46は、映像入力イベントデータのデータ構造を示す。イベントタイプはPC470からの映像データの入力を示す。イベント時刻はこの映像データの入力が開始された時刻を示す。映像ファイル名は外部機器から入力される映像データのファイル名を示す。
図47は、オブジェクト情報の記録処理を説明するシーケンス図の一例である。なお、図47の説明では主に図42との相違を説明する。ステップS91~S93は図42のステップS71~S73と同じでよい。
S94:会議中に、ユーザーが持参しているPC470の画面を電子黒板2のディスプレイ480に表示させるために、PC470と電子黒板2をHDMIケーブルで接続する。
S95:電子黒板2のキャプチャデバイス411がPC470から出力される映像データの入力を検知して、データ記録部33が時刻情報を付加した映像入力イベントデータを生成する。電子黒板2のデータ記録部33は、映像データをMPEG-4等で圧縮して、ファイル(外部入力映像ファイル)として保存する。なお、電子黒板2に接続されたHDMIケーブルが抜かれるか、又は、ユーザーにより電子黒板2の表示ボタンが押されて、ディスプレイ480の表示が電子黒板2に切り替わると(外部機器からの映像データ入力の終了)、映像データの圧縮処理を停止する。
S96:外部機器からの映像データ入力が終了すると、電子黒板2のデータ記録部33は、外部入力映像ファイルのファイル名を映像入力イベントデータに追加して、通信部36がこの映像入力イベントデータと外部入力映像ファイルを情報処理システム50に送信する。
S97:情報処理システム50の通信部51は、映像入力イベントデータと外部入力映像ファイルを受信し、オブジェクト情報記憶部5004に映像入力イベントデータと外部入力映像ファイルを保存する。
会議終了処理は図36と同じでよく、会議終了後の録画再生画面220の表示処理は図37と同じでよい。ただし、リンクの作成方法が異なる。端末装置10の表示制御部13は、映像入力イベントデータが有する操作時刻と結合画像動画の再生時間とを紐付けるためのリンクを作成する。そして指示情報表示部23は、タイムインジケータ上でのマーク260の位置を算出する。指示情報表示部23は、算出したタイムインジケータ上の位置にリンクが埋め込まれたマーク260を表示する。
ユーザーがタイムインジケータ上に表示されたマーク260を押下すると、録画再生部19は結合画像動画の再生を止めて、表示制御部13が、当該ページにおいて映像入力があった時刻までのオブジェクトを表示する。オブジェクトの表示から結合画像動画の画面には、戻るボタン261で切り替えが可能である。なお、マーク260のダブルクリックにより、ページの切り替え操作があった時刻から結合画像動画が再生される。
なお、上記の例では、映像入力イベントの時刻を、HDMIケーブルを介して映像の入力を検知した時刻としたが、電子黒板2に映像が入力されても直ぐにこの映像を表示しない仕様の場合もある。電子黒板2は、映像を検知して外部入力映像切り替えボタンをディスプレイ480に表示し、ユーザーがこのボタンを押下した時に外部機器から入力される映像を表示してもよい。この場合、外部入力映像切り替えボタンが押下された時刻がイベント時刻である。
<オブジェクトの種類、操作内容によるマークの変形>
電子黒板2は、図形を表示する機能を持っている。図形とは、三角形、四角形、ひし形、円などその名称で決まる形状をいう。電子黒板2はメニューに図形ボタンを表示しており、ユーザーが図形ボタンを選択すると図形一覧が表示される。ユーザーがこの中から任意の図形を選択した後、それを表示させたいディスプレイ480の任意の位置を押下すると、表示制御部13は、その図形をデフォルトの大きさで生成して、押下された位置に表示する。なお、図形の色(塗りつぶし)、図形の線の色、及び、太さは設定メニューにて設定できるようになっている。
電子黒板2は、図形を表示する機能を持っている。図形とは、三角形、四角形、ひし形、円などその名称で決まる形状をいう。電子黒板2はメニューに図形ボタンを表示しており、ユーザーが図形ボタンを選択すると図形一覧が表示される。ユーザーがこの中から任意の図形を選択した後、それを表示させたいディスプレイ480の任意の位置を押下すると、表示制御部13は、その図形をデフォルトの大きさで生成して、押下された位置に表示する。なお、図形の色(塗りつぶし)、図形の線の色、及び、太さは設定メニューにて設定できるようになっている。
図48は、図形のデータ構造を示す。
・図形タイプの項目は、図形の種類(矩形、円、三角等)を示す。
・色の項目は、図形を塗りつぶす色を示す。
・線色の項目は、線の色を示す。
・線太さの項目は、線の太さを示す。
・描画時刻の項目は、ユーザーが図形を表示させる位置にタッチした時刻を示す。
・外接矩形始点座標の項目は、図形に外接する矩形の左上の角の座標である。
・外接矩形終点座標の項目は、図形に外接する矩形の右下の角の座標である。
・図形タイプの項目は、図形の種類(矩形、円、三角等)を示す。
・色の項目は、図形を塗りつぶす色を示す。
・線色の項目は、線の色を示す。
・線太さの項目は、線の太さを示す。
・描画時刻の項目は、ユーザーが図形を表示させる位置にタッチした時刻を示す。
・外接矩形始点座標の項目は、図形に外接する矩形の左上の角の座標である。
・外接矩形終点座標の項目は、図形に外接する矩形の右下の角の座標である。
図49は、オブジェクト情報の記録処理を説明するシーケンス図の一例である。なお、図49の説明では主に図42との相違を説明する。ステップS101~S103は図42のステップS71~S73と同じでよい。
S104:会議中、ユーザーは任意のタイミングでストロークの入力、ページ追加・選択、外部入力切替、図形の表示を行う。
S105:データ記録部33はそれぞれの操作が実施された時刻情報を含んだ電子黒板操作データを生成し、電子黒板2のオブジェクト情報記憶部3002に保存する。
S106:操作データ記録後、電子黒板2の通信部36は、情報処理システム50に電子黒板操作データとオブジェクト情報を送信する。
S107:情報処理システム50の通信部51は電子黒板操作データとオブジェクト情報を受信し、オブジェクト情報記憶部5004に電子黒板操作データとオブジェクト情報を保存する。
会議終了処理は図36と同じでよく、会議終了後の録画再生画面220の表示処理は図37と同じでよい。ただし、リンクの作成方法が異なる。端末装置10の表示制御部13は、電子黒板操作データに付与されている操作時刻と結合画像動画の再生時刻とを紐付けるためのリンクを作成する。そして指示情報表示部23は、タイムインジケータ上でのマーク260の位置を算出する。指示情報表示部23は、算出した位置にリンクが埋め込まれたマーク260を表示する。このマーク260は操作データの種類ごとに異なった形状である。
図50は、オブジェクトの種類又は操作の内容(ストロークデータ、ページ切り替え操作、手書き領域の拡張操作(スワイプイベントデータ)、及び、映像入力イベントデータ)ごとに異なった形状で表示されるマークを示す。図50には、ストロークが入力された操作時刻を示すマーク260、ページ追加された操作時刻を示すマーク281、図形が表示された操作時刻を示すマーク282、283及び、外部入力の映像が表示された時刻を示すマーク284が、それぞれ異なる形状で表示されている。したがって、閲覧者は、マーク260、281~284の形状でどのオブジェクトが入力されたか判断でき、再生したいオブジェクトに対応するマークを選択できる。
ユーザーがマーク260、281~284を押下すると、録画再生部19は結合画像動画の再生を止めて、表示制御部13が、当該ページにおいてこれらの操作があった時刻までのオブジェクトを表示する。オブジェクトの表示から結合画像動画の画面には、戻るボタン261で切り替えが可能である。なお、マーク260、281~284のダブルクリックにより、ページの切り替え操作があった時刻から結合画像動画が再生される。
<マウスオーバーによるサムネイルの表示>
上記のように、本実施例の情報記録アプリ41は、結合画像動画のタイムインジケータ上にマーク260を表示する。ユーザーがマーク260に端末装置10のポインティングデバイス512のカーソル230を合わせると、表示制御部13は、マーク260が対応付けられた再生時刻におけるオブジェクトのサムネイルをマーク260の上に表示する。
上記のように、本実施例の情報記録アプリ41は、結合画像動画のタイムインジケータ上にマーク260を表示する。ユーザーがマーク260に端末装置10のポインティングデバイス512のカーソル230を合わせると、表示制御部13は、マーク260が対応付けられた再生時刻におけるオブジェクトのサムネイルをマーク260の上に表示する。
図51は、マーク260にカーソル230がマウスオーバーした場合に表示されるサムネイル290を示す。図51では、ストローク1のペンダウン時刻に基づくマーク260をカーソル230がマウスオーバーしたので、マーク260に対応付けられた再生時刻(ペンダウン時刻「00:30」)のストロークの入力終了を示す、「00:31」のオブジェクトのサムネイル290がポップアップ表示されている。表示制御部13が「00:31」のオブジェクトを表示するのは、入力が終わった状態のストロークを表示するためである。閲覧者は、マーク260を押下しなくても、ペンダウン時刻のオブジェクトを簡易的に確認することができる。このように、手書きデータのようなオブジェクトに関しては、このサムネイルは描画終了時点での画像となる。
また、ストロークや図形のようなオブジェクトは同一ページである限り、電子黒板操作データの最初からマーク260に対応付けられた再生時刻までのオブジェクトが累積してサムネイル290に表示される。例えば図51のストローク1とストローク2が同一ページに表示されている場合、閲覧者がストローク2のペンダウン時刻に基づくマーク260をカーソル230でマウスオーバーすると、ストローク2のサムネイル画像にはストローク1も含まれる。
なお、表示制御部13が、任意のサムネイルを表示した際、サムネイルをマーク260毎にキャッシュとして持っておくようにすることで、2回目以降、同じマーク260をカーソル230がマウスオーバーした場合、サムネイルの表示負荷を軽減できる。
<マークの間引き表示>
ページ切り替え操作や映像入力イベントデータよりも、ストロークデータや図形の入力は、会議中の操作回数が多くマーク260が密になる場合がある。そのため表示制御部13は、タイムインジケータ上のマーク260を間引いて表示することでマーク260の見やすさが向上する。
ページ切り替え操作や映像入力イベントデータよりも、ストロークデータや図形の入力は、会議中の操作回数が多くマーク260が密になる場合がある。そのため表示制御部13は、タイムインジケータ上のマーク260を間引いて表示することでマーク260の見やすさが向上する。
指示情報表示部23がリンクを作成する際、ストロークデータ又は図形の時間的な間隔が一定時間以下のものを1つのオブジェクトとみなし、このオブジェクトの先頭となるストロークデータについてのみペンダウン時刻とマーク260を対応付ける。
図52は1つのオブジェクトとみなされる複数のストロークデータを説明する図である。ストローク311とストローク312、ストローク312とストローク313の時間的な間隔が一定時間未満である。ストローク314とストローク315、ストローク315とストローク316の時間的な間隔が一定時間未満である。一方、ストローク313とストローク314の時間的な間隔が一定時間以上である。このため、指示情報表示部23は、ストローク311~313を1つのオブジェクト、ストローク314~316を1つのオブジェクトと判断する。指示情報表示部23は、ストローク311~313に1つのマーク260を対応付け、ストローク314~316に1つのマーク260を対応付ける。このように、複数のストロークデータに1つのマーク260を対応付けることで、マーク260の数が少なくなり、見やすさが向上する。
なお、指示情報表示部23は同じ種類のオブジェクトについて入力の時間的な間隔に応じてマーク260を間引きすることが好ましい。
また、1つのオブジェクトとみなすための基準となる一定時間は、会議の全体時間によって可変の値でよい。会議の全体時間が短いほど一定時間は短くなり、1つのオブジェクトとみなされるストロークデータの数は少なくなる。一方で会議の全体時間が長いほど一定時間は長くなり、1つのオブジェクトとみなされるストロークデータの数が多くなる。
また、入力の時間的な間隔でなく、手書きの入力密度が閾値以上の場合にその始点となったタイムインジケータ上の時刻に指示情報表示部23がマーク260を表示してもよい。手書きの入力密度とは、例えば、一定時間ごとに入力されたストローク数や座標点数である。指示情報表示部23は、一定時間ごとにこれらをカウントし、閾値以上の場合、一定時間の始期にマーク260を表示する。
<主な効果>
本実施例によれば、タイムインジケータ上のマーク260を閲覧者が押下することで、マーク260に対応付けられた操作時刻のオブジェクト又は結合画像動画を再生できる。閲覧者はオブジェクトが入力された時刻の電子黒板2の状態を表示できる。また、閲覧者はオブジェクトが入力された時刻における議論を再生できる。
本実施例によれば、タイムインジケータ上のマーク260を閲覧者が押下することで、マーク260に対応付けられた操作時刻のオブジェクト又は結合画像動画を再生できる。閲覧者はオブジェクトが入力された時刻の電子黒板2の状態を表示できる。また、閲覧者はオブジェクトが入力された時刻における議論を再生できる。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、本実施形態では、情報記録アプリ41により録画再生画面220が表示されたが、端末装置10がWebブラウザで録画再生画面220を表示してもよい。この場合、情報処理システム50は本実施形態で説明した録画再生画面220の表示機能を含むWebアプリを端末装置10に提供する。閲覧者は、録画再生画面220と同様に変換後操作時刻211を表示させたり、変換後操作時刻211から結合画像動画を再生したりできる。
また、端末装置10とミーティングデバイス60が一体でもよい。端末装置10にミーティングデバイス60が外付けされてもよい。また、ミーティングデバイス60は、全天球カメラとマイクとスピーカがケーブルで接続されたものでもよい。
また、他の拠点101においてもミーティングデバイス60が配置されてよい。他の拠点101は別途、ミーティングデバイス60を使用して結合画像動画とテキストデータを作成する。また、1つの拠点に複数のミーティングデバイス60が配置されてもよい。この場合、ミーティングデバイス60ごとに複数の記録情報が作成される。
また、本実施形態で使用した、結合画像動画における、パノラマ画像203,話者画像204、及び、アプリの画面の配置は一例に過ぎない。パノラマ画像203が下で話者画像204が上でもよいし、ユーザーが配置を変更したり、再生時にはパノラマ画像203と話者画像204の表示と非表示を個別に切り替えたりしてもよい。
また、図9などの構成例は、端末装置10、ミーティングデバイス60、及び、情報処理システム50による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。端末装置10、ミーティングデバイス60、及び、情報処理システム50の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、情報処理システム50は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
更に、情報処理システム50は、開示された処理ステップ、例えば図21、図35~図37等を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム50が有する複数の情報処理装置によって実行され得る。また、情報処理システム50は、1つのサーバー装置にまとめられていても良いし、複数の装置に分けられていても良い。
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、及び、従来の回路モジュール等のデバイスを含む。
<請求項に関する付記>
[請求項1]
デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置によりオブジェクトが表示された時刻情報を含むオブジェクト情報を情報処理システムから受信する端末装置を、
前記記録情報と前記オブジェクト情報を受信する通信部と、
前記記録情報を再生する録画再生部と、
前記オブジェクトを表示する表示制御部と、
前記時刻情報における前記オブジェクト、又は、該オブジェクトに関する前記音声又は前記映像が記録されている前記記録情報を再生させるための指示情報を前記時刻情報に基づいて表示する指示情報表示部、
として機能させるためのプログラム。
[請求項2]
前記指示情報は前記時刻情報であることを特徴とする請求項1に記載のプログラム。
[請求項3]
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記操作受付部が選択を受け付けた前記オブジェクトの前記時刻情報を前記指示情報表示部が表示することを特徴とする請求項2に記載のプログラム。
[請求項4]
前記時刻情報の選択を前記操作受付部が受け付けた場合、前記録画再生部は、前記記録情報を前記時刻情報から再生することを特徴とする請求項3に記載のプログラム。
[請求項5]
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記操作受付部が選択を受け付けた前記オブジェクトの前記時刻情報から、前記録画再生部が前記記録情報を再生することを特徴とする請求項2に記載のプログラム。
[請求項6]
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記操作受付部が前記オブジェクトの選択を受け付けた場合、前記表示制御部が前記時刻情報から前記記録情報を再生する表示部品を表示し、
前記操作受付部が前記表示部品の選択を受け付けた場合、前記オブジェクトの前記時刻情報から、前記録画再生部が前記記録情報を再生することを特徴とする請求項2に記載のプログラム。
[請求項7]
前記表示制御部が前記オブジェクトを表示している場合、前記指示情報表示部は、表示されている前記オブジェクトの前記時刻情報を常に表示することを特徴とする請求項2に記載のプログラム。
[請求項8]
前記時刻情報は、前記オブジェクトの入力開始時刻と最終更新時刻とを含み、
前記操作受付部が選択を受け付けた前記オブジェクトの前記入力開始時刻と前記最終更新時刻を前記指示情報表示部が表示することを特徴とする請求項3に記載のプログラム。
[請求項9]
前記操作受付部が複数の前記オブジェクトの選択を受け付けた場合、
前記指示情報表示部は選択された複数の前記オブジェクトのうち、最初の前記入力開始時刻と最後の前記最終更新時刻を表示することを特徴とする請求項8に記載のプログラム。
[請求項10]
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記記録情報は、前記音声が発話された発話区間情報を有し、
前記操作受付部が選択を受け付けた前記オブジェクトの前記時刻情報を含む前記発話区間情報がある場合、前記録画再生部は前記発話区間情報の開始から前記記録情報を再生することを特徴とする請求項2に記載のプログラム。
[請求項11]
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記オブジェクト情報はページごとに区分されており、
前記表示制御部は、前記オブジェクトを表示する際、任意のページの選択を受け付ける表示部品を表示し、
前記操作受付部が選択を受け付けた前記ページに含まれる前記オブジェクトの最終更新時刻のうち、最も遅い最終更新時刻から、前記録画再生部が前記記録情報を再生することを特徴とする請求項2に記載のプログラム。
[請求項12]
前記録画再生部は、前記記録情報のタイムインジケータを時間帯に応じて色分けして表示し、
前記表示制御部は、前記オブジェクトの前記時刻情報が属する前記時間帯と同じ色で該オブジェクトを表示することを特徴とする請求項2に記載のプログラム。
[請求項13]
前記表示制御部は、前記オブジェクトの前記時刻情報と前記記録情報が再生されている再生時刻との差に応じて、前記オブジェクトの濃度を変更して表示することを特徴とする請求項2に記載のプログラム。
[請求項14]
前記時刻情報の選択を前記操作受付部が受け付けた場合、前記表示制御部は、前記時刻情報におけるオブジェクトを表示することを特徴とする請求項3に記載のプログラム。
[請求項15]
前記録画再生部は、前記記録情報のタイムインジケータを前記記録情報と共に表示し、
前記指示情報は、前記タイムインジケータにおいて前記オブジェクトが入力された時刻を示すマークであることを特徴とする請求項1に記載のプログラム。
[請求項16]
前記オブジェクトはストロークデータであり、
前記マークは、前記タイムインジケータにおいて前記ストロークデータが入力された時刻を示すことを特徴とする請求項15に記載のプログラム。
[請求項17]
前記オブジェクト情報はページごとに区分されており、前記オブジェクト情報にはページの切り替え操作の操作時刻が含まれており、
前記マークは、前記タイムインジケータにおいて前記ページの切り替え操作の操作時刻を示すことを特徴とする請求項15に記載のプログラム。
[請求項18]
前記表示装置は手書き領域を拡張する操作により、手書き領域を拡張し、
前記オブジェクト情報には前記手書き領域を拡張した操作時刻が含まれており、
前記マークは、前記タイムインジケータにおいて前記手書き領域を拡張した操作時刻を示すことを特徴とする請求項15に記載のプログラム。
[請求項19]
前記表示装置は、外部機器から入力された映像を表示し、
前記オブジェクト情報には前記外部機器から映像が入力された時刻が含まれており、
前記マークは、前記タイムインジケータにおいて前記外部機器から映像が入力された時刻を示すことを特徴とする請求項15に記載のプログラム。
[請求項20]
前記オブジェクト情報は、ストロークデータが入力された時刻、ページの切り替え操作の操作時刻、図形が入力された時刻、手書き領域を拡張した操作時刻、及び、外部機器から映像が入力された時刻が含まれており、
前記表示制御部は、操作の種類によって前記マークを変更することを特徴とする請求項15に記載のプログラム。
[請求項21]
表示された前記マークに対し、ポインティングデバイスのカーソルが重なった場合、
前記表示制御部は、該マークに対応付けられている前記オブジェクトの入力が終了した時刻に基づいて、前記オブジェクトのサムネイルを表示することを特徴とする請求項15に記載のプログラム。
[請求項22]
前記表示制御部は、前記ストロークデータが入力された時刻と時刻の間隔が閾値以上の場合のみ、前記ストロークデータが入力された時刻を示すマークを前記タイムインジケータに表示することを特徴とする請求項16に記載のプログラム。
[請求項23]
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記マークの選択を前記操作受付部が受け付けた場合、前記録画再生部は、前記記録情報を前記オブジェクトが入力された時刻から再生することを特徴とする請求項15~22のいずれか1項に記載のプログラム。
[請求項24]
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記マークの選択を前記操作受付部が受け付けた場合、前記表示制御部は、前記オブジェクトが入力された時刻におけるオブジェクトを表示することを特徴とする請求項15~22のいずれか1項に記載のプログラム。
[請求項25]
前記表示制御部は、前記時刻情報に基づいて前記オブジェクトを前記記録情報と同期させて表示する請求項1~24のいずれか1項に記載のプログラム。
[請求項1]
デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置によりオブジェクトが表示された時刻情報を含むオブジェクト情報を情報処理システムから受信する端末装置を、
前記記録情報と前記オブジェクト情報を受信する通信部と、
前記記録情報を再生する録画再生部と、
前記オブジェクトを表示する表示制御部と、
前記時刻情報における前記オブジェクト、又は、該オブジェクトに関する前記音声又は前記映像が記録されている前記記録情報を再生させるための指示情報を前記時刻情報に基づいて表示する指示情報表示部、
として機能させるためのプログラム。
[請求項2]
前記指示情報は前記時刻情報であることを特徴とする請求項1に記載のプログラム。
[請求項3]
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記操作受付部が選択を受け付けた前記オブジェクトの前記時刻情報を前記指示情報表示部が表示することを特徴とする請求項2に記載のプログラム。
[請求項4]
前記時刻情報の選択を前記操作受付部が受け付けた場合、前記録画再生部は、前記記録情報を前記時刻情報から再生することを特徴とする請求項3に記載のプログラム。
[請求項5]
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記操作受付部が選択を受け付けた前記オブジェクトの前記時刻情報から、前記録画再生部が前記記録情報を再生することを特徴とする請求項2に記載のプログラム。
[請求項6]
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記操作受付部が前記オブジェクトの選択を受け付けた場合、前記表示制御部が前記時刻情報から前記記録情報を再生する表示部品を表示し、
前記操作受付部が前記表示部品の選択を受け付けた場合、前記オブジェクトの前記時刻情報から、前記録画再生部が前記記録情報を再生することを特徴とする請求項2に記載のプログラム。
[請求項7]
前記表示制御部が前記オブジェクトを表示している場合、前記指示情報表示部は、表示されている前記オブジェクトの前記時刻情報を常に表示することを特徴とする請求項2に記載のプログラム。
[請求項8]
前記時刻情報は、前記オブジェクトの入力開始時刻と最終更新時刻とを含み、
前記操作受付部が選択を受け付けた前記オブジェクトの前記入力開始時刻と前記最終更新時刻を前記指示情報表示部が表示することを特徴とする請求項3に記載のプログラム。
[請求項9]
前記操作受付部が複数の前記オブジェクトの選択を受け付けた場合、
前記指示情報表示部は選択された複数の前記オブジェクトのうち、最初の前記入力開始時刻と最後の前記最終更新時刻を表示することを特徴とする請求項8に記載のプログラム。
[請求項10]
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記記録情報は、前記音声が発話された発話区間情報を有し、
前記操作受付部が選択を受け付けた前記オブジェクトの前記時刻情報を含む前記発話区間情報がある場合、前記録画再生部は前記発話区間情報の開始から前記記録情報を再生することを特徴とする請求項2に記載のプログラム。
[請求項11]
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記オブジェクト情報はページごとに区分されており、
前記表示制御部は、前記オブジェクトを表示する際、任意のページの選択を受け付ける表示部品を表示し、
前記操作受付部が選択を受け付けた前記ページに含まれる前記オブジェクトの最終更新時刻のうち、最も遅い最終更新時刻から、前記録画再生部が前記記録情報を再生することを特徴とする請求項2に記載のプログラム。
[請求項12]
前記録画再生部は、前記記録情報のタイムインジケータを時間帯に応じて色分けして表示し、
前記表示制御部は、前記オブジェクトの前記時刻情報が属する前記時間帯と同じ色で該オブジェクトを表示することを特徴とする請求項2に記載のプログラム。
[請求項13]
前記表示制御部は、前記オブジェクトの前記時刻情報と前記記録情報が再生されている再生時刻との差に応じて、前記オブジェクトの濃度を変更して表示することを特徴とする請求項2に記載のプログラム。
[請求項14]
前記時刻情報の選択を前記操作受付部が受け付けた場合、前記表示制御部は、前記時刻情報におけるオブジェクトを表示することを特徴とする請求項3に記載のプログラム。
[請求項15]
前記録画再生部は、前記記録情報のタイムインジケータを前記記録情報と共に表示し、
前記指示情報は、前記タイムインジケータにおいて前記オブジェクトが入力された時刻を示すマークであることを特徴とする請求項1に記載のプログラム。
[請求項16]
前記オブジェクトはストロークデータであり、
前記マークは、前記タイムインジケータにおいて前記ストロークデータが入力された時刻を示すことを特徴とする請求項15に記載のプログラム。
[請求項17]
前記オブジェクト情報はページごとに区分されており、前記オブジェクト情報にはページの切り替え操作の操作時刻が含まれており、
前記マークは、前記タイムインジケータにおいて前記ページの切り替え操作の操作時刻を示すことを特徴とする請求項15に記載のプログラム。
[請求項18]
前記表示装置は手書き領域を拡張する操作により、手書き領域を拡張し、
前記オブジェクト情報には前記手書き領域を拡張した操作時刻が含まれており、
前記マークは、前記タイムインジケータにおいて前記手書き領域を拡張した操作時刻を示すことを特徴とする請求項15に記載のプログラム。
[請求項19]
前記表示装置は、外部機器から入力された映像を表示し、
前記オブジェクト情報には前記外部機器から映像が入力された時刻が含まれており、
前記マークは、前記タイムインジケータにおいて前記外部機器から映像が入力された時刻を示すことを特徴とする請求項15に記載のプログラム。
[請求項20]
前記オブジェクト情報は、ストロークデータが入力された時刻、ページの切り替え操作の操作時刻、図形が入力された時刻、手書き領域を拡張した操作時刻、及び、外部機器から映像が入力された時刻が含まれており、
前記表示制御部は、操作の種類によって前記マークを変更することを特徴とする請求項15に記載のプログラム。
[請求項21]
表示された前記マークに対し、ポインティングデバイスのカーソルが重なった場合、
前記表示制御部は、該マークに対応付けられている前記オブジェクトの入力が終了した時刻に基づいて、前記オブジェクトのサムネイルを表示することを特徴とする請求項15に記載のプログラム。
[請求項22]
前記表示制御部は、前記ストロークデータが入力された時刻と時刻の間隔が閾値以上の場合のみ、前記ストロークデータが入力された時刻を示すマークを前記タイムインジケータに表示することを特徴とする請求項16に記載のプログラム。
[請求項23]
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記マークの選択を前記操作受付部が受け付けた場合、前記録画再生部は、前記記録情報を前記オブジェクトが入力された時刻から再生することを特徴とする請求項15~22のいずれか1項に記載のプログラム。
[請求項24]
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記マークの選択を前記操作受付部が受け付けた場合、前記表示制御部は、前記オブジェクトが入力された時刻におけるオブジェクトを表示することを特徴とする請求項15~22のいずれか1項に記載のプログラム。
[請求項25]
前記表示制御部は、前記時刻情報に基づいて前記オブジェクトを前記記録情報と同期させて表示する請求項1~24のいずれか1項に記載のプログラム。
10 端末装置
50 情報処理システム
60 ミーティングデバイス
70 ストレージサービスシステム
100 記録情報作成システム
50 情報処理システム
60 ミーティングデバイス
70 ストレージサービスシステム
100 記録情報作成システム
Claims (28)
- デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置によりオブジェクトが表示された時刻情報を含むオブジェクト情報を情報処理システムから受信する端末装置を、
前記記録情報と前記オブジェクト情報を受信する通信部と、
前記記録情報を再生する録画再生部と、
前記オブジェクトを表示する表示制御部と、
前記時刻情報における前記オブジェクト、又は、該オブジェクトに関する前記音声又は前記映像が記録されている前記記録情報を再生させるための指示情報を前記時刻情報に基づいて表示する指示情報表示部、
として機能させるためのプログラム。 - 前記指示情報は前記時刻情報であることを特徴とする請求項1に記載のプログラム。
- 前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記操作受付部が選択を受け付けた前記オブジェクトの前記時刻情報を前記指示情報表示部が表示することを特徴とする請求項2に記載のプログラム。 - 前記時刻情報の選択を前記操作受付部が受け付けた場合、前記録画再生部は、前記記録情報を前記時刻情報から再生することを特徴とする請求項3に記載のプログラム。
- 前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記操作受付部が選択を受け付けた前記オブジェクトの前記時刻情報から、前記録画再生部が前記記録情報を再生することを特徴とする請求項2に記載のプログラム。 - 前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記操作受付部が前記オブジェクトの選択を受け付けた場合、前記表示制御部が前記時刻情報から前記記録情報を再生する表示部品を表示し、
前記操作受付部が前記表示部品の選択を受け付けた場合、前記オブジェクトの前記時刻情報から、前記録画再生部が前記記録情報を再生することを特徴とする請求項2に記載のプログラム。 - 前記表示制御部が前記オブジェクトを表示している場合、前記指示情報表示部は、表示されている前記オブジェクトの前記時刻情報を常に表示することを特徴とする請求項2に記載のプログラム。
- 前記時刻情報は、前記オブジェクトの入力開始時刻と最終更新時刻とを含み、
前記操作受付部が選択を受け付けた前記オブジェクトの前記入力開始時刻と前記最終更新時刻を前記指示情報表示部が表示することを特徴とする請求項3に記載のプログラム。 - 前記操作受付部が複数の前記オブジェクトの選択を受け付けた場合、
前記指示情報表示部は選択された複数の前記オブジェクトのうち、最初の前記入力開始時刻と最後の前記最終更新時刻を表示することを特徴とする請求項8に記載のプログラム。 - 前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記記録情報は、前記音声が発話された発話区間情報を有し、
前記操作受付部が選択を受け付けた前記オブジェクトの前記時刻情報を含む前記発話区間情報がある場合、前記録画再生部は前記発話区間情報の開始から前記記録情報を再生することを特徴とする請求項2に記載のプログラム。 - 前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記オブジェクト情報はページごとに区分されており、
前記表示制御部は、前記オブジェクトを表示する際、任意のページの選択を受け付ける表示部品を表示し、
前記操作受付部が選択を受け付けた前記ページに含まれる前記オブジェクトの最終更新時刻のうち、最も遅い最終更新時刻から、前記録画再生部が前記記録情報を再生することを特徴とする請求項2に記載のプログラム。 - 前記録画再生部は、前記記録情報のタイムインジケータを時間帯に応じて色分けして表示し、
前記表示制御部は、前記オブジェクトの前記時刻情報が属する前記時間帯と同じ色で該オブジェクトを表示することを特徴とする請求項2に記載のプログラム。 - 前記表示制御部は、前記オブジェクトの前記時刻情報と前記記録情報が再生されている再生時刻との差に応じて、前記オブジェクトの濃度を変更して表示することを特徴とする請求項2に記載のプログラム。
- 前記時刻情報の選択を前記操作受付部が受け付けた場合、前記表示制御部は、前記時刻情報におけるオブジェクトを表示することを特徴とする請求項3に記載のプログラム。
- 前記録画再生部は、前記記録情報のタイムインジケータを前記記録情報と共に表示し、
前記指示情報は、前記タイムインジケータにおいて前記オブジェクトが入力された時刻を示すマークであることを特徴とする請求項1に記載のプログラム。 - 前記オブジェクトはストロークデータであり、
前記マークは、前記タイムインジケータにおいて前記ストロークデータが入力された時刻を示すことを特徴とする請求項15に記載のプログラム。 - 前記オブジェクト情報はページごとに区分されており、前記オブジェクト情報にはページの切り替え操作の操作時刻が含まれており、
前記マークは、前記タイムインジケータにおいて前記ページの切り替え操作の操作時刻を示すことを特徴とする請求項15に記載のプログラム。 - 前記表示装置は手書き領域を拡張する操作により、手書き領域を拡張し、
前記オブジェクト情報には前記手書き領域を拡張した操作時刻が含まれており、
前記マークは、前記タイムインジケータにおいて前記手書き領域を拡張した操作時刻を示すことを特徴とする請求項15に記載のプログラム。 - 前記表示装置は、外部機器から入力された映像を表示し、
前記オブジェクト情報には前記外部機器から映像が入力された時刻が含まれており、
前記マークは、前記タイムインジケータにおいて前記外部機器から映像が入力された時刻を示すことを特徴とする請求項15に記載のプログラム。 - 前記オブジェクト情報は、ストロークデータが入力された時刻、ページの切り替え操作の操作時刻、図形が入力された時刻、手書き領域を拡張した操作時刻、及び、外部機器から映像が入力された時刻が含まれており、
前記表示制御部は、操作の種類によって前記マークを変更することを特徴とする請求項15に記載のプログラム。 - 表示された前記マークに対し、ポインティングデバイスのカーソルが重なった場合、
前記表示制御部は、該マークに対応付けられている前記オブジェクトの入力が終了した時刻に基づいて、前記オブジェクトのサムネイルを表示することを特徴とする請求項15に記載のプログラム。 - 前記表示制御部は、前記ストロークデータが入力された時刻と時刻の間隔が閾値以上の場合のみ、前記ストロークデータが入力された時刻を示すマークを前記タイムインジケータに表示することを特徴とする請求項16に記載のプログラム。
- 前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記マークの選択を前記操作受付部が受け付けた場合、前記録画再生部は、前記記録情報を前記オブジェクトが入力された時刻から再生することを特徴とする請求項15~22のいずれか1項に記載のプログラム。 - 前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記マークの選択を前記操作受付部が受け付けた場合、前記表示制御部は、前記オブジェクトが入力された時刻におけるオブジェクトを表示することを特徴とする請求項15~22のいずれか1項に記載のプログラム。 - 前記表示制御部は、前記時刻情報に基づいて前記オブジェクトを前記記録情報と同期させて表示する請求項1に記載のプログラム。
- デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置によりオブジェクトが表示された時刻情報を含むオブジェクト情報を端末装置に提供する情報処理システムであって、
前記オブジェクト及び前記記録情報を表示させ、
前記時刻情報における前記オブジェクト、又は、該オブジェクトに関する前記音声又は前記映像が記録されている前記記録情報を再生させるための指示情報を前記時刻情報に基づいて表示する画面を生成する画面生成部と、
前記記録情報、前記オブジェクト情報、及び前記画面の画面情報を前記端末装置に送信する通信部と、
を有する情報処理システム。 - デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置によりオブジェクトが表示された時刻情報を含むオブジェクト情報を端末装置に提供する情報処理システムと、前記端末装置を有する記録情報作成システムであって、
前記情報処理システムは、
前記記録情報と前記オブジェクト情報を前記端末装置に送信し、
前記端末装置は、
前記記録情報と前記オブジェクト情報を受信する通信部と、
前記記録情報を再生する録画再生部と、
前記オブジェクトを表示する表示制御部と、
前記時刻情報における前記オブジェクト、又は、該オブジェクトに関する前記音声又は前記映像が記録されている前記記録情報を再生させるための指示情報を前記時刻情報に基づいて表示する指示情報表示部と、
を有する記録情報作成システム。 - デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置によりオブジェクトが表示された時刻情報を含むオブジェクト情報を端末装置に提供する情報処理システムが行う表示方法であって、
前記オブジェクト及び前記記録情報を表示させ、前記時刻情報における前記オブジェクト、又は、該オブジェクトに関する前記音声又は前記映像が記録されている前記記録情報を再生させるための指示情報を前記時刻情報に基づいて表示する画面を生成するステップと、
前記記録情報、前記オブジェクト情報、及び前記画面の画面情報を前記端末装置に送信するステップと、
を有する表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US18/354,967 US20240031653A1 (en) | 2022-07-20 | 2023-07-19 | Information processing server, record creation system, display control method, and non-transitory recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022115650 | 2022-07-20 | ||
JP2022115650 | 2022-07-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024014716A true JP2024014716A (ja) | 2024-02-01 |
Family
ID=89719035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023080044A Pending JP2024014716A (ja) | 2022-07-20 | 2023-05-15 | プログラム、情報処理システム、記録情報作成システム、表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024014716A (ja) |
-
2023
- 2023-05-15 JP JP2023080044A patent/JP2024014716A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101938667B1 (ko) | 휴대 전자장치 및 그 제어 방법 | |
JP5898378B2 (ja) | 情報処理装置およびアプリケーション実行方法 | |
KR102319417B1 (ko) | 협업 서비스를 제공하는 서버 및 방법, 그리고 협업 서비스를 제공받는 사용자 단말 | |
WO2019140997A1 (zh) | 批注显示方法、装置、设备及存储介质 | |
EP3226537B1 (en) | Mobile terminal and method for controlling the same | |
JP5489118B2 (ja) | 入出力装置、情報入出力システム | |
CN104469256A (zh) | 沉浸式和交互式的视频会议房间环境 | |
KR20140079749A (ko) | 펜 기반의 컴퓨팅 시스템에서의 컨텐트 선택 | |
KR20180133743A (ko) | 이동 단말기 및 그 제어 방법 | |
JP6888854B1 (ja) | 遠隔勤務支援システム及び遠隔勤務支援方法 | |
CN113508354A (zh) | 显示环境的表示 | |
CN204721476U (zh) | 沉浸式和交互式的视频会议房间环境 | |
US20230292011A1 (en) | Information processing system, image-capturing device, and display method | |
JP2006041884A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
KR102138835B1 (ko) | 정보 노출 방지 영상 제공 장치 및 방법 | |
US20230043683A1 (en) | Determining a change in position of displayed digital content in subsequent frames via graphics processing circuitry | |
JP2024014716A (ja) | プログラム、情報処理システム、記録情報作成システム、表示方法 | |
US20240031653A1 (en) | Information processing server, record creation system, display control method, and non-transitory recording medium | |
JP2024025003A (ja) | 記録情報作成システム、情報処理システム、プログラム | |
JP2024006703A (ja) | 情報処理システム、検索方法、プログラム | |
JP2024008632A (ja) | 情報処理システム、表示方法、プログラム、記録情報作成システム | |
JP2024029642A (ja) | 情報処理装置、表示方法、プログラム | |
US20230297313A1 (en) | Device management system, information processing method, information processing server, and non-transitory recording medium | |
US20230280961A1 (en) | Device management system, information processing system, information processing device, device management method, and non-transitory recording medium | |
JP7226600B1 (ja) | 記録情報作成システム、記録情報作成方法、プログラム |