JP2014127079A - 情報処理装置及び方法 - Google Patents

Abstract

【課題】会議が延長して、予約情報の状況と時間のずれが発生したような場合でも、正しい会議を特定すること。
【解決手段】会議名、会議時間及び会議室の場所を紐付けて会議予約リストとして記録する会議予約リスト記録部１０３と、会議室における会議に関する画像を撮影した撮影時刻及び撮影位置、並びに、前記会議予約リストに基づいて、撮影画像が該当する会議を判断する該当会議判断部１０１を備える。該当会議判断部１０１は、前記撮影時刻、前記撮影位置及び前記会議予約リストに基づいて、前記撮影画像が該当する会議の候補を抽出し、前記撮影画像中の文字の量及び前記撮影時刻に基づいて、抽出した会議の候補のうちどの会議の候補に該当するかの確率を計算し、該当する会議を判断する。
【選択図】図２

Description

本発明は、情報処理装置及び方法に関し、特に、会議室での会議に関する画像と会議との関連付けを自動的に行うための技術に関する。

会議において、会議室に備え付けられたホワイトボードなどに板書を取り、それを画像として保存し議事録に添付して共有するということが多く行われている。また、会議の議事録管理システムとして、サーバに複数の会議の議事録が保存されており、端末からサーバにアクセスして議事録の編集、閲覧をするということが多く行われている。そのような会議システムにおいて、ホワイトボードの写真を議事録に添付する場合、議事録作成者はデジタルカメラで撮影した画像を情報端末に取り込み、該当する議事録を選択し、画像を添付するという作業が必要になり手間がかかるという問題点がある。それを解決するために事前に入力された会議の予約情報と撮影時の情報により自動で該当する会議を特定するという技術は、既に知られている（例えば、特許文献１）。

しかしながら、今までの自動添付システムでは会議室を予約する時に登録する会議の時間と場所に基づいて該当会議を特定していたため、会議が延長して予約時間を越えてしまうなど、予約情報と異なる状況になった場合に誤った会議を特定してしまうという問題があった。

特許文献１には、画像を撮影装置から直接共有サーバに短時間で画像をアップロードするのが目的で、撮影装置に撮影時刻取得手段と撮影位置取得手段が備え付けられており、会議室の時間ごとの利用者のリスト（≒会議予約情報）と取得された撮影時刻、場所によって利用者リストに基づいたアクセス権限を付加した上で画像をアップロードする技術が開示されている。

特許文献１に記載の技術は、事前に登録した予約情報と撮影時の時間、場所の情報で会議を特定し、板書を画像として保存するという点で本願発明と関連性がある。しかしながら、会議時間と場所を事前に予約システムに設定しておかなければならないため、会議時間が延長になり会議の予約と実際の会議時間に時間のずれが発生した場合において、臨機応変に対応できないという上述のような問題は解消できていない。

そこで本発明は、上記実情に鑑みて、会議が延長して、予約情報の状況と時間のずれが発生したような場合でも、正しい会議を特定することを目的とする。

上記目的を達成するために、会議名、会議時間及び会議室の場所を紐付けて会議予約リストとして記録する会議予約リスト記録部と、会議室における会議に関する画像を撮影した撮影時刻及び撮影位置、並びに、前記会議予約リストに基づいて、撮影画像が該当する会議を判断する該当会議判断部と、を備え、前記該当会議判断部は、前記撮影時刻、前記撮影位置及び前記会議予約リストに基づいて、前記撮影画像が該当する会議の候補を抽出し、前記撮影画像中の文字の量及び前記撮影時刻に基づいて、抽出した会議の候補のうちどの会議の候補に該当するかの確率を計算し、該当する会議を判断することを特徴とする。

本発明によれば、会議が延長して、予約情報の状況と時間のずれが発生したような場合でも、正しい会議を特定することが可能となる。

本発明による実施形態のシステム概要を説明するための図である。 上記実施形態のシステムの機能構成（最小構成）を示すブロック図である。 上記実施形態のシステムの機能構成を示すブロック図である。 上記実施形態の会議予約リスト記録部１０３に登録される情報テーブルの一例を示す図である。 上記実施形態の画像記録部１０５に保存される情報テーブルの一例を示す図である。 上記実施形態の判断履歴記録部１０７に保存される情報テーブルの一例を示す図である。 上記実施形態における事前処理の各会議室の位置の登録処理のシーケンス図である。 上記実施形態における事前処理の会議室の予約処理のシーケンス図である。 上記実施形態における撮影した画像と会議を関連付けて保存するシーケンス図である。 上記実施形態の会議室位置情報記録部１０２に保存されている情報テーブルを説明するための図である。 上記実施形態の位置取得手段１１２によって得られた位置情報から、撮影された会議室を特定する方法を説明するための図である。 上記実施形態の該当会議判断部１０１が会議予約リストと撮影時間から該当する会議の候補を抽出する処理のフローチャート図である。 上記実施形態の該当会議判断部１０１が会議予約リストと撮影時間から会議候補を抽出する具体例を説明するための図である。 上記実施形態の該当会議判断部１０１が会議候補から該当会議を特定するフローチャート図である。 上記実施形態における、会議候補から会議を特定するのに画像中の文字の量から確率を算出する方法を説明するための図である。 上記実施形態における、会議候補から会議を特定するのに撮影時刻から確率を算出する方法を説明するための図である。 第２の実施形態における会議室に備え付けられているデバイスの使用履歴の登録処理のフローチャート図である。 第２の実施形態においてデバイス使用履歴記録部１０６に登録される情報テーブルの例を示す図ある。 第２の実施形態においてデバイス使用履歴から該当会議を特定するフローチャート図である。 上記実施形態において会議候補から該当会議を特定するフローチャート図である。 第３の実施形態において、会議室位置情報記録部１０２に保存されている情報テーブルを説明するための図である。 第３の実施形態において、撮影装置１１０により撮影された撮影画像を用いて会議室を特定する方法を説明するための図である。 第４の実施形態において、会議の候補と過去の判定履歴から該当会議を判断する処理のフローチャート図である 第５の実施形態において、撮影時間に会議の予約が入っていない場合に、会議の候補を抽出する方法を説明するための図である。 第６の実施形態において、会議と関連付けずに画像を保存行いたい場合の撮影装置１１０のユーザインタフェース画面例である。 第６の実施形態において、会議と関連付けを行わずに画像の保存を行う場合のシーケンス図である。 第６の実施形態において、判断履歴記録部１０７に保存される情報テーブルである。 第７の実施形態において、撮影画像から該当会議を判断し、該当する会議と関連付けて画像を保存する場合のシーケンス図である。 第７の実施形態において、保存された画像を元に議事録の自動生成を行う場合のシーケンス図である。 第７の実施形態において、自動生成された会議の議事録の例である。

以下、本発明の実施の形態を説明する。下記実施形態は、会議の板書をカメラで撮影し、その画像を添付する議事録管理システムに関して、以下の特徴を有する。

要するに、会議を実施するユーザは会議名、時間、場所を指定して会議予約リストを作成する。会議時には、撮影装置１１０で板書を撮影し、時間取得手段１１１、位置取得手段１１２で得られた情報を付加してサーバに画像、時間、位置を送信する。サーバでは、位置情報から会議室を特定し、その会議室における会議予約リストと画像の撮影時刻から会議の候補を出し、会議延長有無情報を作成し、その情報と会議の候補を比較して該当する会議を判断する。

会議延長有無情報とは、具体的には、撮影された画像に映るホワイトボードに記載されている文字の量／会議室に備え付けられているデバイスの使用履歴／過去の該当会議の判断結果に基づいて作成される。
上で述べたような特徴について、図面を参照しながら、以下、詳細に説明する。

＜第１の実施形態＞
まず、図１を参照して、本実施形態のシステム概要を説明する。図１に示すように、本実施形態に係る情報処理装置（サーバ）１００は、会議室に設置されたプロジェクタ１１４や撮影装置１１０とネットワークにより接続されている。

本実施形態のシステムを利用する際には、ユーザは事前準備を行う必要がある。ユーザは、事前準備として、会議を行う前に、情報処理装置（サーバ）１００に、使用する会議室、使用日時を入力し、予約を行う。会議室名とそれに紐づく位置特定情報は、あらかじめシステム管理者等のユーザにより情報処理装置（サーバ）１００に登録される。ここで、位置特定情報は、具体的には三次元座標／マーカーを用いる（後述）。

事前準備後の処理の流れとしては、次の１．〜４．の流れとなる。
１．ユーザがホワイトボードに記載した板書の内容を撮影装置１１０で撮影する。
２．撮影装置１１０は、時間取得手段１１１、位置取得手段１１２を用いて撮影した瞬間の時間、位置を取得する。
３．撮影装置１１０は撮影した画像、時間、位置を情報処理装置（サーバ）１００に送信する。
４．情報処理装置（サーバ）１００は、受信した撮影時間、場所から該当する会議の候補を抽出し、会議が延長しているかを判断する情報を作り出し該当する会議を判断する。（詳細は図１１，図１２参照しながら後述する）

機能構成の観点から最小構成の本実施形態のシステムを捉えると、図２に示すものになる。図２は、本実施形態のシステムの機能構成を示すブロック図である。図２に示す各構成要素は、例えばＩＰネットワークのようなネットワークに接続されており、互いに通信することができる。以下、各構成要素を説明する。

図２に示す情報処理装置（サーバ）１００が有するモジュールとしては、該当会議判断部１０１、会議室位置情報記録部１０２、会議予約リスト記録部１０３、通信部１０４がある。以下、各部の役割や保持する情報について述べる。

該当会議判断部１０１は、撮影時の時間、場所からその画像が撮影された会議の候補を抽出する。また、撮影された画像中に含まれる文字の量と撮影時刻から、候補に挙げられた会議のどれに該当するのかの確率を計算して判断を行う。また、デバイスの使用履歴から、候補に挙げられた会議のどれに該当するのか判断を行う。

会議室位置情報記録部１０２は、位置情報から会議室の特定を行う。あらかじめ、会議室位置情報記録部１０２には、システム管理者等のユーザが情報処理装置（端末）１１３から各会議室ごとの位置情報を登録しておく。また、会議室位置情報記録部１０２は、会議室と位置情報の対応関係を保持する。図１０、図２１参照して詳述する。

会議予約リスト記録部１０３は、各会議の会議名、開始時間、終了時間を記録する。あらかじめ、会議予約リスト記録部１０３には、ユーザが情報処理装置（端末）１１３から会議ごとに会議名、開始時間、終了時間を指定して予約情報を登録する。また、会議予約リスト記録部１０３は、会議名と、開始時間と、終了時間を保持する。図４に、会議予約リスト記録部１０３に登録される情報テーブルの一例を示す。

通信部１０４は、撮影装置１１０が送信してきた画像を受信する。また、情報処理装置（端末）１１３からの入力を受け付ける。また、議事録を情報処理装置（端末）１１３に送信する。

図２において、他のシステム構成要素としては、撮影装置１１０、時間取得手段１１１、位置取得手段１１２、情報処理装置（端末）１１３がある。以下、各部又は各装置の役割について述べる。

撮影装置１１０は、会議室のホワイトボードに記載された板書を撮影する。通信機能を有し、情報処理装置（サーバ）１００と撮影した画像を送信するために通信を行う。例えば、デジタルカメラなどで実施できる。また、ＩＰネットワークにつながっており、情報処理装置（サーバ）１００と通信するよう設定されている。

時間取得手段１１１ は、撮影装置１１０が写真を撮影した時刻を記録する。例えば、デジタルカメラの内蔵時計などで実施できる。位置取得手段１１２は、撮影装置１１０が写真を撮影した場所を特定する。位置取得装置は位置情報を取得するのみで、撮影された位置がどの会議室かを判断するのは、情報処理装置（サーバ）１００が行う。例えば、デジタルカメラに内蔵したＧＰＳ（Global Positioning System）などで実施できる。別の実施例としては、各会議室のホワイトボードに貼りつけたマーカーなど。情報処理装置（端末）１１３は、ユーザからの操作を受け付ける。会議室の位置情報登録、会議の予約などに用いられる。 一般的なパーソナルコンピュータを指す。

なお、図２は、本実施形態のシステムの最小の構成要素を示している。図３ではこの明細書で開示する全ての実施形態に対して必要となるモジュール構成図を示す。図２と比較して図３で追加された構成要素は、画像記録部１０５、デバイス使用履歴記録部１０６、判断履歴記録部１０７、プロジェクタ１１４である。追加された構成要素について、以下、説明する。

情報処理装置（サーバ）１００の画像記録部１０５は、撮影装置１１０が送信してきた画像を該当会議判断部１０１によって特定された会議と関連付けて記録する。また、撮影された画像・画像と会議の対応関係を保持する。図５に、画像記録部１０５に保存される情報テーブルの一例を示す。

デバイス使用履歴記録部１０６は、会議室名と会議室に紐付いたデバイスを記録しておく。また、会議室に紐付けられたデバイスが起動、終了した場合にその時刻を記録する。また、各会議室ごとのデバイスの起動時間、終了時間を保持する。デバイス使用履歴記録部１０６については、図１６，図１７，図１８参照してさらに詳細に説明する。

判断履歴記録部１０７は、該当会議判断部１０１が今までに行った判断の履歴を記録する。また、会議候補として抽出した会議、およびどちらの会議に関連付けを行ったかの判断結果を記録する。また、会議候補２つ・判断結果を保持する。図６に、判断履歴記録部１０７に保存される情報テーブルの一例を示す。

プロジェクタ１１４は、起動した時間、終了した時間を情報処理装置（サーバ）１００に送信する。また、ＩＰネットワークにつながっており、情報処理装置（サーバ）１００と通信するよう設定されている。

＜事前処理＞
図７は、事前処理の各会議室の位置の登録処理のシーケンス図である。システム管理者等のユーザは、事前に、会議室を特定するための位置特定情報を情報処理装置（サーバ）１００に登録する。ユーザは、情報処理装置（端末）１１３から、会議室ごとにその会議室名と位置情報特定情報を会議室位置情報記録部１０２に記録する。位置特定情報に関しては、図１０，図１１，図２１にて後述する。

図８は、事前処理の会議室の予約処理のシーケンス図である。ユーザは、事前に、情報処理装置（端末）１１３からサーバに会議の予約を行う。ユーザは、情報処理装置（端末）１１３から、使用する会議室、開始時間、終了時間を指定して会議予約リスト記録部１０３に記録する。

図９は、撮影した画像と会議を関連付けて保存するシーケンス図である。すなわち、本実施形態において、会議の特定は、図９のシーケンスにより行う。下記手順４における位置情報からの会議室特定方法は図１０、手順５における会議候補の抽出方法は図１２、図１３、図２４、手順６における該当する会議の判断方法は図１５，図１６に後述する。

手順１）ユーザは、画像撮影装置１１０を用いて、板書を撮影する。
手順２）画像撮影装置１１０は、時間取得部、位置情報取得部から撮影時の時間情報、位置情報を取得する。
手順３）画像撮影装置１１０は、手順１，２において取得した画像データ、時間情報、位置情報を情報処理端末（サーバ）に送信する。
手順４）サーバは受信した位置情報と会議室位置情報記録部１０２を照合し、撮影が行われた会議室を特定する。
手順５）サーバは手順４で特定した会議室名と撮影時間、会議予約リスト記録部１０３を照合して、会議候補を抽出する。
手順６）サーバは抽出した会議候補と撮影時間、画像データを比較して、会議候補のうち該当する会議を判断する。

図１０は、会議室位置情報記録部１０２に保存されている情報テーブルを説明するための図である。また、図１１は、位置取得手段１１２によって得られた位置情報から、撮影された会議室を特定する方法を説明するための図である。

各会議室の床位置は、図７に示した事前準備によって、会議室位置情報記録部１０２に保存されている。同じ階にある会議室は通常、天井までの高さが変わらないため、床位置だけを記憶しておき、高さ方向には一定値（ここでは２００とする）とする。この時、各会議室は、図１０に示すように三次元空間中で直方体として表現することができる。

該当会議判断部１０１は、位置取得手段１１２によって得られた座標が各会議室を表す直方体の内部に存在するかどうかを比較し、内部に存在した場合は、その会議室名を通知する。具体例として、位置取得手段１１２によって得られた座標が、（２００，１２０，１００）であった場合は、この座標は会議室Ａの空間内なので、該当会議判断部１０１は、会議室Ａという会議室名を通知する。

図１２は、該当会議判断部１０１が会議予約リストと撮影時間から該当する会議の候補を抽出する処理のフローチャート図である。また、図１３は、該当会議判断部１０１が会議予約リストと撮影時間から会議候補を抽出する具体例を説明するための図である。

図１２において、該当会議判断部１０１は、会議室名を会議予約リスト記録部１０３に通知し、指定した会議室における会議の予約リストを取得する（Ｓ１０１）。次に、該当会議判断部１０１は、取得した会議予約リストと撮影時間を比較し、会議開始時間≦撮影時間≦会議終了時間を満たす会議Ｘが存在するかを検索する（Ｓ１０２）。存在する場合はＳ１０３、存在しない場合はＳ１０５に進む。

Ｓ１０２において会議Ｘが存在する場合には、会議Ｘの開始時刻＝会議Ｙの終了時刻を満たす会議Ｙが存在するかを検索する（Ｓ１０３）。存在した場合には、会議Ｘ，Ｙを会議候補として抽出する（Ｓ１０４）。存在しない場合は会議Ｘのみを会議候補として抽出する（Ｓ１０６）。

Ｓ１０２において会議Ｘが存在しない場合には、会議リストの中から会議の終了時間≦撮影時間を満たす会議を抽出し、その中から最も終了時間の遅い会議を会議候補として抽出する（Ｓ１０５，Ｓ１０６）。なお、Ｓ１０５のフローに入る状況というのは、会議の予約が入っていない時間帯に画像を撮影した場合であり、詳しくは図２４にて後述する。

以上のフローの具体例を挙げる。ある会議室において図１３に示すように、１５時までの会議Ｂ、１５時〜１６時の会議Ｃ、１６時以降の会議Ｄが会議予約リストに登録されている場合に、１５：１０に画像を撮影したとする。この時、会議Ｃは開始時間（１５：００）≦撮影時間（１５：１０）≦終了時間（１６：００）を満たすので、会議Ｃを会議候補の一つである会議Ｘと抽出する。また、会議Ｂの終了時間（１５：００）＝会議Ｃの開始時間（１５：００）となっているので、会議Ｂも会議候補として抽出する。

つまり、撮影時間に対して考えられる会議候補は、会議Ｂが延長している場合／会議Ｃが予定通り行われている場合の二つが考えられる。会議候補が一つとなる場合は、図２４で後述する。

図１４は、該当会議判断部１０１が会議候補から該当会議を特定するフローチャート図である。以下に各処理を説明する。

まず、該当会議判断部１０１が会議予約リスト記録部１０３から会議候補を取得する（Ｓ２０１）。得られた会議候補の数によってフローが変更する（Ｓ２０２）。すなわち、会議候補が複数得られた場合はＳ２０３に続き、該当する会議を判断するための確率計算を行う。他方で、会議候補が１つしか得られない場合は、その会議と撮影画像を関連付けて保存する（Ｓ２０８）。会議候補が１つしか得られない状況については、図２３を参照して説明する。

Ｓ２０３では、撮影された画像中のホワイトボードの文字の量を得るために、画像の２値化を行う。２値化を行う際のしきい値は判別分析法によって得られる値を使用する。Ｓ２０４では、Ｓ２０３で得られた撮影画像を２値化した画像と撮影時間によって、該当会議の確率計算を行う。確率計算の方法は、図１５、図１６を参照しながら後述する。

次に、計算した確率がしきい値以上であるか否かを判断する（Ｓ２０５）。Ｓ２０４で算出した確率がしきい値以上であった場合は、会議候補で挙げられた会議のうち前の時間の会議であると判断する（Ｓ２０６）。しきい値未満であった場合は、現在の時間の会議であると判断する（Ｓ２０７）。

Ｓ２０６，Ｓ２０７又はＳ２０８によって得られた会議名と関連付けて、撮影画像を画像記録部１０５に保存する（Ｓ２０９）。

図１５は、会議候補から会議を特定するのに画像中の文字の量から確率を算出する方法を説明するための図である。また、図１６は、会議候補から会議を特定するのに撮影時刻から確率を算出する方法を説明するための図である。ここでは抽出された会議候補から正しい会議を判定するための確率の計算方法について説明する。会議判断の確率は、「１：撮影された画像中に含まれる文字の多さ」、「２：画像が撮影された時間」の２つによって、計算される。

１．撮影された画像中に含まれる文字の多さ
前の会議が延長していた場合、議論が長い時間続いているために、撮影されたホワイトボードにはたくさんの文字が記入されている可能性が高い。逆に、新しい会議を始めたばかりの時間帯では、ホワイトボードにたくさんの文字が記入されている可能性は低い。そこで、撮影された画像の文字領域の多さを判定するために、撮影画像を２値化する。画像中の全画素数をＮ_all、２値化した画像中の黒画素の数をＮ_blackとした時、撮影された画像中に含まれる文字の多さＰ_charは、
Ｐ_char＝Ｎ_black／Ｎ_all
と表すことができる。Ｐ_charの値が大きい、すなわち画像中の文字が多い場合は、前の時間帯の会議である確率が高い。

２．画像が撮影された時間
会議候補が連続している場合において、会議Ａの終了時刻をｔ_A、会議Ｂの終了時刻をｔ_Bとすると、ホワイトボードを撮影した時刻ｔがｔ_Aに近いほど、前の会議が延長している可能性が高く、ｔ_Bに近いほど、現在の時間の会議である可能性が高い。そこで、その確率をＰ_timeとすると、
Ｐ_time＝｜ｔ−ｔ_B｜／｜ｔ−ｔ_A｜
と表すことができる。Ｐ_timeの値が大きい、すなわち撮影時刻がｔ_Aに近いほど前の時間帯の会議である確率が高い。

１，２から会議候補のうち、前の会議に該当する確率をＰとすると、
Ｐ＝Ｐ_char×Ｐ_time
と表すことができる。この確率Ｐがしきい値以上である場合、会議候補のうち前の会議で撮影された画像だと判断し、しきい値未満である場合、現在の時刻の会議で撮影された画像だと判断する。

以上で、第１の実施形態の説明を終える。本実施形態においては、会議を実施するユーザは会議名、時間、場所を指定して会議予約リストを作成する。会議時には、撮影装置１１０で板書を撮影し、時間取得手段１１１、位置取得手段１１２で得られた情報を付加してサーバに画像、時間、位置を送信する。サーバでは、位置情報から会議室を特定し、その会議室における会議予約リストと画像の撮影時刻から会議の候補を出し、会議延長有無情報を作成し、その情報と会議の候補を比較して該当する会議を判断する。そのため、本実施形態によれば、会議の板書の画像を会議予約情報に応じて自動で該当する会議に関連付けて保存することができ、その際、会議が延長して、会議の予約状況と時間のずれが発生しても、正しい会議を関連付けることができる。

＜第２の実施形態＞
本実施形態においては、上記実施形態と同様の構成に加え、会議室に備え付けられているデバイスの使用履歴を、該当会議の判断に用いる。まず、使用履歴の登録について述べ、次に、使用履歴から該当会議を特定する処理について述べる。会議の候補を抽出する処理などについては、上記実施形態と同様であるため、説明を省略する。

図１７は、会議室に備え付けられているデバイスの使用履歴の登録処理のフローチャート図である。図１８は、デバイス使用履歴記録部１０６に登録される情報テーブルの例を示す図ある。図１７と図１８を参照しながら、会議室に備え付けのデバイスとしてプロジェクタ１１４が存在する場合に会議候補から該当会議を判断する方法について説明する。

図１７において、以下の処理が行われる。
１）会議室に備え付けのプロジェクタ１１４を電源起動、終了した時に、プロジェクタ１１４は、情報処理装置（サーバ）１００に会議室名と時間を通知し、デバイス使用履歴記録部１０６に登録する。
２）起動時間記録時には、会議予約リスト記録部１０３と会議室名、起動時間を照合し、該当会議室に予約されている会議のうち、起動時間に最も近い開始時刻を持つ会議の起動時間として、記録する。
３）終了時間記録時には、手順２で記録した会議の終了時間に通知された時間を記録する。
つまり、起動時間は入力されているが、終了時間が記録されていない会議があった場合はその会議は会議中であるということが言える。

図１９は、デバイス使用履歴から該当会議を特定するフローチャート図である。図１９を参照しながら、会議室に備え付けのデバイスとしてプロジェクタ１１４が存在する場合に会議候補から該当会議を判断する方法について説明する。
１）該当会議判断部１０１は、会議予約リスト記録部１０３から会議候補を取得する。
２）該当会議判断部１０１は、デバイス使用履歴記録部１０６から、指定した会議室のデバイス使用履歴を受信する。
３）該当会議判断部１０１は、受信したデバイス使用履歴から会議候補のうち該当する会議を判断する（図２０参照）。

図２０は、会議候補から該当会議を特定するフローチャート図である。図２０において、Ｓ３０１，Ｓ３０２，Ｓ３１１，Ｓ３１２は、図１４のＳ２０１，Ｓ２０２，Ｓ２０８と同等の処理である。該当会議判断部１０１は、会議候補が２つ以上ある場合、候補に挙げられた会議（前の時間帯の会議／現在の時間帯の会議）のデバイス使用履歴を取得する（Ｓ３０３）。

次に、前の会議におけるプロジェクタ１１４の使用履歴を参照し、起動時間が記録されているかを確認する（Ｓ３０４）。入力されている場合はＳ３０５、入力されていない場合はＳ３０８に進む。

前の会議においてプロジェクタ１１４の起動時間が記録されている場合には、前の会議のプロジェクタ１１４の終了時間が入力されているかを確認する（Ｓ３０５）。終了時間が入力されている場合は、前の会議が終了して、現在の会議が予約通りに行われていると判断する（Ｓ３０６）。終了時間が入力されていない場合は、前の会議が終了せずに、延長していると判断する（Ｓ３０７）。

前の会議でプロジェクタ１１４の起動時間が記録されていない場合は、デバイス使用履歴から現在の会議でプロジェクタ１１４が利用されているかを確認する（Ｓ３０８）。プロジェクタ１１４が利用されている場合は、現在の会議が予約通りに実施されていると判断する（Ｓ３０９）。現在の会議でもプロジェクタ１１４が利用されていない場合は、デバイス使用履歴だけから該当会議を判断することはできない（Ｓ３１０）。そのため、図１４に記載した画像中の文字の量と撮影時間から該当する会議の判定を行う。デバイス使用履歴から会議を特定できた場合は、特定した会議と撮影画像とを関連づけて保存する（Ｓ３１２）。

本実施形態は、第１の実施形態による会議の特定の前段に会議室内にあるデバイスの使用履歴に基づく会議の特定を行う。そのため、本実施形態によれば、会議中に行う自然な動作（プロジェクタの電源を入れる／消す）によって、会議の延長判定を行うことができる。

＜第３の実施形態＞
本実施形態は、上記実施形態の構成に加えて、以下に説明するような会議室の位置を特定するための構成を備えることによって、位置の特定をさらに容易且つ正確ににする。

図２１は、会議室位置情報記録部１０２に保存されている情報テーブル（図１０とは別の実施形態）を説明するための図である。図２２は、撮影装置１１０により撮影された撮影画像を用いて会議室を特定する方法を説明するための図である。

本実施形態は、第１の実施形態で説明したような図１０，図１１とは別の位置特定の実施例ではあるが組み合わせてもよい。各会議室に備え付けられているホワイトボードにマーカ（例としてＱＲコード（登録商標））を貼り付け、その対応関係を図７に示した前準備の段階で位置情報記録部に保存する。

会議中にホワイトボードを撮影する場合に、ホワイトボードに貼りつけたマーカーも一緒に映るように撮影を行う。マーカーを含む画像を撮影装置１１０から情報処理装置（サーバ）１００に送信する。サーバでは画像中からマーカーを検出し、画像中のマーカーと図２に示した会議室位置情報記録部１０２に保存されている各会議室とマーカーを照合して、会議室を特定する。

この実施例の場合、第１の実施形態で説明したような図１０，図１１の場合とは異なり、撮影装置１１０に位置特定手段として特別なデバイス（ＧＰＳなど）を搭載する必要がなく、全てサーバ上での処理で位置を特定することができる。

＜第４の実施形態＞
本実施形態では、上記実施形態の構成に加えて、過去の判定履歴を用いて判定精度を高めている。以下、過去の会議の判断履歴から、該当する会議を判断する方法について説明する。

図２３は、会議の候補と過去の判定履歴から該当会議を判断する処理のフローチャート図である。図１４、図２０と比較して、Ｓ４０１，Ｓ４０２，Ｓ４０８の処理は、上記実施形態のものと同等の処理である。

短い時間間隔で複数枚の写真を撮影した場合には、過去の判断結果を利用して判断を用意に行うことができる（Ｓ４０３〜Ｓ４０６）。例えば、会議Ａと会議Ｂが連続した時間で予約されており、会議Ａの方が早い時間帯である状況があったとする。会議Ａと会議Ｂの狭間の時間帯である時刻ｔ₁で画像の撮影を行い、会議Ａ／Ｂが候補に挙がり遅い時間である会議Ｂで取られた写真と判断して会議Ｂと関連付けて画像を保存したとする。

その後に、時刻ｔ₁よりも遅い時刻ｔ₂で画像撮影し、会議候補として会議Ａ／Ｂが抽出された場合、過去の判断履歴において、同様の会議候補Ａ／Ｂに対して、遅い方の会議Ｂを判断したという結果があるので、今回も会議Ｂを判断結果として扱う。何故なら、時刻ｔ₁における判断結果が会議Ｂであるのに、時刻ｔ₁よりも遅い時刻ｔ₂の段階で、会議Ｂより時間の早い会議Ａが開催されていることは有り得ないからである。

過去の判断履歴の中に同じ会議候補が存在しない場合や、会議候補が同じ履歴が存在するがその判断結果が早い時間帯の会議であった場合は、判断履歴から今回の会議を判断することは不可能なので、図１４，１２、１３の方法で会議の判断を行う（Ｓ４０７）。

＜第５の実施形態＞
本実施形態では、上記実施形態の構成に加えて、撮影画像の撮影時刻に会議の予約がなかった場合に会議の候補を抽出する構成を備える。そのことによって、該当会議の判断、すなわち会議の特定の精度を高める。図２４は、撮影時間に会議の予約が入っていない場合に、会議の候補を抽出する方法を説明するための図である。以下、会議の予約が連続していない場合の該当会議判断についての解説を行う。

図２４に示す例のように、１５時までの会議Ｂ、１６時以降の会議Ｃが会議予約リストに登録されており、１５−１６時で会議の予約に空きがある場合に、１５：１０に画像を撮影したとする。この状況では、図１２のフローに従うと、開始時間≦撮影時間≦終了時間を満たす会議Ｘが存在しない。そのため、会議終了時間≦撮影時刻を満たす会議として、会議Ａ、Ｂを抽出する。その会議の中で終了時間が最も遅い会議は会議Ｂであるため、会議Ｂを会議候補として抽出する。

このように、会議の予約が連続していない場合は、会議候補が一つになりえる。会議候補が一つの場合においては、図１４，図２０，図２３に示すフローのように候補に挙がっている会議と関連付けて画像を保存する。本実施形態によれば、会議予約リストに予約が入っていない時間帯に撮影を行っても、会議と関連付けて画像を保存することができる。

＜第６の実施形態＞
本実施形態は、上記実施形態に加えて、撮影画像に会議との関連付けを行わないための構成を備えるものである。図２５は、会議と関連付けずに画像を保存行いたい場合の撮影装置１１０のユーザインタフェース画面例である。図２６は、会議と関連付けを行わずに画像の保存を行う場合のシーケンス図である。図２７は、判断履歴記録部１０７に保存される情報テーブルである。以下、撮影した画像を予約されている会議と関連付けずに保存する場合について説明する。

会議室の予約が入っておらず、空いている会議室で突発的に会議を行う場合を考える。そのような会議において、板書の画像を撮影した場合、図２４の処理により、その時間帯の一つ前の会議と関連付けて画像がサーバに記録される。つまり、空いている会議室を突発的に利用した場合には、誤った会議と関連付けて画像が保存されてしまうことがありえる。

そこで、図２５に示すように撮影装置１１０に撮影装置１１０に関連付け禁止のフラグを設定できるようにする。関連付け禁止ボタンを押下した上で画像を撮影した場合は、図２６のシーケンス図に示すように、時間、位置の取得や、会議候補の抽出などを行わず、図２７に示すように画像記録部１０５の会議欄を空欄にした状態で画像だけ保存する。

本実施形態によれば、突発的に空いている会議室で会議を行った場合に、誤った会議と関連付けてしまう問題を防止することができる。

＜第７の実施形態＞
本実施形態は、上記実施形態の構成に加えて、会議の特定がなされた撮影画像を、その特定した情報と関連づけて保存する構成を備える。本実施形態によれば、議事録を作成する場合に、対応する画像の取り込み作業や会議の時間、場所などの入力を省略できるため手間を軽減することができる。

図２８は、撮影画像から該当会議を判断し、該当する会議と関連付けて画像を保存する場合のシーケンス図である。以下、撮影画像から該当会議を判断し、該当する会議と関連付けて画像を保存する場合の処理のシーケンスについて説明する。図２８は、図９とは手順７の部分のみ異なる。

１）ユーザは、画像撮影装置１１０を用いて、板書を撮影する。
２）画像撮影装置１１０は、時間取得部、位置情報取得部から撮影時の時間情報、位置情報を取得する。
３）画像撮影装置１１０は、手順１，２において取得した画像データ、時間情報、位置情報を情報処理装置（サーバ）１００に送信する。
４）情報処理装置（サーバ）１００は受信した位置情報と会議室位置情報記録部１０２を照合し、撮影が行われた会議室を特定する。
５）情報処理装置（サーバ）１００は手順４で特定した会議室名と撮影時間、会議予約リスト記録部１０３を照合して、会議候補を抽出する。
６）情報処理装置（サーバ）１００は抽出した会議候補と撮影時間、画像データを比較して、会議候補のうち該当する会議を判断する。
７）情報処理装置（サーバ）１００は受信した画像データを手順６で特定した会議と関連付けて、画像記録部１０５に記憶する。

図２９は、保存された画像を元に議事録の自動生成を行う場合のシーケンス図である。図３０は、自動生成された会議の議事録の例である。以下、画像と会議が関連付けられて保存されている状態から、議事録の生成を行う処理の流れについて説明する。ここでの会議の議事録生成とは、会議における会議名、会議場所、会議時間、添付画像を記載した議事録のテンプレート（図３０参照）を生成することであり、議事内容は別途、議事録担当が手動で入力をしなければならない。

１）ユーザは情報処理装置（端末）１１３から、議事録の自動生成を行いたい会議を指定する。
２）情報処理装置（サーバ）１００は、通信部１０４で指定された会議名を受信する。
３）図４に示したように、会議予約リスト記録部１０３には、会議室、会議名、開始時間、終了時間が紐づいて記録されているので、指定された会議名から会議を実施した時間と場所を取得する。
４）図５に示したように、画像記録部１０５には会議名、撮影画像が紐づいて記録されているので、指定された会議名から対応する画像を取得する。
５）手順３，４で取得した情報を議事録に記載して、議事録のテンプレートを生成して、情報処理装置（端末）１１３に生成した議事録を送信する。

生成される議事録の例としては、図３０に示すようなものが生成される。本実施形態によれば、議事録を作成する場合に、対応する画像の取り込み作業や会議の時間、場所などの入力を省略できるため手間を軽減することができる。

１００ 情報処理装置（サーバ）
１０１ 該当会議判断部
１０２ 会議室位置情報記録部
１０３ 会議予約リスト記録部
１０４ 通信部
１０５ 画像記録部
１０６ デバイス使用履歴記録部
１０７ 判断履歴記録部
１１０ 撮影装置
１１１ 時間取得手段
１１２ 位置取得手段
１１３ 情報処理装置（端末）
１１４ プロジェクタ

特許第４８８６６３７号公報

Claims (7)

1. 会議名、会議時間及び会議室の場所を紐付けて会議予約リストとして記録する会議予約リスト記録部と、
   会議室における会議に関する画像を撮影した撮影時刻及び撮影位置、並びに、前記会議予約リストに基づいて、撮影画像が該当する会議を判断する該当会議判断部と、
   を備え、
   前記該当会議判断部は、
   前記撮影時刻、前記撮影位置及び前記会議予約リストに基づいて、前記撮影画像が該当する会議の候補を抽出し、
   前記撮影画像中の文字の量及び前記撮影時刻に基づいて、抽出した会議の候補のうちどの会議の候補に該当するかの確率を計算し、
   該当する会議を判断する
   ことを特徴とする、情報処理装置。
2. 前記該当会議判断部は、会議室に紐付けられたデバイスの使用履歴に基づいて、該当する会議を判断することを特徴とする、請求項１に記載の情報処理装置。
3. 前記該当会議判断部は、前記撮影画像中に所定のマーカーが存在する場合に、会議室と前記所定のマーカーとの対応関係に基づき、撮影位置を特定することを特徴とする、請求項１又は２に記載の情報処理装置。
4. 前記該当会議判断部による判断結果を記録する判断履歴記録部を備え、
   前記該当会議判断部は、記録された判断結果に基づいて、撮影画像が該当する会議を判断することを特徴とする、請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記該当会議判断部は、撮影時刻に会議の予約がない場合、撮影時刻の前の時間帯の会議を、該当する会議として判断することを特徴とする、請求項１から４のいずれか１項に記載の情報処理装置。
6. 外部端末より、会議名とともに議事録の作成の指示を受ける通信部を備え、該通信部は、議事録を作成して前記外部端末に通知し、作成した議事録は、会議名に基づいて特定される、会議名と関連づけられている撮影画像を含むことを特徴とする、請求項１から５のいずれか１項に記載の情報処理装置。
7. 会議に関する画像と会議との関連付けを自動的に行うための情報処理方法であって、
   会議予約リスト記録部が、会議名、会議時間及び会議室の場所を紐付けて会議予約リストとして記録する会議予約リスト記録工程と、
   該当会議判断部が、会議室における会議に関する画像を撮影した撮影時刻及び撮影位置、並びに、前記会議予約リストに基づいて、撮影画像が該当する会議の候補を抽出する工程と、
   前記該当会議判断部が、前記撮影画像中の文字の量及び前記撮影時刻に基づいて、抽出した会議の候補のうちどの会議の候補に該当するかの確率を計算する工程と、
   前記該当会議判断部が、計算結果に基づいて該当する会議を判断する工程と、
   を含むことを特徴とする、情報処理方法。

Images