JP2011065467A

JP2011065467A - 会議中継装置及びコンピュータプログラム

Info

Publication number: JP2011065467A
Application number: JP2009216003A
Authority: JP
Inventors: Daisuke Igarashi; 大輔五十嵐
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2009-09-17
Filing date: 2009-09-17
Publication date: 2011-03-31

Abstract

【課題】発言者の発言内容に該当する箇所を強調させて会議資料を表示させることが可能な会議中継装置及びコンピュータプログラムを提供する。
【解決手段】音声認識部１５は、通信部を介して受信した音声信号に対して音声認識処理を行なってテキスト情報を生成する。キーワード抽出部１６は、音声認識部１５が生成したテキスト情報に対して言語解析処理を行なって単語に分解する。キーワード抽出部１６は、分解した単語と、会議資料情報ＤＢ２４及び位置特定情報ＤＢ２７のそれぞれに格納してある情報とを照合し、発言者の発言内容にいずれの情報が含まれるかを判断する。キーワード抽出部１６が、発言者の発言内容にいずれかの情報が含まれると判断した場合、位置特定部１７が、会議資料中の、この情報に対応する領域を特定し、特定した領域を強調させる処理を行なってディスプレイに表示させる。
【選択図】図７

Description

本発明は、通信可能に接続された複数の通信装置間で行なわれる通信会議を中継する会議中継装置、該会議中継装置をコンピュータによって実現するためのコンピュータプログラムに関する。

プレゼンテーションを行なう際に、液晶プロジェクタ等の投影装置、大型液晶ディスプレイ等の表示装置、スピーカ等の音声出力装置等、各種の視聴覚機器をパーソナルコンピュータに接続して構成されるプレゼンテーションツールが用いられる。プレゼンテーションツールを用いることにより、聴講者に視聴覚的に大きな影響を与えることができるので、効率よくプレゼンテーションを行なうことができる。

また、発表者が発する声の大きさ及び抑揚、発表者の顔の表情等によって発表者の感情を認識し、投影装置又は表示装置によって表示される表示画面中の対応する箇所を強調表示させる技術が提案されている（特許文献１参照）。特許文献１に開示された技術では、発表者の声が大きくなった場合又は発表者の声の抑揚が大きくなった場合に、表示画面中の、そのときの発表内容に該当する箇所を強調して表示させる。このように、発表者の感情をプレゼンテーションに用いる表示画面に反映させることにより、より効果的なプレゼンテーションが可能となる。

特開２００２−２３７１６号公報

特許文献１は、発表者が表示画面中の普通名詞又は固有名詞を用いて、表示画面に表示されている内容を説明する状況を想定しており、発表者の声が大きくなった場合又は発表者の声の抑揚が大きくなった場合の発表内容に含まれる普通名詞又は固有名詞を含む箇所を強調して表示させる構成である。しかしながら、実際のプレゼンテーションでは、発表者が表示画面中の普通名詞又は固有名詞を用いて表示画面に表示されている内容を説明することは稀であり、表示画面中の普通名詞又は固有名詞を、指示代名詞等の代名詞を用いて言い換えて説明する場合が少なくない。

発表者の発言内容（発表内容）には、このような代名詞又は同音異義語等、曖昧性を有する要素又は不確定要素が含まれる。また、場合によっては、曖昧性を有する要素又は不確定要素と関連する箇所が、発表者が意図する重要箇所であり、強調して表示すべき箇所であることも多い。従って、特許文献１に開示された技術では、発表者が表示画面中の普通名詞又は固有名詞を用いてプレゼンテーションを行なわない場合には、発表者が意図する重要な内容を効果的に聴講者に訴えることは困難であるという問題がある。また、特許文献１に開示された技術では、発表者だけでなく聴講者も発言するような質疑応答又は議論中において、聴講者の発言内容に対応する箇所を強調して表示させることはできない。従って、聴講者の発言内容が意味するポイントを参加者（発表者及び他の聴講者）に対して効果的に指し示すことはできなかった。

本発明はかかる事情に鑑みてなされたものであり、その目的とするところは、発表者だけでなく聴講者を含める発言者の発言内容に対応する箇所を強調表示することにより、会議の参加者に、発言者が意図する内容を容易に通知することが可能な会議中継装置及びコンピュータプログラムを提供することにある。

本発明に係る会議中継装置は、複数の通信装置と通信可能に接続され、前記複数の通信装置間で行なわれる通信会議を中継する会議中継装置において、会議資料を表示させるための資料情報を前記複数の通信装置に提供する情報提供部と、音声情報を取得する音声取得部と、該音声取得部が取得した音声情報を認識してテキスト情報に変換する音声認識部と、該音声認識部が変換したテキスト情報が示す前記会議資料中の領域を特定する特定部と、該特定部が特定した前記会議資料中の領域を強調させて表示させるための処理を、前記情報提供部が提供する資料情報に行なう強調処理部とを備えることを特徴とする。

本発明に係る会議中継装置は、前記特定部は、前記会議資料中の上下左右方向の領域を特定するようにしてあることを特徴とする。

本発明に係る会議中継装置は、前記特定部は、複数行に亘って情報が記載されている前記会議資料中のいずれかの行を含む領域を特定するようにしてあることを特徴とする。

本発明に係る会議中継装置は、前記特定部は、複数種類のオブジェクトが記載されている前記会議資料中のいずれかのオブジェクトを含む領域を特定するようにしてあることを特徴とする。

本発明に係る会議中継装置は、前記特定部は、前記テキスト情報が示す特性を有するオブジェクトを含む領域を特定するようにしてあることを特徴とする。

本発明に係る会議中継装置は、前記特定部は、マトリクス状の図表が記載されている前記会議資料中の図表におけるいずれかの要素を含む領域を特定するようにしてあることを特徴とする。

本発明に係る会議中継装置は、前記特定部は、複数頁からなる前記会議資料中のいずれかの頁を特定するようにしてあることを特徴とする。

本発明に係る会議中継装置は、前記特定部は、前記テキスト情報が示す特性を有する文字を含む領域を特定するようにしてあることを特徴とする。

本発明に係る会議中継装置は、前記特定部は、前記テキスト情報が示す特性を有する領域を特定するようにしてあることを特徴とする。

本発明に係る会議中継装置は、前記音声認識部が変換したテキスト情報に含まれる単語を抽出する抽出部を備え、前記特定部は、前記抽出部が抽出した単語を含む領域を特定するようにしてあることを特徴とする。

本発明に係る会議中継装置は、前記特定部は、前記テキスト情報が示す領域として、１枚の会議資料が有する複数の領域のいずれかを特定するようにしてあることを特徴とする。

本発明に係るコンピュータプログラムは、コンピュータに、通信可能に接続された複数の通信装置間で行なわれる通信会議を中継させるためのコンピュータプログラムにおいて、コンピュータに、会議資料を表示させるための資料情報を前記複数の通信装置に提供するステップと、音声情報を取得し、取得した音声情報を認識してテキスト情報に変換するステップと、変換したテキスト情報が示す前記会議資料中の領域を特定するステップと、特定した前記会議資料中の領域を強調させて表示させるための処理を、前記通信装置に提供する資料情報に行なうステップとを実行させることを特徴とする。

本発明によれば、会議中継装置は、通信可能に接続された複数の通信装置間で行なわれる通信会議を中継しつつ、会議資料を表示させるための資料情報を各通信装置に提供する。会議中継装置は、音声情報を取得した場合に、取得した音声情報を認識してテキスト情報に変換し、得られたテキスト情報が示す会議資料中の領域を特定する。そして、会議中継装置は、特定された会議資料中の領域を強調させて表示させるための処理を、各通信装置に提供する資料情報に行なう。よって、会議中継装置は、通信装置に提供されて表示される会議資料において、入力された音声情報が示す領域を強調させることが可能となる。

本発明によれば、会議中継装置は、音声情報を変換して得られたテキスト情報に基づいて、会議資料中の上下左右方向の領域を特定する。よって、会議中継装置は、入力された音声情報が示す方向を特定し、通信装置で表示される会議資料の、特定された方向の領域を強調させることが可能となる。即ち、会議中継装置は、上方向、下方向等のように会議資料中の方向を示す音声情報が入力された場合に、入力された音声情報が示す方向の領域を強調させる。

本発明によれば、会議中継装置は、音声情報を変換して得られたテキスト情報に基づいて、複数行に亘って情報が記載されている会議資料中のいずれかの行を含む領域を特定する。よって、会議中継装置は、入力された音声情報が示す行番号を特定し、通信装置で表示される会議資料の、特定された行番号の行を含む領域を強調させることが可能となる。即ち、会議中継装置は、１行目、２行目等のように会議資料中の行番号を示す音声情報が入力された場合に、入力された音声情報が示す行番号の行を含む領域を強調させる。

本発明によれば、会議中継装置は、音声情報を変換して得られたテキスト情報に基づいて、複数種類のオブジェクトが記載されている会議資料中のいずれかのオブジェクトを含む領域を特定する。よって、会議中継装置は、入力された音声情報が示すオブジェクトを特定し、通信装置で表示される会議資料の、特定されたオブジェクトを含む領域を強調させることが可能となる。即ち、会議中継装置は、テキスト、図（イラスト）、グラフ、表、写真画像等のように会議資料中のオブジェクトを示す音声情報が入力された場合に、入力された音声情報が示すオブジェクトを含む領域を強調させる。また、会議中継装置は、円グラフ、折れ線グラフ、棒グラフ等のようにオブジェクトの呼称又は総称、オブジェクトの種別等が音声入力された場合に、適切なオブジェクトを含む領域を強調できる。

本発明によれば、会議中継装置は、テキスト情報が示す特性を有するオブジェクトを含む領域を特定する。よって、会議中継装置は、丸い図、四角い写真等のように各オブジェクトの形状的な特性が音声入力された場合、また、赤い図、モノクロ写真等のように各オブジェクトの色彩的な特性が音声入力された場合などに、適切なオブジェクトを含む領域を強調できる。

本発明によれば、会議中継装置は、音声情報を変換して得られたテキスト情報に基づいて、マトリクス状の図表が記載されている会議資料中の図表におけるいずれかの要素を特定する。よって、会議中継装置は、入力された音声情報が示す図表中の要素を特定し、通信装置で表示される会議資料の、特定された図表中の要素を含む領域を強調させることが可能となる。即ち、会議中継装置は、１行目の１列目、１行目の２列目等のように会議資料中の図表中の要素を示す音声情報が入力された場合に、入力された音声情報が示す要素を含む領域を強調させる。

本発明によれば、会議中継装置は、音声情報を変換して得られたテキスト情報に基づいて、複数頁からなる会議資料中のいずれかの頁を特定する。よって、会議中継装置は、入力された音声情報が示す頁番号を特定し、通信装置で表示される会議資料の、特定された頁番号の頁を強調させることが可能となる。即ち、会議中継装置は、１頁目、２頁目等のように会議資料中の頁番号を示す音声情報が入力された場合に、入力された音声情報が示す頁番号の頁を強調させる。

本発明によれば、会議中継装置は、音声情報を変換して得られたテキスト情報が示す特性を有する文字を含む領域を特定する。よって、会議中継装置は、入力された音声情報が示す特性の文字の領域を特定し、通信装置で表示される会議資料の、特定された領域を強調させることが可能となる。即ち、会議中継装置は、赤色の文字、大きな文字、太文字、アルファベットで書かれた部分、英語で書かれた部分、アラビア数字の表記部分、イタリック表記の部分、ゴシック体で書かれた部分等のように文字の特性が音声入力された場合に、適切な文字領域を強調させる。

本発明によれば、会議中継装置は、音声情報を変換して得られたテキスト情報が示す特性を有する領域を特定する。よって、会議中継装置は、青い領域、青色表示の領域、四角の枠で囲まれた領域、矢印（星印）が付けられた部分、吹き出し部分、カギ括弧でくくられた部分等のように各領域の特性が音声入力された場合に、適切な領域を強調させる。

本発明によれば、音声情報を変換して得られたテキスト情報に含まれる単語を抽出し、抽出した単語を含む領域を特定する。よって、会議中継装置は、入力された音声情報が示す単語（内容）を含む領域を特定し、通信装置で表示される会議資料の、特定された領域を強調させることが可能となる。

本発明によれば、例えば、１枚の会議資料中の領域を、テキストが記載された領域、図（画像）が記載された領域、表が記載された領域等のように複数の領域に分割できる場合、会議中継装置は、入力された音声情報が示す領域としていずれかの領域を特定する。よって、会議中継装置は、入力された音声情報が示す領域を、会議資料中の各領域を用いて容易に特定できる。

本発明では、会議中継装置は、会議資料を表示させるための資料情報を通信装置に提供しており、音声情報が入力された場合に、通信装置に提供する資料情報に対して、入力された音声情報が示す領域を強調させて表示させるための処理を行なう。よって、会議中継装置は、入力された音声情報が示す領域を強調させた会議資料を通信装置で表示させることができる。これにより、発表者が発表している状況、聴講者が発表者に対して質問している状況、発表者が聴講者の質問に対して応答している状況、複数の参加者が議論している状況等において、発言者（発表者、聴講者、参加者）の発言内容に対応する箇所を適宜強調表示できる。よって、発言者以外の各参加者に、発言者が意図する内容（箇所）を容易に通知でき、会議の円滑化が図られる。

本実施形態の会議システムの構成を示す模式図である。端末装置の内部構成を示すブロック図である。会議サーバの内部構成を示すブロック図である。記憶部に記憶されているテーブルの格納内容を示す模式図である。記憶部に記憶されているテーブルの格納内容を示す模式図である。記憶部に記憶されているテーブルの格納内容を示す模式図である。本実施形態の会議サーバの機能構成を示す機能ブロック図である。会議資料情報ＤＢの生成処理の手順を示すフローチャートである。会議資料情報ＤＢの生成処理の手順を示すフローチャートである。会議資料データの例を示す模式図である。会議資料データの例を示す模式図である。会議資料情報を用いた判定処理の手順を示すフローチャートである。強調表示された会議資料データの例を示す模式図である。強調表示された会議資料データの例を示す模式図である。

以下に、本発明に係る会議中継装置及びコンピュータプログラムについて、その実施形態を示す図面に基づいて詳述する。なお、以下の実施形態では、本発明に係るコンピュータプログラムを公知のパーソナルコンピュータ、サーバコンピュータ等に読み取らせ、パーソナルコンピュータ又はサーバコンピュータのＣＰＵ（Central Processing Unit）等に実行させることによって本発明に係る会議中継装置を実現する構成について説明する。しかし、等価な働きをするハードウェアによって本発明に係る会議中継装置を実現してもよい。

以下に、本発明に係る会議中継装置を備えた会議システムについて説明する。図１は本実施形態の会議システムの構成を示す模式図である。本実施形態の会議システム１００は、複数の端末装置（通信装置）４，４…と、端末装置４，４…の一部又は全部の間で行なわれる通信会議を中継する会議サーバ（会議中継装置）１とを備える。なお、図１では、会議サーバ１は、破線の閉曲線でそれぞれ囲まれる３つの端末装置４，４，４間でそれぞれ行なわれている会議１と会議２とをそれぞれ独立して中継している。

端末装置４，４…及び会議サーバ１は、ＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）等のＩＰ（Internet Protocol）ネットワーク１００ａを介して相互に接続されている。また、端末装置４，４…及び会議サーバ１は、ＩＰネットワーク１００ａを介して、例えば、Ｈ．３２３、Ｔ．１２０、ＳＩＰ（Session Initiation Protocol）、ＨＴＴＰ（Hyper Text Transfer Protocol）等の通信プロトコルに従って、音声信号及び映像信号を含む各種の信号の送受信を行なう。なお、端末装置４，４…及び会議サーバ１は、これらの通信プロトコルを適宜組み合わせて利用してもよい。

本実施形態の会議システム１００では、端末装置４，４…及び会議サーバ１は、ＩＰネットワーク１００ａを介して相互に接続されている。しかし、例えば、端末装置４，４…のそれぞれは接続されておらず、端末装置４，４…のそれぞれが会議サーバ１と１対１通信を行なうように接続されていてもよい。また、１つの端末装置４が会議サーバ１の機能を備え、この端末装置４を親機とし、他の端末装置４（子機）のそれぞれを親機と１対１通信できるように接続してもよい。

本実施形態の会議システム１００は、例えば、同一の通信会議に参加する端末装置４，４…は全て同一の部屋に設置されているものとする。即ち、例えば、同一の会議に参加する参加者の人数分の端末装置４，４…が同一の部屋に用意されており、各参加者はそれぞれ１つの端末装置４を用いて会議に参加する。そして、参加者は、自身が使用する端末装置４，４…に会議資料を表示させつつ、議長又は発言者の説明を聞き、会議に参加する。なお、端末装置４，４…は必ずしも同一の部屋に設置されている必要はなく、離れた拠点に設置されていてもよい。この場合、本実施形態の会議システム１００は、離れた拠点間での遠隔会議に用いることができる。

以下に、本実施形態の会議システム１００に用いられる端末装置４について説明する。図２は端末装置４の内部構成を示すブロック図である。本実施形態の端末装置４は、制御部４０、記憶部４１、認証要求部４２、入力処理部４３、通信部４４、信号処理部４５、入力音声処理部４６、出力音声処理部４７、表示処理部４８等を備える。制御部４０、記憶部４１、認証要求部４２、入力処理部４３、通信部４４及び信号処理部４５は、バスを介して相互に接続されている。また、入力音声処理部４６、出力音声処理部４７及び表示処理部４８はそれぞれ信号処理部４５に接続されている。

制御部４０は、ＣＰＵ、ＭＰＵ（Micro Processing Unit）等であり、上述したようなハードウェア各部を制御すると共に、記憶部４１に格納されている制御プログラムを適宜実行する。記憶部４１は、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）、フラッシュＲＯＭ、ＨＤＤ（Hard Disk Drive）等である。記憶部４１は、端末装置４を動作させるために必要な種々の制御プログラム、制御部４０による制御プログラムの実行時に発生する種々のデータ、自身の端末装置４に割り当てられた端末ＩＤ及びＩＰアドレス等を記憶する。なお、記憶部４１は、制御プログラムとして、例えば、会議サーバ１を介したテレビ会議を実行するためのテレビ会議実行処理プログラム、会議サーバ１を含む外部装置で保持されている共有ドキュメントを閲覧するためのドキュメント閲覧処理プログラム等を記憶している。

認証要求部４２は、会議システム１００が提供する通信会議に端末装置４を用いて参加したい参加者が正当な参加者であるかの認証を会議サーバ１に要求する。具体的には、操作部３４を介してユーザＩＤ及びパスワードが入力された場合、認証要求部４２は、入力されたユーザＩＤ及びパスワードを通信部４４から会議サーバ１へ送信し、会議サーバ１に認証を要求する。また、認証要求部４２は、会議サーバ１からの認証結果を通信部４４を介して取得し、取得した認証結果を制御部４０へ通知する。

入力処理部４３は、操作部３４に接続されており、操作部３４を介してユーザが入力した各種の情報を取得する。操作部３４は、例えば、マウス、キーボード、タブレット等であり、ユーザが端末装置４を操作するために必要な各種のボタンを備える。入力処理部４３は、ユーザが操作部３４を介して入力した各種の情報を制御部４０へ送出し、制御部４０は、入力処理部４３から取得した情報に応じた処理を実行する。
通信部４４は、ＩＰネットワーク１００ａに接続するためのインタフェースであり、ＩＰネットワーク１００ａを介して会議サーバ１との間で情報の送受信を行なう。

入力音声処理部４６は、マイクロホン３１に接続されている。入力音声処理部４６は、例えば、Ａ／Ｄ（アナログ／デジタル）変換器を備え、マイクロホン３１が集音したアナログの音声信号をデジタルの音声信号に変換し、信号処理部４５へ出力する。信号処理部４５は、音声信号を符号化する音声符号化部を備え、入力音声処理部４６から取得した音声信号を符号化する。なお、信号処理部４５によって符号化された音声信号は、例えば、通信部４４へ転送され、通信部４４を介して会議サーバ１へ送信される。これにより、端末装置４のマイクロホン３１によって集音された音声信号は、会議サーバ１へ送信される。なお、音声符号化部は、例えば、Ｇ．７１１、Ｇ．７２２、Ｇ．７２８、Ｇ．７２９、ＭＰＥＧ（Moving Picture Experts Group）−４ＡＡＣ（Advanced Audio Coding）等の規格に従った符号化処理を行なう。

信号処理部４５は、符号化された音声信号を復号する音声復号部を備える。なお、通信部４４は、ＩＰネットワーク１００ａを介して会議サーバ１から符号化された音声信号を受信しており、信号処理部４５は、通信部４４から取得した符号化された音声信号を復号する。なお、音声復号部は、音声符号化部が行なう符号化処理の規格と同一の規格に従った復号処理を行なう。信号処理部４５は、通信部４４から取得して復号した音声信号を出力音声処理部４７へ出力する。出力音声処理部４７は、スピーカ３２に接続されている。出力音声処理部４７は、例えば、Ｄ／Ａ（デジタル／アナログ）変換器を備え、信号処理部４５から取得したデジタルの音声信号をアナログの音声信号に変換し、スピーカ３２へ出力する。これにより、会議サーバ１から受信した音声信号に基づく音声がスピーカ３２から出力される。

また、信号処理部４５は、符号化された映像信号を復号する映像復号部を備える。なお、通信部４４は、ＩＰネットワーク１００ａを介して会議サーバ１から符号化された映像信号を受信しており、信号処理部４５は、通信部４４から取得した符号化された映像信号を復号する。なお、映像復号部は、例えば、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４等の規格に従った復号処理を行なう。信号処理部４５は、通信部４４から取得して復号した映像信号を表示処理部４８へ出力する。表示処理部４８は、ディスプレイ３３に接続されており、信号処理部４５から取得した映像信号をディスプレイ３３へ出力する。これにより、会議サーバ１から受信した映像信号に基づく映像がディスプレイ３３に表示される。なお、ディスプレイ３３は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、ＰＤＰ（Plasma Display Panel）等の表示装置である。

なお、上述したように、マイクロホン３１、スピーカ３２、ディスプレイ３３及び操作部３４は、端末装置４の本体とは別体に構成されてもよいし、全てが一体に構成されてもよい。また、ディスプレイ３３及び操作部３４は、タッチパネル又はタブレットによって構成されてもよい。

また、本実施形態では、会議に参加する参加者は同一の部屋で端末装置４，４…を操作する構成であるので、各端末装置４，４…を使用する各参加者の顔を撮影して、端末装置４，４…間で送受信する必要はない。しかし、会議システム１００を遠隔会議に用いる場合、端末装置４，４…が離れた拠点に設置されることになる。従って、端末装置４，４…にカメラを接続し、端末装置４，４…の内部に、カメラによって撮影して得られた映像信号を処理する映像処理部を備えてもよい。なお、映像処理部は、例えば、カメラによって撮影して得られた映像信号を符号化する映像符号化部であり、映像符号化部は、例えば、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４等の規格に従った符号化処理を行なう。

なお、本実施形態では、会議に参加する参加者が同一の部屋で端末装置４，４…を操作する状況を想定しているので、全ての参加者が所定範囲内にいるような会議では、発話者が発した音声を直接聞くことが可能である。従って、このような会議に会議システム１００を用いる場合、端末装置４，４…にスピーカ３２を備える必要はない。ただし、本実施形態の会議サーバ１は、各参加者の発言内容に基づいて、会議資料中の、発言内容に対応する箇所を特定し、特定した箇所を強調表示させる機能を有するので、端末装置４，４…はマイクロホン３１を必ず備えている。

以下に、本実施形態の会議システム１００に用いられる会議サーバ１について説明する。図３は会議サーバ１の内部構成を示すブロック図である。本実施形態の会議サーバ１は、制御部１０、認証部１１、通信部１２、出力部１３、記憶部２０等を備える。上述したハードウェア各部は、バスを介して相互に接続されている。制御部１０は、ＣＰＵ、ＭＰＵ等であり、上述したようなハードウェア各部を制御すると共に、記憶部２０に格納されている制御プログラムを適宜実行する。

記憶部２０は、ＨＤＤ等の大容量の記憶装置である。記憶部２０は、会議サーバ１を動作させるために必要な種々の制御プログラム、制御部１０による制御プログラムの実行時に発生する種々のデータ等を記憶する。また、本実施形態の会議サーバ１は、ウェブサーバの機能を有しており、ウェブサーバとしてＩＰネットワーク１００ａを介して公開しているウェブページを記憶部２０に記憶している。更に、記憶部２０は、ＩＰネットワーク１００ａを介して共有（公開）されている会議資料データ、図４（ａ）に示すようなユーザ情報テーブル２１、図４（ｂ）に示すような予約状況管理テーブル２２、図４（ｃ）に示すような開催状況管理テーブル２３、図５及び図６に示すような会議資料情報データベース（以下、会議資料情報ＤＢという）２４を記憶する。

また、記憶部２０は、音声信号をテキスト情報に変換する音声認識処理を制御部１０が行なうための音声認識処理プログラム、音声認識処理に用いる音声認識用データベース（以下、音声認識用ＤＢという）２５を記憶する。また、記憶部２０は、テキスト情報を日本語の文法に沿って単語に分解する言語解析処理を制御部１０が行なうための言語解析処理プログラム、言語解析処理に用いる言語解析用データベース（以下、言語解析用ＤＢという）２６を記憶する。更に、記憶部２０は、通信会議におけるいずれかの発言者による発言内容が、会議資料中のいずれの領域に記載された内容であるのかを特定するための特定処理プログラム、特定処理に用いる位置特定情報データベース（以下、位置特定情報ＤＢという）２７を記憶する。

会議資料データは、ドキュメントデータ、画像データ等であり、ＩＰネットワーク１００ａを介して端末装置４，４…で閲覧可能に公開されている。なお、会議資料データは、特定のユーザにのみ公開されているデータであってもよい。この場合、会議サーバ１は、各会議資料データの閲覧を許可されたユーザのユーザ情報（ユーザＩＤ）を保持しておき、ＩＰネットワーク１００ａを介して閲覧要求してきたユーザが、予めユーザ情報を保持しているユーザであれば閲覧を許可する。なお、記憶部２０に記憶されている各テーブルの詳細な構成については後述する。

認証部１１は、端末装置４の操作部３４を介して入力され、端末装置４の認証要求部４２から送信されたユーザＩＤ及びパスワードを通信部１２を介して取得する。認証部１１は、取得したユーザＩＤ及びパスワードが、後述のユーザ情報テーブル２１に既に登録されているか否かに基づいて、このユーザ（参加者）が会議システム１００の利用を許可された正当な参加者であるかを認証する。認証部１１は、取得したユーザＩＤ及びパスワードがユーザ情報テーブル２１に登録されていれば、正当な参加者であると判断し、登録されていなければ、正当な参加者ではないと判断する。認証部１１は、取得したユーザＩＤ及び認証結果を、ユーザＩＤ及びパスワードを送信してきた端末装置４へ返信する。

通信部１２は、ＩＰネットワーク１００ａに接続するためのインタフェースであり、ＩＰネットワーク１００ａを介して端末装置４，４…との間で情報の送受信を行なう。
出力部１３は、ＬＣＤ、ＣＲＴ又はＰＤＰ等のディスプレイ１３ａに接続されており、制御部１０による指示に従った映像信号をディスプレイ１３ａへ出力する。これにより、会議サーバ１は、会議の参加者に所望の情報を通知できる。

図４乃至図６は記憶部２０に記憶されているテーブルの格納内容を示す模式図である。なお、図４（ａ）はユーザ情報テーブル２１の格納内容を、図４（ｂ）は予約状況管理テーブル２２の格納内容を、図４（ｃ）は開催状況管理テーブル２３の格納内容を、図５及び図６は会議資料情報ＤＢ２４の格納内容をそれぞれ示す。

図４（ａ）に示すように、ユーザ情報テーブル２１には、会議サーバ１によって提供される会議システム１００の利用が可能なユーザに関するユーザ情報が格納される。ユーザ情報は、例えば、各ユーザに予め割り当てられたユーザＩＤ、各ユーザによって予め登録されたパスワード等を含む。なお、ユーザ情報は、各ユーザを識別し、各ユーザが適正であるか否かを認証するための情報であればよい。また、ユーザ情報は、各ユーザの氏名、所属、役職等を含んでもよい。ユーザ情報テーブル２１の格納内容は、会議システム１００の利用が可能なユーザのユーザ情報が追加、変更又は削除される都度、制御部１０によって登録、更新又は削除される。なお、ユーザ情報は、会議サーバ１の操作部（図示せず）、会議サーバ１とＩＰネットワーク１００ａを介して接続された端末装置４又はその他の通信装置の操作部を介して会議サーバ１に入力される。このようなユーザ情報テーブル２１によって、会議サーバ１は、会議システム１００の利用が可能なユーザを管理できる。

図４（ｂ）に示すように、予約状況管理テーブル２２には、会議システム１００によって開催される会議（通信会議）の予約情報が格納される。予約情報は、予約された会議に割り当てられた会議ＩＤ、会議の予約を行なったユーザ（登録者）のユーザＩＤ（登録者ＩＤ）、会議の開催日時、会議に使用する会議資料の資料情報、会議に参加するユーザ（参加者）のユーザＩＤ（参加者ＩＤ）等を含む。資料情報は、例えば、各会議資料データのフォルダ及びファイル名等であり、各会議資料データを識別するための情報である。なお、会議に使用される会議資料は、資料情報が予約状況管理テーブル２２に登録される前に記憶部２０に予め格納させておく。

予約状況管理テーブル２２の格納内容は、会議システム１００の利用が可能なユーザが会議の開催を予約又は予約をキャンセルする都度、制御部１０によって登録又は削除される。また、予約状況管理テーブル２２に格納された予約情報は、登録者が予約内容を変更する都度、制御部１０によって更新される。なお、予約情報も、会議サーバ１、端末装置４又はその他の通信装置の操作部を介して会議サーバ１に入力される。このような予約状況管理テーブル２２によって、会議サーバ１は、予約された会議の内容を管理できる。

図４（ｃ）に示すように、開催状況管理テーブル２３には、会議システム１００によって実際に開催されている会議（通信会議）に割り当てられた会議ＩＤに、会議に参加中のユーザ（参加者）に関する参加者情報が対応付けて格納される。参加者情報は、会議の参加者のユーザＩＤ（参加者ＩＤ）、各参加者が使用中の端末装置４の端末ＩＤ等を含む。開催状況管理テーブル２３の参加者情報は、予約情報に登録されている登録者及び参加者のいずれかが会議に参加するために会議サーバ１にログインしてきた場合に、制御部１０によって、会議ＩＤに対応付けて登録される。また、最初にログインした参加者の参加者情報が開催状況管理テーブル２３に登録された後は、各参加者が会議サーバ１にログインする都度、各参加者の参加者情報が順次追加して格納される。

このような開催状況管理テーブル２３によって、会議サーバ１は、開催中の会議において、会議の参加者、各参加者がいずれの端末装置４を使用しているかを管理できる。なお、会議ＩＤに対応付けられて最初の参加者情報が開催状況管理テーブル２３に登録されるタイミングは、例えば、会議を予約した登録者が会議サーバ１にログインしてきた時点でもよい。

図５及び図６に示すように、会議資料情報ＤＢ２４には、記憶部２０に記憶してある会議資料データに関する情報（会議資料情報）が格納される。会議資料情報は、会議資料データを識別するための資料情報、会議資料データに含まれる各ページのページ番号、各ページに含まれるテキストの情報、図の情報、グラフの情報、表の情報、その他の情報等を含む。なお、図５及び図６のそれぞれには、会議資料情報ＤＢ２４の一部を省略して図示してある。具体的には、図５ではグラフの情報及び表の情報の詳細な内容が省略されており、図６ではテキストの情報及び図の情報の詳細な内容が省略されている。

テキストの情報は、各ページにおいてテキスト形式で記載された領域に関する情報であり、テキストの位置を示す情報、テキストの特徴を示す情報、テキストに含まれる単語（キーワード）等を含む。テキストの位置を示す情報は、１ページの会議資料においてテキスト形式で記載された領域の相対的な位置を示しており、例えば、「左」、「右」、「上」、「下」、「左上」、「右上」、「左下」、「右下」等で表される。テキストの特徴を示す情報は、各テキストが縦書きされているか横書きされているか、領域内の行数、文字の色、フォント、サイズ等を示す。なお、テキストの特徴を示す情報は、例えば、会議資料データに含まれる、各テキスト（文字）の特徴を示すタグ情報等から抽出できる。

また、フォントの情報としては、フォントそのもののほかに、例えば、英語、日本語等のような言語の種類、アルファベット、アラビア数字、イタリック表記等のような文字の種類等を用いてもよい。なお、同一のテキスト領域内に異なる特徴の文字が含まれる場合、それぞれの特徴を示す情報が会議資料情報ＤＢ２４に格納される。図５には、ページ番号２，３，４の各ページでは、上から１行目とその他の４行とにおける特徴が異なる例を示している。テキストに含まれるキーワードは、各領域内に記載されているテキストに含まれる一般名詞及び固有名詞である。

図の情報は、各ページ中の図（イラスト）の領域に関する情報であり、図の位置を示す情報、図の特徴を示す情報等を含む。図の位置を示す情報は、１ページの会議資料における図の相対的な位置を示しており、例えば、「左」、「右」、「上」、「下」、「左上」、「右上」、「左下」、「右下」等で表される。図の特徴を示す情報は、図の形状、図の色彩的な特徴等を示す。なお、図の特徴を示す情報は、例えば、会議資料データに含まれる、各図の特徴を示すタグ情報等から抽出できる。

グラフの情報は、各ページ中のグラフの領域に関する情報であり、グラフの位置を示す情報、グラフの種類を示す情報、グラフの特徴を示す情報等を含む。グラフの位置を示す情報は、１ページの会議資料におけるグラフの相対的な位置を示しており、例えば、「左」、「右」、「上」、「下」、「左上」、「右上」、「左下」、「右下」等で表される。グラフの種類を示す情報は、例えば、「棒グラフ」、「折れ線グラフ」、「円グラフ」等の各グラフの呼称又は総称で表される。グラフの特徴を示す情報は、グラフの色彩的な特徴等を示す。なお、グラフの種類及び特徴を示す情報は、例えば、会議資料データに含まれる、各グラフの種類及び特徴を示すタグ情報等から抽出できる。

表の情報は、各ページ中の表の領域に関する情報であり、表の位置を示す情報、表の構成（特徴）を示す情報、表中の各要素に含まれる単語（キーワード）等を含む。表の位置を示す情報は、１ページの会議資料における表の相対的な位置を示しており、例えば、「左」、「右」、「上」、「下」、「左上」、「右上」、「左下」、「右下」等で表される。表の構成を示す情報は、各表の行数及び列数等を示す。表中の各要素に含まれるキーワードは、各要素として記載されているテキストに含まれる一般名詞及び固有名詞である。各キーワードは、表を構成する要素（例えば、１行１列目の要素）毎に会議資料情報ＤＢ２４に格納されてもよい。なお、表の構成を示す情報は、例えば、会議資料データに含まれる、各表の構成（特徴）を示すタグ情報等から抽出できる。

その他の情報は、各ページにおいて上述した各情報以外の情報であり、例えば、１ページ中の一部の領域が他の領域と異なる色を有することを示す情報、丸又は四角等の枠で囲まれている領域を示す情報、矢印又は星印等が付与されている領域を示す情報、吹き出しが記載されている領域を示す情報、カギ括弧又は丸括弧等が付与されている領域を示す情報等がある。

会議資料情報ＤＢ２４の格納内容は、制御部１０が会議資料データを解析することによって、会議資料の各ページ中のテキスト、図、グラフ、表のそれぞれの位置、特徴、キーワード等を抽出する都度、制御部１０によって格納される。なお、会議資料情報ＤＢ２４には、上述したような情報のほかに、テキスト、図、グラフ、表等の各領域の相対的な位置関係、例えば、テキストの領域の下側に図の領域があることを示す情報を格納してもよい。また、テキスト、図、グラフ、表の各領域の位置を示す情報は、上下左右等の方向だけでなく、各領域の左上及び右下の座標値、又は、各領域の左上の座標値及び該左上の座標を始点として右方向及び下方向の長さ等のように、各領域を特定できる領域情報としてもよい。

音声認識用ＤＢ２５は、例えば、音声認識処理の認識結果となる認識単語のそれぞれについて読み及び音素列が対応付けて登録されている単語辞書、又は認証単語のそれぞれについて音声データ（音声信号）が対応付けて登録されている単語辞書等である。なお、各認識単語の音素列は、各認識単語に含まれる音素について、各音素の特徴を示す音響モデルの並びを示している。また、音声認識用ＤＢ２５は、日本語の音素毎に各音素の特徴を表す音響モデル（音声認識の分野で通常用いられる音響パラメータ）を格納している。言語解析用ＤＢ２６は、例えば、各単語のそれぞれについて表記、読み、品詞情報等が対応付けて登録されており、形態素解析に用いられる単語辞書である。

図示しないが、位置特定情報ＤＢ２７には、「このページ」、「先頭のページ」、「最後のページ」、「１つ前のページ」、「１つ後のページ」、「２ページ目」等のように会議資料中のページ番号を示す情報、「上から３行目」、「１番上の行」、「最終行」、「最初の段落」、「２段落目」等のように会議資料中のテキストの領域の行番号を示す情報、上、下、左、右、左上、左下、真ん中、中央、１番上等の会議資料中の位置の方向を示す情報が格納されている。また、位置特定情報ＤＢ２７には、「１列目」、「１行目」、「１番左の列」、「右から３列目」等の会議資料中の表を構成する各要素の位置を示す情報、「ページ中のテキスト」、「ページ中の図」、「ページ中の表」等の会議資料中のオブジェクトを示す情報が格納されている。なお、「ページ」の代わりに、「スライド」、「画面」等の用語を用いてもよい。

位置特定情報ＤＢ２７には、これらの情報のそれぞれに対応付けて、各情報に対応する領域を特定する領域情報が格納されている。上述した各情報は、例えば、各情報を記載したテキストの情報であってもよいし、各情報を発声した際の音声情報（音響モデル）であってもよい。また、領域情報は、会議サーバ１が端末装置４，４…に提供する会議資料中の各領域を示し、領域の左上及び右下の座標値、又は、領域の左上の座標値及び該左上の座標を始点として右方向及び下方向の長さ等を含む。

記憶部２０に格納される各情報は、記憶部２０に予め格納されている構成に限られない。会議サーバ１が外部メモリ（図示せず）に記憶してあるデータの読み出しが可能なドライバ（図示せず）を備える場合には、外部メモリに記憶された各種情報をドライバによって読み出して記憶部２０に格納させてもよい。また、会議サーバ１が、インターネット等を介して外部の装置から各種情報をダウンロードして記憶部２０に格納させてもよい。

会議サーバ１は、上述した構成のほかに更に、会議サーバ１を操作するための操作部を備えてもよい。この場合、会議システム１００の管理者は、操作部及びディスプレイ１３ａを用いて、記憶部２０に記憶される会議資料データ、各種のテーブルの記憶内容等を容易に変更できる。

以下に、上述した構成の会議システム１００において、会議サーバ１及び端末装置４，４…が行なう処理について説明する。上述した構成の会議システム１００において、会議の予約を行ないたいユーザは、端末装置４を用いて会議サーバ１にアクセスする。なお、端末装置４の使用を開始する際に、ユーザＩＤ及びパスワードを用いて認証処理を行なうことによって、端末装置４を使用できるユーザを、会議システム１００の利用が可能なユーザに制限してもよい。

会議サーバ１は、ウェブサーバの機能を有しており、会議システム１００が提供する会議の予約を受け付けるためのウェブページを端末装置４へ提供する。図示しないが、会議の予約を受け付けるためのウェブページは、会議の予約を行なうユーザのユーザＩＤ、会議の開催日時、会議に使用する会議資料データを特定する資料情報（例えば、会議資料データのファイル名）、会議の参加者の参加者ＩＤ（ユーザＩＤ）等の予約情報を入力するための入力欄を有する。会議の予約を行なうユーザは、このようなウェブページを介して、自身のユーザＩＤ（登録者ＩＤ）、開催日時、資料情報、参加者ＩＤ等の予約情報を入力し、端末装置４の制御部４０は、入力された予約情報を会議サーバ１へ送信し、会議の予約を行なう。

会議サーバ１の制御部１０は、端末装置４から予約情報を取得した場合、予約する会議に会議ＩＤを割り当て、割り当てた会議ＩＤに取得した予約情報を対応付けて予約状況管理テーブル２２に格納する。これにより、会議の予約が完了する。なお、会議ＩＤは、各会議を識別できる情報であればよく、例えば、予約状況管理テーブル２２に格納された順に１，２，３…の会議ＩＤが割り当てられてもよい。

次に、上述したように会議の予約情報が会議サーバ１の予約状況管理テーブル２２に格納されている会議システム１００において、予約された会議が開催され、開催された会議が中継される際に会議サーバ１及び端末装置４，４…が行なう処理について説明する。予約されている会議に参加したい参加者（登録者も含む）は、端末装置４を用いて会議サーバ１にアクセスする。会議サーバ１は、予約されている会議又は既に開催されている会議への参加要求を受け付けるためのウェブページを端末装置４へ提供する。図示しないが、会議への参加要求を受け付けるためのウェブページは、例えば、予約されている会議又は既に開催されている会議に関する情報を一覧表示しており、これらの会議から１つの選択を受け付けるように構成されている。

このようなウェブページをディスプレイ３３に表示している端末装置４の制御部４０は、一覧表示された情報の１つを参加者が操作部３４を用いて選択した場合、任意の会議への参加要求を受け付ける。制御部４０は、任意の会議への参加要求を受け付けた場合、操作部３４を介して参加者のユーザＩＤ及びパスワードを受け付け、自身の端末装置４の端末ＩＤと共に通信部４４から会議サーバ１へ送信し、会議への参加要求を送信する。なお、任意の会議への参加要求を受け付けた場合ではなく、端末装置４の使用を開始する際に、ユーザ情報による認証処理を行なうことによって、会議への参加を要求できるユーザを、会議システム１００の利用が可能なユーザに制限してもよい。

会議サーバ１の制御部１０は、通信部１２を介して端末装置４から会議への参加要求を受信した場合、会議への参加を要求してきたユーザが、この会議への参加が許可された正当な参加者であるか否かを認証部１１によって認証する。具体的には、認証部１１は、まず、端末装置４から受信したユーザ情報（ユーザＩＤ及びパスワード）に基づいて、このユーザが会議システム１００の利用を許可されているか否かを認証する。ここでは、認証部１１は、受信したユーザ情報がユーザ情報テーブル２１に既に登録されているか否かを判断し、ユーザ情報がユーザ情報テーブル２１に登録されていれば、正当なユーザであると判断し、登録されていなければ、正当なユーザではないと判断する。

次に、認証部１１は、会議システム１００の利用を許可されていると判断したユーザについて、端末装置４から受信した会議ＩＤ及びユーザＩＤに基づいて、参加要求してきた会議の参加者に登録されているか否かを判断する。ここでは、認証部１１は、受信した会議ＩＤの予約情報を予約状況管理テーブル２２から読み出し、読み出した予約情報の登録者ＩＤ又は参加者ＩＤに、受信したユーザＩＤが含まれているか否かを判断する。認証部１１は、予約情報の登録者ＩＤ又は参加者ＩＤに、受信したユーザＩＤが含まれていれば、正当な参加者であると判断し、含まれていなければ、正当な参加者ではないと判断する。

会議サーバ１の制御部１０は、認証部１１による認証の結果、会議への参加を要求してきたユーザが正当な参加者ではない場合、認証されなかった旨を示す認証結果（認証不可）を、会議への参加要求を送信してきた端末装置４に通知する。なお、正当な参加者ではない場合とは、会議への参加を要求してきたユーザが、会議システム１００の利用を予め許可されたユーザではない場合、又は参加を要求した会議への参加者として登録されたユーザではない場合である。端末装置４の制御部４０は、会議サーバ１から認証不可を通知された場合、例えば「ユーザＩＤ・パスワードが誤りです」、「御希望の会議には参加できません」等のメッセージをディスプレイ３３に表示させ、会議に参加できない旨をユーザに通知する。

認証の結果、会議への参加を要求してきたユーザが正当な参加者である場合、会議サーバ１の制御部１０は、このユーザ（参加者）の参加者情報（参加者ＩＤ及び端末ＩＤ）を生成し、端末装置４から受信した会議ＩＤに対応付けて開催状況管理テーブル２３に格納する。また、端末装置４から受信した会議ＩＤが既に開催状況管理テーブル２３に格納されている場合、制御部１０は、既に格納されている会議ＩＤに対応する格納領域に、生成した参加者情報を格納する。

会議サーバ１の制御部（情報提供部）１０は、参加者情報（登録者情報）を開催状況管理テーブル２３に格納した後、会議への参加要求を送信してきた端末装置４に、参加要求された会議に使用される会議資料データを送信する。具体的には、制御部１０は、予約状況管理テーブル２２を参照し、参加要求された会議に使用される会議資料データの資料情報を読み出し、読み出した資料情報が示す会議資料の１ページ目の会議資料データを記憶部２０から読み出して端末装置４に配信する。

なお、本実施形態の会議サーバ１は、会議の予約を行なった登録者（会議の議長又は発表者）の端末装置４からの要求に従った会議資料データを、登録者の端末装置４だけでなく、各参加者の端末装置４，４…にも配信する。よって、会議の各参加者は、登録者が閲覧中の会議資料と同一の会議資料を各端末装置４，４…を介して閲覧する。従って、会議サーバ１の制御部１０は、会議の登録者から会議資料データを要求された場合、要求された会議資料データを登録者の端末装置４に配信すると共に、同一の会議資料データを、他の参加者の端末装置４，４…にも配信する。これにより、会議の各参加者は、登録者が閲覧中の資料を同時に閲覧できる。

なお、会議サーバ１は、このような構成に限らず、各端末装置４，４…を介して各参加者からそれぞれ任意の会議資料データの要求を受け付け、それぞれ異なる会議資料データを端末装置４，４…に配信してもよい。これにより、各参加者は、登録者が閲覧中の会議資料データを登録者と同期して閲覧できるだけでなく、所望の会議資料データを会議サーバ１から取得して閲覧できる。

端末装置４の制御部４０は、会議サーバ１から会議資料データを受信した場合、受信した会議資料データを信号処理部４５及び表示処理部４８を介してディスプレイ３３へ出力して表示させる。なお、ディスプレイ３３に表示される表示画面には、会議を終了させるための終了ボタンが表示されており、各参加者は、終了ボタンを操作することによって会議を終了させることができる。また、本実施形態の会議サーバ１では、例えば、各会議の登録者が終了ボタンを操作した場合、会議全体を終了させるが、登録者以外の参加者が終了ボタンを操作した場合、その参加者のみ会議を終了させる。

即ち、会議サーバ１の制御部１０は、会議の終了要求を受信した場合、会議の終了を要求してきた参加者が登録者であれば、登録者によって終了が要求された会議の会議ＩＤに対応する全ての参加者情報を開催状況管理テーブル２３から削除する。また、制御部１０は、開催状況管理テーブル２３から参加者情報を削除した参加者の端末装置４，４…に、会議の終了を通知する画面、又は会議への参加要求を新たに受け付けるためのウェブページを送信する。これにより、端末装置４，４…の参加者は、会議が終了されたことを把握できる。なお、制御部１０は、予約状況管理テーブル２２に格納してある予約情報に基づいて、会議の終了要求を送信してきた端末装置４の参加者が、会議の登録者であるか否かを判断する。

一方、制御部１０は、会議の終了を要求してきた参加者が登録者以外の参加者であれば、会議の終了を要求してきた参加者の参加者情報のみを開催状況管理テーブル２３から削除する。そして、制御部１０は、登録者からの会議資料データの要求に従って会議資料データの端末装置４，４…への配信を継続する。なお、会議サーバ１の制御部１０は、会議への参加を終了した参加者の端末装置４に、会議への参加要求を受け付けるためのウェブページを再度送信してもよい。

上述した処理では、会議サーバ１が、端末装置４，４…からの要求に応じた会議資料データを適宜端末装置４，４…に配信する処理について説明した。しかし、本実施形態の会議サーバ１は、会議資料データを端末装置４，４…に配信しつつ、端末装置４，４…のマイクロホン３１で集音した音声信号を集め、それぞれの端末装置４，４…に配信する処理も行なう。これにより、会議システム１００を用いて遠隔会議を行なう場合であっても、各参加者の発言を端末装置４，４…間で送受信できる。

なお、本実施形態の会議サーバ１は、音声信号を端末装置４，４…に配信する際に、例えば、最も音量の大きい音声信号を選択して端末装置４，４…に配信するようにしてもよい。また、本実施形態の会議サーバ１は、予め登録された端末装置４（例えば登録者の端末装置４）のマイクロホン３１で集音された音声信号を他の端末装置４，４…に配信するようにしてもよい。

本実施形態の会議サーバ１は、上述したように複数の端末装置４，４…間で行なわれる通信会議を中継すると共に、会議においていずれかの参加者が発言した場合に、その発言内容が、会議で使用される会議資料中のいずれの領域に記載されているかを判定し、判定した領域を強調表示させる処理を行なう。なお、本実施形態の会議サーバ１は、発言内容が会議資料中のいずれの領域に記載されているかを判定する際に、会議資料情報ＤＢ２４及び位置特定情報ＤＢ２７を用いる。また、会議資料情報ＤＢ２４は、予め用意されている会議資料データに基づいて制御部１０によって生成される。

具体的には、会議サーバ１は、端末装置４，４…間で送受信される音声情報、即ち、会議において各参加者の発言内容に基づいて、各会議における発言内容が、各会議で使用される会議資料中のいずれの領域に記載されているかを判定する。そして、会議サーバ１は、判定した領域を強調させた会議資料データをディスプレイ１３ａ又は端末装置４，４…のディスプレイ３３に表示させる。

以下に、会議サーバ１の制御部１０による会議資料情報ＤＢ２４の生成処理、及び、会議資料情報ＤＢ２４及び位置特定情報ＤＢ２７を用いた制御部１０による判定処理について説明する。なお、会議資料情報ＤＢ２４の生成処理及び判定処理は、制御部１０が、記憶部２０に記憶してある制御プログラムを実行することによって実行される。

本実施形態の会議サーバ１は、制御部１０が記憶部２０に記憶してある制御プログラムを実行することによって、図７に示すような各機能を実現する。図７は本実施形態の会議サーバ１の機能構成を示す機能ブロック図である。本実施形態の会議サーバ１において、制御部１０は、ページ構成解析部１４、音声認識部１５、キーワード抽出部１６、位置特定部１７等の機能を実現する。

ページ構成解析部１４は、会議に使用される会議資料データに基づいて、会議資料の各ページに含まれるテキスト、図、グラフ、表の各領域を解析し、会議資料情報を生成して会議資料情報ＤＢ２４に格納する。なお、ページ構成解析部１４による会議資料情報の生成処理の詳細については後述する。

音声認識部１５は、例えば、通信部（音声取得部）１２を介して受信した音声信号に対して、音声認識用ＤＢ２５を用いた音声認識処理を行ない、音声信号をテキスト情報に変換する。具体的には、音声認識部１５は、音声信号を音響分析して音響パラメータを抽出し、音声認識用ＤＢ２５に格納されている音響モデルと照合し、最も類似する音響モデルに対応する単語を認識結果とする。音声認識部１５は、音声認識処理を行なって得られたテキスト情報をキーワード抽出部１６へ出力する。

キーワード抽出部１６は、音声認識部１５によって生成されたテキスト情報に対して、言語解析用ＤＢ２６を用いた形態素解析等の言語解析処理を行ない、例えば、単語に分解する。キーワード抽出部１６は、言語解析処理によって分解した各単語が、会議資料情報ＤＢ２４に格納されている各情報のいずれかに、又は位置特定情報ＤＢ２７に格納されている情報のいずれかに一致するか否かを判断する。

具体的には、キーワード抽出部１６は、各単語が、会議資料情報ＤＢ２４にテキストの情報として格納されている単語のいずれか、図の情報として格納されている単語のいずれか、グラフの情報として格納されている単語のいずれか、表の情報として格納されている単語のいずれか、その他の情報として格納されている単語のいずれかに一致するかを判断する。例えば、分解された単語が「横書き」であれば、キーワード抽出部１６は、会議資料情報ＤＢ２４にテキストの特徴を示す情報として格納されている「横書き」に一致すると判断する。また、分解された単語が「このページ」であれば、キーワード抽出部１６は、位置特定情報ＤＢ２７に格納されている情報「このページ」に一致すると判断する。

キーワード抽出部１６は、各単語が会議資料情報ＤＢ２４に格納されているいずれかの情報に一致すると判断した場合、一致した情報に対応する位置の情報を会議資料情報ＤＢ２４から読み出して位置特定部１７に通知する。例えば、分解された単語が「割合」であれば、キーワード抽出部１６は、資料情報が「資料１」の会議資料中の１ページ目の左側のテキスト領域に「割合」というキーワードが存在することを判断する。そして、このときキーワード抽出部１６は、このテキスト領域の位置を示す「左」を会議資料情報ＤＢ２４から読み出して位置特定部１７に通知する。

一方、キーワード抽出部１６は、各単語が位置特定情報ＤＢ２７に格納されているいずれかの情報に一致すると判断した場合、一致した情報に対応付けて位置特定情報ＤＢ２７に格納してある領域情報を位置特定情報ＤＢ２７から読み出して位置特定部１７に通知する。例えば、分解された単語が「このページ」であれば、キーワード抽出部１６は、「このページ」が示す領域（現在表示中の会議資料）を特定する領域情報を位置特定情報ＤＢ２７から読み出して位置特定部１７に通知する。
なお、キーワード抽出部１６は、各単語がいずれの情報にも一致しないと判断した場合、何も行なわない。

位置特定部１７は、キーワード抽出部１６による照合処理の結果に基づいて、会議資料において、参加者の発言内容に合致する内容が記載されている領域を特定する。具体的には、位置特定部１７は、キーワード抽出部１６が会議資料情報ＤＢ２４から読み出した位置を示す情報を通知された場合、通知された情報が示す領域を特定する。なお、キーワード抽出部１６が会議資料情報ＤＢ２４から読み出した情報が、上下左右等のように会議資料中の方向等を示す情報である場合には、その情報に対応する領域情報を位置特定情報ＤＢ２７から読み出し、読み出した領域情報が示す領域を特定する。また、位置特定部１７は、キーワード抽出部１６が位置特定情報ＤＢ２７から読み出した領域情報を通知された場合、通知された領域情報が示す領域を特定する。なお、キーワード抽出部１６による照合処理、照合処理の結果に基づく位置特定部１７による領域判定処理の詳細については後述する。

位置特定部１７は、端末装置４，４…に配信している会議資料データに対して、特定した領域を強調させて表示させるための処理を行なう。また、位置特定部１７は、このような処理を行なった会議資料データを通信部１２から端末装置４，４…に、又は、出力部１３からディスプレイ１３ａに出力して表示させる。これにより、特定した領域に所定のマークを付加し、又は特定した領域を強調させることができ、会議の参加者に、現在の発言者の発言内容に該当する箇所を通知できる。

以下に、ページ構成解析部１４による会議資料情報ＤＢ２４の生成処理についてフローチャートに基づいて説明する。図８及び図９は会議資料情報ＤＢ２４の生成処理の手順を示すフローチャートである。なお、以下の処理は、会議サーバ１の制御部１０（ページ構成解析部１４）によって実行される。

会議サーバ１のページ構成解析部１４は、ある通信会議で使用される会議資料データにおいて、１ページ分の会議資料データを抽出する（Ｓ１）。ページ構成解析部１４は、抽出した会議資料データを、この１ページ分の会議資料に含まれるオブジェクトに分解する（Ｓ２）。具体的には、ページ構成解析部１４は、１ページ分の会議資料を、テキスト（文字又は文章）の領域、図の領域、グラフの領域、表の領域、その他の領域に分解する。

ページ構成解析部１４は、ステップＳ２で分解したオブジェクトにテキストの領域が含まれているか否かを判断し（Ｓ３）、テキストの領域が含まれていないと判断した場合（Ｓ３：ＮＯ）、ステップＳ８に処理を移行する。また、テキストの領域が含まれていると判断した場合（Ｓ３：ＹＥＳ）、ページ構成解析部１４は、テキストの領域の位置を特定する（Ｓ４）。ページ構成解析部１４は、会議資料中のテキストの領域の位置を、左、右上、左下等のように方向を示す情報によって特定してもよいし、各領域の左上の座標値及び右下の座標値によって特定してよいし、各領域の左上の座標値及び左上の座標から右方向及び下方向の長さによって特定してもよい。なお、テキストの領域だけでなく、図の領域、グラフの領域、表の領域もそれぞれ同様である。

次にページ構成解析部１４は、位置を特定した領域におけるテキストの特徴を抽出する（Ｓ５）。ページ構成解析部１４は、テキストの特徴として、縦書き又は横書き、行数、文字の色、フォント、サイズ等を、会議資料データから抽出する。更にページ構成解析部１４は、位置を特定した領域に記載されているテキストに対して、キーワード抽出部１６による形態素解析処理と同様の処理を行なって単語に分解し、分解した単語から、ここでのテキストに含まれるキーワードとして普通名詞又は固有名詞を抽出する（Ｓ６）。

ページ構成解析部１４は、ステップＳ１で記憶部２０から読み出した会議資料データの資料情報と、ページ番号とに対応付けて、ステップＳ４で特定した位置を会議資料情報ＤＢ２４のテキストの位置を示す情報の欄に、ステップＳ５で抽出した特徴を会議資料情報ＤＢ２４のテキストの特徴を示す情報の欄に、ステップＳ６で抽出したキーワードを会議資料情報ＤＢ２４のテキストのキーワードの欄にそれぞれ格納する（Ｓ７）。

ページ構成解析部１４は、ステップＳ２で分解したオブジェクトに図の領域が含まれているか否かを判断し（Ｓ８）、図の領域が含まれていないと判断した場合（Ｓ８：ＮＯ）、ステップＳ１２に処理を移行する。また、図の領域が含まれていると判断した場合（Ｓ８：ＹＥＳ）、ページ構成解析部１４は、図の領域の位置を特定する（Ｓ９）。ページ構成解析部１４は、位置を特定した図の特徴を抽出する（Ｓ１０）。ページ構成解析部１４は、図の特徴として、形状的な特徴、色彩的な特徴等を、会議資料データから抽出する。ページ構成解析部１４は、ステップＳ１で記憶部２０から読み出した会議資料データの資料情報と、ページ番号とに対応付けて、ステップＳ９で特定した位置を会議資料情報ＤＢ２４の図の位置を示す情報の欄に、ステップＳ１０で抽出した特徴を会議資料情報ＤＢ２４の図の特徴を示す情報の欄にそれぞれ格納する（Ｓ１１）。

ページ構成解析部１４は、ステップＳ２で分解したオブジェクトにグラフの領域が含まれているか否かを判断し（Ｓ１２）、グラフの領域が含まれていないと判断した場合（Ｓ１２：ＮＯ）、ステップＳ１７に処理を移行する。また、グラフの領域が含まれていると判断した場合（Ｓ１２：ＹＥＳ）、ページ構成解析部１４は、グラフの領域の位置を特定する（Ｓ１３）。ページ構成解析部１４は、位置を特定したグラフの種類を特定し（Ｓ１４）、位置を特定したグラフの特徴を抽出する（Ｓ１５）。ページ構成解析部１４は、グラフの特徴として色彩的な特徴等を、会議資料データから抽出する。ページ構成解析部１４は、ステップＳ１で記憶部２０から読み出した会議資料データの資料情報と、ページ番号とに対応付けて、ステップＳ１３で特定した位置を会議資料情報ＤＢ２４のグラフの位置を示す情報の欄に、ステップＳ１４で特定した種類を会議資料情報ＤＢ２４のグラフの種類を示す情報の欄に、ステップＳ１５で抽出した特徴を会議資料情報ＤＢ２４のグラフの特徴を示す情報の欄にそれぞれ格納する（Ｓ１６）。

ページ構成解析部１４は、ステップＳ２で分解したオブジェクトに表の領域が含まれているか否かを判断し（Ｓ１７）、表の領域が含まれていないと判断した場合（Ｓ１７：ＮＯ）、ステップＳ２２に処理を移行する。また、表の領域が含まれていると判断した場合（Ｓ１７：ＹＥＳ）、ページ構成解析部１４は、表の領域の位置を特定する（Ｓ１８）。ページ構成解析部１４は、位置を特定した表の構成（行数及び列数等）を特定し（Ｓ１９）、位置を特定した表に含まれる各要素（各升目）に記載されているテキストに対して、キーワード抽出部１６による形態素解析処理と同様の処理を行なって単語に分解し、分解した単語から、ここでの表に含まれるキーワードとして普通名詞又は固有名詞を抽出する（Ｓ２０）。

ページ構成解析部１４は、ステップＳ１で記憶部２０から読み出した会議資料データの資料情報と、ページ番号とに対応付けて、ステップＳ１８で特定した位置を会議資料情報ＤＢ２４の表の位置を示す情報の欄に、ステップＳ１９で特定した構成を会議資料情報ＤＢ２４の表の構成を示す情報の欄に、ステップＳ２０で抽出したキーワードを会議資料情報ＤＢ２４の表のキーワードの欄にそれぞれ格納する（Ｓ２１）。なお、表のキーワードの欄には、表中の各要素を特定する情報に対応付けて、各要素に記載されているキーワードを格納してもよい。例えば、表中の１行１列目の要素に対するキーワードとして会議資料情報ＤＢ２４に格納してもよい。

ページ構成解析部１４は、１ページ分の会議資料データに、上述したようなテキスト、図、グラフ、表の領域の他に何らかの特徴を有する領域が含まれているか否かを判断する（Ｓ２２）。例えば、ページ構成解析部１４は、他の領域とは異なる色（背景色）の領域があるか否か、丸又は四角の枠で囲まれた領域があるか否か、矢印又は星印等が付与された領域があるか否か、吹き出しを用いて記載された領域があるか否か、カギ括弧又は丸括弧等が付与された領域があるか否か等を判断する。

ページ構成解析部１４は、その他の特徴を有する領域があると判断した場合（Ｓ２２：ＹＥＳ）、その領域の特徴を抽出し、会議資料情報ＤＢ２４のその他の情報の欄に格納する（Ｓ２３）。ページ構成解析部１４は、その他の特徴を有する領域がないと判断した場合（Ｓ２２：ＮＯ）、ステップＳ２３の処理をスキップし、会議資料に含まれる全てのページの会議資料データに対して上述した処理を終了したか否かを判断する（Ｓ２４）。

ページ構成解析部１４は、全てのページに対する処理を終了していないと判断した場合（Ｓ２４：ＮＯ）、ステップＳ１に処理を戻し、まだ処理されていないページの会議資料データを抽出し（Ｓ１）、抽出した会議資料データに対して、上述したステップＳ２〜Ｓ２３の処理を行なう。ページ構成解析部１４は、全てのページに対する処理を終了したと判断した場合（Ｓ２４：ＹＥＳ）、上述した処理を終了する。これにより、会議サーバ１の制御部１０（キーワード抽出部１６）が行なう判定処理に用いられる会議資料情報ＤＢ２４が生成される。

図１０及び図１１は会議資料データの例を示す模式図である。例えば、会議資料データにおいて、図１０（ａ）に示した会議資料が１ページ目で、図１０（ｂ）に示した会議資料が２ページ目で、図１０（ｃ）に示した会議資料が３ページ目で、図１０（ｄ）に示した会議資料が４ページ目であるとする。このような会議資料データに基づいてページ構成解析部１４が会議資料情報を生成した場合、図５に示すような会議資料情報を生成できる。

具体的には、図１０（ａ）に示す１ページ目の会議資料について、ページ構成解析部１４は、会議資料の左側の位置に横書きで７行のテキストの領域があることを検出し、検出したテキストは黒文字で記載され、そのフォントはゴシック体で、サイズは１２ポイントであることを検出し、更に、そのテキストの領域内に「割合」というキーワードを検出する。また、ページ構成解析部１４は、会議資料の右下側の位置に四角い図の領域があることを検出する。

また、図１０（ｂ）に示す２ページ目の会議資料について、ページ構成解析部１４は、会議資料の左側の位置に横書きのテキストの領域があることを検出し、検出したテキスト中の上から１行目は、赤文字で記載され、そのフォントはゴシック体で、サイズは１４ポイントであり、その他の４行は、黒文字で記載され、そのフォントはゴシック体で、サイズは１２ポイントであることを検出する。また、ページ構成解析部１４は、会議資料の右下側の位置に四角い図の領域があることを検出する。

また、図１０（ｃ）に示す３ページ目の会議資料について、ページ構成解析部１４は、会議資料の左側の位置に横書きのテキストの領域があることを検出し、検出したテキスト中の上から１行目は、黒文字で記載され、そのフォントはゴシック体で、サイズは２４ポイントであり、その他の４行は、黒文字で記載され、そのフォントはゴシック体で、サイズは１２ポイントであることを検出する。また、ページ構成解析部１４は、会議資料の右下側の位置に四角い図の領域があることを検出する。

また、図１０（ｄ）に示す４ページ目の会議資料について、ページ構成解析部１４は、会議資料の左側の位置に横書きのテキストの領域があることを検出し、検出したテキスト中の上から１行目は、黒文字で記載され、そのフォントはCentury体で、サイズは１２ポイントであり、その他の４行は、黒文字で記載され、そのフォントはゴシック体で、サイズは１２ポイントであることを検出する。また、ページ構成解析部１４は、会議資料の右下側の位置に四角い図の領域があることを検出する。

また、会議資料データにおいて、図１１（ａ）に示した会議資料が１ページ目で、図１１（ｂ）に示した会議資料が２ページ目で、図１１（ｃ）に示した会議資料が３ページ目で、図１１（ｄ）に示した会議資料が４ページ目であるとする。このような会議資料データに基づいてページ構成解析部１４が会議資料情報を生成した場合、図６に示すような会議資料情報を生成できる。

具体的には、図１１（ａ）に示す１ページ目の会議資料について、ページ構成解析部１４は、会議資料の上側の位置に表の領域があることを検出し、検出した表が３行３列の構成を有し、表に含まれる各要素に「ＡＢＣ」、「ＸＹＺ」というキーワードを検出する。なお、図１１（ａ）に示す会議資料中のテキストの領域についての説明は省略する。表に含まれる各要素は、図１１（ａ）に示すように罫線によって区切られている構成に限らず、所定の間隔を隔てることによって各要素を区切ってある構成でもよい。また、図１１（ｂ）に示す２ページ目の会議資料について、ページ構成解析部１４は、会議資料の上側の位置に表の領域があることを検出し、検出した表が３行３列の構成を有し、表に含まれる各要素に「Ａ社」、「Ｂ社」、「Ｃ社」というキーワードを検出する。

また、図１１（ｃ）に示す３ページ目の会議資料について、ページ構成解析部１４は、会議資料の左上側の位置に棒グラフ及び折れ線グラフの領域があることを検出し、会議資料の右下側の位置に円グラフの領域があることを検出し、検出した各グラフの特徴（棒グラフであれば各棒の色）を検出する。なお、図１１（ｃ）に示す会議資料中のテキストの領域についての説明は省略する。また、図１１（ｄ）に示す４ページ目の会議資料について、ページ構成解析部１４は、会議資料の全体にテキストの領域があることを検出し、検出したテキストの４行目〜５行目が四角い枠で包囲されていることを検出する。

なお、会議資料情報ＤＢ２４は、会議が開催されるまでに生成されて登録されていればよい。従って、ページ構成解析部１４による会議資料情報の生成処理及び会議資料情報ＤＢ２４への登録処理は、会議が予約された直後に行なう必要はない。会議資料情報の生成処理及び会議資料情報ＤＢ２４への登録処理は、例えば、１日における所定時刻に、複数の会議についてまとめて行なってもよい。また、会議資料情報ＤＢ２４に格納される会議資料情報は、ページ構成解析部１４によって会議資料データから自動的に生成される構成のほかに、例えば、会議の登録者によって手動で登録されてもよい。

なお、ページ構成解析部１４は、会議資料中のテキスト、図、グラフ、表の位置のほかに、同一の会議資料中の各オブジェクト（テキスト、図、グラフ、表）の相対的な位置を示す情報を検出して会議資料情報ＤＢ２４に格納してもよい。例えば、テキストの右下側に図があるということを示す情報を会議資料情報ＤＢ２４に格納してもよい。

次に、本実施形態の会議サーバ１において、上述したように会議資料情報ＤＢ２４に格納された会議資料情報を用いて制御部１０が行なう判定処理についてフローチャートに基づいて説明する。図１２は会議資料情報を用いた判定処理の手順を示すフローチャートである。なお、以下の処理は、会議サーバ１の制御部１０（音声認識部１５、キーワード抽出部１６、位置特定部１７を含む）によって実行される。

会議サーバ１の制御部１０は、上述したような通信会議の中継処理を行ないつつ、ある通信会議において、端末装置４，４…間で送受信される音声信号を通信部１２で取得したか否かを判断する（Ｓ３１）。なお、端末装置４，４…の制御部４０は、マイクロホン３１によって集音された音声信号を随時会議サーバ１へ送信している。会議サーバ１の制御部１０は、音声信号を取得していないと判断した場合（Ｓ３１：ＮＯ）、通信会議の中継処理を行ないつつ待機する。

音声信号を取得したと判断した場合（Ｓ３１：ＹＥＳ）、音声認識部１５は、取得した音声信号に対して、音声認識用ＤＢ２５を用いた音声認識を行ない（Ｓ３２）、音声信号をテキスト情報に変換する。キーワード抽出部１６は、生成したテキスト情報に対して、言語解析用ＤＢ２６を用いた言語解析を行ない、テキスト情報を単語に分解する（Ｓ３３）。キーワード抽出部１６は、分解した単語と、会議資料情報ＤＢ２４に格納してある各情報及び位置特定情報ＤＢ２７に格納してある各情報とを照合する（Ｓ３４）。

具体的には、キーワード抽出部１６は、分解した単語が、会議資料情報ＤＢ２４に格納してあるいずれかの情報に一致するか否かを判断する（Ｓ３５）。より具体的には、キーワード抽出部１６は、分解した単語が、会議資料情報ＤＢ２４のテキストの位置及び特徴を示す情報の欄、テキスト中のキーワードの欄、図の位置及び特徴を示す情報の欄、グラフの位置、種類及び特徴を示す情報の欄、表の位置及び構成を示す情報の欄、表中のキーワードの欄、その他の情報の欄のいずれかに格納されている情報に一致するか否かを判断する。

キーワード抽出部１６は、分解した単語が、会議資料情報ＤＢ２４に格納してあるいずれかの情報に一致すると判断した場合（Ｓ３５：ＹＥＳ）、一致した情報に対応する位置を示す情報を会議資料情報ＤＢ２４から読み出す（Ｓ３６）。例えば、端末装置４，４…間でやり取りされる音声情報に「赤い文字」が含まれている場合、キーワード抽出部１６は、図５に示す会議資料情報に基づいて、この会議資料データの２ページ目の上から１行目のテキストが赤文字であることを検出する。この場合、キーワード抽出部１６は、対応する位置の情報として、２ページ目の左側のテキスト領域の上から１行目を特定し、この情報を位置の情報として読み出す。

また、端末装置４，４…間でやり取りされる音声情報に「割合」が含まれている場合、キーワード抽出部１６は、図５に示す会議資料情報に基づいて、この会議資料データの１ページ目の左側のテキストに「割合」が含まれていることを検出する。この場合、キーワード抽出部１６は、対応する位置の情報として、１ページ目の左側のテキスト領域を特定し、この情報を位置の情報として読み出す。なお、キーワード抽出部１６は、読み出した位置を示す情報を位置特定部１７に通知する。

一方、会議資料情報ＤＢ２４に格納してあるいずれの情報にも一致しないと判断した場合（Ｓ３５：ＮＯ）、キーワード抽出部１６は、分解した単語が、位置特定情報ＤＢ２７に格納してあるいずれかの情報、即ち、位置を示すキーワードのいずれかに一致するか否かを判断する（Ｓ３７）。キーワード抽出部１６は、分解した単語が、位置特定情報ＤＢ２７に格納してあるいずれかの情報に一致すると判断した場合（Ｓ３７：ＹＥＳ）、一致した情報に対応する領域情報を位置特定情報ＤＢ２７から読み出す（Ｓ３８）。キーワード抽出部１６は、読み出した領域情報を位置特定部１７に通知する。

例えば、端末装置４，４…間でやり取りされる音声情報に「ページの左側」、「ページの右側」等の位置を示す単語が含まれる場合、キーワード抽出部１６は、この単語（ページの左側、ページの右側）に対応する領域情報、例えば、「ページの左側」が示す領域の左上の座標値及び右下の座標値を位置特定情報ＤＢ２７から読み出す。位置特定情報ＤＢ２７に格納してあるいずれの情報にも一致しないと判断した場合（Ｓ３７：ＮＯ）、キーワード抽出部１６は、ステップＳ４０に処理を移行する。なお、ステップＳ３６において会議資料情報ＤＢ２４から読み出した情報が、上下左右等の方向を示す情報である場合、位置特定部１７は、キーワード抽出部１６から通知された位置を示す情報に対応する領域情報を位置特定情報ＤＢ２７から読み出しておく（Ｓ３８）。例えば、会議資料情報ＤＢ２４から読み出した位置情報が「２ページ目の右上側のテキスト」である場合、この位置情報が示す領域の左上の座標値及び右下の座標値を位置特定情報ＤＢ２７から取得する。

位置特定部１７は、キーワード抽出部１６から通知された領域情報又は自身が位置特定情報ＤＢ２７から読み出した領域情報が示す領域を特定し、特定した領域に対して強調処理を行なう（Ｓ３９）。これにより、発言者の発言内容に対応する箇所を強調表示させた会議資料を会議の参加者に提供できる。会議サーバ１の制御部１０は、端末装置４，４…間での通信会議が終了したか否かを判断する（Ｓ４０）。なお、制御部１０は、会議の登録者が端末装置４において終了ボタンを操作することによって、端末装置４から会議の終了要求を受信した場合に、通信会議を終了させる。

制御部１０は、通信会議が終了していないと判断した場合（Ｓ４０：ＮＯ）、ステップＳ３１に処理を戻し、順次入力されてくる音声信号に対して上述した処理を繰り返す。また、制御部１０は、通信会議が終了したと判断した場合（Ｓ４０：ＹＥＳ）、上述した処理を終了する。

上述したように、本実施形態の会議サーバ１は、複数の端末装置４，４…間での通信会議を中継しつつ、会議資料情報ＤＢ２４及び位置特定情報ＤＢ２７に格納してある各情報に基づいて、各参加者に提供している会議資料において、発言者の発言内容に該当する箇所を特定する。そして、特定した箇所を強調して表示させることにより、発言者の発言内容を他の参加者に効率よく通知できる。

図１３及び図１４は強調表示された会議資料データの例を示す模式図である。例えば、図１０（ａ）に示す会議資料が各端末装置４，４…のディスプレイ３３及び会議サーバ１のディスプレイ１３ａで表示されているとする。この状態で、１人の参加者（質問者、発言者）が、「このページの上から３行目…」と発言した場合、会議サーバ１は、位置特定情報ＤＢ２７に基づいて位置を示す情報として「このページ」及び「上から３行目」を検出する。これにより、会議サーバ１は、図１３（ａ）に示すように、表示中の会議資料の上から３行目を含む領域を強調させて表示させることができる。なお、図１３（ａ）では、発言者の発言内容に対応する箇所の白黒を反転させて表示させているが、黒字の背景を所定の色で表示させてもよい。

また、図１０（ｂ）に示す会議資料が各端末装置４，４…のディスプレイ３３及び会議サーバ１のディスプレイ１３ａで表示されているとする。この状態で、１人の参加者（質問者、発言者）が、「赤い文字で書かれている箇所…」、「赤文字で書かれている箇所…」又は「赤で書かれている箇所…」等と発言した場合、会議サーバ１は、会議資料情報ＤＢ２４に基づいて会議資料に関する情報として「赤い文字」、「赤文字」又は「赤」を検出する。これにより、会議サーバ１は、図１３（ｂ）に示すように、表示中の会議資料の赤い文字で記載されている領域（図１３（ｂ）では「今月の売上」）を強調させて表示させることができる。

また、図１０（ｃ）に示す会議資料が各端末装置４，４…のディスプレイ３３及び会議サーバ１のディスプレイ１３ａで表示されているとする。この状態で、１人の参加者（質問者、発言者）が、「大きい文字で書かれている箇所…」又は「大きく書かれている箇所」と発言した場合、会議サーバ１は、会議資料情報ＤＢ２４に基づいて会議資料に関する情報として「大きい文字」又は「大きく」を検出する。これにより、会議サーバ１は、図１３（ｃ）に示すように、表示中の会議資料の、他の文字よりもサイズが大きい文字で記載されている領域（図１３（ｃ）では「今月の売上」）を強調させて表示させることができる。

また、図１０（ｄ）に示す会議資料が各端末装置４，４…のディスプレイ３３及び会議サーバ１のディスプレイ１３ａで表示されているとする。この状態で、１人の参加者（質問者、発言者）が、「英語で書かれている箇所…」又は「アルファベットで書かれている箇所…」と発言した場合、会議サーバ１は、会議資料情報ＤＢ２４に基づいて会議資料に関する情報として「英語」又は「アルファベット」を検出する。これにより、会議サーバ１は、図１３（ｄ）に示すように、表示中の会議資料の英語（アルファベット）で記載されている領域を強調させて表示させることができる。

また、図１１（ａ）に示す会議資料が各端末装置４，４…のディスプレイ３３及び会議サーバ１のディスプレイ１３ａで表示されているとする。この状態で、１人の参加者（質問者、発言者）が、「表中の２列目の２行目…」と発言した場合、会議サーバ１は、位置特定情報ＤＢ２７に基づいて位置を示すキーワードとして「表」、「２列目」及び「２行目」を検出する。これにより、会議サーバ１は、図１３（ｅ）に示すように、表示中の会議資料の表中の２列目の２行目の升目（要素）を含む領域を強調させて表示させることができる。なお、図１３（ｅ）では、発言者の発言内容に対応する箇所（２列目２行目の要素）の背景を、他の要素の背景と異なる色で表示させているが、このような構成に限らない。

また、図１１（ｂ）に示す会議資料が各端末装置４，４…のディスプレイ３３及び会議サーバ１のディスプレイ１３ａで表示されているとする。この状態で、１人の参加者（質問者、発言者）が、「Ｂ社のシステムは…」と発言した場合、会議サーバ１は、会議資料情報ＤＢ２４に基づいて会議資料に関する情報として「Ｂ社」を検出する。これにより、会議サーバ１は、図１３（ｆ）に示すように、表示中の会議資料の表中のＢ社に関する欄（要素）を含む領域を強調させて表示させることができる。なお、図１３（ｆ）では、発言者の発言内容に対応する箇所（Ｂ社に関する要素）の背景を、他の要素の背景と異なる色で表示させているが、このような構成に限らない。

また、図１１（ｃ）に示す会議資料が各端末装置４，４…のディスプレイ３３及び会議サーバ１のディスプレイ１３ａで表示されているとする。この状態で、１人の参加者（質問者、発言者）が、「このページの上の図…」と発言した場合、会議サーバ１は、位置特定情報ＤＢ２７に基づいて位置を示すキーワードとして「このページ」及び「上の図」を検出する。これにより、会議サーバ１は、図１４（ａ）に示すように、表示中の会議資料の上の図を含む領域を強調させて表示させることができる。なお、図１４（ａ）では、発言者の発言内容に対応する箇所（図）を閉曲線で囲んで表示させているが、この閉曲線を点滅させて表示させてもよく、対応する図自体を点滅させて表示させてもよい。

また、図１１（ｃ）に示す会議資料が各端末装置４，４…のディスプレイ３３及び会議サーバ１のディスプレイ１３ａで表示されているとする。この状態で、１人の参加者（質問者、発言者）が、「この円グラフ…」と発言した場合、会議サーバ１は、会議資料情報ＤＢ２４に基づいて会議資料に関する情報として「円グラフ」を検出する。これにより、会議サーバ１は、図１４（ｂ）に示すように、表示中の会議資料中の円グラフを含む領域を強調させて表示させることができる。なお、図１４（ｂ）では、発言者の発言内容に対応する円グラフを白抜き矢符で指示しているが、このような構成に限らない。

同様に、図１１（ｃ）に示す会議資料が各端末装置４，４…のディスプレイ３３及び会議サーバ１のディスプレイ１３ａで表示されているとする。この状態で、１人の参加者（質問者、発言者）が、「この折れ線グラフ…」と発言した場合、会議サーバ１は、会議資料情報ＤＢ２４に基づいて会議資料に関する情報として「折れ線グラフ」を検出する。これにより、会議サーバ１は、図１４（ｃ）に示すように、表示中の会議資料中の折れ線グラフを含む領域を強調させて表示させることができる。なお、図１４（ｃ）では、発言者の発言内容に対応する折れ線グラフを閉曲線で囲んで表示させているが、このような構成に限らない。

また、図１１（ｃ）に示す会議資料が各端末装置４，４…のディスプレイ３３及び会議サーバ１のディスプレイ１３ａで表示されているとする。この状態で、１人の参加者（質問者、発言者）が、「棒グラフの青い項目…」と発言した場合、会議サーバ１は、会議資料情報ＤＢ２４に基づいて会議資料に関する情報として「棒グラフ」及び「青い項目」を検出する。これにより、会議サーバ１は、図１４（ｄ）に示すように、表示中の会議資料中の棒グラフに含まれる青い項目（左から３本目の棒）を含む領域を強調させて表示させることができる。

また、図１１（ｄ）に示す会議資料が各端末装置４，４…のディスプレイ３３及び会議サーバ１のディスプレイ１３ａで表示されているとする。この状態で、１人の参加者（質問者、発言者）が、「四角で囲んだ部分…」と発言した場合、会議サーバ１は、会議資料情報ＤＢ２４に基づいて会議資料に関する情報として「四角で囲んだ」を検出する。これにより、会議サーバ１は、図１４（ｅ）に示すように、表示中の会議資料中の四角の枠で囲まれた領域を強調させて表示させることができる。なお、図１４（ｅ）では、発言者の発言内容に対応する領域を閉曲線で囲んで表示させているが、このような構成に限らない。

本実施形態の会議サーバ１は、会議資料データから生成された会議資料情報に基づいて、会議資料中の、発言者の発言内容に該当する箇所を特定し、特定した箇所を強調させて表示させる。よって、例えば、発表者が発表している場合に、発表内容に対応した箇所を強調表示させることにより、発表者が会議資料（表示画面）中のどの箇所についての説明を行なっているのかを聴講者に通知できる。また、質疑応答又は議論を行なう際に、発言者の発言内容に対応した箇所を強調表示させることにより、発言者が会議資料（表示画面）中のどの箇所についての発言を行なっているのかを他の参加者（発表者も含む）に通知できる。よって、会議の円滑な進行及び各参加者の理解の促進が図られる。

本実施形態の会議サーバ１は、発言者の発言内容に対応する箇所を強調された会議資料を端末装置４，４…のディスプレイ３３又は会議サーバ１のディスプレイ１３ａに表示させる構成であった。例えば、会議の参加者が同室内にいる状況であれば、発言者の発言内容に対応する箇所を強調された会議資料を会議サーバ１のディスプレイ１３ａに表示させることによって、端末装置４，４…のディスプレイ３３における会議資料の表示を妨げることなく、発言者の発言内容に対応する箇所を各参加者に通知できる。また、会議の参加者が遠隔地にいる状況であれば、発言者の発言内容に対応する箇所を強調された会議資料を端末装置４，４…のディスプレイ３３に表示させることによって、発言者の発言内容に対応する箇所を各参加者に確実に通知できる。

本実施形態の会議サーバ１は、発言者の発言内容が、会議資料情報ＤＢ２４に格納されているいずれかの情報又は位置特定情報ＤＢ２７に格納されているいずれかの情報に一致するか否かの照合処理を、通信会議を開催している間継続して行なっていた。このほかに、例えば、照合処理を行なうか否かを、例えば、会議の議長、発表者、登録者等によって切り替えることができるように会議サーバ１を構成してもよい。これにより、発言内容に該当する箇所を強調表示させる処理を、所望のタイミング、例えば、質疑応答中又は議論中のみに制限できる。例えば、会議資料を用いたプレゼンテーション中は、発表者（プレゼンター）の発表内容に該当する箇所を逐次強調表示させる必要がない場合が多く、このような場合に不要な処理を削減できる。

本実施形態の会議サーバ１は、例えば、テキスト領域における文字を反転表示させる方法、対応する図、グラフ又は表等のオブジェクトを閉曲線によって包囲する方法、対応する領域の背景を異なる色又は模様に変更する方法、矢印マーク等を表示させて対応する箇所を指し示す方法によって、発言者の発言内容に該当する箇所を強調表示させていた。このほかに、例えば、対応する領域を点滅させる方法等の照明効果によって、発言者の発言内容に該当する箇所を強調表示させてもよい。また、表示画面による効果だけでなく、例えば所定の通知音を出力させる等の音響効果も用いて発言者の発言内容に該当する箇所を強調表示させることにより、より効率よく、発言者の発言内容に該当する箇所を他の参加者に通知できる。

本実施形態の会議サーバ１は、会議の参加者の発言内容、具体的には、端末装置４，４…間で送受信される音声信号に、会議資料情報ＤＢ２４又は位置特定情報ＤＢ２７に記憶されている情報が含まれているか否かを判定していた。しかし、会議システム１００では、例えば、会議サーバ１にマイクロホンが接続され、このマイクロホンを用いて、発表者（プレゼンター、議長）、質問者又は討論者が発言することも考えられる。この場合、会議サーバ１は、通信部１２を介して受信した音声信号ではなく、マイクロホンを介して直接入力される音声信号に、会議資料情報ＤＢ２４又は位置特定情報ＤＢ２７に記憶されている情報が含まれているか否かを判定してもよい。

本実施形態では、各ユーザを識別するユーザ情報としてユーザＩＤ及びパスワードを用いる構成であった。しかし、このような構成に限られず、各ユーザの名刺をスキャナで読み取った情報をユーザ情報として用いてもよい。この場合、各ユーザが、繁雑な入力処理によって自身のユーザ情報を入力する必要がなく、操作性が向上する。特に、会議システム１００にユーザ登録されていないユーザ（例えば来客者）が会議に参加する際に要する操作が簡略化される。

以上、本発明の好適な実施形態についてそれぞれ具体的に説明したが、各構成及び動作等は適宜変更可能であって、上述の実施形態に限定されることはない。

１００会議システム
１会議サーバ（会議中継装置）
１０制御部（情報提供部）
１２通信部（音声取得部）
１５音声認識部
１６キーワード抽出部（抽出部）
１７位置特定部（特定部、強調処理部）
４端末装置（通信装置）

Claims

複数の通信装置と通信可能に接続され、前記複数の通信装置間で行なわれる通信会議を中継する会議中継装置において、
会議資料を表示させるための資料情報を前記複数の通信装置に提供する情報提供部と、
音声情報を取得する音声取得部と、
該音声取得部が取得した音声情報を認識してテキスト情報に変換する音声認識部と、
該音声認識部が変換したテキスト情報が示す前記会議資料中の領域を特定する特定部と、
該特定部が特定した前記会議資料中の領域を強調させて表示させるための処理を、前記情報提供部が提供する資料情報に行なう強調処理部と
を備えることを特徴とする会議中継装置。
前記特定部は、前記会議資料中の上下左右方向の領域を特定するようにしてあることを特徴とする請求項１に記載の会議中継装置。
前記特定部は、複数行に亘って情報が記載されている前記会議資料中のいずれかの行を含む領域を特定するようにしてあることを特徴とする請求項１又は２に記載の会議中継装置。
前記特定部は、複数種類のオブジェクトが記載されている前記会議資料中のいずれかのオブジェクトを含む領域を特定するようにしてあることを特徴とする請求項１から３までのいずれかひとつに記載の会議中継装置。
前記特定部は、前記テキスト情報が示す特性を有するオブジェクトを含む領域を特定するようにしてあることを特徴とする請求項４に記載の会議中継装置。
前記特定部は、マトリクス状の図表が記載されている前記会議資料中の図表におけるいずれかの要素を含む領域を特定するようにしてあることを特徴とする請求項１から５までのいずれかひとつに記載の会議中継装置。
前記特定部は、複数頁からなる前記会議資料中のいずれかの頁を特定するようにしてあることを特徴とする請求項１から６までのいずれかひとつに記載の会議中継装置。
前記特定部は、前記テキスト情報が示す特性を有する文字を含む領域を特定するようにしてあることを特徴とする請求項１から７までのいずれかひとつに記載の会議中継装置。
前記特定部は、前記テキスト情報が示す特性を有する領域を特定するようにしてあることを特徴とする請求項１から８までのいずれかひとつに記載の会議中継装置。
前記音声認識部が変換したテキスト情報に含まれる単語を抽出する抽出部を備え、
前記特定部は、前記抽出部が抽出した単語を含む領域を特定するようにしてあることを特徴とする請求項１から９までのいずれかひとつに記載の会議中継装置。
前記特定部は、前記テキスト情報が示す領域として、１枚の会議資料が有する複数の領域のいずれかを特定するようにしてあることを特徴とする請求項１から１０までのいずれかひとつに記載の会議中継装置。
コンピュータに、通信可能に接続された複数の通信装置間で行なわれる通信会議を中継させるためのコンピュータプログラムにおいて、
コンピュータに、
会議資料を表示させるための資料情報を前記複数の通信装置に提供するステップと、
音声情報を取得し、取得した音声情報を認識してテキスト情報に変換するステップと、
変換したテキスト情報が示す前記会議資料中の領域を特定するステップと、
特定した前記会議資料中の領域を強調させて表示させるための処理を、前記通信装置に提供する資料情報に行なうステップと
を実行させることを特徴とするコンピュータプログラム。