JP4482348B2 - リアルタイムホワイトボードストリーミングのためのシステムおよび方法 - Google Patents

Description

本発明は、ネットワーク型環境においてコンピューティング装置にホワイトボードコンテンツをストリーミングするためのシステムおよび方法を対象とする。より詳細には、本発明は、高画質処理された一連のホワイトボードイメージを１つまたは複数の遠隔会議の参加者にリアルタイムに送信して、会議中に会議のすべての参加者のネットワークベースの共同作業を可能にするためのシステムおよび方法を対象とする。

会議は、多くの労働者の労働時間のかなりの部分を占める。会議に費やされるこの時間、および会議に参加する往復の移動に費やされる時間および費用をより効率よく使用できるようにすることによって、生産性の大幅な向上、および大幅なコスト削減につながる。

多くの会議のシナリオでは、意見交換、講演、プロジェクト計画会議、特許情報開示などに頻繁にホワイトボードを使用する。ボードに書かれたことを記録し、コピーすることは、しばしばこうした会議中の多くの参加者の積極的な貢献および参加の妨げになる。その結果、何らかの自動的なやり方でホワイトボードコンテンツ（ｗｈｉｔｅｂｏａｒｄ ｃｏｎｔｅｎｔ）をキャプチャするためのいくつかの取り組みが実施されている。

どの会社もみな、情報およびアイディアの自由な流れに依存して各製品およびサービスを向上させている。組織内外の人間間の有効な共同作業によって製品の質が向上し、製品またはプロジェクトの開発準備期間がうまく活用され、コストが低減する。しかし、有効な共同作業は難しいことが多い。有効な会議を妨げる１つの問題は、参加者が物理的に同じ場所にいないということである。会議に参加するための出張は、長い移動時間を考慮すると非常に時間がかかり、また費用もかかるおそれがある。特に会議が国中にわたる場合、または他の国または他の大陸である場合、参加者は、２〜３時間の会議のために、１日かけて会議場に行き、１日かけて戻ることが往々にしてある。

いくつかの文献に上述のような従来の技術に関連した技術内容が開示されている（例えば、非特許文献１参照）。

Abowd, G.D., C.G.Atkeson, J.ABrotherton, T.Enqvist, P.Gulley, J.Lemon著「Investigationg the capture, integration and access problem of ubiquitous comptuting in an educational setting」ＣＨＩ’９８会報、１９９８年 ５月、ｐｐ．４４０−４４７

したがって、物理的に同じ場所にいない多くの参加者を伴う会議の開催しやすさを向上させ、こうした遠隔の参加者がリアルタイムに会議に参加でき、アイディアを共有できるようにすることが大いに必要である。

本発明は、このような状況に鑑みてなされたもので、その目的とするところは、会議中に会議のすべての参加者のネットワークベースの共同作業を可能にする、リアルタイムホワイトボードストリーミングのためのシステムおよび方法を提供することにある。

本発明は、ネットワーク型環境においてコンピューティング装置にホワイトボードコンテンツをストリーミングするためのシステムおよび方法を対象とする。本発明は、リアルタイムホワイトボードストリーミングのシステムおよび方法と称され、会議中にネットワークベースの共同作業を提供するためのホワイトボードイメージ生成技術の拡張である。本発明の一実施形態では、ネットワーク接続された各クライアントは、会議の音声コンテンツ、および高画質処理されたホワイトボードコンテンツ（ビデオイメージまたは一連のスナップショットイメージ）を受信することができる。別の実施形態では、ネットワーク接続された各クライアントは、音声コンテンツ、および実際のホワイトボードとは離れたディスプレイに表示される、または実際の物理的ホワイトボード自体に生成される注釈コンテンツを送信することができる。ストリーミングコンテンツは、例えばＭｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ（登録商標）ＭｅｓｓｅｎｇｅｒやＮｅｔ Ｍｅｅｔｉｎｇなど外部のコラボレーションフレームワーク（ｃｏｌｌａｂｏｒａｔｉｏｎ ｆｒａｍｅｗｏｒｋ）上に構築される。ホワイトボードの高画質処理されたライブビデオは、遠隔会議の参加者のパーソナルコンピュータ（ＰＣ）にストリームされ、参加者は、コメントおよび注釈を返送することができる。その結果得られるシステムによって、分散型会議のための自然な共同作業用ツールが作られる。

このシステムの一般的なシナリオは、１箇所、通常は一般的な会議室に集合するＮ人の参加者、および各自のオフィスまたは他の遠隔地にいるＭ（一般に１〜３）人の個人（遠隔地にいる参加者）を含む意見交換を含む。

Ｎ人の参加者は、ホワイトボード、ホワイトボードコンテンツをキャプチャするカメラ、会議の音声をキャプチャするマイクロフォン装置、会議用サーバー、プロジェクタ、会議用サーバーに接続されているテレビまたは他のディスプレイ、および好ましくはマイクロフォン装置に取り付けられている拡声器を備えた会議室に集まる。Ｍ人の個々の参加者はそれぞれ、デスクトップコンピュータまたはノートブックコンピュータ、スピーカー、マイクロフォン、および遠隔地の参加者のコンピュータを会議用サーバーに接続するネットワーク接続を備えた各自のオフィスまたは他の遠隔地に座る。

会議室のＮ人の参加者は、共同作業用スペースとしてホワイトボードを使用して、ホワイトボード上に描くことによってアイディアを共有する。ホワイトボードコンテンツは、すぐに、事実上リアルタイムにキャプチャされ、ネットワークを介してホワイトボードの高画質処理されたイメージを遠隔地の参加者に転送することによって遠隔地の参加者と共有される。口頭での討議はマイクロフォンによってキャプチャされ、音声も、好ましくは方向情報（directional information）（例えば声紋を使用した音声の追跡）とともにこの手段を介して遠隔地の参加者に送信される。

遠隔地の参加者は、会議室の拡声器で再生される音声を介して会議に参加する。また、遠隔地の参加者は、キャプチャされたホワイトボードフレームに注釈を付けることによっても会議に参加することができ、注釈付きのホワイトボードフレームが会議室のディスプレイ上および他の遠隔地の参加者のコンピュータ上に表示される。さらに、ブザーや何らかの視覚的合図などの信号を使用して、会議の参加者に、遠隔地の参加者がホワイトボードコンテンツに入力を提供したことを知らせることができる。

注釈を含む会議全体を、将来見るためにアーカイブすることができる。ホワイトボードおよび注釈は、タイムスタンプが押され、したがって音声と同期される。

上述したように、遠隔地の参加者は、注釈および口頭によるコメントをホワイトボードコンテンツ上に提供することができる。会議室のディスプレイは、ホワイトボード自体とは異なり、ホワイトボードコンテンツおよび注釈を表示する。代替のシナリオは、会議室の実際のホワイトボードに直接投影される遠隔地の参加者の注釈を投影することである。このシナリオの利点は、遠隔地の参加者がホワイトボードコンテンツの発展に積極的に参加できることである。

上記のシナリオでは、遠隔地の参加者は従来のＰＣを使用している。しかし、遠隔地の参加者は、代わりにＴａｂｌｅｔ ＰＣを使用することができる。Ｍｉｃｒｏｓｏｆｔ社のＴａｂｌｅｔ ＰＣは、フル装備型パーソナルコンピュータの設計であり、ユーザーは、キーボードの使用を要する代わりに、スタイラスまたはデジタルペンセンシティブタッチ画面（stylus or digital pen-sensitive touch screen）上で自然な手書きを使用して記録を取ることができる。インク技術によって、遠隔地の参加者が注釈を公開および／または非公開にするのがかなり簡単になる。

上述したように、リアルタイムホワイトボードストリーミングのシステムおよび方法は、サーバーベース側およびクライアントベース側を有する。以下の段落では、これらについてより詳しく説明する。

リアルタイムホワイトボードストリーミングのシステムおよび方法のサーバーベース側は一般に、１）イメージシーケンスのセルを背景セル、前景セル、またはストロークセルとして分類する分類手順、２）前景オブジェクト（人物など）およびペンストローク無しにホワイトボードカラーを算出する動的ホワイトボード背景初期設定および更新手順、３）入力ビデオシーケンス内のホワイトボード領域を高画質処理する能率的なリアルタイム手順、４）新しく示されたストロークをホワイトボード上に抽出する分析手順の４つの主要部から成る。

本発明によるシステムおよび方法は、最初に、ホワイトボードのイメージフレームのリアルタイムシーケンスから成る一連のスナップショットまたはライブホワイトボードビデオ入力を取得する。このスナップショットシーケンスまたはビデオは、リアルタイムにフレームごとに処理される。

スナップショットまたはビデオのホワイトボードイメージフレームのシーケンスがセルベース動き検出プロセスに入力される。このプロセスでは、フレームの所与のシーケンスの各イメージフレームがセルに分割される。対応する各セル位置がある時間にわたって比較され、照明またはカラーの変化が検出される。大幅な照明の変化があった場合、ホワイトボードカラーマッチングプロセスアクション（whiteboard color matching process action）が実行される。これについては以下で詳述する。大幅な照明の変化がない場合、ビデオフレームの各セルは、前景セル、ホワイトボード背景セル、またはストロークセルとして分類される。セル分類では、その概念は、ストロークのホワイトボードコンテンツのみがホワイトボード背景上で可視であるように、人物およびホワイトボードの部分を隠す他のオブジェクトのイメージの部分を取り除くことである。

また、セル分類を使用して、ホワイトボード、および表示されたホワイトボードの前に立っている人物などの前景のオブジェクトを含む高画質処理されたライブビデオストリームであるホワイトボードビデオストリームを作成する。別のデータストリーム、ホワイトボードおよびストロークのみのデータストリームも作成され、ホワイトボード上のストロークのみが高画質処理されて、前景オブジェクト無しにホワイトボードに表示される。

ホワイトボードおよび前景のオブジェクトを含む高画質処理されたイメージを表示するために、イメージの高画質処理が行われる。イメージ高画質処理プロセスで、ホワイトボードカラーがより均一になり、ホワイトボードコンテンツ（ホワイトボードに書かれているもの）のストロークの彩度が向上し、ストロークがより鮮明で読みやすくなる。

セル分類の別の出力は、ストロークがホワイトボードに追加されたか、またはホワイトボードから取り除かれたかに関する判定である。このプロセスアクションでは、リアルタイムホワイトボードストリーミングのシステムおよび方法は、セルのストロークコンテンツが増減したかどうか（すなわち、ホワイトボードコンテンツの追加の書き込みまたは消去に対応する）を判定する。セルのストロークコンテンツの変化があった場合、コンテンツへのこれらの変化は、ホワイトボードデータストリームに出力される。

さらに、セル分類の後、システムは、ホワイトボードカラーモデルを更新すべきかどうかを判定する。ホワイトボードカラーモデル更新処理は、ホワイトボードカラーの漸進的な変化を識別する。例えば、照明状態のこれらのわずかな変化は、太陽の前を通過する雲、またはホワイトボード上に影を投じる何かによるものであり得る。漸進的な照明の変化が識別された場合、ホワイトボードカラーモデルデータベース内の現在のホワイトボードカラーモデルが更新される。

上述したように、セルベース動き検出プロセスで大幅な照明の変化が観察されたとき、本発明によるシステムおよび方法は、観察された照明の変化を現在のホワイトボードカラーモデルに組み入れるかどうかを判定する。新しい照明状態がホワイトボードカラーモデルデータベース内のホワイトボードカラーモデルに対応している場合、このモデルは、その後のセル分類に使用される。しかし、カラーモデルが見つからない場合、新しいカラーモデルが初期設定または推定され、ホワイトボードカラーモデルデータベースに追加される。

本発明によるシステムおよび方法には多くの利点がある。本発明によるシステムおよび方法によって、遠隔会議の参加者は、遠隔地に出張する時間および出費無しに積極的に会議に参加できるようになる。本発明によるシステムおよび方法によって、より読みやすいバージョンの前景オブジェクトを含むホワイトボードのデータストリーム、およびより読みやすい前景オブジェクトを含まないホワイトボードコンテンツのデータストリームを提供する。

上記の利点に加えて、本発明の別の利点は、以下の詳細な説明を添付の図面とともに併せ読めば、明らかになるであろう。

以上説明したように本発明によれば、遠隔会議の参加者は、遠隔地に出張する時間および出費無しに積極的に会議に参加できるようになる。

以下、図面を参照して本発明を適用できる実施形態を詳細に説明する。本発明の特定の特徴、態様、および利点は、以下の説明、添付の特許請求の範囲、および添付の図面との関連でよりよく理解できるようになる。本発明の好ましい実施形態の以下の説明では、その一部を構成し、本発明を実施できる特定の実施形態の例として示す添付の図面を参照する。本発明の範囲から逸脱することなく、他の実施形態を使用でき、構造上の変更を加えることができることを理解されたい。

１．０ 動作環境の例
図１は、本発明を実施できる適したコンピューティングシステム環境１００の例を示している。コンピューティングシステム環境１００は、適したコンピューティング環境の一例にすぎず、本発明の使用または機能の範囲に関する限定を示唆するものではない。また、コンピューティング環境１００を、コンピューティングシステム環境１００の例に示した構成要素のいずれか１つ、またはその組合せに関連する依存性または必要条件を有しているものと解釈すべきではない。

本発明は、他の多くの汎用または専用コンピューティングシステム環境または構成で動作可能である。本発明との使用に適した周知のコンピューティングシステム、環境、および／または構成の例には、それだけには限定されないが、パーソナルコンピュータ、サーバーコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記の任意のシステムまたは装置を含む分散コンピューティング環境などがある。

本発明は、コンピュータによって実行されるプログラムモジュールなどのコンピュータ実行可能命令の一般的な状況で説明する。一般にプログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。また本発明は、タスクが通信ネットワークによってリンクされているリモート処理装置によって実行される分散コンピューティング環境で実施することもできる。分散コンピューティング環境では、プログラムモジュールを、メモリ記憶装置を含むローカルおよびリモートのコンピュータ記憶媒体に置くことができる。

図１を参照すると、本発明を実施するシステムの例は、汎用コンピューティング装置をコンピュータ１１０の形で含んでいる。コンピュータ１１０の構成要素は、プロセッサ１２０、システムメモリ１３０、およびシステムメモリを含む様々なシステム構成要素をプロセッサ１２０に結合するシステムバス１２１を含む。システムバス１２１は、様々なバスアーキテクチャのうちの任意のものを使用するメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含むいくつかのタイプのバス構造のどんなものでもよい。こうしたアーキテクチャには、それだけには限定されないが一例として、ＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＭＣＡ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＥＩＳＡ（Ｅｎｈａｎｃｅｄ ＩＳＡ）バス、ＶＥＳＡ（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ）ローカルバス、およびメザニン（Ｍｅｚｚａｎｉｎｅ）バスとしても知られるＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｓ）バスなどがある。

コンピュータ１１０は、一般に様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ１１０からアクセスできる使用可能な任意の媒体とすることができ、揮発性および不揮発性媒体、リムーバブルおよびノンリムーバブルノンリムーバブル媒体を含む。コンピュータ可読媒体は、それだけには限定されないが一例として、コンピュータ記憶媒体および通信媒体を含み得る。コンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、他のデータなど、情報を記憶するための任意の方法または技術で実施される揮発性および不揮発性のリムーバブルおよびノンリムーバブル媒体がある。コンピュータ記憶媒体には、それだけには限定されないが、ＲＡＭ（random access memory）、ＲＯＭ（read only memory）、ＥＥＰＲＯＭ（electrically erasable programmable read-only memory）、フラッシュメモリまたは他のメモリ技術、ＣＤ（compact disk）−ＲＯＭ、ＤＶＤ（digital versatile disk）または他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気ディスクストレージ、または所望の情報の格納に使用でき、コンピュータ１１０からアクセスできる他の任意の媒体などがある。通信媒体は一般に、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを、搬送波などの変調されたデータ信号または他の移送機構において具体化する。これには任意の情報配送媒体がある。「変調されたデータ信号」という用語は、信号内の情報を符号化するように設定または変更された１つまたは複数のその特徴を有する信号を意味する。通信媒体には、それだけには限定されないが一例として、有線ネットワーク、直接配線接続などの有線媒体、および音響、ＲＦ（radio frequencies）、赤外線、その他の無線媒体などの無線媒体がある。また、上記のどんな組合せでもコンピュータ可読媒体の範囲内に含まれるものとする。

システムメモリ１３０は、読取専用メモリ（ＲＯＭ）１３１やランダムアクセスメモリ（ＲＡＭ）１３２など、揮発性および／または不揮発性メモリの形態のコンピュータ記憶媒体を含む。ＢＩＯＳ（Basic Input/Output System）１３３は、例えば起動中など、コンピュータ１１０内の要素間での情報の転送を助ける基本ルーチンを含み、一般にＲＯＭ１３１に格納される。ＲＡＭ１３２は一般に、プロセッサ１２０からすぐにアクセス可能な、かつ／またはプロセッサ１２０が現在処理しているデータおよび／またはプログラムモジュールを含む。図１は、それだけには限定されないが一例として、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７を示している。

コンピュータ１１０は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータ記憶媒体を含むこともできる。一例にすぎないが、図１は、ノンリムーバブル不揮発性磁気媒体から読み取り、あるいはそこに書き込むハードディスクドライブ１４１、リムーバブル不揮発性磁気ディスク１５２から読み取り、あるいはそこに書き込む磁気ディスクドライブ１５１、およびＣＤ−ＲＯＭや他の光媒体など、リムーバブル不揮発性光ディスク１５６から読み取り、あるいはそこに書き込む光ディスクドライブ１５５を示している。動作環境の例で使用できる他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータ記憶媒体には、それだけには限定されないが、磁気テープカセット、フラッシュメモリカード、ＤＶＤ、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどがある。ハードディスクドライブ１４１は一般に、インタフェース１４０などのノンリムーバブルメモリインタフェースを介してシステムバス１２１に接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は一般に、インタフェース１５０などのリムーバブルメモリインタフェースによってシステムバス１２１に接続される。

上述し、図１に示したドライブおよびその関連のコンピュータ記憶媒体は、コンピュータ１１０のコンピュータ可読命令、データ構造、プログラムモジュール、および他のデータの記憶を提供する。図１では例えば、ハードディスクドライブ１４１は、オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７を記憶するものとして示されている。これらの構成要素は、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７と同じであっても、異なっていてもよいことに注意されたい。オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７は少なくとも異なるコピーであることを示すために、ここではそれらに異なる番号を付している。ユーザーは、キーボード１６２や、一般にマウス、トラックボール、またはタッチパッドと呼ばれるポインティング装置１６１などの入力装置を介してコマンドおよび情報をコンピュータ１１０に入力することができる。他の入力装置（図示せず）には、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナなどがある。これらおよび他の入力装置は、しばしばシステムバス１２１に結合されているユーザー入力インタフェース１６０を介してプロセッサ１２０に接続されるが、パラレルポート、ゲームポート、ユニバーサルシリアルバス（ＵＳＢ）など他のインタフェースおよびバス構造で接続してもよい。モニタ１９１または他のタイプの表示装置もまた、ビデオインタフェース１９０などのインタフェースを介してシステムバス１２１に接続される。コンピュータは、モニタに加えて、出力周辺インタフェース１９５を介して接続できるスピーカー１９７やプリンタ１９６などの他の周辺出力装置を含むこともできる。本発明に特に重要なものとして、一連のイメージ１９３をキャプチャできるカメラ１９２（デジタル／電子スチルカメラまたはビデオカメラ、またはフィルム／写真スキャナ）もパーソナルコンピュータ１１０への入力装置として含めることができる。さらに、カメラを１つしか描いていないが、複数のカメラをパーソナルコンピュータ１１０への入力装置として含めることができる。１つまたは複数のカメラからのイメージ１９３は、適切なカメラインタフェース１９４を介してコンピュータ１１０に入力される。このインタフェース１９４は、システムバス１２１に接続され、それによってイメージを経路指定し、ＲＡＭ１３２またはコンピュータ１１０に関連する他のデータ記憶装置の１つに格納することができる。しかし、イメージデータを、カメラ１９２の使用を要することなく、上記の任意のコンピュータ可読媒体からもコンピュータ１１０に入力できることに注意されたい。

コンピュータ１１０は、リモートコンピュータ１８０など１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク型環境で動作することができる。リモートコンピュータ１８０は、パーソナルコンピュータ、サーバー、ルーター、ネットワークＰＣ、ピアデバイス、または他の一般のネットワークノードでよく、一般にコンピュータ１１０に関連して上述した多くまたはすべての要素を含むが、図１にはメモリ記憶装置１８１のみを示している。図１に示した論理接続は、ローカルエリアネットワーク（ＬＡＮ）１７１および広域エリアネットワーク（ＷＡＮ）１７３を含むが、他のネットワークを含むこともできる。こうしたネットワーキング環境は、オフィス、全社規模のコンピュータネットワーク、イントラネット、およびインターネットではごく一般的である。

ＬＡＮネットワーキング環境で使用する場合、コンピュータ１１０は、ネットワークインタフェースまたはアダプタ１７０を介してＬＡＮ１７１に接続される。ＷＡＮネットワーキング環境で使用する場合、コンピュータ１１０は一般に、モデム１７２、またはインターネットなどＷＡＮ１７３にわたって通信を確立する他の手段を含む。モデム１７２は、内蔵のものでも外付けのものでもよく、ユーザー入力インタフェース１６０または他の適切な機構を介してシステムバス１２１に接続することができる。ネットワーク型環境では、コンピュータ１１０に関連して示したプログラムモジュール、またはその一部をリモートメモリ記憶装置に格納することができる。図１は、それだけには限定されないが一例として、リモートアプリケーションプログラム１８５をメモリ装置１８１上に存在するものとして示している。図示したネットワーク接続は例であり、コンピュータ間の通信リンクを確立する他の手段を使用してもよいことは理解されよう。

ここまで動作環境の例を説明してきた。この説明のセクションの残りの部分は、本発明を具現化するプログラムモジュールの説明に充てる。

２．０ リアルタイムホワイトボードストリーミングのシステムおよび方法
２．１ 概要
リアルタイムホワイトボードストリーミングのシステムおよび方法は、一般にサーバーベースの構成要素を有しており、ネットワークベースの環境に配置されている１つまたは複数のリモートクライアントを有することができる。高画質処理されたライブビデオまたは高画質処理されたホワイトボードのスナップショットのリアルタイムシーケンスが遠隔会議の参加者のＰＣにストリームされ、参加者は、ホワイトボードコンテンツに対する注釈、および会議の議事に対する口頭によるコメントを返送することができる。

図２に示すように、このシステムの一般的なシナリオは、例えば一般的な会議室２０２など１つの場所にいるＮ人の参加者、およびそれぞれ各自のオフィスまたは他の遠隔地２０４ａ〜２０４ｍにいるＭ（一般に１〜３）人の遠隔地の参加者を含む意見交換を含む。

Ｎ人の参加者は、ホワイトボード２０６、ホワイトボードコンテンツをキャプチャするカメラ２０８、会議の音声をキャプチャするマイクロフォン２１０、会議用サーバー２１４、プロジェクタ、会議用サーバー２１４に接続されているテレビまたは他のディスプレイ２１２、および好ましくはマイクロフォン装置に取り付けられている拡声器２１６を備えた会議室２０２に集まる。Ｍ人の個々の参加者はそれぞれ、デスクトップコンピュータまたはノートブックコンピュータ２１８、スピーカー（図示せず）、マイクロフォン／ヘッドセット２２０、および遠隔地の参加者のコンピュータ２１８を会議用サーバー２１４に接続するネットワーク接続２２２を備えた各自のオフィスまたは他の遠隔地２０４ａ〜２０４ｍに座る。

会議室２０２のＮ人の参加者は、共同作業用スペースとしてホワイトボード２０６を使用して、ホワイトボード上に描くことによってアイディアを共有する。ホワイトボードコンテンツは、すぐにキャプチャされ、高画質処理されたホワイトボードコンテンツを各自のオフィスまたは他の遠隔地２０４ａ〜２０４ｍの各自のコンピュータ２１８に転送することによって遠隔地の参加者と共有される。口頭での討議はマイクロフォン２１０によってキャプチャされ、音声が、好ましくは方向情報とともに遠隔地の参加者に送信される。

遠隔地の参加者は、会議室の拡声器２１６で再生される音声を介して会議に参加する。また、遠隔地の参加者は、キャプチャされたホワイトボードフレームに注釈を付けることによっても会議に参加することができ、注釈付きのホワイトボードフレームが会議室のディスプレイ２１２上および各自のオフィスまたは他の遠隔地２０４ａ〜２０４ｍの参加者のコンピュータ２１８上に表示される。ポケットベル、ブザー、点滅する表示などの視覚的アラートなどの信号を使用して、会議の参加者に、遠隔地の参加者が注釈を付けたことを知らせることができる。

２．２ サーバーベースのリアルタイムホワイトボードストリーミングのシステムおよび方法
一般に、図３に示すように、リアルタイムホワイトボードストリーミングのシステムおよび方法は、機能上、１）イメージシーケンスのイメージセルを背景セル、前景セル、またはストロークセルとして分類する分類手順（プロセスアクション３０２）、２）前景オブジェクト（人物など）およびペンストローク無しにホワイトボードカラーを算出する動的ホワイトボード背景初期設定および更新手順（プロセスアクション３０４）、３）入力イメージシーケンス内のホワイトボード領域を高画質処理する能率的なリアルタイム手順（プロセスアクション３０６）、および４）新しく示されたストロークをホワイトボード上に抽出する分析手順（プロセスアクション３０８）の４つの主要部から成る。イメージ高画質処理手順の出力は高画質処理されたホワイトボードイメージシーケンス（プロセスアクション３１０）であり、ストローク分析手順の出力はホワイトボードデータのみのストリーミング（プロセスアクション３１２）である。

より具体的には、図４に示すように、本発明によるシステムおよび方法は、最初に、プロセスアクション４０２で示すように、ホワイトボードのイメージフレームのリアルタイムシーケンスから成るライブホワイトボード（ＷＢ）入力を取得する。スナップショットまたは写真のこのビデオまたはシーケンスは、リアルタイムにフレームごとに処理される。

ホワイトボードイメージフレームのシーケンスがセルベース動き検出プロセス４０４に入力される。このプロセスでは、フレームの所与のシーケンスの各イメージフレームがセルに分割される。対応する各セル位置がある時間にわたって比較され、照明の変化が検出される（プロセスアクション４０６）。大幅な照明の変化があった場合、ホワイトボードカラーマッチングプロセスアクションが実行される（プロセスアクション４０８）。これについては以下で詳述する。大幅な照明の変化がない場合、ビデオフレームの各セルは、前景セル、ホワイトボード背景セル、またはストロークセルとして分類される（プロセスアクション４１０）。セル分類では、その概念は、ストロークのホワイトボードコンテンツのみがホワイトボード上で可視であるように、人物またはホワイトボードの部分を隠す他のオブジェクトのイメージの部分を取り除くことである。また、セル分類を使用して、プロセスアクション４１４で示すように、ホワイトボード、および表示されたホワイトボードの前に立っている人物などの前景のオブジェクトを含む高画質処理されたライブビデオまたはスナップショットストリームであるホワイトボードイメージストリームを作成する。ストリームは、プロセスアクション４１２に示すように、高画質処理手順を介して高画質処理される。別のデータストリーム、ホワイトボードデータストリームも作成され、ストローク処理（プロセスアクション４１６）が行われた後で、ホワイトボード上のストロークのみが高画質処理されて前景オブジェクト無しに表示される（プロセスアクション４１８）。

ホワイトボードおよび前景のオブジェクトを含む高画質処理されたイメージを表示するために、プロセスアクション４１２に示すように、イメージの高画質処理が行われる。イメージ高画質処理プロセス（プロセスアクション４１２）で、ホワイトボードカラーがより均一になり、ホワイトボードコンテンツ（ホワイトボードに書かれているもの）のストロークの彩度が向上し、ストロークがより鮮明で読みやすくなる。

セル分類の別の出力は、プロセスアクション４１６に示すように、ストロークがホワイトボードに追加されたか、またはホワイトボードから取り除かれたかに関する判定である。このプロセスアクションでは、リアルタイムホワイトボードストリーミングのシステムおよび方法は、セルのストロークコンテンツが増減したかどうかを判定する。セルのストロークコンテンツの変化があった場合、このコンテンツは、ホワイトボードデータストリームに出力される（プロセスアクション４１８）。

さらに、プロセスアクション４２０に示すように、セル分類の後、システムは、ホワイトボードカラーモデルを更新すべきかどうかを判定する。ホワイトボードカラーモデル更新処理は、例えば、太陽の前を通過する雲、またはホワイトボード上に影を投じる物体による照明状態のわずかな変化によるホワイトボードカラーの漸進的な変化を識別する。変化が識別された場合、使用可能な全ホワイトボードカラーモデルのデータベースであるホワイトボードカラーモデルデータベース４２２内の現在のホワイトボードカラーモデルが更新される（プロセスアクション４２０）。

上述したように、大幅な照明の変化が観察されたとき（プロセスアクション４０６）、本発明によるシステムおよび方法は、観察された照明の変化を現在のホワイトボードカラーモデルに組み入れるかどうかを判定する（プロセスアクション４０８）。新しい照明状態がホワイトボードカラーモデルデータベース内のホワイトボードカラーモデルに対応している場合（プロセスアクション４２４）、このモデルは、その後のセル分類に使用される。しかし、カラーモデルが見つからない場合、新しいカラーモデルが初期設定（プロセスアクション４２６）され、ホワイトボードカラーモデルデータベースに追加される。

本発明による全体的なシステムおよび方法について説明してきた。以下の段落では、上記のプロセスアクションについて詳しく説明する。

２．２．１ ライブホワイトボードビデオまたはスナップショットシーケンスの入力
本発明によるシステムおよび方法は、最初に、ホワイトボードのイメージフレームのリアルタイムシーケンスから成るライブホワイトボードビデオ入力または一連のスナップショットを取得する。このビデオまたは一連のスナップショットは、本質的にリアルタイムにフレームごとに処理される。図５に、サンプルのビデオシーケンスから選択された一部のフレームを示している。シーケンスのうちのどれだけのフレームが処理されるかは、ある程度会議用サーバー２１４の中央処理装置（ＣＰＵ）の可用性に依存する。すべてではないが一部の入力フレームを、ＣＰＵの可用性に基づいてその後のホワイトボード背景カラー処理に使用する。前景およびストロークの計算のリアルタイム処理、および高画質処理されたホワイトボードビデオストリームおよびホワイトボードデータストリームの作成に使用する高画質処理は、会議用サーバーの処理の処理能力が制約されている場合、ホワイトボード背景の計算より優先する。

２．２．２ セルベースの動き検出およびセル分類
セル分類は、セルを１）前景、２）ホワイトボード背景、または３）ホワイトボードに書かれたストロークのいずれかとして識別する。リアルタイムホワイトボードストリーミングのシステムおよび方法は、入力されたイメージシーケンスから空白のホワイトボードカラーを算出する。この手順での問題は、主にホワイトボードの前にある障害物により、ホワイトボード全体が任意の単一のフレームで見えない可能性があることである。したがって、ホワイトボード背景は、最初にイメージフレームの部分を前景または背景として分類することによって構築する必要がある。背景部分のみを使用して、ホワイトボード背景カラーを算出する。

本発明によるシステムおよび方法の一動作実施形態では、セルと呼ばれる１６×１６のピクセルのイメージブロックごとに前景／背景の決定が行われる。一般に、１）カメラおよびホワイトボードが静止しているので、ホワイトボード背景のセルは、シーケンスにわたって静止している、２）ホワイトボードを隠す前景オブジェクト（ホワイトボードの前に立っている人物など）がある場合があるが、ホワイトボード背景に属するセルが一般に大部分であるという２つの主なヒューリスティックス（heuristics）を利用してセル分類を行う。

したがって、図６に示す本発明の一実施形態では、イメージフレームセルが入力される（プロセスアクション６０２）。プロセスアクション６０４に示すように、セルのイメージが、前のフレームの同じセルのイメージ（例えば同じ位置のセル）と比較される。各フレームで、Ｎ個（リアルタイムホワイトボードストリーミングのシステムおよび方法の一動作実施形態では４個）を超えるフレームにわたって静止しているすべてのセルは、背景の候補とみなされ、ホワイトボードカラーモデル更新モジュールに送り込まれる（プロセスアクション６１０）。セルエージ（ｃｅｌｌ ａｇｅ）がエージしきい値（ａｇｅ ｔｈｒｅｓｈｈｏｌｄ）（一実施形態では４）未満の場合、プロセスアクション６０８に示すように、セルは前景セルとして分類され、セルエージは１にリセットされる。セルカラーに任意の大幅な違いがあった場合、セルは前景セルとして分類される（プロセスアクション６１０）。差異テストは、セルカラーのＹチャネル、Ｕチャネル、Ｖチャネルがそれぞれ、ホワイトボードカラーの対応する相手から１５、５、および５の強度レベル内でなければならないというものである。前景セルに関して、これらのセルが誤って分類されていないことを確認するために追加のテストが行われて、セルが他の前景セルに連結されているかどうかが判定される（プロセスアクション６１２）。前景セルのあるグループが分離されている場合、これらの分類は戻され、分類プロセスが続行する。分離の定義は、本発明の一動作実施形態では、５×５のセル区域内に存在する前景セルが６未満であることである。問題のセルが上記のテストで前景であるとそれまでに判定されなかった場合、プロセスアクション６１４で、セルがエッジを含んでいるかどうかが判定される。セルがエッジを含んでいる場合は、ストロークセルとして指定される（プロセスアクション６１６）。セルがエッジを含んでいない場合は、ホワイトボード背景セルとして分類される（プロセスアクション６１８）。

２．２．３ ホワイトボードカラーの推定およびホワイトボードカラーモデル更新
ホワイトボードカラーモデル更新（プロセスアクション４２０）では、ホワイトボード背景カラーの漸進的な変化を探す。最も一般的な意味では、リアルタイムホワイトボードストリーミングのシステムおよび方法は、各セルの平均カラーを判定することによって漸進的な変化があるかどうかを調べるためのテストを行う。セルの平均カラーが以前とほぼ同じである場合、漸進的な変化が起こっていると判断される。一実施形態のシステムは、セルが背景セルかそうでないかの判定時に行ったのと同じテストを適用する。こうした漸進的な変化が確認されると、新しいホワイトボードカラーモデルが作成される代わりに既存のホワイトボードカラーモデルが更新される。既存のホワイトボードカラーモデル内で背景セルまたはストロークのセルのカラーモデルのみが更新される。前景セルは更新されない。

より具体的には、図７に示すように、本発明の一動作実施形態では、プロセスアクション７０２に示すように、ホワイトボードのイメージがセルに分割される。セルサイズは、ホワイトボード上の単一の文字の予想されるサイズ（本発明の一動作実施形態ではこれは１６×１６ピクセルであった）とほぼ同じであることが好ましい。インクは、入射光を吸収するので、ホワイトボードピクセルの輝度はペンストロークピクセルより高い。したがってセル内のホワイトボードカラーは、最も高い輝度を有するカラーである。実際には、センサノイズによってもたらされる誤差を低減するために、上位第１０百分位数のピクセルのカラーが平均される。したがって、各セルのカラーは、プロセスアクション７０６で示すように、まず（例えば１６×１６＝２５６）ピクセルを明度でソートし、次いで上位１０％の値の平均を取ることによって算出される。その結果得られたセルカラーは、最小平均平方根誤差アルゴリズム（ｌｅａｓｔ−ｍｅｄｉａｎ−ｓｑｕａｒｅ ｅｒｒｏｒ ａｌｇｏｒｉｔｈｍ）への入力として使用される。このアルゴリズムは、プロセスアクション７０８に示すように、カラー上に全平面を合わせて、外れ値のカラー（ｏｕｔｌｉｅｒ ｃｏｌｏｒ）（前景カラー）を含むセルを捨てる。残りのセルが背景セルとみなされ、そのカラーを使用してホワイトボード背景が更新される。前景オブジェクトが隠していたセルによって作られた穴を埋めるために、既知のカラーのセルがカラーの無い周囲のセルにも広められる。残りのセルのカラーは、付録Ａで概説されるカラー推定およびフィルタ処理技術を使用して前に計算されたセルカラーと調和する。

ホワイトボードカラーモデルの更新を行うために、リアルタイムホワイトボードストリームのシステムおよび方法では、元のカラーモデルのより多くの割合（例えば９０％）および背景またはストロークの新しいカラーのより少しの割合（例えば１０％）を取る。

２．２．４ 大幅な照明の変化
上述したように、大幅な照明の変化が考えられる（プロセスアクション４０６）。例えば、会議室のライトを消すと、ホワイトボードの所与のイメージのほぼすべてのセルが変化する。大幅な照明の変化があった場合、セルベース動き検出（プロセスアクション４０４）は、ほとんどのセル（例えば本発明の一動作実施形態で照明の大幅な変化を示すのに使用されているしきい値はセルの９５％）が変化したことを報告する。次いでホワイトボード背景がリセットされ、新しいカラーモデルが初期設定されまたはホワイトボードカラーモデルデータベースから抽出される。次いでセル分類手順などが繰り返し開始される。

２．２．５ イメージの高画質処理
白色調整またはカラー高画質処理の目的は、入力されたホワイトボードイメージを、均一な背景（一般的に白）上に同じペンストロークを含むイメージに変換することである。ピクセルごとに、カラー値＝Ｃ_{ｌｉｇｈｔ}、ストロークペンカラー＝Ｃ_ｐｅｎ、およびホワイトボード背景カラー＝Ｃ_ｗｂとする。ホワイトボードは物理的に均一に着色されるように構築されるので、Ｃ_ｗｂは、すべてのピクセルで一定していると仮定することができる。したがって、入力イメージにおける均一性の欠如は、各ピクセルに対する入射光量が異なることによる。したがって、白色調整またはカラー高画質処理の第１の手順は、ピクセルごとにＣ_{ｌｉｇｈｔ}を推定することである。その結果は実際には、図７のプロセスアクション７０２に示し、ホワイトボードカラー推定のセクションで上述したように、空白のホワイトボードのイメージである。

空白のホワイトボードカラーが算出されると、これを使用して、入力ビデオシーケンスのホワイトボード領域を均一に白色にすることができ、ペンストロークのカラーも飽和させることができる。図８に示すように、空白のホワイトボードのイメージが算出されると（プロセスアクション８０２）、入力イメージが次の２つのステップでカラー高画質処理される。

１．背景を均一に白色にする（プロセスアクション８０４）。セルごとに、算出されたホワイトボードカラー（入射光Ｃ_{ｌｉｇｈｔ}と等しい）を使用して、セルの各ピクセルのカラーをスケール調整する。

２．イメージノイズを低減し、ペンストロークの彩度を向上させる。各ピクセルの各カラーチャネルの値は、Ｓ型曲線に従って再マップされる。

Ｓ曲線の峻度は、ｐによって制御される。本発明の一動作実施形態では、ｐは０．７５に設定される（プロセスアクション８０６）。

２．２．６ ストロークの識別および抽出
セルブロックレベルのストロークも抽出されて、ホワイトボードデータストリームとして出力される。ストロークは１）静止である、２）いくつかのエッジを有するという性質を有する。図９に示すように、エッジおよび直線を識別するために、２つのソーベル（Sobel）フィルタ［-1 -2 -1；0 0 0；1 2 1］および［-1 0 1；-2 0 2；-1 0 1］を入ってくる各フレームに対して実行する（プロセスアクション９０２〜９０６）。第１のソーベルフィルタは水平方向のエッジを識別するために、第２のソーベルフィルタは垂直向のエッジを識別するために実行される。このプロセスは、入力イメージに存在する輪郭素（ｅｄｇｅｌ）を識別する。輪郭素は、フィルタ処理された２つのイメージの対応するピクセルの絶対値の合計であると定義される。ストロークセルとみなされるには、セルごとに、Ｎ個（本発明の一動作実施形態では４個）のフレームにわたって静止しており、その値がしきい値（本発明の一動作実施形態では６０）より大きい輪郭素を含んでいなければならない。プロセスアクション９０８に示すように、ストロークセルのこれらの輪郭素がストロークのエッジを画定する。

２．２．７ ホワイトボードカラーモデルマッチング
システムが開始し、照明の変化イベントが検出されると、Ｎ個（例えば４個）のフレームが取得され、その期間中に静止しているセルのカラーがデータベースのホワイトボード背景イメージのそれぞれと比較される。静止セルがすべてデータベース内のイメージの１つの対応するセルカラーに一致する場合（差異テストのＹＵＶカラーモデルおよび１５、５、５を使用）、一致が存在し、システムは引き続き一致したイメージからのカラーで残りの非静止セルを初期設定する。背景カラー更新手順が安定すると、データベースとのマッチングが再度行われる。一致がない場合、現在のカラーイメージがデータベースに追加される。

２．３ クライアントベースのリアルタイムホワイトボードストリーミングのシステムおよび方法
上述したように、会議室における口頭での討議は、マイクロフォンでキャプチャされ、音声が、好ましくは方向性のある情報とともに遠隔地の参加者に送信される。上述したように、高画質処理されたホワイトボードイメージストリームおよびホワイトボードデータストリームが遠隔地の参加者に送信される。遠隔地の参加者は、リアルタイムデータストリームのどちらか一方または両方を受信することを選択することができる。

遠隔地の参加者は、会議室の拡声器で再生される音声を介して、かつキャプチャされたホワイトボードフレームに注釈を付けることによって会議に参加する。遠隔地の参加者の注釈は、例えばマウスまたは他の入力装置を使用してテキストを追加する、ホワイトボードに書かれた項目を囲む、または図または他の印を書くことで構成することができる。遠隔地の参加者が付す注釈は、ネットワークを介して、適した任意のリアルタイム通信プロトコルを使用して会議用サーバーに送信され、表示される。ホワイトボード情報はすでに存在しているので、会議用サーバーに送信するのは、ホワイトボードのイメージ全体ではなく注釈だけでよい。これは、注釈データの送信に要するネットワークの処理能力がごくわずかでよいという点で有利である。

２．３．１ 個別ディスプレイへの注釈
注釈付きのホワイトボードフレームは、会議室のディスプレイに表示される。このディスプレイは、会議室にある実際のホワイトボードからは離れているが、ホワイトボードコンテンツ、および遠隔地の参加者の注釈を含む。遠隔地のある参加者の注釈は、他の遠隔地の参加者のデスクトップにも表示される。ブザーや点滅する画面などの信号は、遠隔地の参加者が付した注釈への、会議室および遠隔地の参加者の注意をホワイトボードに引き付ける。

２．３．２ 実際のホワイトボードへの注釈の投影
あるいは、遠隔地の参加者の注釈を、会議室の実際の物理的なホワイトボード上に表示することができる。これは、リモートクライアントの注釈を、プロジェクタを使用して実際のホワイトボードに投影することによって行うことができる。

２．４ Ｔａｂｌｅｔ ＰＣを使用した注釈
上記のシナリオでは、遠隔地の参加者は従来のＰＣを使用している。しかし、遠隔地の参加者は、代わりにＴａｂｌｅｔ ＰＣを使用することができる。Ｍｉｃｒｏｓｏｆｔ社のＴａｂｌｅｔ ＰＣは、フル装備型パーソナルコンピュータの設計であり、ユーザーは、キーボードの使用を要する代わりに、スタイラスまたはデジタルペンセンシティブタッチ画面上で自然な手書きを使用して記録を取ることができる。インク技術によって、遠隔地の参加者が注釈を公開および／または非公開にするのがかなり簡単になる。

２．５ アーカイブ
注釈を含む会議全体を、将来見るためにアーカイブすることができる。ホワイトボードおよび注釈は、タイムスタンプが押され、したがって音声と同期される。したがって会議の参加者は、各自の都合のよいときに会議を見直すことができる。さらに、会議に参加できなかった人が後日会議を見ることができる。

本発明の上記の説明は、例示および説明の目的で提示してきた。網羅的なものではなく、または本発明を開示した正確な形式に限定するものではない。上記の教示を考慮して多くの変更および変形が可能である。

付録Ａ
ホワイトボードカラーの推定
セルが前景セルとして分類されたときに生じるホワイトボードカラーの穴を埋めるために、以下の手順を使用してホワイトボードカラーを推定し、これらの穴を埋める。この手順は、次の２つの所見に基づく。
１）ホワイトボードカラーは通常、１つのセルから別のセルに変化するが、急激には変化しない。ホワイトボードカラーに対する平滑性または連続性がある。
２）照明状態は一般に短時間では変化しないため、前景オブジェクトがない場合、ホワイトボードカラーは同じままであるはずである。

目的は、変化する前景を含み、しかし一定した、または徐々に変化する照明の状態にある一連のイメージからホワイトボードカラーを推定することである（例えば１つのライトを点けるまたは消すなど照明状態が突然変化する場合については、変化を検出し複数のカラーモデルを使用することによりセクション２．２．４ですでに取り上げている）。照明状態が一定している、または徐々に変化するという仮定は、ホワイトボードの各ピクセルのカラーがある時間にわたって限られた範囲内でしか変化し得ないことを意味し、本発明の一実施形態では、この変化は、ゼロ平均および小さい標準偏差を伴う確率過程としてモデル化される。また、ホワイトボードの反射特性は、周囲のピクセルにおいて類似していると仮定する。これは、周囲のピクセル間のホワイトボードカラーが限られた範囲内でしか変化し得ないことを意味し、本発明の一実施形態では、この仮定は、１つのピクセルのホワイトボードカラーがもっぱら周囲のピクセルを条件とするようなマルコフ確率場（Markov random field）としてモデル化される。推定手順は、以下のステップから成る。

１．初期設定。ホワイトボードカラーを初期設定する必要がある。これは、いくつかの方法で行うことができる。１つの方法は、周囲の平滑性の制約を課すことによってただ１つのイメージからホワイトボードカラーを推定する技術を使用することである。各ピクセルでのカラー推定値は、この推定値の精度を特徴付ける共分散行列（covariance matrix）と関連付けられる。

２．カラーマッチング。入力イメージが与えられると、ホワイトボードの予想されるカラーおよび実際に観測されたカラーがピクセルごとに比較される。それらがかなり異なっている場合、観測されたピクセルは、ストロークまたは前景オブジェクトの一部であり、そのピクセルのカラーが次のステップで破棄される。そうでない場合、そのピクセルのカラーは、ホワイトボードカラーの観測値であり、ホワイトボードカラーの更新に使用される。

３．カラー更新。入力イメージからの有効なホワイトボードカラーピクセルを使用して、確率的枠組み（ｐｒｏｂａｂｉｌｉｓｔｉｃ ｆｒａｍｅｗｏｒｋ）に基づいてホワイトボードカラーを更新する。各ピクセルのホワイトボードカラーがどの程度変更されるかは、推定されたカラーに対して観測された現在のピクセルがどの程度信頼できるか、観測された現在のピクセルが推定されたカラーとどの程度異なるか、および観測されたカラーが周囲のピクセルのカラーとどの程度異なるかによって決まる。各ピクセルのカラー推定値の共分散行列も、それに応じて更新される。

ステップ２およびステップ３が入力イメージごとに繰り返される。

計算の複雑さを低減するために、またホワイトボードカラーがスペースにおいて実際に非常にゆっくり変化することを考慮に入れて、ホワイトボード領域を１組の小さいセルに分割し、各ピクセルではなく各セルを、ホワイトボードカラーの推定の際に検討することができる。より具体的には、ホワイトボードカラーの推定の数学的詳細について、以下のセクションで述べる。

Ａ．１ 目的
この手順の目的は、ホワイトボードカラーを一連のイメージからリアルタイムに動的に推定することである。ここでは、照明がある時間にわたってほぼ一定していると仮定する（照明が急激に変化する場合、例えばライトを消す場合、複数のホワイトボードカラーモデルを使用する必要がある）。

Ａ．２ 図
図１０を参照すると、状態変数ｘ_ｉ；ｊは、推定される各セル（ｉ，ｊ）でのホワイトボードのカラーである。観測変数ｚ_ｉ；ｊは、イメージから観測される各セル（ｉ；ｊ）でのホワイトボードのカラーであり、例えばヒストグラムによって算出することができる。

Ａ．３ 問題記述
以下と仮定する。
・時間ｔ−１での状態

共分散行列

・状態遷移

すなわち、ランダムな変動を伴う定数

（すなわち共分散行列

を伴う０を中心とする正規／ガウス分布）
・時間ｔでの観測値

この場合、観測ノイズ

ｔでの推定状態

および共分散行列

は空間的に滑らかに変化するという制約に基づく。

Ａ．４ 平滑性
４個または８個の隣接部を使用して、平滑性を次のようにモデル化することができる。

この場合ｋ∈［ｉ−１，ｉ＋１］およびｌ∈［ｊ−１，ｊ＋１］および（ｋ，ｌ）≠（ｉ，ｊ）である。

ｔでの状態の予測値は、

によって得られる。

Ａ．５ 目的関数
次いで最小化しようとする全体的なエネルギーは、

によって得られる。式中、Ωは隣接部の数である。３つの項はそれぞれ予測値、観測値、隣接部との差である。すべての差は、共分散行列によって標準化される統計的隔たりである。

Ａ．６ 解

に関して偏導関数Ｆを０に設定することによって

が得られる。式中、

は周囲の状態の平均、すなわち

である。これによって以下の解が得られる。

残念なことに、右辺の

は、未知の値

を伴う。したがって、この相互依存の問題を解決するために、次の反復手順を使用する。最初の反復では、

として予測値の平均

を使用する。その後の反復では、前の反復からの推定値の平均を使用する。反復間の唯一の変更が

であり、他のすべてはキャッシュできるので、この反復手順は非常に効果的であることに注意されたい。同様に、

の共分散は、

によって得られる。式中、Ｉは単位行列であり、

である。この場合もまた、第１の反復で

として予測値の平均

について反復手順を使用する。

Ａ．７ 実践的考察
実施では、以下の問題を考慮する必要がある。
・観測共分散（ｏｂｓｅｒｖａｔｉｏｎ ｃｏｖａｒｉａｎｃｅ）

これは、センサノイズおよび決定の不確定性を含んでいるはずである。決定の不確定性とは、

がホワイトボードカラーであるとどの程度信じるかの逆のものである。これが外れ値である場合、

を設定する。

・状態遷移ノイズ

およびその共分散行列

これを使用して照明装置または太陽光による照明のわずかな変動を補う（ライトを消したときなどの大きな変動は、複数のモデルを使用して処理すべきである）。

・平滑性共分散行列（ｓｍｏｏｔｈｎｅｓｓ ｃｏｖａｒｉａｎｃｅ ｍａｔｒｉｘ）

これは、共分散

の現在の推定値および理想的な状況での予想される変動の合計より小さくなければならない。各カラーチャネルにおいて予想される変動が５強度レベルである場合は、

を使用する。

本発明を適用できる実施形態のシステムの例を構成する汎用コンピューティング装置を示す図である。 本発明を適用できる実施形態のリアルタイムホワイトボードストリーミングのシステムおよび方法の主なシステム構成要素を示す図である。 本発明を適用できる実施形態のリアルタイムホワイトボードストリーミングのシステムおよび方法の主な機能構成要素を示す図である。 本発明を適用できる実施形態のシステムおよび方法を示す概略フロー図である。 本発明を適用できる実施形態の一連の入力イメージを示す図である。 本発明を適用できる実施形態のシステムおよび方法で使用するホワイトボードイメージセルのセル分類を示す概略フロー図である。 本発明を適用できる実施形態のシステムおよび方法で使用するホワイトボードカラー推定手順を示す概略フロー図である。 本発明を適用できる実施形態のシステムおよび方法のホワイトボードイメージの高画質処理を示す概略フロー図である。 本発明を適用できる実施形態のシステムおよび方法のストロークの識別および抽出を示す概略フロー図である。 本発明を適用できる実施形態のシステムおよび方法のホワイトボードカラー推定およびフィルタ処理の説明に使用する図である。

符号の説明

１００ コンピューティングシステム環境
１１０ コンピュータ
１２０ プロセッサ
１２１ システムバス
１３０ システムメモリ
１３１ 読取専用メモリ（ＲＯＭ）
１３２ ランダムアクセスメモリ（ＲＡＭ）
１３３ 基本入出力システム（ＢＩＯＳ）
１３４ オペレーティングシステム
１３５ アプリケーションプログラム
１３６ 他のプログラムモジュール
１３７ プログラムデータ
１４０ インタフェース
１４１ ハードディスクドライブ
１４４ オペレーティングシステム
１４５ アプリケーションプログラム
１４６ 他のプログラムモジュール
１４７ プログラムデータ
１５０ インタフェース
１５１ 磁気ディスクドライブ
１５２ リムーバブル不揮発性磁気ディスク
１５５ 光ディスクドライブ
１５６ リムーバブル不揮発性光ディスク
１６０ ユーザー入力インタフェース
１６１ ポインティング装置
１６２ キーボード
１６３ カメラ
１６４ イメージ
１６５ カメラインタフェース
１７０ ネットワークインタフェースまたはアダプタ
１７１ ローカルエリアネットワーク（ＬＡＮ）
１７２ モデム
１７３ 広域エリアネットワーク（ＷＡＮ）
１８０ リモートコンピュータ
１８１ メモリ記憶装置
１８５ リモートアプリケーションプログラム
１９０ ビデオインタフェース
１９１ モニタ
１９５ 出力周辺インタフェース
１９６ プリンタ
１９７ スピーカー
２０２ 会議室
２０４ａ．．．２０４ｍ 遠隔地
２０６ ホワイトボード
２０８ カメラ
２１０ マイクロフォン
２１２ テレビまたは他のディスプレイ
２１４ 会議用サーバー
２１６ 拡声器
２１８ デスクトップコンピュータまたはノートブックコンピュータ
２１８ａ．．．２１８ｍ コンピュータ
２２０ マイクロフォン／ヘッドセット
２２２ ネットワーク接続
４２２ ホワイトボードカラーモデルデータベース

Claims (24)

1. ホワイトボードのイメージフレームのシーケンスを入力するプロセスアクションと、
   前記ホワイトボードの前記イメージフレームのそれぞれをセルに分割するプロセスアクションと、
   イメージの前記シーケンスの前記セルにおいて大幅な照明変化があるかどうかを判定するプロセスアクションと、
   大幅な照明変化がある場合、ホワイトボードカラーマッチングプロセスを実行して、前記ホワイトボードの背景カラーの定義に使用する前記ホワイトボードのカラーがホワイトボードカラーモデルデータベース内の前記ホワイトボードのカラーを反映しているかどうかを判定するプロセスアクションと、
   大幅な照明変化がない場合、前記イメージフレームの前記セルのそれぞれを、前記ホワイトボードに書き込まれたコンテンツの前景セル、ホワイトボード背景セル、またはストロークセルとして分類するプロセスアクションと、
   前記セル分類を使用して前記ホワイトボード上の前記ストロークが高画質処理されて表示されるように、前記イメージフレームのシーケンスを高画質処理するプロセスアクションと、
   前記ホワイトボードの高画質処理されたイメージフレームのシーケンスをデータストリームで出力するプロセスアクションと
   を備えることを特徴とするホワイトボードコンテンツの高画質処理されたデータストリームを作成するコンピュータで実施されるプロセス。
2. 前記ホワイトボード上の前記ストロークが高画質処理されて表示されるように前記イメージフレームのシーケンスを高画質処理する前記プロセスアクションは、
   前記イメージフレームのシーケンス中のホワイトボード背景を表示するセルの前記ホワイトボード背景カラーをより均一にするプロセスアクションと、
   前記イメージフレームのシーケンスのイメージノイズを低減するプロセスアクションと、
   前記ホワイトボードのコンテンツのストローク彩度を向上させてストロークセルについて前記ストロークをより鮮明かつ読みやすくするプロセスアクションとを含む
   ことを特徴とする請求項１に記載のコンピュータで実施されるプロセス。
3. 前記ホワイトボードの高画質処理されたイメージフレームのシーケンスをデータストリームで出力する前記プロセスアクションは、高画質処理されたホワイトボードセルおよび高画質処理されたストロークセルのみを使用し、前景セルは使用しないことを含む
   ことを特徴とする請求項１に記載のコンピュータで実施されるプロセス。
4. 前記ホワイトボードの高画質処理されたイメージフレームのシーケンスをデータストリームで出力する前記プロセスアクションは、高画質処理されたホワイトボードセル、高画質処理されたストロークセル、および前景セルを使用することを含む
   ことを特徴とする請求項１に記載のコンピュータで実施されるプロセス。
5. 前記ホワイトボードカラーマッチングプロセスアクションは、
   新しい照明状態において前記ホワイトボード背景セルの前記カラーが、ホワイトボードカラーモデルデータベース内のホワイトボードカラーモデルに一致するかどうかを判定することと、
   前記新しい照明状態において前記ホワイトボード背景セルの前記カラーが、前記ホワイトボードカラーモデルデータベース内の前記背景セルの前記カラーを反映するホワイトボードカラーモデルに対応する場合、このホワイトボードカラーモデルをその後のセル分類に使用することと、
   前記新しい照明状態において前記ホワイトボード背景セルの前記カラーが前記ホワイトボードカラーモデルデータベース内で見つからない場合、前記新しい照明状態の前記ホワイトボードの前記ホワイトボード背景セルの前記カラーを反映する新しいホワイトボードカラーモデルを作成することとを含む
   ことを特徴とする請求項１に記載のコンピュータで実施されるプロセス。
6. ストロークが前記ホワイトボードに追加されたか、またはホワイトボードから取り除かれたかを判定するプロセスアクション
   をさらに備えることを特徴とする請求項１に記載のコンピュータで実施されるプロセス。
7. 前記イメージフレームの前記セルのそれぞれを、前記ホワイトボードに書き込まれたコンテンツの前景セル、ホワイトボード背景セル、またはストロークセルとして分類する前記プロセスアクションは、
   前記イメージのシーケンス中のイメージフレームのすべてのイメージフレームセルについて、
   イメージフレームのセルを入力するプロセスアクションと、
   前記イメージフレームのセルを、前のフレームの対応する位置にある前記セルと比べるプロセスアクションと、
   前記セルが変化していないフレーム数に基づくセルエージ（age）がエージしきい値以下である場合、前記セルを前景セルとして分類するプロセスアクションと、
   前記セルエージがエージしきい値より大きい場合、セルカラーに大幅な差があるかどうかを判定するプロセスアクションと、
   セルカラーに大幅な差がない場合、前記セルを前景セルとして分類するプロセスアクションと、
   セルカラーに大幅な差がある場合、前記セルがエッジを含んでいるかどうかを判定するプロセスアクションと、
   前記セルがエッジを含んでいる場合、前記セルをストロークセルとして分類するプロセスアクションと、
   前記セルがエッジを含んでない場合、前記セルをホワイトボード背景セルとして分類するプロセスアクションと
   を備えることを特徴とする請求項１に記載のコンピュータで実施されるプロセス。
8. 前記イメージフレームの前記セルのそれぞれを前記ホワイトボードに書き込まれたコンテンツの前景セル、ホワイトボード背景セル、またはストロークセルとして分類する前記プロセスアクションの後、ホワイトボード背景カラーモデルを更新すべきかどうかを判定するプロセスアクション
   をさらに備えることを特徴とする請求項１に記載のコンピュータで実施されるプロセス。
9. 前記セルにおいて大幅な照明変化があるかどうかを判定する前記プロセスアクションは、
   前記セルの大部分がカラー変化を呈しているかどうかを判定し、呈している場合は照明変化が生じたことを示すプロセスアクションを含む
   ことを特徴とする請求項１に記載のコンピュータで実施されるプロセス。
10. セルに分割されるホワイトボードイメージのシーケンスの各セルを、ストロークセル、ホワイトボード背景セル、または前景セルとして分類するための分類モジュールと、
    前記セルのホワイトボード背景カラーのカラーの判定に使用する動的ホワイトボード背景および初期設定モジュールと、
    ホワイトボード背景セル、前景セル、およびストロークセルから成るイメージを高画質処理するためのイメージ高画質処理モジュールと、
    ホワイトボード背景セルおよびストロークセルを使用して、前記ホワイトボードのイメージを作成するために、ホワイトボードストロークデータを追加および消去するためのモジュールと
    を備えたことを特徴とするホワイトボードデータコンテンツをストリームするためのシステム。
11. ホワイトボード背景セル、前景セル、およびストロークセルから成るホワイトボードイメージデータをストリームするためのモジュール
    をさらに備えたことを特徴とする請求項１０に記載のシステム。
12. ホワイトボード背景セルおよびストロークセルから成るホワイトボードコンテンツデータをストリームするためのモジュール
    をさらに備えたことを特徴とする請求項１０に記載のシステム。
13. ホワイトボードコンテンツデータを分類するための前記モジュールは、
    ホワイトボードの前記イメージのシーケンス中のすべてのセルについて
    イメージフレームのセルを入力するサブモジュールと、
    前記イメージフレームのセルを、前のフレームの同じ位置にあるセルの前記イメージと比べるサブモジュールと、
    前記セルが変化していないフレーム数に基づくセルエージがエージしきい値以下の場合、前記セルを前景セルとして分類するサブモジュールと、
    Ｎ個を超えるフレームの間静止しているすべてのセルを背景の候補として指定するサブモジュールと、
    セルカラーに大幅な差があるかどうかを判定し、前記セルカラーに大幅な差があった場合、前記セルを前景セルとして分類するサブモジュールと、
    前景セルとして分類されたセルが他の前景セルに連結されているかどうかを判定するサブモジュールと、
    セルが前景セルとして分類され、他のセルに接続されていない場合、その分類を未知まで戻すサブモジュールと、
    前記セルはエッジを含んでいるかどうかを判定するサブモジュールと、
    前記セルがエッジを含んでいる場合、前記セルをストロークセルとして分類するサブモジュールと、
    前記セルがエッジを含んでない場合、前記セルをホワイトボード背景セルとして分類するサブモジュールとを含む
    ことを特徴とする請求項１０に記載のシステム。
14. ホワイトボードのビデオストリームに含まれるすべてではなく一部のイメージは前記イメージのシーケンスの作成に使用される
    ことを特徴とする請求項１０に記載のシステム。
15. ホワイトボードのビデオストリームに含まれるすべてのイメージは前記イメージのシーケンスの作成に使用される
    ことを特徴とする請求項１０に記載のシステム。
16. ホワイトボードのイメージフレームのシーケンスを入力することと、
    前記ホワイトボードの前記イメージフレームのそれぞれをセルに分割することと、
    イメージの前記シーケンス中の前記セルにおいて大幅な照明変化があるかどうかを判定することと、
    大幅な照明変化がある場合、ホワイトボードカラーマッチングプロセスを実行して前記ホワイトボードの前記カラーを判定することと、
    大幅な照明変化がない場合、前記イメージフレームの前記セルのそれぞれを、前記ホワイトボードに書き込まれたコンテンツの前景セル、ホワイトボード背景セル、またはストロークセルとして分類することと、
    前記セル分類を使用して前記ホワイトボード上の前記ストロークのみが高画質処理されて表示されるように、前記イメージフレームのシーケンスを高画質処理することと
    を備えるホワイトボードのビデオストリームを送信するためのコンピュータ実行可能命令を有することを特徴とするコンピュータ読み取り可能な記録媒体。
17. 前記ホワイトボード背景セルおよびストロークセルのみを使用して前記高画質処理されたイメージのシーケンスを出力するためのコンピュータ実行可能命令をさらに備えることを特徴とする請求項１６に記載のコンピュータ読み取り可能な記録媒体。
18. 前記ホワイトボード背景セル、前景セル、およびストロークセルのみを使用して前記高画質処理されたイメージのシーケンスを出力するためのコンピュータ実行可能命令をさらに備えることを特徴とする請求項１６に記載のコンピュータ読み取り可能な記録媒体。
19. キャプチャされたホワイトボードイメージのシーケンスおよび前記キャプチャされたホワイトボードイメージのシーケンスと同期された音声を入力し、前記イメージのそれぞれをセルに分割するための入力モジュールと、
    ホワイトボードイメージデータをストロークセル、ホワイトボード背景セル、または前景セルとして分類するための分類モジュールと、
    動的ホワイトボード背景および初期設定モジュールと、
    前記ストロークセルのストロークを高画質処理し、ホワイトボード背景セルカラーをより均一にするためのイメージ高画質処理モジュールと、
    ホワイトボードストロークデータを追加および消去するためのモジュールと、
    前記前景セル、ホワイトボード背景セル、および前記ストロークセルを使用して、前景オブジェクトを含む高画質処理されたホワイトボードイメージの第１のデータストリーム、および前記ストロークセルおよびホワイトボード背景セルを使用して、しかし前景セルを使用することなく、前景オブジェクトを含んでいない高画質処理されたホワイトボードイメージの第２のデータストリームを、ネットワークを介して受信装置に送信する送信モジュールと
    を含む送信装置
    を備えたことを特徴とする高画質処理されたホワイトボードイメージのビデオストリームを送信するためのシステム。
20. 前記ネットワークを介して前記送信装置から送信された前記高画質処理されたホワイトボードイメージおよび同期された音声を受信する受信モジュールと、
    前記同期された音声を再生するスピーカーモジュールと、
    前記受信装置で前記高画質処理されたホワイトボードイメージを表示する表示モジュールと
    を含む受信装置
    をさらに備えたことを特徴とする請求項１９に記載のシステム。
21. 前記送信装置は、後に表示または送信するために前記第１のデータストリームおよび前記第２のデータストリームをアーカイブするためのモジュールをさらに含む
    ことを特徴とする請求項１９に記載のシステム。
22. 前記動的ホワイトボード背景推定および初期設定モジュールは、第１の入力イメージについて
    ピクセルごとにホワイトボード背景カラーを初期設定し、各ピクセルを前記ピクセルカラーの精度を特徴付ける共分散推定と関連付け、前記初期設定されたホワイトボードカラーを前記推定されたホワイトボードカラーとして指定し、
    入力イメージが与えられると、前記ホワイトボードの推定されたカラーと、前記入力イメージの実際の観測されたカラーとを各ピクセルで比較し、
    前記推定されたカラーおよび前記観測されたカラーが大幅に異なる場合、前記観測されたピクセルはストロークまたは前景オブジェクトの一部であり、そのピクセルの前記カラーは破棄され、
    そうでない場合、そのピクセルの前記カラーは、前記ホワイトボードカラーの更新に使用する前記ホワイトボードカラーの観測値であり、
    前記推定されたカラーに関して現在の観測されたピクセルがどの程度信頼できるか、前記現在観測されたピクセルが前記推定されたカラーとどの程度異なるか、および前記ピクセルの前記観測されたカラーが周囲のピクセルのカラーとどの程度異なるかに基づいてそれぞれ変更される、破棄されなかったこれらのピクセルの前記カラーを確率的枠組みに基づいて更新する
    ことによってホワイトボードカラーを評価する
    ことを特徴とする請求項１９に記載のシステム。
23. 前記動的ホワイトボード背景推定および初期設定モジュールは、第１の入力イメージについて
    ホワイトボードをセルに分割し、
    セルごとにホワイトボード背景カラーを初期設定し、各セルを前記セルカラーの精度を特徴付ける共分散推定と関連付け、前記初期設定されたホワイトボードカラーを前記推定されたホワイトボードカラーとして指定し、
    入力イメージが与えられると、前記ホワイトボードの推定されたカラーと、前記入力イメージの前記実際の観測されたカラーとを各セルで比較し、
    前記推定されたカラーおよび前記観測されたカラーが大幅に異なる場合、前記観測されたセルはストロークまたは前景オブジェクトの一部であり、そのセルの前記カラーは破棄され、
    そうでない場合、そのセルの前記カラーは、前記ホワイトボードカラーの更新に使用する前記ホワイトボードカラーの観測値であり、
    前記推定されたカラーに対して現在の観測されたセルがどの程度信頼できるか、前記現在観測されたセルが前記推定されたカラーとどの程度異なるか、および前記セルの前記観測されたカラーが前記周囲のセルのカラーとどの程度異なるかに基づいてそれぞれ変更される、破棄されなかったこれらのセルの前記カラーを確率的枠組みに基づいて更新する
    ことによってホワイトボードカラーを評価する
    ことを特徴とする請求項１９に記載のシステム。
24. 状態変数ｘ_ｉ；ｊを推定される各セル（ｉ，ｊ）でのホワイトボードのカラーとして定義し、観測変数ｚ_ｉ；ｊをイメージから観測される各セル（ｉ；ｊ）での前記ホワイトボードの前記カラーとして定義するプロセスアクションと、
    各セルの前記カラーを
    

    

    として算出するプロセスアクションとを含み、
    式中、第１の反復では、
    

    

    として予測値の平均
    

    

    を使用し、式中Ωは周囲のセルの数、ｋ∈［ｉ−１，ｉ＋１］、ｌ∈［ｊ−１，ｊ＋１］、（ｋ，ｌ）≠（ｉ，ｊ）であり、その後の反復では、前の反復からの推定値の平均を使用し、
    

    

    によって
    

    

    の共分散が得られ、式中Ｉは単位行列であり、
    

    

    であり、第１の反復で
    

    

    として前記予測値の平均
    

    

    を使用し、観測共分散は
    

    

    平滑性共分散行列は
    

    

    であり、
    状態遷移ノイズ
    

    

    およびその共分散行列
    

    

    を使用して照明の変動を補う
    ことを特徴とするイメージのシーケンスからホワイトボードカラーをリアルタイムに動的に評価するためのコンピュータで実施されるプロセス。
    

Images