JP2007052565A - 情報処理システム及び情報処理方法 - Google Patents

Abstract

【課題】 空間内で使用された文書を検索の手掛かりとして閲覧したい映像を検索できる情報処理装置する。
【解決手段】 情報処理システム１は、撮像手段により所定の空間を撮像したときの映像情報を該空間を撮影しているときに使用された文書に関連付けて記憶する会議データベース３０と、文書を指示する情報を検索要求として受け付ける検索要求受付部４１と、検索要求に基づいて会議データベース３０内の映像情報から検索要求で指示された文書に関連付けられているシーンを検索する検索部４３とを具備する。また、検索要求受付部４１は、空間のレイアウト図を検索画面上に提供すると共に、空間内の物体の位置を指示する手段を空間のレイアウト図上に配置する形式で検索要求を受け付ける。
【選択図】 図３

Description

本発明は、情報処理システム及び情報処理方法に関する。

従来、映像内に登場するオブジェクトや人とそれらの位置関係から、映像を抽出する技術が提案されている。また、文書を検索手掛かりとして映像にアクセスする従来技術として、ピクチャーテルコーポレーションの特許文献１やＭＰマイスターという製品が提案されている。

特許文献１は、会議で使用されたスライドのサムネイルを会議の経過時間を示すタイムライン上に提示された時間の位置に提示するので、ユーザはタイムライン上に示されたスライドのサムネイルを閲覧することによりそのスライドが提示されていた時間帯のビデオ映像を再生することが出来る。またＭＰマイスターも同様に、会議の映像を録画しながら、会議で使用されたスライドのキャプチャを行い、提示された時間とともに保存しておき、ユーザはある会議で使用されたスライドのサムネイルの一覧から、一つを選択することによりそのスライドが提示されていた時間帯のビデオ映像を再生することが出来る。

また同様に、特許文献２では、プレゼンテーション時のスライドの操作とプレゼンテーションを撮影している映像をリンクさせ、映像再生と同期させてスライドを表示し、または、スライドを選択させることにより同期した映像を閲覧できる。
特開２０００−１２５２７４号公報 特開平１０−５５３９１号公報

しかしながら、上記従来技術では、スライドを選択することにより同期した映像を閲覧できるが、まず会議を特定しなければならい。ある会議に関して閲覧したいことが予め決まっている場合は上記従来技術でも問題ないが、たとえば、自分のパーソナルコンピュータに保存してある文書を説明したときの映像を閲覧したい場合などには、会議を特定する手間が必要となる。つまり、上記従来技術では、どの会議で使用したかは分からないが、手元にあるスライドや文書が提示されていたビデオ映像を見たいという場合には対応できない。

また、上述のように、映像内に登場するオブジェクトや人とそれらの位置関係から、類似映像を抽出する技術では、映像に含まれていない現実場面でのオブジェクトや人との位置関係から、そのときの関連映像を検索することはできない。この問題を解決するため、映像に含まれていない現実場面でのオブジェクトや人との位置関係から、そのときの関連映像を検索する技術が提案されている（特願２００４−０４０６２２）。しかし、この出願に係る技術では、実空間内のオブジェクトと人の位置関係を利用したかたちの映像検索方法が網羅的に追究されているわけではない。たとえば、オブジェクトとして会議で使用された文書を検索の手掛かりとして利用していない。

そこで、本発明は、上記問題点に鑑みてなされたもので、空間内で使用された文書を検索の手掛かりとして閲覧したい映像を検索できる情報処理装置および情報処理方法を提供することを目的とする。

上記課題を解決するために、本発明の情報処理システムは、撮像手段により所定の空間を撮像したときの映像情報を該空間を撮影しているときに使用された文書に関連付けて記憶する記憶部と、前記文書を指示する情報を検索要求として受け付ける受付部と、前記検索要求に基づいて前記記憶部の映像情報から前記検索要求で指示された文書に関連付けられているシーンを検索する検索部とを具備する。本発明によれば、空間を撮影したときの映像情報はその空間を撮影したときに使用された文書に関連付けて管理されているので、空間内で使用された文書を手掛かりとして閲覧したい映像を検索できる。

前記受付部は、前記文書のファイル内容を示す手段を所定の領域に配置する形式で前記文書を指示する情報を前記検索要求として受け付けるとよい。本発明によれば、利用者は文書のファイル内容を示す手段を所定の領域に配置するだけで、その文書に関連付けられているシーンを映像情報から検索することができる。前記受付部は、前記文書の形式を前記文書を指示する情報として受け付けるとよい。本発明によれば、利用者は文書の形式を選択することにより、映像の中から選択した文書形式の文書に関連付けられたシーンを検索することができる。

前記受付部は、前記空間のレイアウト図を検索画面上に提供すると共に、前記空間内の物体の位置を指示する手段を前記空間のレイアウト図上に配置する形式で前記検索要求を受け付けるとよい。本発明によれば、空間のレイアウト図上に物体の位置を指示できるので、利用者の想起が支援される。前記受付部は、前記空間のレイアウト図を検索画面上に提供すると共に、前記文書が提示されていた位置を指示する手段を前記空間のレイアウト図上に配置する形式で前記検索要求を受け付けるとよい。本発明によれば、文書がどこに提示されていたのかを思い出しながら該当するシーンを検索できる。

前記記憶部は、前記空間内の物体の位置情報、前記空間内の人物の発話状態、前記空間内の機器の動作状況のうちの少なくとも一つを属性情報として前記映像情報に関連付けて記憶しており、前記受付部は、前記属性情報を前記検索要求として受け付ける。本発明によれば、映像情報は、物体の位置、人物の発話情報、機器の動作状況などの属性情報に関連付けて管理されているので、これらを使って検索を行うことができる。

前記受付部は、前記空間を選択する手段、前記映像の撮影日付を選択する手段、前記空間内の人物を指定する領域、前記文書を指定する領域、前記空間の見取り図を表示する領域および前記人物の発話状態を指示する手段のうちの少なくとも一つを検索画面上に提供し、該検索画面上での操作に応じて前記検索要求を受け付けるとよい。本発明によれば、検索画面上に提供されている手段を利用して実際の空間での状況を思い出しながら該当するシーンを検索することができる。本発明の情報処理システムは、前記検索部により検索されたシーンの縮小画像を前記映像の時間軸に対応させて表示する表示部をさらに具備する。本発明によれば、該当するシーンの縮小画像を見ることにより、そのシーンの概要を把握することができる。前記記憶部は、前記文書を前記映像情報の各シーンに関連付けて記憶するのが好ましい。これにより指定した文書に応じて映像内のシーンを検索することができる。

前記記憶部は、前記文書がスライドである場合、該スライドの各ページの情報を前記映像情報の各シーンに関連付けて記憶しているとよい。これによりスライドの各ページを用いて閲覧したいシーンを検索できる。前記記憶部は、前記文書がスライドである場合、該スライドの各ページのタイトルの情報を前記映像情報の各シーンに関連付けて記憶しているとよい。これによりスライドの各ページのタイトルを用いて閲覧したいシーンを検索できる。

本発明の情報処理システムは、所定の空間を撮像する撮像部と、前記空間を撮像しているときに使用される文書を認識する認識部と、前記撮像部に撮像された映像情報に前記認識部で認識された文書の情報を検索用のインデックスとして付与する付与部とを具備する。これにより後で文書情報を用いて閲覧したいシーンを検索できる。

前記付与部は、前記文書がスライドである場合、該スライドの各ページの情報を前記検索用のインデックスとして前記映像情報の各シーンに付与するとよい。これによりスライドの各ページを用いて閲覧したいシーンを検索できる。前記付与部は、前記文書がスライドである場合、該スライドの各ページのタイトルの情報を前記検索用のインデックスとして前記映像情報の各シーンに付与するとよい。これによりスライドの各ページのタイトルを用いて閲覧したいシーンを検索できる。

本発明の情報処理方法は、文書を指示する情報を検索要求として受け付けるステップと、前記検索要求に基づいて撮像手段により所定の空間を撮像したときの映像情報を該空間を撮影しているときに使用された文書に関連付けて記憶する記憶部内の映像情報から前記検索要求で指示された文書に関連付けられているシーンを検索するステップと、前記検索されたシーンの情報を表示するステップとを有する。本発明によれば、空間を撮影したときの映像情報は空間を撮影したときに使用された文書に関連付けられて管理されているため、空間内で使用された文書を手掛かりとして閲覧したい映像を検索できる。

本発明の情報処理方法は、前記空間のレイアウト図を検索画面上に提供するステップをさらに有し、前記空間内の物体の位置を指示する手段を前記空間のレイアウト図上に配置する形式で前記検索要求を受け付けるとよい。本発明によれば、空間のレイアウト図上に物体の位置を指示できるので、利用者の想起が支援される。本発明の情報処理方法は、前記空間のレイアウト図を検索画面上に提供するステップをさらに有し、前記文書が提示されていた位置を指示する手段を前記空間のレイアウト図上に配置する形式で前記検索要求を受け付けるとよい。本発明によれば、文書がどこに提示されていたのかを思い出しながら該当するシーンを検索できる。

本発明の情報処理方法は、前記空間を選択する手段、前記映像の撮影日付を選択する手段、前記空間内の人物を指定する領域、前記文書を指定する領域、前記空間の見取り図を表示する領域および前記人物の発話状態を指示する手段のうちの少なくとも一つを検索画面上に提供するステップをさらに有し、前記検索画面上での操作に応じて前記検索要求を受け付けるとよい。本発明によれば、検索画面上に提供されている手段を利用して実際の空間での状況を思い出しながら該当するシーンを検索することができる。本発明の情報処理方法は、前記検索されたシーンの縮小画像を前記映像の時間軸に対応させて表示するステップをさらに有する。本発明によれば、該当するシーンの縮小画像を見ることにより、そのシーンの概要を把握することができる。

本発明の情報処理方法は、所定の空間を撮像する撮像ステップと、前記空間を撮像しているときに使用される文書を認識する認識ステップと、前記所定の空間を撮像したときの映像情報に前記認識された文書の情報を検索用のインデックスとして付与する付与ステップとを有する。これにより後で文書情報を用いて閲覧したいシーンを検索できる。

前記付与ステップは、前記文書がスライドである場合、該スライドの各ページの情報を前記検索用のインデックスとして前記映像情報の各シーンに付与するとよい。これによりスライドの各ページを用いて閲覧したいシーンを検索できる。前記付与ステップは、前記文書がスライドである場合、該スライドの各ページのタイトルの情報を前記検索用のインデックスとして前記映像情報の各シーンに付与するとよい。これによりスライドの各ページのタイトルを用いて閲覧したいシーンを検索できる。

本発明によれば、空間内で使用された文書を検索の手掛かりとして閲覧したい映像を検索できる情報処理装置および情報処理方法を提供できる。

以下、本発明を実施するための最良の形態について説明する。図１は、本発明の情報システムの全体構成を示す図である。図１に示すように、情報処理システム１は、会議記録装置１０、会議記録装置１０で記録した会議情報を管理する情報管理装置２０、記憶部としての会議データベース（ＤＢ）３０および情報処理部４０を備える。以下において、物体には空間内に存在する人物、機器及び設備が含まれる。また空間として会議室を例にとって説明する。

この情報処理システム１は、会議映像を検索するための新しい手法として、その会議で使用された文書を利用して会議映像を検索する機能を有する。具体的には、情報処理システム１は、検索したいシーンをそのシーンで利用した文書を使って検索することができる。ここでは、検索手がかりとして、会議室、参加者や物の位置、誰の発話、発話の順序、使用した機器以外に、文書を加えている。会議が行われている間、人の位置や発話状態とともに使用された文書を記録し、会議後に参加者がこの文書を提示した時のシーンを検索したいと思ったときに、その文書を検索手掛かりとしてシステムに与えることにより映像の検索を実現できる。

会議記録装置１０は、会議情報を記録するものであり、認識部としての文書管理装置１１、人物位置特定装置１２、機器位置特定装置１３、話者認識装置１４、機器動作特定装置１５および撮像手段としての映像記録装置１６を備えている。この会議記録装置１０は、会議室毎に用意されている。各会議室に設置された会議記録装置１０には会議室ＩＤが割り当てられている。

文書管理装置１１は、各会議で用いられる文書を管理するもので、空間を撮像しているときに使用される文書を認識する機能を有する。この文書管理装置１１は、例えばプロジェクタによって投影された文書のイメージとその投影時間をキャプチャするハードウエアやソフトウエア、また、上映されているスライド文書のファイル名と各ページのタイトルを時間とともに記録するソフトウエアやアクセスしたＵＲＬ（Uniform Resource Locator）とその時間を記録するためのソフトウエア等により構成される。例えば、文書管理装置１１は、プロジェクタに接続されているパーソナルコンピュータ上で表示されているスライドを監視するソフトウエアや文書ファイルのオープン・クローズを監視するソフトウエアなどで構成されている。

人物位置特定装置１２は、各参加者の会議室内での位置を特定し保存する。この人物位置特定装置１２は、例えば人物ＩＤを記録したＩＣタグ（ＲＦＩＤタグ）、ＩＣタグから人物ＩＤを読み取るためのリーダから構成される。各個人はＩＣタグを埋め込んだＩＤカードを身に付ける。ＩＣタグには個人を特定できるような人物ＩＤが記憶されている。会議室の床面、壁面にはこの人物ＩＤを読み取るためのリーダが複数個埋め込まれている。例えば、会議室の床面には、格子状に区切られた区画の中央にリーダが埋め込まれている。リーダは、ある一定間隔で人物ＩＤ、発話フラグを読み取り、読み取った情報を情報管理装置２０へ送る。また、位置の認識方法としてリーダを机に設置してもよい。各座席に向かい合う位置にリーダを設置することにより、机の周辺に座っている人の位置と人が向いている方向を認識できる。なお、人物位置特定装置１２では、長音音波センサーを利用した位置推定技術や、マイクロフォンアレーを利用した音源推定技術などを利用することにより、人物の位置情報を自動的に取得するようにしてもよい。

機器位置特定装置１３は、会議室内でのテーブルやホワイトボードなどの機器及び設備の位置を特定し保存する。ここでは上記の人物位置特定装置１２と同様の仕組みを利用する。機器および設備には例えば、移動式のホワイトボード、椅子、机、スクリーン、ディスプレイ、プリンタ、スピーカなど会議室にあるものすべてが含まれる。話者認識装置１４は、会議中に話者を認識し保存する。この話者認識装置１４は、例えば各個人が携帯するＩＤカードに小型のマイクロフォンと書き込み機を取り付け、ある一定以上の強度の発話があった場合、ＩＣタグに発話したことを示す発話フラグをオンにする回路を持ち、人物ＩＤと読取装置ＩＤと発話フラグを情報管理装置２０へ転送する。話者認識装置１４は音声認識技術を用いることにより実現してもよい。機器動作特定装置１５は、会議室内に存在するプロジェクタや照明などの機器の動作状況を監視し、その状態の変化を情報管理装置２０へ送る。映像記録装置１６は、例えばビデオカメラで構成され、記録しているビデオ画像を情報管理装置２０へ送る。

情報管理装置２０は、映像記録装置１６で撮像された映像情報に文書管理装置１１で認識された文書の情報を検索用のインデックスとして付与する機能を持つ。すなわち、情報処理装置２０は、映像記録装置１６により所定の空間を撮像したときの映像情報を該空間を撮影しているときに使用された文書に関連付けて会議ＤＢ３０へ記憶する。また、情報管理装置２０は、文書がスライドである場合にはこのスライドの各ページの情報を検索用のインデックスとして映像の各シーンに付与する。さらに、情報管理装置２０は、文書がスライドである場合にはこのスライドの各ページのタイトルの情報を検索用のインデックスとして映像の各シーンに付与する。

この情報管理装置２０は、会議ＤＢ３０に問い合わせをし、新しい会議ＩＤを取得し、会議ＩＤと会議室の対（会議ＩＤリスト）を内部に保存する。会議ＩＤリストには現在会議が行なわれている会議室名とその会議ＩＤが保存されている。次に、情報管理装置２０は、会議ＤＢ３０に対して新たなレコードを作成し、その中に、会議ＩＤ、会議室名、日付、時間を格納する。このとき、情報管理装置２０は、開始日時と時間も会議ＤＢ３０に送り保存する。ユーザは、記録を終了する場合、会議記録装置１０に会議終了を指示する。会議記録装置１０は、会議室名と状態が終了となったことを情報管理装置２０へ送る。情報管理装置２０は、会議ＩＤリストから該当する会議ＩＤを取得し、終了時間又は会議の時間を記録する。情報管理装置２０は、会議ＩＤリストから該当する会議室名と会議ＩＤを削除する。情報管理装置２０は、ＩＤリストを参照し、会議室名から会議ＩＤを検索し、検索された会議ＩＤに対応するレコードにビデオ画像を保存する。

会議の記録時における人物位置特定装置１２並びに話者認識装置１４による処理では、ＩＤカード内のマイクによって、ＩＤカードを装着している人物の発話を検出する。人物位置特定装置１２は、人物の発話を検出した場合、書き込み装置は、ＩＤカードに埋め込まれている無線ＩＣタグの発話フラグをオンにする。人物位置特定装置１２は、人物の発話を検出しなかった場合はオフにする。また、無線ＩＣタグに人物を特定するための人物ＩＤが記録されており、リーダによって読み取られる。ここではＩＳＯ１５６９３に規定されている無線方式を採用するものとする。リーダは読み取った人物ＩＤと発話フラグとリーダ自身のリーダＩＤ及びリーダが設置されている会議室名を情報管理装置２０へ送る。情報管理装置２０は、人物ＩＤ変換リストを使って人物名を取得し、会議ＩＤリストを使って会議ＩＤを求める。情報管理装置２０は、それらの情報を会議ＤＢ３０に送る。ここでは、リーダは１秒毎に読み取りをしているものとする。

また、機器位置検出装置１３は、機器や設備にＩＤを付与した無線ＩＣタグを付与することにより、人物位置特定装置１２と同じ方法が利用できるので、ここでは説明を省略する。会議の記録時、機器動作特定装置１５は、プロジェクタ、照明の電源のオン・オフを監視する。機器動作特定装置１５は、オン・オフに変更があった場合は、その機器名、及び変化後の機器の状態、その会議室名を情報管理装置２０へ送る。情報管理装置２０は、会議室名から会議ＩＤリストを利用して、会議ＩＤを取得し、その会議ＩＤ、機器ＩＤ、機器状態、時間を記録する。情報管理装置２０は、ビデオ映像と上記の各読取装置から読み取られた人物ＩＤと発話フラグ、読み取った読取装置の読取装置ＩＤ及び機器の動作状態を受け取り、会議ＤＢ３０に保存する。このとき、１つの記録装置の開始から終了までの間に送られてきた情報を１つのレコードとして保存する。

図２は、本発明の第１実施形態に係る会議ＤＢ３０内に保存されているデータの例を示す図である。会議ＤＢ３０内には図２に示すようなデータが保存されているとする。会議ＤＢ３０は、映像記録装置１６により所定の空間を撮像したときの映像情報を該空間を撮影しているときに使用された文書や属性情報に関連付けて記憶している。文書の情報や属性情報を検索キーとして閲覧したい映像を検索できる。ここでは、一つの会議につき１つのレコードが用意され、先頭に個々の会議を識別するための会議ＩＤ、日付、場所、メンバー、機器、時間が記録されている。また２行目には文書の情報としてその会議で使用された文書名が記載されている。映像欄には映像情報としてこの会議のビデオ映像を収めたリンク先が記述されている。それ以降は、動作状態が映像のシーンごとに記録される。動作状態は会議の経過時間とともに秒毎の各参加者の位置と発話状態および機器の位置と動作状況が属性情報として映像情報に関連付けて記録されている。例えば、
00:00:01|A:132|C:000|G:056|Z:035;
は会議開始１秒後、参加者Ａが発話しており（１で示す）、部屋をある一定間の大きさの矩形状のブロックに区切った場合のＸ軸方向に３、Ｙ軸方向に２の位置にいることを示す。参加者Ｃについては、まだ参加していないことを示す。参加者Ｇについても、発話していない（０で示す）状態で、Ｘ軸方向５、Ｙ軸方向６の位置にいることを示す。また機器Ｚに関しては、電源状態はオフ（０で示す）、Ｘ＝３、Ｙ＝５の位置にあることを示している。なお、会議ＤＢ３０に格納される文書の情報や属性情報は手動で入力することもできる。

図３は、本発明の第１実施形態に係る情報処理部の構成を示す図である。図３に示すように、情報処理部４０は、検索要求受付部４１、会議室人物ＤＢ４２、検索部４３および検索結果提示部４４を備えている。検索要求受付部４１は、検索画面としてのＧＵＩ（Graphical User Interface）上の操作に応じて検索要求を受け付ける。例えば、検索要求受付部４１は、ＧＵＩ上の操作に応じて空間を撮影しているときに使用された文書を指示する情報や属性情報を検索要求として受け付ける。

会議室人物ＤＢ４２は、会議室と参加者に関する情報を保持する。会議室人物ＤＢ４２には、参加者となりえる人物の名前、ＩＤ、顔写真、および各会議室のレイアウト図などが格納されており、以下で述べるように検索要求受付部４１のＧＵＩ上に反映される。会議室人物ＤＢ４２の情報は、手動で入力することも出来る。例えば、ユーザは新入社員が新規に配属された場合、その名前、ＩＤ、写真を会議室人物ＤＢ４２へ格納する。また、ユーザは会議室が新設された場合は、その部屋名とレイアウト図を会議室人物ＤＢ４２へ登録する。検索部４３は、検索要求受付部４１からの検索要求に基づいて会議ＤＢ３０内を検索する。例えば、検索部４３は、検索要求に基づいて会議ＤＢ３０内の映像情報から検索要求で指示された文書に関連付けられているシーンを検索する。検索結果提示部４４は、検索部４３からの検索結果をディスプレイ装置上に表示する。例えば、検索結果提示部４４は、検索されたシーンの情報を検索結果としてディスプレイ装置上に表示する。

図４は、本発明の第１実施形態に係る検索要求受付部４１が提供するＧＵＩを示す図である。検索要求受付部４１は、図４のようなＧＵＩ５０を備える。検索要求受付部４１は、ＧＵＩ５０上に、空間を選択する手段としての会議室を選択するためのボタン群１００、映像の撮影日付を選択する手段としての会議の行われた時期を選択するためのカレンダー１１０、空間内の人物を指定する領域としての参加者を指定するための参加者エリア１２０、文書を指定する領域としての文書を指定するための文書エリア１２５、人物を示すアイコンを表示する人物エリア１３０、ボタン群１００のあるボタンが選択された場合にその会議室の見取り図を表示する領域としての会議室表示エリア１４０、人物の発話状態を指示する手段としての発話を指示するための発話ボタン１５０、ＧＵＩを初期状態に戻すためのリセットボタン１６０、会議中の経過時間を指示する時間スクロールバー１７０を提供する。

ボタン１００は実際の会議室のレイアウトをサムネイル化しボタンにしたものでも良い。これにより部屋を選択するときに部屋名のみでなく、部屋のレイアウトも参考に選択することが出来る。人物エリア１３０には、各個人を示す人物アイコンＡ〜Ｄが表示される。アイコンＡ〜Ｄ上には、人物の顔写真が表示されても良い。人物アイコンＡ〜Ｄの下には、個人の名前が付与される。名前が「だれか」となっている人物アイコンは、特定の人物を示さない人物アイコンである。ユーザがＧＵＩ５０上で人物アイコン等を操作すると、検索要求受付部４１は、その操作を検索クエリとして発行する。

次に情報処理部による検索の手順を示す。図５は、本発明の第１実施形態に係る検索要求受付部４１が提供するＧＵＩ５１を示す図である。図６は、本発明の第１実施形態に係る情報処理部４０全体の処理フローチャートである。図７は、本発明の第１実施形態に係る検索部４３の処理フローチャートである。図５に示す例では、検索要求受付部４１は、文書のファイル内容を示す手段としてのテキスト文書のアイコンを所定の領域に配置する形式で文書を指示する情報を検索要求として受け付ける。ユーザのパソコンのデスクトップ上にテキスト文書のアイコンがあり、ユーザはこのテキスト文書を利用したときの会議映像を見たいとする。ユーザは、図５に示すように、そのアイコンをデスクトップからＧＵＩ５１上の文書エリア１２５にドラッグ＆ドロップする。検索要求受付部４１は、ＧＵＩ５１上の変化を監視し（図６のステップＳ１００）、ＧＵＩ５１上に変化があった場合、ＧＵＩ５１上のアイコンの配置を読み取りクエリを発行する（図６のステップＳ２００）。この例では、検索要求受付部４１は、使用文書エリア１２５に置かれた文書のファイル名「文書Ａ」を取得し以下のような検索要求を発行する。
・検索クエリ：文書：文書Ａ

検索部４３は、検索要求受付部４１から受け取った検索要求を元に会議ＤＢ３０に対して検索を行なう（図６のステップＳ３００）。検索部４３は、指定された文書を含むレコードを検索する（図７のステップＳ３０１）。検索部４３は、該当レコードがない場合は該当なしを検索結果とし（図７のステップＳ３０２）、該当レコードがある場合はステップＳ３０３へ進む。ここでは、検索部４３は、各会議レコードの文書欄に文書Ａが含まれるレコードを検索する。図２に示した例では会議ＩＤ００１６のレコードが検索される。次に検索部４３は、検索されたレコードの先頭の行と、映像欄に記述されているビデオ映像のファイル名をおよび、その映像の先頭の画像を取得し（図７のステップＳ３０３）、検索結果提示部４４に送る。

図８は、本発明の第１実施形態に係る検索結果提示部４４が提供するＧＵＩを示す図である。図８の例では該当する会議が１つのみであったので１つ分の会議の情報のみが提示されている例である。検索結果提示部４４は、会議ＩＤ、日付、場所、参加者、機器、時間、文書名を受け取り、各会議毎にまとめて図８に示すようにユーザに対してＧＵＩ４４１を提示する（図６のステップＳ４００）。検索結果提示部４４は、各会議毎にタイムライン４４３を表示し、先頭の画像については、サムネイル化し、このサムネイル４４４をタイムライン４４３の左端に提示する。

ユーザがサムネイル４４４をクリックすると、検索結果提示部４４は、該当するＩＤのビデオ映像を検索部４３に要求し、検索部４３は該当する会議ＩＤのレコードに記載されているビデオのリンク先を返す。検索結果提示部４４は、ビデオプレーヤーを生成し得たビデオのリンク先にあるビデオ映像を再生する。以上のような手順で、文書Ａを利用した会議の映像を閲覧することが出来る。

次に、本発明の第２実施形態について説明する。第２実施形態では、文書やＵＲＬ、スライド、スライドのページ等とそれらを閲覧していた時間を利用してシーンを検索する場合の例である。なお、第１実施形態と同一部分もあるため、図３及び図６を参照して説明する。

図９は、本発明の第２実施形態に係る会議ＤＢ３０のデータ構造の例を示す図である。本実施形態による会議ＤＢ３０のデータ構造と、図２で示した第１実施形態で用いた会議ＤＢ３０のデータ構造の違いは、各時間に会議で参照されたファイル名や各スライドのタイトルが付与されている点である。つまり、第１実施形態の会議ＤＢ３０は、文書の情報を各映像に関連付けて記憶していたが、第２実施形態の会議ＤＢ３０は、文書の情報を映像情報の各シーンに関連付けて記憶している。また、第２実施形態の会議ＤＢ３０は、文書がスライドである場合、このスライドの各ページの情報を映像の各シーンに関連付けて記憶している。さらに、会議ＤＢ３０は、文書がスライドである場合、このスライドの各ページのタイトルの情報を映像の各シーンに関連付けて記憶している。

映像情報への関連付けは、手動でファイル名とタイトルを抽出してそのページが表示されていた時間帯に入力してもよいし、また、自動で行なう場合は、文書管理装置１１が、スライドチェンジのタイミングを取得し、その都度、切り替わったスライドのタイトルを抽出する。また、Ｗｅｂを見る場合などは、文書管理装置１１は、Ｗｅｂ上での遷移、例えば参照しているＵＲＬが変更されるごとに、表示されているＷｅｂのＵＲＬを取得し入力しても良い。情報管理装置２０は、そしてそれらのスライドやＵＲＬが変化するまで参照されていると見なし、会議ＤＢ３０の該当するレコードの該当する時間帯に文書名やスライドのタイトル、ＵＲＬなどを記録する。ページの概念がないテキストファイルの場合は単にファイル名だけをそのファイルが開かれていて時間に対応して記述すればよい。

ユーザは、文書については上述した例と同様に、デスクトップ等からその文書を示すアイコンをドラッグ＆ドロップし、ＵＲＬについてはＷｅｂブラウザーのＵＲＬが記述されているエリアをドラッグ＆ドロップして文書やアイコンを検索キーとして指定する。またスライドのページはユーザが自分のパーソナルコンピュータ上で開いているスライド形式のファイル−例えばＭｉｃｒｏｓｏｆｔのパワーポイント−の一枚のスライドを利用して、そのスライドを使用している会議のシーンを検索する。ここでは例として、ユーザはパワーポイントの表示機能であるスライドの一覧機能を使いスライドを一覧表示する。その中で、一枚のスライドをドラッグ＆ドロップで本システムのＧＵＩの使用文書エリア１２５に置く。

検索要求受付部４１は、ＧＵＩ上の変化を監視し（図６のステップＳ１００）、ＧＵＩ上変化があった場合、ＧＵＩ上のアイコンの配置を読み取りクエリを発行する（図６のステップＳ２００）。この例では、検索要求受付部４１は、使用文書エリアに置かれたスライドのファイル名とスライドのタイトルを取得し以下のような検索要求を発行する。
・検索クエリ：文書：文書Ｂ/コストについて
そして、検索部４３は、検索要求を受け取り、会議ＤＢ内３０を検索する（図６のステップＳ３００）。

図１０は、本発明の第２実施形態に係る検索部４３の処理フローチャートである。検索部４３は、指定された文書を含むレコードを検索する（図１０のステップＳ３０５）。ここでは、検索部４３は、まず文書名であるスライドＢを含む会議レコードを検索する。検索部４３は、該当レコードがない場合は該当なしを検索結果とし（ステップＳ３０７）、該当レコードがある場合はステップＳ３０６へ進む。図９の場合、会議ＩＤ００１９のレコードが検索される。

次に、検索部４３は、該当レコードがある場合は指定された文書およびタイトルを含む時間を検索する（図１０のステップＳ３０６）。ここでは、検索部４３は、検索されたレコードの毎秒ごとの動作欄に文書名「スライドＢ」、タイトル「コストについて」を含む行を検索する（図１０のステップＳ３０６）。図９の場合、６秒から２分２２秒まで、さらに図９には表示されていないが、３４分５４秒から３６分０４秒まで提示されていたとする。

検索部４３は、該当するレコードの属性情報とビデオファイル名、該当する時間とそのサムネイルを取得し検索結果とする（図１０のステップＳ３０８）。ここでは、検索部４３は、該当するレコードの先頭と、映像欄に記述されているビデオ映像のファイル名、および、該当する時間帯、この場合は６秒から２分２２秒と３４分５４秒から３６分０４秒、さらに該当する各時間帯の最も若い時間の映像のサムネイル、この場合６秒と３４分５４秒の時点のサムネイル画像を取得し、検索結果提示部４４に送る。

図１１は、本発明の第２実施形態に係る検索結果提示部４４が提供するＧＵＩ５４１を示す図である。図１１では、表示部としての検索結果提示部４４が、検索部４３により検索されたシーンの縮小画像であるサムネイルを映像の時間軸に対応させて表示する場合の例である。検索結果提示部４４は、会議ＩＤ、日付、場所、参加者、機器、時間、文書名を受け取り、各会議ごとにまとめて図１１に示すようにユーザに対してＧＵＩ５４１を提示する（図６のステップＳ４００）。また、検索結果提示部４４は、各会議毎にタイムライン５４３を表示し、先頭の画像については、サムネイル化し、サムネイル５４４Ａ、５４４Ｂをタイムライン５４３の該当する時間位置に提示する。このとき、検索結果提示部４４は、タイムライン５４３上に、該当するスライドが提示された時間の分だけ太線で示す。

検索結果提示部４４は、ユーザがサムネイル５４４Ａ、５４４Ｂをクリックしたことを検出すると、該当するビデオ映像を会議ＤＢ３０に要求し、ビデオ再生用のウインドウを開き先頭から再生する。以上述べたように、一枚のスライドからビデオ画像またはビデオ画像の一部にアクセスできる。

次に、本発明の第３実施形態について説明する。第３実施形態では、文書のタイプを指定してシーンを検索する場合の例である。なお、第１実施形態と同一部分もあるため、図３及び図６を参照して説明する。

図１３は、本発明の第３実施形態に係る会議ＤＢ３０のデータ構造を示す図である。会議ＤＢ３０は、図１３ような構造で示されるとする。図２や図９の会議ＤＢのデータ構造の違いは、各時間に会議で参照されたファイル名に拡張子が付与されていることである。これらは、手動でファイル名とタイトルを抽出してそのページが表示されていた時間帯に入力してもよいし、また、Ｗｅｂを見る場合などは、文書管理装置１１がＷｅｂ上での遷移、例えば参照しているＵＲＬが変更されるごとに、表示されているＷｅｂのＵＲＬを取得し入力しても良い。そして情報管理装置２０は、それらのスライドやＵＲＬが変化するまで参照されていると見なし、会議ＤＢ３０の該当するレコードの該当する時間帯に文書名やスライドのタイトル、ＵＲＬなどを記録する。情報管理装置２０はページの概念がないテキストファイルの場合は単にファイル名だけをそのファイルが開かれていて時間に対応して記述すればよい。

図１２は、本発明の第３実施形態に係る検索要求受付部４１が提供するＧＵＩ１５０を示す図である。図１２では、検索要求受付部４１は、文書の形式としての文書タイプを文書を指示する情報として受け付ける場合の例である。ここでは文書タイプはそのファイルに付与される拡張子で識別されるとする。自分のパーソナルコンピュータ上に検索キーとなる文書がない場合、また、具体的にどの文書か思い出せないが、文書タイプが思い出せる場合に文書タイプを利用して検索できる。まず、ユーザは文書タイプを指定するための指示を出す。例えば文書エリア１２５上でマウスの右クリックをすることにより実現する。

検索要求受付部４１は、この指示を受け文書エリア１２５上に文書タイプアイコン１２８を生成しこれを表示する。文書タイプアイコン１２８には、文書タイプを指定するエリアがあり、ユーザはそのエリアに対して文書タイプとして拡張子を入力する。この例では“ｔｘｔ”を入力する。検索要求受付部４１は、ＧＵＩ１５０上の変化を監視し（図６のステップＳ１００）、ＧＵＩ１５０上に変化があった場合、ＧＵＩ１５０上のアイコンの配置を読み取りクエリを発行する（図６のステップＳ２００）。この例では、検索要求受付部４１は、使用文書エリアに置かれた文書のファイル名を取得し以下のような検索要求を発行する。
・検索クエリ：文書タイプ：*.txt

文書タイプとしては、テキスト文書を示すｔｘｔや、マイクロソフトのパワーポイント、ワード、エクセルに対応するｐｐｔやｄｏｃ、ｘｌｓや、ｗｅｂ上の文書に対応するｈｔｍｌ、ｈｔｍ等が考えられる。検索部４３は、検索要求受付部４１から受け取った検索要求を元に、会議ＤＢ３０内を検索する（図６のステップＳ３００）。

図１４は、本発明の第３実施形態に係る検索部４３の処理フローチャートである。検索部４３は、指定された文書タイプを含むレコードを検索する（図１４のステップＳ３１０）。検索部４３は、該当レコードがない場合は該当なしを結果とする（図１４のステップＳ３１２）。ここでは、検索部４３は、文書タイプがｔｘｔである文書を含む会議レコードを検索する。この場合、検索部４３は、各レコードの文書欄の各文書名の末端が“．ｔｘｔ”で終わるものを探せばよい。図１３の場合、会議ＩＤ００２２のレコードが検索される。

検索部４３は、該当レコードがある場合は指定された文書タイプを含む時間を検索する（図１４のステップＳ３１１）。ここでは、検索部４３は、検索されたレコードの毎秒ごとの動作欄に文書タイプがｔｘｔである行を検索する。この場合も同様に、検索部４３は、各文書名の末端が“．ｔｘｔ”で終わるものを探せばよい。図１３の場合、６秒から２分２２秒まで提示されていたとする。検索部４３は、該当するレコードの属性情報とビデオファイル名、該当する時間とそのサムネイルを取得し検索結果とする（図１４のステップＳ３１３）。ここでは、検索部４３は、該当するレコードの先頭と、映像欄に記述されているビデオ映像のファイル名、および、該当する時間帯、この場合は６秒から２分２２秒、さらに該当する各時間帯の最も若い時間の映像のサムネイル、この場合６秒の時点のサムネイル画像を取得し、検索結果提示部４４に送る。

図１５は、本発明の第３実施形態に係る検索結果提示部４４が提供するＧＵＩ６４１を示す図である。検索結果提示部４４は、会議ＩＤ、日付、場所、参加者、機器、時間、文書名を受け取り、各会議ごとにまとめて図１５に示すようにユーザに対して提示する（図６のステップＳ４００）。検索結果提示部４４は、各会議毎にタイムライン６４３を表示し、先頭の画像については、サムネイル化し、タイムライン６４３の該当する時間位置に時刻情報６４２と共にサムネイル６４４を提示する。このとき、検索結果提示部４４は、タイムライン６４３上に、該当するスライドが提示された時間の分だけ太線で示す。検索結果提示部４４は、ユーザがサムネイル６４４をクリックするのを検出すると、該当するビデオ映像を会議ＤＢ３０に要求し、ビデオ再生用のウインドウを開き先頭から再生する。

次に、本発明の第４実施形態について説明する。本発明の第４実施形態では、文書の投影位置を指定してシーンを検索する場合の例である。なお、本実施形態でも、第１の実施形態と同様に、図３及び図６を用いて説明する。

図１７は、本発明の第４実施形態に係る会議ＤＢ３０のデータ構造を示す図である。会議ＤＢ３０内には、図１７に示すようなデータが保存されているとする。一つの会議につき１つのレコードが用意され、先頭に個々の会議を識別するための会議ＩＤ、日付、場所、メンバー、機器、時間が記録されている。また２行目には文書の情報としてその会議で使用された文書名が記載されている。映像欄には映像情報としてこの会議のビデオ映像を収めたリンク先が記述されている。それ以降は、動作状態が記録される。動作状態は会議の経過時間とともに毎秒毎の各参加者の位置と発話状態および機器の位置と使用状態が記録されている。例えば、
00:00:07|A:031|C:065|X: 133|S:135|スライドＨ.ppt/目的と課題＠投影面Ａ+文書Ｊ.txt＠投影面Ｂ
は会議開始７秒後、参加者Ａが発話しておらず（０で示す）、部屋を矩形状のブロックに区切った場合のＸ軸方向に３、Ｙ軸方向に１の位置にいることを示す。

参加者Ｃについても発話していない（０で示す）状態で、Ｘ軸方向６、Ｙ軸方向５の位置にいることを示す。また機器Ｘ、Ｓに関しては、電源状態はオン（１で示す）、それぞれＸ＝３、Ｙ＝３およびＸ＝３、Ｙ＝５の位置にあることを示している。また、“スライドＨ.ppt”というファイルの“目的と課題”というスライドが投影面Ａ（提示位置）に投影されており、同時に“文書Ｊ.txt”が投影面Ｂに投影されていることを示している。これらの内容は人手で入力しても良いし、自動で取得してもよい。自動で取得する場合は、各投影面２５３、２５４に投射する機器（プロジェクタ）を予め定めておき、そのプロジェクタに接続されたパーソナルコンピュータ上で、文書ファイルのオープン・クローズやスライド文書のスライド切り替えを監視するソフトウエアによって得られた情報を入力すればよい。

図１６は、本発明の第４実施形態に係る検索要求受付部４１が提供するＧＵＩ２５０を示す図である。図１６に示す例では、検索要求受付部４１は、空間のレイアウト図を検索画面上に提供すると共に、空間内の物体の位置を指示する手段又は文書が提示されていた位置を指示する手段を空間のレイアウト図上に配置する形式で検索要求を受け付ける。

まず初めにユーザは、振り返りたい会議が行われた会議室をＧＵＩ２５０に対して指示する。この場合、図１６の会議室選択ボタン１００の該当する会議室を選択することにより指示を行なう。検索要求受付部４１は、会議室選択ボタン１００の指示を検知し、該当する会議室の見取り図を会議室人物ＤＢ４２から取得し会議室表示エリア１４０に表示する。図１６の例では会議室２２が選択され、そのレイアウト図が表示されている。検索要求受付部４１は、会議の見取り図上にプロジェクタランプ２５１、２５２を表示し、投影面２５３、２５４を図示する。ユーザはＰＣのデスクトップ上にあるテキスト文書である“文書Ｊ.txt”をドラッグ＆ドロップで会議室のレイアウト上の投影面２５４の上に置く。ここで、テキスト文書である“文書Ｊ.txt”が、文書の提示されていた位置を指示する手段である。

検索要求受付部４１は、ＧＵＩ２５０上の変化を監視し（図６のステップＳ１００）、ＧＵＩ２５０上で変化があった場合、ＧＵＩ２５０上のアイコンの配置を読み取りクエリを発行する（図６のステップＳ２００）。この例では、検索要求受付部４１は、投影面２５４に重ねて置かれた文書Ｊ．ｔｘｔのアイコンからファイル名を取得し以下のような検索要求を発行する。
・検索クエリ：会議室：２２会議室
文書：文書Ｊ．ｔｘｔ＠投影面Ｂ

検索部４３は、検索要求受付部４１から受け取った検索要求を基に会議ＤＢ３０に対して検索を行なう（図６のステップＳ３００）。図１８は、本発明の第４実施形態に係る検索部４３の処理フローチャートである。検索部４３は、指定された文書タイプを含むレコードを検索する（ステップＳ３２０）。ここでは、検索部４３は、まず文書名である“文書Ｊ.txt”と会議室名である２２を含む会議レコードを検索する。図１７の場合、会議ＩＤ００２５のレコードが検索される。

検索部４３は、該当レコードがない場合は該当なしを検索結果し（ステップＳ３２２）、該当レコードがある場合はステップＳ３２１に進む。検索部４３は、該当レコードがある場合は指定された文書と投影位置を含む情報を検索する（ステップＳ３２１）。ここでは、検索部４３は、検索されたレコードの毎秒ごとの動作欄に文書名「文書Ｊ.txt」が投影面Ｂに投影されている行を検索する（図１８のステップＳ３２１）。図１７の場合、６秒から２分２２秒までが検索される。３４分１０秒と３４分１１秒にも「文書Ｊ.txt」が投影されているがこれは投影面Ａに対してであるので検索はされない。

検索部４３は、該当するレコードの属性情報とビデオファイル名、該当する時間とそのサムネイルを取得し検索結果とする（ステップＳ３２３）。ここでは、検索部４３は、該当するレコードの先頭と、映像欄に記述されているビデオ映像のファイル名、および、該当する時間帯、この場合は６秒から２分２２秒、さらに該当する各時間帯の最も若い時間の映像のサムネイル、この場合６秒の時点のサムネイル画像を取得し、検索結果提示部４４に送る。

図１９は、本発明の第４実施形態に係る検索結果提示部４４が提供するＧＵＩ７４１を示す図である。検索結果提示部４４は、会議ＩＤ、日付、場所、参加者、機器、時間、文書名を受け取り、各会議ごとにまとめて図１９に示すようにユーザに対して提示する（図６のステップＳ４００）。また、検索結果提示部４４は、各会議毎にタイムライン７４３を表示し、先頭の画像については、サムネイル化し、タイムライン７４３の該当する時間位置に作成したサムネイル７４４を提示する。このとき、検索結果提示部４４は、タイムライン７４３上に、該当するスライドが提示された時間の分だけ太線で示す。検索結果提示部４４は、ユーザがサムネイル７４４をクリックするのを検出すると、該当するビデオ映像を会議ＤＢ３０に要求し、ビデオ再生用のウインドウを開き先頭から再生する。この様に文書と投影面を指定することでシーンを絞り込んで検索することが出来る。

上記各実施形態によれば、はじめに会議を特定することなく、手元にある文書を利用して会議の映像やその中のシーンを特定できる。したがって、どの会議で使用したかを憶えていなくても、手元にある文書からその文書を使用した会議映像を検索できる。

また、上記各実施形態を組み合わせることもできる。例えば、文書エリアに文書タイプアイコンを生成し文書タイプを与え、そのアイコンをある会議室のある投影面に置くこことで、ある特定の文書タイプが特定の投影面に投影されていたときのシーンを検索することが出来る。具体的には会議ＤＢ３０を検索する場合に該当する文書タイプを表す拡張子と該当する投影面を同時に含む行を各レコードから検索すればよい。この様にすることによって、例えば、具体的な文書は、思い出せないが文書の種類は、スライド文書であって、右側の面に投影されていた時の映像を検索したいという場合に対応できる。

さらに、上述した例では、文書やその投影位置を手掛かりとして利用した検索例を示したが、特願２００４−０４０６２２のように、その他の検索の手掛かりを同時に指定しても良い。例えば、文書を指定することに加えて、参加者を示すとともに日付を指定することも考えられる。この様に手掛かりが複数指定された場合は、それら全ての条件を満足するようにＡＮＤ検索を行なう。この場合、指定された日付かつ指定した参加者かつ指定された文書を使用したレコードを検索し、そのレコードの映像欄に記述されている映像ファイルを閲覧するようにすればよい。

上記実施形態では、検索結果提示部４４は、検索結果をディスプレイ装置上に表示する場合の例について説明したが、本発明はこれに限定されることなく、例えば検索結果を音声によりユーザに伝えるようにしてもよいし、また検索結果をプリンタから印刷するようにしてもよい。また、例えば情報処理部４０と会議ＤＢをそれぞれネットワーク上に接続されたサーバにより構成し、ネットワークを介して接続されたクライアント端末からの要求を受け付けて上述した処理を行うようにしてもよいし、またスタンドアローンの形式で上述した処理を行うようにしてもよい。

上記実施形態では、人物位置特定装置１２および機器位置特定装置１３は、例えば超音波を発するタグを移動物に付与し、予め壁に埋め込まれたリーダにより超音波をキャッチし、その伝播状況からタグの位置を推定する技術を用いた例について説明したが、マイクロフォンアレーを用いて話者の位置を特定するようにしてもよい。また、機器動作特定装置１５は、電圧の変動を監視することにより機器の動作状態を監視するようにしてもよい。

なお、本発明による情報処理方法は、情報管理装置２０又は情報処理部４０により実現される。情報管理装置２０又は情報処理部４０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて、ＣＰＵが所定のプログラムを実行することで、情報処理方法の各ステップが実現される。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

本発明の情報システムの全体構成を示す図である。 本発明の第１実施形態に係る会議ＤＢ内に保存されているデータの例を示す図である。 本発明の第１実施形態に係る情報処理部の構成を示す図である。 本発明の第１実施形態に係る検索要求受付部が提供するＧＵＩを示す図である。 本発明の第１実施形態に係る検索要求受付部が提供するＧＵＩを示す図である。 本発明の第１実施形態に係る情報処理部全体の処理フローチャートである。 本発明の第１実施形態に係る検索部の処理フローチャートである。 本発明の第１実施形態に係る検索結果提示部が提供するＧＵＩを示す図である。 本発明の第２実施形態に係る会議ＤＢのデータ構造の例を示す図である。 本発明の第２実施形態に係る検索部の処理フローチャートである。 本発明の第２実施形態に係る検索結果提示部が提供するＧＵＩを示す図である。 本発明の第３実施形態に係る検索要求受付部が提供するＧＵＩを示す図である。 本発明の第３実施形態に係る会議ＤＢのデータ構造を示す図である。 本発明の第３実施形態に係る検索部の処理フローチャートである。 本発明の第３実施形態に係る検索結果提示部が提供するＧＵＩを示す図である。 本発明の第４実施形態に係る検索要求受付部が提供するＧＵＩを示す図である。 本発明の第４実施形態に係る会議ＤＢのデータ構造を示す図である。 本発明の第４実施形態に係る検索部の処理フローチャートである。 本発明の第４実施形態に係る検索結果提示部が提供するＧＵＩを示す図である。

符号の説明

１ 情報処理システム
１０ 会議記録装置
１１ 文書管理装置
１２ 人物位置特定装置
１３ 機器位置特定装置
１４ 話者認識装置
１５ 機器動作特定装置
１６ 映像記録装置
２０ 情報管理装置
３０ 会議データベース
４０ 情報処理部
４１ 検索要求受付部
４２ 会議室人物ＤＢ
４３ 検索部
４４ 検索結果提示部

Claims (22)

1. 撮像手段により所定の空間を撮像したときの映像情報を該空間を撮影しているときに使用された文書に関連付けて記憶する記憶部と、
   前記文書を指示する情報を検索要求として受け付ける受付部と、
   前記検索要求に基づいて前記記憶部の映像情報から前記検索要求で指示された文書に関連付けられているシーンを検索する検索部とを具備することを特徴とする情報処理システム。
2. 前記受付部は、前記文書のファイル内容を示す手段を所定の領域に配置する形式で前記文書を指示する情報を前記検索要求として受け付けることを特徴とする請求項１に記載の情報処理システム。
3. 前記受付部は、前記文書の形式を前記文書を指示する情報として受け付けることを特徴とする請求項１に記載の情報処理システム。
4. 前記受付部は、前記空間のレイアウト図を検索画面上に提供すると共に、前記空間内の物体の位置を指示する手段を前記空間のレイアウト図上に配置する形式で前記検索要求を受け付けることを特徴とする請求項１に記載の情報処理システム。
5. 前記受付部は、前記空間のレイアウト図を検索画面上に提供すると共に、前記文書が提示されていた位置を指示する手段を前記空間のレイアウト図上に配置する形式で前記検索要求を受け付けることを特徴とする請求項１に記載の情報処理システム。
6. 前記記憶部は、前記空間内の物体の位置情報、前記空間内の人物の発話状態、前記空間内の機器の動作状況のうちの少なくとも一つを属性情報として前記映像情報に関連付けて記憶し、
   前記受付部は、前記属性情報を前記検索要求として受け付けることを特徴とする請求項１に記載の情報処理システム。
7. 前記受付部は、前記空間を選択する手段、前記映像の撮影日付を選択する手段、前記空間内の人物を指定する領域、前記文書を指定する領域、前記空間の見取り図を表示する領域および前記人物の発話状態を指示する手段のうちの少なくとも一つを検索画面上に提供し、該検索画面上での操作に応じて前記検索要求を受け付けることを特徴とする請求項１に記載の情報処理システム。
8. 前記検索部により検索されたシーンの縮小画像を前記映像の時間軸に対応させて表示する表示部をさらに具備することを特徴とする請求項１に記載の情報処理システム。
9. 前記記憶部は、前記文書を前記映像情報の各シーンに関連付けて記憶することを特徴とする請求項１に記載の情報処理システム。
10. 前記記憶部は、前記文書がスライドである場合、該スライドの各ページの情報を前記映像情報の各シーンに関連付けて記憶することを特徴とする請求項１に記載の情報処理システム。
11. 前記記憶部は、前記文書がスライドである場合、該スライドの各ページのタイトルの情報を前記映像情報の各シーンに関連付けて記憶することを特徴とする請求項１に記載の情報処理システム。
12. 所定の空間を撮像する撮像部と、
    前記空間を撮像しているときに使用される文書を認識する認識部と、
    前記撮像部に撮像された映像情報に前記認識部で認識された文書の情報を検索用のインデックスとして付与する付与部と
    を具備することを特徴とする情報処理システム。
13. 前記付与部は、前記文書がスライドである場合、該スライドの各ページの情報を前記検索用のインデックスとして前記映像情報の各シーンに付与することを特徴とする請求項１２に記載の情報処理システム。
14. 前記付与部は、前記文書がスライドである場合、該スライドの各ページのタイトルの情報を前記検索用のインデックスとして前記映像情報の各シーンに付与することを特徴とする請求項１２に記載の情報処理システム。
15. 文書を指示する情報を検索要求として受け付けるステップと、
    前記検索要求に基づいて撮像手段により所定の空間を撮像したときの映像情報を該空間を撮影しているときに使用された文書に関連付けて記憶する記憶部内の映像情報から前記検索要求で指示された文書に関連付けられているシーンを検索するステップと、
    前記検索されたシーンの情報を表示するステップと
    を有することを特徴とする情報処理方法。
16. 前記空間のレイアウト図を検索画面上に提供するステップをさらに有し、
    前記空間内の物体の位置を指示する手段を前記空間のレイアウト図上に配置する形式で前記検索要求を受け付けることを特徴とする請求項１５に記載の情報処理方法。
17. 前記空間のレイアウト図を検索画面上に提供するステップをさらに有し、
    前記文書が提示されていた位置を指示する手段を前記空間のレイアウト図上に配置する形式で前記検索要求を受け付けることを特徴とする請求項１５に記載の情報処理方法。
18. 前記空間を選択する手段、前記映像の撮影日付を選択する手段、前記空間内の人物を指定する領域、前記文書を指定する領域、前記空間の見取り図を表示する領域および前記人物の発話状態を指示する手段のうちの少なくとも一つを検索画面上に提供するステップをさらに有し、
    前記検索画面上での操作に応じて前記検索要求を受け付けることを特徴とする請求項１５に記載の情報処理方法。
19. 前記検索されたシーンの縮小画像を前記映像の時間軸に対応させて表示するステップをさらに有することを特徴とする請求項１５に記載の情報処理方法。
20. 所定の空間を撮像する撮像ステップと、
    前記空間を撮像しているときに使用される文書を認識する認識ステップと、
    前記所定の空間を撮像したときの映像情報に前記認識された文書の情報を検索用のインデックスとして付与する付与ステップと
    を有することを特徴とする情報処理方法。
21. 前記付与ステップは、前記文書がスライドである場合、該スライドの各ページの情報を前記検索用のインデックスとして前記映像情報の各シーンに付与することを特徴とする請求項２０に記載の情報処理方法。
22. 前記付与ステップは、前記文書がスライドである場合、該スライドの各ページのタイトルの情報を前記検索用のインデックスとして前記映像情報の各シーンに付与することを特徴とする請求項２０に記載の情報処理方法。
    

Images