JP3258051B2

JP3258051B2 - 情報検索装置および情報検索方法

Info

Publication number: JP3258051B2
Application number: JP31639591A
Authority: JP
Inventors: 美和子土井; 浩司山口; 俊成高橋; 光男斎藤; 秀樹平川; 浩一長谷部; 浩明久保田; 隆守安; 哲郎村永
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1991-11-29
Filing date: 1991-11-29
Publication date: 2002-02-18
Anticipated expiration: 2017-02-18
Also published as: JPH05151268A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、時間経過に沿って発生
した音声、イメージ、文字コードといった異なるメディ
アの情報を検索するための情報検索装置および情報検索
方法に関する。

【０００２】

【従来の技術】最近、音声、ビデオ画像、ワードプロセ
ッサなど異なるメディアにより作成された資料をメディ
ア別のデータベースに格納しておき、例えば、会議の議
事録を作成するような場合、それぞれのデータベースよ
り必要な資料を取り出し、これらを編集するようなこと
が行われている。

【０００３】この場合、複数メディアはそれぞれ種類別
のデータベースに格納され、これらデータベースの検索
を行うには、各データベースに対して、それぞれのデー
タベースを検索するのに適したキーワードの形式で、キ
ーワードを指示するようにしている。

【０００４】

【発明が解決しようとする課題】このため、上述した会
議録のように異なるメディアを使用するような場合は、
メディア毎に検索するのに適した異なるキーワードを指
定せねばならず、そのための操作が非常に繁雑になる欠
点があった。

【０００５】また、会議のテーマなどを該当キーワード
で検索するような場合には、非常に多くの対象が検索さ
れることがあり、検索結果を絞り込む作業に多くの時間
を費やす欠点もあった。

【０００６】本発明は、上記問題点に鑑みてなされたも
ので、例えば、会議などの場において、発表者の音声、
配布あるいは提示された資料等のイメージ、テキストデ
ータといった異なるメディアを使用して、会議の開始か
ら終了までにその時間経過に沿って記録された、時間
的、内容的に関連する、複数の異なるメディアの情報か
ら、指定したキーワードを含む発言や資料が効率よく検
索でき、しかも、検索結果として得られた情報を例えば
議事などの進行状況が一目でわかるように表示すること
ができる情報検索装置および情報検索方法を提供するこ
とを目的とする。

【０００７】

【課題を解決するための手段】本発明の情報検索装置
は、時間経過に沿って発生した音声情報、イメージ情
報、テキスト情報といった複数の異なるメディアの情報
を記憶する記憶手段と、音声あるいは手書き文字あるい
はテキストのうちの１つを選択して、少なくとも１つの
キーワードを入力する入力手段と、この入力手段で入力
されたキーワードを、前記記憶手段に記憶された、異な
るメディアの複数の情報に対し検索を行うことができる
ような１または複数のメディアに変換する変換手段と、
この変換手段で得られたキーワードを用いて、前記記憶
手段に記憶された、異なるメディアの複数の情報から前
記キーワードを含む情報を検索する検索手段と、この検
索手段で検索された情報を、前記キーワード毎に、それ
ぞれの発生時刻順にソートして表示する第１の表示手段
と、前記キーワード毎に、前記検索手段で検索された情
報の前記時間経過の中の分布状況を表示する第２の表示
手段と、を具備したことを特徴とする。

【０００８】

【作用】本発明によれば、単一のメディアでキーワード
が指示されたら、メディアの種類の如何に関わらず、異
なるメディアの複数の情報から、当該キーワードを含
む、異なるメディアの複数の情報を検索して、検索結果
を時系列に表示するとともに、時間経過の中の分布状況
も表示することができ、このことにより、例えば、会議
などの場において、発表者の音声、配布あるいは提示さ
れた資料等のイメージ、テキストデータといった異なる
メディアを使用して、会議の開始から終了までにその時
間経過に沿って記録された、時間的、内容的に関連す
る、複数の異なるメディアの情報から、指定したキーワ
ードを含む発言や資料が、そのシーンで関連するものに
ついてはまとまったかたちで、その際、他のシーンで取
得された類似の情報（同じキーワードを含む情報である
が、その発生時間が時間的に離れて発生している情報）
があってもこれと分けて抽出することができるようにな
る。しかも、検索結果の表示内容から議事などの進行状
況が一目で把握でき、これにより、例えば、議事録の作
成も容易に行える。

【０００９】

【実施例】以下、本発明の一実施例を図面に従い説明す
る。

【００１０】図１は同実施例に適用されるワークステー
ションの該略構成を示している。図において、１はワー
クステーション本体で、このワークステーション本体１
は、例えば、音声を入力するためのマイクロフォン２、
文字やイメージを表示するためのディスプレイ３、音声
を出力するためのスピーカ４、文字を入力するためのキ
ーボード５、手書き文字や簡易な図形を入力するための
タブレット６、写真や絵を入力するためのスキャナ７お
よび映像入力を取り込むカメラ８などを有している。

【００１１】この場合、図では、タブレット６より例え
ば「マルチメディア」という手書き文字をキーワードと
して入力している。また、ディスプレイ３には、この時
の変換結果として変換経路を示すウィンドウ３１、変換
結果を示すウィンドウ３２と、検索結果を示すウィンド
ウ３３が表示されている。図２は、同実施例の概略的構
成を示している。

【００１２】この場合、上述したマイクロフォン２、キ
ーボード５、タブレット６、スキャナ７およびカメラ８
を、それぞれ入力部として情報管理部２１に接続し、ま
た、上述したディスプレイ３およびスピーカ４を、それ
ぞれ出力部として情報管理部２１に接続している。情報
管理部２１には、メディア判定部２２、変換経路決定部
２３、キーワード保持部２４、メディア変換部２５およ
び記憶部２６を接続している。

【００１３】ここで、メディア判定部２２は、ユーザよ
り指示されたキーワードのメディアが何であるかを判定
するものである。変換経路決定部２３は、メディア判定
部２２で判定されたメディアのキーワードを、どのよう
な経路で変換するかを決定するものである。キーワード
保持部２４は、編集・確認されたキーワードを保持する
ようにしている。メディア変換部２５は異なるメディア
間の変換の可能性を予め設定するとともに、変換経路決
定部２３で決定された変換経路にしたがってメディア変
換を行うようにしたものである。そして、記憶部２６は
複数の異なるメディア（文字・図形、音声、文字イメー
ジ、イメージなど）を記憶するものである。しかして、
本実施例では、上述した図１に示す変換経路ウィンドウ
３１で表示するように、ａ．文字・図形ｂ．音声ｃ．文字イメージｄ．イメージ

【００１４】の４つのメディアを想定するものとする。
この場合、「文字・図形」はアスキーなどの文字コード
と線図形からなるメディアで、従来のワードプロセッサ
などの文書処理システムやテキストエディタなどで扱う
ことのできる形態である。「音声」はアナログあるいは
デジタルの信号系列で人間の発する音声や街頭の騒音な
ど音の形態である。「文字イメージ」は、「文字・図
形」のように記号化される前の、手書き文字、線図形な
どの信号系列である。「イメージ」は写真や絵画などの
文字や図形として扱うことのできない信号系列で、一般
に画像と呼ばれるものが対応している。

【００１５】そして、マイクロフォン２、キーボード
５、タブレット６、スキャナ７およびカメラ８の各入力
部からそれぞれのメディアのキーワードが入力される
と、メディア判定部２２で上述のメディアのどれに当る
かを判定するようになる。

【００１６】この場合の判定処理は、例えば図３に示す
フローに沿って実行される。いま、マイクロフォン２、
キーボード５、タブレット６、スキャナ７およびカメラ
８のいずれから入力があると情報管理部２１は、まずス
テップＳ３１で、マイクロフォン２からの入力であるか
をチェックする。ここで、ＹＥＳならば、マイクロフォ
ン入力なので、音声メディアと判定する（ステップＳ３
５）。一方、ＮＯであれば、ステップＳ３２に進み、今
度はキーボード５からの入力であるかをチェックする。

【００１７】ここで、ＹＥＳならばキーボード入力なの
で、文字・図形メディアと判定する（ステップ３６）。
一方、ＮＯであれば、イメージ入力なので、ステップＳ
３３に進み、入力画像の２値化を行う。そして、次のス
テップＳ３４で２値化画像と原画像との類似度を調べ
る。ここで、類似度が予め設定されたλより大きけれ
ば、原画像を線図形あるいは文字として扱うことができ
るので、ステップＳ３７に進み、文字イメージメディア
と判定する。一方、λより小さければ、ステップＳ３８
に進み、イメージとして判定し、処理を終了する。

【００１８】なお、図３は、各メディアが独立している
場合の処理フローであり、ビデオ信号のようにイメージ
と音声が重畳しているような入力の場合には、多少異な
る処理フローとなる。メディア判定部２２によりメディ
アが判定されると、今度は、変換経路決定部２３により
メディアのキーワードを、どのような経路で変換するか
を決定する。

【００１９】この場合、メディア間の変換を行うメディ
ア変換部２５で、図４（ａ）に示すように、「文字・図
形」に対して「文字・図形」「音声」「文字イメージ」
「イメージ」、「音声」に対して「文字・図形」「音
声」「文字イメージ」「イメージ」のように、すべての
メディア間の変換を可能にしている場合には、変換経路
決定部２３は、図５（ａ）の処理フローに示すように、
ステップＳ５１で変換元メディアαをセットし、ステッ
プＳ５２で変換先メディアβをセットすると、ステップ
Ｓ５３において変換経路αβが決定されることになる。
この場合、変換元メディアαとして「文字イメージ」
ｃ、変換先メディアβを「文字・図形」ａとすると、変
換経路αβとしてｃｂが決定され、以下、同様にしてｃ
ｃ、ｃｄの各経路が決定できることになる。

【００２０】一方、図４（ｂ）に示すように「文字・図
形」については「文字・図形」「音声」「文字イメー
ジ」「イメージ」のすべてのメディア間の変換を可能に
しているのに対し「音声」「文字イメージ」「イメー
ジ」については、それぞれ「文字・図形」のみのメディ
ア間の変換を可能するように、メディア変換部２５にす
べてのメディア間の変換が準備されていない場合には、
変換経路決定部２３は、図５（ａ）の処理フローに示す
ように、ステップＳ６１で変換元メディアαをセット
し、ステップＳ６２で変換先メディアβをセットする
と、ステップＳ６３において変換経路αβの存在を判断
される。そして、ここで、ＮＯと判断すると、ステップ
Ｓ６４に進み、ここで中間メディアγをセットする。こ
れによりメディア間を直接変換せずに中間メディアγを
介した経路αγ、γβが決定され、ステップＳ６５でα
γ、γβの存在が判断されることになる。例えば、変換
元メディアαとして「文字イメージ」ｃ、変換先メディ
アβを「文字・図形」ａとすると、この場合はステップ
Ｓ６３で変換経路αβとしてｃａの存在が判断される
が、変換先メディアβを「音声」ｂとすると、変換経路
αβとしてｃｂが存在しない。そこで、ステップＳ６４
で中間メディアγとして「文字・図形」ａをセットする
と、この「文字・図形」ａを中間メディアとすると、経
路ｃａ，ａｂが決定されることになる。

【００２１】このようにして、変換経路決定部２３は、
メディア変換部２５にメディア間の直接変換路が準備さ
れていない場合には、中間メディアを介した経路を決定
するようになる。

【００２２】なお、中間メディアを設けても変換経路を
決定できない場合は、メディア変換を打ち切るか、ある
いは、さらに中間メディアを設定して迂回路を探索する
などの他の処理に移行する（ステップＳ６６）。

【００２３】そして、変換経路決定部２３による変換経
路の決定で、変換元メディアに対して変換が行えるもの
を表示するのが、ディスプレイ３の変換経路ウィンドウ
３１である。ここでは、変換先メディアとして、個々の
メディアとすべてのメディアが表示されている。そし
て、これら変換先メディアのどれかを選んで実行を指示
することにより、メディア変換部２５に、キーワード保
持部２４より、ユーザが入力したキーワード（この例で
は、タブレット６からの「マルチメディア」という手書
き文字）が送られ、変換経路決定部２３で決定された経
路に従って変換先メディアへの変換が行われる。

【００２４】図１の例では、変換先メディアとして「Ａ
ＬＬ」が選択されているので、すべてのメディアへの変
換が行われる。この場合の変換経路決定部２３で決定さ
れる変換経路は、図４（ａ）の例で、ｃａ、ｃｂ、ｃ
ｃ、ｃｄであり、また、図４（ｂ）の例では、ｃａ、ｃ
ａ＋ａａ、ｃａ＋ａｂ、ｃａ＋ａｃ、ｃａ＋ａｄであ
る。そして、これらの結果が、変換結果ウィンドウ３２
に表示される。

【００２５】ここでは後者が現実的なので後者のみ考え
ると、キーワードの手書き文字「マルチメディア」は
「文字イメージ」ｃであるので、経路ｃａでコード列
「マルチメディア」（全角と半角双方）に変換される。
次に、ｃａ＋ａａの経路で英語「ｍｕｌｔｉｍｅｄｉ
ａ」（全角と半角）に変換される。音声は、一過性なの
で、ウィンドウ３２の「音声」の箇所を指示したときだ
け、変換結果がスピーカ４より出力される。また、音声
は、ｃａ＋ａｂの経路で変換されるので、日本語として
の「マルチメディア」と英語としての「ｍｕｌｔｉｍｅ
ｄｉａ」の双方が出力される。

【００２６】文字イメージへのキーワードも同様に、ｃ
ａ＋ａｃの経路を経ているので、入力キーワードと同じ
「マルチメディア」の他に「ｍｕｌｔｉｍｅｄｉａ」
「ＭＵＬＴＩＭＥＤＩＡ」「Ｍｕｌｔｉｍｅｄｉａ」な
どに変換される。ユーザは、キーワードの変換結果を変
換結果ウィンドウ３２で確認するようになる。

【００２７】この場合、検索範囲を絞るために、変換結
果ウィンドウ３２で提示されているキーワードをキーボ
ード５より削除を指示することで消去することもでき
る。例えば、日本人の発言だけを対象にしたければ、ウ
ィンドウ３２で「音声」の「ＭＵＬＴＩＭＥＤＩＡ」、
「ｍｕｌｔｉｍｅｄｉａ」、「Ｍｕｌｔｉｍｅｄｉａ」
を削除すれば、「マルチメディア」という日本語だけが
検索対象となる。勿論、変換結果から複数候補の選択や
訂正を行うことも可能である。

【００２８】また、図６に示すようなプロパティウィン
ドにより、キーワードを編集して属性を付加することに
より、対象を限定することもできる。図６（ａ）の例
は、成人女性で金属的でなく、比較的早口な音声を対象
に検索する場合を示している。また、特定の個人を対象
にする場合には、図６（ａ）の右下の「個人プロフィー
ル」を選択すると、図６（ｂ）のように個人各リストが
提示され、選択された人の音声の属性情報を付加するよ
うになる。さらに、図６（ｂ）に対して、選択した個人
（伊藤さん）が、例えば会議当日風邪をひいて、声がし
わがれていたような場合に、その属性だけ編集して伊藤
さんのしわがれ声だけを対象にすることもできる。な
お、図６は「音声」メディアに対して述べたが、「文字
イメージ」や「イメージ」についても同様に行うことが
できる。

【００２９】変換結果ウィンドウ３２で編集・確認され
たキーワードは、キーワード保持部２４に、例えば図７
に示すような形式で格納される。そして、ユーザから検
索実行が指示されると、情報管理部２１は、キーワード
保持部２４に保持されているキーワードで記憶部２６の
各メディア（例えば、文字・図形、音声、文字イメー
ジ）に対して検索を実行するようになる。

【００３０】その結果は、図１に示す検索結果ウィンド
ウ３３に提示される。この場合、検索結果ウィンドウ３
３には、各メディアを分けて表示する例を示してある
が、必ずしもこれに限定されない。また、検索結果ウィ
ンドウ３３では、当該キーワードがどこにあるか明確に
表示される「音声」メディアの場合は、発声者の氏名と
発声時間、キーワードの存在位置（図面中の黒三角印）
と発声を開始させる位置（図面中の白三角印）が表示さ
れている。従って、キーワードの存在する付近から聞き
たければ、白三角印を黒三角印のそばまで移動させるこ
とで聞くことができる。

【００３１】従って、このようにすればユーザは単一の
メディアでキーワードを指示するだけで、複数のメディ
アに対して容易に検索を行うことができる。また、キー
ワードに音質などの属性情報を付加することで検索対象
を限定でき、対象メディアを効率よく検索することもで
きる。次に、本発明の他の実施例を説明する。

【００３２】図８は同他の実施例を議事録作成装置に適
用した場合の概略構成を示すもので、図２に示す構成の
ものに時刻順などのソートを行うためのソータ２７と、
検索結果と元情報との対応関係を記憶するための対応記
憶部２８を付加している。その他は、図２と同様であ
り、同一部分には同符号を付している。

【００３３】図９（ａ）は、検索結果ウィンドウ３３で
の表示画面例を示している。この場合の検索結果ウィン
ドウ３３は、図１に示した検索結果ウィンドウ３３と類
似しているが、ここではメディア別ではなくキーワード
別で、かつキーワード内が時刻順にソートされている点
が異なっている。つまり、ここでは議事録を作成するの
であるから、ある話題がどのようにして展開していった
かを知ることが重要なので各キーワード内を時刻順にソ
ートして表示している。

【００３４】図９（ｂ）に示すオーバービューウィンド
ウ３３２では、検索結果ウィンドウ３３の概観で、それ
ぞれの話題（キーワード）が会議進行に対して、どのよ
うに分布しているかを示している。例えば、１３：０８
から１３：１９は「マルチメディア」で、かつ「戦略」
について、１３：１９から１３：２０は「マルチメディ
ア」についてのみ議事が進行していることがわかるよう
になっている。

【００３５】また、話者別のオーバービューも示されて
いる。この場合、１３：２０から１３：２３に、「ボイ
スメール」について発言があったが、誰の発言か不明な
ので「？」になっている。

【００３６】この場合、検索結果ウィンドウ３３に表示
されるような検索を行うには、上述した実施例と同様に
して複数のキーワードについて検索を行い、メディア変
換部２５で変換した結果についてソータ２７により各キ
ーワード内を時刻順にソートして表示すればよい。

【００３７】一方、元情報ウィンドウ３３１は、検索結
果の元情報を表示するものである。この場合、検索結果
ウィンドウ３３において、元情報をみたい項目を選択し
て、元情報表示を指示すると、対応記憶部２８に記憶さ
れた検索結果と元情報との対応関係から元情報が読み出
され、元情報ウィンドウ３３１に示すようにズームされ
る形式で表示される。

【００３８】なお、検索結果が音声の場合には、音声の
まま表示する他に、文字列に変換して表示する形式をと
ることも可能である。また、図１０に示すように、検索
結果をコピーして議事録とする場合は、他のメディアに
変換してからコピーすることができる。このときの変換
経路は上述した実施例で示したキーワード変換のための
経路をそのまま用いることができる。さらに、オーバー
ビューウィンドウ３３２の話者をそのまま、会議参加者
としてコピーすることも可能である。

【００３９】従って、このようにすれば、議事録作成に
必要なキーワードを複数指示するだけで個々のキーワー
ドに対して、どのような資料や発言があり、議事が進行
していったかを一目で把握できるとともに、これに基づ
いて議事録を作成することができる。また、検索結果の
元情報などの詳細を知るのも簡単にでき、さらに、資料
のコピーなども一々頭の中でメディア間の変換を行う必
要がないので、非常に短い時間に議事進行を容易に知る
ことのできる議事録を作成できることになる。

【００４０】

【効果】本発明によれば、例えば、会議などの場におい
て、発表者の音声、配布あるいは提示された資料等のイ
メージ、テキストデータといった異なるメディアを使用
して、会議の開始から終了までにその時間経過に沿って
記録された、時間的、内容的に関連する、複数の異なる
メディアの情報から、指定したキーワードを含む発言や
資料が効率よく検索でき、しかも、検索結果の表示内容
から議事などの進行状況が一目で把握できる。

【図面の簡単な説明】

【図１】本発明の一実施例に適用されるワークステーシ
ョンの該略構成を示す図。

【図２】図１に示す実施例の概略的構成を示す図。

【図３】メディア判定部での判定処理を説明するための
フローチャート。

【図４】メディア変換部でのメディア変換を説明するた
めの図。

【図５】変換経路決定部での変換経路決定を説明するた
めのフローチャート。

【図６】キーワードを編集して属性を付加するプロパテ
ィウィンドの一例を示す図。

【図７】キーワード保持部に格納されるキーワードの状
態を示す図。

【図８】本発明の他の実施例の概略的構成を示す図。

【図９】検索結果ウィンドウでの表示画面例を示す図。

【図１０】検索結果をコピーして議事録とする場合の表
示画面例を示す図。

【符号の説明】

１…ワークステーション本体、２…マイクロフォン、３
…ディスプレイ、３１…変換経路ウィンドウ、３２…変
換結果ウィンドウ、３３…検索結果ウィンドウ、３３１
…元情報ウィンドウ、３３２…オーバービューウィンド
ウ、４…スピーカ、５…キーボード、６…タブレット、
７…スキャナ、８…カメラ、２１…情報管理部、２２…
メディア判定部、２３…変換経路決定部、２４…キーワ
ード保持部、２５…メディア変換部、２６…記憶部、２
７…ソータ、２８…対応記憶部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者斎藤光男神奈川県川崎市幸区小向東芝町１番地株式会社東芝総合研究所内 (72)発明者平川秀樹神奈川県川崎市幸区小向東芝町１番地株式会社東芝総合研究所内 (72)発明者長谷部浩一神奈川県川崎市幸区小向東芝町１番地株式会社東芝総合研究所内 (72)発明者久保田浩明神奈川県川崎市幸区小向東芝町１番地株式会社東芝総合研究所内 (72)発明者守安隆神奈川県川崎市幸区小向東芝町１番地株式会社東芝総合研究所内 (72)発明者村永哲郎神奈川県川崎市幸区小向東芝町１番地株式会社東芝総合研究所内 (56)参考文献特開昭63−86660（ＪＰ，Ａ) 特開平２−33200（ＪＰ，Ａ) 特開昭63−173163（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/30 G06F 12/00 H04N 7/10 H04N 7/173 H04N 7/20 - 7/22 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】時間経過に沿って発生した音声情報、イメ
ージ情報、テキスト情報といった複数の異なるメディア
の情報を記憶する記憶手段と、音声あるいは手書き文字あるいはテキストのうちの１つ
を選択して、少なくとも１つのキーワードを入力する入
力手段と、この入力手段で入力されたキーワードを、前記記憶手段
に記憶された、異なるメディアの複数の情報に対し検索
を行うことができるような１または複数のメディアに変
換する変換手段と、この変換手段で得られたキーワードを用いて、前記記憶
手段に記憶された、異なるメディアの複数の情報から前
記キーワードを含む情報を検索する検索手段と、この検索手段で検索された情報を、前記キーワード毎
に、それぞれの発生時刻順にソートして表示する第１の
表示手段と、前記キーワード毎に、前記検索手段で検索された情報の
前記時間経過の中の分布状況を表示する第２の表示手段
と、を具備したことを特徴とする情報検索装置。
【請求項２】前記キーワードに、検索対象を限定するた
めの前記メディア対応の属性情報を付加する属性付加手
段を具備し、前記検索手段は、前記変換手段で得られたキーワードと
前記属性情報とを用いて、前記記憶手段から情報を検索
することを特徴とする請求項１記載の情報検索装置。
【請求項３】時間経過に沿って発生した音声情報、イメ
ージ情報、テキスト情報といった複数の異なるメディア
の情報を記憶手段に記憶しておき、音声あるいは手書き文字あるいはテキストのうちの１つ
が選択されて、少なくとも１つのキーワードが入力され
たとき、この入力されたキーワードを前記記憶手段に記
憶された、異なるメディアの複数の情報に対し検索を行
うことができるような１または複数のメディアに変換し
た後、この１または複数のメディアのキーワードを用い
て、前記記憶手段に記憶された、異なるメディアの複数
の情報から前記キーワードを含む情報を検索し、検索さ
れた情報を前記キーワード毎に、それぞれの発生時刻順
にソートして表示するとともに、前記キーワード毎に、
前記検索された情報の前記時間経過の中の分布状況も表
示することを特徴とする情報検索方法。