JPH06110946A

JPH06110946A - マルチメディアデータ検索装置、及びマルチメディア・ユーザインタフェース

Info

Publication number: JPH06110946A
Application number: JP4259337A
Authority: JP
Inventors: Toru Hisamitsu; 徹久光
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-09-29
Filing date: 1992-09-29
Publication date: 1994-04-22

Abstract

(57)【要約】【目的】大量の情報の間の関連を見つけ、その有向利
用を図る。【構成】一般的な知識の記述された辞書１１１を設
け、登録・更新手段１１０によりマルチメディアＤＢに
登録されるファイルを上記辞書とリンクさせ、マルチメ
ディア検索部１１０により上記リンクを利用した知的検
索を行う。また、ユーザが一度見つけたファイル間の関
連を記録するためのユーザ辞書１１２を設け、ファイル
の間の関連について発見した知識を再利用可能にする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、計算機を用いてデータ
を蓄積、検索する機能を持つすべての装置に係り、知識
情報処理分野と、データベース技術分野において利用さ
れる。

【０００２】

【従来の技術】従来の装置は、特開平３−６２１６９の
文書検索方法及び文書検索装置のごとく、入力された文
書画像を理解、構造化することにより、キーワード等に
よる文書の内容検索が可能である。本発明も、文書理
解、構造化技術においては上記従来技術に依拠するが、
上記従来技術では、あるキーワードを含む文書は検索で
きても、“特定の関係にある（可能性のある）文書の
組”を検索するというような、文書と文書の関係に踏み
込んだ検索はできなかった。

【０００３】

【発明が解決しようとする課題】従来、データベースに
おいてデータを登録する場合、登録しようとするデータ
を、既存のデータまたはキーワードとの間の関係（上位
／下位関係、部分／全体関係等）により分類し、登録す
ることになるが、いかに分類・整理を心がけても、一旦
登録されたデータが有効利用されなくなる問題がしばし
ば生じた。これを具体例で説明する。

【０００４】ある日、旅行関係のパンフレットを持ち帰
り、スキャナ入力によりファイル化したが、“旅行関
係”というディレクトリがないため、“ｔｍｐ”という
名のディレクトリの下にとりあえず“tmp1”等のファイ
ル名で保存したとする。別の日に、出張時に利用する時
刻表の一部をスキャナ入力し、“出張関係”というディ
レクトリに、ファイル名“時刻表１”として保存したと
する。さらに別の日に、ホテル案内をデータベースから
取入れ、“宿泊情報１”のファイル名で、ディレクトリ
“宿泊”の下に保存したとするとする。

【０００５】この状況は、データの活用という観点から
問題が生じる可能性が高い。例えば、仮にユーザが温泉
旅行を企てたとして、互いに関連なく記録された旅行の
パンフレット、時刻表、ホテル情報のファイルを有機的
に結び付けて発見する可能性は低い。その理由は、上記
の各情報の間の旅行に関連する要素としての潜在的な関
係を、ユーザが登録時にあらかじめ意識できないからで
ある。一つのデータを登録する時点で、将来どのような
データが他に追加されるかは不明であり、潜在的な関係
をすべて想定することは不可能である。結局、ユーザ
は、試行錯誤的にディレクトリを辿りながら、多数のフ
ァイルを検索しなければならない。しかも、その中には
“ｔｍｐ１”のように、ファイル名からは内容が分から
ないものまであると、その困難は一層大きくなる。

【０００６】仮に、ユーザが、上記の３データを同時に
関連つけて登録するため、“旅行関係”というディレク
トリをつくり、その下に“パンフレット”、“時刻
表”、“ホテル情報”等のサブディレクトリ作って、各
データを保存するならば、旅行関係のデータはまとめて
検索できる。しかし今度は、上記ディレクトリ下に保存
された“時刻表”情報を、出張関連情報として想起する
ことは困難である。

【０００７】さらに、例えばある旅行の計画を立てるの
に参照したファイルの組、及びその中の情報を、旅行に
関するエピソードとして関連付けて記録し、“日光に旅
行したときに乗った列車、その列車の時刻表のあるファ
イル”等の検索をすることは、従来不可能であった。す
なわち、検索の結果見いだした、ファイルの間の特定の
関連を、知識として再利用できない。

【０００８】これらの問題を整理すると、次のようにな
る：１）データ登録時、データとデータの間の潜在的な関係
を見いだすための情報を、ユーザへの質問、もしくはデ
ータの解析により抽出する仕組みがない。

【０００９】２）データとデータの間の潜在的な関係を
予め登録するのは困難である。

【００１０】３）仮に、データとデータの間の潜在的な
関係を予め登録しても、登録時に想定しなかった関係を
用いてデータを検索することはできない。

【００１１】４）検索の結果、ある関連を持ったデータ
の組が見つかった場合、この知識を再利用することが困
難である。

【００１２】本発明は、これらの問題点を解決する。

【００１３】

【課題を解決するための手段】本発明では、マルチメデ
ィアデータ入力手段、入力解析手段等の、従来方式にお
けるマルチメディアデータ検索システムで用いる要素の
他に、一般知識が記載された辞書、登録・更新手段（フ
ァイル名等を解析する言語解析部と、辞書とデータの間
のリンクを行うリンク管理部を含む。データ管理部は、
データと辞書記載概念との間のリンクを生成するリンク
生成部と、得られたリンクを記録するリンク記録部より
構成される）、データと辞書の間のリンク、辞書項目の
間のリンク等を用いて、特定の関係にあるデータの組を
検索するためのマルチメディア検索手段、特定の関係に
あるデータの組と、そのあいだの関係を記録するユーザ
辞書を用いて、上記の問題を解決する。

【００１４】

【作用】登録・更新手段は、ファイル名の解析、ユーザ
へのコメント要求等を通じて前述の問題点１）を解決
し、登録データと辞書記載概念の間のリンクと、辞書記
載概念相互のリンクを用いた検索を行うマルチメディア
検索手段により、問題２）、３）を解決する。また、ユ
ーザ辞書により、問題４）を解決する。

【００１５】

【実施例】以下、図にしたがって実施例を述べる。

【００１６】図１は、本実施例の構成図である。表示手
段１０１、音声出力手段１０２はデータ表示やシステム
のメッセージ出力に用いられる。コマンド入力手段１０
３によりデータ登録要求や、データ検索要求が入力さ
れ、コマンド解析手段１０４により解析される。なお、
コマンド入力手段として音声等も想定するので、コマン
ド解析手段には、音声認識部も含まれるとする。文書等
は、マルチメディアデータ入力手段１１３により、スキ
ャニング等の処置を施され、入力解析手段１１４によ
り、レイアウト解析、画像切り出し、文字認識、文書解
析等の処理をうけてマルチメディアファイル１１５へ送
られ、登録・更新手段１１０により、マルチメディアＤ
Ｂ１１６に保存されると同時に、付与されたファイル
名、コメント等の情報を解析して辞書記載概念とのリン
ク付けを施される。上記リンクはユーザ辞書１１２に記
録される。マルチメディアＤＢ１１６に記録されたファ
イルは、マルチメディア検索手段１０８により、辞書１
１１、ユーザ辞書１１２を用いて生成されるリンクを用
いて検索することができる。本実施例は、ＤＢとしての
みではなく、一般のパーソナルコンピュータとしての利
用を想定するため、一般のアプリケーションソフトを格
納するアプリケーションＤＢ１０７を持つ。個人情報Ｄ
Ｂは、ユーザの日程表、住所録等のデータを格納し、マ
ルチメディア検索手段１０８における検索時にも利用す
る。１０５は作業用メモリ、１０６はＣＰＵである。

【００１７】図２は、装置構成である。コマンド入力機
器２０１は、コマンド入力手段１０３に対応し、キーボ
ード２０１１、マウス２０１２、マイクロフォン２０１
３、電子ペン２０１４等からなる。電子ペン用の専用パ
ットを用いても良いが、ここでは、ＣＲＴ２０２より直
接入力できるとしておく。ＣＲＴ２０２は表示手段１０
１に対応する。ユーザに画像及び文字を表示できるもの
ならばＣＲＴに限定しない。音声出力手段１０２に対応
するのがスピーカ２０３である。通信制御装置２０４は
通信制御手段１０９に対応する。演算装置２０５はＣＰ
Ｕ２０２に、メインメモリ２０６は作業用メモリ１０５
に対応する。マルチメディア入力機器２０７はマルチメ
ディアデータ入力手段１１３に対応し、フロッピーディ
スクドライバ（ＦＤＤ）２０７１、光ディスクドライバ
（ＯＤＤ）２０７２、ビデオインタフェイス２０７３、
オーディオインタフェイス２０７４、スキャナ２０７５
等からなる。磁気ディスク装置２０９、光磁気ディスク
装置２０８は、入力解析手段１１４等を実現するプログ
ラム、及び各種ＤＢの内容を格納する。

【００１８】図３は、入力解析手段の構成である。入力
解析手段はマルチメディア入力インタフェイス３１、マ
ルチメディアデータ前処理部３２、マルチメディアデー
タ後処理部３３、フォーマット解析、変換部３４からな
る。マルチメディアデータ前処理部は、ビデオインタフ
ェイス２０７３、マイク２０７４、スキャナ２０７５等
から入力される生データから、画像切り出し、音声認
識、レイアウト解析、文字認識等を行い、後処理部に渡
す。後処理部では、前処理部により言語データ化された
データについて、論理構造抽出、意味情報抽出等の作業
を行い、マルチメディアファイルへ結果を出力する（マ
ルチメディアデータ前処理部３２、及びマルチメディア
データ後処理部３３における処理の例は、図５で後述す
る）。

【００１９】ここで、コマンド解析手段１０４からの介
入による作業経過確認、指示等は、前処理部３２の直
前、前処理部３２、後処理部３３の直前、後処理部３
３、マルチメディアファイルへの出力の直前においてす
べて可能である。ビデオインタフェイス２０７３、マイ
ク２０７４、スキャナ２０７５等から入力される生デー
タを解析せず、単にインデクス付けして記録する場合
は、前処理部３２、後処理部３３を通さずに、直接マル
チメディアファイルへ送ることもできる。

【００２０】通信制御装置２０４、またはＦＤＤ，ＯＤ
Ｄ等の外部記憶媒体を用いた情報再生手段を通したデー
タの入力経路は以下のようになる。通信を介して入力さ
れるデータが、スキャナ２０７５等からの入力と同質な
生データなら、該データは指示に応じてマルチメディア
データ前処理部３２、またはマルチメディアファイル１
１５へ直接入力される。該データが何らかのファイル形
式で記録されたデータであるならば、フォーマット解析
・変換部によりファイル形式を認定し、必要ならばユー
ザに指示を求めつつ、本システムに準拠したファイル形
式に変換する。

【００２１】変換後得られたデータがコード化されてい
るが言語解析をうけていない場合、すなわちマルチメデ
ィアデータ前処理部を経た直後の形式のデータで（これ
を、コード化、未構造化データと呼ぶ）あれば、入力は
後処理部３３からなされ、該データが既にマルチメディ
アデータ後処理部３３を経た形式のデータ（これを、構
造化データと呼ぶ）であれば、該データは、３２、３３
を飛ばしてマルチメディアファイル１１５へ送られる。

【００２２】マルチメディアデータ前処理部３２、及び
マルチメディアデータ後処理部３３では、文書知識ＤＢ
１１８、辞書１１１を利用する。なお、マルチメディア
データ前処理部３２、マルチメディアデータ３３におけ
る要素技術については、方式は特定しない。既に多数の
論文が公開され、多くの特許に引用されている。

【００２３】図４は、登録、更新手段１１０の構成であ
る。登録・更新手段１１０は、登録・更新インタフェイ
ス４０１と、本体４０２に分かれる。登録・更新インタ
フェイス４０１は、ユーザに対してマルチメディアデー
タ解析手段に入力したデータをマルチメディアＤＢに登
録するときのファイル名、及びコメント等を要求する。
本体４０２は、リンク管理部４０２１、言語解析部４０
２２、図形検索属性情報・マルチメディアデータ間参照
関係登録部４０２３に大別され、さらにリンク管理部４
０２１は、リンク生成部４０２１２と、リンク登録部４
０２１１から構成される。

【００２４】図形検索属性情報・マルチメディアデータ
間参照関係登録部４０２３は、入力解析手段１１４から
出力され、マルチメディアファイル１１５に格納され
た、構造化データを、マルチメディアＤＢに登録する。
構造化データの例として、スキャナ入力された文書デー
タからは、図５で後述するごとく、レイアウト情報（文
書のどの位置に図形や文字が配置されているかを表す情
報）、文字コード情報（文字領域から文字認識で読み取
って得た文字コードの情報）、画像及びキャプション情
報（写真等が配置された場所から切り出した写真の画
像、及び該写真に付与されたキャプションに関する情
報）、等が得られる。これらの組を、原データに関する
構造化データと呼ぶ。ここで、画像情報は、白黒、カラ
ー等の属性情報を持ち、レイアウト情報、コード情報、
画像及びキャプション情報等の間には、原データを再構
成するための、参照関係が存在する。これらを統括し、
構造化データの各要素を関連付けて記録する機能を持つ
ものが図形検索属性情報・マルチメディアデータ間参照
関係登録部４０２３である。

【００２５】ここで、構造化データの登録のためにはフ
ァイル名が必要であるが、ファイル名、及び補足的なコ
メントは登録・更新インタフェイス４０１から言語解析
部４０２２へ送られる。このとき、構造化データに含ま
れる言語情報（例えば、章ごとのキーワード等）も併せ
て言語解析部へ送られるとしてもよい。言語解析部は、
受け取ったファイル名、コメント等の言語データに形態
素解析、構文解析、意味解析等の処理を施し、辞書に記
載された単語の集合に変換し、リンク生成部４０２１２
へ送る。リンク生成部は、該入力を受けて、与えられた
各単語と辞書の同一単語との間のリンクを生成し、リン
ク登録部４０２１１によりユーザ辞書を用いて該リンク
を記録する。言語解析部４０２２、及びリンク生成部４
０２１２は、登録・更新インタフェイス４０１を通じ
て、言語解析部やリンク生成部の処理結果のユーザによ
る確認・変更を求めたり、未登録語が発見された場合の
言い替え、ユーザによる定義を求めることができる。ユ
ーザによる定義は、辞書１１１の定義方式（辞書記載例
は図１３を参照）と同様の方式でユーザ辞書１１２へ格
納する。

【００２６】以降、前述した問題点において述べたサン
プルケースを用いて実施例の機能を示す。

【００２７】図５は入力データの解析例を説明する図で
あり、５は、ユーザがスキャナにより入力しようとする
旅行関係のパンフレットの例である。表題５１、書誌事
項５１０、章１のタイトル５１１、章１の本文５１１
１、章２のタイトル５１２、章２の本文５１２１、章１
に含まれる写真５１１２とそのキャプション５１１３、
章２に含まれる写真５１２２とそのキャプション５１２
３より構成されている例である。

【００２８】パンフレット５は、スキャナ２０７５によ
り取り込まれ、マルチメディアデータ入力インタフェイ
スより、領域指定の指示等を要求された後（この場合、
全域指定としておく）、マルチメディアデータ前処理部
３２に渡される。３２では、画像の切り出し、文字領域
の切り出しと文字認識を行い、画像領域、文字領域の位
置を示すレイアウト情報５２、各文字領域における文字
認識結果を示す文字コード情報５３、写真及び写真のキ
ャプションの文字認識結果を示す画像及びキャプション
情報５４を出力する。画像領域が表やグラフの場合、こ
れらの認識結果は５４に含まれる。さらに、これらの情
報はマルチメディアデータ後処理部３３に送られ、論理
構造抽出部３３０１により、データ５２とデータ５３を
用いて文書の論理構造５５が抽出され、意味情報抽出部
３３０２により、５３を用いて表題、各章等からのキー
ワード情報５６、及び意味ネットワーク化された意味情
報５７が抽出される。５２〜５７を併せて、（５の）構
造化データという。

【００２９】構造化データは、マルチメディアデータ入
力インタフェイス３１を介したユーザの確認等手続きを
経て、マルチメディアファイル１１５に送られる。

【００３０】図６は、パンフレット５の構造化が終わ
り、マルチメディアファイルへ格納する前に、マルチメ
ディアデータ入力インタフェイスを介して付加情報を加
える場合のインタフェイスの例である。

【００３１】パンフレット５は、図５に示した構造化の
後、再び画面上に再構成され、確認することができる。
６は再構成されたパンフレット５である。ユーザが、中
禅寺湖の写真を手にいれたとし、第２章６１の中の文字
列“中禅寺湖”をクリックするとその写真のウィンドウ
が開くように写真を文字列とリンクさせたいとする。こ
のときユーザは追加する写真情報をスキャナにより入力
し、ウィンドウ６１３にて表示させる。ユーザは、入力
画像を確認した後、６１３のサブウィンドウ６１４に
て、６１３の説明等のコメントを入力できる。写真と文
字列のリンクは、６１２１のごとき文字列を囲む閉曲線
と、ウィンドウ６１３と閉曲線６１２１に触れ、６１３
から６１２１へ向かう矢印により、直接指示可能であ
る。閉曲線６１２１、矢印６１２２の入力手段はマウス
２０１２でも、電子ペン２０１４でも良く、特定しな
い。また、閉曲線のかわりにマウスによる文字列の反転
指定でもよい。

【００３２】この結果、６に対応する構造化データは、
５４に６２０１、６２０２が追加された画像及びキャプ
ション情報６２と、５２、５３、５５、５６、５７およ
び“中禅寺湖”と６２０１、６２０２の間のリンク情報
となる。

【００３３】図１０、図１１は、それぞれ表形式のデー
タの一部、外部データベース検索によって得た情報の一
部を登録する場合のインタフェイスを示す。表形式のデ
ータの例として、時刻表を、外部データベース検索によ
って得られた情報例として、ホテル情報を用いる。

【００３４】時刻表のスキャニングにより入力解析手段
に情報を入力するとき、マルチメディアデータ入力イン
タフェイスは、スキャンされたデータのウィンドウによ
る表示１０とともに、ユーザに対する要求１０１を表示
する。ユーザは、マウス２０１２または電子ペン２０１
４により、表示された画像上で、必要範囲を閉曲線（長
方形も含む）で囲む。システムは文書知識を利用し、不
要部分の切捨て及び不足部分の補充等を行い、１０３の
網掛け表示された部分を認識し、再構成された表１０５
と、確認要求メッセージ１０４を出力する。

【００３５】次に、外部データベース検索により“栃木
県のホテル情報”を入手し、入力解析手段に情報を入力
するとき、マルチメディアデータ入力インタフェイス
は、アプリケーションＤＢに格納されたエディタを立ち
上げ、送信されてきた文字コードデータを編集可能画面
１１として提示する。時刻表の場合と同様、マルチメデ
ィアデータ入力インタフェイスは、ユーザに対する要求
１１１を表示する。ユーザは、マウス２０１２またはキ
ーボード２０１１により、表示された画像上で、必要範
囲を反転指定することにより、１１３の網掛け表示され
た部分を指定し、再構成された表１１５と、確認要求メ
ッセージ１１４が出力される。

【００３６】図７、図８、図９は、入力解析手段により
解析されたデータを登録・更新手段１１０により、辞書
１１１等とリンク付けしながら、マルチメディアＤＢ１
１６へ登録する手順とインタフェイスを説明する。辞書
１１１は、図９に示すようなネットワーク上の構造を持
つものと仮定するが、以下ではネットワークのノード
を、誤解の無い場合、状況に応じて“単語”、“項
目”、“概念”等の呼称で呼ぶ。

【００３７】以下、入力データの例として、再び旅行ぱ
パンフレット５の場合を用いる。

【００３８】パンフレットは５は、入力解析手段１１４
の解析を経て、レイアウト方法５２、文字コード情報５
３、…の集合である構造化データとしてマルチメディア
ファイル１１５に送られる。これをマルチメディアＤＢ
に登録するためには、ファイル名の指示等が必要であ
る。登録・更新手段１１０を構成する登録・更新インタ
フェイス４０１は、ユーザのセーブ要求に対し、図７手
順７１に従い、図８のウィンドウ８１により、ファイル
名を要求する。ユーザは、サブウィンドウ８１１によ
り、ファイル名“ｔｍｐ１”を入力する。辞書の事項と
のリンクにより、ファイル内のデータが持つ潜在的な意
味を把握するためには、ファイル名が８１１に入力され
たような自然言語として意味を持たない単なる識別子で
は不十分なため、言語解析部が必要と判断した場合、メ
ッセージ８１１１を出力する。

【００３９】再びユーザがサブウィンドウ８１１に“日
光観光案内”を入力すると、今回は言語解析部４０２１
は、図９のごとき互いに関連付けられたキーワードの組
９２０１、９２０２、９２０３を抽出し、ファイル名
“日光観光案内”９２００とともにパンフレット５の構
造化データ５２〜５７に付加する。手順７１により、更
にユーザの連想を喚起するため、ウィンドウ８２のごと
くコメントを要求する。

【００４０】この場合、ユーザの興味から、将来該デー
タにアクセスするときの別の観点になる可能性のある付
加情報“江戸時代の建築、温泉”８２１を加える。８２
１は例えば図９のキーワード９２０５とキーワード９２
０６の組、及びキーワード９２０７の集合として解析さ
れ、コメント“江戸時代の建築、温泉”９２０４ととも
にパンフレット５の構造化データ５２〜５７に付加され
る。こうして、ファイル名９２００とその解析結果９２
０１〜９２０３、コメント９２０４とその解析結果９２
０５〜９２０７が付加された構造化データ９２が得られ
る。

【００４１】登録・更新インタフェイス４０１は、最後
にファイル検索のときに参照する予備知識としてウィン
ドウ８３のように重要度を要求することができ、サブウ
ィンドウ８３１により、ユーザは数値で入力する。重要
度の入力はオプショナルである。

【００４２】言語解析結果のキーワード群９２０１〜９
２０３、および９２０５〜９２０７はリンク生成部４０
２１２に渡される。

【００４３】この例では、言語解析部４０２２の抽出し
たキーワードはすべて辞書１１１に登録されているが、
言語解析部の使う辞書は、必ずしも辞書１１１ではな
く、内蔵の専用辞書でもよい。また、キーワードとして
未登録語をヒューリスティックに切り出すことも可能な
ため、リンク管理部では、手順７２に従って、言語解析
部４０２２の出力したキーワードを検査する。該キーワ
ードが辞書１１１において発見されれば、リンク生成部
４０２１２は、該キーワードと、辞書における同一の単
語との間のリンクを生成し、その結果該キーワードが抽
出されるもととなったデータと辞書の間のリンクがはら
れる。

【００４４】この例では、“日光観光案内”９２００か
ら抽出されたキーワード“日光”９２０１と辞書１１１
の単語“日光”９１１３、同じく“観光”９２０２と
“観光”９１０９、“案内”９２０３と“案内”９１１
０の間にそれぞれリンクが生成され、これらを介し、
“日光観光案内”９２００は、辞書１１１の上記３単語
との間にリンクが生じる。その結果として、パンフレッ
ト５の構造化データ９２と辞書の間に間接的にリンクが
生じる。これは、コメント“江戸時代の建築、温泉”９
２０４に関しても同様であり、この場合は、辞書１１１
の単語９１０１、９１０６、９１０７との間にリンクが
生成される。

【００４５】キーワードと辞書との間に生成されたリン
クは、リンク登録部４０２１１により、ユーザ辞書１１
２に記録される。

【００４６】キーワードが未登録語である場合、手順７
４、７５に従い、ユーザにキーワードを変更または定義
してもらい、以下７３と同様の処理をする。

【００４７】以上では、簡単のため、ファイル名とコメ
ントの解析結果のみが辞書とリンク付けされたが、一般
に、構造化データの内部のキーワードや、写真のキャプ
ションなども、要求に応じて、同様にリンク付けできる
（手順７６）。

【００４８】図１２は、後にマルチメディア検索手段１
０８においても有機的に利用される、ユーザの日程表を
入力する場合のインタフェイスである。日程表管理ソフ
トは、アプリケーションＤＢ１０７に格納されており、
日程表の確認・更新要求に応じて、個人情報ＤＢ１１７
に格納された日程表管理ＤＢ１２２を用いてウィンドウ
１２１を生成する。ここで、５月１３、１４日の出張を
５月２７、２８日に移動し、５月１６日のゴルフの予定
を取り消し、５月２３日にテニスの予定を書き込みたい
とする。マウス２０１２等による指示も考えられるが、
ここでは電子ペンによる直接入力の例を示す。出張日の
移動は、１２１１、１２１４のような閉曲線による文字
列指定と、矢印により、目標領域である５月２７、２８
日の欄にそれぞれ文字列“出張”を移動させることがで
きる。また、ゴルフの予定の取り消しは、１２１２１の
ごとく線による抹消で指示できる。テニスの書き込み
は、１２１３のごとく画面に直接記入する。これらの操
作の解析により、日程表は１２２のごとく変更され、そ
の結果は日程表管理ＤＢ１２２に保持される。

【００４９】以下、図１３〜１６は、マルチメディア検
索手段１０８が辞書１１１、ユーザ辞書１１２を用いて
マルチメディアＤＢ１１６に格納されたデータを検索す
る場合を示す。例として、ユーザが“旅行”に関する手
持ちのデータを引き出す場合を用いる。図１３は、図９
で示したパンフレットの構造化データ９２、図１０で入
力した時刻表の構造化データ１３１１、図１１で示した
ホテル情報の構造化データ１３１８と、辞書１１１の構
造の一例を示している。

【００５０】ここで、図１０で示した時刻表から生成し
たデータ１０５には、ファイル名“東武線時刻表”を、
図１１で示したホテル情報から生成したデータ１１５に
は、ファイル名“栃木県宿施設”を付けた仮定し、これ
らのファイル名を解析した結果がキーワード１３１１、
１３１２、及び１３１６、１３１７である。簡単のた
め、コメントの解析結果は省略した。また、辞書の内容
も、図９の内容から必要ない部分を除き、新たに関連す
る部分を追加した。

【００５１】辞書は、各ノードが概念の包含関係を表す
Ｉｓａリンク，例示を表すＩｎｓｔａｎｃｅリンク等で
結ばれ、特に動詞概念と名詞概念の間は、動詞の主格を
表すＡｇｅｎｔリンク、目的格を表すＧｏａｌリンク、
手段格を表すＩｎｓｔｒリンク、場所格を表すＬｏｃリ
ンク等で結ばれている。動詞概念は、１３０７のごとく
内部情報を持ち、動詞概念“旅行”１３０９の場合、表
層文における主語となるｓｂｊスロット１３０９１、目
的語となるｇｏａｌスロット１３０９２、さらに文法的
には必須ではないが、その他の重要なスロットである交
通手段スロット１３０９３、宿泊施設スロット１３０９
４、日程スロット１３０９５を含む。ｇｏａｌスロット
１３０９２に付随する文字列“旅行先”は、後にユーザ
インタフェイスのため用いる。

【００５２】ｓｂｊスロット１３０９１は辞書の概念
“人”とＡｇｅｎｔリンク１３０３０により結ばれ、ｇ
ｏａｌスロット１３０９２は、辞書の概念“地名”９１
０８とＧｏａｌリンク１３０３により結ばれ、交通手段
スロット１３０９３は、辞書の概念“交通手段”１３０
１とＩｎｓｔｒリンク１３０６により結ばれ、宿泊施設
スロット１３０９４は、辞書の概念“宿泊施設”１３０
２とＬｏｃリンク１３０８により結ばれ、日程スロット
１３０９５は、日程管理ファイル１２０を参照するため
日程管理ファイル１２０とリンクされている。

【００５３】図１４、図１５を用いて、マルチメディア
検索手段１０８のインタフェイス例と検索手段を説明す
る。ファイル名や、キーワードによる直接検索は、通常
のデータベースと同様なのでここでは述べず、本方式に
特有の間連情報検索方法について述べる。“旅行”の例
を用いると、“旅行”というキーワード自体を持つファ
イルの検索でなく、“旅行”というキーワードを直接持
たないにもかかわらず、“旅行”という概念を中心に潜
在的に関係づけられるファイル群を検索する場合であ
る。

【００５４】ユーザが、旅行関連のファイルを検索する
とする。マルチメディア検索手段１０８は、まず手順１
４０１に従って作業領域１４０１をクリアし、検索テー
マ入力ウィンドウ１５１を表示する。ユーザがサブウィ
ンドウ１５１１にテーマ“旅行”を入力すると、マルチ
メディア検索手段１０８は手順１４０２に従い、概念Ｒ
として“旅行”を受け取る。マルチメディア検索手段１
０８は、手順１４０３に従って、“旅行”１３０９の各
スロットについて、１４０４、１４０５を行う。ここ
で、１４０３において“一部または全部のスロット”と
したのは、“旅行”１３０９のｓｂｊスロットなど
は、ユーザ自身をデフォルトとして設定することにより
検索を省力することができるからである。この場合も、
ｓｂｊスロットに関する検索は省略する。

【００５５】このとき、ｇｏａｌスロット１３０９２に
関して、Ｇｏａｌリンクにより結び付けられた“地名”
９１０８の下位概念である“日光”９１１３、“栃木
県”１３０７とそれぞれリンクされた、９２、１３１８
は、作業用メモリＭにそのインデクスが書き込まれる。
同様に、１３１０は交通手段スロット１３０９３に対応
して、１３１８は宿泊施設スロットに関してふたたび、
作業用メモリＭにそのインデクスが書き込まれる。従っ
て、判定１４０６において、手順１４０８に進み、作業
用メモリＭに書かれたインデクスを用いて、限定された
ファイルに対する対話的な検索ができる。

【００５６】そのインタフェイスの例が、図１５の１５
２以下である。テーマ入力ウィンドウ１５１は、“旅
行”の入力後、小ウィンドウ１５２を生成し、“旅行”
１３０９のｓｂｊと日程を除くスロットから、３つの関
連事項“旅行先、旅行手段、宿泊施設”を生成、表示す
る。ユーザが例えば“旅行先”を選ぶと、反転表示１５
２１され、検索プログラムは、ｇｏａｌスロットからＧ
ｏａｌリンクを辿り、辞書概念“地名”９１０８を調べ
にゆく。“地名”９１０８は、子ノードを二つ持つた
め、システムは小ウィンドウ１５３を生成し、それらと
リンクされた全てのファイルを表示対象とするか、“国
内の地名”ノード９１１２以下のノードとリンクされた
ファイルのみを表示対象とするか、または“海外の地
名”ノード９１１１以下のノードとリンクされたファイ
ルのみを表示対象とするかの選択を求める。１５２１と
同様に“国内”を選択、反転１５３１させると、最終的
に選ばれたインデクスに対応するファイルが、子ウィン
ドウ１５４に件数情報と共に表示される。ウィンドウ１
５４上では、高速頁めくりによりこれらのファイルを流
し読みでき、マウス等により必要なファイルを指定でき
る。この場合、パンフレット５を構造化して得たファイ
ル９２を選択する。さらに、ファイル９２の関連箇所を
範囲指定するインタフェイスを示したのがウィンドウ１
５１であり、この場合、マウスによる矩形指定１５５１
で９２１を選択する。

【００５７】図１６は、ウィンドウ１５１において“交
通手段”を選択した場合を示しており、図１５と同様
に、ウィンドウ１６１において、１３１０を選択し、選
択指定ウィンドウ６３２において、電子ペン２０１４に
より範囲指定１３０１０を行っている。

【００５８】図１７、図１８は、概念Ｒに関して発見し
たファイルの組を、使用したキーワードと選択部分の指
定付きで組にして記録する方法を、概念“旅行”の場合
を例にして示す。ここで、ファイル１３１８は、図１
５、１６と同様に、宿泊施設スロットから選ばれ、選択
範囲１３１８１の指定を受けていると仮定している。

【００５９】手順１８２に従い、辞書１１１の概念“旅
行”のコピー１７１をつくり、ユーザ辞書１１２にコピ
ーする。手順１８３、１８４に従い、ファイル９２、１
３１０、１３１８のインデクス、または実体を、１７１
の各スロットとリンクして、ユーザ辞書に登録する。こ
のとき、使用したキーワード９２０１、１３１１、１３
１７、及び範囲指定情報９２１、１３１０１、１３１８
１を付加する。

【００６０】ユーザが旅行計画を立てている場合、日程
表との整合が問題になる。このときは、オプションとし
て、日程に関して、ウィンドウ１７３を生成し、１７３
１のごとく入力して判定を仰ぐこともできる。これは、
日程スロットが日程表管理ファイルとリンクされてお
り、日程管理ソフトと連動するためである。

【００６１】さらに、個人データＤＢにビデオ番組情報
がある場合、日程入力と連動して図２３の２３１のごと
く、番組情報リストの提示をさせることも可能である。

【００６２】図１９、２０は、上述したファイル９２、
１３１０、１３１８各々の選択部分９２１、１３１０
１、１３１８１をカット＆ペーストして、一つのファイ
ルにし、登録する場合の画面である。編集用ウィンドウ
にそれぞれを配置することにより、新たなファイル１９
１が作られる。１９１を登録するためにはファイル名要
求１９２に対し、例えばファイル名“日光旅行”１９３
を入力する。さらに、図２０に示したごとく、文書の特
定の文字列２０１に、旅先で録音した音声情報をオーデ
ィオインタフェイス２０７４を介して入力し、リンクさ
せて記録させることもできる。ウィンドウ２０３は、音
声をグラフィック表示し、マウス等で範囲指定２０５を
行う場合の画面例である。この場合も、文字列２０１と
音声データウィンドウ２０４の間のリンクは、２０２の
ごとく画面から直接入力できる。また、指定範囲の音声
は、音声出力手段１０２で確認できる。

【００６３】図２１、２２は、ユーザ辞書を用いて、
“日光に旅行したときに泊まったホテルが乗っているフ
ァイル”のごとく、互いに関連する情報のうちのある情
報から、他の情報を検索する手順と、その例である。ま
ず、検索システムは手順２１０１に従って作業用領域Ｍ
をクリアする。検索テーマを要求するウィンドウ２２１
が開き、“日光に旅行したときに泊まった宿泊施設に関
するファイル”のようにテーマを入力する。入力が上記
のごとく自然言語の場合は自然言語解析され、マルチメ
ディア検索手段１１０は、手順２１０２に従って、概念
“旅行”およびｇｏａｌスロットと結び付けられたキー
ワード“日光”９２０１、および、検索したいスロット
である“宿泊施設”を受け取る。手順２１０３、２１０
４に従い、“旅行”により結び付けられているファイル
のうち、図１７のごとく、ファイル９２１（ｇｏａｌス
ロットがキーワード“日光”９２０１と結び付いてい
る）と組になっているファイル１３１０、１３１８のう
ち、宿泊施設スロットとリンクしているファイル１３１
８のインデクスが作業領域Ｍに書き込まれ、判定２１０
５と２１０７に従い、ファイル１３１８が出力される。
図２２のウィンドウ２２３が出力の様子を表す。

【００６４】検索の他の形態として、ファイル名を入力
して、そのファイルと何等かの関係のあるファイルすべ
てを検索することや、“旅行”というテーマを入力し
て、関連ファイルを出力させることもできる。これら
は、図２１に示した手順を若干変更することにより、容
易に実現できる。

【００６５】また、ユーザ辞書の記録形態を若干変更
し、たとえば“旅行”ノードのｇｏａｌスロットと、目
的のファイルの間のパス全体を記録しておけば、例えば
ユーザが海外旅行より国内旅行により関心があるなどの
情報を取り出すことができ、“国内”、“海外”を選択
させるときの選択枝の提示順序などをカスタマイズする
ことができる。これは、選択枝が増えた場合には重要で
ある。

【００６６】

【発明の効果】あるファイルをデータベースに登録する
場合、そのファイルの分類は、観点により一様ではな
く、単に固定したキーワードと結び付けて登録すると、
他の観点からアクセスできなくなり、情報の活用という
点から問題である。本発明によれば、一旦登録したファ
イル間の様々な関係を、観点を変える事に半自動的に発
見することができ、ユーザの記憶能力を越えて増大し、
活用しきれなくなるおそれのある大量の情報を有効に活
用できるようになる。また、一旦発見した情報間の関連
を容易に記録できるため、知識の再利用が容易となる。

【００６７】結果的に、登録するときにファイルの分類
に神経質にならなくてもよい、ユーザフレンドリなマル
チメディアデータベースが得られる。

【図面の簡単な説明】

【図１】本実施例の構成を示す図。

【図２】本実施例の装置構成を示す図。

【図３】本実施例の入力解析手段の詳細を示す図。

【図４】本実施例の登録・更新手段の構成を示す図。

【図５】本実施例の入力データの解析例を示す図。

【図６】本実施例のマルチメディアデータ付加例を示す
図。

【図７】本実施例のリンク生成手順を示す図。

【図８】本実施例の登録インタフェイスを示す図。

【図９】本実施例のリンクの例を示す図。

【図１０】本実施例の定型文書入力例を示す図。

【図１１】本実施例の通信による検索結果入力例を示す
図。

【図１２】本実施例の日程表管理を示す図。

【図１３】本実施例の辞書記述とリンクの例を示す図。

【図１４】本実施例の辞書を用いた関連情報検索支援手
順を示す図。

【図１５】本実施例の検索インタフェイスを示す図。

【図１６】本実施例のデータの選択インタフェイスを示
す図。

【図１７】本実施例の発見したデータの記録を示す図。

【図１８】本実施例のファイルの組の記録手順を示す
図。

【図１９】本実施例のファイルの作成と保存を示す図。

【図２０】本実施例のマルチメディアファイルへの情報
の付加を示す図。

【図２１】本実施例の部分情報からの関連情報の検索を
示す図。

【図２２】本実施例のユーザ辞書を用いた検索インタフ
ェイスを示す図。

【図２３】本実施例のユーザ個人情報の利用例を示す
図。

【符号の説明】

１０８…マルチメディア検索手段、１１４…入力解析手
段、１１０…登録・更新手段、１１１…辞書、１１２…
ユーザ辞書、１１６…マルチメディアデータベース、２
０１…コマンド入力機器、２０７…マルチメディアデー
タ入力機器、３１…マルチメディアデータ入力インタフ
ェイス、４０２１…リンク管理部、５…入力データ例、
９２…構造化データ、１６１…検索結果表示ウィンド
ウ。

Claims

【特許請求の範囲】

【請求項１】表示手段、コマンド入力手段、コマンド解
析手段、マルチメディアデータ入力手段、マルチメディ
アデータ登録・更新手段、マルチメディアデータ検索手
段、マルチメディアデータ表示手段、マルチメディアデ
ータ格納手段、通信制御手段、を持つマルチメディアデ
ータ検索装置において、マルチメディアデータベースの
他に、一般知識を記載した辞書、及びマルチメディアデ
ータと辞書との間のリンク生成・保持手段を持つことを
特徴とするマルチメディアデータ検索装置。
【請求項２】マルチメディアデータ入力方法が、画面表
示されたマルチメディアデータ間のリンク付けを、画像
上への直接入力装置を用いて、曲線及び有向線分等を入
力することを特徴とする請求項１記載のマルチメディア
データ検索装置。