JPH06110946A - マルチメディアデータ検索装置、及びマルチメディア・ユーザインタフェース - Google Patents
マルチメディアデータ検索装置、及びマルチメディア・ユーザインタフェースInfo
- Publication number
- JPH06110946A JPH06110946A JP4259337A JP25933792A JPH06110946A JP H06110946 A JPH06110946 A JP H06110946A JP 4259337 A JP4259337 A JP 4259337A JP 25933792 A JP25933792 A JP 25933792A JP H06110946 A JPH06110946 A JP H06110946A
- Authority
- JP
- Japan
- Prior art keywords
- data
- multimedia
- dictionary
- information
- multimedia data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【目的】 大量の情報の間の関連を見つけ、その有向利
用を図る。 【構成】 一般的な知識の記述された辞書111を設
け、登録・更新手段110によりマルチメディアDBに
登録されるファイルを上記辞書とリンクさせ、マルチメ
ディア検索部110により上記リンクを利用した知的検
索を行う。また、ユーザが一度見つけたファイル間の関
連を記録するためのユーザ辞書112を設け、ファイル
の間の関連について発見した知識を再利用可能にする。
用を図る。 【構成】 一般的な知識の記述された辞書111を設
け、登録・更新手段110によりマルチメディアDBに
登録されるファイルを上記辞書とリンクさせ、マルチメ
ディア検索部110により上記リンクを利用した知的検
索を行う。また、ユーザが一度見つけたファイル間の関
連を記録するためのユーザ辞書112を設け、ファイル
の間の関連について発見した知識を再利用可能にする。
Description
【0001】
【産業上の利用分野】本発明は、計算機を用いてデータ
を蓄積、検索する機能を持つすべての装置に係り、知識
情報処理分野と、データベース技術分野において利用さ
れる。
を蓄積、検索する機能を持つすべての装置に係り、知識
情報処理分野と、データベース技術分野において利用さ
れる。
【0002】
【従来の技術】従来の装置は、特開平3−62169の
文書検索方法及び文書検索装置のごとく、入力された文
書画像を理解、構造化することにより、キーワード等に
よる文書の内容検索が可能である。本発明も、文書理
解、構造化技術においては上記従来技術に依拠するが、
上記従来技術では、あるキーワードを含む文書は検索で
きても、“特定の関係にある(可能性のある)文書の
組”を検索するというような、文書と文書の関係に踏み
込んだ検索はできなかった。
文書検索方法及び文書検索装置のごとく、入力された文
書画像を理解、構造化することにより、キーワード等に
よる文書の内容検索が可能である。本発明も、文書理
解、構造化技術においては上記従来技術に依拠するが、
上記従来技術では、あるキーワードを含む文書は検索で
きても、“特定の関係にある(可能性のある)文書の
組”を検索するというような、文書と文書の関係に踏み
込んだ検索はできなかった。
【0003】
【発明が解決しようとする課題】従来、データベースに
おいてデータを登録する場合、登録しようとするデータ
を、既存のデータまたはキーワードとの間の関係(上位
/下位関係、部分/全体関係等)により分類し、登録す
ることになるが、いかに分類・整理を心がけても、一旦
登録されたデータが有効利用されなくなる問題がしばし
ば生じた。これを具体例で説明する。
おいてデータを登録する場合、登録しようとするデータ
を、既存のデータまたはキーワードとの間の関係(上位
/下位関係、部分/全体関係等)により分類し、登録す
ることになるが、いかに分類・整理を心がけても、一旦
登録されたデータが有効利用されなくなる問題がしばし
ば生じた。これを具体例で説明する。
【0004】ある日、旅行関係のパンフレットを持ち帰
り、スキャナ入力によりファイル化したが、“旅行関
係”というディレクトリがないため、“tmp”という
名のディレクトリの下にとりあえず“tmp1”等のファイ
ル名で保存したとする。別の日に、出張時に利用する時
刻表の一部をスキャナ入力し、“出張関係”というディ
レクトリに、ファイル名“時刻表1”として保存したと
する。さらに別の日に、ホテル案内をデータベースから
取入れ、“宿泊情報1”のファイル名で、ディレクトリ
“宿泊”の下に保存したとするとする。
り、スキャナ入力によりファイル化したが、“旅行関
係”というディレクトリがないため、“tmp”という
名のディレクトリの下にとりあえず“tmp1”等のファイ
ル名で保存したとする。別の日に、出張時に利用する時
刻表の一部をスキャナ入力し、“出張関係”というディ
レクトリに、ファイル名“時刻表1”として保存したと
する。さらに別の日に、ホテル案内をデータベースから
取入れ、“宿泊情報1”のファイル名で、ディレクトリ
“宿泊”の下に保存したとするとする。
【0005】この状況は、データの活用という観点から
問題が生じる可能性が高い。例えば、仮にユーザが温泉
旅行を企てたとして、互いに関連なく記録された旅行の
パンフレット、時刻表、ホテル情報のファイルを有機的
に結び付けて発見する可能性は低い。その理由は、上記
の各情報の間の旅行に関連する要素としての潜在的な関
係を、ユーザが登録時にあらかじめ意識できないからで
ある。一つのデータを登録する時点で、将来どのような
データが他に追加されるかは不明であり、潜在的な関係
をすべて想定することは不可能である。結局、ユーザ
は、試行錯誤的にディレクトリを辿りながら、多数のフ
ァイルを検索しなければならない。しかも、その中には
“tmp1”のように、ファイル名からは内容が分から
ないものまであると、その困難は一層大きくなる。
問題が生じる可能性が高い。例えば、仮にユーザが温泉
旅行を企てたとして、互いに関連なく記録された旅行の
パンフレット、時刻表、ホテル情報のファイルを有機的
に結び付けて発見する可能性は低い。その理由は、上記
の各情報の間の旅行に関連する要素としての潜在的な関
係を、ユーザが登録時にあらかじめ意識できないからで
ある。一つのデータを登録する時点で、将来どのような
データが他に追加されるかは不明であり、潜在的な関係
をすべて想定することは不可能である。結局、ユーザ
は、試行錯誤的にディレクトリを辿りながら、多数のフ
ァイルを検索しなければならない。しかも、その中には
“tmp1”のように、ファイル名からは内容が分から
ないものまであると、その困難は一層大きくなる。
【0006】仮に、ユーザが、上記の3データを同時に
関連つけて登録するため、“旅行関係”というディレク
トリをつくり、その下に“パンフレット”、“時刻
表”、“ホテル情報”等のサブディレクトリ作って、各
データを保存するならば、旅行関係のデータはまとめて
検索できる。しかし今度は、上記ディレクトリ下に保存
された“時刻表”情報を、出張関連情報として想起する
ことは困難である。
関連つけて登録するため、“旅行関係”というディレク
トリをつくり、その下に“パンフレット”、“時刻
表”、“ホテル情報”等のサブディレクトリ作って、各
データを保存するならば、旅行関係のデータはまとめて
検索できる。しかし今度は、上記ディレクトリ下に保存
された“時刻表”情報を、出張関連情報として想起する
ことは困難である。
【0007】さらに、例えばある旅行の計画を立てるの
に参照したファイルの組、及びその中の情報を、旅行に
関するエピソードとして関連付けて記録し、“日光に旅
行したときに乗った列車、その列車の時刻表のあるファ
イル”等の検索をすることは、従来不可能であった。す
なわち、検索の結果見いだした、ファイルの間の特定の
関連を、知識として再利用できない。
に参照したファイルの組、及びその中の情報を、旅行に
関するエピソードとして関連付けて記録し、“日光に旅
行したときに乗った列車、その列車の時刻表のあるファ
イル”等の検索をすることは、従来不可能であった。す
なわち、検索の結果見いだした、ファイルの間の特定の
関連を、知識として再利用できない。
【0008】これらの問題を整理すると、次のようにな
る: 1)データ登録時、データとデータの間の潜在的な関係
を見いだすための情報を、ユーザへの質問、もしくはデ
ータの解析により抽出する仕組みがない。
る: 1)データ登録時、データとデータの間の潜在的な関係
を見いだすための情報を、ユーザへの質問、もしくはデ
ータの解析により抽出する仕組みがない。
【0009】2)データとデータの間の潜在的な関係を
予め登録するのは困難である。
予め登録するのは困難である。
【0010】3)仮に、データとデータの間の潜在的な
関係を予め登録しても、登録時に想定しなかった関係を
用いてデータを検索することはできない。
関係を予め登録しても、登録時に想定しなかった関係を
用いてデータを検索することはできない。
【0011】4)検索の結果、ある関連を持ったデータ
の組が見つかった場合、この知識を再利用することが困
難である。
の組が見つかった場合、この知識を再利用することが困
難である。
【0012】本発明は、これらの問題点を解決する。
【0013】
【課題を解決するための手段】本発明では、マルチメデ
ィアデータ入力手段、入力解析手段等の、従来方式にお
けるマルチメディアデータ検索システムで用いる要素の
他に、一般知識が記載された辞書、登録・更新手段(フ
ァイル名等を解析する言語解析部と、辞書とデータの間
のリンクを行うリンク管理部を含む。データ管理部は、
データと辞書記載概念との間のリンクを生成するリンク
生成部と、得られたリンクを記録するリンク記録部より
構成される)、データと辞書の間のリンク、辞書項目の
間のリンク等を用いて、特定の関係にあるデータの組を
検索するためのマルチメディア検索手段、特定の関係に
あるデータの組と、そのあいだの関係を記録するユーザ
辞書を用いて、上記の問題を解決する。
ィアデータ入力手段、入力解析手段等の、従来方式にお
けるマルチメディアデータ検索システムで用いる要素の
他に、一般知識が記載された辞書、登録・更新手段(フ
ァイル名等を解析する言語解析部と、辞書とデータの間
のリンクを行うリンク管理部を含む。データ管理部は、
データと辞書記載概念との間のリンクを生成するリンク
生成部と、得られたリンクを記録するリンク記録部より
構成される)、データと辞書の間のリンク、辞書項目の
間のリンク等を用いて、特定の関係にあるデータの組を
検索するためのマルチメディア検索手段、特定の関係に
あるデータの組と、そのあいだの関係を記録するユーザ
辞書を用いて、上記の問題を解決する。
【0014】
【作用】登録・更新手段は、ファイル名の解析、ユーザ
へのコメント要求等を通じて前述の問題点1)を解決
し、登録データと辞書記載概念の間のリンクと、辞書記
載概念相互のリンクを用いた検索を行うマルチメディア
検索手段により、問題2)、3)を解決する。また、ユ
ーザ辞書により、問題4)を解決する。
へのコメント要求等を通じて前述の問題点1)を解決
し、登録データと辞書記載概念の間のリンクと、辞書記
載概念相互のリンクを用いた検索を行うマルチメディア
検索手段により、問題2)、3)を解決する。また、ユ
ーザ辞書により、問題4)を解決する。
【0015】
【実施例】以下、図にしたがって実施例を述べる。
【0016】図1は、本実施例の構成図である。表示手
段101、音声出力手段102はデータ表示やシステム
のメッセージ出力に用いられる。コマンド入力手段10
3によりデータ登録要求や、データ検索要求が入力さ
れ、コマンド解析手段104により解析される。なお、
コマンド入力手段として音声等も想定するので、コマン
ド解析手段には、音声認識部も含まれるとする。文書等
は、マルチメディアデータ入力手段113により、スキ
ャニング等の処置を施され、入力解析手段114によ
り、レイアウト解析、画像切り出し、文字認識、文書解
析等の処理をうけてマルチメディアファイル115へ送
られ、登録・更新手段110により、マルチメディアD
B116に保存されると同時に、付与されたファイル
名、コメント等の情報を解析して辞書記載概念とのリン
ク付けを施される。上記リンクはユーザ辞書112に記
録される。マルチメディアDB116に記録されたファ
イルは、マルチメディア検索手段108により、辞書1
11、ユーザ辞書112を用いて生成されるリンクを用
いて検索することができる。本実施例は、DBとしての
みではなく、一般のパーソナルコンピュータとしての利
用を想定するため、一般のアプリケーションソフトを格
納するアプリケーションDB107を持つ。個人情報D
Bは、ユーザの日程表、住所録等のデータを格納し、マ
ルチメディア検索手段108における検索時にも利用す
る。105は作業用メモリ、106はCPUである。
段101、音声出力手段102はデータ表示やシステム
のメッセージ出力に用いられる。コマンド入力手段10
3によりデータ登録要求や、データ検索要求が入力さ
れ、コマンド解析手段104により解析される。なお、
コマンド入力手段として音声等も想定するので、コマン
ド解析手段には、音声認識部も含まれるとする。文書等
は、マルチメディアデータ入力手段113により、スキ
ャニング等の処置を施され、入力解析手段114によ
り、レイアウト解析、画像切り出し、文字認識、文書解
析等の処理をうけてマルチメディアファイル115へ送
られ、登録・更新手段110により、マルチメディアD
B116に保存されると同時に、付与されたファイル
名、コメント等の情報を解析して辞書記載概念とのリン
ク付けを施される。上記リンクはユーザ辞書112に記
録される。マルチメディアDB116に記録されたファ
イルは、マルチメディア検索手段108により、辞書1
11、ユーザ辞書112を用いて生成されるリンクを用
いて検索することができる。本実施例は、DBとしての
みではなく、一般のパーソナルコンピュータとしての利
用を想定するため、一般のアプリケーションソフトを格
納するアプリケーションDB107を持つ。個人情報D
Bは、ユーザの日程表、住所録等のデータを格納し、マ
ルチメディア検索手段108における検索時にも利用す
る。105は作業用メモリ、106はCPUである。
【0017】図2は、装置構成である。コマンド入力機
器201は、コマンド入力手段103に対応し、キーボ
ード2011、マウス2012、マイクロフォン201
3、電子ペン2014等からなる。電子ペン用の専用パ
ットを用いても良いが、ここでは、CRT202より直
接入力できるとしておく。CRT202は表示手段10
1に対応する。ユーザに画像及び文字を表示できるもの
ならばCRTに限定しない。音声出力手段102に対応
するのがスピーカ203である。通信制御装置204は
通信制御手段109に対応する。演算装置205はCP
U202に、メインメモリ206は作業用メモリ105
に対応する。マルチメディア入力機器207はマルチメ
ディアデータ入力手段113に対応し、フロッピーディ
スクドライバ(FDD)2071、光ディスクドライバ
(ODD)2072、ビデオインタフェイス2073、
オーディオインタフェイス2074、スキャナ2075
等からなる。磁気ディスク装置209、光磁気ディスク
装置208は、入力解析手段114等を実現するプログ
ラム、及び各種DBの内容を格納する。
器201は、コマンド入力手段103に対応し、キーボ
ード2011、マウス2012、マイクロフォン201
3、電子ペン2014等からなる。電子ペン用の専用パ
ットを用いても良いが、ここでは、CRT202より直
接入力できるとしておく。CRT202は表示手段10
1に対応する。ユーザに画像及び文字を表示できるもの
ならばCRTに限定しない。音声出力手段102に対応
するのがスピーカ203である。通信制御装置204は
通信制御手段109に対応する。演算装置205はCP
U202に、メインメモリ206は作業用メモリ105
に対応する。マルチメディア入力機器207はマルチメ
ディアデータ入力手段113に対応し、フロッピーディ
スクドライバ(FDD)2071、光ディスクドライバ
(ODD)2072、ビデオインタフェイス2073、
オーディオインタフェイス2074、スキャナ2075
等からなる。磁気ディスク装置209、光磁気ディスク
装置208は、入力解析手段114等を実現するプログ
ラム、及び各種DBの内容を格納する。
【0018】図3は、入力解析手段の構成である。入力
解析手段はマルチメディア入力インタフェイス31、マ
ルチメディアデータ前処理部32、マルチメディアデー
タ後処理部33、フォーマット解析、変換部34からな
る。マルチメディアデータ前処理部は、ビデオインタフ
ェイス2073、マイク2074、スキャナ2075等
から入力される生データから、画像切り出し、音声認
識、レイアウト解析、文字認識等を行い、後処理部に渡
す。後処理部では、前処理部により言語データ化された
データについて、論理構造抽出、意味情報抽出等の作業
を行い、マルチメディアファイルへ結果を出力する(マ
ルチメディアデータ前処理部32、及びマルチメディア
データ後処理部33における処理の例は、図5で後述す
る)。
解析手段はマルチメディア入力インタフェイス31、マ
ルチメディアデータ前処理部32、マルチメディアデー
タ後処理部33、フォーマット解析、変換部34からな
る。マルチメディアデータ前処理部は、ビデオインタフ
ェイス2073、マイク2074、スキャナ2075等
から入力される生データから、画像切り出し、音声認
識、レイアウト解析、文字認識等を行い、後処理部に渡
す。後処理部では、前処理部により言語データ化された
データについて、論理構造抽出、意味情報抽出等の作業
を行い、マルチメディアファイルへ結果を出力する(マ
ルチメディアデータ前処理部32、及びマルチメディア
データ後処理部33における処理の例は、図5で後述す
る)。
【0019】ここで、コマンド解析手段104からの介
入による作業経過確認、指示等は、前処理部32の直
前、前処理部32、後処理部33の直前、後処理部3
3、マルチメディアファイルへの出力の直前においてす
べて可能である。ビデオインタフェイス2073、マイ
ク2074、スキャナ2075等から入力される生デー
タを解析せず、単にインデクス付けして記録する場合
は、前処理部32、後処理部33を通さずに、直接マル
チメディアファイルへ送ることもできる。
入による作業経過確認、指示等は、前処理部32の直
前、前処理部32、後処理部33の直前、後処理部3
3、マルチメディアファイルへの出力の直前においてす
べて可能である。ビデオインタフェイス2073、マイ
ク2074、スキャナ2075等から入力される生デー
タを解析せず、単にインデクス付けして記録する場合
は、前処理部32、後処理部33を通さずに、直接マル
チメディアファイルへ送ることもできる。
【0020】通信制御装置204、またはFDD,OD
D等の外部記憶媒体を用いた情報再生手段を通したデー
タの入力経路は以下のようになる。通信を介して入力さ
れるデータが、スキャナ2075等からの入力と同質な
生データなら、該データは指示に応じてマルチメディア
データ前処理部32、またはマルチメディアファイル1
15へ直接入力される。該データが何らかのファイル形
式で記録されたデータであるならば、フォーマット解析
・変換部によりファイル形式を認定し、必要ならばユー
ザに指示を求めつつ、本システムに準拠したファイル形
式に変換する。
D等の外部記憶媒体を用いた情報再生手段を通したデー
タの入力経路は以下のようになる。通信を介して入力さ
れるデータが、スキャナ2075等からの入力と同質な
生データなら、該データは指示に応じてマルチメディア
データ前処理部32、またはマルチメディアファイル1
15へ直接入力される。該データが何らかのファイル形
式で記録されたデータであるならば、フォーマット解析
・変換部によりファイル形式を認定し、必要ならばユー
ザに指示を求めつつ、本システムに準拠したファイル形
式に変換する。
【0021】変換後得られたデータがコード化されてい
るが言語解析をうけていない場合、すなわちマルチメデ
ィアデータ前処理部を経た直後の形式のデータで(これ
を、コード化、未構造化データと呼ぶ)あれば、入力は
後処理部33からなされ、該データが既にマルチメディ
アデータ後処理部33を経た形式のデータ(これを、構
造化データと呼ぶ)であれば、該データは、32、33
を飛ばしてマルチメディアファイル115へ送られる。
るが言語解析をうけていない場合、すなわちマルチメデ
ィアデータ前処理部を経た直後の形式のデータで(これ
を、コード化、未構造化データと呼ぶ)あれば、入力は
後処理部33からなされ、該データが既にマルチメディ
アデータ後処理部33を経た形式のデータ(これを、構
造化データと呼ぶ)であれば、該データは、32、33
を飛ばしてマルチメディアファイル115へ送られる。
【0022】マルチメディアデータ前処理部32、及び
マルチメディアデータ後処理部33では、文書知識DB
118、辞書111を利用する。なお、マルチメディア
データ前処理部32、マルチメディアデータ33におけ
る要素技術については、方式は特定しない。既に多数の
論文が公開され、多くの特許に引用されている。
マルチメディアデータ後処理部33では、文書知識DB
118、辞書111を利用する。なお、マルチメディア
データ前処理部32、マルチメディアデータ33におけ
る要素技術については、方式は特定しない。既に多数の
論文が公開され、多くの特許に引用されている。
【0023】図4は、登録、更新手段110の構成であ
る。登録・更新手段110は、登録・更新インタフェイ
ス401と、本体402に分かれる。登録・更新インタ
フェイス401は、ユーザに対してマルチメディアデー
タ解析手段に入力したデータをマルチメディアDBに登
録するときのファイル名、及びコメント等を要求する。
本体402は、リンク管理部4021、言語解析部40
22、図形検索属性情報・マルチメディアデータ間参照
関係登録部4023に大別され、さらにリンク管理部4
021は、リンク生成部40212と、リンク登録部4
0211から構成される。
る。登録・更新手段110は、登録・更新インタフェイ
ス401と、本体402に分かれる。登録・更新インタ
フェイス401は、ユーザに対してマルチメディアデー
タ解析手段に入力したデータをマルチメディアDBに登
録するときのファイル名、及びコメント等を要求する。
本体402は、リンク管理部4021、言語解析部40
22、図形検索属性情報・マルチメディアデータ間参照
関係登録部4023に大別され、さらにリンク管理部4
021は、リンク生成部40212と、リンク登録部4
0211から構成される。
【0024】図形検索属性情報・マルチメディアデータ
間参照関係登録部4023は、入力解析手段114から
出力され、マルチメディアファイル115に格納され
た、構造化データを、マルチメディアDBに登録する。
構造化データの例として、スキャナ入力された文書デー
タからは、図5で後述するごとく、レイアウト情報(文
書のどの位置に図形や文字が配置されているかを表す情
報)、文字コード情報(文字領域から文字認識で読み取
って得た文字コードの情報)、画像及びキャプション情
報(写真等が配置された場所から切り出した写真の画
像、及び該写真に付与されたキャプションに関する情
報)、等が得られる。これらの組を、原データに関する
構造化データと呼ぶ。ここで、画像情報は、白黒、カラ
ー等の属性情報を持ち、レイアウト情報、コード情報、
画像及びキャプション情報等の間には、原データを再構
成するための、参照関係が存在する。これらを統括し、
構造化データの各要素を関連付けて記録する機能を持つ
ものが図形検索属性情報・マルチメディアデータ間参照
関係登録部4023である。
間参照関係登録部4023は、入力解析手段114から
出力され、マルチメディアファイル115に格納され
た、構造化データを、マルチメディアDBに登録する。
構造化データの例として、スキャナ入力された文書デー
タからは、図5で後述するごとく、レイアウト情報(文
書のどの位置に図形や文字が配置されているかを表す情
報)、文字コード情報(文字領域から文字認識で読み取
って得た文字コードの情報)、画像及びキャプション情
報(写真等が配置された場所から切り出した写真の画
像、及び該写真に付与されたキャプションに関する情
報)、等が得られる。これらの組を、原データに関する
構造化データと呼ぶ。ここで、画像情報は、白黒、カラ
ー等の属性情報を持ち、レイアウト情報、コード情報、
画像及びキャプション情報等の間には、原データを再構
成するための、参照関係が存在する。これらを統括し、
構造化データの各要素を関連付けて記録する機能を持つ
ものが図形検索属性情報・マルチメディアデータ間参照
関係登録部4023である。
【0025】ここで、構造化データの登録のためにはフ
ァイル名が必要であるが、ファイル名、及び補足的なコ
メントは登録・更新インタフェイス401から言語解析
部4022へ送られる。このとき、構造化データに含ま
れる言語情報(例えば、章ごとのキーワード等)も併せ
て言語解析部へ送られるとしてもよい。言語解析部は、
受け取ったファイル名、コメント等の言語データに形態
素解析、構文解析、意味解析等の処理を施し、辞書に記
載された単語の集合に変換し、リンク生成部40212
へ送る。リンク生成部は、該入力を受けて、与えられた
各単語と辞書の同一単語との間のリンクを生成し、リン
ク登録部40211によりユーザ辞書を用いて該リンク
を記録する。言語解析部4022、及びリンク生成部4
0212は、登録・更新インタフェイス401を通じ
て、言語解析部やリンク生成部の処理結果のユーザによ
る確認・変更を求めたり、未登録語が発見された場合の
言い替え、ユーザによる定義を求めることができる。ユ
ーザによる定義は、辞書111の定義方式(辞書記載例
は図13を参照)と同様の方式でユーザ辞書112へ格
納する。
ァイル名が必要であるが、ファイル名、及び補足的なコ
メントは登録・更新インタフェイス401から言語解析
部4022へ送られる。このとき、構造化データに含ま
れる言語情報(例えば、章ごとのキーワード等)も併せ
て言語解析部へ送られるとしてもよい。言語解析部は、
受け取ったファイル名、コメント等の言語データに形態
素解析、構文解析、意味解析等の処理を施し、辞書に記
載された単語の集合に変換し、リンク生成部40212
へ送る。リンク生成部は、該入力を受けて、与えられた
各単語と辞書の同一単語との間のリンクを生成し、リン
ク登録部40211によりユーザ辞書を用いて該リンク
を記録する。言語解析部4022、及びリンク生成部4
0212は、登録・更新インタフェイス401を通じ
て、言語解析部やリンク生成部の処理結果のユーザによ
る確認・変更を求めたり、未登録語が発見された場合の
言い替え、ユーザによる定義を求めることができる。ユ
ーザによる定義は、辞書111の定義方式(辞書記載例
は図13を参照)と同様の方式でユーザ辞書112へ格
納する。
【0026】以降、前述した問題点において述べたサン
プルケースを用いて実施例の機能を示す。
プルケースを用いて実施例の機能を示す。
【0027】図5は入力データの解析例を説明する図で
あり、5は、ユーザがスキャナにより入力しようとする
旅行関係のパンフレットの例である。表題51、書誌事
項510、章1のタイトル511、章1の本文511
1、章2のタイトル512、章2の本文5121、章1
に含まれる写真5112とそのキャプション5113、
章2に含まれる写真5122とそのキャプション512
3より構成されている例である。
あり、5は、ユーザがスキャナにより入力しようとする
旅行関係のパンフレットの例である。表題51、書誌事
項510、章1のタイトル511、章1の本文511
1、章2のタイトル512、章2の本文5121、章1
に含まれる写真5112とそのキャプション5113、
章2に含まれる写真5122とそのキャプション512
3より構成されている例である。
【0028】パンフレット5は、スキャナ2075によ
り取り込まれ、マルチメディアデータ入力インタフェイ
スより、領域指定の指示等を要求された後(この場合、
全域指定としておく)、マルチメディアデータ前処理部
32に渡される。32では、画像の切り出し、文字領域
の切り出しと文字認識を行い、画像領域、文字領域の位
置を示すレイアウト情報52、各文字領域における文字
認識結果を示す文字コード情報53、写真及び写真のキ
ャプションの文字認識結果を示す画像及びキャプション
情報54を出力する。画像領域が表やグラフの場合、こ
れらの認識結果は54に含まれる。さらに、これらの情
報はマルチメディアデータ後処理部33に送られ、論理
構造抽出部3301により、データ52とデータ53を
用いて文書の論理構造55が抽出され、意味情報抽出部
3302により、53を用いて表題、各章等からのキー
ワード情報56、及び意味ネットワーク化された意味情
報57が抽出される。52〜57を併せて、(5の)構
造化データという。
り取り込まれ、マルチメディアデータ入力インタフェイ
スより、領域指定の指示等を要求された後(この場合、
全域指定としておく)、マルチメディアデータ前処理部
32に渡される。32では、画像の切り出し、文字領域
の切り出しと文字認識を行い、画像領域、文字領域の位
置を示すレイアウト情報52、各文字領域における文字
認識結果を示す文字コード情報53、写真及び写真のキ
ャプションの文字認識結果を示す画像及びキャプション
情報54を出力する。画像領域が表やグラフの場合、こ
れらの認識結果は54に含まれる。さらに、これらの情
報はマルチメディアデータ後処理部33に送られ、論理
構造抽出部3301により、データ52とデータ53を
用いて文書の論理構造55が抽出され、意味情報抽出部
3302により、53を用いて表題、各章等からのキー
ワード情報56、及び意味ネットワーク化された意味情
報57が抽出される。52〜57を併せて、(5の)構
造化データという。
【0029】構造化データは、マルチメディアデータ入
力インタフェイス31を介したユーザの確認等手続きを
経て、マルチメディアファイル115に送られる。
力インタフェイス31を介したユーザの確認等手続きを
経て、マルチメディアファイル115に送られる。
【0030】図6は、パンフレット5の構造化が終わ
り、マルチメディアファイルへ格納する前に、マルチメ
ディアデータ入力インタフェイスを介して付加情報を加
える場合のインタフェイスの例である。
り、マルチメディアファイルへ格納する前に、マルチメ
ディアデータ入力インタフェイスを介して付加情報を加
える場合のインタフェイスの例である。
【0031】パンフレット5は、図5に示した構造化の
後、再び画面上に再構成され、確認することができる。
6は再構成されたパンフレット5である。ユーザが、中
禅寺湖の写真を手にいれたとし、第2章61の中の文字
列“中禅寺湖”をクリックするとその写真のウィンドウ
が開くように写真を文字列とリンクさせたいとする。こ
のときユーザは追加する写真情報をスキャナにより入力
し、ウィンドウ613にて表示させる。ユーザは、入力
画像を確認した後、613のサブウィンドウ614に
て、613の説明等のコメントを入力できる。写真と文
字列のリンクは、6121のごとき文字列を囲む閉曲線
と、ウィンドウ613と閉曲線6121に触れ、613
から6121へ向かう矢印により、直接指示可能であ
る。閉曲線6121、矢印6122の入力手段はマウス
2012でも、電子ペン2014でも良く、特定しな
い。また、閉曲線のかわりにマウスによる文字列の反転
指定でもよい。
後、再び画面上に再構成され、確認することができる。
6は再構成されたパンフレット5である。ユーザが、中
禅寺湖の写真を手にいれたとし、第2章61の中の文字
列“中禅寺湖”をクリックするとその写真のウィンドウ
が開くように写真を文字列とリンクさせたいとする。こ
のときユーザは追加する写真情報をスキャナにより入力
し、ウィンドウ613にて表示させる。ユーザは、入力
画像を確認した後、613のサブウィンドウ614に
て、613の説明等のコメントを入力できる。写真と文
字列のリンクは、6121のごとき文字列を囲む閉曲線
と、ウィンドウ613と閉曲線6121に触れ、613
から6121へ向かう矢印により、直接指示可能であ
る。閉曲線6121、矢印6122の入力手段はマウス
2012でも、電子ペン2014でも良く、特定しな
い。また、閉曲線のかわりにマウスによる文字列の反転
指定でもよい。
【0032】この結果、6に対応する構造化データは、
54に6201、6202が追加された画像及びキャプ
ション情報62と、52、53、55、56、57およ
び“中禅寺湖”と6201、6202の間のリンク情報
となる。
54に6201、6202が追加された画像及びキャプ
ション情報62と、52、53、55、56、57およ
び“中禅寺湖”と6201、6202の間のリンク情報
となる。
【0033】図10、図11は、それぞれ表形式のデー
タの一部、外部データベース検索によって得た情報の一
部を登録する場合のインタフェイスを示す。表形式のデ
ータの例として、時刻表を、外部データベース検索によ
って得られた情報例として、ホテル情報を用いる。
タの一部、外部データベース検索によって得た情報の一
部を登録する場合のインタフェイスを示す。表形式のデ
ータの例として、時刻表を、外部データベース検索によ
って得られた情報例として、ホテル情報を用いる。
【0034】時刻表のスキャニングにより入力解析手段
に情報を入力するとき、マルチメディアデータ入力イン
タフェイスは、スキャンされたデータのウィンドウによ
る表示10とともに、ユーザに対する要求101を表示
する。ユーザは、マウス2012または電子ペン201
4により、表示された画像上で、必要範囲を閉曲線(長
方形も含む)で囲む。システムは文書知識を利用し、不
要部分の切捨て及び不足部分の補充等を行い、103の
網掛け表示された部分を認識し、再構成された表105
と、確認要求メッセージ104を出力する。
に情報を入力するとき、マルチメディアデータ入力イン
タフェイスは、スキャンされたデータのウィンドウによ
る表示10とともに、ユーザに対する要求101を表示
する。ユーザは、マウス2012または電子ペン201
4により、表示された画像上で、必要範囲を閉曲線(長
方形も含む)で囲む。システムは文書知識を利用し、不
要部分の切捨て及び不足部分の補充等を行い、103の
網掛け表示された部分を認識し、再構成された表105
と、確認要求メッセージ104を出力する。
【0035】次に、外部データベース検索により“栃木
県のホテル情報”を入手し、入力解析手段に情報を入力
するとき、マルチメディアデータ入力インタフェイス
は、アプリケーションDBに格納されたエディタを立ち
上げ、送信されてきた文字コードデータを編集可能画面
11として提示する。時刻表の場合と同様、マルチメデ
ィアデータ入力インタフェイスは、ユーザに対する要求
111を表示する。ユーザは、マウス2012またはキ
ーボード2011により、表示された画像上で、必要範
囲を反転指定することにより、113の網掛け表示され
た部分を指定し、再構成された表115と、確認要求メ
ッセージ114が出力される。
県のホテル情報”を入手し、入力解析手段に情報を入力
するとき、マルチメディアデータ入力インタフェイス
は、アプリケーションDBに格納されたエディタを立ち
上げ、送信されてきた文字コードデータを編集可能画面
11として提示する。時刻表の場合と同様、マルチメデ
ィアデータ入力インタフェイスは、ユーザに対する要求
111を表示する。ユーザは、マウス2012またはキ
ーボード2011により、表示された画像上で、必要範
囲を反転指定することにより、113の網掛け表示され
た部分を指定し、再構成された表115と、確認要求メ
ッセージ114が出力される。
【0036】図7、図8、図9は、入力解析手段により
解析されたデータを登録・更新手段110により、辞書
111等とリンク付けしながら、マルチメディアDB1
16へ登録する手順とインタフェイスを説明する。辞書
111は、図9に示すようなネットワーク上の構造を持
つものと仮定するが、以下ではネットワークのノード
を、誤解の無い場合、状況に応じて“単語”、“項
目”、“概念”等の呼称で呼ぶ。
解析されたデータを登録・更新手段110により、辞書
111等とリンク付けしながら、マルチメディアDB1
16へ登録する手順とインタフェイスを説明する。辞書
111は、図9に示すようなネットワーク上の構造を持
つものと仮定するが、以下ではネットワークのノード
を、誤解の無い場合、状況に応じて“単語”、“項
目”、“概念”等の呼称で呼ぶ。
【0037】以下、入力データの例として、再び旅行ぱ
パンフレット5の場合を用いる。
パンフレット5の場合を用いる。
【0038】パンフレットは5は、入力解析手段114
の解析を経て、レイアウト方法52、文字コード情報5
3、…の集合である構造化データとしてマルチメディア
ファイル115に送られる。これをマルチメディアDB
に登録するためには、ファイル名の指示等が必要であ
る。登録・更新手段110を構成する登録・更新インタ
フェイス401は、ユーザのセーブ要求に対し、図7手
順71に従い、図8のウィンドウ81により、ファイル
名を要求する。ユーザは、サブウィンドウ811によ
り、ファイル名“tmp1”を入力する。辞書の事項と
のリンクにより、ファイル内のデータが持つ潜在的な意
味を把握するためには、ファイル名が811に入力され
たような自然言語として意味を持たない単なる識別子で
は不十分なため、言語解析部が必要と判断した場合、メ
ッセージ8111を出力する。
の解析を経て、レイアウト方法52、文字コード情報5
3、…の集合である構造化データとしてマルチメディア
ファイル115に送られる。これをマルチメディアDB
に登録するためには、ファイル名の指示等が必要であ
る。登録・更新手段110を構成する登録・更新インタ
フェイス401は、ユーザのセーブ要求に対し、図7手
順71に従い、図8のウィンドウ81により、ファイル
名を要求する。ユーザは、サブウィンドウ811によ
り、ファイル名“tmp1”を入力する。辞書の事項と
のリンクにより、ファイル内のデータが持つ潜在的な意
味を把握するためには、ファイル名が811に入力され
たような自然言語として意味を持たない単なる識別子で
は不十分なため、言語解析部が必要と判断した場合、メ
ッセージ8111を出力する。
【0039】再びユーザがサブウィンドウ811に“日
光観光案内”を入力すると、今回は言語解析部4021
は、図9のごとき互いに関連付けられたキーワードの組
9201、9202、9203を抽出し、ファイル名
“日光観光案内”9200とともにパンフレット5の構
造化データ52〜57に付加する。手順71により、更
にユーザの連想を喚起するため、ウィンドウ82のごと
くコメントを要求する。
光観光案内”を入力すると、今回は言語解析部4021
は、図9のごとき互いに関連付けられたキーワードの組
9201、9202、9203を抽出し、ファイル名
“日光観光案内”9200とともにパンフレット5の構
造化データ52〜57に付加する。手順71により、更
にユーザの連想を喚起するため、ウィンドウ82のごと
くコメントを要求する。
【0040】この場合、ユーザの興味から、将来該デー
タにアクセスするときの別の観点になる可能性のある付
加情報“江戸時代の建築、温泉”821を加える。82
1は例えば図9のキーワード9205とキーワード92
06の組、及びキーワード9207の集合として解析さ
れ、コメント“江戸時代の建築、温泉”9204ととも
にパンフレット5の構造化データ52〜57に付加され
る。こうして、ファイル名9200とその解析結果92
01〜9203、コメント9204とその解析結果92
05〜9207が付加された構造化データ92が得られ
る。
タにアクセスするときの別の観点になる可能性のある付
加情報“江戸時代の建築、温泉”821を加える。82
1は例えば図9のキーワード9205とキーワード92
06の組、及びキーワード9207の集合として解析さ
れ、コメント“江戸時代の建築、温泉”9204ととも
にパンフレット5の構造化データ52〜57に付加され
る。こうして、ファイル名9200とその解析結果92
01〜9203、コメント9204とその解析結果92
05〜9207が付加された構造化データ92が得られ
る。
【0041】登録・更新インタフェイス401は、最後
にファイル検索のときに参照する予備知識としてウィン
ドウ83のように重要度を要求することができ、サブウ
ィンドウ831により、ユーザは数値で入力する。重要
度の入力はオプショナルである。
にファイル検索のときに参照する予備知識としてウィン
ドウ83のように重要度を要求することができ、サブウ
ィンドウ831により、ユーザは数値で入力する。重要
度の入力はオプショナルである。
【0042】言語解析結果のキーワード群9201〜9
203、および9205〜9207はリンク生成部40
212に渡される。
203、および9205〜9207はリンク生成部40
212に渡される。
【0043】この例では、言語解析部4022の抽出し
たキーワードはすべて辞書111に登録されているが、
言語解析部の使う辞書は、必ずしも辞書111ではな
く、内蔵の専用辞書でもよい。また、キーワードとして
未登録語をヒューリスティックに切り出すことも可能な
ため、リンク管理部では、手順72に従って、言語解析
部4022の出力したキーワードを検査する。該キーワ
ードが辞書111において発見されれば、リンク生成部
40212は、該キーワードと、辞書における同一の単
語との間のリンクを生成し、その結果該キーワードが抽
出されるもととなったデータと辞書の間のリンクがはら
れる。
たキーワードはすべて辞書111に登録されているが、
言語解析部の使う辞書は、必ずしも辞書111ではな
く、内蔵の専用辞書でもよい。また、キーワードとして
未登録語をヒューリスティックに切り出すことも可能な
ため、リンク管理部では、手順72に従って、言語解析
部4022の出力したキーワードを検査する。該キーワ
ードが辞書111において発見されれば、リンク生成部
40212は、該キーワードと、辞書における同一の単
語との間のリンクを生成し、その結果該キーワードが抽
出されるもととなったデータと辞書の間のリンクがはら
れる。
【0044】この例では、“日光観光案内”9200か
ら抽出されたキーワード“日光”9201と辞書111
の単語“日光”9113、同じく“観光”9202と
“観光”9109、“案内”9203と“案内”911
0の間にそれぞれリンクが生成され、これらを介し、
“日光観光案内”9200は、辞書111の上記3単語
との間にリンクが生じる。その結果として、パンフレッ
ト5の構造化データ92と辞書の間に間接的にリンクが
生じる。これは、コメント“江戸時代の建築、温泉”9
204に関しても同様であり、この場合は、辞書111
の単語9101、9106、9107との間にリンクが
生成される。
ら抽出されたキーワード“日光”9201と辞書111
の単語“日光”9113、同じく“観光”9202と
“観光”9109、“案内”9203と“案内”911
0の間にそれぞれリンクが生成され、これらを介し、
“日光観光案内”9200は、辞書111の上記3単語
との間にリンクが生じる。その結果として、パンフレッ
ト5の構造化データ92と辞書の間に間接的にリンクが
生じる。これは、コメント“江戸時代の建築、温泉”9
204に関しても同様であり、この場合は、辞書111
の単語9101、9106、9107との間にリンクが
生成される。
【0045】キーワードと辞書との間に生成されたリン
クは、リンク登録部40211により、ユーザ辞書11
2に記録される。
クは、リンク登録部40211により、ユーザ辞書11
2に記録される。
【0046】キーワードが未登録語である場合、手順7
4、75に従い、ユーザにキーワードを変更または定義
してもらい、以下73と同様の処理をする。
4、75に従い、ユーザにキーワードを変更または定義
してもらい、以下73と同様の処理をする。
【0047】以上では、簡単のため、ファイル名とコメ
ントの解析結果のみが辞書とリンク付けされたが、一般
に、構造化データの内部のキーワードや、写真のキャプ
ションなども、要求に応じて、同様にリンク付けできる
(手順76)。
ントの解析結果のみが辞書とリンク付けされたが、一般
に、構造化データの内部のキーワードや、写真のキャプ
ションなども、要求に応じて、同様にリンク付けできる
(手順76)。
【0048】図12は、後にマルチメディア検索手段1
08においても有機的に利用される、ユーザの日程表を
入力する場合のインタフェイスである。日程表管理ソフ
トは、アプリケーションDB107に格納されており、
日程表の確認・更新要求に応じて、個人情報DB117
に格納された日程表管理DB122を用いてウィンドウ
121を生成する。ここで、5月13、14日の出張を
5月27、28日に移動し、5月16日のゴルフの予定
を取り消し、5月23日にテニスの予定を書き込みたい
とする。マウス2012等による指示も考えられるが、
ここでは電子ペンによる直接入力の例を示す。出張日の
移動は、1211、1214のような閉曲線による文字
列指定と、矢印により、目標領域である5月27、28
日の欄にそれぞれ文字列“出張”を移動させることがで
きる。また、ゴルフの予定の取り消しは、12121の
ごとく線による抹消で指示できる。テニスの書き込み
は、1213のごとく画面に直接記入する。これらの操
作の解析により、日程表は122のごとく変更され、そ
の結果は日程表管理DB122に保持される。
08においても有機的に利用される、ユーザの日程表を
入力する場合のインタフェイスである。日程表管理ソフ
トは、アプリケーションDB107に格納されており、
日程表の確認・更新要求に応じて、個人情報DB117
に格納された日程表管理DB122を用いてウィンドウ
121を生成する。ここで、5月13、14日の出張を
5月27、28日に移動し、5月16日のゴルフの予定
を取り消し、5月23日にテニスの予定を書き込みたい
とする。マウス2012等による指示も考えられるが、
ここでは電子ペンによる直接入力の例を示す。出張日の
移動は、1211、1214のような閉曲線による文字
列指定と、矢印により、目標領域である5月27、28
日の欄にそれぞれ文字列“出張”を移動させることがで
きる。また、ゴルフの予定の取り消しは、12121の
ごとく線による抹消で指示できる。テニスの書き込み
は、1213のごとく画面に直接記入する。これらの操
作の解析により、日程表は122のごとく変更され、そ
の結果は日程表管理DB122に保持される。
【0049】以下、図13〜16は、マルチメディア検
索手段108が辞書111、ユーザ辞書112を用いて
マルチメディアDB116に格納されたデータを検索す
る場合を示す。例として、ユーザが“旅行”に関する手
持ちのデータを引き出す場合を用いる。図13は、図9
で示したパンフレットの構造化データ92、図10で入
力した時刻表の構造化データ1311、図11で示した
ホテル情報の構造化データ1318と、辞書111の構
造の一例を示している。
索手段108が辞書111、ユーザ辞書112を用いて
マルチメディアDB116に格納されたデータを検索す
る場合を示す。例として、ユーザが“旅行”に関する手
持ちのデータを引き出す場合を用いる。図13は、図9
で示したパンフレットの構造化データ92、図10で入
力した時刻表の構造化データ1311、図11で示した
ホテル情報の構造化データ1318と、辞書111の構
造の一例を示している。
【0050】ここで、図10で示した時刻表から生成し
たデータ105には、ファイル名“東武線時刻表”を、
図11で示したホテル情報から生成したデータ115に
は、ファイル名“栃木県宿施設”を付けた仮定し、これ
らのファイル名を解析した結果がキーワード1311、
1312、及び1316、1317である。簡単のた
め、コメントの解析結果は省略した。また、辞書の内容
も、図9の内容から必要ない部分を除き、新たに関連す
る部分を追加した。
たデータ105には、ファイル名“東武線時刻表”を、
図11で示したホテル情報から生成したデータ115に
は、ファイル名“栃木県宿施設”を付けた仮定し、これ
らのファイル名を解析した結果がキーワード1311、
1312、及び1316、1317である。簡単のた
め、コメントの解析結果は省略した。また、辞書の内容
も、図9の内容から必要ない部分を除き、新たに関連す
る部分を追加した。
【0051】辞書は、各ノードが概念の包含関係を表す
Isaリンク,例示を表すInstanceリンク等で
結ばれ、特に動詞概念と名詞概念の間は、動詞の主格を
表すAgentリンク、目的格を表すGoalリンク、
手段格を表すInstrリンク、場所格を表すLocリ
ンク等で結ばれている。動詞概念は、1307のごとく
内部情報を持ち、動詞概念“旅行”1309の場合、表
層文における主語となるsbjスロット13091、目
的語となるgoalスロット13092、さらに文法的
には必須ではないが、その他の重要なスロットである交
通手段スロット13093、宿泊施設スロット1309
4、日程スロット13095を含む。goalスロット
13092に付随する文字列“旅行先”は、後にユーザ
インタフェイスのため用いる。
Isaリンク,例示を表すInstanceリンク等で
結ばれ、特に動詞概念と名詞概念の間は、動詞の主格を
表すAgentリンク、目的格を表すGoalリンク、
手段格を表すInstrリンク、場所格を表すLocリ
ンク等で結ばれている。動詞概念は、1307のごとく
内部情報を持ち、動詞概念“旅行”1309の場合、表
層文における主語となるsbjスロット13091、目
的語となるgoalスロット13092、さらに文法的
には必須ではないが、その他の重要なスロットである交
通手段スロット13093、宿泊施設スロット1309
4、日程スロット13095を含む。goalスロット
13092に付随する文字列“旅行先”は、後にユーザ
インタフェイスのため用いる。
【0052】sbjスロット13091は辞書の概念
“人”とAgentリンク13030により結ばれ、g
oalスロット13092は、辞書の概念“地名”91
08とGoalリンク1303により結ばれ、交通手段
スロット13093は、辞書の概念“交通手段”130
1とInstrリンク1306により結ばれ、宿泊施設
スロット13094は、辞書の概念“宿泊施設”130
2とLocリンク1308により結ばれ、日程スロット
13095は、日程管理ファイル120を参照するため
日程管理ファイル120とリンクされている。
“人”とAgentリンク13030により結ばれ、g
oalスロット13092は、辞書の概念“地名”91
08とGoalリンク1303により結ばれ、交通手段
スロット13093は、辞書の概念“交通手段”130
1とInstrリンク1306により結ばれ、宿泊施設
スロット13094は、辞書の概念“宿泊施設”130
2とLocリンク1308により結ばれ、日程スロット
13095は、日程管理ファイル120を参照するため
日程管理ファイル120とリンクされている。
【0053】図14、図15を用いて、マルチメディア
検索手段108のインタフェイス例と検索手段を説明す
る。ファイル名や、キーワードによる直接検索は、通常
のデータベースと同様なのでここでは述べず、本方式に
特有の間連情報検索方法について述べる。“旅行”の例
を用いると、“旅行”というキーワード自体を持つファ
イルの検索でなく、“旅行”というキーワードを直接持
たないにもかかわらず、“旅行”という概念を中心に潜
在的に関係づけられるファイル群を検索する場合であ
る。
検索手段108のインタフェイス例と検索手段を説明す
る。ファイル名や、キーワードによる直接検索は、通常
のデータベースと同様なのでここでは述べず、本方式に
特有の間連情報検索方法について述べる。“旅行”の例
を用いると、“旅行”というキーワード自体を持つファ
イルの検索でなく、“旅行”というキーワードを直接持
たないにもかかわらず、“旅行”という概念を中心に潜
在的に関係づけられるファイル群を検索する場合であ
る。
【0054】ユーザが、旅行関連のファイルを検索する
とする。マルチメディア検索手段108は、まず手順1
401に従って作業領域1401をクリアし、検索テー
マ入力ウィンドウ151を表示する。ユーザがサブウィ
ンドウ1511にテーマ“旅行”を入力すると、マルチ
メディア検索手段108は手順1402に従い、概念R
として“旅行”を受け取る。マルチメディア検索手段1
08は、手順1403に従って、“旅行”1309の各
スロットについて、1404、1405を行う。ここ
で、1403において“一部または全部のスロット”と
したのは、“旅行”1309のsbj スロットなど
は、ユーザ自身をデフォルトとして設定することにより
検索を省力することができるからである。この場合も、
sbj スロットに関する検索は省略する。
とする。マルチメディア検索手段108は、まず手順1
401に従って作業領域1401をクリアし、検索テー
マ入力ウィンドウ151を表示する。ユーザがサブウィ
ンドウ1511にテーマ“旅行”を入力すると、マルチ
メディア検索手段108は手順1402に従い、概念R
として“旅行”を受け取る。マルチメディア検索手段1
08は、手順1403に従って、“旅行”1309の各
スロットについて、1404、1405を行う。ここ
で、1403において“一部または全部のスロット”と
したのは、“旅行”1309のsbj スロットなど
は、ユーザ自身をデフォルトとして設定することにより
検索を省力することができるからである。この場合も、
sbj スロットに関する検索は省略する。
【0055】このとき、goalスロット13092に
関して、Goalリンクにより結び付けられた“地名”
9108の下位概念である“日光”9113、“栃木
県”1307とそれぞれリンクされた、92、1318
は、作業用メモリMにそのインデクスが書き込まれる。
同様に、1310は交通手段スロット13093に対応
して、1318は宿泊施設スロットに関してふたたび、
作業用メモリMにそのインデクスが書き込まれる。従っ
て、判定1406において、手順1408に進み、作業
用メモリMに書かれたインデクスを用いて、限定された
ファイルに対する対話的な検索ができる。
関して、Goalリンクにより結び付けられた“地名”
9108の下位概念である“日光”9113、“栃木
県”1307とそれぞれリンクされた、92、1318
は、作業用メモリMにそのインデクスが書き込まれる。
同様に、1310は交通手段スロット13093に対応
して、1318は宿泊施設スロットに関してふたたび、
作業用メモリMにそのインデクスが書き込まれる。従っ
て、判定1406において、手順1408に進み、作業
用メモリMに書かれたインデクスを用いて、限定された
ファイルに対する対話的な検索ができる。
【0056】そのインタフェイスの例が、図15の15
2以下である。テーマ入力ウィンドウ151は、“旅
行”の入力後、小ウィンドウ152を生成し、“旅行”
1309のsbjと日程を除くスロットから、3つの関
連事項“旅行先、旅行手段、宿泊施設”を生成、表示す
る。ユーザが例えば“旅行先”を選ぶと、反転表示15
21され、検索プログラムは、goalスロットからG
oalリンクを辿り、辞書概念“地名”9108を調べ
にゆく。“地名”9108は、子ノードを二つ持つた
め、システムは小ウィンドウ153を生成し、それらと
リンクされた全てのファイルを表示対象とするか、“国
内の地名”ノード9112以下のノードとリンクされた
ファイルのみを表示対象とするか、または“海外の地
名”ノード9111以下のノードとリンクされたファイ
ルのみを表示対象とするかの選択を求める。1521と
同様に“国内”を選択、反転1531させると、最終的
に選ばれたインデクスに対応するファイルが、子ウィン
ドウ154に件数情報と共に表示される。ウィンドウ1
54上では、高速頁めくりによりこれらのファイルを流
し読みでき、マウス等により必要なファイルを指定でき
る。この場合、パンフレット5を構造化して得たファイ
ル92を選択する。さらに、ファイル92の関連箇所を
範囲指定するインタフェイスを示したのがウィンドウ1
51であり、この場合、マウスによる矩形指定1551
で921を選択する。
2以下である。テーマ入力ウィンドウ151は、“旅
行”の入力後、小ウィンドウ152を生成し、“旅行”
1309のsbjと日程を除くスロットから、3つの関
連事項“旅行先、旅行手段、宿泊施設”を生成、表示す
る。ユーザが例えば“旅行先”を選ぶと、反転表示15
21され、検索プログラムは、goalスロットからG
oalリンクを辿り、辞書概念“地名”9108を調べ
にゆく。“地名”9108は、子ノードを二つ持つた
め、システムは小ウィンドウ153を生成し、それらと
リンクされた全てのファイルを表示対象とするか、“国
内の地名”ノード9112以下のノードとリンクされた
ファイルのみを表示対象とするか、または“海外の地
名”ノード9111以下のノードとリンクされたファイ
ルのみを表示対象とするかの選択を求める。1521と
同様に“国内”を選択、反転1531させると、最終的
に選ばれたインデクスに対応するファイルが、子ウィン
ドウ154に件数情報と共に表示される。ウィンドウ1
54上では、高速頁めくりによりこれらのファイルを流
し読みでき、マウス等により必要なファイルを指定でき
る。この場合、パンフレット5を構造化して得たファイ
ル92を選択する。さらに、ファイル92の関連箇所を
範囲指定するインタフェイスを示したのがウィンドウ1
51であり、この場合、マウスによる矩形指定1551
で921を選択する。
【0057】図16は、ウィンドウ151において“交
通手段”を選択した場合を示しており、図15と同様
に、ウィンドウ161において、1310を選択し、選
択指定ウィンドウ632において、電子ペン2014に
より範囲指定13010を行っている。
通手段”を選択した場合を示しており、図15と同様
に、ウィンドウ161において、1310を選択し、選
択指定ウィンドウ632において、電子ペン2014に
より範囲指定13010を行っている。
【0058】図17、図18は、概念Rに関して発見し
たファイルの組を、使用したキーワードと選択部分の指
定付きで組にして記録する方法を、概念“旅行”の場合
を例にして示す。ここで、ファイル1318は、図1
5、16と同様に、宿泊施設スロットから選ばれ、選択
範囲13181の指定を受けていると仮定している。
たファイルの組を、使用したキーワードと選択部分の指
定付きで組にして記録する方法を、概念“旅行”の場合
を例にして示す。ここで、ファイル1318は、図1
5、16と同様に、宿泊施設スロットから選ばれ、選択
範囲13181の指定を受けていると仮定している。
【0059】手順182に従い、辞書111の概念“旅
行”のコピー171をつくり、ユーザ辞書112にコピ
ーする。手順183、184に従い、ファイル92、1
310、1318のインデクス、または実体を、171
の各スロットとリンクして、ユーザ辞書に登録する。こ
のとき、使用したキーワード9201、1311、13
17、及び範囲指定情報921、13101、1318
1を付加する。
行”のコピー171をつくり、ユーザ辞書112にコピ
ーする。手順183、184に従い、ファイル92、1
310、1318のインデクス、または実体を、171
の各スロットとリンクして、ユーザ辞書に登録する。こ
のとき、使用したキーワード9201、1311、13
17、及び範囲指定情報921、13101、1318
1を付加する。
【0060】ユーザが旅行計画を立てている場合、日程
表との整合が問題になる。このときは、オプションとし
て、日程に関して、ウィンドウ173を生成し、173
1のごとく入力して判定を仰ぐこともできる。これは、
日程スロットが日程表管理ファイルとリンクされてお
り、日程管理ソフトと連動するためである。
表との整合が問題になる。このときは、オプションとし
て、日程に関して、ウィンドウ173を生成し、173
1のごとく入力して判定を仰ぐこともできる。これは、
日程スロットが日程表管理ファイルとリンクされてお
り、日程管理ソフトと連動するためである。
【0061】さらに、個人データDBにビデオ番組情報
がある場合、日程入力と連動して図23の231のごと
く、番組情報リストの提示をさせることも可能である。
がある場合、日程入力と連動して図23の231のごと
く、番組情報リストの提示をさせることも可能である。
【0062】図19、20は、上述したファイル92、
1310、1318各々の選択部分921、1310
1、13181をカット&ペーストして、一つのファイ
ルにし、登録する場合の画面である。編集用ウィンドウ
にそれぞれを配置することにより、新たなファイル19
1が作られる。191を登録するためにはファイル名要
求192に対し、例えばファイル名“日光旅行”193
を入力する。さらに、図20に示したごとく、文書の特
定の文字列201に、旅先で録音した音声情報をオーデ
ィオインタフェイス2074を介して入力し、リンクさ
せて記録させることもできる。ウィンドウ203は、音
声をグラフィック表示し、マウス等で範囲指定205を
行う場合の画面例である。この場合も、文字列201と
音声データウィンドウ204の間のリンクは、202の
ごとく画面から直接入力できる。また、指定範囲の音声
は、音声出力手段102で確認できる。
1310、1318各々の選択部分921、1310
1、13181をカット&ペーストして、一つのファイ
ルにし、登録する場合の画面である。編集用ウィンドウ
にそれぞれを配置することにより、新たなファイル19
1が作られる。191を登録するためにはファイル名要
求192に対し、例えばファイル名“日光旅行”193
を入力する。さらに、図20に示したごとく、文書の特
定の文字列201に、旅先で録音した音声情報をオーデ
ィオインタフェイス2074を介して入力し、リンクさ
せて記録させることもできる。ウィンドウ203は、音
声をグラフィック表示し、マウス等で範囲指定205を
行う場合の画面例である。この場合も、文字列201と
音声データウィンドウ204の間のリンクは、202の
ごとく画面から直接入力できる。また、指定範囲の音声
は、音声出力手段102で確認できる。
【0063】図21、22は、ユーザ辞書を用いて、
“日光に旅行したときに泊まったホテルが乗っているフ
ァイル”のごとく、互いに関連する情報のうちのある情
報から、他の情報を検索する手順と、その例である。ま
ず、検索システムは手順2101に従って作業用領域M
をクリアする。検索テーマを要求するウィンドウ221
が開き、“日光に旅行したときに泊まった宿泊施設に関
するファイル”のようにテーマを入力する。入力が上記
のごとく自然言語の場合は自然言語解析され、マルチメ
ディア検索手段110は、手順2102に従って、概念
“旅行”およびgoalスロットと結び付けられたキー
ワード“日光”9201、および、検索したいスロット
である“宿泊施設”を受け取る。手順2103、210
4に従い、“旅行”により結び付けられているファイル
のうち、図17のごとく、ファイル921(goalス
ロットがキーワード“日光”9201と結び付いてい
る)と組になっているファイル1310、1318のう
ち、宿泊施設スロットとリンクしているファイル131
8のインデクスが作業領域Mに書き込まれ、判定210
5と2107に従い、ファイル1318が出力される。
図22のウィンドウ223が出力の様子を表す。
“日光に旅行したときに泊まったホテルが乗っているフ
ァイル”のごとく、互いに関連する情報のうちのある情
報から、他の情報を検索する手順と、その例である。ま
ず、検索システムは手順2101に従って作業用領域M
をクリアする。検索テーマを要求するウィンドウ221
が開き、“日光に旅行したときに泊まった宿泊施設に関
するファイル”のようにテーマを入力する。入力が上記
のごとく自然言語の場合は自然言語解析され、マルチメ
ディア検索手段110は、手順2102に従って、概念
“旅行”およびgoalスロットと結び付けられたキー
ワード“日光”9201、および、検索したいスロット
である“宿泊施設”を受け取る。手順2103、210
4に従い、“旅行”により結び付けられているファイル
のうち、図17のごとく、ファイル921(goalス
ロットがキーワード“日光”9201と結び付いてい
る)と組になっているファイル1310、1318のう
ち、宿泊施設スロットとリンクしているファイル131
8のインデクスが作業領域Mに書き込まれ、判定210
5と2107に従い、ファイル1318が出力される。
図22のウィンドウ223が出力の様子を表す。
【0064】検索の他の形態として、ファイル名を入力
して、そのファイルと何等かの関係のあるファイルすべ
てを検索することや、“旅行”というテーマを入力し
て、関連ファイルを出力させることもできる。これら
は、図21に示した手順を若干変更することにより、容
易に実現できる。
して、そのファイルと何等かの関係のあるファイルすべ
てを検索することや、“旅行”というテーマを入力し
て、関連ファイルを出力させることもできる。これら
は、図21に示した手順を若干変更することにより、容
易に実現できる。
【0065】また、ユーザ辞書の記録形態を若干変更
し、たとえば“旅行”ノードのgoalスロットと、目
的のファイルの間のパス全体を記録しておけば、例えば
ユーザが海外旅行より国内旅行により関心があるなどの
情報を取り出すことができ、“国内”、“海外”を選択
させるときの選択枝の提示順序などをカスタマイズする
ことができる。これは、選択枝が増えた場合には重要で
ある。
し、たとえば“旅行”ノードのgoalスロットと、目
的のファイルの間のパス全体を記録しておけば、例えば
ユーザが海外旅行より国内旅行により関心があるなどの
情報を取り出すことができ、“国内”、“海外”を選択
させるときの選択枝の提示順序などをカスタマイズする
ことができる。これは、選択枝が増えた場合には重要で
ある。
【0066】
【発明の効果】あるファイルをデータベースに登録する
場合、そのファイルの分類は、観点により一様ではな
く、単に固定したキーワードと結び付けて登録すると、
他の観点からアクセスできなくなり、情報の活用という
点から問題である。本発明によれば、一旦登録したファ
イル間の様々な関係を、観点を変える事に半自動的に発
見することができ、ユーザの記憶能力を越えて増大し、
活用しきれなくなるおそれのある大量の情報を有効に活
用できるようになる。また、一旦発見した情報間の関連
を容易に記録できるため、知識の再利用が容易となる。
場合、そのファイルの分類は、観点により一様ではな
く、単に固定したキーワードと結び付けて登録すると、
他の観点からアクセスできなくなり、情報の活用という
点から問題である。本発明によれば、一旦登録したファ
イル間の様々な関係を、観点を変える事に半自動的に発
見することができ、ユーザの記憶能力を越えて増大し、
活用しきれなくなるおそれのある大量の情報を有効に活
用できるようになる。また、一旦発見した情報間の関連
を容易に記録できるため、知識の再利用が容易となる。
【0067】結果的に、登録するときにファイルの分類
に神経質にならなくてもよい、ユーザフレンドリなマル
チメディアデータベースが得られる。
に神経質にならなくてもよい、ユーザフレンドリなマル
チメディアデータベースが得られる。
【図1】本実施例の構成を示す図。
【図2】本実施例の装置構成を示す図。
【図3】本実施例の入力解析手段の詳細を示す図。
【図4】本実施例の登録・更新手段の構成を示す図。
【図5】本実施例の入力データの解析例を示す図。
【図6】本実施例のマルチメディアデータ付加例を示す
図。
図。
【図7】本実施例のリンク生成手順を示す図。
【図8】本実施例の登録インタフェイスを示す図。
【図9】本実施例のリンクの例を示す図。
【図10】本実施例の定型文書入力例を示す図。
【図11】本実施例の通信による検索結果入力例を示す
図。
図。
【図12】本実施例の日程表管理を示す図。
【図13】本実施例の辞書記述とリンクの例を示す図。
【図14】本実施例の辞書を用いた関連情報検索支援手
順を示す図。
順を示す図。
【図15】本実施例の検索インタフェイスを示す図。
【図16】本実施例のデータの選択インタフェイスを示
す図。
す図。
【図17】本実施例の発見したデータの記録を示す図。
【図18】本実施例のファイルの組の記録手順を示す
図。
図。
【図19】本実施例のファイルの作成と保存を示す図。
【図20】本実施例のマルチメディアファイルへの情報
の付加を示す図。
の付加を示す図。
【図21】本実施例の部分情報からの関連情報の検索を
示す図。
示す図。
【図22】本実施例のユーザ辞書を用いた検索インタフ
ェイスを示す図。
ェイスを示す図。
【図23】本実施例のユーザ個人情報の利用例を示す
図。
図。
108…マルチメディア検索手段、114…入力解析手
段、110…登録・更新手段、111…辞書、112…
ユーザ辞書、116…マルチメディアデータベース、2
01…コマンド入力機器、207…マルチメディアデー
タ入力機器、31…マルチメディアデータ入力インタフ
ェイス、4021…リンク管理部、5…入力データ例、
92…構造化データ、161…検索結果表示ウィンド
ウ。
段、110…登録・更新手段、111…辞書、112…
ユーザ辞書、116…マルチメディアデータベース、2
01…コマンド入力機器、207…マルチメディアデー
タ入力機器、31…マルチメディアデータ入力インタフ
ェイス、4021…リンク管理部、5…入力データ例、
92…構造化データ、161…検索結果表示ウィンド
ウ。
Claims (2)
- 【請求項1】表示手段、コマンド入力手段、コマンド解
析手段、マルチメディアデータ入力手段、マルチメディ
アデータ登録・更新手段、マルチメディアデータ検索手
段、マルチメディアデータ表示手段、マルチメディアデ
ータ格納手段、通信制御手段、を持つマルチメディアデ
ータ検索装置において、マルチメディアデータベースの
他に、一般知識を記載した辞書、及びマルチメディアデ
ータと辞書との間のリンク生成・保持手段を持つことを
特徴とするマルチメディアデータ検索装置。 - 【請求項2】マルチメディアデータ入力方法が、画面表
示されたマルチメディアデータ間のリンク付けを、画像
上への直接入力装置を用いて、曲線及び有向線分等を入
力することを特徴とする請求項1記載のマルチメディア
データ検索装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4259337A JPH06110946A (ja) | 1992-09-29 | 1992-09-29 | マルチメディアデータ検索装置、及びマルチメディア・ユーザインタフェース |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4259337A JPH06110946A (ja) | 1992-09-29 | 1992-09-29 | マルチメディアデータ検索装置、及びマルチメディア・ユーザインタフェース |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH06110946A true JPH06110946A (ja) | 1994-04-22 |
Family
ID=17332707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4259337A Pending JPH06110946A (ja) | 1992-09-29 | 1992-09-29 | マルチメディアデータ検索装置、及びマルチメディア・ユーザインタフェース |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH06110946A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021217A (ja) * | 1996-07-02 | 1998-01-23 | Fuji Xerox Co Ltd | ハイパーメディア装置 |
JP2015099614A (ja) * | 2015-02-26 | 2015-05-28 | ヴイアールアイ株式会社 | 情報提供装置、方法およびプログラム |
JP2019086819A (ja) * | 2017-11-01 | 2019-06-06 | Tis株式会社 | 入力内容決定装置 |
-
1992
- 1992-09-29 JP JP4259337A patent/JPH06110946A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021217A (ja) * | 1996-07-02 | 1998-01-23 | Fuji Xerox Co Ltd | ハイパーメディア装置 |
JP2015099614A (ja) * | 2015-02-26 | 2015-05-28 | ヴイアールアイ株式会社 | 情報提供装置、方法およびプログラム |
JP2019086819A (ja) * | 2017-11-01 | 2019-06-06 | Tis株式会社 | 入力内容決定装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Völkel et al. | Semantic wikipedia | |
JPH04102171A (ja) | 文書処理システム及び文書処理方法 | |
JP4042830B2 (ja) | コンテンツ属性情報正規化方法、情報収集・サービス提供システム、並びにプログラム格納記録媒体 | |
JPWO2006137563A1 (ja) | データ処理装置及びデータ処理方法 | |
JP2006091994A (ja) | 文書情報処理装置および方法、文書情報処理プログラム | |
Massot et al. | Transcribing Foucault’s handwriting with Transkribus | |
CN1127031C (zh) | 以电子方式创建个性化文档的***和方法 | |
JPH0744638A (ja) | 表データ検索装置 | |
JP3212983B1 (ja) | 部品説明書の作成支援方法、部品説明書の作成支援システム、及びコンピュータ読取可能な記録媒体 | |
KR19990038731A (ko) | 전자문서를 위한 메타데이타 모형 및 모형화 방법과 메타데이타관리시스템 및 그 관리방법 | |
KR100522186B1 (ko) | 동적으로 홈페이지를 제작하는 방법 및 이 방법을 웹에서구현하는 장치 | |
Phelps et al. | Multivalent documents: Inducing structure and behaviors in online digital documents | |
JPH06110946A (ja) | マルチメディアデータ検索装置、及びマルチメディア・ユーザインタフェース | |
Choudhury et al. | Digital workflow management: The Lester S. Levy digitized collection of sheet music | |
JP2000020549A (ja) | 文書データベースシステムへの入力支援装置 | |
Janssen | Adding words to manuscripts: From PagesXML to TEITOK | |
KR20000049891A (ko) | 구조화된 데이터를 이용한 전자 출판 시스템 및 서비스 방법 | |
JP3714723B2 (ja) | 文書表示システム | |
JP4255538B2 (ja) | 構造化文書蓄積検索装置 | |
Caloini | Matching hypertext models to hypertext systems | |
JP3445910B2 (ja) | 文書要約合成装置 | |
JP4034503B2 (ja) | 文書検索システムおよび文書検索方法 | |
JP3734101B2 (ja) | ハイパーメディア構築支援装置 | |
Clavaud | The digital edition of the medieval charters of the Abbey of Saint-Denis: first results and prospects | |
JPH10161996A (ja) | 文書作成方法及び装置 |