JP3067966B2 - 画像部品を検索する装置及びその方法 - Google Patents
画像部品を検索する装置及びその方法Info
- Publication number
- JP3067966B2 JP3067966B2 JP6298453A JP29845394A JP3067966B2 JP 3067966 B2 JP3067966 B2 JP 3067966B2 JP 6298453 A JP6298453 A JP 6298453A JP 29845394 A JP29845394 A JP 29845394A JP 3067966 B2 JP3067966 B2 JP 3067966B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- natural language
- search
- language sentence
- situation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3338—Query expansion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
積する画像部品を自然言語を用いて検索する装置及び方
法に関する。特に、ワードプロセッサやDTP(Des
k TopPublishing、ディスク・トップ・
パブリッシング)などの文書作成装置を用いて、パンフ
レットやマニュアル等の文書を作成する際に、前記文書
の内容に関連する画像を容易に検索する装置及び方法に
関する。
が高くかつ情報量も多いため、パンフレット、雑誌、テ
レビのニュースなど日常生活の様々な部分においてに使
われている。このため、大量に画像の蓄積されたデータ
ベースから目的の画像を誰にでも容易に検索できるシス
テムの必要性が高まっている。これに対して、従来、開
発されてきた画像検索方法として、例えば以下のような
ものがある。
キーワードを割り当てておき、利用者が所望の画像に関
連のある幾つかのキーワードを入力すると、入力キーワ
ードと各画像に割り当てられているキーワードとの類似
度を例えばキーワードベクトル間の距離を用いて計算
し、類似度の高いものから順に利用者に提示する方法で
ある。キーワードベクトルの使用は、例えば、文献 [柴
田、中須、"画像データベースの連想検索方式"、電子情
報通信学会論文誌、D-II、Vol.J73-D-II、No.4、pp.526
-534、1990年] に開示されている。
する。ただし(1)と同様に蓄えているそれぞれの画像
に対してはあらかじめ幾つかのキーワードを割り当てて
おく。利用者は表示画像の中から所望の画像に最も類似
しているものを選択すると、装置は、選択された画像に
類似している画像を例えば(1)と同様にキーワードベ
クトル間の距離を用いて計算し、類似しているものから
順に幾つかを表示する。このサイクルを繰り返し、最終
的に利用者が所望の画像を得る方法である。
略画作成ツールなどを用いて描くと、描かれた略画と各
画像との類似度を例えば各画素の色彩の一致度によって
計算し、類似度の高いものから順に利用者に提示する方
法である。
いて説明する。
は、装置が予め用意しているキーワード辞書に登録され
ているキーワードであればどれでも検索に使えること、
また、登録されていないキーワードがあっても、それを
新たに辞書に登録することが容易であること、キーワー
ド間に上位−下位などの簡単な関係を付けるだけでも比
較的質の良い検索が行なえること、などのメリットがあ
るため、文書データベースなどでは良く利用されている
方法である。
方法を画像検索に適用した場合には、必ずしも利用者の
意図に応じた検索結果が得られない場合がある。すなわ
ち、キーワードだけでは画像の表す意味(例えば画像の
状況を文章にして示したもの)を定量的に表現できない
ために、画像の登録作業を行なう人の主観によって割り
当てられるキーワードが、必ずしも利用者にとっての最
適はキーワードとはなりえないということが問題とな
る。
所望の画像を、提示された画像を見ながら検索すること
ができるため、上記のキーワードによる方法に対して、
検索の状況を捉え易いというメリットがある。
場合と同様の問題を持ち合わせている。すなわちこの方
法では、利用者が選択した1枚の画像に対して、装置
は、蓄えられている全ての画像に対して選択された画像
との類似度を計算するが、この類似度の計算において、
あらかじめ画像に割り当てられているキーワードを用い
ているため、やはり、1番目のキーワードによる方法の
場合と同様に、必ずしも利用者の意図に応じた検索結果
が得られない場合が生じることが問題となる。
法での問題は、画像の内容をいくつかのキーワードを用
いて表現しているが、このキーワードと画像との対応関
係が利用者によってまちまちであるために、必ずしも利
用者が所望の画像を得られるわけではないという点にあ
った。
のを装置に提示することによって検索する方法が3番目
の手描き略画を用いる方法である。この方法では、例え
ばマウスを用いた作画プロセッサを用いて所望の画像の
略画を描く。略画は2値の線画のみではなく色彩情報を
入力することが可能な場合もある。作成された略画は、
ただちに蓄積されている画像との類似度を計算するため
にデータ変換が施される。続いて、略画の線情報や色彩
情報などを用いて類似度が計算され、入力された略画と
類似度の高いものから順に提示される。
いったあらかじめ定量化された情報を類似度の計算に用
いているため、キーワード検索において問い合わせ用キ
ーワードを辞書から探し求めるといった思考作業が必要
でなくなり、使用者は所望の画像の内容を知っているだ
けで検索が行なえるという点にメリットがある。
る画像検索手法では、使用者が所望の画像の内容を知ら
ない場合には略画を描くことができないため、この方法
では必ずしも所望の画像を検索することはできない。ま
た、画像の輪郭や色彩などを類似度を計算する際の情報
として用いているため、類似度の計算コストが大きくな
り、大規模なデータベースでは検索に多大な時間を要し
てしまう。
もし、所望の画像がデータベースに存在しない場合は、
所望の画像を複数の画像の編集合成作業によって得る方
法が一般的であり、まず所望の画像合成するのに必要な
対象を含む画像をすべて検索し、必要な対象部分の切り
出しや、切り出した対象部分と背景画像との合成を行な
って所望の画像を得るという作業が必要となる。この場
合、作業に非常に手間がかかることが問題であった。
法、2番目の類似画像をたどる方法を組み合わせた画像
検索の方法として、例えば、文献 [井上、柴田、中
須、"画像合成のための部品画像ファイルシステム"、電
子情報通信学会論文誌、Vol.J72-D-II、No.11、pp.1824
-1832、1989年11月] に開示の方法がある。また、上記
3の画像検索の方法として、例えば、特開平2−517
75号公報に開示の方法がある。
検索技術においては、使用者が所望の画像を検索する際
に、問い合わせにキーワードを用いた場合には画像の意
味を定量的に表現できないために、使用者の検索意図が
検索結果に反映されるとは限らないこと、また、問い合
わせに略画を用いた場合には使用者の検索意図を装置に
正確に伝える手段はあっても、使用者が所望の画像のイ
メージを知らない場合には検索が不可能なことが問題で
あった。
所望の画像が画像データベースに存在しないときは、所
望の画像を編集合成作業によって作成することになる
が、編集合成作業をすべて人手によって行なわければな
らなかったため、多大な手間がかかることが問題であっ
た。
り、所望の画像のイメージを知らずとも所望の画像内容
を正確に装置に伝え、かつ、所望の画像が画像データベ
ースに存在しない場合でも、使用者の検索意図が検索結
果に反映され、所望の画像が容易に編集合成できる画像
検索装置を提供することを目的とする。
語文に応じて、画像部品を検索する装置であって、自然
言語文を受け取る入力手段と、言語解析辞書を参照し
て、該自然言語文を解析することにより、該自然言語文
の構文構造を得る言語解析手段と、状況要素分割辞書を
参照して、該自然言語文の該構文構造を意味構造に変換
し、該自然言語文の該意味構造によって表される状況を
少なくとも1つの状況要素に分割する状況要素分割手段
と、該状況要素に対応する画像部品を格納する画像デー
タベースと、該状況要素を画像検索キーとして用いて、
該画像データベースから該画像部品を検索する検索手段
とを備えており、これにより、上記目的が達成される。
も1つの領域に関連する画像属性データを含んでおり、
前記検索手段は、該画像属性データに応じて該画像デー
タベースから得られた画像部品をさらに絞り込んでもよ
い。
る少なくとも1つの領域を定義する領域データと該少な
くとも1つの領域の意味を表す情報とを含んでいてもよ
い。前記情報は、自然言語文によって表されていてもよ
い。
画像属性データとの類似度を計算する手段と、該類似度
に応じて、前記画像属性データの利用の可/不可を規定
する領域利用情報を提供する手段とを備えていてもよ
い。
て、前記検索手段によって検索された画像部品のうち少
なくとも一部を表示する表示手段をさらに備えていても
よい。前記状況要素分割辞書は、前記自然言語文の意味
を定義するための複数の格フレームを含んでおり、該複
数の格フレームのそれぞれは、前記自然言語文において
述語となりうる単語と、該単語に関連する格要素の名称
と該格要素が満たすべき制約条件との組を記述するスロ
ットと、前記状況を少なくとも1つの状況要素に分割す
るための知識を記述する状況分割データとを含んでいて
もよい。
の前記状況分割データに基づいて、前記少なくとも1つ
の状況要素を背景に関連するグループと前景に関連する
グループとに分類してもよい。
画像検索に必要とされない単語を削除するためのルール
を含んでおり、前記言語解析手段は、該ルールに従って
前記自然言語文から単語を削除する画像検索前処理手段
を備えていてもよい。
て、画像部品を検索する装置であって、複数の画像部品
を格納する画像データベースであって、該複数の画像部
品のそれぞれは、画像に含まれる領域の意味を表す画像
属性データと該領域に対応する画素データとを含む画像
データベースと、自然言語文を受け取る入力手段と、該
自然言語文を解析することにより、述語と、該述語に関
連する少なくとも1つの格要素とを含む解析フレームで
あって、該自然言語文の意味を表す解析フレームを得る
解析手段と、該解析フレームに含まれる該述語と、該少
なくとも1つの格要素とを対応付けることにより、該自
然言語文の部分的な意味を表す画像検索キーを定義する
対応付け手段と、該画像検索キーと該画像属性データと
の意味における類似度に基づいて、該画像データベース
から画像部品を検索する検索手段とを備えており、これ
により、上記目的が達成される。
的な意味に応じて、背景に関連する画像検索キーと前景
に関連する画像検索キーとのうち一方を定義してもよ
い。
像データベースから画像部品を検索する方法であって、
該画像データベースは複数の画像部品を格納し、該複数
の画像部品のそれぞれは、画像に含まれる領域の意味を
表す画像属性データと該領域に対応する画素データとを
含んでおり、該方法は、a)自然言語文を受け取るステ
ップと、b)該自然言語文を解析することにより、述語
と、該述語に関連する少なくとも1つの格要素とを含む
解析フレームであって、該自然言語文の意味を表す解析
フレームを得るステップと、c)該解析フレームに含ま
れる該述語と、該少なくとも1つの格要素とを対応付け
ることにより、該自然言語文の部分的な意味を表す画像
検索キーを定義するステップと、d)該画像検索キーと
該画像属性データとの意味における類似度に基づいて、
該画像データベースから画像部品を検索するステップと
を包含しており、これにより、上記目的が達成される。
分的な意味に応じて、背景に関連する画像検索キーと前
景に関連する画像検索キーとのうち一方を定義するステ
ップを包含していてもよい。また、本発明の他の装置
は、自然言語文に応じて、画像部品を検索する装置であ
って、自然言語文を受け取る入力手段と、該自然言語文
から意味情報を抽出し、該意味情報を用いて該自然言語
文によって表される状況の一部を表す状況要素を生成す
る状況要素生成手段と、該状況要素に対応する画像部品
を格納する画像データベースと、該状況要素を画像検索
キーとして用いて、該画像データベースから該画像部品
を検索する検索手段とを備えており、これにより、上記
目的が達成される。
録する際に、あらかじめ、画像の構成要素となる対象の
領域を示す領域データを作成し、さらに、領域と領域の
内容を表す画像内容情報との組を、画像部品の画像属性
データとして記述しておく。
像の内容を表す自然言語文が入力部を介して入力され
る。言語解析部によって入力された自然言語文の構文構
造が解析される。状況要素分割部によって自然言語文の
構文構造が意味構造に変換される。すなわち、入力され
た自然言語文の表す状況は、それを構成する部分的な状
況要素に分割され、分割されたそれぞれの状況要素に対
応する画像検索キーが生成される。ここで、状況要素と
は、状況を表す最小単位の文章のことである。
に、状況要素と関連のある画像部品が検索される。さら
に、検索された画像部品を絞り込んでもよい。
意味構造とが完全に一致した場合には、所望の画像部品
が見つかったことを意味する。従って、表示部は、検索
された画像部品を表示する。それらが完全に一致しない
場合には、表示部は、入力文の意味構造を表すために必
要な画像部品を、背景と前景とに分けて表示する。ま
た、必要に応じて表示画像部品の編集も可能である。
て説明する。
れる画像の例を示す。この画像は、「木の生い茂る○○
公園で、Bさんが自転車に乗って、A選手のコーチをし
ている」というシーンを表している。このように画像は
特定の意味を有している。さらに、画像に含まれる個々
の領域は、画像全体とは異なる意味を有していると解釈
することができる。例えば、「Bさんが自転車に乗っ
て、A選手のコーチをしている」というシーンを画像に
含まれる領域ごとに個々に解釈すれば、「Bさんが自転
車に乗っている」と「A選手が走っている」と解釈でき
る。また、「並木」というシーンを画像に含まれる領域
ごと個々に解釈すれば、3本の「木」であると解釈する
こともできる。
一部の意味に基づいて、画像データベースを検索する装
置を提供する。画像データベースに格納される画像は、
他の画像を合成するために使用され得る。この意味で、
本明細書では、画像データベースに格納された画像のこ
とを「画像部品」という。画像部品は、画素データと領
域データと画像属性データとを含む。画素データは、ピ
クセル値の集合である。例えば、640×480ドット
の画像の場合、画素データは640×480個のピクセ
ル値の集合である。領域データは、画像に含まれる少な
くとも1つの領域の位置を特定するデータである。例え
ば、領域データは、領域の輪郭線を規定する座標の集合
である。画素データと領域データとは、公知の方法で画
像データベースに格納され得る。画像属性データは、画
素データの表す意味と領域との関係を規定する。画素デ
ータの表す意味は1つの領域に対応するかもしれない
し、複数の領域に対応するかもしれない。
る領域の例を示す。図1(a)の画像には、領域X1〜
X5が含まれている。領域データは、領域X1〜X5の
位置を特定する。
る画像属性データの構造を示す。画像属性データは、画
素データの全体又は一部の意味を示す情報101と画素
データの全体又は一部の意味に関連する領域102とを
含む。情報101は、例えば、自然言語文で記述され
る。自然言語文は、検索可能な他の任意の言語に置き換
えられ得る。例えば、画素データの全体又は一部の意味
は、自然言語の単語列によって表されてもよい。
3は、領域X1に対応する画素データの意味が「A選手
が走っている」であることを規定している。画像属性デ
ータ104は、領域X2に対応する画素データの意味が
「Bさんが自転車に乗っている」であることを規定して
いる。画像属性データ103及び104は、1つの領域
と1つの画素データの意味とが対応している例である。
しかし、2以上の領域と1つの画素データの意味とが対
応していてもよい。例えば、画像属性データ105は、
領域X1及びX2とからなる領域に対応する画素データ
の意味が「Bさんが自転車でA選手をコーチしている」
であることを規定している。画像属性データ106は、
領域X3〜X5からなる領域に対応する画素の意味が
「並木」であることを規定している。このように、画像
属性データは、複数の領域の組み合わせに対応する画素
データの意味が、個々の領域に対応する画素データの意
味と異なるように規定される。
意味に対応する領域が規定されていない。これは、その
画素データの意味に対応する領域を省略した表現であ
る。この省略表現は、その画素データの意味が図1
(b)に示す領域X1〜X5を含めた全体の領域(すな
わち、画像の背景領域)に関連していることを意味す
る。従って、画像属性データ107は、画像の背景領域
に対応する画素データの意味が「○○公園」であること
を規定している。このように、画像属性データにおいて
画素データの意味に対応する領域が規定されている場合
には、その画素データの意味は画像の前景領域に関連
し、画像属性データにおいて画素データの意味に対応す
る領域が規定されてない場合には、その画素データの意
味は画像の背景領域に関連する。従って、画像属性デー
タにおいて画素データの意味に対応する領域が規定され
ているか否かをチェックすることによって、その画素デ
ータの意味が画像の前景領域と背景領域のうちのいずれ
に関連しているかを判定することができる。
例の構成を示す。画像検索装置は、自然言語文を入力す
るための入力部200と、言語解析辞書206を参照し
て自然言語文の構文構造を解析する言語解析部201
と、状況要素分割辞書210を参照して自然言語文の構
文構造を意味構造に変換し、自然言語文の意味構造によ
って表される状況を少なくとも1つの状況要素に分割
し、分割された状況要素にそれぞれ対応する画像検索キ
ーを生成する状況要素分割部205と、画像検索キーに
基づいて画像データベース212から画像部品を検索す
る画像検索部211と、検索された画像部品を表示し、
必要に応じてその画像部品を編集する表示部215とを
含んでいる。
索するための画像部品検索辞書213と、画像部品を格
納する画像部品データベース214とを含んでいる。
示す。画像部品検索辞書213は、複数の画像部品検索
データを含んでいる。図3では、画像部品検索データの
それぞれは、画像部品検索辞書213の各行に対応して
いる。画像部品検索データは、画像部品の内容を表すキ
ーワード301と、この画像部品検索データ自身に関連
する他の画像部品検索データへのポインタ302と、キ
ーワード301に関連する画像部品へのポインタ303
とを含んでいる。図3に示されるように、キーワード3
01とポインタ302とポインタ303とは、2重の縦
線によって区切られている。
図3の第1行に示される画像部品検索データ304を説
明する。画像部品検索データ304は、キ−ワード30
1として「A選手」を有しており、ポインタ302とし
て少なくとも「人物(上位)」を有しており、ポインタ
303として少なくとも「画像1」と「画像2」とを有
している。「人物(上位)」は、キーワード301とし
て「人物」を有する画像部品検索データが画像部品検索
データ304に対して「上位」の関係で位置付けられる
ことを示している。「画像1」と「画像2」は、「A選
手」に関連する画像部品へのポインタを画像部品の番号
によって示したものである。「画像1」と「画像2」
は、「A選手」に関連する画像部品として画像1と画像
2とが画像部品データベース214に格納されているこ
とを示している。
は、言語解析辞書206を参照して入力された自然言語
文の構文構造を解析する。言語解析辞書206は、画像
検索前処理知識ベース207と単語辞書208と文法辞
書209とを含む。言語解析部201は、単語辞書20
8を参照して形態素解析を行う形態素解析部202と、
画像検索前処理知識ベース207を参照して入力された
自然言語文に含まれる単語のうち不要な単語の削除と単
語の修正を必要であれば行う画像検索前処理部203
と、文法辞書209を参照して画像検索前処理部203
によって処理された自然言語文の構文構造を解析する構
文解析部204とを含んでいる。構文解析部204にお
ける構文解析の手法は、自然言語処理の分野における公
知の技術である。例えば、形態素解析部202、単語辞
書208、構文解析部204、文法辞書209の実現方
法は、野村浩郷著、「自然言語処理の基礎技術」、電子
情報通信学会、1988年に記載されている。本発明に
よる画像検索装置における構文解析部204は、入力さ
れた自然言語文の構文解析の結果が構文解析部204か
ら正しく出力される限り、任意の構文解析の手法を採用
し得る。
00によって画像検索装置に入力された場合を例にと
り、言語解析部201における処理を簡単に説明する。
まず、形態素解析部202によって、単語辞書208を
用いて文を構成する最小単位である形態素に分解され
る。形態素への分解結果は、例えば次のごとくとなる。
マラソン」「で」「トップ」「を」「走って」「いる」 画像検索前処理部203は、このような形態素列から画
像の表現に不必要な単語を除去、修正する。例えば、接
頭語や法情報、敬語表現などを表す形態素の除去、基本
形以外の用言の基本形への変換などの画像検索前処理が
画像検索前処理部203によって実行される。画像検索
前処理は、画像検索前処理知識ベース207に格納され
る画像検索前処理知識を参照して実行される。
記述すると、例えば、「動詞連用形の次に動詞性接尾辞
『いる』もしくはその活用形が接続し文が終了する場合
は、動詞連用形を基本形に変更し、動詞性接尾辞『い
る』もしくはその活用形を取り除く。」というルールを
含む。このルールは、入力された自然言語文が進行形と
いう法情報を含んでいる場合には、進行形を表現してい
る部分を除去し現在形に変更するという処理を行うこと
を規定したものである。例えば、上記の形態素解析の結
果の例では、最後の2つの形態素「走って」と「いる」
に着目すると、動詞の連用形「走って」に、動詞性接尾
辞「いる」が接続しているため、最後の形態素である
「いる」が除去され、「走って」は基本形「走る」に変
更される。すなわち、本処理によって上記の形態素解析
の結果は以下の自然言語文(1’)に変更される。
慮した文法規則や接頭語を含む文法規則などを文法辞書
209に記述する必要がないので、文法辞書209の文
法規則の数を削減することができる。このことにより、
構文解析部204における処理を高速化することが可能
となる。しかしながら、画像検索前処理部203は省略
されてもよい。その理由は、活用形などを考慮した方が
より正確な画像検索を行える場合もあるからである。
ング言語を用いて画像検索装置に組み込まれる。例え
ば、そのプログラミング言語が手続き型言語である場合
には、画像検索前処理知識をif-then形式の条件分岐を
用いて容易に表現することができる。上述のルールは例
えば以下のように表現され得る。
る』もしくはその活用形が接続し文が終了する) then{ ・動詞連用形を基本形に変形する。
形を取り除く。
の条件分岐を列挙することによって以下のように表現さ
れ得る。これらのif-then形式の条件分岐は、画像検索
前処理部203によって逐次処理される。
件) then{ ・画像検索前処理を実行する。
語文の構文構造を解析する。文法辞書209は、例え
ば、以下に示す日本語の文法に関するルールJR1)〜
JR6)を含んでいる。
の標識の列がその順に並んだものである」であることを
規定する。例えば、ルールJR4)は、「副詞句は、名
詞句と格助詞がこの順に並んだものである」ことを規定
している。
析部204によって構文解析した結果を構文木の形式で
示したものである。構文木は、複数のノードを階層的に
結合した構造を有している。あるノードを生成するため
に、ルールJR1)〜JR6)のうちのいずれか1つが
適用される。例えば、図4の最上位のノード「文」に
は、ルールJR1)が適用される。これは、ノード
「文」がルールJR1)の「→」の左側の標識「文」に
一致し、ノード「文」の下位のノードの並びがルールJ
R1)の「→」の右側の標識の列の並びに一致するから
である。その結果、ノード「文」の下位ノードとしてノ
ード「動詞句」が生成される。
書210を参照して、自然言語文の構文構造を意味構造
に変換し、自然言語文の意味構造によって表される状況
を少なくとも1つの状況要素に分割し、分割された状況
要素にそれぞれ対応する画像検索キーを生成する。状況
要素分割辞書210は、複数の格フレームを含んでい
る。格フレームは、自然言語文の意味構造を規定するた
めに使用される。
る1つの格フレームの構造を示す。この格フレームは述
語「走る」に関するものである。図5に示されるよう
に、格フレームは、自然言語文の述語となりうる単語5
01と、その単語に関連する格要素の名称とその格要素
が満たすべき制約条件との組を記述するスロット502
と、自然言語文の意味構造によって表される状況を少な
くとも1つの状況要素に分割するための知識を記述する
状況分割データ503とを含んでいる。自然言語文の述
語の種類としては、例えば、述語動詞、述語形容詞、及
び述語形容動詞などがある。
表す動作主体格(AGENT)、動作の受け手を表す受け手
格(PARTICIPANT)、動作が行われる場所を表す場所格
(LOCATIVE)、動作が行われる目的を表す目的格(PURP
OSE)の4つの格要素に対応するスロットを少なくとも
有している。このことは、述語として「走る」を有する
自然言語文は、「走る」という動作に対する動作主体、
受け手、目的、場所をそれぞれ表す名詞句と格助詞から
なる副詞句を含むことが可能であることを意味してい
る。これらの4つのスロットの格要素が満たすべき制約
条件は以下のとおりである。
E)を表す名詞句と格助詞「は」又は「が」とからなる
副詞句でなければならない。
MATE)を表す名詞句と格助詞「と」とからなる副詞句で
なければならない。
はレース(RACE)を表す名詞句と格助詞「で」とからな
る副詞句でなければならない。
格助詞「を」とからなる副詞句でなければならない。
(図5の格フレームにおいて「*」は、任意の名詞句で
よいことを示す。) 図5に示される格フレームを用いて、図4に示される自
然言語文の構文構造を意味構造に変換する処理を説明す
る。この処理は、状況要素分割部205によって実行さ
れる。
4の構文木から名詞句と格助詞からなる副詞句が抽出さ
れる。この副詞句を名詞句と格助詞とに分解し、名詞句
と格助詞のそれぞれに対応する単語を「+」で連結する
記号を用いて、副詞句に対応する単語列を表すとする
と、図4の構文木に含まれる副詞句は、「C選手+
が」、「A選手+と」、「××マラソン+で」、「トッ
プ+を」の4つであることが分かる。
格助詞とからなる副詞句が格フレームどのスロットの制
約条件を満たすかが判定される。例えば、副詞句「C選
手+が」が述語として「走る」を有する格フレーム(図
5)の動作主体格に対応するスロットの制約条件「動作
主体格は動物(ANIMATE)でなければならない」を満た
すか否かは、以下のようにして判定される。上述した画
像部品検索辞書213を参照して「C選手」と「動物」
とが一致するか否かが判定される。「C選手」と「動
物」とは文字列レベルで一致しないので、「動物」が
「C選手」に対して「上位」の関係を有するか否かが以
下のようにして判定される。
索辞書213を検索することにより、「C選手」に関す
る画像部品検索データが得られる。その画像部品検索デ
ータに対して「上位」の関係を有する他の画像部品検索
データへのポインタをたどることにより、「C選手」に
対して「上位」の関係を有する画像部品検索データが得
られる。このようにして得られた画像部品検索データが
「動物」に関するものであれば、「C選手」は「動物」
に属するので、上述の制約条件を満たすこととなる。ま
た、他の画像部品検索データへのポインタを一度だけた
どることにより「動物」に関する画像部品検索データが
見つからない場合であっても、ポインタを繰り返したど
ることにより「動物」に関する画像部品検索データが見
つかれば、やはり「C選手」は「動物」に属するので、
上述の制約条件を満たすこととなる。さらに、ある画像
部品検索データがその画像部品検索データに対して「上
位」の関係を有する他の画像部品検索データへのポイン
タを2個以上有している場合に、一方のポインタを繰り
返したどっても「動物」に関する画像部品検索データが
見つからない場合には、ひとまずその画像部品検索デー
タまで戻って、まだたどっていない他方のポインタを繰
り返したどればよい。こうして「C選手」に関する画像
部品検索データからたどることの可能な画像部品検索デ
ータをすべて調べても、「動物」に関する画像部品検索
データが見つからなかった場合にのみ、「C選手」は
「動物」に属さないと判断される。すなわち、「C選
手」は上述の制約条件を満足しないと判断される。例え
ば、図3には示されていないが、「C選手」の「上位」
の関係に「人間」があり、「人間」の「上位」の関係に
「動物」があると仮定する。この場合、「C選手」から
2度「上位」の関係をたどることによって「動物」にた
どりつく。従って、「C選手」は、動作主体格に対応す
るスロットの制約条件「動作主体格は動物でなければな
らない」を満たす。
と、「が」であり、「動作主体に対応する名詞句に接続
する格助詞は『は』又は『が』である」という条件を満
たしている。従って、副詞句「C選手+が」は、述語
「走る」の動作主体格に対応するスロットの制約条件を
満たすので、副詞句「C選手+が」は、述語「走る」の
動作主体格であることが確定する。同様に、「A選手+
と」、「××マラソン+で」、「トップ+を」のそれぞ
れの副詞句が、どのスロットの条件を満たすかを調べる
と、「A選手+と」が受け手格、「××マラソン+で」
が場所格、「トップ+を」が目的格にそれぞれ対応する
スロットの制約条件を満たす。その結果、副詞句の格が
それぞれ確定する。
意味構造を表す格フレームの構造が、図6に示されるよ
うに確定する。
3は、格フレームの構造によって表される状況を少なく
とも1つの状況要素に分割するための知識を記述するも
のである。ここで、状況要素とは、状況を表す最小単位
の文章のことである。状況分割データ503におけるラ
ベルP1、P2、BG1、BG2は、述語として「走
る」を有する格フレームによって表される状況が、前景
に対応する2種類の状況要素と背景に対応する2種類の
状況要素とに少なくとも分割可能であることを示してい
る。ラベルP1とP2とは前景に対応し、ラベルBG1
とBG2とは背景に対応する。また、状況分割データ5
03におけるラベルP1、P2、BG1、BG2の下に
示される「○」は、述語とその述語に関連する少なくと
も1つの格要素との間の対応づけを規定する。
「○」は、述語「走る」と格要素「AGENT」の組み合わ
せが前景に対応する状況要素を規定することを示す。こ
のことは、格要素「AGENT」が「走る」という動作をし
ているというシーンを状況要素とみなすという知識に基
づいている。ラベルP2の下に示される2つの「○」
は、述語「走る」と格要素「PARTICIPANT」との組み合
わせが前景に対応する状況要素を規定することを示す。
このことは、格要素「PARTICIPANT」が「走る」という
動作をしているというシーンを状況要素とみなすという
知識に基づいている。ラベルBG1の下に示される1つ
の「○」は、格要素「LOCATIVE」が背景に対応する状況
要素を規定することを示す。このことは、場所を表すシ
ーンを状況要素とみなすという知識に基づいている。ラ
ベルBG2の下に示される1つの「○」は、格要素「PU
RPOSE」が背景に対応する状況要素を規定することを示
す。このことは、目的を表すシーンを状況要素とみなす
という知識に基づいている。
ば、1つの格フレームにおいて、述語とその述語に関連
する少なくとも1つの格要素とが互いに対応づけられ
る。単独の格要素、もしくは格要素の組み合わせは、状
況要素を定義する。さらに状況要素は、P1、P2、B
G1、BG2などのラベルにより、前景に対応する状況
要素と背景に対応する状況要素とに分類される。
自然言語文の意味構造によって表される状況を少なくと
も1つの状況要素に分割し、状況要素に対応する画像検
索キーを生成する処理を説明する。この処理は、状況要
素分割部205によって実行される。上述したように、
自然言語文の意味構造は格フレームによって表現され
る。以下、自然言語文(1’)の意味構造を表現する図
6の格フレームを例にとり、この処理を説明する。説明
の簡略化のため、図5に示される格フレームを辞書フレ
ームといい、図6に示される格フレームを解析フレーム
という。辞書フレームは、状況要素分割辞書210に格
納される。
は、格要素「AGENT」の値は「C選手」であると確定
し、格要素「PARTICIPANT」の値は「A選手」であると
確定し、格要素「LOCATIVE」の値は「××マラソン」で
あると確定し、格要素「PURPOSE」の値は「トップ」で
あると確定している。このように、解析フレームは、述
語と、その述語に関連する格要素と、その格要素の確定
された値とを有している。解析フレームは、自然言語文
(1’)の意味を表す。解析フレームに対応する状況要
素を定義するためには、図6の辞書フレームの状況分割
データ503を参照して、述語「走る」とその述語「走
る」に関連する格要素たちを互いに対応づけてやればよ
い。例えば、状況分割データ503のラベルP1に関連
して、「走る」と「C選手」との組み合わせである「C
選手が走る」が前景に対応する状況要素として定義され
る。状況分割データ503のラベルP2に関連して、
「走る」と「A選手」との組み合わせである「A選手が
走る」が前景に対応する状況要素として定義される。同
様にして、状況分割データ503のラベルBG1に関連
して、「××マラソン」が背景に対応する状況要素とし
て定義される。状況分割データ503のラベルBG2に
関連して、「トップ」が背景に対応する状況要素として
定義される。
って表される状況が4つの状況要素に分割される。状況
要素は、辞書フレームの構造や解析フレームの構造とは
異なる意味構造を有している。状況要素の意味構造は、
以下の書式で表現される。
値))、"背景"または"前景") もしくは、 ((述語、格要素(格要素の値)、…、格要素(格要素
の値))、"背景"または"前景") 本明細書では、上述の書式で表現された状況要素を特に
「画像検索キー」という。画像検索キーは、入力された
自然言語文の部分的な意味を表す。画像検索キーは、後
述するように、画像データベース212から画像部品を
検索するために使用される。例えば、図6の解析フレー
ムから得られる画像検索キーは、以下に示す(2-1)〜(2-
4)の4つである。以下、画像検索キーにおいて、「格要
素(格要素の値)」の形式のデータを格要素データと呼
ぶことにする。
を画像データベース212から検索する。
を画像データベース212から検索する処理の手順を示
す。この検索処理は、画像検索部211によって実行さ
れる。以下、図7を参照して、この検索処理をステップ
ごとに説明する。
よって生成された画像検索キーを画像検索部211に入
力する。入力されたすべての画像検索キーに対して、画
像部品検索ルーチンを実行する。画像部品検索ルーチン
については後述する。
検索ルーチンによって得られた1以上の画像部品との組
を画像部品選択ルーチンに入力する。入力されたすべて
の組に対して、画像部品選択ルーチンを実行する。画像
部品選択ルーチンについては後述する。
画像部品のうち、最も多くの組に含まれる画像部品を選
択する。
画像部品のうち、最も多くの組に含まれる画像部品を選
択する。
選択された画像部品を背景に対応する画像部品として出
力する。ステップ704において選択された画像部品を
前景に対応する画像部品として出力する。
品検索ルーチンにおける処理の手順を示す。画像部品検
索ルーチンは、画像検索キーを受け取り、その画像検索
キーに関連する1以上の画像部品を画像データベース2
12から得るためのルーチンである。以下、図8を参照
して、この処理をステップごとに説明する。
検索ルーチンに入力する。
に格要素の動作を表す述語が記述されているか否かを判
定する。
索キーに述語が記述されているならば、その述語をキー
ワードとして有する画像部品検索データを画像部品検索
辞書213から得る。得られた画像部品検索データのポ
インタによって指された1以上の画像部品を得る。も
し、入力された画像検索キーに述語が記述されていない
ならば、このステップ803はスキップされる。
に含まれる格要素データのうちの1つを取り出す。その
格要素データの格要素の値をキーワードとして有する画
像部品検索データを画像部品検索辞書213から得る。
得られた画像部品検索データのポインタによって指され
た1以上の画像部品を得る。
に含まれるすべての格要素データについて、画像部品の
検索がなされたか否かを判定する。もし、Noであれば、
ステップ802に戻る。もし、Yesであれば、ステップ
806に進む。
画像部品と、各格要素データに基づいて得られた画像部
品との両方に共通する1以上の画像部品を選択する。選
択された1以上の画像部品を画像部品検索ルーチンの検
索結果として返す。
品選択ルーチンにおける処理の手順を示す。画像部品選
択ルーチンは、画像部品検索ルーチンによって選択され
た1以上の画像部品をさらに絞り込むためのルーチンで
ある。以下、図9を参照して、この処理をステップごと
に説明する。
索キーに対して画像部品検索ルーチンによって選択され
た1以上の画像部品との組を画像部品選択ルーチンに入
力する。その組は、入力された画像検索キーに含まれる
最後の項(”背景”又は”前景”)に応じて、背景グル
ープと前景グループのいずれかに分類される。
の画像部品のそれぞれについて、その画像部品の画像属
性データに含まれる情報であって、画素データの全体又
は一部の意味を表す情報101を得る。図1(c)を参
照して既に述べたように、画像属性データにおいて、情
報101は自然言語文によって表されている。その画像
属性データに含まれる自然言語文は、言語解析部201
と状況要素分割部205によって、画像検索キーに変換
される。この変換は、画像検索処理装置に入力された自
然言語文を画像検索キーに変換する処理と同一の処理を
実行することによって達成される。
組が属するグループと同一のグループに属する画像属性
データの自然言語文のみを画像検索キーに変換すること
が好ましい。すなわち、その組が背景グループに属する
場合には、背景グループに属する画像属性データの自然
言語文のみを画像検索キーに変換し、その組が前景グル
ープに属する場合には、前景グループに属する画像属性
データの自然言語文のみを画像検索キーに変換すること
が好ましい。ある画像属性データが背景グループと前景
グループのうちのいずれに属するかは、その画像属性デ
ータの領域102に領域データが記載されているか否か
に依存する。その画像属性データの領域102に領域デ
ータが記載されている場合には、その画像属性データは
前景グループに属し、その画像属性データの領域102
に領域データが記載されていない場合には、その画像属
性データは背景グループに属する。
には、画像検索データを画像部品データベース214に
登録する際に、その画像検索データに含まれる自然言語
文を画像検索キーに変換しておくことが好ましい。この
場合には、画像部品検索ルーチンによって選択された画
像部品の画像属性データは、予め変換された画像検索キ
ーを有することとなる。従って、ステップ902におけ
る上記変換処理を省略することができる。その結果、検
索処理が高速化される。
れた画像検索キーのそれぞれと、入力された画像検索キ
ーとの類似度を計算する。この計算は、例えば、以下の
画像検索キー類似度計算アルゴリズムに従ってなされ
る。しかし、他のアルゴリスムを採用することも可能で
ある。
トに初期化する。
得点に1ポイントを加算する。
致するものが見つかれば得点に1ポイントを加算する。
ータの数がどちらも1つのみの場合には、格要素データ
の格要素の値のみが一致すれば得点に1ポイントを加算
する。
画像検索キーの述語や格要素データが完全に一致しない
場合でも、上位−下位の関係や類義の関係にある場合に
は、その関係に相当するポイントを加算するようにすれ
ば、より正確な類似度を計算することができる。上位−
下位の関係や類義の関係にあるか否かは、図3を参照し
て既に説明したように、画像部品検索データに関連する
他の画像部品検索データへのポインタをたどることによ
り、容易に求めることが可能である。
得た画像検索キーに対応する画像属性データの領域利用
情報を利用可とし、それ以外の画像検索キーに対応する
画像属性データの領域利用情報を利用不可とする。
ついて、上述のステップ902〜904の処理が終わっ
ているか否かを判定する。もし、Noであれば、ステップ
902に戻る。もし、Yesであれば、画像属性データを
含む画像部品を画像部品選択ルーチンの結果として返
し、本ルーチンを終了する。
て得られた画像部品を、必要な場合には領域データを用
いて表示する。また、表示部215は、画像部品を編集
するのに必要な機能を有する。
れた画像部品を受け取り、その画像部品の画素データの
うち必要な部分を表示する処理の手順を示す。この処理
は、表示部215によって実行される。以下、図10を
参照して、この処理をステップごとに説明する。
複数個存在するか否かを調べる。もし、Yesであれば、
それぞれの画像部品について以下のステップ1003〜
1007に従ってそれぞれの画像部品を表示する。も
し、Noであれば、ステップ1002へ進む。
画素データ全体を表示する。その後、ステップ1009
に進む。
未だ表示されていない画像部品を1つ選択する。選択さ
れた画像部品の画像属性データの領域利用情報を参照す
ることによって、表示が可能である画像属性データを得
る。
部102を参照することにより、領域データを得る。
の領域部102に領域データが記述されていなければ、
その画像部品は背景に関連すると判断される。その後、
ステップ1006に進む。もし、画像属性データの領域
部102に領域データが記述されていれば、その画像部
品は前景に関連すると判断される。その後、ステップ1
007に進む。
ータ全体を背景として表示する。
ータのうち、画像属性データの領域データに対応した画
素データのみを前景として表示する。
像部品についての処理が終了したか否かを判定する。も
し、Noであれば、ステップ1003に戻る。もし、Yes
であれば、ステップ1009に進む。
れた画像部品を編集する。その後、処理を終了する。
て、画像部品を検索する処理の手順をより具体的に説明
する。以下、上述した自然言語文(1)が画像検索装置
に入力されると仮定する。また、検索処理の説明におい
て、以下の「画像1」と「画像2」とを画像部品の例と
して使用する。
応する画像。
対応する画像。
て画像検索装置に入力される。入力部200としては、
典型的にはキーボードが使用される。しかし、キーボー
ドの代わりにタブレットなどを使用することも可能であ
る。
文(1)の構文構造を解析する。言語解析部201にお
ける処理の詳細については、すでに説明したので、ここ
では省略する。言語解析部201による構文解析の結果
は、例えば、図4に示されるように、構文木の形式で表
される。
文構造を意味構造に変換し、自然言語文の意味構造によ
って表される状況を少なくとも1つの状況要素に分割
し、状況要素に対応する画像検索キーを生成する。状況
要素分割部205における処理の詳細についても、すで
に説明したので、ここでは省略する。状況要素分割部2
05による意味解析の結果は、例えば、図6に示される
解析フレームによって表される。図6の解析フレームに
基づいて、4つの画像検索キー(2-1)〜(2-4)が得られ
る。画像検索キーは、状況要素の意味構造をそれぞれ表
している。
いて画像データベース212から画像部品を検索する。
この検索処理は、画像部品検索ルーチンによる処理と画
像部品選択ルーチンによる処理とを含む。画像部品検索
ルーチンは、画像検索キー(2-1)〜(2-4)を用いて、自然
言語文(1)に関連する画像部品を画像データベース2
12から得る。画像部品選択ルーチンは、画像検索キー
と、画像部品検索ルーチンによって得られた画像部品の
画像属性データとに基づいて検索された画像部品をさら
に絞り込む。
画像部品検索ルーチンに入力された場合を例にとり、画
像部品検索ルーチンの処理を説明する。
ので、図8のステップ803に従って、述語「走る」を
キーワードとして有する画像部品検索データが図3の画
像部品検索辞書213から得られる。この画像部品検索
データは、図3に示されるように、関連する画像部品へ
のポインタとして「画像1」と「画像2」とを有してい
る。以下、本明細書では、説明を簡単にするために、画
像部品検索ルーチンによって選択され得る画像部品は、
図3に明示的に示されている画像部品に限られると仮定
する。従って、これらのポインタをたどることにより、
「画像1」と「画像2」とが得られる。
(C選手)」を含むので、図8のステップ804に従っ
て、格要素データの値「C選手」をキーワードとして有
する画像部品検索データが図3の画像部品検索辞書21
3から得られる。この画像部品検索データは、図3に示
されるように、関連する画像部品へのポインタとして
「画像2」と「画像9」とを有している。従って、これ
らのポインタをたどることにより、「画像2」と「画像
9」とが得られる。
語「走る」に基づいて得られた画像部品(「画像1」と
「画像2」)と格要素データ「AGENT(C選手)」に基
づいて得られた画像部品(「画像2」と「画像9」)と
に共通する画像部品を選択する。このようにして、共通
する画像部品として、「画像2」が選択される。この選
択結果は、画像部品検索ルーチンの結果として出力され
る。
また、画像部品検索ルーチンに逐次入力される。その結
果、入力される画像検索キーに応じて、画像部品検索ル
ーチンによって以下に示す画像部品が選択される。
して「画像2」が選択されので、画像検索キー(2-1)と
画像部品「画像2」との組が画像部品検索ルーチンに入
力される。画像検索キー(2-1)の最後の項は、”前景”
である。従って、図9のステップ901に従って、画像
検索キー(2-1)と画像部品「画像2」との組は、前景グ
ループに分類される。
組は、以下のように前景グループと背景グループとに分
類される。
(3−2) 背景グループ 画像検索キー(2−3)と画像部品「画像2」、「画像10」との組。
(3-3) 画像検索キー(2-4)と画像部品「画像2」、「画像12」との組。 (3-4) 画像検索キー(2-1)と画像部品「画像2」との組(3-1)
は、前景グループに属する。また、画像部品「画像2」
は、図11(c)に示す構造を有する画像属性データを
有する。図9のステップ902に従って、画像部品「画
像2」の画像属性データのうち前景に対応する画像属性
データの3つの自然言語文(「A選手が走っている」と
「C選手が走っている」と「C選手はA選手と競争して
いる」)のみが画像検索キーに変換される。その結果、
以下の3つの画像検索キーが得られる。
のそれぞれとの類似度が図9のステップ903に従って
計算される。例えば、上述した[画像検索キー類似度計
算アルゴリズム]に従って類似度を計算すると、以下の
ようになる。
の類似度:1ポイント。双方の画像検索キーの述語が一
致するからである。
の類似度:2ポイント。双方の画像検索キーの述語が一
致し、双方の画像検索キーの格要素データの数が1であ
り、かつ、格要素データの値が一致するからである。
の類似度:0ポイント。
検索キーに対応する画像属性データの領域利用情報を利
用可とすると仮定する。この場合、図9のステップ90
4に従って、画像検索キー(4-1)に対応する画像属性デ
ータ(すなわち、図11(c)の1行目の画像属性デー
タ)の領域利用情報と、画像検索キー(4-2)に対応する
画像属性データ(すなわち、図11(c)の2行目の画
像属性データ)の領域利用情報とが利用可とされる。
組(3-2)と組(3-3)と組(3-4)に対しても行う。画像部品
「画像2」は全ての組(3-1)〜(3-4)に含まれている。画
像部品「画像2」の画像属性データのうち、領域利用情
報が利用可である画像属性データを類似度を示す得点の
高い順に並べると以下のようになる。ここで、括弧内の
1番目の項は、図11(c)における画像属性データに
対応する行の番号を示し、括弧内の2番目の項は、類似
度を示す得点のポイント数を示す。
部品についても類似度を計算する。ここでは、簡単のた
め、各組に含まれる画像部品「画像2」以外の画像部品
について類似度はいずれも0ポイントであったと仮定す
る。
ープに含まれる画像部品のうち、最も多くの組に含まれ
る画像部品が選択される。この例では、画像部品「画像
2」が背景グループに含まれる画像部品のうち、最も多
くの組に含まれる画像部品である。画像部品「画像2」
は、背景グループに含まれる組(3-3)と組(3-4)との両方
に含まれているからである。従って、図7のステップ7
03では、画像部品「画像2」が選択される。
ープに含まれる画像部品のうち、最も多くの組に含まれ
る画像部品が選択される。この例では、画像部品「画像
2」が前景グループに含まれる画像部品のうち、最も多
くの組に含まれる画像部品である。画像部品「画像2」
は、前景グループに含まれる組(3-1)と組(3-2)との両方
に含まれているからである。従って、図7のステップ7
04では、画像部品「画像2」が選択される。
「画像2」が背景に対応する画像部品として出力され、
画像部品「画像2」が前景に対応する画像部品として出
力される。これらの出力が、画像検索キー(2-1)〜(2-4)
に対する画像検索部211による検索結果である。
て検索された画像部品を表示する。この例では、画像検
索部211によって検索された画像部品は「画像2」の
1つだけである。従って、図10のステップ1001と
1002とに従って、「画像2」の画素データ全体(す
なわち図11(a)の画素データ)が表示部215によ
って表示される。
言語文の内容に完全に一致した画像部品が見つかった場
合の例である。しかし、本発明による画像検索処理によ
れば、入力された自然言語文の内容に完全に一致する画
像部品が見つからない場合でも、入力された自然言語文
の内容を表すために必要な複数個の画像部品を検索する
ことが可能である。例えば、以下の自然言語文(5)に
基づいて、画像データベース212から画像部品を検索
する場合を説明する。
置に入力される。言語解析部201と状況要素分割部2
05とによって、入力された自然言語文(5)の意味構
造を表す解析フレーム(図12)が得られる。次に、状
況要素分割部205によって解析フレーム(図12)に
よって表される状況が3つの状況要素に分割され、3つ
の状況要素に対応する画像検索キーが以下のように生成
される。 ((走る、AGENT(A選手))、"前景") (6-1) ((走る、PARTICIPANT(C選手))、"前景") (6-2) (LOCATIVE(○○公園)、"背景") (6-3) 画像検索部211は、画像部品検索ルーチンと画像部品
選択ルーチンとを用いて、画像検索処理を実行する。画
像部品検索ルーチンでは、画像検索キー(6-1)〜(6-3)に
基づいて、入力された自然言語文(5)に関連する画像
部品が画像データベース212から得られる。画像部品
選択ルーチンでは、画像検索キーと画像部品との組が背
景グループと前景グループのいずれかに分類される。そ
の結果は例えば次のようになる。
は、画像検索キー(6-1)に対応する図1(c)の1行目
の画像属性データ103の領域利用情報の値が利用可と
され、画像検索キー(6-3)に対応する図1(c)の8行
目の画像属性データ107の領域利用情報の値が利用可
とされると仮定する。また、画像部品「画像2」では、
画像検索キー(6-2)に対応する図11(c)の2行目の
画像属性データの領域利用情報の値が利用可とされると
仮定する。その他の画像属性データの領域利用情報の値
は利用不可とされると仮定する。
1」と「画像6」とが背景として選択され、図7のステ
ップ704では画像部品「画像2」が前景として選択さ
れる。図7のステップ705に従って、画像部品「画像
1」と「画像6」とが背景に対応する画像部品として出
力され、画像部品「画像2」が前景に対応する画像部品
として出力される。これらの出力が、画像検索キー(6-
1)〜(6-3)に対する画像検索部211による検索結果で
ある。
部品は「画像1」と「画像6」と「画像2」の3つであ
る。図10のステップ1005と1006とに従って、
画像部品「画像1」の画素データ全体(すなわち図1
(a)の画素データ)が表示部215によって表示され
る。また、図10のステップ1005と1007とに従
って、画像部品「画像2」の図11(c)の2行目の画
像属性データに対応する領域X2の画素データ(すなわ
ち図11(b)の領域X2の画素データ)が表示部21
5によって表示される。画像部品「画像6」に含まれる
画像属性データの領域利用情報はすべて利用不可であ
る。従って、画像部品「画像6」の表示部215への入
力は省略されてもよい。
は、必要に応じて編集される。例えば、画素データと画
素データの合成は典型的な編集の一例である。
1(b)の領域X2の画素データとの合成結果を示す例
である。
ーワードによる検索と異なり、画像データベースに対す
る問い合わせ言語として自然言語を用いている。このこ
とは、所望の画像の意味を画像検索装置に正確に伝える
ことを可能にする。特に、操作者が所望の画像の内容を
知らない場合であっても、その所望の画像の意味を画像
検索装置に伝えることによって、その画像を画像データ
ベースから検索可能とする点に本発明の大きな意義があ
る。
一部の意味を表す意味構造を有している。画像全体の意
味は、画像全体によって表現される状況に相当する。画
像の一部(すなわち画像に含まれる領域)の意味は、そ
の状況を構成する状況要素のうちの1つに相当する。検
索処理においては、入力された自然言語文の構文構造は
意味構造に変換される。自然言語文の意味構造によって
表される状況は、少なくとも1つの状況要素に分割さ
れ、分割されたそれぞれの状況要素に対応する画像検索
キーが定義される。画像検索キーに基づいて、画像部品
に対応する各状況要素を参照することにより、画像検索
キーの意味に最も類似した意味を有する画像部品が画像
部品データベースから検索される。従って、入力された
自然言語文の意味に完全に一致した画像部品が画像部品
データベースに存在しない場合であっても、入力された
自然言語文の部分的な意味を示す状況要素毎に画像部品
を検索することができる。このことは、画像部品を組み
合わせて表示、編集することを容易にする。その結果、
利用者は所望の画像を至極容易に得ることができる。
の例を示す図、(b)は、(a)の画像に含まれる領域
の例を示す図、(c)は、(a)の画像に対応する画像
属性データの構造を示す図である。
すブロック図である。
図である。
の構造を示す図である。
を示す図である。
チャートである。
索ルーチンの処理の手順を示すフローチャートである。
択ルーチンの処理の手順を示すフローチャートである。
である。
像の例を示す図、(b)は、(a)の画像に含まれる領
域の例を示す図、(c)は、(a)の画像に対応する画
像属性データの構造を示す図である。
造を示す図である。
である。
Claims (14)
- 【請求項1】 自然言語文に応じて、画像部品を検索す
る装置であって、 自然言語文を受け取る入力手段と、 言語解析辞書を参照して、該自然言語文を解析すること
により、該自然言語文の構文構造を得る言語解析手段
と、 状況要素分割辞書を参照して、該自然言語文の該構文構
造を意味構造に変換し、該自然言語文の該意味構造によ
って表される状況を少なくとも1つの状況要素に分割す
る状況要素分割手段と、 該状況要素に対応する画像部品を格納する画像データベ
ースと、 該状況要素を画像検索キーとして用いて、該画像データ
ベースから該画像部品を検索する検索手段とを備えた装
置。 - 【請求項2】 前記画像部品は、画像に含まれる少なく
とも1つの領域に関連する画像属性データを含んでお
り、前記検索手段は、該画像属性データに応じて該画像
データベースから得られた画像部品をさらに絞り込む、
請求項1に記載の装置。 - 【請求項3】 前記画像属性データは、前記画像に含ま
れる少なくとも1つの領域を定義する領域データと該少
なくとも1つの領域の意味を表す情報とを含んでいる、
請求項2に記載の装置。 - 【請求項4】 前記情報は、自然言語文によって表され
る、請求項3に記載の装置。 - 【請求項5】 前記検索手段は、 前記画像検索キーと前記画像属性データとの類似度を計
算する手段と、 該類似度に応じて、前記画像属性データの利用の可/不
可を規定する領域利用情報を提供する手段とを備えてい
る、請求項2に記載の装置。 - 【請求項6】 前記装置は、前記領域利用情報に基づい
て、前記検索手段によって検索された画像部品のうち少
なくとも一部を表示する表示手段をさらに備えている、
請求項5に記載の装置。 - 【請求項7】 前記状況要素分割辞書は、前記自然言語
文の意味を定義するための複数の格フレームを含んでお
り、該複数の格フレームのそれぞれは、 前記自然言語文において述語となりうる単語と、 該単語に関連する格要素の名称と該格要素が満たすべき
制約条件との組を記述するスロットと、 前記状況を少なくとも1つの状況要素に分割するための
知識を記述する状況分割データとを含んでいる、請求項
1に記載の装置。 - 【請求項8】 前記状況要素分割手段は、前記格フレー
ムの前記状況分割データに基づいて、前記少なくとも1
つの状況要素を背景に関連するグループと前景に関連す
るグループとに分類する、請求項1に記載の装置。 - 【請求項9】 前記言語解析辞書は、前記自然言語文か
ら画像検索に必要とされない単語を削除するためのルー
ルを含んでおり、前記言語解析手段は、該ルールに従っ
て前記自然言語文から単語を削除する画像検索前処理手
段を備えている、請求項1に記載の装置。 - 【請求項10】 自然言語文に応じて、画像部品を検索
する装置であって、 複数の画像部品を格納する画像データベースであって、
該複数の画像部品のそれぞれは、画像に含まれる領域の
意味を表す画像属性データと該領域に対応する画素デー
タとを含む画像データベースと、 自然言語文を受け取る入力手段と、 該自然言語文を解析することにより、述語と、該述語に
関連する少なくとも1つの格要素とを含む解析フレーム
であって、該自然言語文の意味を表す解析フレームを得
る解析手段と、 該解析フレームに含まれる該述語と、該少なくとも1つ
の格要素とを対応付けることにより、該自然言語文の部
分的な意味を表す画像検索キーを定義する対応付け手段
と、 該画像検索キーと該画像属性データとの意味における類
似度に基づいて、該画像データベースから画像部品を検
索する検索手段とを備えた装置。 - 【請求項11】 前記対応付け手段は、該自然言語文の
部分的な意味に応じて、背景に関連する画像検索キーと
前景に関連する画像検索キーとのうち一方を定義する、
請求項10に記載の装置。 - 【請求項12】 自然言語文に応じて、画像データベー
スから画像部品を検索する方法であって、該画像データ
ベースは複数の画像部品を格納し、該複数の画像部品の
それぞれは、画像に含まれる領域の意味を表す画像属性
データと該領域に対応する画素データとを含んでおり、
該方法は、 a)自然言語文を受け取るステップと、 b)該自然言語文を解析することにより、述語と、該述
語に関連する少なくとも1つの格要素とを含む解析フレ
ームであって、該自然言語文の意味を表す解析フレーム
を得るステップと、 c)該解析フレームに含まれる該述語と、該少なくとも
1つの格要素とを対応付けることにより、該自然言語文
の部分的な意味を表す画像検索キーを定義するステップ
と、 d)該画像検索キーと該画像属性データとの意味におけ
る類似度に基づいて、該画像データベースから画像部品
を検索するステップとを包含する方法。 - 【請求項13】 前記ステップc)は、該自然言語文の
部分的な意味に応じて、背景に関連する画像検索キーと
前景に関連する画像検索キーとのうち一方を定義するス
テップを包含する、請求項12に記載の方法。 - 【請求項14】 自然言語文に応じて、画像部品を検索
する装置であって、 自然言語文を受け取る入力手段と、 該自然言語文から意味情報を抽出し、該意味情報を用い
て該自然言語文によって表される状況の一部を表す状況
要素を生成する状況要素生成手段と、 該状況要素に対応する画像部品を格納する画像データベ
ースと、 該状況要素を画像検索キーとして用いて、該画像データ
ベースから該画像部品を検索する検索手段と を備えた装
置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6298453A JP3067966B2 (ja) | 1993-12-06 | 1994-12-01 | 画像部品を検索する装置及びその方法 |
US08/348,736 US5684999A (en) | 1993-12-06 | 1994-12-02 | Apparatus and a method for retrieving image objects based on correlation with natural language sentence parameters |
EP94119116A EP0657828A1 (en) | 1993-12-06 | 1994-12-05 | An apparatus and a method for retrieving image objects |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30510393 | 1993-12-06 | ||
JP5-305103 | 1993-12-06 | ||
JP6298453A JP3067966B2 (ja) | 1993-12-06 | 1994-12-01 | 画像部品を検索する装置及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07219969A JPH07219969A (ja) | 1995-08-18 |
JP3067966B2 true JP3067966B2 (ja) | 2000-07-24 |
Family
ID=26561527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6298453A Expired - Fee Related JP3067966B2 (ja) | 1993-12-06 | 1994-12-01 | 画像部品を検索する装置及びその方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US5684999A (ja) |
EP (1) | EP0657828A1 (ja) |
JP (1) | JP3067966B2 (ja) |
Families Citing this family (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2172559A1 (en) * | 1995-03-24 | 1996-09-25 | Barry H. Schwab | Secure digital interactive system for unique product identification and sales |
US6650761B1 (en) | 1999-05-19 | 2003-11-18 | Digimarc Corporation | Watermarked business cards and methods |
US5799301A (en) * | 1995-08-10 | 1998-08-25 | International Business Machines Corporation | Apparatus and method for performing adaptive similarity searching in a sequence database |
JP3648577B2 (ja) * | 1995-12-07 | 2005-05-18 | カシオ計算機株式会社 | 画像処理装置 |
WO1997038376A2 (en) * | 1996-04-04 | 1997-10-16 | Flair Technologies, Ltd. | A system, software and method for locating information in a collection of text-based information sources |
US5899989A (en) * | 1996-05-14 | 1999-05-04 | Sharp Kabushiki Kaisha | On-demand interface device |
US5924089A (en) * | 1996-09-03 | 1999-07-13 | International Business Machines Corporation | Natural language translation of an SQL query |
US5940825A (en) * | 1996-10-04 | 1999-08-17 | International Business Machines Corporation | Adaptive similarity searching in sequence databases |
US6012069A (en) * | 1997-01-28 | 2000-01-04 | Dainippon Screen Mfg. Co., Ltd. | Method and apparatus for retrieving a desired image from an image database using keywords |
US5973692A (en) * | 1997-03-10 | 1999-10-26 | Knowlton; Kenneth Charles | System for the capture and indexing of graphical representations of files, information sources and the like |
US5822743A (en) * | 1997-04-08 | 1998-10-13 | 1215627 Ontario Inc. | Knowledge-based information retrieval system |
JPH10301953A (ja) * | 1997-04-28 | 1998-11-13 | Just Syst Corp | 画像管理装置、画像検索装置、画像管理方法、画像検索方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US5983216A (en) * | 1997-09-12 | 1999-11-09 | Infoseek Corporation | Performing automated document collection and selection by providing a meta-index with meta-index values indentifying corresponding document collections |
GB9726654D0 (en) * | 1997-12-17 | 1998-02-18 | British Telecomm | Data input and retrieval apparatus |
JP3309077B2 (ja) * | 1998-08-31 | 2002-07-29 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 構文情報を用いた検索方法およびシステム |
IL126771A0 (en) * | 1998-10-26 | 1999-08-17 | Yanowitz Shimon | Improved optical systems |
US6819797B1 (en) * | 1999-01-29 | 2004-11-16 | International Business Machines Corporation | Method and apparatus for classifying and querying temporal and spatial information in video |
GB9908631D0 (en) | 1999-04-15 | 1999-06-09 | Canon Kk | Search engine user interface |
US6598039B1 (en) | 1999-06-08 | 2003-07-22 | Albert-Inc. S.A. | Natural language interface for searching database |
US6594657B1 (en) | 1999-06-08 | 2003-07-15 | Albert-Inc. Sa | System and method for enhancing online support services using natural language interface for searching database |
US6446064B1 (en) | 1999-06-08 | 2002-09-03 | Albert Holding Sa | System and method for enhancing e-commerce using natural language interface for searching database |
KR100693650B1 (ko) * | 1999-07-03 | 2007-03-14 | 엘지전자 주식회사 | 다중 오브젝트 정보구조를 이용한 동영상 브라우징 시스템 |
US6941323B1 (en) * | 1999-08-09 | 2005-09-06 | Almen Laboratories, Inc. | System and method for image comparison and retrieval by enhancing, defining, and parameterizing objects in images |
US7051019B1 (en) * | 1999-08-17 | 2006-05-23 | Corbis Corporation | Method and system for obtaining images from a database having images that are relevant to indicated text |
US6876991B1 (en) | 1999-11-08 | 2005-04-05 | Collaborative Decision Platforms, Llc. | System, method and computer program product for a collaborative decision platform |
KR100353798B1 (ko) * | 1999-12-01 | 2002-09-26 | 주식회사 코난테크놀로지 | 영상 객체 모양 정보 추출 방법 및 그를 이용한 내용기반 이미지 검색 시스템 및 그 방법 |
JP3470664B2 (ja) * | 1999-12-01 | 2003-11-25 | 日本電気株式会社 | 受信メール表示方法及び絵文字変換機能付き電子メール端末装置 |
US6813618B1 (en) * | 2000-08-18 | 2004-11-02 | Alexander C. Loui | System and method for acquisition of related graphical material in a digital graphics album |
US7797241B2 (en) | 2000-09-13 | 2010-09-14 | Ip.Com, Inc. | Global information network product publication system |
JP2002132663A (ja) * | 2000-10-20 | 2002-05-10 | Nec Corp | 情報通信システムとその通信方法、及び通信プログラムを記録した記録媒体 |
US7016828B1 (en) | 2000-10-23 | 2006-03-21 | At&T Corp. | Text-to-scene conversion |
US7664313B1 (en) * | 2000-10-23 | 2010-02-16 | At&T Intellectual Property Ii, L.P. | Text-to scene conversion |
EP1348168A1 (en) | 2000-10-24 | 2003-10-01 | Singingfish.Com, Inc. | Method of collecting data using an embedded media player page |
US8122236B2 (en) | 2001-10-24 | 2012-02-21 | Aol Inc. | Method of disseminating advertisements using an embedded media player page |
US7925967B2 (en) | 2000-11-21 | 2011-04-12 | Aol Inc. | Metadata quality improvement |
US6826316B2 (en) * | 2001-01-24 | 2004-11-30 | Eastman Kodak Company | System and method for determining image similarity |
US20020118883A1 (en) * | 2001-02-24 | 2002-08-29 | Neema Bhatt | Classifier-based enhancement of digital images |
US20030039410A1 (en) * | 2001-08-23 | 2003-02-27 | Beeman Edward S. | System and method for facilitating image retrieval |
JP4308659B2 (ja) * | 2001-11-02 | 2009-08-05 | パナソニック株式会社 | 端末装置 |
JP2003271389A (ja) * | 2002-03-19 | 2003-09-26 | Shuichi Araki | 自然言語によるソフトウェア・オブジェクトの操作方法及びそのためのプログラム |
JP2004139427A (ja) * | 2002-10-18 | 2004-05-13 | Fuji Xerox Co Ltd | コミュニケーション支援システム及びコミュニケーション支援システム、並びにコンピュータ・プログラム |
US20040174562A1 (en) * | 2003-03-03 | 2004-09-09 | Edwards Mark J. | Method and apparatus for image processing ordering utilizing a scanned proof-less order form to generate image order information |
US20040190774A1 (en) * | 2003-03-28 | 2004-09-30 | Baker Daniel P. | Method for classifying and accessing writing composition examples |
US7440890B2 (en) * | 2003-12-19 | 2008-10-21 | Xerox Corporation | Systems and methods for normalization of linguisitic structures |
JP4070211B2 (ja) * | 2004-05-11 | 2008-04-02 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 選択装置、選択方法、プログラム、及び記録媒体 |
US20060044581A1 (en) * | 2004-09-02 | 2006-03-02 | Cavill Barry R | Method for providing image reproduction of digital pictures |
US7209815B2 (en) * | 2004-12-28 | 2007-04-24 | Snap-On Incorporated | Test procedures using pictures |
US7492949B1 (en) * | 2005-09-20 | 2009-02-17 | Patrick William Jamieson | Process and system for the semantic selection of document templates |
US20080215310A1 (en) * | 2005-10-28 | 2008-09-04 | Pascal Audant | Method and system for mapping a natural language text into animation |
US8166418B2 (en) * | 2006-05-26 | 2012-04-24 | Zi Corporation Of Canada, Inc. | Device and method of conveying meaning |
US9633356B2 (en) | 2006-07-20 | 2017-04-25 | Aol Inc. | Targeted advertising for playlists based upon search queries |
US8233723B2 (en) * | 2007-12-06 | 2012-07-31 | Ebay Inc. | Image categorization based on comparisons between images |
JP2009176032A (ja) * | 2008-01-24 | 2009-08-06 | Sony Corp | 情報処理装置および方法、並びにプログラム |
EP2287749A4 (en) * | 2009-01-23 | 2011-08-03 | Nec Corp | DATA DEVICE RECALL |
CN102012900B (zh) * | 2009-09-04 | 2013-01-30 | 阿里巴巴集团控股有限公司 | 信息检索方法和*** |
US8793120B1 (en) * | 2010-10-28 | 2014-07-29 | A9.Com, Inc. | Behavior-driven multilingual stemming |
US8825620B1 (en) | 2011-06-13 | 2014-09-02 | A9.Com, Inc. | Behavioral word segmentation for use in processing search queries |
US8682047B2 (en) * | 2011-12-05 | 2014-03-25 | Illinois Tool Works Inc. | Method and apparatus for machine vision counting and annotation |
JP5895756B2 (ja) | 2012-07-17 | 2016-03-30 | 富士ゼロックス株式会社 | 情報分類プログラム及び情報処理装置 |
US8751530B1 (en) * | 2012-08-02 | 2014-06-10 | Google Inc. | Visual restrictions for image searches |
US10656808B2 (en) * | 2012-09-18 | 2020-05-19 | Adobe Inc. | Natural language and user interface controls |
US9412366B2 (en) | 2012-09-18 | 2016-08-09 | Adobe Systems Incorporated | Natural language image spatial and tonal localization |
US11222044B2 (en) * | 2014-05-16 | 2022-01-11 | Microsoft Technology Licensing, Llc | Natural language image search |
US9984100B2 (en) * | 2015-09-29 | 2018-05-29 | International Business Machines Corporation | Modification of images and associated text |
US10884769B2 (en) * | 2018-02-17 | 2021-01-05 | Adobe Inc. | Photo-editing application recommendations |
US11036811B2 (en) | 2018-03-16 | 2021-06-15 | Adobe Inc. | Categorical data transformation and clustering for machine learning using data repository systems |
RU2686000C1 (ru) * | 2018-06-20 | 2019-04-23 | Общество с ограниченной ответственностью "Аби Продакшн" | Извлечение информационных объектов с использованием комбинации классификаторов, анализирующих локальные и нелокальные признаки |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH083828B2 (ja) * | 1985-06-07 | 1996-01-17 | 株式会社日立製作所 | 文書画像理解装置 |
US4695975A (en) * | 1984-10-23 | 1987-09-22 | Profit Technology, Inc. | Multi-image communications system |
US4887212A (en) * | 1986-10-29 | 1989-12-12 | International Business Machines Corporation | Parser for natural language text |
JP2516387Y2 (ja) * | 1987-08-19 | 1996-11-06 | 三洋電機株式会社 | 情報ファイル装置 |
US5303148A (en) * | 1987-11-27 | 1994-04-12 | Picker International, Inc. | Voice actuated volume image controller and display controller |
JPH0680510B2 (ja) * | 1988-08-15 | 1994-10-12 | 日本電信電話株式会社 | 画像情報検索装置 |
US5197005A (en) * | 1989-05-01 | 1993-03-23 | Intelligent Business Systems | Database retrieval system having a natural language interface |
EP0434588A3 (en) * | 1989-12-20 | 1993-01-20 | International Business Machines Corporation | Method of expanding user access to a library of shared electronic documents |
US5239617A (en) * | 1990-01-05 | 1993-08-24 | International Business Machines Corporation | Method and apparatus providing an intelligent help explanation paradigm paralleling computer user activity |
JPH0418673A (ja) * | 1990-05-11 | 1992-01-22 | Hitachi Ltd | テキスト情報抽出方法および装置 |
JPH0498463A (ja) * | 1990-08-13 | 1992-03-31 | Nec Corp | 写真検索装置 |
JPH0759793B2 (ja) * | 1990-08-22 | 1995-06-28 | 花王株式会社 | 柔軟仕上剤 |
JP2878442B2 (ja) * | 1990-11-14 | 1999-04-05 | 松下電器産業株式会社 | 画像処理装置 |
US5265065A (en) * | 1991-10-08 | 1993-11-23 | West Publishing Company | Method and apparatus for information retrieval from a database by replacing domain specific stemmed phases in a natural language to create a search query |
US5317508A (en) * | 1991-10-24 | 1994-05-31 | Matsushita Electric Industrial Co., Ltd. | Image editing apparatus |
JP2757645B2 (ja) * | 1992-01-14 | 1998-05-25 | 松下電器産業株式会社 | 画像編集装置 |
JPH05120399A (ja) * | 1991-10-24 | 1993-05-18 | Matsushita Electric Ind Co Ltd | 画像編集装置 |
-
1994
- 1994-12-01 JP JP6298453A patent/JP3067966B2/ja not_active Expired - Fee Related
- 1994-12-02 US US08/348,736 patent/US5684999A/en not_active Expired - Lifetime
- 1994-12-05 EP EP94119116A patent/EP0657828A1/en not_active Withdrawn
Non-Patent Citations (2)
Title |
---|
岡本、前田、中川、前原、「日本語文からの自然画合成 −位置関係情報からの画像部品の配置−」,情報処理学会研究報告,Vol.92,No.1,1992年1月16日,92−HI−40−1 |
岡本、前田、前原,「情景描写文からの画像合成のための画像部品管理方式」,情報処理学会第45回(平成4年後期)全国大会講演論文集,No.4,平成4年10月11日,p.4−203〜4−204 |
Also Published As
Publication number | Publication date |
---|---|
EP0657828A1 (en) | 1995-06-14 |
US5684999A (en) | 1997-11-04 |
JPH07219969A (ja) | 1995-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3067966B2 (ja) | 画像部品を検索する装置及びその方法 | |
US6366908B1 (en) | Keyfact-based text retrieval system, keyfact-based text index method, and retrieval method | |
US6442540B2 (en) | Information retrieval apparatus and information retrieval method | |
US20020133483A1 (en) | Systems and methods for computer based searching for relevant texts | |
US20040073874A1 (en) | Device for retrieving data from a knowledge-based text | |
JP2005182280A (ja) | 情報検索システム、検索結果加工システム及び情報検索方法並びにプログラム | |
US20080162115A1 (en) | Computer program, apparatus, and method for searching translation memory and displaying search result | |
JP2005122295A (ja) | 関係図作成プログラム、関係図作成方法、および関係図作成装置 | |
CN112307171B (zh) | 一种基于电力知识库的制度标准检索方法及***和可读存储介质 | |
US8521739B1 (en) | Creation of inferred queries for use as query suggestions | |
US20120124467A1 (en) | Method for automatically generating descriptive headings for a text element | |
Das et al. | The 5w structure for sentiment summarization-visualization-tracking | |
JP3612769B2 (ja) | 情報検索装置および情報検索方法 | |
JP2000020537A (ja) | テキスト検索装置及びテキスト検索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2009288870A (ja) | 文書重要度算出システム、文書重要度算出方法およびプログラム | |
CN116756316A (zh) | 医疗文本的信息识别方法、装置、介质及设备 | |
CN116090450A (zh) | 一种文本处理方法及计算设备 | |
Kishore et al. | Document Summarization in Malayalam with sentence framing | |
JPH09319767A (ja) | 類義語辞書登録方法 | |
JPH11259524A (ja) | 情報検索システム、情報検索システムにおける情報処理方法および記録媒体 | |
Mills | Natural Language Document and Event Association Using Stochastic Petri Net Modeling | |
JP3006526B2 (ja) | 類似文書検索方法および類似文書検索装置 | |
Preethi et al. | A survey paper on text mining-techniques, applications, and issues | |
JP2005025555A (ja) | シソーラス構築システム、シソーラス構築方法、この方法を実行するプログラム、およびこのプログラムを記憶した記憶媒体 | |
JP2004178351A (ja) | 数量表現検索装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000420 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090519 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 13 |
|
LAPS | Cancellation because of no payment of annual fees |