JP4629280B2 - 知識発見支援装置および支援方法 - Google Patents
知識発見支援装置および支援方法 Download PDFInfo
- Publication number
- JP4629280B2 JP4629280B2 JP2001253764A JP2001253764A JP4629280B2 JP 4629280 B2 JP4629280 B2 JP 4629280B2 JP 2001253764 A JP2001253764 A JP 2001253764A JP 2001253764 A JP2001253764 A JP 2001253764A JP 4629280 B2 JP4629280 B2 JP 4629280B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- user
- text
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【発明の属する技術分野】
本発明はユーザによる知識発見の支援方式に係り、更に詳しくは画像の持つ視覚的な特徴と、テキストや数値あるいは文字データで表される情報との間の関係についての知識を発見するためのユーザの作業を支援する知識発見支援装置、および支援方法に関する。
【0002】
【従来の技術】
大量の数値や文字などのデータから、自明でないデータの間の関係を見つけ出し、経済活動や科学の発展に利用するためのデータマイニング技術が開発されている。例えば商品の購買に関する顧客データを対象としたデータマイニング技術によって、商品Aを購買した顧客の90%が商品Bを購買しているという関係を見い出すことによって、商品Aを購入した顧客にしぼって商品Bを宣伝することで経済活動を効率化するという応用がある。このように数値や文字データを対象としたデータマイニングの方法が次の文献によって開示されている。
【0003】
文献1)特開平8−314981、データベースにおける一般化された関連規則を発見するためのシステム及び方法.
文献2)特開平10−11292、知識発見システム.
文献1には、大型データベースをマイニングするために、取り引きデータベースに分類されて記憶された品目セットの間で、一般化された関連規則を発見するシステム、および方法が開示されている。
【0004】
文献2では、学習目標概念に関連する知識を帰納論理プログラミングの背景知識として利用しながら、データマイニングを自動的に行う知識発見システムが開示されている。
【0005】
一方コールセンタの記録文書、特許関係の文書、営業報告書、または化学技術文書などの大量のテキストを対象として、各テキストに含まれる単語を基にした特徴量を抽出し、抽出した特徴量に対して統計的な計算を行うことによって単語の間の相関関係などを見つけ出したり、特定のパターンの文書を見つけ出したりすることによって、有効な知識を発見するためのテキストマイニング技術がある。このような技術としての文献がある。
【0006】
文献3)特開2001−84250、膨大な文書データからの知識抽出方法、その装置および媒体。
この文献では単語の共起関係や出現順序に加えて、係り受けの情報を用いることによって、例えば「AがBするとCはDする。」というような特定のパターン、すなわち知識を文書から抽出する方法が開示されている。
【0007】
【発明が解決しようとする課題】
以上のようなテキストや、数値あるいは文字データのデータマイニングに対して、これらのデータと画像の視覚的な特徴との間の関係から経済活動にとって有効な知識を見い出すこともできる。例えばバッグのマーケットリサーチにおいて、商品としての各バッグの画像と、購買者の年令や、性別などの数値や、文字データで表されるプロフィールデータが対応づけられている時、特定の年令層や性別とバッグの画像の視覚的特徴との間に関係があれば、特定の購買層を対象としてバッグのデザインを効果的に決定することができる。
【0008】
このようにテキストや、数値あるいは文字データと対応づけられている画像の集合について、画像の色に関する特徴や、画像の中に描かれている物の形状に関する特徴などの画像の視覚的な特徴と、数値や文字データ、あるいはテキストの内容との間の関係から有効な知識を見い出すことは可能である。
【0009】
しかしながら画像に対しては、その視覚的特徴として非常に多くの種類の特徴を定義することができ、対応する数値あるいは文字データ、テキストの内容と関係のあると思われる特徴をあらかじめ決定して、その特徴を画像から抽出しておくことは非常に困難である。
【0010】
従って文献1〜3のようにテキスト、数値あるいは文字データを対象として、あらかじめ決められた特徴を対象の画像データから抽出し、その特徴量と、テキスト、数値あるいは文字データの特徴との間の関係を自動的に計算することは非常に困難であるという問題点があった。
【0011】
従って画像の視覚的特徴と、数値あるいは文字データや、テキストの内容との関係についての有効な知識を見い出すためには、ユーザは画像を見ながら、対応する数値あるいは文字データや、テキストの内容との関係を1つずつ検討する必要がある。画像や、テキスト、数値あるいは文字データが大量の場合に、それらを1つずつ調べることはユーザにとって非常に大きな負担になるという問題点があった。
【0012】
本発明の課題は、上述の問題点に鑑み、画像とテキスト、数値あるいは文字データとが対応づけられたデータセットの集合を対象として、画像の視覚的な特徴と、テキスト、数値あるいは文字データの特徴との間の関係についてのユーザによる知識の発見を支援する知識発見支援装置、および支援方法を提供することである。
【0013】
【課題を解決するための手段】
図1は本発明の知識発見支援装置の原理構成ブロック図である。同図はテキストデータ、数値データあるいは文字データの中の1つ以上のデータと、該1つ以上のデータに対応する画像データとによって構成されるデータセットの集合から、画像の特徴と、テキスト、数値あるいは文字データの特徴との間の関係についてのユーザによる知識の発見を支援する知識発見支援装置の原理構成ブロック図である。
【0014】
図1において特徴量抽出手段2は、例えばデータセット格納手段1に格納されているデータセットの集合から、少なくともテキスト、数値あるいは文字データのいずれか1つ以上の特徴量を特徴量ベクトルとして抽出し、例えば特徴量格納手段3に格納する。
【0015】
配置位置計算手段5は、特徴量抽出手段2によって抽出された特徴量ベクトルを、ベクトル間の位置関係を保存しながら三次元以下の低次元空間に写像した時のベクトルの位置を計算し、画像表示手段6はその計算されて位置にそのベクトルに対応する各データセットを構成する画像を表示する。
【0016】
発明の実施の形態においては、知識発見支援装置はユーザの操作を受取る操作入力手段4を更に備え、画像表示装置手段6はユーザから入力される視点の位置から見た状態で、各データセットを構成する画像を表示することもできる。
【0017】
この場合、特徴量格納手段3が特徴量抽出手段2によって抽出された複数種類の特徴量を記憶し、配置位置計算手段5が操作入力手段4によって受取られたユーザによる特徴量の選択結果に従って、選択された特徴量に対するベクトル先端位置を計算することもでき、また画像表示手段6が操作入力手段4によって受取られた単語を含むテキスト、受取られた数値あるいは文字データを構成要素とするデータセット内の画像を他の画像より大きく、または小さく表示することもできる。
【0018】
更に実施の形態においては、配置位置計算手段5は特徴量抽出手段2によって抽出された特徴量ベクトルに対して、自己組織化マップのアルゴリズムを用いて三次元以下の低次元空間に特徴量ベクトルを写像した時のベクトルの位置を計算することもできる。
【0019】
本発明の知識発見支援装置は、前述の特徴量抽出手段2、配置位置計算手段5、および画像表示手段6に加えて、更に仮説設定支援手段、および仮説検証支援手段を更に備える。
【0020】
仮説設定支援手段は、画像表示手段6による表示結果に対応して、ユーザによる知識についての仮説の設定を支援するものであり、仮説検証支援手段はユーザによって設定された仮説の正当性のユーザによる検証を支援するものである。
【0021】
この仮説設定支援手段と仮説検証支援手段とを備える知識発見支援装置は、発見の実施の形態においては前述の操作入力手段4を更に備え、画像表示手段6はユーザから入力される視点の位置から見た状態で、各データセットを構成する画像を表示することもできる。
【0022】
この場合、特徴量格納手段3が特徴量抽出手段2によって抽出された複数種類の特徴量を記憶し、配置位置計算手段5が操作入力手段4によって受取られたユーザによる特徴量の選択結果に従って、選択された特徴量に対するベクトル位置の計算を行うこともでき、また画像表示手段6が操作入力手段4によって受取られた単語を含むテキスト、受取られた数値あるいは文字データを構成要素とするデータセットを構成する画像を他の画像より大きく、または小さく表示することもできる。
【0023】
実施の形態において仮説設定支援手段は、画像表示手段6によって表示された画像の中から、操作入力手段4を介してユーザにより選択された画像をそれぞれ構成要素とする各データセットのテキストに共通して含まれる単語を画像表示手段6に表示させることも、また表示された画像の中で対応する複数のデータセットのテキストに共通して含まれる単語を、各データセットを構成する画像上に重畳させて、画像表示手段6に表示させることもできる。
【0024】
実施の形態においては特徴量抽出手段2が、データセットの集合から前述の1つ以上の特徴量に加えて、データセットを構成する画像の特徴量を特徴量ベクトルとして抽出し、仮説検証支援手段が画像表示手段6によって表示された画像の中から、操作入力手段4を介してユーザにより選択された複数の画像を構成要素とする各データセットのテキストに共通して含まれる単語、各データセットに共通の数値あるいは文字データと、画像の特徴量との関係についてのアソシエーションルールを設定し、そのアソシエーションルールに対する評価の結果を画像表示手段6に表示させることもでき、また配置位置計算手段5が特徴量抽出手段2によって抽出されたテキスト、数値あるいは文字データの特徴量の類似性によって、画像表示手段6によって表示されるべき画像をクラスタに分割して表示させ、仮説検証支援手段が分割されたクラスタ毎に、各データセットのテキストに共通して含まれる単語、各データセットに共通する数値あるいは文字データと画像の特徴量との関係についてのアソシエーションルールを設定し、そのアソシエーションルールに対する評価の結果を画像表示手段6に表示させることもできる。
【0025】
実施の形態において仮説設定支援手段と仮説検証支援手段とを備える知識発見支援装置において、配置位置計算手段5が特徴量抽出手段2によって抽出された特徴量ベクトルに対して、自己組織化マップのアルゴリズムを用いて前述の三次元以下の低次元空間に特徴量ベクトルを写像した時のベクトルの位置を計算することもできる。
【0026】
本発明の知識発見支援方法において、データセットの集合から少なくともテキスト、数値あるいは文字データのいずれか1つ以上の特徴量を特徴量ベクトルとして抽出し、抽出された特徴量ベクトルをベクトル間の位置関係を保存しながら三次元以下の低次元空間に写像した時のベクトルの位置を計算し、計算された位置にベクトルに対応する各データセットを構成する画像を表示する方法が用いられる。
【0027】
実施の形態においては、前述の画像の表示の後でその表示結果に対応してユーザによる知識についての仮説の設定を支援し、ユーザによって設定された仮説の正当性のユーザによる検証を支援することもできる。
【0028】
本発明においてユーザによる知識の発見を支援する計算機によって使用される記憶媒体において、データセットの集合から少なくともテキスト、数値あるいは文字データのいずれか1つ以上の特徴量を特徴量ベクトルとして抽出するステップと、抽出された特徴量ベクトルをベクトル間の位置関係を保存しながら三次元以下の低次元空間に配置、または写像した時のベクトルの先端の位置を計算するステップと、計算された位置にベクトルに対応する各データセットを構成する画像を表示するステップとを計算機に実行させるためのプログラムを格納した計算機読出し可能可搬型記憶媒体が用いられる。
【0029】
実施の形態においては、この計算機読出し可能可搬型記憶媒体は前述の画像を表示するステップの後で、更にその表示結果に対応してユーザによる知識についての仮説の設定を支援するステップと、ユーザによって設定された仮説の正当性のユーザによる検証を支援するステップとを更に備えるプログラムを格納することもできる。
【0030】
本発明においてユーザによる知識の発見を支援する計算機によって使用されるプログラムにおいて、データセットの集合から少なくともテキスト、数値あるいは文字データのいずれか1つ以上の特徴量を特徴量ベクトルとして抽出する手順と、抽出された特徴量ベクトルをベクトル間の位置関係を保存しながら三次元以下の低次元空間に写像した時のベクトルの位置を計算する手順と、計算された位置にベクトルに対応する各データセットを構成する画像を表示する手順とを計算機に実行させるためのプログラムが用いられる。
【0031】
実施の形態においては、このプログラムは前述の画像を表示する手順の後で、更にその表示結果に対応してユーザによる知識についての仮説の設定を支援する手順と、ユーザによって設定された仮説の正当性のユーザによる検証を支援する手順とを更に備えることもできる。
【0032】
以上のように本発明によれば、例えばテキスト、あるいは数値や文字データの内容が類似しているほど、特徴量ベクトルの位置が近くに集まるようにベクトルの写像の位置を計算し、計算された位置に対応する構成要素としての画像を表示することによって、近くに集まった画像の視覚的な特徴と、テキストや数値あるいは文字データの特徴との間の関係についての知識をユーザに容易に発見させることが可能となる。
【0033】
【発明の実施の形態】
図2は本発明の第1の実施形態における知識発見支援装置の構成ブロック図である。同図において知識発見支援装置はデータセット格納装置10、特徴量抽出部11、特徴量格納装置12、キーボードとマウス13、分類配置部14、およびディスプレイ15によって構成される。
【0034】
データセット格納装置10は、相互に関連する画像とテキスト、あるいは数値/文字データによって構成されるデータセットを格納するものであり、例えば半導体メモリ、あるいは磁気記憶装置である。特徴量抽出部11は、データセット格納装置10に格納された画像やテキストなどのデータから、その内容を特徴付ける特徴量を抽出するものである。
【0035】
画像については色の特徴量や、画像に描かれた物体の形状に関する特徴量など、またテキストからはその意味を表す特徴量など、データセットに対する一般的に複数の種類の特徴量を、その内容に応じて数次元程度の低次元から数十、あるいは数百以上の高次元の特徴量ベクトルとして抽出する。
【0036】
特徴量格納装置12は、特徴量抽出部11によって抽出された複数の種類の特徴量ベクトルを格納するものであり、例えば半導体メモリ、または磁気記憶装置などによって構成される。
【0037】
キーボードとマウス13は知識発見支援装置のユーザが各種の指示を入力するためのものであり、後述するようにユーザは例えば複数の種類の特徴量からある種類の特徴量を選択することができる。
【0038】
分類配置部14は、ユーザによって選択された種類の特徴量のベクトルの値を特徴量格納装置12から取り出し、高次元の特徴量ベクトルの集合を対象として、高次元空間でのベクトル間の位置関係をできるだけ保存するように、三次元以下の低次元空間にそのベクトルを写像した時のベクトルの先端の位置を計算し、それぞれデータセットを構成する画像を計算機された位置に配置するものである。
【0039】
ディスプレイ15は、分類配置部14によって計算された位置に画像が配置された結果を、ユーザがキーボードとマウス13によって指定した視点から見た時の状態で表示するものであり、例えばCRT、液晶ディスプレイ、あるいはプラズマディスプレイである。すなわちディスプレイ15に対しては、データセット格納装置10から画像のデータが、また分類配置部14からはユーザが指定した視点から見た時の各画像を配置すべき位置が与えられる。
【0040】
第1の実施形態では、図2の構成によってデータセットを構成するテキストや、数値/文字データの特徴量に対して、ユーザによって興味のある特徴量が選択され、選択された特徴量が類似するデータセットが近くに集まるように三次元以下の低次元空間上での特徴量ベクトルの位置が計算され、計算された位置にデータセットを構成する画像が配置されて表示される。
【0041】
そこで例えばテキストの内容や数値/文字データと、それに対応する画像の視覚的な特徴との間に何らかの関係がある場合には、ユーザは例えば視点の位置を動かしながら画像を眺めることによって、その関係に関する知識を容易に発見することが可能となる。
【0042】
図3は図2のデータセット格納装置10の格納内容の例である。データセット格納装置10には、画像とテキストや数値/文字データが互いに関連付けられて1つのデータセット、すなわち1つのレコードとして格納される。図3はバッグのマーケットリサーチで用いられるデータに関するデータセット格納例を示す。
【0043】
各データセットは、各バッグをユニークに識別するための識別番号(ID)、バッグの紹介文のテキストデータの格納アドレスを示すポインタ、バッグの外観を表わす画像データの格納アドレスを示すポインタ、バッグの価格、購買者の数、購買者の平均年令を表わす数値データ、バッグのブランドと種類を表わす文字データによって構成される。
【0044】
なおテキストデータや画像データの格納アドレスを示すポインタの代わりに、テキストデータや画像データ自体をレコードの中に格納してもよい。またデータセットとしては、例えば薬品開発のための遺伝子工学の実験データとしてゲノムの塩基配列を表わす文字データ、試薬を表わす文字データ、実験者によるコメントのテキスト、試薬を適用した時の反応状態を撮影した画像などによって構成されるものも考えられる。
【0045】
図4は特徴量格納装置12の格納データの例である。図2のデータセット格納装置10に格納された各データセットの構成要素としての画像およびテキストのデータから、それぞれの内容を特徴づける特徴量が特徴量抽出部11によってベクトルデータとして抽出され、特徴量格納装置12に格納される。数値/文字データは本実施形態では、そのままの形式で特徴量格納装置12に格納されるものとする。
【0046】
図4は図3に示したデータセット、すなわちバッグのマーケットリサーチで用いられるデータセットから抽出された特徴量の格納例である。それぞれのバッグに対応するレコードは、各データセット、すなわち各バッグに割当てられたID、バッグの紹介文のテキストデータから抽出されたテキスト特徴ベクトルtfvi,バッグの外観を表す画像から抽出された色特徴ベクトルifvci,形状特徴ベクトルifvsi、およびデータセット中の数値/文字データから構成される。
【0047】
テキストの特徴量としては、各テキスト中に含まれる単語を抽出し、その中で名詞の単語のみを選択し、各テキスト毎に選択した単語が出現する頻度値を求め、テキストサイズの違いの影響を排除するために、テキスト中の総単語数で各頻度値を割った値を並べてベクトル化した単語ベクトルがある。これ以外にもテキストの特徴量を求める多数の方法があり、それらのいずれの方法を用いることもできる。
【0048】
画像の特徴量の中の色の特徴量として、画像内の画素についてのRGB色空間や、HSV色空間を分割した時に含まれる画素数が最大となるブロックの色空間上の重心位置の色の値としての代表色や、各ブロックに含まれる画素の割合としての色ヒストグラムや、画像を縦横格子状に分割した時の各ブロックの平均色を並べた色空間分布などがある。これ以外にも、画像の特徴量として、様々な種類の特徴量を用いることができる。
【0049】
ここでHSV色空間はHSI色空間とも呼ばれ、色を色相H(ヒュー)、彩度S(サチュレーション)、および明度I(インテンシティ)の3つで特定するものであり、その詳細は次の文献に述べられている。
【0050】
文献4)高木幹雄、下田陽久監修:“画像解析ハンドブック”、東京大学出版会1991.
画像データの形状の特徴量としても様々な特徴量抽出手法があり、そのいずれを用いることも可能である。
【0051】
図5は第1の実施形態における知識発見処理のフローチャートである。同図において処理が開始されると、まずステップS1でユーザによって、画像の分類配置に用いるべき特徴量と分類配置方法が選択される。
【0052】
図6はユーザによる特徴量選択のためのメニュー表示の例である。ユーザは特徴量格納装置12に格納されている特徴量の種類についてすでに知っていることを、本実施形態では前提としている。そしてユーザが画面上で特徴量を選択できるように、図6に示すように特徴量のメニュー表示が行われる。なお分類配置方法の選択については後述する。
【0053】
図5のステップS2で、ユーザによって選択された特徴量がデータセット毎に特徴量格納装置12から取り出され、ステップS3で特徴量ベクトルの間の距離が小さいデータセットが平面上で近くに集まるように各データセットの配置位置が計算され、ステップS4で計算された位置にデータセットを構成する画像が置かれるように仮想的な三次元空間内に画像の配置と表示が行われ、ステップS5でその仮想的な三次元空間に表示された画像をユーザがフライスルーで閲覧し、ステップS6でのユーザが知識を発見したか否かの判定結果によって、まだ発見していない場合にはステップS1からの処理が新たな特徴量の選択から繰返され、発見した場合には処理を終了する。ステップS5でのフライスルーでの閲覧については後述する。
【0054】
図7は図5のステップS1におけるユーザによる分類配置方法選択方式の説明図である。図2の知識発見支援装置のディスプレイ15上には、図7に示すように画像が表示される表示部、ユーザが分類配置方法を選択するための分類配置方法指定部に加えて、後述する条件入力部が備えられる。
【0055】
分類配置方法指定部によって指定できる配置方法としては本実施形態では2つの方法があるものとする。1つは平面状のX軸とY軸に、数値/文字データの中で1つずつを割当てる軸割当てによる配置である。
【0056】
もう一つの方法は、特徴量が三次元以上のベクトルの場合に、高次元のベクトル集合を二次元平面に写像する自己組織化マップを用いる方法である。この自己組織化マップについては次の文献がある。
【0057】
文献4)T.コホネン著、徳高平蔵他訳、自己組織化マップ、シュプリンガーフェアラーク東京.
ユーザは図7の分類配置方法指定部内の軸割当てによる配置、または自己組織化マップ(SOM)による配置のいずれかのチェックボックスをマウスでポイントすることによって、分類配置方法を指定することができる。
【0058】
図8は軸割当てを用いる場合の、各軸に割当てるべき数値/文字データを指定するためのメニュー表示の例である。同図はX軸に割当てるべき数値/文字データの選択のためのメニューを示し、ユーザはマウスやキーボードを用いてメニュー内の項目を選択することにより、X軸に割当てるべき数値/文字データを指定する。
【0059】
その結果、各データセットについて、X軸とY軸に割当てられた特徴データが特徴量格納装置12から取り出され、それぞれが2つの軸に割当てられることによってデータセットの配置位置が計算され、その位置にデータセットを構成する画像が配置され、図7の表示部に表示されることになる。
【0060】
図9は、図4に示された特徴量のデータに対してX軸に価格、Y軸に年令が割当てられた場合の画像表示例である。例えば表示部の左下の点線で囲まれた部分には、10代から30代位の年令層の購買者が購入した比較的低価格のバッグの画像が集められる。この画像の集まりに共通の視覚的な特徴があれば、ユーザにとって、これらのバッグに関する知識を容易に発見することが可能となる。X軸、またはY軸に文字データを割当てる場合には、各データを適当な順序で軸に割当てて、画像の配置位置が決定される。
【0061】
次に自己組織化マップ(SOM)を用いる方法では、二次元平面での特徴量ベクトルの配置決定のための類似度計算で用いられる特徴量が、分類配置方法指定部上でユーザによって選択される。画面上でテキスト特徴、色特徴などの中で、使用すべき特徴量のチェックボックスがマウスで指示されることによってその特徴量が選択される。特徴量として数値/文字データを使用したい場合には、その数値/文字データをユーザがリストから選択する。
【0062】
特徴量として、例えば価格と年令のように異なる種類の数値データを使う場合には、値のスケールが異なるため、値の範囲の大きさによる正規化が行われる。また文字データを用いる場合には、その文字データを1つの単語からなるテキストとみなし、テキストの特徴量と同様の方法でベクトル化することができる。
【0063】
図10は、SOMによる配置において用いられる特徴量として、色特徴が選択された場合のバッグの画像データの表示例である。白い線で囲まれた部分には赤系統の色のバッグが集まっているために、赤系統の色のバッグに共通したデザインの特徴があるような場合には、ユーザはその関係に対応する知識を容易に発見できる。
【0064】
図11は図5のステップS5におけるユーザによるフライスルーでの画像閲覧の説明図である。図2で説明したように、ユーザはキーボードとマウス13を用いてディスプレイ15の表示画面に対する視点の位置を入力し、その視点を移動することによってその視点から見た時の画面の状態が表示される。図11で視点を表示画面の近くに移動することによって表示画面は左から右に示すように変化する。このような視点の移動による画面の閲覧を本実施形態ではフライスルーでの閲覧と呼ぶ。
【0065】
またユーザは画面上に表示された画像を閲覧するにあたって特定の画像を選択することによって、選択された画像が現在の表示画面より前、または後に移動したかのように表示されて、画像を閲覧することが可能となる。
【0066】
図12はそのような選択された画像の移動表示の説明図である。同図ではユーザによって選択された画像はユーザの視点に近づいたような形式で表示される。実際には表示画面はディスプレイの画面であり、ディスプレイ画面上で選択された画像は大きく表示されることになる。また逆に必要に応じて、ユーザの視点から見て選択された画像を距離の遠い面にあるかのように表示することもできる。この場合には、ディスプレイ画面上でその画像は小さく表示されることになる。
【0067】
このような画像の選択は、特定の単語を含むテキストを構成要素とするデータセットや、特定の条件を満たす数値/文字データを構成要素とするデータセットに対応して選択することができ、その場合には選択された画像に共通の視覚的な特徴を特定の単語や条件に対応させて観察することができる。あるいは注目するする画像集合の視覚的な特徴と他の画像の視覚的な特徴とを比較したい時に、その画像を構成するデータセットに対応する単語や、数値/文字データに対する条件を図7の条件入力部に入力することによって、画像の選択を行うことができる。
【0068】
図13はキーワードとして“カジュアル”を入力して、対応する画像を手前に移動したかのように大きく表示した例である。図10で示されている画像の表示が行われており、選択されたバッグの画像以外は逆に視点から遠くに移動したように小さく表示されている。
【0069】
図14は条件入力部に対する数値データを用いた条件入力の例である。選択に使用すべき数値/文字データをメニューによって選択し、そのデータに対する条件を入力することによって、対応する画像が選択されて表示される。図14は、数値/文字データとしての価格が7万円より高いという条件が入力されている。
【0070】
図15は本発明の第2の実施形態における知識発見支援装置の構成ブロック図である。同図において、図2に示した第1の実施形態におけると同一の構成要素には同じ符号を付けてあり、それらの動作は図2におけると同様である。
【0071】
図15において図2の構成要素に加えて、仮説設定支援部16と、仮説検証支援部17とが追加されている。仮説設定支援部16は、例えば図5のステップS6でユーザが知識を仮説として設定することを支援するものであり、ディスプレイ画面上に表示された画像の視覚的な特徴と、データセット内でのテキストや、数値/文字データによって表わされる情報との間の関係を示す仮説を設定することを容易にさせるものである。
【0072】
仮説検証支援部17は、仮説設定支援部16の支援によってユーザによって設定された仮説に対する検証の支援を行うものである。仮説検証支援部17は、ユーザによって選択された画像に共通する視覚的な特徴と、画像に対応するデータセットを構成するテキストに共通して含まれる単語、あるいはデータセットに共通して含まれる数値/文字データとの間の関係をアソシエーションとして抽出し、そのアソシエーションルールに対するサポートとコンフィデンスの計算を行い、計算結果をディスプレイ15上に表示する。
【0073】
ユーザは画像を眺めながら設定した仮説、すなわちアソシエーションルールに関するサポートとコンフィデンスの数値を知ることができ、ユーザは自分が立てた仮説、すなわち知識の正当性を容易に検証することができる。なおアソシエーションルールとそのサポート、およびコンフィデンスについては後述する。
【0074】
図16は第2の実施形態における知識発見処理のフローチャートである。同図において、ステップS1〜S4の処理は第1の実施形態における図5と同じであり、その説明を省略する。
【0075】
ステップS4で画像の表示が行われると、ステップS10でユーザは図5のステップS5におけると同様に表示された画像をフライスルーで閲覧し、データセットを構成するテキストの中の単語や、数値あるいは文字データと、画像の視覚的な特徴との間の関係に関する仮説を設定する。
【0076】
そしてステップS11で、ユーザが立てた仮説の検証が行われ、ステップS6でユーザが知識を発見したか否か、すなわち立てた仮説の検証の結果、仮説が正しかったか否かが判定され、ユーザが知識を発見した場合には処理を終了する。検証結果が正しくない場合には、ステップS1以降の処理に戻り、特徴量と分類配置方法が新しく選択されて、処理が続行される。
【0077】
図17は仮説設定支援部による仮説設定支援処理のフローチャートである。同図において処理が開始されると、ステップS15で共通の視覚的な特徴を持つと仮定される画像がユーザによって選択され、ステップS16で画像選択が終了したか否かが判定される。終了していない場合には、ステップS15に戻り、画像の選択が続行される。
【0078】
画像の選択が終了した場合には、ステップS17で選択された画像に対応するテキストに共通に含まれる単語、あるいはデータセットに共通の数値/文字データの表示が行われる。この時、単語については全てのデータセットに共通して表れる単語のみでなく、一定の割合以上表れる単語としてもよく、数値/文字データについては、数値データではデータセット間で一定範囲内の値としたり、文字データについては一定の共通部分を持つ文字列とすることもできる。これによってユーザが画像の視覚的な特徴と、単語などとの間の関係について仮説を設定することが容易となる。
【0079】
図18は例えばテキストに共通に表れる単語の表示例である。図18のそれぞれの画像は洋服の画像であり、それぞれの画像に対応するテキストには商品のイメージを感性的に表わす単語として“涼しげ”や、“シック”などの単語が含まれているとする。
【0080】
図18では、ユーザによって似たような視覚的特徴を有する画像として選択された複数の画像に対応するテキスト中に共通に“シック”という単語が表れた場合に、その単語“シック”がラベルとして表示されている。
【0081】
このようにラベルとして表示される単語は、前述のように一定の割合以上表れる単語でもよく、例えば次式で表わされる単語の重要度が所定の閾値より高い単語としてもよい。
【0082】
TIi=SPi−USPi
ここでTIiは単語iの重要度、SPiはユーザによって選択された画像に対応する説明テキストの中で単語iを含むテキストの数を、ユーザが選択した画像の総数で割った値、USPiは説明テキスト全体の中で単語iを含むテキストの数を、全体のテキストの数で割った値である。
【0083】
例えばユーザが選択した画像の個数が10個、そのうち単語iを含むテキストの数が9であった場合にはSPiは0.9、テキスト全体の数が30で、そのうち単語iを含むテキストの数が12であればUSPiは0.4となりTIiの値は0.5となる。
【0084】
これに対して例えばテキスト全体の数が100個であり、その中で単語iを含むテキストの数が12個であれば TIiの値は0.78となり、100個の画像のうちでユーザによって選択された10個の画像における単語iの重要度は、30個のうち10個が選択される場合に対して大きくなる。
【0085】
次に、仮説設定支援部16の処理として、ユーザが表示された画像を閲覧し、知識すなわち仮説を設定すにあたって、画面上に複数の画像群にそれぞれ対応する共通の単語などを表示することによってユーザによる仮説の設定をさらに有効に支援することができる。
【0086】
図19はそのような共通単語の表示例である。表示画面上では各データセットの、例えばテキスト特徴量が類似した画像が集まって表示されるため、その類似した画像のテキストにそれぞれ共通の単語を画像表示画面上にラベルとして表示することによって、ユーザによる仮説の設定、すなわち知識の発見を支援することができる。
【0087】
図20は仮説検証の第1の方法の処理フローチャートである。同図においてステップS15,S16の処理は図17におけると同様である。
ユーザによる画像の選択が終了すると、ステップS20で選択された画像に共通する画像の特徴量と、対応するテキストに共通に含まれる単語、あるいはデータセットに共通の数値/文字データとの間のアソシエーションルールが生成され、そのアソシエーションルールに対するサポートとコンフィデンスとの値が計算される。
【0088】
ステップS20で用いられる画像の特徴量は、基本的には特徴量格納装置12にあらかじめ格納されているものである。例えば選択されたバッグの画像に対応するテキスト中には“ビジネスバッグ”という単語が共通に含まれ、また選択された画像に共通する視覚的な色特徴の代表色が黒であった場合には、次のアソシエーションルールが生成される。
【0089】
keyword(business)⇒DomColor(black)
このアソシエーションルールは、テキスト中に“ビジネスバッグ”という単語が含まれているバッグの画像の代表色が黒であるということを示し、ビジネスバッグの色としては黒が好まれるという知識に相当する。このアソシエーションルールに対するサポートとコンフィデンスの値は次式によって計算される。
【0090】
【数1】
【0091】
これらの式でN(x)は条件xを満たすデータセットの数であり、2つの式の分子はテキストの中に“ビジネスバッグ”という単語が含まれ、かつそのデータセット中の画像の代表色が黒であるデータセットの数を示し、N(all)は全データセットの数を表わす。
【0092】
特徴量格納装置12に代表色特徴として黒というラベルをあらかじめ付けたデータを格納しておくことによって、アソシエーションルールと、それに対するサポートとコンフィデンスの値を自動的に計算し、ディスプレイ15に表示することが可能となる。これによってユーザが立てたことが予想される仮説の重要度が客観的な数値として自動的に表示され、ユーザの仮説検証の労力を軽減することができる。
【0093】
図21は仮説検証の第2の方法の処理フローチャートである。同図のステップS25においては、例えば図16のステップS4で画像の配置が決定された後に、データセットの構成要素のテキストの特徴、あるいは数値/文字データが類似するデータセットがグループを形成するように平面上で画像がクラスタに分割される。このクラスタリングについては既存の手法を用いることができる。
【0094】
続いてステップS26で各クラスタ毎に、第1の方法におけると同様にテキスト中の共通の単語、あるいはデータセットに共通の数値/文字データと画像に共通する視覚的な特徴との間のアソシエーションルールが設定され、そのアソシエーションルールに対するサポートとコンフィデンスの値が計算され、ステップS27でそれらの計算値が所定の値より大きなアソシエーションルールと、それらの計算結果がユーザに対して表示されて処理を終了する。これによってユーザは自分が設定した仮説の検証を容易に行うことが可能となる。
【0095】
以上において本発明の知識発見支援装置、および支援方法についてその詳細を説明したが、この知識発見支援装置は当然一般的なコンピュータシステムとして構成することが可能である。図22はそのようなコンピュータシステム、すなわちハードウェア環境の構成ブロック図である。
【0096】
図22においてコンピュータシステムは中央処理装置(CPU)20、リードオンリメモリ(ROM)21、ランダムアクセスメモリ(RAM)22、通信インタフェース23、記憶装置24、入出力装置25、および可搬型記憶媒体の読取り装置26、およびこれらの全てが接続されたバス27によって構成されている。
【0097】
記憶装置24としてはハードディスク、磁気ディスクなどの様々な形式の記憶装置を使用することができ、このような記憶装置24、またはROM21に図5,図16,図17,図20,図21などのフローチャートに示されたプログラムや、本発明の特許請求の範囲の請求項10のプログラムなどが格納され、そのようなプログラムがCPU20によって実行されることにより、本実施形態におけるユーザによる知識発見の支援、仮説設定の支援、および仮説検証の支援などが可能となる。
【0098】
このようなプログラムは、プログラム提供者28側からネットワーク29、および通信インタフェース23を介して、例えば記憶装置24に格納されることも、また市販され、流通している可搬型記憶媒体30に格納され、読み取り装置26にセットされて、CPU20によって実行されることも可能である。可搬型記憶媒体30としてはCD−ROM、フロッピーディスク、光ディスク、光磁気ディスクなど様々な形式の記憶媒体を使用することができ、このような記憶媒体に格納されたプログラムが読取り装置26によって読取られることにより、本実施形態におけるユーザによる知識発見の支援などが可能となる。
【0099】
(付記1) テキストデータ、数値データあるいは文字データの中の1つ以上のデータと、該1つ以上のデータに対応する画像データとによって構成されるデータセットの集合から、画像の特徴と、テキスト、数値あるいは文字データの特徴との間の関係についてのユーザによる知識の発見を支援する装置において、
前記データセットの集合から、少なくともテキスト、数値あるいは文字データのいずれか1つ以上の特徴量を特徴量ベクトルとして抽出する特徴量抽出手段と、
該抽出された特徴量ベクトルを、ベクトル間の位置関係を保存しながら三次元以下の低次元空間に写像した時のベクトルの位置を計算する配置位置計算手段と、
該計算された位置に該ベクトルに対応する各データセットを構成する画像を表示する画像表示手段とを備えることを特徴とする知識発見支援装置。
【0100】
(付記2) 前記知識発見支援装置が、ユーザの操作を受け取る操作入力手段を更に備え、
前記画像表示手段が、ユーザから入力される視点の位置から見た状態で前記各データセットを構成する画像を表示することを特徴とする付記1記載の知識発見支援装置。
【0101】
(付記3) 前記知識発見支援装置が、前記特徴量抽出手段によって抽出された複数種類の特徴量を記憶する特徴量格納手段を更に備え、
前記配置位置計算手段が、前記操作入力手段によって受け取られたユーザによる特徴量の選択結果に従って、選択された特徴量に対する前記ベクトルの位置を計算することを特徴する付記2記載の知識発見支援装置。
【0102】
(付記4) 前記画像表示手段が、前記操作入力手段によって受け取られた単語を含むテキスト、受け取られた数値あるいは文字データを構成要素とするデータセットを構成する画像を他の画像より大きく、または小さく表示することを特徴とする付記2記載の知識発見支援装置。
【0103】
(付記5) 前記配置位置計算手段が、前記特徴量抽出手段によって抽出された特徴量のベクトルに対して、自己組織化マップのアルゴリズムを用いて前記三次元以下の低次元空間に写像した時のベクトルの位置を計算することを特徴とする付記1記載の知識発見支援装置。
【0104】
(付記6) 前記知識発見支援装置が、
前記画像表示手段の表示結果に対応して、ユーザによる前記知識についての仮説の設定を支援する仮説設定支援手段と、
該ユーザによって設定された仮説の正当性のユーザによる検証を支援する仮説検証支援手段とを更に備えることを特徴とする付記1記載の知識発見支援装置。
【0105】
(付記7) 前記知識発見支援装置が、ユーザの操作を受け取る操作入力手段を更に備え、
前記画像表示手段が、ユーザから入力される視点の位置から見た状態で前記各データセットを構成する画像を表示することを特徴とする付記6記載の知識発見支援装置。
【0106】
(付記8) 前記知識発見支援装置が、前記特徴量抽出手段によって抽出された複数種類の特徴量を記憶する特徴量格納手段を更に備え、
前記配置位置計算手段が、前記操作入力手段によって受け取られたユーザによる特徴量の選択結果に従って、選択された特徴量に対する前記ベクトルの位置を計算することを特徴とする付記7記載の知識発見支援装置。
【0107】
(付記9) 前記画像表示手段が、前記操作入力手段によって受け取られた単語を含むテキスト、受け取られた数値あるいは文字データを構成要素とするデータセットを構成する画像を他の画像より大きく、または小さく表示することを特徴とする付記7記載の知識発見支援装置。
【0108】
(付記10) 前記仮説設定支援手段が、前記画像表示手段によって表示された画像の中で、対応する複数のデータセットのテキストに共通して含まれる単語を、該各データセットを構成する画像に重畳させて、該画像表示手段に表示させることを特徴とする付記7記載の知識発見支援装置。
【0109】
(付記11) 前記仮説設定支援手段が、前記画像表示手段によって表示された画像の中から、前記操作入力手段を介してユーザにより選択された複数の画像をそれぞれ構成要素とする各データセットのテキストに共通して含まれる単語を画像表示手段に表示させることを特徴とする付記7記載の知識発見支援装置。
【0110】
(付記12) 前記特徴量抽出手段が、前記データセットの集合から前記1つ以上の特徴量に加えて、データセットを構成する画像の特徴量を特徴量ベクトルとして抽出し、
前記仮説検証支援手段が、前記画像表示手段によって表示された画像の中から前記操作入力手段を介してユーザにより選択された複数の画像をそれぞれ構成要素とする各データセットのテキストに共通して含まれる単語、各データセットに共通の数値あるいは文字データと該画像の特徴量との関係についてのアソシエーションルールを設定し、該アソシエーションルールに対する評価の結果を前記画像表示手段に表示させることを特徴とする付記7記載の知識発見支援装置。
【0111】
(付記13) 前記特徴量抽出手段が、前記データセットの集合から前記1つ以上の特徴量に加えて、データセットを構成する画像の特徴量を特徴量レベルとして抽出し、
前記配置位置計算手段が、前記特徴量抽出手段によって抽出されたテキスト、数値あるいは文字データの特徴量の類似性によって、前記画像表示手段によって表示されるべき画像をクラスタに分割して表示させ、
前記仮説検証支援手段が、該分割されたクラスタ毎に、各データビットのテキストに共通して含まれる単語、各データセットに共通の数値あるいは文字データと該画像の特徴量との関係についてのアソシエーションルールを設定し、該アソシエーションルールに対する評価の結果を前記画像表示手段に表示させることを特徴とする付記7記載の知識発見支援装置。
【0112】
(付記14) 前記配置位置計算手段が、前記特徴量抽出手段によって抽出された特徴量ベクトルに対して、自己組織化マップのアルゴリズムを用いて前記三次元以下の低次元空間に写像した時のベクトルの位置を計算することを特徴とする付記6記載の知識発見支援装置。
【0113】
(付記15) テキストデータ、数値データあるいは文字データの中の1つ以上のデータと、該1つ以上のデータに対応する画像データとによって構成されるデータセットの集合から、画像の特徴と、テキスト、数値あるいは文字データの特徴との間の関係についてのユーザによる知識の発見を支援する方法において、前記データセットの集合から、少なくともテキスト、数値あるいは文字データのいずれか1つ以上の特徴量を抽出し、
該抽出された特徴量のベクトルを、ベクトル間の位置関係を保存しながら三次元以下の低次元空間に写像した時のベクトルの位置を計算し、 該計算された位置に該ベクトルに対応する各データセットを構成する画像を表示することを特徴とする知識発見支援装置。
【0114】
(付記16) 前記画像の表示結果に対応して、ユーザによる知識についての仮説の設定を支援し、
該ユーザによって設定された仮説の正当性のユーザによる検証を支援することを特徴とする付記15記載の知識発見支援方法。
【0115】
(付記17) テキストデータ、数値データあるいは文字データの中の1つ以上のデータと、該1つ以上のデータに対応する画像データとによって構成されるデータセットの集合から、画像の特徴と、テキスト、数値あるいは文字データの特徴との間の関係についてのユーザによる知識の発見を支援するための計算機によって使用される記憶媒体において、
前記データセットの集合から、少なくともテキスト、数値あるいは文字データのいずれか1つ以上の特徴量を抽出するステップと、
該抽出された特徴量のベクトルを、ベクトル間の位置関係を保存しながら三次元以下の低次元空間に写像した時のベクトルの位置を計算するステップと、
該計算された位置に該ベクトルに対応する各データセットを構成する画像を表示するステップとを計算機に実行させるためのプログラムを格納した計算機読出し可能可搬型記憶媒体。
【0116】
(付記18) 前記プログラムが、画像の表示結果に対応して、ユーザによる知識についての仮説の設定を支援するステップと、
該ユーザによって設定された仮説の正当性のユーザによる検証を支援するステップとをさらに計算機に実行させることを特徴とする付記17記載の計算機読出し可能可搬型記憶媒体。
【0117】
(付記19) テキストデータ、数値データあるいは文字データの中の1つ以上のデータと、該1つ以上のデータに対応する画像データとによって構成されるデータセットの集合から、画像の特徴と、テキスト、数値あるいは文字データの特徴との間の関係についてのユーザによる知識の発見を支援するための計算機によって使用されるプログラムにおいて、
前記データセットの集合から、少なくともテキスト、数値あるいは文字データのいずれか1つ以上の特徴量を抽出する手順と、
該抽出された特徴量のベクトルを、ベクトル間の位置関係を保存しながら三次元以下の低次元空間に写像した時のベクトルの位置を計算する手順と、
該計算された位置に該ベクトルに対応する各データセットを構成する画像を表示する手順とを計算機に実行させるためのプログラム。
【0118】
(付記20) 前記画像の表示結果に対応して、ユーザによる知識についての仮説の設定を支援する手順と、
該ユーザによって設定された仮説の正当性のユーザによる検証を支援する手順とをさらに計算機に実行させることを特徴とする付記19記載のプログラム。
【0119】
【発明の効果】
以上詳細に説明したように本発明によれば、相互に対応する画像と、テキスト、数値あるいは文字データとによって構成されるデータセットの集合から、画像の特徴とテキスト、数値あるいは文字データの特徴との間の関係についてのユーザによる知識の発見が容易となる。また知識としての仮説の設定を支援することにより、ユーザは容易に仮説を設定することが可能となり、更に例えば仮説としてのアソシエーションルールに対する評価の結果をユーザに与えられることによって、ユーザによる仮説の検証を支援することも可能となり、知識発見技術の進展に寄与するところが大きい。
【図面の簡単な説明】
【図1】本発明の知識発見支援装置の原理構成ブロック図である。
【図2】第1の実施形態における知識発見支援装置の構成ブロック図である。
【図3】データセット格納装置の格納内容の例である。
【図4】特徴量格納装置の格納データの例である。
【図5】第1の実施形態における知識発見処理のフローチャートである。
【図6】ユーザによる特徴量選択のためのメニュー表示の例である。
【図7】ユーザによる分類配置方法選択方式の説明図である。
【図8】軸に割当てる数値/文字データを指定するためのメニュー表示の例である。
【図9】X軸に価格、Y軸に年令が割当てられた場合の画像表示例である。
【図10】SOMによる配置において色特徴が選択された場合の画像データの表示例である。
【図11】ユーザによるフライスルーでの画像閲覧の説明図である。
【図12】ユーザによって選択された画像の移動表示の説明図である。
【図13】キーワード“カジュアル”の入力に対する画像表示の例である。
【図14】数値データを用いた条件入力の例である。
【図15】第2の実施形態における知識発見支援装置の構成ブロック図である。
【図16】第2の実施形態における知識発見処理のフローチャートである。
【図17】仮説設定支援部による処理のフローチャートである。
【図18】テキストに共通に表れる単語の表示例である。
【図19】複数の画像群にそれぞれ対応する共通の単語の表示例である。
【図20】仮説検証の第1の方法の処理フローチャートである。
【図21】仮説検証の第2の方法の処理フローチャートである。
【図22】本発明を実現するためのプログラムを実行するコンピュータの構成ブロック図である。
【符号の説明】
1 データセット格納手段
2 特徴量抽出手段
3 特徴量格納手段
4 操作入力手段
5 配置位置計算手段
6 画像表示手段
10 データセット格納装置
11 特徴量抽出部
12 特徴量格納装置
13 キーボード、マウス
14 分類配置部
15 ディスプレイ
16 仮説設定支援部
17 仮説検証支援部
Claims (7)
- テキストデータ、数値データあるいは文字データの中の1つ以上のデータと、該1つ以上のデータに対応する画像データとによって構成されるデータセットの集合から、画像の特徴と、テキスト、数値あるいは文字データの特徴との間の関係についてのユーザによる知識の発見を支援する装置において、
前記データセットの集合から、少なくともテキスト、数値あるいは文字データのいずれか1つ以上の特徴量を特徴量ベクトルとして抽出する特徴量抽出手段と、
該抽出された特徴量ベクトルを、ベクトル間の位置関係を保存しながら三次元以下の低次元空間に写像した時のベクトルの位置を計算する配置位置計算手段と、
該計算された位置に該ベクトルに対応する各データセットを構成する画像を表示する画像表示手段と、
該画像表示手段により表示された複数の画像の中から前記ユーザが選択した画像に対応するテキストに共通して含まれる単語または該ユーザが選択した画像に対応するデータセットに共通の数値あるいは文字データを、該ユーザが選択した画像に対応させて表示する仮説設定支援手段とを備えることを特徴とする知識発見支援装置。 - 前記知識発見支援装置が、ユーザの操作を受け取る操作入力手段を更に備え、
前記画像表示手段が、ユーザから入力される視点の位置から見た状態で前記各データセットを構成する画像を表示することを特徴とする請求項1記載の知識発見支援装置。 - 前記知識発見支援装置が、
前記ユーザが選択した画像に対応するテキストに共通して含まれる単語または該ユーザが選択した画像に対応するデータセットに共通の数値あるいは文字データをアソシエーションルールの条件部とし、該ユーザが選択した画像に共通する特徴を該アソシエーションルールの帰結部として該アソシエーションルールを設定し、該設定されたアソシエーションルールに対するサポートとコンフィデンスの値を計算して表示する仮説検証支援手段を更に備えることを特徴する請求項1記載の知識発見支援装置。 - 前記知識発見支援装置が、ユーザの操作を受け取る操作入力手段を更に備え、
前記画像表示手段が、ユーザから入力される視点の位置から見た状態で前記各データセットを構成する画像を表示することを特徴とする請求項3記載の知識発見支援装置。 - 計算機が、テキストデータ、数値データあるいは文字データの中の1つ以上のデータと、該1つ以上のデータに対応する画像データとによって構成されるデータセットの集合から、画像の特徴と、テキスト、数値あるいは文字データの特徴との間の関係についてのユーザによる知識の発見を支援する方法において、
特徴量抽出手段が、前記データセットの集合から少なくともテキスト、数値あるいは文字データのいずれか1つ以上の特徴量を抽出し、
配置位置計算手段が、該抽出された特徴量のベクトルを、ベクトル間の位置関係を保存しながら三次元以下の低次元空間に写像した時のベクトルの位置を計算し、
画像表示手段が、該計算された位置に該ベクトルに対応する各データセットを構成する画像を表示し、
仮説設定支援手段が、表示された複数の画像の中から前記ユーザが選択した画像に対応するテキストに共通して含まれる単語または該ユーザが選択した画像に対応するデータセットに共通の数値あるいは文字データを、該ユーザが選択した画像に対応させて表示することを特徴とする知識発見支援方法。 - テキストデータ、数値データあるいは文字データの中の1つ以上のデータと、該1つ以上のデータに対応する画像データとによって構成されるデータセットの集合から、画像の特徴と、テキスト、数値あるいは文字データの特徴との間の関係についてのユーザによる知識の発見を支援するための計算機によって使用される記憶媒体において、
前記データセットの集合から少なくともテキスト、数値あるいは文字データのいずれか1つ以上の特徴量を抽出するステップと、
該抽出された特徴量のベクトルを、ベクトル間の位置関係を保存しながら三次元以下の低次元空間に写像した時のベクトルの位置を計算するステップと、
該計算された位置に該ベクトルに対応する各データセットを構成する画像を表示するステップと、
表示された複数の画像の中から前記ユーザが選択した画像に対応するテキストに共通して含まれる単語または該ユーザが選択した画像に対応するデータセットに共通の数値あるいは文字データを、該ユーザが選択した画像に対応させて表示するステップとを計算機に実行させるためのプログラムを格納した計算機読出し可能可搬型記憶媒体。 - テキストデータ、数値データあるいは文字データの中の1つ以上のデータと、該1つ以上のデータに対応する画像データとによって構成されるデータセットの集合から、画像の特徴と、テキスト、数値あるいは文字データの特徴との間の関係についてのユーザによる知識の発見を支援するための計算機によって使用されるプログラムにおいて、
前記データセットの集合から少なくともテキスト、数値あるいは文字データのいずれか1つ以上の特徴量を抽出する手順と、
該抽出された特徴量のベクトルを、ベクトル間の位置関係を保存しながら三次元以下の低次元空間に写像した時のベクトルの位置を計算する手順と、
該計算された位置に該ベクトルに対応する各データセットを構成する画像を表示する手順と、
表示された複数の画像の中から前記ユーザが選択した画像に対応するテキストに共通して含まれる単語または該ユーザが選択した画像に対応するデータセットに共通の数値あるいは文字データを、該ユーザが選択した画像に対応させて表示する手順とを計算機に実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001253764A JP4629280B2 (ja) | 2001-08-24 | 2001-08-24 | 知識発見支援装置および支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001253764A JP4629280B2 (ja) | 2001-08-24 | 2001-08-24 | 知識発見支援装置および支援方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003067401A JP2003067401A (ja) | 2003-03-07 |
JP4629280B2 true JP4629280B2 (ja) | 2011-02-09 |
Family
ID=19082035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001253764A Expired - Fee Related JP4629280B2 (ja) | 2001-08-24 | 2001-08-24 | 知識発見支援装置および支援方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4629280B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210397944A1 (en) * | 2020-06-19 | 2021-12-23 | Microsoft Technology Licensing, Llc | Automated Structured Textual Content Categorization Accuracy With Neural Networks |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004093006A1 (ja) * | 2003-04-16 | 2004-10-28 | Fujitsu Limited | 知識発見装置、知識発見プログラムおよび知識発見方法 |
JP3942568B2 (ja) * | 2003-09-04 | 2007-07-11 | 株式会社国際電気通信基礎技術研究所 | 作曲支援装置および作曲支援プログラム |
JP4312143B2 (ja) * | 2004-10-29 | 2009-08-12 | 富士通株式会社 | ルール発見プログラム、ルール発見方法およびルール発見装置 |
JP4850139B2 (ja) * | 2007-07-23 | 2012-01-11 | 富士通株式会社 | 文書検索支援処理方法、装置及びプログラム |
JP2009086721A (ja) * | 2007-09-27 | 2009-04-23 | Toshiba Tec Corp | 併売関係表示装置及びコンピュータプログラム |
JP5151753B2 (ja) * | 2008-07-10 | 2013-02-27 | 株式会社Jvcケンウッド | ファイル検索装置、ファイル検索方法および音楽再生装置ならびにプログラム |
US10108639B2 (en) | 2014-02-14 | 2018-10-23 | Rakuten, Inc. | Display control device, display control device control method, program and information storage medium |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001005822A (ja) * | 1999-06-21 | 2001-01-12 | Hitachi Ltd | 画像表示方法および装置およびこれを利用した検索サービス |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3484234B2 (ja) * | 1994-09-20 | 2004-01-06 | 日本電信電話株式会社 | 映像管理マップ表現方法および装置 |
JPH09297686A (ja) * | 1996-05-07 | 1997-11-18 | Mitsubishi Electric Corp | データマイニング装置 |
US6990238B1 (en) * | 1999-09-30 | 2006-01-24 | Battelle Memorial Institute | Data processing, analysis, and visualization system for use with disparate data types |
-
2001
- 2001-08-24 JP JP2001253764A patent/JP4629280B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001005822A (ja) * | 1999-06-21 | 2001-01-12 | Hitachi Ltd | 画像表示方法および装置およびこれを利用した検索サービス |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210397944A1 (en) * | 2020-06-19 | 2021-12-23 | Microsoft Technology Licensing, Llc | Automated Structured Textual Content Categorization Accuracy With Neural Networks |
US11734559B2 (en) * | 2020-06-19 | 2023-08-22 | Micrsoft Technology Licensing, LLC | Automated structured textual content categorization accuracy with neural networks |
Also Published As
Publication number | Publication date |
---|---|
JP2003067401A (ja) | 2003-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108171610B (zh) | 页面生成方法、页面生成设备、存储介质及装置 | |
US5179643A (en) | Method of multi-dimensional analysis and display for a large volume of record information items and a system therefor | |
CN107679960B (zh) | 一种基于服装图像和标签文本双模态内容分析的个性化服装的推荐方法 | |
US10740819B2 (en) | Information providing device, method, and non-transitory medium for interactive search refinement | |
CN109284413A (zh) | 基于人脸识别的商品推荐方法、装置、设备及存储介质 | |
JP4981511B2 (ja) | 商品データを配信する方法 | |
CN103914504A (zh) | 信息处理装置和用于生成图表的方法 | |
US11475500B2 (en) | Device and method for item recommendation based on visual elements | |
EP3637349A1 (en) | Method, device, and computer program for providing image-based advertisement | |
JP6624063B2 (ja) | 自動販売機認識装置、商品棚認識装置、自動販売機認識方法、プログラムおよび画像処理装置 | |
CN112765230B (zh) | 基于互联网金融的支付大数据分析方法及大数据分析*** | |
CN111340782B (zh) | 一种图像打标方法、装置及*** | |
JP4629280B2 (ja) | 知識発見支援装置および支援方法 | |
CN116167825A (zh) | 基于电子商务的商品推荐方法、装置、设备及存储介质 | |
JPH06119309A (ja) | 購入見込み度合予測方法及び顧客管理システム | |
CN113283432A (zh) | 图像识别、文字排序方法及设备 | |
JP5265414B2 (ja) | ネットショッピング管理装置 | |
KR20100125878A (ko) | 오브젝트이미지 추출을 통한 광고 시스템 및 그 방법 | |
JP4005672B2 (ja) | 文書処理装置、文書処理プログラムが記憶された記憶媒体、及び文書処理方法 | |
JPH09101984A (ja) | 顧客セグメント方法およびシステム | |
US20200294292A1 (en) | Data processing apparatus, display control system, data processing method, and computer program product | |
CN110851568A (zh) | 商品信息处理方法、终端设备及计算机可读存储介质 | |
CN113127597A (zh) | 搜索信息的处理方法、装置及电子设备 | |
KR20210091874A (ko) | 증강현실을 이용한 화장품 매칭 서비스 제공 시스템 및 방법 | |
US7519521B2 (en) | Population analysis using linear displays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101109 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |