JP2004029961A

JP2004029961A - 画像検索支援装置、画像検索支援方法、画像検索支援プログラムおよびコンピュータ読み取り可能な記録媒体

Info

Publication number: JP2004029961A
Application number: JP2002181879A
Authority: JP
Inventors: Motofumi Fukui; 福井　基文
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2002-06-21
Filing date: 2002-06-21
Publication date: 2004-01-29

Abstract

【課題】操作者の意図等を正確に反映した画像を検索して呈示する画像検索支援装置を提供する。
【解決手段】本発明に係る画像検索支援装置１は、複数の画像及び属性情報を記憶している画像記憶手段１０と、属性情報及び操作者の検索課題に基づいて適合度を求め、適合度が高い複数の画像を検索して出力する画像検索手段１１と、画像を逐次表示する画像表示手段１２と、画像を操作者が視認した時に生じる脳波データを取得する脳波データ取得手段１３と、複数の画像を適合度順に配列する配列処理と、配列順に従って複数の画像群に分類する分類処理と、複数の画像群のうちの一の画像群に属する画像に対する脳波データと他の画像群に属する一定数の一部の画像に対する脳波データとを加算処理して得られるＮ４００の値が最大または最小となる一部の画像を求めることにより画像の配列を変更する変更処理とを行う画像配列変更手段１４とを備える。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像検索支援装置、画像検索支援方法、画像検索支援プログラムおよびコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
操作者の意図等に適合させるために脳波などの生体信号を用いたものとして特開２０００−２３５５８８号公報には、操作者のデザイン画像評価において、デザイン画像を見た時の操作者のα波及びβ波の検出を行い、その検出されたα波及びβ波それぞれに基づいて操作者のデザイン画像に対する評価を判定し、その判定結果に基づいて操作者の感性に適合するようにデザインの修正を行うデザイン構築支援システムに係る発明が記載されている。また、画像を並び替える技術として特開平１０−２７５１６１号公報には、操作者にあらかじめマニュアルで複数の画像を仮選択させ、仮選択された画像に共通なキーワードとの適合度に基づいて画像の並べ替えを行うことにより操作者の要求に合致する画像を効率良く検索することのできる手法が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、α波、β波などの脳波の周波数成分に基づく場合には、脳波を加工せずに利用しているため、操作者の意図等とは無関係な高次の認知処理による影響を受ける可能性があり正しく操作者の意図等を抽出できないという欠点を持つ。また、操作者にあらかじめマニュアルで複数の画像を仮選択させ、仮選択された画像に共通なキーワードとの適合度に基づいて画像の並べ替えを行う方法では検索の自動化が困難という課題を有する。
【０００４】
本発明は、上記問題点を解消する為になされたものであり、操作者の意図や趣向等を正確に反映した画像を検索して呈示することができる画像検索支援装置、画像検索支援方法、画像検索支援プログラムおよびコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明に係る画像検索支援装置は、複数の画像及び複数の画像それぞれの属性情報を記憶している画像記憶手段と、画像記憶手段により記憶されている属性情報および操作者の検索課題に基づいて、画像記憶手段により記憶されている複数の画像それぞれの検索課題に対する適合度を求め、画像記憶手段により記憶されている複数の画像のうちから適合度が高い複数の画像を検索して出力する画像検索手段と、画像検索手段により出力された複数の画像それぞれを逐次表示する画像表示手段と、画像表示手段により逐次表示された複数の画像それぞれを操作者が視認した時に生じる操作者の脳波データを取得する脳波データ取得手段と、画像検索手段により出力された複数の画像を適合度順に配列する配列処理と、その配列した複数の画像を配列順に従って複数の画像群に分類する分類処理と、複数の画像群のうちの一の画像群に属する画像に対する脳波データと他の画像群に属する一定数の一部の画像に対する脳波データとを加算処理して得られるＮ４００の値が最大または最小となる一部の画像を求めることにより画像の配列を変更する変更処理と、を行う画像配列変更手段と、を備えることを特徴とする。
【０００６】
本発明に係る画像検索支援方法は、複数の画像及び複数の画像それぞれの属性情報を記憶している画像記憶手段を有し、画像記憶手段により記憶されている画像の検索をするときに検索支援を行う画像検索支援方法であって、画像記憶手段により記憶されている属性情報および操作者の検索課題に基づいて、画像記憶手段により記憶されている複数の画像それぞれの検索課題に対する適合度を求め、画像記憶手段により記憶されている複数の画像のうちから適合度が高い複数の画像を検索して出力する画像検索ステップと、画像検索ステップで出力された複数の画像それぞれを逐次表示する画像表示ステップと、画像表示ステップで逐次表示された複数の画像それぞれを操作者が視認した時に生じる操作者の脳波データを取得する脳波データ取得ステップと、画像検索ステップで出力された複数の画像を適合度順に配列する配列処理と、その配列した前記複数の画像を配列順に従って複数の画像群に分類する分類処理と、複数の画像群のうちの一の画像群に属する画像に対する脳波データと他の画像群に属する一定数の一部の画像に対する脳波データとを加算処理して得られるＮ４００の値が最大または最小となる一部の画像を求めることにより画像の配列を変更する変更処理と、を行う画像配列変更ステップと、を備えることを特徴とする。
【０００７】
本発明に係る画像検索支援装置又は画像検索支援方法によれば、複数の画像及び複数の画像それぞれの属性情報が画像記憶手段により記憶され、画像記憶手段により記憶されている属性情報および操作者の検索課題に基づいて、画像記憶手段により記憶されている複数の画像それぞれの検索課題に対する適合度が求められ、画像記憶手段により記憶されている複数の画像のうちから適合度が高い複数の画像が画像検索手段により（画像検索ステップで）検索され出力される。
【０００８】
次に、画像検索手段により（画像検索ステップで）出力された複数の画像それぞれが画像表示手段により（画像表示ステップで）逐次表示され、画像表示手段により（画像表示ステップで）逐次表示された画像を操作者が視認した時に生じる操作者の脳波データが脳波データ取得手段により（脳波データ取得ステップで）取得される。
【０００９】
さらに、画像配列変更手段により（画像配列変更ステップで）、画像検索手段により（画像検索ステップで）出力された複数の画像が配列処理されて適合度順に配列され、その配列された複数の画像が分類処理されて配列順に従って複数の画像群に分類され、複数の画像群のうちの一の画像群に属する画像に対する脳波データと他の画像群に属する一定数の一部の画像に対する脳波データとが加算処理され得られるＮ４００の値が最大または最小となる一部の画像が求められることにより変更処理されて画像の配列が変更される。
【００１０】
また、本発明に係る画像検索支援装置は、画像配列変更手段により変更された画像の配列における操作者に特有の配列の特徴を抽出し、この抽出された特徴に基づいて操作者の検索課題により適合した画像を検索して出力するための補助検索情報を生成する補助検索情報生成手段をさらに備え、画像検索手段は、補助検索情報生成手段により生成された補助検索情報、属性情報及び操作者の検索課題に基づいて、画像記憶手段により記憶されている複数の画像それぞれの検索課題に対する適合度を求め、画像記憶手段により記憶されている複数の画像のうちから適合度が高い複数の画像を検索して出力することが好適である。
【００１１】
また、本発明に係る画像検索支援方法は、画像配列変更ステップで変更された画像の配列における操作者に特有の配列の特徴を抽出し、この抽出された特徴に基づいて操作者の検索課題により適合した画像を検索して出力するための補助検索情報を生成する補助検索情報生成ステップをさらに備え、画像検索ステップでは、補助検索情報生成ステップで生成された補助検索情報、属性情報及び操作者の検索課題に基づいて、画像記憶手段により記憶されている複数の画像それぞれの検索課題に対する適合度を求め、画像記憶手段により記憶されている複数の画像のうちから適合度が高い複数の画像を検索して出力することが好適である。
【００１２】
この場合、画像配列変更手段により（画像配列変更ステップで）変更された画像の配列における操作者に特有の配列の特徴が抽出され、この抽出された特徴に基づいて操作者の検索課題により適合した画像を検索して出力ための補助検索情報が補助検索情報生成手段により（補助検索情報生成ステップで）生成される。
【００１３】
そして、補助検索情報生成手段により（補助検索情報生成ステップで）生成された補助検索情報、属性情報及び操作者の検索課題に基づいて、画像記憶手段により記憶されている複数の画像それぞれの検索課題に対する適合度が求められ、画像記憶手段により記憶されている複数の画像のうちから適合度が高い複数の画像が画像検索手段により（画像検索ステップで）検索され出力される。
【００１４】
また、画像配列変更手段は、画像検索手段により出力された複数の画像を適合度の高い順に第１画像群、第２画像群及び第３画像群に分類し、第２画像群に属する一部の画像を第１画像群に加えて第４画像群とし、第２画像群に属する残りの画像を第３画像群に加えて第５画像群とし、第４画像群に属するそれぞれの画像に対する脳波データを加算し、第５画像群に属するそれぞれの画像に対する脳波データを加算し、それぞれの加算結果におけるＮ４００の値の差が最大になる一部の画像及び残りの画像それぞれを求めることにより第２画像群に属する複数の画像の配列を変更することが好適である。
【００１５】
また、画像配列変更ステップでは、画像検索ステップで出力された複数の画像を適合度の高い順に第１画像群、第２画像群及び第３画像群に分類し、第２画像群に属する一部の画像を第１画像群に加えて第４画像群とし、第２画像群に属する残りの画像を第３画像群に加えて第５画像群とし、第４画像群に属するそれぞれの画像に対する脳波データを加算し、第５画像群に属するそれぞれの画像に対する脳波データを加算し、それぞれの加算結果におけるＮ４００の値の差が最大になる一部の画像及び残りの画像それぞれを求めることにより第２画像群に属する複数の画像の配列を変更することが好適である。
【００１６】
この場合、画像配列変更手段により（画像配列変更ステップで）、画像検索手段により（画像検索ステップで）出力された複数の画像が適合度の高い順に第１画像群、第２画像群及び第３画像群に分類され、第２画像群に属する一部の画像が第１画像群に加えられて第４画像群とされ、第２画像群に属する残りの画像が第３画像群に加えられて第５画像群とされ、次に、第４画像群に属するそれぞれの画像に対する脳波データが加算され、第５画像群に属するそれぞれの画像に対する脳波データが加算され、それぞれの加算結果におけるＮ４００の値の差が最大になる一部の画像及び残りの画像それぞれが求められることにより第２画像群に属する複数の画像の配列が変更される。
【００１７】
また、画像配列変更手段は、画像検索手段により出力された複数の画像を適合度の高い順に第６画像群及び第７画像群に分類し、第７画像群に属する一部の画像を第６画像群に加えて第８画像群とし、第８画像群に属するそれぞれの画像に対する脳波データを加算し、その加算結果におけるＮ４００の値が最大になる一部の画像を求めることにより第７画像群に属する複数の画像の配列を変更することが好適である。
【００１８】
また、画像配列変更ステップでは、画像検索ステップで取得された複数の画像を適合度の高い順に第６画像群及び第７画像群に分類し、第７画像群に属する一部の画像を第６画像群に加えて第８画像群とし、第８画像群に属するそれぞれの画像に対する脳波データを加算し、その加算結果におけるＮ４００の値が最大になる一部の画像を求めることにより第７画像群に属する複数の画像の配列を変更することが好適である。
【００１９】
この場合、画像配列変更手段により（画像配列変更ステップで）、画像検索手段により（画像検索ステップで）出力された複数の画像が適合度の高い順に第６画像群及び第７画像群に分類され、第７画像群に属する一部の画像が第６画像群に加えられて第８画像群とされ、次に、第８画像群に属するそれぞれの画像に対する脳波データが加算され、その加算結果におけるＮ４００の値が最大になる一部の画像が求められることにより第７画像群に属する複数の画像の配列が変更される。
【００２０】
また、画像配列変更手段は、画像検索手段により出力された複数の画像を適合度の低い順に第９画像群及び第１０画像群に分類し、第１０画像群に属する一部の画像を第９画像群に加えて第１１画像群とし、第１１画像群に属するそれぞれの画像に対する脳波データを加算し、その加算結果におけるＮ４００の値が最小になる一部の画像を求めることにより第１０画像群に属する複数の画像の配列を変更することが好適である。
【００２１】
また、画像配列変更ステップでは、画像検索ステップで出力された複数の画像を適合度の低い順に第９画像群及び第１０画像群に分類し、第１０画像群に属する一部の画像を第９画像群に加えて第１１画像群とし、第１１画像群に属するそれぞれの画像に対する脳波データを加算し、その加算結果におけるＮ４００の値が最小になる一部の画像を求めることにより第１０画像群に属する複数の画像の配列を変更することが好適である。
【００２２】
この場合、画像配列変更手段により（画像配列変更ステップで）、画像検索手段により（画像検索ステップで）取得された複数の画像が適合度の低い順に第９画像群及び第１０画像群に分類され、第１０画像群に属する一部の画像が第９画像群に加えられて第１１画像群とされ、次に、第１１画像群に属するそれぞれの画像に対する脳波データが加算され、その加算結果におけるＮ４００の値が最小になる一部の画像が求められることにより第１０画像群に属する複数の画像の配列が変更される。
【００２３】
また、画像配列変更手段は、変更処理により配列を変更した複数の画像について分類処理または加算処理の内容を変更して分類処理および変更処理を繰り返すことが好適である。
【００２４】
また、画像配列変更ステップでは、変更処理により配列を変更した複数の画像について分類処理または加算処理の内容を変更して分類処理および変更処理を繰り返すことが好適である。
【００２５】
この場合、画像配列変更手段により（画像配列変更ステップで）配列が変更された複数の画像について分類処理または加算処理の内容が変更されて分類処理および変更処理が繰り返される。
【００２６】
また、画像配列変更手段は、画像検索手段により取得された複数の画像を３以上の画像群に分類した場合に、何れかの画像群に属する画像の数が、画像に対する脳波データを加算することにより脳波データ中のノイズ成分を除去できる数に満たないときには、画像検索手段により取得された複数の画像を２の画像群に分類することが好適である。
【００２７】
また、画像配列変更ステップでは、画像検索ステップで取得された複数の画像を３以上の画像群に分類した場合に、何れかの画像群に属する画像の数が、画像に対する脳波データを加算することにより脳波データ中のノイズ成分を除去できる数に満たないときには、画像検索ステップで取得された複数の画像を２の画像群に分類することが好適である。
【００２８】
この場合、画像検索手段により取得された画像の数が少ないときにも、操作者の意図等に適合するように画像の配列を変更することができる。
【００２９】
また、画像表示手段は、検索課題を文字で表示した後に画像検索手段により取得された複数の画像の何れかを表示することを繰り返し行うことが好適である。
【００３０】
また、画像表示ステップでは、検索課題を文字で表示した後に画像検索ステップで取得された複数の画像の何れかを表示することを繰り返し行うことが好適である。
【００３１】
この場合、検索課題と画像との関連性が事象関連電位波形に含まれるＮ４００に反映される。
【００３２】
また、画像表示手段は、検索課題を文字で一度だけ表示した後に画像検索手段により取得された複数の画像それぞれを逐次表示することが好適である。
【００３３】
また、画像表示ステップでは、検索課題を文字で一度だけ表示した後に画像検索ステップで取得された複数の画像それぞれを逐次表示することが好適である。
【００３４】
この場合、検索課題と画像との関連性が事象関連電位波形に含まれるＮ４００に反映される。
【００３５】
また、画像検索手段により取得された複数の画像を逐次表示する前に検索課題を音声で出力する音声出力手段をさらに備えることが好適である。
【００３６】
また、画像検索ステップ取得された複数の画像を逐次表示する前に検索課題を音声で出力する音声出力ステップをさらに備えることが好適である。
【００３７】
この場合、検索課題と画像との関連性が事象関連電位波形に含まれるＮ４００に反映される。
【００３８】
また、脳波データ取得手段は、操作者の前頭葉から頭頂にかけて設けられる複数の電極を有し、複数の電極それぞれにより操作者の脳波データを取得することが好適である。
【００３９】
また、脳波データ取得ステップでは、操作者の前頭葉から頭頂にかけて設けられる複数の電極それぞれにより操作者の脳波データを取得することが好適である。
【００４０】
本発明に係る画像検索支援プログラムは、上記いずれかの画像検索支援方法をコンピュータに実行させることを特徴とする。
【００４１】
本発明に係るコンピュータ読み取り可能な記録媒体は、上記の画像検索支援プログラムを記録していることを特徴とする。
【００４２】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００４３】
まず、本実施形態に係る画像検索支援装置１の構成について説明する。図１は、本実施形態に係る画像検索支援装置１の全体構成を示すブロック図である。画像検索支援装置１は、画像記憶手段１０、画像検索手段１１、画像表示手段１２、脳波データ取得手段１３、画像配列変更手段１４、補助検索情報生成手段１５、及び、音声出力手段１６を備えている。
【００４４】
画像記憶手段１０は、複数の画像及び複数の画像それぞれの属性情報を記憶するものであり、例えば大容量ハードディスクや大容量光ディスク等が好適に用いられる。
【００４５】
画像検索手段１１は、画像記憶手段１０により記憶されている属性情報および操作者の検索課題に基づいて、画像記憶手段１０により記憶されている複数の画像それぞれの検索課題に対する適合度を求め、画像記憶手段１０により記憶されている複数の画像のうちから適合度が高い複数の画像を検索して出力する。
【００４６】
画像表示手段１２は、画像検索手段１１により出力された複数の画像それぞれを逐次表示するものであり、例えば、ＣＲＴディスプレイやＬＣＤディスプレイ等が好適に用いられる。
【００４７】
脳波データ取得手段１３は、図２に示されるように操作者の頭頂に設けられた電極１００、前頭葉に設けられた電極１０１、右耳朶に設けられた電極１０２及び左耳朶に設けられた電極１０３を有し、前頭葉に設けられた電極１０１を基準電極として、画像表示手段１２により逐次表示された複数の画像を操作者が視認した時に生じる操作者の脳波データを頭頂に設けられた電極１００より取得するものである。
【００４８】
画像配列変更手段１４は、画像検索手段１１により出力された複数の画像を適合度順に配列する配列処理と、その配列した複数の画像を配列順に従って複数の画像群に分類する分類処理と、複数の画像群のうちの一の画像群に属する画像に対する脳波データと他の画像群に属する一定数の一部の画像に対する脳波データとを加算処理して得られるＮ４００の値が最大または最小となる一部の画像を求めることにより画像の配列を変更する変更処理とを行う。
【００４９】
補助検索情報生成手段１５は、画像配列変更手段１４により変更された画像の配列における操作者に特有の配列の特徴を抽出し、この抽出された特徴に基づいて操作者の検索課題により適合した画像を検索して出力するための補助検索情報を生成する。
【００５０】
音声出力手段１６は、画像検索手段１１により取得された複数の画像が画像表示手段１２により逐次表示される前に検索課題を音声で出力する。
【００５１】
次に本実施形態に係る画像検索支援装置１の動作について説明するとともに、画像検索支援方法についても説明する。
【００５２】
本実施形態に係る画像検索支援装置１によれば、複数の画像及び複数の画像それぞれの属性情報が画像記憶手段１０により記憶され、画像記憶手段１０により記憶されている属性情報および操作者の検索課題に基づいて、画像記憶手段１０により記憶されている複数の画像それぞれの検索課題に対する適合度が求められ、画像記憶手段１０により記憶されている複数の画像のうちから適合度が高い複数の画像が画像検索手段１１により検索され出力される。
【００５３】
次に、画像検索手段１１により出力された複数の画像それぞれが画像表示手段１２により逐次表示され、画像表示手段１２により逐次表示された画像を操作者が視認した時に生じる操作者の脳波データが脳波データ取得手段１３により取得される。
【００５４】
さらに、画像配列変更手段１４により、画像検索手段１１により出力された複数の画像が適合度順に配列され、その配列された複数の画像が配列順に従って複数の画像群に分類され、複数の画像群のうちの一の画像群に属する画像に対する脳波データと他の画像群に属する一定数の一部の画像に対する脳波データとが加算処理され得られるＮ４００の値が最大または最小となる一部の画像が求められることにより画像の配列が変更される。
【００５５】
また、本実施形態に係る画像検索支援装置１によれば、補助検索情報生成手段１５により生成された補助検索情報、属性情報及び操作者の検索課題に基づいて、画像記憶手段１０により記憶されている複数の画像それぞれの検索課題に対する適合度が求められ、画像記憶手段１０により記憶されている複数の画像のうちから適合度が高い複数の画像が画像検索手段１１により検索され出力される。
【００５６】
図３は、本実施形態に係る画像検索支援方法の全体処理を示す流れ図である。図３のステップＳ１００では、画像記憶手段１０により記憶されている属性情報および操作者の検索課題に基づいて、画像記憶手段１０により記憶されている複数の画像それぞれの検索課題に対する適合度が求められ、画像記憶手段１０により記憶されている複数の画像のうちから適合度が高い複数の画像が画像検索手段１１により検索され出力される。
【００５７】
ステップＳ１０１では、ステップＳ１００で出力された複数の画像それぞれが画像表示手段１２により逐次表示され、ステップＳ１０２では、ステップＳ１０１で逐次表示された画像を操作者が視認した時に生じる操作者の脳波データが脳波データ取得手段１３により取得される。
【００５８】
ステップＳ１０３では、画像検索手段１１により出力された複数の画像が適合度順に配列され、その配列された複数の画像が配列順に従って複数の画像群に分類され、複数の画像群のうちの一の画像群に属する画像に対する脳波データと他の画像群に属する一定数の一部の画像に対する脳波データとが加算処理され得られるＮ４００の値が最大または最小となる前記一部の画像が求められることにより画像の配列が変更される。
【００５９】
そして、ステップ１０４では、ステップＳ１０３で変更された画像の配列における操作者に特有の配列の特徴を抽出し、この抽出された特徴に基づいて操作者の検索課題により適合した画像を検索して出力するための補助検索情報を生成する。
【００６０】
さらに、各処理ステップそれぞれについて詳細に説明する。まず、ステップＳ１００での画像検索処理について説明する。ステップＳ１００では、画像記憶手段１０に記憶されている複数の画像の中から、属性情報に基づいて画像検索手段１１に対して文字や音声等で入力された操作者の検索課題に対応する画像が検索されて出力される。ここで、検索に使用される属性情報はあらかじめ画像記憶手段１０に属性情報として登録してあるもののみ利用可能である。また、例えば“犬”＊（“白”＋“黒”）などの様に複数の属性情報を入力し、属性情報の論理積及び論理和によって操作者の検索課題を表現してもよい。画像検索手段１１は、操作者の検索課題に対応した画像を検索し、例えば１００枚の画像を取得した場合、属性情報と検索課題との適合度が高いものから順にＩ_１、Ｉ_２、…、Ｉ_１００と配列して画像表示装置１２に出力する。
【００６１】
ステップＳ１０１では、ステップＳ１００で出力された画像１００枚を画像表示手段１２により逐次表示する。ステップＳ１０２では、ステップＳ１０１で逐次表示された画像を操作者が視認した時に生じる操作者の脳波データを脳波データ取得手段１３により取得する。
【００６２】
図４は、画像表示処理及び脳波データ取得処理の概要を示す流れ図であり、この図に従ってさらに詳細にステップＳ１０１及びステップＳ１０２における処理を説明する。
【００６３】
ステップＳ２００では、まず、操作者の検索課題を文字で画像表示手段１２により１ｓ間表示する。このとき、文字に変えて音声を音声出力手段１６により出力しても良い。これによって操作者の意図を操作者に対して再認させることができる。
【００６４】
次に、ステップＳ２０１では、凝視点（例えば十字マーク）を画像表示手段１２により１ｓ間表示する。この間操作者は凝視点を注目し、次に出てくる画像の準備をすることを要求される。
【００６５】
ステップＳ２０２では、検索結果の画像を画像表示手段１２により逐次表示する。表示される画像は上記１００枚のうちのいずれかの画像であり、画像の表示順序は適合度によらずランダムとし、一枚の画像は一回のみ表示される。この間操作者は画面の中心を注目することが望まれる。
【００６６】
そして、ステップＳ２０３では、画像が表示されている間の操作者の脳波を脳波データ取得手段１３により取得する。
【００６７】
ステップＳ２０４では、１００枚の画像が全て表示されたか否かを判断し、全ての画像の表示が終了していない時にはＳ２００に処理を移行し、ステップＳ２００〜ステップＳ２０３までの処理を繰り返す。ただし、ステップＳ２００の処理は、画像の表示を開始する際、初めに一度だけ行うこととしても良い。
【００６８】
図３のステップＳ１０３では、ステップＳ１０２で取得した脳波データから事象関連電位を求める。ここで、事象関連電位（ｅｖｅｎｔ−ｒｅｌａｔｅｄ　ｐｏｔｅｎｔｉａｌ：　ＥＲＰ）とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電圧変動をいう。また、刺激に対する脳電位反応をより明瞭に取り出すために、事象関連電位の算出には、加算（平均）法が用いられる。この方法は、数十回の脳波データを特定の事象の開始時点に揃えて時間ポイントごとに加算（平均）することにより、その事象に関連した脳電位を抽出するものである。背景脳波が事象とは無関係に生じると仮定すると、加算（平均）することで背景脳波は相殺され、事象に対して一定の時間関係を持った事象関連電位だけが残る。さらに、事象関連電位波形はいくつかの振れから構成されている。図５には、脳波データに基づいて算出された事象関連電位波形を示す。ここで、陰性方向（図５では上向き）の振れをＮ（ｎｅｇａｔｉｖｅ）、陽性方向（図５では下向き）の振れをＰ（ｐｏｓｉｔｉｖｅ）と呼び、出現順に番号をつけるか、標準的な頂点潜時（ミリ秒単位）をつけて区別する。よって、Ｎ４００とは、その頂点潜時がおよそ４００ｍｓの陰性電位をいう。
【００６９】
さらに、ステップＳ１０３では、画像Ｉ_ｋが表示されている間に取得した脳波をＰ_ｋ（ｔ）とする（ｋ＝１，２，…１００、０≦ｔ≦１０００）。得られた１００種類のＰ_ｋ（ｔ）を分類した後、加算して事象関連電位波形を算出し、この事象関連電位波形に含まれるＮ４００の値を用いて検索課題と画像との適合度を判定するが、この際、先行画像（または単語情報）と目標画像とを連続して呈示した場合、目標画像が先行画像と適合度が高い場合の事象関連電位（これをＡとする）と、適合度が低い場合の事象関連電位（これをＢとする）を比較すると、ＢがＡよりも目標画像呈示後４００ｍｓ程度で絶対値の大きな陰性の成分（Ｎ４００）を含むという事実を用いる。
【００７０】
次に、画像検索手段１１により取得した画像数が１００枚あった場合の配列変更処理の１つを図６を用いて説明する。
【００７１】
ステップＳ３００では、適合度が上位４０位までの画像Ｉ_１〜Ｉ_４０に対応する脳波Ｐ_１（ｔ）〜Ｐ_４０（ｔ）を次式により加算しＡ（ｔ）とする。
【００７２】
【数１】

【００７３】
ステップＳ３０１では、適合度が６１位以下の画像Ｉ_６１〜Ｉ_１００に対応する脳波Ｐ_６１（ｔ）〜Ｐ_１００（ｔ）を次式により加算しＢ（ｔ）とする。
【００７４】
【数２】

【００７５】
ステップＳ３０２では、残り２０枚の画像Ｉ_４１〜Ｉ_６０から任意に１０枚の画像を選択し、それらに対応した脳波を次式によりＡ（ｔ）に加算し、Ａ´（ｔ）とする。ここで、任意に選択された１０枚の画像の集合をＱとし、この集合Ｑに含まれる画像それぞれに対応した脳波データをＱｉ（ｔ）（ｉ＝１、２、・・・、１０）とする。
【００７６】
【数３】

【００７７】
ステップＳ３０３では、残りの１０枚の画像に対応した脳波を次式によりＢ（ｔ）に加算し、Ｂ´（ｔ）とする。ここで、残りの１０枚の画像の集合をＱ´とし、この集合Ｑ´に含まれる画像それぞれに対応した脳波データをＱ´ｉ（ｔ）（ｉ＝１、２、・・・、１０）とする。
【００７８】
【数４】

【００７９】
ステップＳ３０４及びステップＳ３０５では、Ａ´（ｔ）及びＢ´（ｔ）のうち２５０ｍｓから５００ｍｓに対応する個所を次式により加算し、それぞれａ、ｂとする。
【００８０】
【数５】

【００８１】
次にステップＳ３０６では、「ｃ＝ａ−ｂ」を計算する。ここで、上記の事実を考慮すると、ｂは、ａよりも絶対値の大きな負の値となるので、ｃの値は正となり、さらに、集合Ｑに含まれる全ての画像が集合Ｑ´に含まれる何れの画像よりも検索課題との適合度が高い画像であった場合、ｃの値は最大になる。
【００８２】
ステップＳ３０７では、２０枚の画像Ｉ_４１〜Ｉ_６０において全ての任意の１０枚の画像の組み合わせでｃの値を計算したか否かを判断し、全ての組み合わせでｃの値を計算するまでステップＳ３０２〜Ｓ３０６の処理を繰り返す。ここで、ステップＳ３０２で実施する画像の選択は２０枚の画像から１０枚を選ぶ操作であるから、_２０Ｃ_１０回の繰り返し処理により遂行できる。もし計算に長時間を要する場合、最初にステップＳ３００及びステップＳ３０１で選択する画像の枚数を増やせばよい。
【００８３】
そして、ステップＳ３０８では、ｃが最大になるときの画像の組み合わせに基づいて画像の配列を変更する。この操作により最初の適合度が４１位から６０位の画像Ｉ_４１〜Ｉ_６０を並び替えてＩ´_４１、Ｉ´_４２、…、Ｉ´_６０とすることができる。本実施形態では、適合度が４１位から６０位の画像Ｉ_４１〜Ｉ_６０を並び替える方法を示したが、上位３１位から５０位の画像Ｉ_３１〜Ｉ_５０を並べ替えることも可能である。その場合、上位３０位までの画像Ｉ_１〜Ｉ_３０を適合度が高いグループとして、５１位から８０位までの画像Ｉ_５１〜Ｉ_８０を適合度が低いグループとして処理することにより、同様の手法で上位３１位から５０位までの画像Ｉ_３１〜Ｉ_５０についての適合度の判定ができる。
【００８４】
上記の操作は適合度が高い画像と適合度が低い画像、それぞれに対応する事象関連電位のＮ４００の差に注目した手法であるが、差ではなくＮ４００の最大値または最小値に注目するという手法を用いることもできる。以下この手法について図７を用いて具体的に説明する。
【００８５】
ステップＳ４００では、適合度が上位４０位までの画像Ｉ_１〜Ｉ_４０に対応する脳波Ｐ_１（ｔ）〜Ｐ_４０（ｔ）を上記の式（１）により加算しＡ（ｔ）とする。
【００８６】
ステップＳ４０１では、上位４１位から６０位までの画像Ｉ_４１〜Ｉ_６０の中から任意に１０枚選択し、それぞれの画像に対応した脳波を上記の式（３）によりＡ（ｔ）に加算し、Ａ´（ｔ）とする。ここで、任意に選択された１０枚の画像の集合をＱとし、この集合Ｑに含まれる画像それぞれに対応した脳波データをＱｉ（ｔ）（ｉ＝１、２、・・・、１０）とする。
【００８７】
ステップＳ４０２では、Ａ´（ｔ）のうち２５０ｍｓから５００ｍｓに対応する個所を上記の式（５ａ）により加算し、それをａとする。ここで、上記の事実を考慮すると、適合度の高い画像が１０枚選択されたのであれば、ａの値は最大になる。
【００８８】
ステップＳ４０３では、上位４１位から６０位までの画像Ｉ_４１〜Ｉ_６０において全ての任意の１０枚の画像の組み合わせでａを計算したか否かを判断し、全ての組み合わせでａを計算するまでステップＳ４０１及びステップＳ４０２の処理を繰り返す。
【００８９】
そして、ステップＳ４０４ではａが最大になるときの画像の組み合わせに基づいて画像の配列を変更する。
【００９０】
同様に適合度が低い画像のみに注目する手法も考えられる。具体的には図８を用いて以下に説明する。
【００９１】
ステップＳ５００では、適合度が上位６１位から１００位の画像Ｉ_６１〜Ｉ_１００それぞれに対応する脳波Ｐ_６１（ｔ）〜Ｐ_１００（ｔ）を上記式（２）により加算しＢ（ｔ）とする。
【００９２】
ステップＳ５０１では、上位４１位から６０位までの画像Ｉ_４１〜Ｉ_６０の中から任意に１０枚選択し、それぞれの画像に対応した脳波を上記の式（４）によりＢ（ｔ）に加算し、Ｂ´（ｔ）とする。ここで、任意に選択された１０枚の画像の集合をＱ´とし、この集合Ｑに含まれる画像それぞれに対応した脳波データをＱ´ｉ（ｔ）（ｉ＝１、２、・・・、１０）とする。
【００９３】
ステップＳ５０２では、Ｂ´（ｔ）のうち２５０ｍｓから５００ｍｓに対応する個所を上記の式（５ｂ）により加算し、それをｂとする。ここで、上記の事実を考慮すると、適合度の低い画像が１０枚選択されたのであれば、ｂの値は最小になる。
【００９４】
ステップＳ５０３では、上位４１位から６０位までの画像Ｉ_４１〜Ｉ_６０において全ての任意の１０枚の画像の組み合わせによりｂを計算したか否かを判断し、全ての組み合わせでｂを計算するまでステップＳ５０１及びステップＳ５０２の処理を繰り返す。
【００９５】
そして、ステップＳ５０４ではｂが最小になるときの画像の組み合わせに基づいて画像の配列を変更する。
【００９６】
以上説明した手法では検索順位が中位の画像のみを操作できる。上位（もしくは下位）の並べ替えを行いたい場合、例えば次のような手法が考えられるので、図９を用いて説明する。
【００９７】
ステップＳ６００では、適合度が上位２１位から１００位までの画像Ｉ_２１〜Ｉ_１００に対応する脳波Ｐ_２１（ｔ）〜Ｐ_１００（ｔ）を次式を用いて加算し、それをＡ（ｔ）とする。
【００９８】
【数６】

【００９９】
ステップＳ６０１では、上位２０位の画像Ｉ_１〜Ｉ_２０の中から任意に１０枚選択し、それらに対応した脳波を上記の式（３）を用いてＡ（ｔ）に加算し、Ａ´（ｔ）とする。ここで、任意に選択された１０枚の画像の集合をＱとし、この集合Ｑに含まれる画像それぞれに対応した脳波データをＱｉ（ｔ）（ｉ＝１，２、・・・、１０）とする。
【０１００】
ステップＳ６０２では、Ａ´（ｔ）のうち２５０ｍｓから５００ｍｓに対応する個所を上記の式（５ａ）を用いて加算し、それをａとする。ここで、上記事実を考慮すると、適合度が低い画像が１０枚選択されたのであれば、ａの値は最小になる。
【０１０１】
ステップＳ６０３では、上位２０位の画像Ｉ_１〜Ｉ_２０において全ての任意の１０枚の画像の組み合わせでａを計算したか否かを判断し、全ての組み合わせでａを計算するまでステップＳ６０１及びステップＳ６０２の処理を繰り返す。
【０１０２】
そして、ステップＳ６０４では、ａが最小になる画像の組み合わせに基づいて画像の配列を変更する。これにより上位２０位までの画像Ｉ_１〜Ｉ_２０を並べ替えることができる。
【０１０３】
以上の操作を適宜繰り返し実施すれば、画像検索手段１１により出力された画像を操作者の意図や趣向等に合った順位に並べ替えることができる。
【０１０４】
また、画像検索手段１１により出力された画像の件数が１００枚以下であった場合（例えば６０枚程度）、それに対応した適切な画像枚数を選べば、上記のような操作が実施できる。さらに、画像検索手段１１により出力された複数の画像を３以上の画像群に分類した場合に、何れかの画像群に属する画像の数が、画像に対する脳波データを加算することにより脳波データ中のノイズ成分を除去できる数に満たない場合（例えば４０枚程度）、２の画像群に分離する手法が実施できる。これは、事象関連電位を計算する場合、その加算回数は３０回以上あるのが望ましいからである。２０回以下の場合には、脳波データのノイズ成分（α波成分、β波成分など）が除去されない可能性がある。
【０１０５】
上記手法により配列を変更された画像の配列は操作者の意図や趣向等を反映した順序になっている。同じ処理を実施しても、操作者が異なれば異なる配列が作られる。また同じ操作者でも検索時の意図の違いにより配列の順序が変動する可能性がある。
【０１０６】
次に、本実施形態に係る物体制御方法をコンピュータ２に実行させるための画像検索支援プログラム２０２、及び画像検索支援プログラム２０２を記録したコンピュータ読み取り可能な記録媒体２００（以下、単に記録媒体という）について説明する。
【０１０７】
ここで、記録媒体とは、コンピュータのハードウェア資源に備えられている読み取り装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読み取り装置にプログラムの記述内容を伝達できるものである。かかる記録媒体としては、例えば、磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、コンピュータに内蔵されるメモリなどが該当する。
【０１０８】
図１０は、本発明の実施形態に係る記録媒体２００の構成図である。記録媒体２００は、図１０に示すように、プログラムを記録するプログラム領域２０１を備えている。このプログラム領域２０１には、画像検索支援プログラム２０２が記録されている。
【０１０９】
この画像検索支援プログラム２０２は、前述した画像検索支援を実行するプログラムであって、図１０に示すように、処理を統括するメインモジュール２０２ａと、画像記憶手段１０により記憶されている属性情報及び操作者の検索課題に基づいて、画像記憶手段１０により記憶されている複数の画像それぞれの検索課題に対する適合度を求め、画像記憶手段１０により記憶されている複数の画像のうちから適合度が高い複数の画像を検索して出力する画像検索モジュール２０２ｂと、画像検索モジュール２０２ｂにより出力された複数の画像それぞれを画像表示手段１２により逐次表示する画像表示モジュール２０２ｃと、画像検索モジュール２０２ｂにより出力された複数の画像を画像表示手段１２により逐次表示する前に検索課題を音声で出力する音声出力モジュール２０２ｄと、画像表示モジュール２０２ｃにより表示された画像それぞれを操作者が視認した時に生じる操作者の脳波データを取得する脳波データ取得モジュール２０２ｅと、画像検索モジュール２０２ｂにより出力された複数の画像を適合度順に配列する配列処理と、その配列した複数の画像を配列順に従って複数の画像群に分類する分類処理と、複数の画像群のうちの一の画像群に属する画像に対する脳波データと他の画像群に属する一定数の一部の画像に対する脳波データとを加算処理して得られるＮ４００の値が最大または最小となる一部の画像を求めることにより画像の配列を変更する画像配列変更モジュール２０２ｆと、画像配列変更モジュール２０２ｆにより変更された画像の配列における操作者に特有の配列の特徴を抽出し、この抽出された特徴に基づいて操作者の検索課題により適合した画像を検索して出力するための補助検索情報を生成する補助検索情報生成モジュール２０２ｇとを備えて構成される。
【０１１０】
図１１は、上記記録媒体２００に記録された画像検索支援プログラム２０２を実行するためのコンピュータ２のシステム構成図である。コンピュータ２は、画像検索支援プログラム２０２の実行等を制御するＣＰＵ２０と、記録媒体２００に記録された画像検索支援プログラム２０２を読み取り可能な読み取り装置２２と、メモリ（ＲＡＭ）２１と、ディスプレイ等より成る画像表示手段１２と、音声出力手段１６と、脳波データ取得手段１３と、を備えている。ここで、記録媒体２００が読み取り装置２２に挿入されると、記録媒体２００に記録された情報が読み取り装置２２からアクセス可能となり、図１０に示す記録媒体２００のプログラム領域２０１に記録された画像検索支援プログラム２０２が、コンピュータ２によって実行可能となる。
【０１１１】
上記読み取り装置２２としては、記録媒体２００に対応して、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、あるいは磁気テープドライブ装置などが用いられる。
【０１１２】
【発明の効果】
以上、詳細に説明したとおり、本発明によれば、操作者の意図や趣向等を正確に反映した画像を検索して呈示することができる画像検索支援装置、画像検索支援方法、画像検索支援プログラムおよびコンピュータ読み取り可能な記録媒体を提供することができる。
【図面の簡単な説明】
【図１】本実施形態に係る画像検索支援装置の全体構成を示すブロック図である。
【図２】本実施形態に係る画像検索支援装置に含まれる電極の配置を示す図である。
【図３】本実施形態に係る画像検索支援方法の全体処理を示す流れ図である。
【図４】本実施形態に係る画像検索支援方法に含まれる画像表示処理及び脳波データ取得処理の概要を示す流れ図である。
【図５】脳波データに基づいて算出された事象関連電位波形を示す図である。
【図６】本実施形態に係る画像検索支援方法の配列変更処理を示す流れ図である。
【図７】本実施形態に係る画像検索支援方法の配列変更処理を示す流れ図である。
【図８】本実施形態に係る画像検索支援方法の配列変更処理を示す流れ図である。
【図９】本実施形態に係る画像検索支援方法の配列変更処理を示す流れ図である。
【図１０】本実施形態に係る記録媒体の構成図である。
【図１１】本実施形態に係るコンピュータのシステム構成図である。
【符号の説明】
１…画像検索支援装置、１０…画像記憶手段、１１…画像検索手段、１２…画像表示手段、１３…脳波データ取得手段、１４…画像配列変更手段、１５…補助検索情報生成手段、１６…音声出力手段、１００、１０１、１０２、１０３…電極、２００…記録媒体、２０２…画像検索支援プログラム。

Claims

複数の画像及び前記複数の画像それぞれの属性情報を記憶している画像記憶手段と、
前記画像記憶手段により記憶されている前記属性情報および操作者の検索課題に基づいて、前記画像記憶手段により記憶されている前記複数の画像それぞれの前記検索課題に対する適合度を求め、前記画像記憶手段により記憶されている前記複数の画像のうちから適合度が高い複数の画像を検索して出力する画像検索手段と、
前記画像検索手段により出力された前記複数の画像それぞれを逐次表示する画像表示手段と、
前記画像表示手段により逐次表示された前記複数の画像それぞれを操作者が視認した時に生じる前記操作者の脳波データを取得する脳波データ取得手段と、
前記画像検索手段により出力された前記複数の画像を適合度順に配列する配列処理と、その配列した前記複数の画像を配列順に従って複数の画像群に分類する分類処理と、前記複数の画像群のうちの一の画像群に属する画像に対する脳波データと他の画像群に属する一定数の一部の画像に対する脳波データとを加算処理して得られるＮ４００の値が最大または最小となる前記一部の画像を求めることにより画像の配列を変更する変更処理と、を行う画像配列変更手段と、
を備えることを特徴とする画像検索支援装置。
前記画像配列変更手段により変更された画像の配列における前記操作者に特有の前記配列の特徴を抽出し、この抽出された特徴に基づいて前記操作者の検索課題により適合した画像を検索して出力するための補助検索情報を生成する補助検索情報生成手段をさらに備え、
前記画像検索手段は、前記補助検索情報生成手段により生成された前記補助検索情報、前記属性情報及び操作者の検索課題に基づいて、前記画像記憶手段により記憶されている前記複数の画像それぞれの前記検索課題に対する適合度を求め、前記画像記憶手段により記憶されている前記複数の画像のうちから適合度が高い複数の画像を検索して出力する、
ことを特徴とする請求項１に記載の画像検索支援装置。
前記画像配列変更手段は、前記画像検索手段により出力された複数の画像を前記適合度の高い順に第１画像群、第２画像群及び第３画像群に分類し、
前記第２画像群に属する一部の画像を前記第１画像群に加えて第４画像群とし、前記第２画像群に属する残りの画像を前記第３画像群に加えて第５画像群とし、
前記第４画像群に属するそれぞれの画像に対する脳波データを加算し、前記第５画像群に属するそれぞれの画像に対する脳波データを加算し、それぞれの加算結果におけるＮ４００の値の差が最大になる前記一部の画像及び前記残りの画像それぞれを求めることにより前記第２画像群に属する複数の画像の配列を変更する、
ことを特徴とする請求項１に記載の画像検索支援装置。
前記画像配列変更手段は、前記画像検索手段により出力された複数の画像を前記適合度の高い順に第６画像群及び第７画像群に分類し、
前記第７画像群に属する一部の画像を前記第６画像群に加えて第８画像群とし、
前記第８画像群に属するそれぞれの画像に対する脳波データを加算し、その加算結果におけるＮ４００の値が最大になる前記一部の画像を求めることにより前記第７画像群に属する複数の画像の配列を変更する、
ことを特徴とする請求項１に記載の画像検索支援装置。
前記画像配列変更手段は、前記画像検索手段により出力された複数の画像を前記適合度の低い順に第９画像群及び第１０画像群に分類し、
前記第１０画像群に属する一部の画像を前記第９画像群に加えて第１１画像群とし、
前記第１１画像群に属するそれぞれの画像に対する脳波データを加算し、その加算結果におけるＮ４００の値が最小になる前記一部の画像を求めることにより前記第１０画像群に属する複数の画像の配列を変更する、
ことを特徴とする請求項１に記載の画像検索支援装置。
前記画像配列変更手段は、前記変更処理により配列を変更した複数の画像について前記分類処理または前記加算処理の内容を変更して前記分類処理および前記変更処理を繰り返す、
ことを特徴とする請求項１に記載の画像検索支援装置。
前記画像配列変更手段は、前記画像検索手段により出力された前記複数の画像を３以上の画像群に分類した場合に、何れかの前記画像群に属する前記画像の数が、前記画像についての前記脳波データを加算することにより脳波データ中のノイズ成分を除去できる数に満たないときには、前記画像検索手段により出力された前記複数の画像を２の画像群に分類する、
ことを特徴とする請求項１に記載の画像検索支援装置。
前記画像表示手段は、前記検索課題を文字で表示した後に前記画像検索手段により出力された前記複数の画像の何れかを表示することを繰り返し行う、
ことを特徴とする請求項１に記載の画像検索支援装置。
前記画像表示手段は、前記検索課題を文字で一度だけ表示した後に前記画像検索手段により出力された複数の前記画像それぞれを逐次表示する、
ことを特徴とする請求項１に記載の画像検索支援装置。
前記画像検索手段により出力された前記複数の画像を逐次表示する前に前記検索課題を音声で出力する音声出力手段をさらに備える、
ことを特徴とする請求項１に記載の画像検索支援装置。
前記脳波データ取得手段は、前記操作者の前頭葉から頭頂にかけて設けられる複数の電極を有し、前記複数の電極それぞれにより前記操作者の前記脳波データを取得する、
ことを特徴とする請求項１に記載の画像検索支援装置。
複数の画像及び前記複数の画像それぞれの属性情報を記憶している画像記憶手段を有し、前記画像記憶手段により記憶されている画像の検索をするときに検索支援を行う画像検索支援方法において、
前記画像記憶手段により記憶されている前記属性情報および操作者の検索課題に基づいて、前記画像記憶手段により記憶されている前記複数の画像それぞれの前記検索課題に対する適合度を求め、前記画像記憶手段により記憶されている前記複数の画像のうちから適合度が高い複数の画像を検索して出力する画像検索ステップと、
前記画像検索ステップで出力された前記複数の画像それぞれを逐次表示する画像表示ステップと、
前記画像表示ステップで逐次表示された前記複数の画像それぞれを操作者が視認した時に生じる前記操作者の脳波データを取得する脳波データ取得ステップと、
前記画像検索ステップで出力された前記複数の画像を適合度順に配列する配列処理と、その配列した前記複数の画像を配列順に従って複数の画像群に分類する分類処理と、前記複数の画像群のうちの一の画像群に属する画像に対する脳波データと他の画像群に属する一定数の一部の画像に対する脳波データとを加算処理して得られるＮ４００の値が最大または最小となる前記一部の画像を求めることにより画像の配列を変更する変更処理と、を行う画像配列変更ステップと、
を備えることを特徴とする画像検索支援方法。
前記画像配列変更ステップで変更された画像の配列における前記操作者に特有の前記配列の特徴を抽出し、この抽出された特徴に基づいて前記操作者の検索課題により適合した画像を検索して出力するための補助検索情報を生成する補助検索情報生成ステップをさらに備え、
前記画像検索ステップでは、前記補助検索情報生成ステップで生成された前記補助検索情報、前記属性情報及び操作者の検索課題に基づいて、前記画像記憶手段により記憶されている前記複数の画像それぞれの前記検索課題に対する適合度を求め、前記画像記憶手段により記憶されている前記複数の画像のうちから適合度が高い複数の画像を検索して出力する、
ことを特徴とする請求項１２に記載の画像検索支援方法。
前記画像配列変更ステップでは、前記画像検索ステップで出力された複数の画像を前記適合度の高い順に第１画像群、第２画像群及び第３画像群に分類し、
前記第２画像群に属する一部の画像を前記第１画像群に加えて第４画像群とし、前記第２画像群に属する残りの画像を前記第３画像群に加えて第５画像群とし、
前記第４画像群に属するそれぞれの画像に対する脳波データを加算し、前記第５画像群に属するそれぞれの画像に対する脳波データを加算し、それぞれの加算結果におけるＮ４００の値の差が最大になる前記一部の画像及び前記残りの画像それぞれを求めることにより前記第２画像群に属する複数の画像の配列を変更する、
ことを特徴とする請求項１２に記載の画像検索支援方法。
前記画像配列変更ステップでは、前記画像検索ステップで出力された複数の画像を前記適合度の高い順に第６画像群及び第７画像群に分類し、
前記第７画像群に属する一部の画像を前記第６画像群に加えて第８画像群とし、
前記第８画像群に属するそれぞれの画像に対する脳波データを加算し、その加算結果におけるＮ４００の値が最大になる前記一部の画像を求めることにより前記第７画像群に属する複数の画像の配列を変更する、
ことを特徴とする請求項１２に記載の画像検索支援方法。
前記画像配列変更ステップでは、前記画像検索ステップで出力された複数の画像を前記適合度の低い順に第９画像群及び第１０画像群に分類し、
前記第１０画像群に属する一部の画像を前記第９画像群に加えて第１１画像群とし、
前記第１１画像群に属するそれぞれの画像に対する脳波データを加算し、その加算結果におけるＮ４００の値が最小になる前記一部の画像を求めることにより前記第１０画像群に属する複数の画像の配列を変更する、
ことを特徴とする請求項１２に記載の画像検索支援方法。
前記画像配列変更ステップでは、前記変更処理により配列を変更した複数の画像について前記分類処理または前記加算処理の内容を変更して前記分類処理および前記変更処理を繰り返す、
ことを特徴とする請求項１２に記載の画像検索支援方法。
前記画像配列変更ステップでは、前記画像検索ステップで出力された前記複数の画像を３以上の画像群に分類した場合に、何れかの前記画像群に属する前記画像の数が、前記画像についての前記脳波データを加算することにより脳波データ中のノイズ成分を除去できる数に満たないときには、前記画像検索ステップで出力された前記複数の画像を２の画像群に分類する、
ことを特徴とする請求項１２に記載の画像検索支援方法。
前記画像表示ステップでは、前記検索課題を文字で表示した後に前記画像検索ステップで出力された前記複数の画像の何れかを表示することを繰り返し行う、
ことを特徴とする請求項１２に記載の画像検索支援方法
前記画像表示ステップでは、前記検索課題を文字で一度だけ表示した後に前記画像検索ステップで出力された複数の前記画像それぞれを逐次表示する、
ことを特徴とする請求項１２に記載の画像検索支援方法。
前記画像検索ステップ取得された前記複数の画像を逐次表示する前に前記検索課題を音声で出力する音声出力ステップをさらに備える、
ことを特徴とする請求項１２に記載の画像検索支援方法。
前記脳波データ取得ステップでは、前記操作者の前頭葉から頭頂にかけて設けられる複数の電極それぞれにより前記操作者の前記脳波データを取得する、
ことを特徴とする請求項１２に記載の画像検索支援方法。
請求項１２〜２２のいずれか１項に記載の画像検索支援方法をコンピュータに実行させるための画像検索支援プログラム。
請求項２３に記載の画像検索支援プログラムを記録したコンピュータ読み取り可能な記録媒体。