JP5018147B2 - Information processing apparatus, information processing method, and program - Google Patents
Information processing apparatus, information processing method, and program Download PDFInfo
- Publication number
- JP5018147B2 JP5018147B2 JP2007060430A JP2007060430A JP5018147B2 JP 5018147 B2 JP5018147 B2 JP 5018147B2 JP 2007060430 A JP2007060430 A JP 2007060430A JP 2007060430 A JP2007060430 A JP 2007060430A JP 5018147 B2 JP5018147 B2 JP 5018147B2
- Authority
- JP
- Japan
- Prior art keywords
- item
- image
- similarity
- registered
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 21
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000000034 method Methods 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 37
- 238000000605 extraction Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 10
- 230000036651 mood Effects 0.000 description 56
- 238000004891 communication Methods 0.000 description 46
- 239000013598 vector Substances 0.000 description 44
- 239000000284 extract Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、所望の情報を言語化することが難しい場合であっても、所望の情報を容易に検索することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program, and in particular, information processing that makes it possible to easily search for desired information even when it is difficult to verbalize the desired information. The present invention relates to an apparatus, an information processing method, and a program.
近年、テレビジョン放送番組(以下、単に番組と称する)などを記録および再生する記録再生装置において、番組を視聴するユーザの嗜好に基づいて、自動的に番組を記録するものがある。このような記録再生装置では、例えば、コンテントベーストフィルタリングと称される手法(以下、CBF手法と称する)を用いて、記録する番組が検索される(例えば、特許文献1参照)。 2. Description of the Related Art In recent years, there is a recording / reproducing apparatus that records and reproduces a television broadcast program (hereinafter simply referred to as a program) and automatically records the program based on the preference of a user who views the program. In such a recording / reproducing apparatus, for example, a program to be recorded is searched using a technique called content-based filtering (hereinafter referred to as CBF technique) (see, for example, Patent Document 1).
CBF手法とは、番組に対して配信側や販売側によって予め付与されている番組の特徴ベクトルと、ユーザの嗜好情報を示す特徴ベクトルとの類似度をコサイン距離などによって算出し、類似度の高い番組を、ユーザの嗜好に合致した番組として検索し記録する、といった手法である。ユーザの嗜好情報を示す特徴ベクトルは、例えば、ユーザの好みの番組の内容を表す単語を、ユーザに入力してもらうことによって生成される。 The CBF method calculates the similarity between the feature vector of a program that is pre-assigned to the program by the distribution side or the sales side and the feature vector indicating the user's preference information based on the cosine distance, etc. This is a technique of searching and recording a program as a program that matches the user's preference. The feature vector indicating the user preference information is generated, for example, by having the user input a word representing the content of the user's favorite program.
入力された単語を基に所定の情報を検索することは、様々な場面で行われている。例えば、インターネットなどから、ユーザが所望の情報を検索しようとする場合にも、所望の情報と関連性の強い単語を複数入力し、その入力された単語を基に検索することが一般的に行われている。従って、このような情報の検索においては、所望の情報を導き出すために、所望の情報を単語レベルに言語化することが必要である。 Searching for predetermined information based on an input word is performed in various situations. For example, when a user tries to search for desired information from the Internet or the like, it is generally performed to input a plurality of words that are strongly related to the desired information and to search based on the input words. It has been broken. Therefore, in searching for such information, it is necessary to verbalize the desired information to the word level in order to derive the desired information.
しかしながら、所望の情報を単語レベルに言語化することが難しい場合があり、この場合、所望の情報を検索することができない、または、検索するまでに時間がかかるということがあった。 However, there are cases where it is difficult to verbalize desired information to the word level. In this case, the desired information cannot be searched or it may take a long time to search.
本発明は、このような状況に鑑みてなされたものであり、所望の情報を検索するときに、所望の情報を言語化することが難しい場合であっても、容易に検索することができるようにするものである。 The present invention has been made in view of such a situation, and when searching for desired information, even if it is difficult to verbalize the desired information, it can be easily searched. It is to make.
本発明の第1の側面の情報処理装置は、画像の特徴を表す特徴量を、予め登録された複数の登録画像について記憶する画像特徴量記憶手段と、前記登録画像と所定のアイテムとを同一の空間上にマッピングした情報として、前記登録画像と所定のアイテムとの対応を記憶するアイテム対応記憶手段と、所望のアイテムを検索するためにユーザによって指定された画像であるクエリ画像を取得する取得手段と、前記クエリ画像の特徴量を抽出する特徴量抽出手段と、抽出された前記特徴量を用いて、前記クエリ画像と前記登録画像との第1の類似度を計算する類似度計算手段と、前記第1の類似度の高い前記登録画像と前記空間上の距離が近いアイテムを、前記アイテム対応記憶手段から、ユーザに提示する前記アイテムである提示アイテムとして決定する提示アイテム決定手段とを備える。 The information processing apparatus according to the first aspect of the present invention is the same as the image feature amount storage means for storing feature amounts representing image features for a plurality of registered images registered in advance, and the registered image and the predetermined item. As the information mapped on the space, an item correspondence storage means for storing the correspondence between the registered image and a predetermined item, and obtaining a query image that is an image designated by the user to search for a desired item Means, feature amount extraction means for extracting the feature amount of the query image, and similarity calculation means for calculating a first similarity between the query image and the registered image using the extracted feature amount. , item a short distance on the said first high similarity the registration image space, from the item correspondence storage unit, a presentation item is the item to be presented to the user And a presentation item determination means for determining Te.
前記類似度計算手段には、前記登録画像と前記アイテムとの特徴量の類似度である第2の類似度も計算させ、前記提示アイテム決定手段には、前記第1の類似度と前記第2の類似度の積を加算した値に基づいて、前記提示アイテムを決定させることができる。 The similarity calculation means also calculates a second similarity that is a similarity between the registered image and the item, and the presentation item determination means causes the first similarity and the second similarity to be calculated. The present item can be determined based on the value obtained by adding the products of the similarities.
前記提示アイテム決定手段には、前記第1の類似度の高い複数の前記登録画像と前記空間上の距離が近いアイテムの頻度を計算させ、頻度の高いアイテムを、前記提示アイテムとして決定させることができる。 The presenting item determining means may calculate the frequency of an item whose distance in the space is close to the plurality of registered images having a high first similarity, and determine an item with a high frequency as the presenting item. it can.
本発明の第1の側面の情報処理方法は、画像の特徴を表す特徴量を、予め登録された複数の登録画像について記憶する画像特徴量記憶手段と、前記登録画像と所定のアイテムとを同一の空間上にマッピングした情報として、前記登録画像と所定のアイテムとの対応を記憶するアイテム対応記憶手段とを備え、ユーザに提示する前記アイテムである提示アイテムを決定する情報処理装置の情報処理方法において、所望のアイテムを検索するために前記ユーザによって指定された画像であるクエリ画像を取得し、前記クエリ画像の特徴量を抽出し、抽出された前記特徴量を用いて、前記クエリ画像と前記登録画像との類似度を計算し、前記類似度の高い前記登録画像と前記空間上の距離が近いアイテムを、前記アイテム対応記憶手段から、前記提示アイテムとして決定するステップを含む。 The information processing method according to the first aspect of the present invention is the same as the image feature amount storage means for storing the feature amount representing the feature of the image for a plurality of registered images registered in advance, and the registered image and the predetermined item. An information processing method for an information processing apparatus comprising: item correspondence storage means for storing correspondence between the registered image and a predetermined item as information mapped on the space of the information processing apparatus, and determining a presentation item that is the item to be presented to the user A query image, which is an image designated by the user to search for a desired item, extracts a feature amount of the query image, and uses the extracted feature amount to extract the query image and the query image the similarity between the registered image is calculated and the high degree of similarity the registration image item distance is short on the space, from the item correspondence storage means, said Hisage And determining as an item.
本発明の第1の側面のプログラムは、画像の特徴を表す特徴量を、予め登録された複数の登録画像について記憶する画像特徴量記憶手段と、前記登録画像と所定のアイテムとを同一の空間上にマッピングした情報として、前記登録画像と所定のアイテムとの対応を記憶するアイテム対応記憶手段とを用いて、ユーザに提示する前記アイテムである提示アイテムを決定する処理を、コンピュータに実行させるプログラムにおいて、所望のアイテムを検索するために前記ユーザによって指定された画像であるクエリ画像を取得し、前記クエリ画像の特徴量を抽出し、抽出された前記特徴量を用いて、前記クエリ画像と前記登録画像との類似度を計算し、前記類似度の高い前記登録画像と前記空間上の距離が近いアイテムを、前記アイテム対応記憶手段から、前記提示アイテムとして決定するステップを含む。 The program according to the first aspect of the present invention includes an image feature amount storage unit that stores feature amounts representing image features for a plurality of registered images registered in advance, and the registered image and a predetermined item in the same space. A program for causing a computer to execute a process of determining a presentation item, which is the item to be presented to a user, using item correspondence storage means for storing correspondence between the registered image and a predetermined item as information mapped above A query image, which is an image designated by the user for searching for a desired item, extracts a feature amount of the query image, and uses the extracted feature amount to extract the query image and the query image the similarity between the registered image is calculated and the high degree of similarity the registration image item distance is short on the space, the item corresponding memory From stage, comprising determining as the presentation item.
本発明の第1の側面においては、所望のアイテムを検索するためにユーザによって指定された画像であるクエリ画像が取得され、その特徴量が抽出される。さらに、抽出された特徴量を用いて、クエリ画像と登録画像との類似度が計算され、類似度の高い登録画像と空間上の距離が近いアイテムが、アイテム対応記憶手段から、提示アイテムとして決定される。 In the first aspect of the present invention, a query image, which is an image designated by a user for searching for a desired item, is acquired, and its feature value is extracted. Further, using the extracted feature amount, the similarity between the query image and the registered image is calculated, and an item having a spatial distance close to the registered image having a high similarity is determined as the presentation item from the item correspondence storage unit. Is done.
本発明の第1の側面によれば、ユーザは所望の情報を検索することができる。 According to the first aspect of the present invention, the user can search for desired information.
また、本発明の第1の側面によれば、所望の情報を言語化することが難しい場合であっても、ユーザは所望の情報を容易に検索することができる。 Further, according to the first aspect of the present invention, even when it is difficult to verbalize desired information, the user can easily search for desired information.
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between the constituent elements of the present invention and the embodiments described in the specification or the drawings are exemplified as follows. This description is intended to confirm that the embodiments supporting the present invention are described in the specification or the drawings. Therefore, even if there is an embodiment which is described in the specification or the drawings but is not described here as an embodiment corresponding to the constituent elements of the present invention, that is not the case. It does not mean that the form does not correspond to the constituent requirements. Conversely, even if an embodiment is described here as corresponding to a configuration requirement, that means that the embodiment does not correspond to a configuration requirement other than the configuration requirement. It's not something to do.
本発明の第1の側面の情報処理装置(例えば、図3のサーバ3)は、画像の特徴を表す特徴量を、予め登録された複数の登録画像について記憶する画像特徴量記憶手段(例えば、図3の特徴量DB11)と、前記登録画像と所定のアイテムとを同一の空間上にマッピングした情報として、前記登録画像と所定のアイテムとの対応を記憶するアイテム対応記憶手段(例えば、図3の画像アイテム対応DB12)と、所望のアイテムを検索するためにユーザによって指定された画像であるクエリ画像を取得する取得手段(例えば、図3の通信部31)と、前記クエリ画像の特徴量を抽出する特徴量抽出手段(例えば、図3の特徴量抽出部32)と、抽出された前記特徴量を用いて、前記クエリ画像と前記登録画像との第1の類似度を計算する類似度計算手段(例えば、図3の類似度計算部33)と、前記第1の類似度の高い前記登録画像と前記空間上の距離が近いアイテムを、前記アイテム対応記憶手段から、ユーザに提示する前記アイテムである提示アイテムとして決定する提示アイテム決定手段(例えば、図3の提示アイテム決定部34)とを備える。
The information processing apparatus (for example, the
本発明の第1の側面の情報処理方法は、画像の特徴を表す特徴量を、予め登録された複数の登録画像について記憶する画像特徴量記憶手段(例えば、図3の特徴量DB11)と、前記登録画像と所定のアイテムとを同一の空間上にマッピングした情報として、前記登録画像と所定のアイテムとの対応を記憶するアイテム対応記憶手段(例えば、図3の画像アイテム対応DB12)とを備え、ユーザに提示する前記アイテムである提示アイテムを決定する情報処理装置(例えば、図3のサーバ3)の情報処理方法において、所望のアイテムを検索するために前記ユーザによって指定された画像であるクエリ画像を取得し(例えば、図6のステップS13)、前記クエリ画像の特徴量を抽出し(例えば、図6のステップS14)、抽出された前記特徴量を用いて、前記クエリ画像と前記登録画像との類似度を計算し(例えば、図6のステップS15)、前記類似度の高い前記登録画像と前記空間上の距離が近いアイテムを、前記アイテム対応記憶手段から、前記提示アイテムとして決定する(例えば、図6のステップS18)ステップを含む。
An information processing method according to the first aspect of the present invention includes an image feature amount storage unit (for example, a
以下、図を参照して、本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本発明を適用した検索システムの一実施の形態の構成例を示している。 FIG. 1 shows a configuration example of an embodiment of a search system to which the present invention is applied.
図1の検索システムは、ユーザの所望するアイテムを容易に検索することができるシステムであり、ユーザが所有し、所定の情報を入力する携帯電話機1、所定の情報を伝送するインターネットまたはLAN(Local Area Network)などからなるネットワーク2、および、携帯電話機1から送信された情報に基づいて、ユーザが所望するアイテムを検索し、その検索結果としてのアイテムを識別する情報、例えば、そのアイテムの名前、または、そのアイテムをユーザが手に入れられる場所(アイテムの格納場所)などを、携帯電話機1に返信するサーバ(情報処理装置)3により構成される。なお、以下では、アイテムを識別する情報を送信することを、単にアイテムを送信するという。 The search system of FIG. 1 is a system that can easily search for an item desired by the user. The mobile phone 1 that the user owns and inputs predetermined information, the Internet or LAN (Local Area network) and the information transmitted from the mobile phone 1 to search for an item desired by the user and information for identifying the item as the search result, for example, the name of the item, Alternatively, the server (information processing device) 3 that returns a place (item storage place) where the user can obtain the item to the mobile phone 1 is configured. In the following, transmitting information for identifying an item is simply referred to as transmitting an item.
ここで、アイテムとは、ユーザが利用するソフトウエアまたはハードウエア(物品)をいう。例えば、テレビジョン放送番組、文章、映画、写真、楽曲等(動画像、静止画像、若しくは音声、または、それらの組合せ等)といったソフトウエア(データ)、服、靴、食物等の物品(ハードウエア)が、本明細書でいうアイテムである。 Here, the item refers to software or hardware (article) used by the user. For example, software (data) such as television broadcast programs, sentences, movies, photographs, music, etc. (moving images, still images, audio, or combinations thereof), articles such as clothes, shoes, food (hardware) ) Is an item in this specification.
従来の検索システムでは、ユーザが所定のアイテムを検索する場合には、その所望のアイテムと関連性の強い情報を単語として複数入力し、入力された複数の単語のいずれにも関連するアイテムを検索して提示するような処理が行われていた。 In a conventional search system, when a user searches for a predetermined item, a plurality of pieces of information that are strongly related to the desired item are input as words, and items related to any of the plurality of input words are searched. The process of presenting was performed.
従って、所望のアイテムと関連性の強い情報を単語として表すことが難しい場合、換言すれば、所望のアイテムを言い表すのに的確な単語がないときには、所望のアイテムをうまく検索できないことがあった。 Accordingly, when it is difficult to express information strongly related to a desired item as a word, in other words, when there is no accurate word to express the desired item, the desired item may not be searched well.
例えば、ユーザがある場所で目にした風景にあうような服(アイテム)を検索しようとしたとき、その目にした風景を数語で表すのは難しく、所望のアイテムを検索することが困難であった。 For example, when trying to search for clothes (items) that match the scenery that the user sees at a certain place, it is difficult to express the scenery that the user sees in several words, and it is difficult to search for a desired item. there were.
図1の検索システムは、そのような場面においても、所望のアイテムを検索することができるようにしたシステムである。 The search system of FIG. 1 is a system that enables a desired item to be searched even in such a scene.
携帯電話機1は、通常の通話機能の他に、画像を撮影(撮像)する撮影機能、および文字データや画像データを送受信する通信機能を少なくとも有している。携帯電話機1は、ユーザの操作に基づいて、所望のアイテムを検索させるためにサーバ3に提供する画像であって、所望のアイテムに関連する画像(以下、クエリ画像と称する)を、ネットワーク2を介して、サーバ3に送信する。なお、携帯電話機1からは、クエリ画像とともに、クエリ画像を用いて検索処理を実行させることを表す検索コマンドも同時に送信されるものとする。
The mobile phone 1 has at least a photographing function for photographing (capturing) an image and a communication function for transmitting and receiving character data and image data in addition to a normal call function. The mobile phone 1 is an image provided to the
サーバ3は、携帯電話機1からネットワーク2を介して送信されてきたクエリ画像を、検索コマンドとともに受信する。そして、サーバ3は、そのクエリ画像に基づいて所定のアイテムを検索し、検索されたアイテムを、ネットワーク2を介して携帯電話機1に送信(返信)する。
The
従って、図1の検索システムでは、単語を入力することなく、所望のアイテムを検索することができる。 Therefore, in the search system of FIG. 1, it is possible to search for a desired item without inputting a word.
図2を参照して、図1の検索システムによる第1のアイテム検索処理の概要を説明する。 With reference to FIG. 2, an outline of the first item search process by the search system of FIG. 1 will be described.
携帯電話機1は、ユーザによって指定されたクエリ画像をサーバ3に送信する。クエリ画像は、例えば、携帯電話機1で撮影された画像、または、携帯電話機1が電子メールで受信した画像などとすることができる。
The mobile phone 1 transmits a query image designated by the user to the
サーバ3の特徴量DB(Database)11には、様々な画像について、その画像の特徴を表す特徴量が記憶されている。サーバ3は、携帯電話機1から送信されてきたクエリ画像を受信し、その受信したクエリ画像の特徴量を抽出する。そして、サーバ3は、クエリ画像と画像の特徴量が類似するN枚(N≧1)の画像(画像群)を、特徴量DB11に記憶されている多数の画像のなかから検出する。特徴量DB11から検出された、クエリ画像と画像の特徴量が類似する画像を、類似画像と称する。
A feature amount DB (Database) 11 of the
サーバ3の画像アイテム対応DB12には、特徴量の類似性を基に、特徴量DB11に記憶されている画像それぞれについて、1以上のアイテムが対応付けられている。特徴量の類似した画像どうしには、同じアイテムが対応付けられていることもある。
In the image
サーバ3は、検出されたN枚の類似画像それぞれと対応付けられているアイテムを、画像アイテム対応DB12から取得する。そして、サーバ3は、N枚の類似画像と対応付けられているアイテムのそれぞれについて、アイテムの頻度を計算する。ここで、アイテムの頻度とは、所定のアイテムが、画像アイテム対応DB12において対応付けられている類似画像の数を表し、例えば、アイテムfが、類似画像A、類似画像B、および類似画像Dに対して対応付けられている場合には、アイテムfの頻度は3と計算される。
The
サーバ3は、計算されたアイテムの頻度をスコアとし、スコアの高いアイテムを、検索処理の結果としてユーザに提示する提示アイテムとして決定し、携帯電話機1に送信する。なお、提示アイテムは1つとは限らず、スコアの高い上位いくつかのアイテムを提示アイテムと決定することができる。
The
図3は、図2を参照して説明した第1のアイテム検索処理を実行する図1の検索システムの機能的構成例を示すブロック図である。なお、図3においては、ネットワーク2の図示が省略されている。 3 is a block diagram illustrating a functional configuration example of the search system of FIG. 1 that executes the first item search process described with reference to FIG. In addition, illustration of the network 2 is abbreviate | omitted in FIG.
携帯電話機1は、撮像部21、操作入力部22、表示部23、通信部24、および制御部25により構成される。一方、サーバ3は、特徴量DB11、画像アイテム対応DB12、通信部31、特徴量抽出部32、類似度計算部33、および提示アイテム決定部34により構成される。
The cellular phone 1 includes an
撮像部21は、操作入力部22におけるユーザの操作に基づいて、所定の被写体を撮影する。撮影された画像は、図示せぬメモリに記憶される。
The
操作入力部22は、通話を開始または終了するボタン、文字または数字などを入力するボタンなどにより構成され、ユーザの操作を受け付け、操作されたボタンに対応する操作情報を制御部25に供給する。
The
表示部23は、LCD(Liquid Crystal Display)などのディスプレイにより構成され、所定の文字および画像を表示する。通信部24は、所定の情報を、サーバ3の通信部31との間で送受信する。例えば、通信部24は、撮像部21で撮影され、図示せぬメモリに一時的に記憶されている画像をクエリ画像としてサーバ3に送信し、クエリ画像から検索されたアイテムを受信する。制御部25は、携帯電話機1の各部を制御する。
The
サーバ3の特徴量DB11は、画像の特徴を表す特徴量を、予め登録された複数の登録画像それぞれについて記憶する。また、特徴量DB11は、検索対象の多数のアイテムについても、そのアイテムの特徴を表す特徴量を記憶する。
The
画像アイテム対応DB12は、特徴量の類似性を基に、登録画像と検索対象のアイテムとを対応付けて記憶する。
The image
図4は、特徴量DB11の例を、図5は、画像アイテム対応DB12の例を示している。但し、図4および図5に示すデータは、特徴量DB11および画像アイテム対応DB12に記憶されているものの一部である。
FIG. 4 shows an example of the
例えば、特徴量DB11には、図4に示されるように、登録画像としての画像Aおよび画像Bと、検索対象のアイテムとしてのアイテムaおよびアイテムbについての特徴量が記憶されている。
For example, as shown in FIG. 4, the
より具体的には、「涼しげ」、「のどか」、「素朴」、および「暖かい」の4種類のムードに対する割合が、特徴量として画像またはアイテムに設定され、特徴量DB11に記憶されている。ここで、ムードとは、感性(感情)を表す概念または語である。また、割合は、画像またはアイテムが所定のムードを有するか否かを「0」または「1.0」で表している。
More specifically, the ratios of the four types of moods of “cool”, “throat”, “simple”, and “warm” are set in the image or item as feature amounts and stored in the
画像Aは、「涼しげ」というムードに対しては「1.0」の割合を、「のどか」というムードに対しては「1.0」の割合を、「素朴」というムードに対しては「0」の割合を、「暖かい」というムードに対しては「0」の割合を有している。同様に、画像Bは、「涼しげ」、「のどか」、「素朴」、および「暖かい」のムードに対して、それぞれ、「0」、「1.0」、「0」、および「1.0」の割合を有している。 Image A has a ratio of “1.0” for the mood of “cool”, a ratio of “1.0” for the mood of “throat”, and “ The ratio of “0” is set to “0” for the mood of “warm”. Similarly, image B has “0”, “1.0”, “0”, and “1.0” for the “cool”, “throat”, “rustic”, and “warm” moods, respectively. ”.
また、アイテムaは、「涼しげ」、「のどか」、「素朴」、および「暖かい」のムードに対して、それぞれ、「0」、「1.0」、「1.0」、および「0」の割合を有し、アイテムbは、「涼しげ」、「のどか」、「素朴」、および「暖かい」のムードに対して、それぞれ、「1.0」、「1.0」、「0」、および「0」の割合を有している。 Item a is “0”, “1.0”, “1.0”, and “0” for the “cool”, “throat”, “rustic”, and “warm” moods, respectively. The item b has a ratio of “1.0”, “1.0”, “0” for “cool”, “throat”, “rustic”, and “warm” moods, respectively. And a ratio of “0”.
各登録画像またはアイテムの全体としての特徴量は、各ムードを成分とするベクトルとして表すことができ、このベクトルをムードベクトルと称する。 The total feature amount of each registered image or item can be expressed as a vector having each mood as a component, and this vector is referred to as a mood vector.
一方、画像アイテム対応DB12には、図5に示されるように、画像A乃至Dそれぞれに対して、特徴量(ムードベクトル)が類似するアイテムが対応付けられて記憶されている。
On the other hand, in the image
具体的には、画像Aは、アイテムb、アイテムf、およびアイテムhと特徴量が類似していることが記憶されており、画像Bは、アイテムeおよびアイテムfと特徴量が類似していることが記憶されている。また、画像Cは、アイテムcおよびアイテムxと特徴量が類似し、画像Dは、アイテムf、アイテムh、アイテムy、およびアイテムzと特徴量が類似していることが記憶されている。 Specifically, it is stored that the feature amount of the image A is similar to the item b, the item f, and the item h, and the feature amount of the image B is similar to the item e and the item f. Is remembered. Further, it is stored that the feature amount of the image C is similar to the item c and the item x, and the feature amount of the image D is similar to the item f, the item h, the item y, and the item z.
図3に戻り、サーバ3の通信部31は、携帯電話機1の通信部24との間で、所定の情報を送受信する。例えば、通信部31は、携帯電話機1から送信されてきたクエリ画像を受信する。受信することにより取得されたクエリ画像は、特徴量抽出部32に供給される。また、通信部31は、提示アイテム決定部34から供給される、検索結果としての提示アイテムを、携帯電話機1の通信部24に送信する。
Returning to FIG. 3, the
特徴量抽出部32は、通信部31から供給されたクエリ画像の特徴量を抽出し、その結果得られるムードベクトルを類似度計算部33に供給する。
The feature
ここで、画像の特徴量としては、例えば、画像のRGBやCIELABによる色の情報、形状情報、周波数成分などを表すベクトルやヒストグラムを採用することができ、画像の特徴量をどのように有している場合が、図4に示した「涼しげ」、「のどか」、「素朴」、および「暖かい」等のムードに対応するかが予め学習されているので、特徴量抽出部32は、抽出された画像の特徴量に基づいてムードベクトルを生成することができる。 Here, as the feature amount of the image, for example, a vector or histogram representing color information, shape information, frequency component, etc. by RGB or CIELAB of the image can be adopted. 4 is learned in advance as to whether it corresponds to the mood such as “cool”, “throat”, “simple”, and “warm” shown in FIG. A mood vector can be generated based on the feature amount of the image.
画像の特徴量とムードとの対応の学習は、例えば、アンケートなどによって多数のユーザに、所定の画像を見たときにどのような感情(ムード)を抱くかのアンケートをとると同時に、その画像の特徴量を抽出し、どのような画像の特徴量のときに、ユーザがどのような感情を持つか、即ち、その画像にどのようなムードを付与すればよいかを、対応分析や主成分分析などの多変量解析により決定するものである。これにより、学習をさせていない未知の画像に対しても、画像の特徴量が分かればムードを付与することができるようになる。 The learning of correspondence between the feature quantity of the image and the mood, for example, by taking a questionnaire on what emotion (mood) the user feels when viewing a predetermined image to a large number of users through a questionnaire, etc. The feature amount is extracted, and what kind of emotion the user has when the feature amount of the image, that is, what kind of mood should be given to the image, correspondence analysis and principal component It is determined by multivariate analysis such as analysis. As a result, it is possible to add a mood to an unknown image that has not been learned if the feature amount of the image is known.
また、特徴量抽出部32は、特徴量DB11へのデータ格納時において、通信部31から供給される登録画像の特徴量を抽出し、その結果得られるムードベクトルを特徴量DB11に記憶させるとともに、通信部31から供給されるアイテムのムードベクトルも特徴量DB11に記憶させる。このアイテムのムードベクトルは、例えば、人手によって付与されたものである。
Further, the feature
類似度計算部33は、特徴量抽出部32から供給されるクエリ画像と、特徴量DB11に記憶されている登録画像それぞれとの類似度を計算し、類似度が高いN枚の登録画像を表す情報を提示アイテム決定部34に供給する。類似度の計算は、例えば、クエリ画像のムードベクトルと、登録画像のムードベクトルのコサイン距離または内積を採用することができる。
The
また、類似度計算部33は、特徴量DB11に記憶されている登録画像およびアイテムそれぞれのムードベクトルに基づいて、画像アイテム対応DB12の、登録画像とアイテムとの対応付けも行う。より具体的には、類似度計算部33は、特徴量DB11に記憶されている登録画像と、特徴量DB11に記憶されている各アイテムとの類似度を計算し、所定の値以上の類似度となるアイテムを、その登録画像に対応するアイテムとして、画像アイテム対応DB12に記憶することを、特徴量DB11に記憶されている登録画像すべてについて行う。
The
提示アイテム決定部34は、類似度計算部33から供給される、N枚の登録画像それぞれについて、画像アイテム対応DB12を参照して、登録画像に対応するアイテムが何であるかを検索する。そして、提示アイテム決定部34は、検索されたアイテムそれぞれについて、アイテムの頻度をスコアとして計算する。さらに、提示アイテム決定部34は、スコアの高いアイテムを、ユーザに提示する提示アイテムとして決定し、通信部31に供給する。
The presented
次に、図6のフローチャートを参照して、第1のアイテム検索処理について説明する。 Next, the first item search process will be described with reference to the flowchart of FIG.
いまユーザが、自分が目にしている風景に合うアイテムを検索しようとした場合、初めに、ステップS11において、携帯電話機1の撮像部21は、操作入力部22におけるユーザの操作に基づいて、所定の被写体(風景)を撮影する。このステップS11で撮影された画像がクエリ画像であるとする。
If the user now tries to search for an item that matches the scenery he / she sees, first, in step S <b> 11, the
ステップS12において、通信部24は、制御部25の制御にしたがい、撮像部21で撮影されたクエリ画像をサーバ3に送信する。
In step S <b> 12, the
ステップS13において、サーバ3の通信部31は、ネットワーク2を介して携帯電話機1の通信部24から送信されてきたクエリ画像を受信する。受信された画像は、特徴量抽出部32に供給される。
In step S <b> 13, the
ステップS14において、特徴量抽出部32は、通信部31から供給されたクエリ画像のムードベクトルを生成し、類似度計算部33に供給する。
In step S <b> 14, the feature
ステップS15において、類似度計算部33は、特徴量抽出部32から供給されるクエリ画像のムードベクトルと、特徴量DB11に記憶されている登録画像それぞれのムードベクトルとの類似度を計算する。そして、類似度計算部33は、類似度が高いN枚の登録画像を表す情報を提示アイテム決定部34に供給する。
In step S <b> 15, the
ステップS16において、提示アイテム決定部34は、類似度計算部33から供給された情報が表すN枚の登録画像(類似度の高い登録画像)と紐付けられているアイテムを、画像アイテム対応DB12から取得する。
In step S <b> 16, the presentation
そして、ステップS17において、提示アイテム決定部34は、アイテムの頻度をスコアとして計算し、ステップS18において、スコアの高いアイテムを、提示アイテムとして決定する。決定された提示アイテムは、提示アイテム決定部34から通信部31に供給される。
In step S17, the presentation
ステップS19において、通信部31は、提示アイテムを、ネットワーク2を介して、携帯電話機1に送信する。
In step S <b> 19, the
ステップS20において、携帯電話機1は、送信されてきた提示アイテムを受信し、表示部23に表示する。即ち、通信部24は、サーバ3から送信されてきた提示アイテムを受信し、制御部25に供給する。制御部25は、表示部23を制御して、そのアイテムを表示部23に表示させて、処理を終了する。
In step S <b> 20, the mobile phone 1 receives the transmitted presentation item and displays it on the
以上のように、第1のアイテム検索処理によれば、クエリ画像を用いてユーザの所望のアイテムを検索するので、ユーザは所定の文字(単語)を入力することなく、所望のアイテムをユーザに提示することができる。従って、所望の情報を言語化することが難しい場合であっても、ユーザは容易に検索することができる。 As described above, according to the first item search process, the user's desired item is searched using the query image. Therefore, the user can input the desired item to the user without inputting a predetermined character (word). Can be presented. Therefore, even if it is difficult to verbalize desired information, the user can easily search.
なお、上述した例では、アイテムの頻度を、そのままスコアとして用いたが、その他の計算によってアイテムのスコアを求めることも可能である。例えば、類似度の順位が1位の登録画像に紐付けられているアイテムには10点、類似度の順位が2位の登録画像に紐付けられているアイテムには6点、類似度の順位が3位の登録画像に紐付けられているアイテムには4点など、類似度の順位に応じてアイテムのスコアに重みを持たせる、順位重み付きスコアで提示アイテムを決定してもよい。また、類似度の値そのものを重みとしたアイテムの重み付きスコアを計算することにより、提示アイテムを決定してもよい。 In the above-described example, the item frequency is used as a score as it is, but it is also possible to obtain the item score by other calculations. For example, 10 items are assigned to an item linked to a registered image with the first rank of similarity, and 6 points are assigned to an item linked to a registered image with the second rank of similarity. The item associated with the registered image of the third place may be determined by a rank-weighted score such that the item score is given a weight according to the similarity rank, such as 4 points. Further, the presentation item may be determined by calculating a weighted score of the item with the similarity value itself as a weight.
次に、図7を参照して、図1の検索システムによる第2のアイテム検索処理の概要を説明する。 Next, an outline of the second item search process by the search system of FIG. 1 will be described with reference to FIG.
携帯電話機1は、クエリ画像をサーバ3に送信する。サーバ3は、携帯電話機1から送信されてきたクエリ画像を受信し、その受信したクエリ画像の特徴量を抽出する。さらに、サーバ3は、クエリ画像と画像の特徴量が類似するN枚の類似画像(画像群)を、特徴量DB11に記憶されている多数の登録画像のなかから検出する。ここまでの処理は、上述した第1のアイテム検索処理と同様である。
The mobile phone 1 transmits the query image to the
サーバ3のマッピング情報DB51には、図7に示すように、特徴量DB11に記憶されている登録画像とアイテムを、同一空間Rの空間上にマッピングしたマッピング情報が記憶されている。
As shown in FIG. 7, the
サーバ3は、検出されたN枚の類似画像それぞれの空間R上の距離が近いアイテムから提示アイテムを決定する。より具体的には、サーバ3は、検出されたN枚の類似画像それぞれについて、空間上の距離が近い(類似画像と空間上の距離が所定の範囲以内の)複数のアイテムを検出する。そして、サーバ3は、検出されたすべてのアイテムについて、アイテムの頻度をスコアとして計算し、スコアの高いアイテムを提示アイテムと決定し、携帯電話機1に送信する。
The
図8は、図7を参照して説明した第2のアイテム検索処理を実行する図1の検索システムの機能的構成例を示すブロック図である。なお、図8において、図3と対応する部分については同一の符号を付してあり、重複する説明は適宜省略する。また、ネットワーク2の図示は図3と同様に省略されている。 FIG. 8 is a block diagram illustrating a functional configuration example of the search system in FIG. 1 that executes the second item search process described with reference to FIG. 7. In FIG. 8, parts corresponding to those in FIG. 3 are denoted by the same reference numerals, and redundant description is omitted as appropriate. Further, the illustration of the network 2 is omitted as in FIG.
図8では、画像アイテム対応DB12に代えてマッピング情報DB51が設けられている点と、提示アイテム決定部34に代えて提示アイテム決定部52が設けられている点が、図3と相違する。
8 is different from FIG. 3 in that a
マッピング情報DB51には、上述したように、特徴量DB11に記憶されている登録画像とアイテムを、同一の空間R上にマッピングしたマッピング情報が記憶されている。このマッピング情報は、人手によって作成することも可能であるし、対応分析などを利用し、類似度計算部33が作成することも可能である。
As described above, the
人手によってマッピング情報を作成する場合には、予め空間および次元を定義し、その空間上に、人手により決定された、特徴量DB71の登録画像およびアイテムの位置(座標)が、マッピング情報として記憶される。
When creating mapping information manually, a space and a dimension are defined in advance, and the registered image of the
一方、対応分析を利用する場合には、予め登録画像と類似したアイテムのセット(複数のアイテム)を人手により作成し、類似度計算部33が、そのクロス集計結果を用いて対応分析を行うことで、登録画像とアイテムを同一多次元空間上に写像することができる。
On the other hand, when using correspondence analysis, a set of items (a plurality of items) similar to a registered image is manually created in advance, and the
類似度計算部33は、特徴量抽出部32から供給されるクエリ画像と、特徴量DB11に記憶されている登録画像それぞれとの類似度を計算し、類似度が高いN枚の登録画像を表す情報を提示アイテム決定部52に供給する。
The
提示アイテム決定部52は、類似度計算部33から供給される情報が表す、N枚の登録画像それぞれについて、マッピング情報DB51を参照して、登録画像と空間R上の距離が近い複数のアイテムを検出する。そして、提示アイテム決定部52は、検出されたすべてのアイテムについて、第1のアイテム検索処理と同様のアイテムの頻度をスコアとして計算し、スコアの高いアイテムを提示アイテムと決定し、通信部31に供給する。
The presentation
なお、本実施の形態では、複数枚の類似画像についての情報が類似度計算部33から提示アイテム決定部52に供給されるものとするが、類似度計算部33から供給される類似画像の枚数が1枚である場合には、その1枚の類似画像に空間上の距離が最も近いアイテムを提示アイテムとすればよい。
In the present embodiment, information about a plurality of similar images is supplied from the
図9のフローチャートを参照して、第2のアイテム検索処理について説明する。 The second item search process will be described with reference to the flowchart of FIG.
図9のステップS31乃至S35の処理は、図6のステップS11乃至S15の処理と同様であるので、その説明は省略する。 The processing in steps S31 to S35 in FIG. 9 is the same as the processing in steps S11 to S15 in FIG.
ステップS36において、提示アイテム決定部52は、マッピング情報DB51を参照して、類似度計算部33から供給された情報が表すN枚の登録画像(類似度の高い登録画像)と空間上の距離が近い複数のアイテムを検出する。
In step S36, the presentation
ステップS37において、提示アイテム決定部52は、検出されたすべてのアイテムについて、アイテムの頻度をスコアとして計算し、ステップS38において、スコアの高いアイテムを提示アイテムと決定する。
In step S <b> 37, the presented
そして、ステップS39およびS40では、上述したステップS19およびS20と同様に、通信部31によって提示アイテムが携帯電話機1に送信され、提示アイテムを受信した携帯電話機1では、表示部23に提示アイテムが表示されて、処理が終了する。
In steps S39 and S40, as in steps S19 and S20 described above, the presentation item is transmitted to the mobile phone 1 by the
以上のように、第2のアイテム検索処理においても、ユーザは所定の文字(単語)を入力することなく、所望のアイテムをユーザに提示することができる。従って、所望の情報を言語化することが難しい場合であっても、ユーザは容易に検索することができる。 As described above, also in the second item search process, the user can present a desired item to the user without inputting a predetermined character (word). Therefore, even if it is difficult to verbalize desired information, the user can easily search.
なお、第2のアイテム検索処理においても、各アイテムのスコアを、上述したアイテムの頻度以外の値で求めることが可能である。 In the second item search process, the score of each item can be obtained by a value other than the item frequency described above.
例えば、空間R上の各アイテムが決定されるまでには、クエリ画像と類似画像との類似度(類似度Iと称する)、および、空間R上の距離で表される類似画像とアイテムとの類似度(類似度IIと称する)の2つの類似度が計算されていることになるが、各アイテムのスコアを、類似度Iと類似度IIの積の和(アイテムについての和)として計算することもできる。 For example, until each item on the space R is determined, the similarity between the query image and the similar image (referred to as similarity I), and the similar image and the item represented by the distance on the space R Two similarities of similarity (referred to as similarity II) are calculated, and the score of each item is calculated as the sum of the products of similarity I and similarity II (sum of items) You can also.
次に、図10を参照して、図1の検索システムによる第3のアイテム検索処理の概要を説明する。 Next, with reference to FIG. 10, an outline of the third item search process by the search system of FIG. 1 will be described.
第3のアイテム検索処理は、画像に加えて、文字(単語)も補助的に入力する場合の検索処理である。 The third item search process is a search process in the case where characters (words) are additionally input in addition to images.
即ち、いまユーザは、携帯電話機1において、クエリ画像とともに、所望のアイテムに関連する単語(以下、クエリ語と称する)として「洋服」を指定(入力)したものとする。携帯電話機1は、指定されたクエリ画像とクエリ語「洋服」を、ネットワーク2を介して、サーバ3に送信する。
That is, it is assumed that the user specifies (inputs) “clothes” as a word related to a desired item (hereinafter referred to as a query word) together with the query image in the mobile phone 1. The mobile phone 1 transmits the designated query image and the query word “clothes” to the
サーバ3の特徴量DB71には、図10に示されるように、所定のアイテムに対して、ムードベクトルと、アイテムを説明するキーワードが予め記憶されている。
As shown in FIG. 10, the
サーバ3は、最初に、上述した2つの実施の形態と同様に、携帯電話機1から送信されてきたクエリ画像を受信し、その受信したクエリ画像の特徴量を抽出する。また、サーバ3は、携帯電話機1から送信されてきたクエリ語に基づいて、特徴量DB71に記憶されているアイテムを検索する。これにより、クエリ語と同一のキーワードを有する複数のアイテム(アイテム群)が特徴量DB71から検出される。
First, similarly to the two embodiments described above, the
次に、サーバ3は、クエリ語をキーワードとして有するアイテムそれぞれについて、クエリ画像との類似度を計算する。より具体的には、アイテムに対して設定されているムードベクトルと、クエリ画像から抽出された特徴量から生成されるムードベクトルとの類似度が計算される。その結果、類似度の高いアイテムが提示アイテムとして決定され、携帯電話機1に送信される。
Next, the
図11は、図10を参照して説明した第3のアイテム検索処理を実行する図1の検索システムの機能的構成例を示すブロック図である。なお、図11において、図3と対応する部分については同一の符号を付してあり、重複する説明は適宜省略する。また、ネットワーク2の図示は図3と同様に省略されている。 FIG. 11 is a block diagram illustrating a functional configuration example of the search system of FIG. 1 that executes the third item search process described with reference to FIG. In FIG. 11, parts corresponding to those in FIG. 3 are denoted by the same reference numerals, and redundant description will be omitted as appropriate. Further, the illustration of the network 2 is omitted as in FIG.
図11では、特徴量DB71、検索部72、および提示アイテム決定部73が、特徴量DB11および提示アイテム決定部34に代えて設けられている点と、画像アイテム対応DB12が省略されている点が、図3と相違する。
In FIG. 11, the
通信部31は、携帯電話機1の通信部24から送信されてきたクエリ画像とクエリ語を受信し、クエリ画像を特徴量抽出部32に、クエリ語を検索部72に供給する。
The
特徴量抽出部32は、上述したように、クエリ画像の特徴量を抽出し、その結果得られるムードベクトルを類似度計算部33に供給する。
As described above, the feature
特徴量DB71は、各種の登録画像およびアイテムについてのムードベクトルを記憶する。なお、特徴量DB71は、図12に示されるように、各アイテムについては、ムードベクトルだけでなく、キーワードも対応付けて記憶されている点が、図3の特徴量DB11と異なる。
The
図12の例では、アイテムaには、「涼しげ」、「のどか」、「素朴」、および「暖かい」のムードベクトル(「0」、「1.0」、「1.0」、および「0」)とともに、キーワード「洋服」および「女性用」が記憶されている。また、アイテムbには、「涼しげ」、「のどか」、「素朴」、および「暖かい」のムードベクトル(「1.0」、「1.0」、「0」、および「0」)とともに、キーワード「洋服」および「男性用」が記憶されている。 In the example of FIG. 12, the item a includes mood vectors of “cool”, “throat”, “rustic”, and “warm” (“0”, “1.0”, “1.0”, and “0”). )) And keywords “clothes” and “for women” are stored. Item b includes “cool”, “throat”, “rustic”, and “warm” mood vectors (“1.0”, “1.0”, “0”, and “0”), The keywords “clothes” and “for men” are stored.
図11の検索部72は、特徴量DB71(図12)の各アイテムについてキーワードをチェックし、通信部31から供給されたクエリ語をキーワードとして有するアイテムをすべて検出し、検出されたアイテムのムードベクトルを類似度計算部33に供給する。
The
類似度計算部33は、検索部72から供給されるアイテムのムードベクトルと、特徴量抽出部32から供給されるクエリ画像のムードベクトルとの類似度を計算し、その計算結果を提示アイテム決定部73に供給する。
The
提示アイテム決定部73は、類似度計算部33から供給される各アイテム(クエリ語を有するアイテム)の、クエリ画像との類似度に基づいて、提示アイテムを決定し、通信部31に供給する。即ち、類似度の高い所定個数のアイテムが、提示アイテムとして通信部31に供給される。
The presentation
図13は、第3のアイテム検索処理を説明するフローチャートである。 FIG. 13 is a flowchart for explaining the third item search process.
初めに、ステップS51において、携帯電話機1の操作入力部22は、ユーザの操作に基づいて、クエリ語の入力を受け付け、ステップS52において、撮像部21は、所定の被写体を撮影する。
First, in step S51, the
ステップS53において、通信部24は、制御部25の制御にしたがい、クエリ語とクエリ画像をサーバ3に送信する。
In step S <b> 53, the
ステップS54において、サーバ3の通信部31は、ネットワーク2を介して携帯電話機1の通信部24から送信されてきたクエリ語とクエリ画像を受信し、クエリ画像を特徴量抽出部32に、クエリ語を検索部72にそれぞれ供給する。
In step S <b> 54, the
ステップS55において、特徴量抽出部32は、通信部31から供給されたクエリ画像のムードベクトルを生成し、類似度計算部33に供給する。
In step S <b> 55, the feature
ステップS56において、検索部72は、通信部31から供給されたクエリ語を有するアイテムを特徴量DB71から検索する。検索部72は、検索の結果得られたアイテムのムードベクトルを類似度計算部33に供給する。
In step S <b> 56, the
ステップS57において、類似度計算部33は、検索部72から供給されたアイテムのムードベクトルと、特徴量抽出部32から供給されたクエリ画像のムードベクトルとの類似度を計算する。
In step S <b> 57, the
ステップS58において、提示アイテム決定部73は、類似度計算部33から供給される各アイテムの、クエリ画像との類似度に基づいて、提示アイテムを決定する。即ち、提示アイテム決定部73は、類似度の高い所定個数のアイテムを、提示アイテムとして通信部31に供給する。
In step S <b> 58, the presentation
ステップS59において、通信部31は、提示アイテムを、ネットワーク2を介して、携帯電話機1に送信する。
In step S <b> 59, the
ステップS60において、携帯電話機1は、送信されてきた提示アイテムを受信し、表示部23に表示する。即ち、通信部24は、サーバ3から送信されてきた提示アイテムを受信し、制御部25に供給する。制御部25は、表示部23を制御して、そのアイテムを表示部23に表示させて、処理を終了する。
In step S <b> 60, the mobile phone 1 receives the transmitted presentation item and displays it on the
以上のように、第3のアイテム検索処理によれば、クエリ語を使用して検索対象のアイテムを絞り、クエリ画像に対応する所望のアイテムをユーザに提示することができる。従って、所望の情報を言語化することが難しい場合であっても、ユーザは容易に検索することができる。 As described above, according to the third item search process, the search target items can be narrowed down using the query word, and a desired item corresponding to the query image can be presented to the user. Therefore, even if it is difficult to verbalize desired information, the user can easily search.
次に、図14のフローチャートを参照して、その他の第3のアイテム検索処理について説明する。上述した例では、クエリ画像全体から得られる特徴量(ムードベクトル)を、特徴量DB71に記憶されているアイテムの特徴量(ムードベクトル)と比較したが、この処理では、ユーザがクエリ画像のなかで特に着目する着目点(着目領域)を指定し、その着目点の特徴量に基づいたアイテムの検索ができるようにするものである。
Next, another third item search process will be described with reference to the flowchart of FIG. In the above-mentioned example, the feature amount (mood vector) obtained from the entire query image is compared with the feature amount (mood vector) of the item stored in the
初めに、ステップS71において、携帯電話機1の操作入力部22は、ユーザの操作に基づいて、クエリ語の入力を受け付け、ステップS72において、撮像部21は、所定の被写体を撮影する。
First, in step S71, the
ステップS73において、表示部23は、制御部25の制御の下、撮影されたクエリ画像を表示する。そして、操作入力部22は、ユーザの操作に基づいて、表示されたクエリ画像に対する着目点の入力を受け付ける。操作入力部22で受け付けられた着目点についての情報(以下、着目点情報と称する)は、制御部25に供給される。
In step S <b> 73, the
ステップS74において、通信部24は、制御部25の制御にしたがい、クエリ語、クエリ画像、および着目点情報をサーバ3に送信する。
In step S <b> 74, the
ステップS75において、サーバ3の通信部31は、ネットワーク2を介して携帯電話機1の通信部24から送信されてきたクエリ語、クエリ画像、および着目点情報を受信し、クエリ画像と着目点情報を特徴量抽出部32に、クエリ語を検索部72にそれぞれ供給する。
In step S75, the
ステップS76において、特徴量抽出部32は、通信部31から供給されたクエリ画像の、着目点情報によって特定される所定の領域(以下、適宜、クエリ部分画像と称する)のムードベクトルを生成し、類似度計算部33に供給する。着目点情報によって特定される所定の領域は、例えば、ユーザによって指定された着目点を中心とする所定の正方領域などとすることができる。
In step S76, the feature
ステップS77において、検索部72は、通信部31から供給されたクエリ語を有するアイテムを特徴量DB71から検索する。検索部72は、検索の結果得られたアイテムのムードベクトルを類似度計算部33に供給する。
In step S <b> 77, the
ステップS78において、類似度計算部33は、検索部72から供給されたアイテムのムードベクトルと、特徴量抽出部32から供給されたクエリ部分画像のムードベクトルとの類似度を計算する。
In step S78, the
ステップS79乃至S81の処理は、図13のステップS58乃至S60の処理と同様であるので、その説明は省略する。 The processing in steps S79 to S81 is the same as the processing in steps S58 to S60 in FIG.
この第3のアイテム検索処理によれば、例えば、図10に示したクエリ画像において写されている「畑」や「川」のうち、「畑」の領域が「のどか」のムードを代表し、「川」の領域が「涼しげ」のムードを代表しているとすると、ユーザが「川」の部分に着目点を設定した場合、「涼しげ」のムードのみが、特徴量抽出部32により抽出される。従って、クエリ画像のなかでも所定の領域のムードを強調したムードベクトルを生成することができる。これにより、ユーザがアイテム検索に言語でうまく言い表せない部分を、より忠実に指定することが可能である。
According to the third item search process, for example, among the “field” and “river” captured in the query image shown in FIG. 10, the “field” region represents the mood of “Nodoka”, Assuming that the “river” region represents the “cool” mood, when the user sets a point of interest in the “river” portion, only the “cool” mood is extracted by the feature
上述した例では、クエリ画像は、ユーザがその場で撮影した風景の画像の例で説明したが、インターネットなどから取得した画像などであってもよい。 In the example described above, the query image is described as an example of a landscape image taken by the user on the spot, but may be an image acquired from the Internet or the like.
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。 The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose personal computer or the like.
図15は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。 FIG. 15 is a block diagram illustrating a configuration example of hardware of a computer that executes the above-described series of processing by a program.
コンピュータにおいて、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
In a computer, a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, and a RAM (Random Access Memory) 103 are connected to each other via a
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、キーボード、マウス、マイクロホンなどよりなる入力部106、ディスプレイ、スピーカなどよりなる出力部107、ハードディスクや不揮発性のメモリなどよりなる記憶部108、ネットワークインタフェースなどよりなる通信部109、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア121を駆動するドライブ110が接続されている。
An input /
以上のように構成されるコンピュータでは、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
In the computer configured as described above, the
コンピュータ(CPU101)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア121に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
The program executed by the computer (CPU 101) is, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disk, or a semiconductor. The program is recorded on a
そして、プログラムは、リムーバブルメディア121をドライブ110に装着することにより、入出力インタフェース105を介して、記憶部108にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部109で受信し、記憶部108にインストールすることができる。その他、プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。
The program can be installed in the
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
上述した実施の形態では、クエリ画像を指定する処理と、クエリ画像に基づいてユーザの所望の情報を検索する処理とが別々の装置、すなわち、携帯電話機1とサーバ3で行われていたが、この2つの処理は、携帯電話機1またはサーバ3のどちらかの装置(機器)だけで行うようにすることも可能である。例えば、携帯電話機1において、指定されたクエリ画像に基づいてユーザの所望する情報を検索する第1乃至第3のアイテム検索処理も行うようにすることができる。この場合、特徴量DB11および画像アイテム対応DB12等は、例えば、携帯電話機1に内蔵された、または、図示せぬドライブに装着され着脱可能な、半導体メモリなどの記録媒体に対応する。
In the above-described embodiment, the process of specifying the query image and the process of searching for the user's desired information based on the query image are performed by different devices, that is, the mobile phone 1 and the
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In this specification, the steps described in the flowcharts include processes that are executed in parallel or individually even if they are not necessarily processed in time series, as well as processes that are executed in time series in the described order. Is also included.
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。 In the present specification, the term “system” represents the entire apparatus constituted by a plurality of apparatuses.
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiments of the present invention are not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.
1 携帯電話機, 3 サーバ, 11 特徴量DB, 12 画像アイテム対応DB, 31 通信部, 32 特徴量抽出部, 33 類似度計算部, 34 提示アイテム決定部, 51 マッピング情報DB, 52 提示アイテム決定部, 71 特徴量DB, 72 検索部, 73 提示アイテム決定部 DESCRIPTION OF SYMBOLS 1 Mobile phone, 3 Server, 11 Feature-value DB, 12 Image item corresponding | compatible DB, 31 Communication part, 32 Feature-value extraction part, 33 Similarity degree calculation part, 34 Presentation item determination part, 51 Mapping information DB, 52 Presentation item determination part , 71 feature DB, 72 search unit, 73 presentation item determination unit
Claims (5)
前記登録画像と所定のアイテムとを同一の空間上にマッピングした情報として、前記登録画像と所定のアイテムとの対応を記憶するアイテム対応記憶手段と、
所望のアイテムを検索するためにユーザによって指定された画像であるクエリ画像を取得する取得手段と、
前記クエリ画像の特徴量を抽出する特徴量抽出手段と、
抽出された前記特徴量を用いて、前記クエリ画像と前記登録画像との第1の類似度を計算する類似度計算手段と、
前記第1の類似度の高い前記登録画像と前記空間上の距離が近いアイテムを、前記アイテム対応記憶手段から、ユーザに提示する前記アイテムである提示アイテムとして決定する提示アイテム決定手段と
を備える情報処理装置。 Image feature amount storage means for storing feature amounts representing image features for a plurality of registered images registered in advance;
Item correspondence storage means for storing correspondence between the registered image and the predetermined item as information obtained by mapping the registered image and the predetermined item on the same space;
Obtaining means for obtaining a query image, which is an image designated by a user in order to search for a desired item;
Feature quantity extraction means for extracting the feature quantity of the query image;
Similarity calculation means for calculating a first similarity between the query image and the registered image using the extracted feature quantity;
Information comprising: a presentation item determining unit that determines, from the item correspondence storage unit, an item that is close to the first registered image with the first similarity as the presentation item that is the item to be presented to the user. Processing equipment.
前記提示アイテム決定手段は、前記第1の類似度と前記第2の類似度の積を加算した値に基づいて、前記提示アイテムを決定する
請求項1に記載の情報処理装置。 The similarity calculation means also calculates a second similarity that is a similarity of the feature quantity between the registered image and the item,
The presentation item determination means, wherein the first degree of similarity based on the second value obtained by adding the product of similarity, the information processing apparatus according to claim 1 for determining the presentation item.
請求項1に記載の情報処理装置。 The presentation item determination means according to claim 1, the distance on the said first similarity highly plurality of the registration image space calculates the frequency of the near item, the frequent items is determined as the presentation item The information processing apparatus described in 1.
所望のアイテムを検索するために前記ユーザによって指定された画像であるクエリ画像を取得し、
前記クエリ画像の特徴量を抽出し、
抽出された前記特徴量を用いて、前記クエリ画像と前記登録画像との類似度を計算し、
前記類似度の高い前記登録画像と前記空間上の距離が近いアイテムを、前記アイテム対応記憶手段から、前記提示アイテムとして決定する
ステップを含む情報処理方法。 Image feature amount storage means for storing feature amounts representing image features for a plurality of registered images registered in advance, and information obtained by mapping the registered image and a predetermined item on the same space , In an information processing method of an information processing apparatus that includes an item correspondence storage unit that stores correspondence with a predetermined item, and determines a presentation item that is the item presented to a user
Obtaining a query image which is an image specified by the user to search for a desired item;
Extracting feature quantities of the query image;
Using the extracted feature amount, the similarity between the query image and the registered image is calculated,
An information processing method including a step of determining, as the presentation item, an item whose distance in the space is close to the registered image having a high similarity from the item correspondence storage unit.
所望のアイテムを検索するために前記ユーザによって指定された画像であるクエリ画像を取得し、
前記クエリ画像の特徴量を抽出し、
抽出された前記特徴量を用いて、前記クエリ画像と前記登録画像との類似度を計算し、
前記類似度の高い前記登録画像と前記空間上の距離が近いアイテムを、前記アイテム対応記憶手段から、前記提示アイテムとして決定する
ステップを含む処理をコンピュータに実行させるプログラム。 Image feature amount storage means for storing feature amounts representing image features for a plurality of registered images registered in advance, and information obtained by mapping the registered image and a predetermined item on the same space , In a program for causing a computer to execute a process of determining a presentation item that is the item to be presented to a user using an item correspondence storage unit that stores a correspondence with a predetermined item.
Obtaining a query image which is an image specified by the user to search for a desired item;
Extracting feature quantities of the query image;
Using the extracted feature amount, the similarity between the query image and the registered image is calculated,
The program which makes a computer perform the process including the step which determines the item with the near distance in the said registration image with the said high similarity as the said presentation item from the said item corresponding | compatible storage means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007060430A JP5018147B2 (en) | 2007-03-09 | 2007-03-09 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007060430A JP5018147B2 (en) | 2007-03-09 | 2007-03-09 | Information processing apparatus, information processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008225658A JP2008225658A (en) | 2008-09-25 |
JP5018147B2 true JP5018147B2 (en) | 2012-09-05 |
Family
ID=39844235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007060430A Expired - Fee Related JP5018147B2 (en) | 2007-03-09 | 2007-03-09 | Information processing apparatus, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5018147B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3903565B2 (en) * | 1998-01-26 | 2007-04-11 | コニカミノルタビジネステクノロジーズ株式会社 | Object-key association degree assigning method and object-key association degree automatic assignment apparatus |
JP2002092019A (en) * | 2000-09-18 | 2002-03-29 | Nippon Telegr & Teleph Corp <Ntt> | Multi-media contents management and coordinate supporting method and its device and recording medium with program for executing its method recorded thereon |
JP4090926B2 (en) * | 2002-03-29 | 2008-05-28 | 富士フイルム株式会社 | Image storage method, registered image retrieval method and system, registered image processing method, and program for executing these methods |
JP2004240750A (en) * | 2003-02-06 | 2004-08-26 | Canon Inc | Picture retrieval device |
JP4770263B2 (en) * | 2005-05-13 | 2011-09-14 | 大日本印刷株式会社 | Product information providing apparatus, product information providing method, and product information providing processing program |
-
2007
- 2007-03-09 JP JP2007060430A patent/JP5018147B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008225658A (en) | 2008-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101535579B1 (en) | Augmented reality interaction implementation method and system | |
US9076069B2 (en) | Registering metadata apparatus | |
US8938153B2 (en) | Representative image or representative image group display system, representative image or representative image group display method, and program therefor | |
KR102206184B1 (en) | Method for searching information of object in video and video playback apparatus thereof | |
US20110029510A1 (en) | Method and apparatus for searching a plurality of stored digital images | |
JP2008217428A (en) | Image-retrieving program, method, and device | |
JP2010072708A (en) | Apparatus for registering face identification features, method for registering the same, program for registering the same, and recording medium | |
JP2002288219A (en) | Information search system and method | |
CN106686460B (en) | Video program recommendation method and video program recommendation device | |
JP5169403B2 (en) | Image signal generation apparatus, image signal generation method, program, and storage medium | |
JP6090053B2 (en) | Information processing apparatus, information processing method, and program | |
WO2020255307A1 (en) | Information processing device, information processing method, and recording medium | |
CN105868238A (en) | Information processing method and device | |
US8812463B2 (en) | Apparatus and method for presenting contents in relation to a search axis | |
JP2007166113A (en) | Content guide system, content guide method, content guide support server, content guide support method, program, and information storage medium | |
JP4337892B2 (en) | Information processing apparatus, information processing method, and program | |
CN102231149A (en) | Method for searching visual information of mobile phone based on local characteristics | |
JP5973309B2 (en) | Distribution apparatus and computer program | |
US20210225408A1 (en) | Content Pushing Method for Display Device, Pushing Device and Display Device | |
JP4995770B2 (en) | Image dictionary generation device, image dictionary generation method, and image dictionary generation program | |
JP5018147B2 (en) | Information processing apparatus, information processing method, and program | |
JP7138264B1 (en) | Information processing device, information processing method, information processing system, and program | |
US20120143857A1 (en) | Method, system and controller for searching a database | |
US11256763B2 (en) | System and method for searching for object based on property thereof | |
JP2008225659A (en) | Information processor, information processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120515 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120528 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5018147 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150622 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |