JP2010009337A - Annotation device, annotation method, and program - Google Patents
Annotation device, annotation method, and program Download PDFInfo
- Publication number
- JP2010009337A JP2010009337A JP2008168267A JP2008168267A JP2010009337A JP 2010009337 A JP2010009337 A JP 2010009337A JP 2008168267 A JP2008168267 A JP 2008168267A JP 2008168267 A JP2008168267 A JP 2008168267A JP 2010009337 A JP2010009337 A JP 2010009337A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- metadata
- feature points
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、画像に含まれる領域にメタデータを付与するアノテーション装置に関する。 The present invention relates to an annotation device that adds metadata to an area included in an image.
近年、インターネット等のネットワーク上に多くの画像が公開されるようになり、その画像をテキストで検索できるようにする技術が提案されている。画像をテキストで検索するためには、画像にキーワード（例えば東京タワーや富士山など）を付与する必要がある。従来、画像にキーワードを付与する方法として、データベースに画像を登録する際にユーザが手でキーワードを入力する方法が知られている（例えば特許文献１参照）。
ところで、これらの画像には、被写体として様々な対象物が含まれている。例えば、ある画像には「東京タワー」という対象物が含まれており、他の画像には「富士山」という対象物が含まれている。しかしながら、このような画像に含まれる領域にキーワードを付与することについては、従来、何ら提案がなされていない。 By the way, these images include various objects as subjects. For example, an object “Tokyo Tower” is included in one image, and an object “Mt. Fuji” is included in another image. However, no proposal has been made in the past about assigning a keyword to a region included in such an image.
一般に、ネットワーク上には無数の画像が存在しており、また、これらの画像は、日々、アップロードされる。したがって、これらの大量の画像から対象物を探し出してキーワードを付与するには多大な作業量が必要であり、ユーザが手でキーワードを入力することは容易ではない。また、キーワードを付与する対象物は、そのときの流行に応じて様々に変化する。そして、新たな対象物が追加されると、その対象物を大量の画像から探し出してキーワードを付与することになり、その都度、ユーザが手でキーワードを入力することは現実的でない。 In general, there are countless images on the network, and these images are uploaded every day. Therefore, a great amount of work is required to find an object from these large images and assign a keyword, and it is not easy for a user to input a keyword by hand. Moreover, the target object to which a keyword is assigned varies depending on the fashion at that time. When a new object is added, the object is searched from a large number of images and a keyword is assigned, and it is not realistic for the user to input the keyword by hand each time.
本発明は、上記の課題に鑑みてなされたもので、画像に含まれる領域にメタデータを容易に付与することのできるアノテーション装置を提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object thereof is to provide an annotation device that can easily add metadata to a region included in an image.
本発明のアノテーション装置は、複数の画像が記憶された画像データベースから少なくとも一つの画像を選択する画像選択手段と、選択された前記画像から少なくとも一つの領域を抽出する領域抽出手段と、抽出された前記領域に含まれる特徴点と前記画像データベースに記憶された前記複数の画像に含まれる特徴点との照合を行う特徴点照合手段と、前記照合の結果、前記領域と特徴点が一致すると判定された画像のメタデータを、前記領域のメタデータとして付与する領域メタデータ付与手段と、を備えている。 An annotation apparatus according to the present invention includes: an image selection unit that selects at least one image from an image database that stores a plurality of images; an area extraction unit that extracts at least one region from the selected image; Feature point matching means for matching feature points included in the region with feature points included in the plurality of images stored in the image database, and as a result of the matching, it is determined that the region and the feature point match. Region metadata providing means for providing metadata of the image as metadata of the region.
この装置によれば、画像から抽出した領域と画像データベースの画像との特徴量の照合を行うことにより、その領域と類似する部分が含まれる画像を見つけ出し、その画像に付与されているメタデータをその領域のメタデータとして付与する。これにより、画像データベースに記憶されている大量の画像に付与されているメタデータを利用して、ある画像から抽出した領域にメタデータを自動的に付与することができる。 According to this apparatus, by comparing feature amounts between an area extracted from an image and an image in an image database, an image including a portion similar to the area is found, and metadata attached to the image is determined. It is given as metadata of the area. Thereby, metadata can be automatically assigned to an area extracted from a certain image by using metadata assigned to a large amount of images stored in the image database.
また、本発明のアノテーション装置では、前記領域抽出手段は、選択された前記画像に含まれる特徴点に基づいて、前記画像から抽出する前記領域を決定してもよい。 In the annotation apparatus of the present invention, the region extraction unit may determine the region to be extracted from the image based on a feature point included in the selected image.
これにより、画像に含まれる特徴点に基づいて、その画像から抽出する領域が決定されるので、適切な領域を画像から抽出することができる。 Thereby, since the area | region extracted from the image is determined based on the feature point contained in an image, an appropriate area | region can be extracted from an image.
また、本発明のアノテーション装置では、前記領域メタデータ付与手段は、選択された前記画像に複数の前記領域が含まれており、前記複数の領域に同一の前記メタデータが付与される場合には、前記複数の領域をまとめて一つの領域を生成する。 In the annotation device of the present invention, the region metadata adding unit includes a plurality of the regions included in the selected image, and the same metadata is added to the plurality of regions. The plurality of areas are combined to generate one area.
これにより、一つの画像から複数の領域が抽出され、それら複数の領域に同一のメタデータが付与される場合に、それらの複数の領域をまとめて一つの領域が生成される。すなわち、領域の抽出が完全ではなかった場合に、それを補正することができる。 Thereby, when a plurality of regions are extracted from one image and the same metadata is given to the plurality of regions, the plurality of regions are combined to generate one region. That is, if the region extraction is not complete, it can be corrected.
本発明のアノテーション方法は、複数の画像が記憶された画像データベースから少なくとも一つの画像を選択し、選択された前記画像から少なくとも一つの領域を抽出し、抽出された前記領域に含まれる特徴点と前記画像データベースに記憶された前記複数の画像に含まれる特徴点との照合を行い、前記照合の結果、前記領域と特徴点が一致すると判定された画像のメタデータを、前記領域のメタデータとして付与する。 The annotation method of the present invention selects at least one image from an image database storing a plurality of images, extracts at least one region from the selected image, and includes feature points included in the extracted region. The feature points included in the plurality of images stored in the image database are collated, and the metadata of the image determined to match the region and the feature points as a result of the collation is used as the region metadata. Give.
この方法によれば、画像データベースに記憶されている大量の画像に付与されているメタデータを利用して、ある画像から抽出した領域にメタデータを自動的に付与することができる。 According to this method, it is possible to automatically add metadata to an area extracted from a certain image by using metadata provided to a large amount of images stored in the image database.
本発明のアノテーションプログラムは、コンピュータに、複数の画像が記憶された画像データベースから少なくとも一つの画像を選択する処理と、選択された前記画像から少なくとも一つの領域を抽出する処理と、抽出された前記領域に含まれる特徴点と前記画像データベースに記憶された前記複数の画像に含まれる特徴点との照合を行う処理と、前記照合の結果、前記領域と特徴点が一致すると判定された画像のメタデータを、前記領域のメタデータとして付与する処理と、を実行させる。 The annotation program of the present invention includes a computer that selects at least one image from an image database in which a plurality of images are stored, a process that extracts at least one region from the selected image, and the extracted A process of matching feature points included in a region with feature points included in the plurality of images stored in the image database, and a meta of an image determined to match the region and feature points as a result of the matching And processing for assigning data as metadata of the area.
このプログラムによっても、画像データベースに記憶されている大量の画像に付与されているメタデータを利用して、ある画像から抽出した領域にメタデータを自動的に付与することができる。 This program can also automatically add metadata to a region extracted from a certain image by using metadata assigned to a large number of images stored in the image database.
本発明によれば、画像のメタデータを領域のメタデータとして付与する領域メタデータ付与手段を設けることにより、画像に含まれる領域にメタデータを容易に付与することができる。 According to the present invention, it is possible to easily add metadata to an area included in an image by providing area metadata providing means for assigning image metadata as area metadata.
以下、本発明の実施の形態のアノテーション装置について、図面を用いて説明する。本実施の形態では、画像検索システム等のためのメタデータ付与に用いられるアノテーション装置の場合を例示する。本実施の形態のアノテーション装置は、アノテーション処理を行う機能を備えているともいえる。この機能は、装置のＨＤＤやメモリ等に記憶されたプログラムによって実行される。 Hereinafter, an annotation apparatus according to an embodiment of the present invention will be described with reference to the drawings. In the present embodiment, an example of an annotation device used for metadata assignment for an image search system or the like is illustrated. It can be said that the annotation apparatus according to the present embodiment has a function of performing annotation processing. This function is executed by a program stored in the HDD or memory of the apparatus.
本発明の実施の形態のアノテーション装置の構成を、図１〜図３を用いて説明する。図１は、アノテーション装置の構成を示すブロック図である。図１に示すように、アノテーション装置１は、複数の画像が記憶された画像データベース２から画像を選択する画像選択部３と、選択した画像から特徴点を抽出する特徴点抽出部４と、選択した画像から領域を抽出する領域抽出部５を備えている。 The configuration of the annotation apparatus according to the embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a block diagram showing the configuration of the annotation apparatus. As shown in FIG. 1, the annotation device 1 includes an image selection unit 3 that selects an image from an image database 2 in which a plurality of images are stored, a feature point extraction unit 4 that extracts a feature point from the selected image, and a selection An area extraction unit 5 is provided for extracting an area from the obtained image.
特徴点抽出部４は、画像から抽出した特徴点（特徴的な点）のSIFT特徴量を算出する。SIFT特徴量は、画像中の特徴点の特徴量を、１２８次元のベクトル（特徴量ベクトルともいう）で表したものである。例えば、特徴点抽出部４は、１つの画像から２０００個の特徴点を抽出し、その特徴点ごとに１２８次元の特徴量ベクトルを算出する。 The feature point extraction unit 4 calculates SIFT feature amounts of feature points (characteristic points) extracted from the image. The SIFT feature value represents a feature value of a feature point in an image by a 128-dimensional vector (also referred to as a feature value vector). For example, the feature point extraction unit 4 extracts 2000 feature points from one image and calculates a 128-dimensional feature quantity vector for each feature point.
領域抽出部５は、上記の特徴点抽出部４が画像から抽出した特徴点の集合を、その画像に含まれる領域として抽出する。この領域は、被写体として画像中に含まれる対象物（東京タワーや富士山など）に対応する。この場合、領域は、画像に含まれる特徴点の点列で表される（図３参照）。 The region extraction unit 5 extracts a set of feature points extracted from the image by the feature point extraction unit 4 as a region included in the image. This area corresponds to an object (such as Tokyo Tower or Mt. Fuji) included in the image as a subject. In this case, the region is represented by a sequence of feature points included in the image (see FIG. 3).
また、アノテーション装置１は、抽出した領域に含まれる特徴点と画像データベース２内の画像に含まれる特徴点との照合を行う特徴点照合部６を備えている。この特徴点照合部６は、抽出した領域と画像データベース２内の画像で一致する特徴点の計算を行い、領域と画像とで一致した特徴点の数が所定の閾値以上であるか否かを判定する。領域と画像とで一致した特徴点の数が閾値以上であれば、領域と画像は一致すると判定される。例えば、特徴点の数の閾値は５０である。 In addition, the annotation apparatus 1 includes a feature point matching unit 6 that performs matching between feature points included in the extracted region and feature points included in images in the image database 2. The feature point matching unit 6 calculates feature points that match between the extracted region and the image in the image database 2, and determines whether or not the number of feature points that match between the region and the image is equal to or greater than a predetermined threshold value. judge. If the number of feature points that match the region and the image is equal to or greater than the threshold value, it is determined that the region and the image match. For example, the threshold value for the number of feature points is 50.
一致する特徴点の計算は、領域と画像のすべての特徴点の組合せについて、１２８次元の特徴量ベクトルの内積角度を算出し、最も小さい内積角度と二番目に小さい内積角度に十分な差がある場合には、その領域と画像の特徴点は一致したとみなされる。例えば、二番目に小さい内積角度が、最も小さい内積角度の５０％より小さい場合には、十分な差があるとして、領域と画像の特徴点は一致したとみなされる。 For the calculation of matching feature points, the inner product angle of the 128-dimensional feature vector is calculated for all the feature point combinations of the region and the image, and there is a sufficient difference between the smallest inner product angle and the second smallest inner product angle. In this case, the feature points of the area and the image are regarded as matching. For example, if the second smallest inner product angle is smaller than 50% of the smallest inner product angle, it is considered that there is a sufficient difference and the feature points of the region and the image coincide.
また、このアノテーション装置１は、特徴点照合部６による照合の結果、領域と特徴点が一致すると判定された画像のメタデータを、領域のメタデータとして付与する領域メタデータ付与部７を備えている。また、この領域メタデータ付与部７は、メタデータを付与した領域のデータを領域データベース８に書き込む機能を備えている。なお、メタデータには、キーワードやコメント、タグなどの情報が含まれる。 In addition, the annotation device 1 includes a region metadata adding unit 7 that adds, as a region metadata, metadata of an image that is determined to match the region and the feature point as a result of matching by the feature point matching unit 6. Yes. In addition, the area metadata adding unit 7 has a function of writing the data of the area to which the metadata is added to the area database 8. Note that the metadata includes information such as keywords, comments, and tags.
さらに、領域メタデータ付与部７は、選択された画像に複数の領域が含まれており、複数の領域に同一のメタデータが付与される場合には、複数の領域をまとめて一つの領域を生成する機能を備えている。つまり、この領域メタデータ付与部７は、領域の抽出が完全ではなかった場合に、それを補正する機能を有している。この機能については、図面を用いて後述する。 Further, the region metadata adding unit 7 includes a plurality of regions in the selected image, and when the same metadata is added to the plurality of regions, the plurality of regions are combined into one region. It has a function to generate. That is, the region metadata adding unit 7 has a function of correcting the region extraction when it is not completely extracted. This function will be described later with reference to the drawings.
画像データベース２には、インターネット上から収集された複数の画像のデータが保存されており、各画像には、画像ＩＤとキーワードが付与されている。図２は、画像データベース２の一例を示す図である。図２の例では、画像データベース２に、「東京タワー」というキーワードが付与された画像Ａ、「富士山」というキーワードが付与された画像Ｂ、「東京タワー」というキーワードが付与された画像Ｃが記憶されている。 The image database 2 stores data of a plurality of images collected from the Internet, and an image ID and a keyword are assigned to each image. FIG. 2 is a diagram illustrating an example of the image database 2. In the example of FIG. 2, the image database 2 stores an image A to which the keyword “Tokyo Tower” is assigned, an image B to which the keyword “Mt. Fuji” is assigned, and an image C to which the keyword “Tokyo Tower” is assigned. Has been.
領域データベース８には、画像から抽出された複数の領域のデータが保存されており、各領域には、領域ＩＤとキーワードが付与される。領域データは、画像に含まれる領域を示す点列（座標列）である。この点列は、特徴点抽出部４によって画像から抽出された特徴点の集合である。すなわち、画像から抽出する領域は、その画像に含まれる特徴点に基づいて決定されているともいえる。 The area database 8 stores data of a plurality of areas extracted from the image, and an area ID and a keyword are assigned to each area. The area data is a point sequence (coordinate sequence) indicating an area included in the image. This point sequence is a set of feature points extracted from the image by the feature point extraction unit 4. That is, it can be said that the area extracted from the image is determined based on the feature points included in the image.
図３は、領域データベース８の一例を示す図である。図３の上段には、アノテーション処理前の領域データが示されている。この領域データベース８には、「（０、０）（１、０）（２、０）・・・」という点列の領域ａと、「（０、２）（１、２）（２、２）・・・」という点列の領域ｂが記憶されている。図３の下段には、アノテーション処理後の領域データが示されている。この例では、アノテーション処理によって、領域ａに「東京タワー」というキーワードが付与され、領域ｂに「富士山」というキーワードが付与されている。 FIG. 3 is a diagram illustrating an example of the area database 8. The upper part of FIG. 3 shows area data before annotation processing. This area database 8 includes a point sequence area a “(0, 0) (1, 0) (2, 0)...” And “(0, 2) (1, 2) (2, 2 ) ... "is stored. The lower part of FIG. 3 shows area data after the annotation processing. In this example, the keyword “Tokyo Tower” is assigned to the area “a” and the keyword “Mt. Fuji” is assigned to the area “b” by the annotation process.
以上のように構成されたアノテーション装置１について、図４を用いてその動作を説明する。ここでは、本発明の特徴である領域へのメタデータ付与（アノテーション処理）の動作を中心に説明する。 The operation of the annotation apparatus 1 configured as described above will be described with reference to FIG. Here, description will be made centering on the operation of giving metadata (annotation processing) to an area, which is a feature of the present invention.
本実施の形態のアノテーション装置１を用いて領域にメタデータを付与するときには、図４に示すように、まず、画像データベース２から画像（例えば画像Ａ）を一つ選択する。つぎに、この選択された画像Ａから領域を一つ選択する。 When metadata is added to an area using the annotation apparatus 1 of the present embodiment, first, one image (for example, image A) is selected from the image database 2 as shown in FIG. Next, one area is selected from the selected image A.
例えば、画像Ａには、被写体として「東京タワー」が写っており、この「東京タワー」に対応する領域ａが、画像Ａから抽出される。そして、この領域ａに含まれる特徴点と画像データベース２の複数の画像（画像Ａ、Ｂ、Ｃ・・・）に含まれる特徴点との照合が行われる。その結果、領域ａは画像Ｃと一致すると判定される。この画像Ｃには、「東京タワー」という画像のキーワードが付与されている。そのため、この場合には、画像Ａから抽出した領域ａのキーワードとして、画像Ｃのキーワードである「東京タワー」が付与される。そして、このようにして領域のキーワード「東京タワー」が付与された領域ａのデータが、領域データベース８に記憶される。 For example, “Tokyo Tower” is shown as a subject in the image A, and an area “a” corresponding to this “Tokyo Tower” is extracted from the image A. And the feature point contained in this area | region a and the feature point contained in the some image (image A, B, C ...) of the image database 2 are collated. As a result, it is determined that the region a matches the image C. This image C is given the keyword “Tokyo Tower”. Therefore, in this case, “Tokyo Tower” that is the keyword of the image C is given as the keyword of the region a extracted from the image A. Then, the data of the area a to which the keyword “Tokyo Tower” of the area is assigned in this way is stored in the area database 8.
また、画像Ａには、被写体として「富士山」が写っており、画像Ａからは、この「富士山」に対応する領域ｂも抽出される。そして、上記と同様にして、この領域ｂに含まれる特徴点と画像データベース２の複数の画像（画像Ａ、Ｂ、Ｃ・・・）に含まれる特徴点との照合が行われる。その結果、領域ｂは画像Ｂと一致すると判定される。この画像Ｂには、「富士山」という画像のキーワードが付与されている。そのため、この場合には、画像Ａから抽出した領域ｂのキーワードとして、画像Ｂのキーワードである「富士山」が付与される。そして、このようにして領域のキーワード「富士山」が付与された領域ｂのデータが、領域データベース８に記憶される。 In addition, “Mt. Fuji” is shown as a subject in the image A, and an area b corresponding to this “Mt. Fuji” is also extracted from the image A. In the same manner as described above, the feature points included in the region b are collated with the feature points included in a plurality of images (images A, B, C...) In the image database 2. As a result, it is determined that the region b matches the image B. The image keyword “Mt. Fuji” is assigned to the image B. Therefore, in this case, “Mt. Fuji” that is the keyword of the image B is assigned as the keyword of the region b extracted from the image A. Then, the data of the area b to which the area keyword “Mt. Fuji” is assigned in this way is stored in the area database 8.
つぎに、図５を参照して、アノテーション処理における領域抽出の補正機能を説明する。図５に示すように、画像データベース２から選択した画像Ｂから領域の抽出を行った結果、本来ひとつの領域として抽出されるべき領域ｃ「富士山」が、二つの領域ｃ１、ｃ２に分かれて抽出されることがある。そのような場合、これら二つの領域ｃ１、ｃ２について特徴点の照合を行うと、二つの領域ｃ１、ｃ２はいずれも「富士山」の画像と特徴点が一致し、二つの領域ｃ１、ｃ２に「富士山」というキーワードが付与されることになる。 Next, the region extraction correction function in the annotation process will be described with reference to FIG. As shown in FIG. 5, as a result of extracting the region from the image B selected from the image database 2, the region c “Mt. Fuji” that should be extracted as one region originally is divided into two regions c <b> 1 and c <b> 2. May be. In such a case, when the feature points of the two regions c1 and c2 are collated, the two regions c1 and c2 have the same feature point as the image of “Mt. Fuji”, and the two regions c1 and c2 have “ The keyword “Mt. Fuji” will be given.
このような場合に、領域メタデータ付与部７は、これらの二つの領域ｃ１、ｃ２を統合（合成）した領域ｃを生成し、その領域ｃに「富士山」というキーワードを付与して領域データベース８に記憶する。このようにして、不完全な領域抽出が補正される。 In such a case, the region metadata assigning unit 7 generates a region c obtained by integrating (synthesizing) these two regions c1 and c2, and assigns the keyword “Mt. Fuji” to the region c. To remember. In this way, incomplete region extraction is corrected.
このような本実施の形態のアノテーション装置１によれば、画像のメタデータを領域のメタデータとして付与する領域メタデータ付与部７を設けることにより、画像に含まれる領域にメタデータを容易に付与することができる。 According to the annotation apparatus 1 of this embodiment as described above, by providing the region metadata adding unit 7 that adds image metadata as region metadata, metadata can be easily added to regions included in the image. can do.
すなわち、本実施の形態では、画像から抽出した領域と画像データベース２の画像との特徴量の照合を行うことにより、その領域と類似する部分が含まれる画像を見つけ出し、その画像に付与されているメタデータをその領域のメタデータとして付与する。これにより、画像データベース２に記憶されている大量の画像に付与されているメタデータを利用して、ある画像から抽出した領域にメタデータを自動的に付与することができる。 In other words, in the present embodiment, by comparing the feature amount between the region extracted from the image and the image in the image database 2, an image including a portion similar to the region is found and added to the image. Metadata is assigned as metadata of the area. Thereby, metadata can be automatically given to an area extracted from a certain image using metadata given to a large amount of images stored in the image database 2.
また、本実施の形態では、画像に含まれる特徴点に基づいて、その画像から抽出する領域が決定されるので、適切な領域を画像から抽出することができる。 In the present embodiment, since an area to be extracted from the image is determined based on the feature points included in the image, an appropriate area can be extracted from the image.
また、本実施の形態では、一つの画像から複数の領域が抽出され、それら複数の領域に同一のメタデータが付与される場合に、それらの複数の領域をまとめて一つの領域が生成される。すなわち、領域の抽出が完全ではなかった場合に、それを補正することができる。 In the present embodiment, when a plurality of areas are extracted from one image and the same metadata is given to the plurality of areas, the plurality of areas are combined to generate one area. . That is, if the region extraction is not complete, it can be corrected.
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。 The embodiments of the present invention have been described above by way of example, but the scope of the present invention is not limited to these embodiments, and can be changed or modified in accordance with the purpose within the scope of the claims. is there.
以上のように、本発明にかかるアノテーション装置は、画像に含まれる領域にメタデータを容易に付与することができるという効果を有し、画像のテキスト検索システム等に用いられ、有用である。 As described above, the annotation apparatus according to the present invention has an effect that metadata can be easily given to a region included in an image, and is useful for use in an image text search system or the like.
１ アノテーション装置
２ 画像データベース（画像ＤＢ）
３ 画像選択部
４ 特徴点抽出部
５ 領域抽出部
６ 特徴点照合部
７ 領域メタデータ付与部
８ 領域データベース（領域ＤＢ）
1 Annotation device 2 Image database (image DB)
DESCRIPTION OF SYMBOLS 3 Image selection part 4 Feature point extraction part 5 Area extraction part 6 Feature point collation part 7 Area metadata provision part 8 Area database (area DB)
Claims (5)
選択された前記画像から少なくとも一つの領域を抽出する領域抽出手段と、
抽出された前記領域に含まれる特徴点と前記画像データベースに記憶された前記複数の画像に含まれる特徴点との照合を行う特徴点照合手段と、
前記照合の結果、前記領域と特徴点が一致すると判定された画像のメタデータを、前記領域のメタデータとして付与する領域メタデータ付与手段と、
を備えたことを特徴とするアノテーション装置。 Image selection means for selecting at least one image from an image database in which a plurality of images are stored;
Region extracting means for extracting at least one region from the selected image;
Feature point matching means for matching feature points included in the extracted region with feature points included in the plurality of images stored in the image database;
As a result of the collation, region metadata giving means for giving metadata of an image determined to match the region and the feature point as metadata of the region;
An annotation device characterized by comprising:
選択された前記画像に含まれる特徴点に基づいて、前記画像から抽出する前記領域を決定することを特徴とする請求項１に記載のアノテーション装置。 The region extracting means includes
The annotation apparatus according to claim 1, wherein the region to be extracted from the image is determined based on a feature point included in the selected image.
選択された前記画像に複数の前記領域が含まれており、前記複数の領域に同一の前記メタデータが付与される場合には、前記複数の領域をまとめて一つの領域を生成することを特徴とする請求項１または請求項２に記載のアノテーション装置。 The region metadata giving means is
The plurality of areas are included in the selected image, and when the same metadata is given to the plurality of areas, the plurality of areas are combined to generate one area. The annotation apparatus according to claim 1 or 2.
選択された前記画像から少なくとも一つの領域を抽出し、
抽出された前記領域に含まれる特徴点と前記画像データベースに記憶された前記複数の画像に含まれる特徴点との照合を行い、
前記照合の結果、前記領域と特徴点が一致すると判定された画像のメタデータを、前記領域のメタデータとして付与することを特徴とするアノテーション方法。 Select at least one image from an image database in which multiple images are stored,
Extracting at least one region from the selected image;
The feature points included in the extracted region are compared with the feature points included in the plurality of images stored in the image database,
An annotation method characterized in that, as a result of the collation, metadata of an image determined to match a feature point with the region is added as metadata of the region.
複数の画像が記憶された画像データベースから少なくとも一つの画像を選択する処理と、
選択された前記画像から少なくとも一つの領域を抽出する処理と、
抽出された前記領域に含まれる特徴点と前記画像データベースに記憶された前記複数の画像に含まれる特徴点との照合を行う処理と、
前記照合の結果、前記領域と特徴点が一致すると判定された画像のメタデータを、前記領域のメタデータとして付与する処理と、
を実行させることを特徴とするアノテーションプログラム。 On the computer,
Selecting at least one image from an image database storing a plurality of images;
Processing to extract at least one region from the selected image;
A process of matching feature points included in the extracted region with feature points included in the plurality of images stored in the image database;
As a result of the collation, processing for assigning metadata of an image determined to match the region and the feature point as metadata of the region;
An annotation program characterized by running
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008168267A JP5188290B2 (en) | 2008-06-27 | 2008-06-27 | Annotation apparatus, annotation method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008168267A JP5188290B2 (en) | 2008-06-27 | 2008-06-27 | Annotation apparatus, annotation method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010009337A true JP2010009337A (en) | 2010-01-14 |
| JP5188290B2 JP5188290B2 (en) | 2013-04-24 |
Family
ID=41589751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008168267A Active JP5188290B2 (en) | 2008-06-27 | 2008-06-27 | Annotation apparatus, annotation method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5188290B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012017599A1 (en) * | 2010-08-03 | 2012-02-09 | パナソニック株式会社 | Information processing device, processing method, computer program, and integrated circuit |
| JP2012063890A (en) * | 2010-09-14 | 2012-03-29 | Toshiba Corp | Annotation device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0721203A (en) * | 1993-06-22 | 1995-01-24 | Canon Inc | Picture processor |
| JP2004336466A (en) * | 2003-05-08 | 2004-11-25 | Canon Inc | Method for registering metadata |
| JP2008148183A (en) * | 2006-12-13 | 2008-06-26 | Seiko Epson Corp | Image processor, image processing method, and image processing program |
-
2008
- 2008-06-27 JP JP2008168267A patent/JP5188290B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0721203A (en) * | 1993-06-22 | 1995-01-24 | Canon Inc | Picture processor |
| JP2004336466A (en) * | 2003-05-08 | 2004-11-25 | Canon Inc | Method for registering metadata |
| JP2008148183A (en) * | 2006-12-13 | 2008-06-26 | Seiko Epson Corp | Image processor, image processing method, and image processing program |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012017599A1 (en) * | 2010-08-03 | 2012-02-09 | パナソニック株式会社 | Information processing device, processing method, computer program, and integrated circuit |
| US8533196B2 (en) | 2010-08-03 | 2013-09-10 | Panasonic Corporation | Information processing device, processing method, computer program, and integrated circuit |
| JP5782035B2 (en) * | 2010-08-03 | 2015-09-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Information processing apparatus, processing method, computer program, and integrated circuit |
| JP2012063890A (en) * | 2010-09-14 | 2012-03-29 | Toshiba Corp | Annotation device |
| US9076069B2 (en) | 2010-09-14 | 2015-07-07 | Kabushiki Kaisha Toshiba | Registering metadata apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5188290B2 (en) | 2013-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11461392B2 (en) | Providing relevant cover frame in response to a video search query | |
| Cliche et al. | Scatteract: Automated extraction of data from scatter plots | |
| JP4337064B2 (en) | Information processing apparatus, information processing method, and program | |
| US9400808B2 (en) | Color description analysis device, color description analysis method, and color description analysis program | |
| US20190188729A1 (en) | System and method for detecting counterfeit product based on deep learning | |
| JP4457988B2 (en) | Image management apparatus, image management method, and computer program | |
| CN106385640B (en) | Video annotation method and device | |
| JP2015512095A (en) | Method, apparatus and computer readable recording medium for image management in an image database | |
| WO2016199662A1 (en) | Image information processing system | |
| JP6729553B2 (en) | System, image recognition method, and program | |
| JP2007094679A (en) | Image analyzing device, image analyzing program and image analyzing program storage medium | |
| CN106156794B (en) | Character recognition method and device based on character style recognition | |
| KR20190124436A (en) | Method for searching building based on image and apparatus for the same | |
| JP6377917B2 (en) | Image search apparatus and image search program | |
| JP4715389B2 (en) | Pattern recognition method, apparatus and program | |
| JP5188290B2 (en) | Annotation apparatus, annotation method and program | |
| JP6822484B2 (en) | Information processing equipment, information processing methods and programs | |
| JP2019212034A5 (en) | ||
| JP5890340B2 (en) | Image classification device and image classification program | |
| JP2007041762A5 (en) | ||
| CN113177392B (en) | Method for synchronizing row segment information in proofreading interface, computing device and storage medium | |
| US20120254738A1 (en) | Time-series information generating apparatus and time-series information generating method | |
| JP6175904B2 (en) | Verification target extraction system, verification target extraction method, verification target extraction program | |
| JP5169648B2 (en) | Original image search device and original image search program | |
| JP5826148B2 (en) | Drawing management server and drawing management system using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100323 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120510 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120515 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120710 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130122 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5188290 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |