WO2010070804A1 - 画像検索装置及び画像検索方法 - Google Patents

画像検索装置及び画像検索方法 Download PDF

Info

Publication number
WO2010070804A1
WO2010070804A1 PCT/JP2009/005866 JP2009005866W WO2010070804A1 WO 2010070804 A1 WO2010070804 A1 WO 2010070804A1 JP 2009005866 W JP2009005866 W JP 2009005866W WO 2010070804 A1 WO2010070804 A1 WO 2010070804A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
interpolation
interpolated
images
range
Prior art date
Application number
PCT/JP2009/005866
Other languages
English (en)
French (fr)
Inventor
高田和豊
水谷研治
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US12/935,296 priority Critical patent/US8694515B2/en
Priority to CN200980114967XA priority patent/CN102016909A/zh
Priority to JP2010503293A priority patent/JP4545828B2/ja
Publication of WO2010070804A1 publication Critical patent/WO2010070804A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Definitions

  • the present invention relates to an image search apparatus and an image search method for searching for image content for interpolating between shooting positions of image content shot by a user from among a large amount of stored image content.
  • Patent Document 1 a method has been proposed in which a user can easily create a memorable album using photos of sightseeing spots stored in advance on a server (see, for example, Patent Document 1).
  • a user reads a high-quality photograph of the point stored in advance in a server by using a tag reader installed at each photography spot in a sightseeing spot.
  • a tag reader installed at each photography spot in a sightseeing spot.
  • the user cannot acquire a landscape photograph viewed from the window when the user is moving by train. Further, when the user moves by car or bicycle, the user needs to get off the car or bicycle and then stop at the photo spot. Therefore, in the conventional method, the load given to the user to acquire a photograph becomes high.
  • the present invention solves the above-described problem, and it is desired to interpolate between the shooting positions of the image content selected by the user without stopping at the shooting spot from among a large amount of stored image content.
  • An image search apparatus and an image search method capable of searching for images are provided.
  • an image search apparatus provides an interpolation image for interpolating between positions where each of at least two interpolation target images is captured from a plurality of images.
  • An image search device to search for a geographical location including a first shooting position that is a position where a first interpolation target image is shot and a second shooting position that is a position where a second interpolation target image is shot
  • An interpolation range calculation unit that calculates a range as an interpolation range, and an image including a shooting position within the interpolation range calculated by the interpolation range calculation unit as a candidate image, from among the plurality of images stored in the image database
  • the still picture and an interpolated image selecting section for selecting from among the candidate images.
  • the user can acquire the interpolated image without constructing a special infrastructure such as a tag reader.
  • FIG. 1 is a block diagram showing a characteristic functional configuration of an image search apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram illustrating an example of image content and content-attached information.
  • FIG. 3 is a diagram illustrating an example of an image database.
  • FIG. 4 is a diagram illustrating a screen example of the input unit.
  • FIG. 5 is a diagram illustrating an example of the interpolation range.
  • FIG. 6 is a flowchart showing the flow of overall processing executed by the image search device according to Embodiment 1 of the present invention.
  • FIG. 7 is a flowchart showing a detailed process flow of step S105 of FIG.
  • FIG. 8 is a diagram illustrating an example of a processing result of the interpolation image selection unit.
  • FIG. 1 is a block diagram showing a characteristic functional configuration of an image search apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram illustrating an example of image content and content-attached
  • FIG. 9 is a diagram illustrating an example of a screen output to the output medium by the output unit.
  • FIG. 10 is a diagram illustrating an example of a screen output to the output medium by the output unit.
  • FIG. 11 is a block diagram showing a characteristic functional configuration of the image search apparatus according to Embodiment 2 of the present invention.
  • FIG. 12 is a diagram illustrating an example of a relevance database.
  • FIG. 13 is a conceptual diagram showing hierarchized areas.
  • FIG. 14 is a flowchart showing an overall flow of processing executed by the image search device according to Embodiment 2 of the present invention.
  • FIG. 15 is a flowchart showing a detailed process flow of step S301 of FIG.
  • FIG. 16 is a diagram illustrating an example of a relevance database.
  • FIG. 17 is a flowchart showing another detailed process flow of step S301 of FIG.
  • FIG. 18 is a diagram illustrating an example of the subject distance database.
  • FIG. 19 is a diagram illustrating an example of
  • FIG. 1 is a block diagram showing a characteristic functional configuration of an image search apparatus 100 according to Embodiment 1 of the present invention.
  • the image search apparatus 100 is an apparatus that searches for an interpolated image from a plurality of images.
  • the interpolated image is an image for interpolating between the shooting positions of the two images.
  • the interpolated image is an image photographed at a position between the photographing positions of the two images.
  • the image search apparatus 100 includes an image database 101, an input unit 102, an interpolation range calculation unit 103, an interpolation image candidate acquisition unit 104, a moving speed calculation unit 105, an interpolation image selection unit 106, and an output unit 107.
  • the image database 101 is a storage device including, for example, a hard disk, a memory, and the like.
  • the image database 101 is a database that stores the image content 20 to be searched and the content attached information 21 corresponding to the image content 20.
  • the image content 20 indicates an image stored in an electronic medium.
  • the content attached information 21 is information indicating the content of the image content 20.
  • the content-attached information 21 includes Exif (Exchangeable image file format) information (shooting date and time, latitude / longitude information, etc.) information added to the image content 20 at the time of image shooting, and image content after the user has shot the image content.
  • 20 is image information such as a tag added to 20.
  • the user ID 22 indicates information for identifying the user who has taken the image content 20.
  • the image ID 23 indicates information for identifying the image content 20.
  • the image address 24 indicates information on a location where the image content 20 is stored.
  • the shooting date and time 25 indicates the date and time when the image content 20 was shot.
  • the shooting position 26 indicates a position where the image content 20 is shot. Note that the position where the image content 20 is captured is specified by latitude and longitude.
  • the subject distance 28 indicates the distance to the subject when the image content 20 is photographed.
  • the subject distance 28 is automatically given to the image as Exif information at the time of shooting.
  • the subject distance a calculated using the following equation may be included in the content attached information 21.
  • a is the subject distance
  • f is the focal length
  • M is the photographing magnification. That is, among image contents stored in the image database 101, for image contents in which the subject distance is not given as Exif information, the shooting magnification and the focal length included in the Exif information given to each image content are expressed by equations.
  • the subject distance a obtained by substituting for (1) may be stored in the image database 101.
  • the tag 27 indicates a word (keyword) indicating the content of the image content 20.
  • the image search apparatus 100 may automatically add a region name or a building name acquired based on latitude and longitude information included in the shooting position 26 as a tag 27.
  • the image search apparatus 100 may automatically add weather and temperature information as a tag 27 using the shooting date and time 25, the shooting position 26, and a weather database.
  • the image search device 100 may automatically add the image representative color obtained from the pixel value of the image content 20 as the tag 27.
  • the image search apparatus 100 may automatically add information such as the number of people detected by performing person detection in the image content 20 as the tag 27.
  • FIG. 3 is a diagram illustrating an example of the image database 101. As shown in FIG. 3, in the image database 101, each content attached information 21 shown in FIG. 2 is listed so as to be easily searched.
  • the image database 101 is provided in the image search apparatus 100 .
  • the image search apparatus to which the present invention is applied is not limited to such an image search apparatus.
  • the image database 101 may be provided on a server connected to the image search apparatus via a network.
  • the content attached information 21 may be included in the image content 20.
  • the image database 101 may store the moving speed of the user between images as the content attached information 21.
  • the moving speed is a value calculated by dividing the distance between the shooting positions of two interpolation target images by the difference time between the shooting times of the two interpolation target images.
  • the moving speed of the image content 20 is calculated by dividing the distance between the shooting positions with the image content shot next to the image content 20 by the difference time of the shooting time. Then, the calculated moving speed is stored as the content attached information 21.
  • the moving speed between images may be stored in the image database 101.
  • the moving speed calculation unit 105 may calculate the moving speed every time an input from the user is received.
  • the input unit 102 acquires, for example, information input by a user from a keyboard, a mouse, or the like in a memory or the like. Specifically, the input unit 102 includes a plurality of interpolation targets that the user wants to interpolate between the positions at which the images were taken from the image contents 20 taken by the user, the image IDs 23 thereof, and the image contents 20. Information about the image and the interpolation target image (image ID 23, etc.) is acquired. Then, the input unit 102 notifies the interpolation range calculation unit 103 and the movement speed calculation unit 105 of the acquired image ID 23 of the interpolation target image.
  • FIG. 4 is a diagram illustrating a screen example of the input unit 102.
  • the user selects a plurality of image contents 20 (interpolation target images) to be interpolated between the positions where the images are photographed, from the image contents 20 photographed by the user.
  • the user selects the first interpolation target image (Kiyomizu-dera) 40 and the second interpolation target image (Ginkaku-ji) 41 out of the six image contents 20 photographed in Kyoto. That is, the input unit 102 has received a request to interpolate an image of a place between Kiyomizu Temple and Ginkakuji from the user.
  • the interpolation target image is not necessarily selected directly by the user.
  • the image search device may estimate the interpolation target image based on the user's preference or the like.
  • the image search apparatus may select an interpolation target image using the input place information.
  • the interpolation range calculation unit 103 includes, for example, a CPU (Central Processing Unit), a memory storing a program, and the like.
  • the interpolation range calculation unit 103 refers to the image database 101 to acquire the shooting position 26 and the shooting date / time 25 corresponding to the image ID 23 acquired by the input unit 102. Then, the interpolation range calculation unit 103 calculates the interpolation range 52 indicating the range of the location to be interpolated using the acquired shooting position 26 and shooting date / time 25. That is, the interpolation range calculation unit 103 calculates a range of a location including the shooting position 26 of the interpolation target image as the interpolation range.
  • a CPU Central Processing Unit
  • the interpolation range calculation unit 103 calculates the interpolation range so that the location range becomes wider as the elapsed time of the photographing date and time 25 of the interpolation target image increases. Further, the interpolation range calculation unit 103 notifies the interpolation image selection unit 106 of the calculated interpolation range 52. A specific interpolation range calculation method will be described later.
  • FIG. 5 is a diagram illustrating an example of the interpolation range 52 calculated based on the first interpolation target image (Kiyomizu-dera) 40 and the second interpolation target image (Ginkaku-ji) 41.
  • the interpolation range calculation unit 103 calculates the latitude and longitude of the diagonal points of the rectangle as the range information 50 and the range information 51.
  • the interpolation image candidate acquisition unit 104 includes, for example, a CPU, a memory storing a program, and the like.
  • the interpolated image candidate acquisition unit 104 detects an image group photographed within the interpolation range calculated by the interpolation range calculation unit 103.
  • the interpolation image candidate acquisition unit 104 refers to the image database 101 to acquire the image ID of the image group included in the latitude and longitude information calculated by the interpolation range calculation unit 103. Then, the interpolation image candidate acquisition unit 104 notifies the interpolation image selection unit 106 of the acquired image ID.
  • the moving speed calculation unit 105 includes, for example, a CPU and a memory storing a program.
  • the movement speed calculation unit 105 calculates the movement speed of the user between the interpolation target images acquired from the input unit 102. Specifically, the moving speed calculation unit 105 calculates a linear distance between the shooting positions 26 of the interpolation target image. Further, the moving speed calculation unit 105 calculates time from the difference of the shooting date and time 25 of the interpolation target image. Then, the moving speed calculation unit 105 calculates the moving speed by dividing the calculated distance by time. In addition, the moving speed calculation unit 105 notifies the interpolation image selection unit 106 of the shooting position information between the interpolation target images and the calculated moving speed information.
  • the moving speed is a speed at which the user moves from the shooting position of one interpolation target image to the shooting position of the other interpolation target image when the same user has shot the interpolation target image.
  • the moving speed is a value calculated by dividing the distance between the shooting positions of the two interpolation target images by the difference time between the shooting times of the two interpolation target images.
  • the interpolation image selection unit 106 includes, for example, a CPU, a memory storing a program, and the like.
  • the interpolation image selection unit 106 uses the image ID acquired from the interpolation image candidate acquisition unit 104, the shooting position information and movement speed information acquired from the movement speed calculation unit 105, and the image database 101 to acquire the interpolation image candidate acquisition unit 104. Only necessary images are selected from the selected image group according to the moving speed of the user. That is, the interpolation image selection unit 106 selects among the candidate images acquired by the interpolation image candidate acquisition unit 104 so that only images with a larger subject distance are selected as the movement speed calculated by the movement speed calculation unit 105 increases. To select an interpolated image.
  • the interpolation image selection unit 106 selects all the image groups acquired from the interpolation image candidate acquisition unit 104 when the moving speed is equal to or less than a predetermined threshold. On the other hand, when the moving speed is greater than a predetermined threshold, the interpolation image selection unit 106 selects a photograph (distant view) whose subject distance is equal to or greater than a predetermined threshold from the image group acquired from the interpolation image candidate acquisition unit 104. Just get a photo). Then, the interpolation image selection unit 106 notifies the output unit 107 of the image ID of the selected image. Note that the interpolation image selection unit 106 may acquire the movement speed of the user between the interpolation target images acquired from the input unit 102 from the image database 101. A specific interpolation image selection method will be described later.
  • the interpolated image selection unit 106 selects an image having a larger subject distance as the moving speed increases.
  • the moving speed of the photographer is relatively slow (walking or the like)
  • the photographer can appreciate both a short-distance subject and a long-distance subject.
  • the distant image which is an image with a large subject distance
  • the moving speed is relatively fast (car, train, etc.)
  • the photographer cannot appreciate the subject at a short distance. Therefore, when the moving speed is fast, the foreground image does not match the image that the user wants to interpolate.
  • the interpolation image selection unit 106 selects both the distant view image and the foreground image when the moving speed is slow, and selects only the distant view image when the moving speed is fast.
  • the image search apparatus 100 can search only images that match the image that the user wants to interpolate.
  • the output unit 107 outputs the image content 20 acquired by the interpolation image selection unit 106 to an output medium.
  • the output medium is a monitor such as a liquid crystal display or a television.
  • FIG. 6 is a flowchart showing the overall flow of processing executed by the image search apparatus 100.
  • the input unit 102 receives the image ID 23 of the image content 20 photographed by the user and the image IDs 23 of a plurality of interpolation target images that the user wants to perform interpolation from among the image IDs 23. Then, the input unit 102 notifies the image ID 23 of the received interpolation target image to the interpolation range calculation unit 103 and the interpolation image candidate acquisition unit 104 (step S101).
  • the interpolation range calculation unit 103 acquires the shooting position 26 and the shooting date / time 25 corresponding to the image ID 23 of the interpolation target image notified from the input unit 102 from the image database 101. Then, the interpolation range calculation unit 103 uses the acquired shooting position 26 and shooting date / time 25 to calculate an interpolation range indicating the range of the location to be interpolated. Further, the interpolation range calculation unit 103 notifies the interpolation image candidate acquisition unit 104 of the calculated interpolation range (step S102).
  • the interpolation range calculation unit 103 sets a distance that is centered on the center of gravity of the shooting position 26 (latitude, longitude) of the interpolation target image and that is proportional to the elapsed time obtained from the shooting date 25 of the interpolation target image.
  • the radius range is calculated as the interpolation range.
  • the elapsed time is the difference between the shooting date and time 25 of the interpolation target image.
  • the elapsed time is the difference between the oldest shooting date and time 25 and the latest shooting date and time 25 in the shooting date and time 25 of the interpolation target image.
  • the interpolation range calculation unit 103 may select a range including the shooting position 26 (latitude, longitude) of the interpolation target image from among a plurality of preset ranges as the interpolation range. In this case, the interpolation range calculation unit 103 may add a range adjacent to the selected range to the interpolation range according to the elapsed time of the interpolation target image.
  • the interpolation range calculation unit 103 uses an area shown in FIG. 5 in order to allow the user to specify the interpolation range. May be presented to the user. Thereby, the interpolation range calculation unit 103 can prevent an interpolation range from becoming too large and an interpolation range calculation error.
  • the interpolation image candidate acquisition unit 104 detects an image group included in the interpolation range calculated by the interpolation range calculation unit 103, and notifies the interpolation image selection unit 106 (step S103). Specifically, the image ID of the image group included in the latitude and longitude information calculated by the interpolation range calculation unit 103 is acquired by referring to the image database 101.
  • the moving speed calculation unit 105 calculates the moving speed of the user between the interpolation target images using the shooting date and time 25 and the shooting position 26 of each interpolation target image acquired from the input unit 102, and the interpolation target image.
  • the interpolated image selection unit 106 is notified of the shooting position information and the calculated speed information (step S104).
  • the moving speed calculation unit 105 calculates the distance x between the shooting positions from the difference between the shooting positions of the first interpolation target image (Kiyomizu Temple) 40 and the second interpolation target image (Ginkakuji) 41 in FIG. To do. On the other hand, the moving speed calculation unit 105 calculates the time t from the difference in shooting time. Then, the moving speed calculation unit 105 calculates the moving speed by dividing the distance x by the time t.
  • the moving speed calculation unit 105 may perform a route search connecting the shooting positions using a separately prepared map database, and calculate the distance x along the searched route. Thereby, the moving speed calculation unit 105 can calculate the distance between the shooting positions more accurately. Therefore, the moving speed calculation unit 105 can improve the calculation accuracy of the moving speed, and can prevent unnecessary interpolation images from being presented to the user due to erroneous calculation of the moving speed.
  • the interpolated image selection unit 106 selects a candidate image suitable for the moving speed from the shooting position information and speed information of the interpolation target image notified from the moving speed calculating unit 105, and notifies the output unit 107 of the candidate image. (Step S105).
  • the output unit 107 outputs the interpolation image acquired by the interpolation image selection unit 106 to the output medium (step S106).
  • FIG. 7 is a flowchart showing a detailed process flow of the interpolation image selection process (step S105 in FIG. 6) by the interpolation image selection unit 106.
  • step S105 in FIG. 6 an image selection method adapted to the moving speed will be described with reference to FIG.
  • the interpolation image selection unit 106 acquires the image ID of the candidate image from the interpolation image candidate acquisition unit 104 (step S201).
  • the interpolated image selection unit 106 acquires the moving speed of the user from the moving speed calculation unit 105 (step S202).
  • the interpolation image selection unit 106 determines whether or not the moving speed is greater than a predetermined threshold (step S203). If the moving speed is greater than the threshold (Yes in step S203), the process proceeds to step S204. On the other hand, when the moving speed is equal to or less than the threshold (No in step S203), the process proceeds to step S205.
  • a standard person's limit walking speed (about 12 km / hour) may be used as the threshold of the moving speed. Thereby, the interpolation image selection unit 106 can determine whether or not the user is walking and moving between the shooting positions of the interpolation target image.
  • the interpolated image selection unit 106 selects all candidate images acquired in step S201 as interpolated images (step S205).
  • the moving speed of the photographer is slow (walking or the like)
  • the photographer can appreciate both a short-distance subject and a long-distance subject. Therefore, both the foreground image and the foreground image match the experience of the photographer and can be an interpolation image. Therefore, when the moving speed is slow, the interpolation image selection unit 106 can select an image that matches the image that the user wants to interpolate by selecting both the distant view image and the foreground image.
  • FIG. 8 is a diagram illustrating an example of a processing result of the interpolation image selection unit 106 in which different interpolation images are selected according to the moving speed by the processing in steps S201 to S205.
  • the user selects the first interpolation target image (Kiyomizu Temple) 40 and the second interpolation target image (Ginkakuji) 41 shown in FIG. 4, and the interpolation range is the interpolation range 52 shown in FIG.
  • an image whose shooting position is included in the interpolation range 52 among the images existing in the image database 101 is the candidate image 80.
  • the interpolation image ( In the case of low speed movement) 81 all candidate images are selected. That is, when the moving speed is “3 km / h”, the interpolated image selection unit 106 selects the interpolated image 81 (during low-speed movement).
  • the interpolated image selection unit 106 selects the interpolated image (at high speed movement) 82.
  • the interpolation image selection unit 106 can select only an image that matches the moving speed of the user as an interpolation image.
  • FIG. 9 and 10 are diagrams illustrating examples of screens output to the output medium by the output unit 107.
  • the output unit 107 may display a list of interpolation images on a map or the like. Also, as shown in FIG. 10, the output unit 107 may display the interpolated images in a slide show format in the order from the closest shooting position.
  • the image search apparatus 100 can estimate the captured content of the interpolated image. It is possible to acquire an image of a user who performs shooting similar to that as an interpolation image.
  • the image search apparatus 100 can select an interpolated image from images stored in the image database 101, so that the user can select an interpolated image without stopping at the shooting spot. It can be acquired.
  • the image search apparatus 100 can select an image having a larger subject distance as the moving speed between the image capturing positions increases, it is possible to efficiently search for an image that the user wants to interpolate.
  • the image search apparatus 200 is characterized in that an image highly relevant to the user's shooting preference is extracted from the candidate images and presented.
  • the photographing preference indicates the preference of the subject to be photographed and the preference of the image quality such as the image color and the angle of view.
  • the image search apparatus 100 acquires an image suitable for the moving speed of the user from images whose shooting positions are included in the interpolation range, and selects all the acquired images as interpolation images.
  • the image search apparatus 100 cannot present an interpolation image that is more suitable for the user's shooting preference from among the interpolation images to be presented. The possibility arises. For example, consider a case where the user is a user who takes a lot of photographs with the theme of “garden”.
  • the image search device presents the “garden” image if the user's preference is not known It is not always possible. Therefore, if the user's shooting preference is known from the image captured by the user, the image search device can preferentially present an image highly relevant to the user's shooting preference from the interpolation images to be presented. Convenience can be improved.
  • the image search apparatus 200 extracts an image highly relevant to the user's shooting preference using the tag, shooting time, shooting position, and the like of the image shot by the user.
  • an example is described in which an image stored on the server is interpolated with an image taken by a photographer during a Kyoto trip to create a memorable album. To do.
  • the relevance database 201 is a storage device composed of, for example, a hard disk, a memory, or the like.
  • the relevance level database 201 stores a relevance level indicating the level of relevance between the image contents 20. Specifically, the degree of association between the subject information of the image content 20 is stored.
  • the subject information is information on a word (keyword) representing the subject in the image content 20 taken by the user.
  • the subject information includes, for example, the name of the subject set in the tag 27, the name of the area where the subject exists, the number of subjects, the color of the subject, and the like.
  • the relevance level database 201 stores the relevance level of subject information in units of areas. Specifically, the degree of association database 201 stores the degree of association between the tags 27 of the image content 20 belonging to the area for each area.
  • the area indicates a place divided based on a prefecture, a municipality, a 50 km square, or the like.
  • the relevance is, for example, “metadata space generation method for associative search based on relevance between words appearing in a document” (Non-patent Document 1: Hidenori Honma et al., 16th Data Engineering Workshop (DEWS 2005). ), 6A-o2, The Institute of Electronics, Information and Communication Engineers, 2005).
  • FIG. 12 is a diagram showing an example of the relevance database 201 of the area around Higashiyama Ward and Sakyo Ward in Kyoto City.
  • the relevance level between the row direction tag 27 and the column direction tag 27 is stored at a position where the row direction and the column direction intersect. This degree of association is calculated based on the co-occurrence between the tags 27 of the image content 20 belonging to each area.
  • whether or not the image content 20 belongs to the area is determined based on the shooting position 26 of the image content 20.
  • region in the relevance degree database 201 may be hierarchized into two or more.
  • the relevance level database 201 may store the relevance level of the tag 27 using three stages of a small area, a medium area, and a large area for the same point.
  • FIG. 13 is a conceptual diagram showing hierarchized areas.
  • the relevance level database 201 may store the relevance level between the tags 27 of the image content 20 belonging to Kyoto Prefecture as the relevance level corresponding to the large area 130 indicating the area in units of prefectures. . Further, the relevance level database 201 may store the relevance level between the tags 27 of the image content 20 belonging to Kyoto city as the relevance level corresponding to the middle area 131 indicating the area of the municipality unit. Further, the relevance level database 201 may store the relevance level between the tags 27 of the image content 20 belonging to Shimogyo Ward or the like as the relevance level corresponding to the small area 132 indicating the area in units of wards.
  • the association image extraction unit 202 described later determines the degree of association in the degree of association database 201 according to the area where the user wants to interpolate the image.
  • the area to be acquired can be selected.
  • the related image extraction unit 202 can accurately estimate the captured content of the image that the user wants to interpolate.
  • the related image extraction unit 202 includes, for example, a CPU, a memory storing a program, and the like.
  • the related image extraction unit 202 uses the image database 101 and the relevance degree database 201 to extract a related image highly relevant to the user's captured image from the interpolation images acquired from the interpolation image selection unit 106 and extract the extracted images.
  • the image ID is notified to the output unit 107. A specific related image extraction method will be described later.
  • the related image is defined as an image highly relevant to the image information given to the image taken by the user.
  • an image having a tag highly relevant to a tag attached to an image taken by the user is an example.
  • the tag attached to the image is information indicating an object and an impression about the object. It can be said that an image in which information on these subjects matches is an image highly relevant to the user's preference.
  • An image that is highly related to the shooting conditions image information such as shooting time, color information (white balance, RGB ratio), aperture, subject distance, resolution, F value, shutter speed, etc.
  • image information such as shooting time, color information (white balance, RGB ratio), aperture, subject distance, resolution, F value, shutter speed, etc.
  • image information such as shooting time, color information (white balance, RGB ratio), aperture, subject distance, resolution, F value, shutter speed, etc.
  • image information such as shooting time, color information (white balance, RGB ratio), aperture, subject distance, resolution, F value, shutter speed, etc.
  • an image highly relevant to an image captured by the user is extracted using the relevance level database 201 in which the relevance level between tags of images registered in the image database 101 is stored.
  • the processing to be performed is different from the processing in the image search device 100 of the first embodiment.
  • other processes are the same as those of the image search apparatus 100 of the first embodiment.
  • the processing of steps S101 to S106 executed by the image search device 200 is the same as the processing of the image search device 100 of Embodiment 1 shown in FIG.
  • the related image extraction unit 202 uses the image database 101 and the relevance level database 201 to extract an image highly relevant to the user's shooting preference from the interpolation images notified from the interpolation image selection unit 106 (step S301). ).
  • FIG. 15 is a flowchart showing a detailed processing flow of the image extraction processing (step S301 in FIG. 14) by the related image extraction unit 202.
  • an image extraction method for extracting an image highly relevant to the user's shooting preference will be described with reference to FIG.
  • the related image extraction unit 202 acquires the image ID of the interpolation image from the interpolation image selection unit 106 (step S402).
  • the related image extraction unit 202 selects one image ID from the image IDs of the interpolated images acquired in step S402 (step S403). That is, the related image extraction unit 202 selects one interpolation image.
  • the related image extraction unit 202 acquires a tag corresponding to the image ID acquired in step S403 from the image database 101 (step S404).
  • the tag acquired in step S404 is referred to as a tag set B.
  • the related image extraction unit 202 calculates the degree of association between the tag set A acquired in step S401 and the tag set B acquired in step S404 (step S405).
  • the related image extraction unit 202 refers to the relevance level database 201 of the region to which the shooting position 26 of the tag set A belongs, thereby acquiring the relevance level of the tag set B with respect to the tag 27 included in the tag set A. .
  • the related image extraction unit 202 calculates the degree of association between the tag set A and the tag set B by total addition of the obtained degree of association between the tags.
  • the tag set A is a tag attached to an image taken by the user himself, and the tag reflects the user's preference for the image and the viewpoint of the photograph.
  • the tag set B is a tag given by a person other than the user to an image taken by a person other than the user, and these tags reflect the preferences and viewpoints of the person other than the user. That is, it can be said that the image including the tag set B having a high degree of association with the tag set A is an image having high relevance to the user's preference.
  • FIG. 16 shows the interpolated image tag 160 (“Heian Shrine”, “Torii”, and “Red” (tag set B)) selected in step S403, and the captured image tag 161 (“Ginkakuji”, It is a figure which shows an example of the relevance degree database 201 in which the relevance degree with "garden” and "Kiyomizu-dera” (tag set A)) was memorize
  • the related image extraction unit 202 calculates the degree of association between the interpolation image and the user-captured image in step S405 will be described with reference to FIG.
  • Heian Jingu” in tag set B and tag set A (“Ginkakuji”, “Garden”, “Kiyomizu Temple”) are related to each tag in “Heian Jingu” and tag set A ( It can be calculated by adding the hatched area 133).
  • the degree of association between “torii” and tag set A is 0.5
  • the degree of association between “red” and tag set A is 0.5.
  • the degree of association between the user-captured image and the interpolated image is obtained by adding all the degrees of association between the tags assigned to both images, which is obtained when the related image extraction unit 202 refers to the association degree database 201. Is calculated by
  • the related image extraction unit 202 stores the relevance calculated in step S405 together with the image ID of the interpolated image selected in step S403 in the image ID-relevance level list (step S406).
  • the related image extraction unit 202 determines whether all the interpolated images acquired in step S402 have been selected in step S403 (step S407).
  • the related image extraction unit 202 extracts images with higher relevance levels from the interpolated image-relevance level list until the number of images that can be output is reached. (Step S408).
  • the related image extraction unit 202 when the interpolated images are arranged in descending order in the interpolated image-relevance list, the interpolated images that are equal to or higher than the relevance of the interpolated images appearing in the same order as the number of outputtable images. Extract.
  • the outputtable number is the number of images that can be output by the output unit 107, which is determined by the storage capacity of the output medium, the display area, and the like.
  • the related image extraction unit 202 repeats the processes in steps S403 to S406.
  • the related image extraction unit 202 extracts an interpolation image highly relevant to the user's shooting preference from the interpolation images acquired by the interpolation image selection unit 106. can do.
  • the image search apparatus 200 can perform even when the number of interpolation images selected by the interpolation image selection unit 106 exceeds the number that can be presented. It is possible to preferentially present an image highly relevant to the user's shooting preference.
  • step S ⁇ b> 301 the related image extraction unit 202 uses the image database 101 to generate an image (an image acquired by the input unit 102) captured by the user from among the interpolation images notified from the interpolation image selection unit 106.
  • You may extract an image with high relevance (henceforth a similarity degree) with imaging conditions.
  • shooting conditions are also reflected in the user's shooting preferences.
  • the shooting conditions indicate shooting parameters that are automatically given to an image at the time of shooting such as color information (white balance, RGB ratio), aperture, subject distance, resolution, F value, shutter speed, and the like.
  • FIG. 17 is a flowchart showing a flow of processing performed by the related image extraction unit 202 to extract an image having a high degree of similarity with the shooting condition of the image shot by the user.
  • an image extraction method for extracting an image highly relevant to the user's shooting conditions will be described with reference to FIG.
  • the related image extraction unit 202 refers to the image database 101 to acquire the shooting parameters given to the image shot by the user (the image acquired in step S101) (step S501).
  • the shooting parameters are information automatically added to each image at the time of shooting such as color information (white balance, RGB ratio), aperture, subject distance, resolution, F value, shutter speed, and the like.
  • the related image extraction unit 202 acquires the interpolation image selected by the interpolation image selection unit 106 (step S503).
  • the related image extraction unit 202 selects one image from the interpolated images acquired in step S503 (step S504).
  • the related image extraction unit 202 refers to the image database 101 to acquire the imaging parameter (P2) of the interpolated image acquired in step S504 (step S505).
  • the related image extraction unit 202 uses the shooting parameter representative value (P1) calculated in step S502 and the shooting parameter (P2) acquired from step S505, and the shooting parameter of the user shooting image and the selected interpolation image.
  • the similarity e is calculated (step S506).
  • the similarity e can be calculated using, for example, the following equation (2).
  • n is the number of types of shooting parameters to be compared
  • P1i is the i-th shooting parameter of P1
  • P2i is the i-th shooting parameter of P2.
  • the sum of values obtained by normalizing the difference values of the parameters P1 and P2 using the parameter values of P1 is calculated as the similarity e. Therefore, the closer the value of similarity e is to 0, the more similar the shooting parameters of the user-captured image and the interpolation image selected in step S504. That is, the closer the value of similarity e is to 0, the higher the relevance of the shooting conditions between the image acquired in step S101 and the interpolated image selected in step S504.
  • the related image extraction unit 202 lists and stores combinations of the interpolation image selected in step S504 and the similarity calculated in step S506 (step S507).
  • step S508 determines whether or not all the interpolated images acquired in step S503 have been selected in step S504 (step S508). If all the images are selected (Yes in step S508), the image search device 200 proceeds to step S509. If all are not selected (No in step S508), the image search device 200 proceeds to step S504.
  • the related image extraction unit 202 refers to the list of interpolated images and similarities stored in step S507, and extracts as many images as possible that can be output (step S509).
  • the related image extraction unit 202 extracts an interpolation image highly relevant to the user's shooting conditions from the interpolation images acquired by the interpolation image selection unit 106. can do.
  • the image search apparatus 200 can extract an interpolated image having a high relevance between the interpolation target image and the shooting conditions, the user can more efficiently search for an image to be interpolated.
  • the image search device has been described based on the embodiments.
  • the present invention is not limited to these embodiments. Unless it deviates from the gist of the present invention, various modifications conceived by those skilled in the art have been made in the present embodiment, and forms constructed by combining components in different embodiments are also included in the scope of the present invention. .
  • the image search apparatuses 100 and 200 include the image database 101, the input unit 102, the moving speed calculation unit 105, the output unit 107, and the like. .
  • the interpolation range calculation unit 103 receives a plurality of interpolation target images (including the first image and the second image) and information (first information) about each interpolation target image via a network or the like from an external device or the like. And the second information are included).
  • the interpolation image candidate acquisition unit 104 and the interpolation image selection unit 106 may refer to an image database provided in a server or the like via a network or the like.
  • the interpolation image selection unit 106 may acquire the moving speed between the shooting positions of each interpolation target image from the image database, information on each interpolation target image, or the like.
  • the image search apparatus can compare the images that the user wants to interpolate between the shooting positions of the images selected by the user from among a plurality of images without having to stop at the shooting spot without including the moving speed calculation unit 105 or the like. It is possible to search easily.
  • the image search device determines the subject distance threshold value by comparing the moving speed with a predetermined threshold value.
  • the image search device uses such an image search method. It is not limited to a device.
  • the image search device may determine a subject distance threshold by referring to a subject distance database that stores a table storing a relationship between a moving speed and a subject distance. good.
  • FIG. 18 is a diagram showing an example of the subject distance database.
  • the subject distance database stores a threshold of the subject distance with respect to the moving speed. For example, when the moving speed is “20 km / h”, the image search device selects an image having a subject distance of “10 m” or more as an interpolated image.
  • the image search apparatus may use the subject distance threshold value for the closest moving speed stored in the subject distance database. Note that the image search apparatus according to an aspect of the present invention may determine the subject distance threshold value using a mathematical expression showing the relationship between the moving speed and the subject distance instead of the subject distance database.
  • the related image extraction unit extracts an image from the interpolation images selected by the interpolation image selection unit. It is not limited to an image search device.
  • the related image extraction unit may extract an image from candidate images.
  • the interpolation image selection unit may select an interpolation image from the images extracted by the related image extraction unit.
  • the subject distance is included in the content ancillary information 21.
  • the interpolated image selection unit 106 may calculate the subject distance using Expression (1).
  • the present invention can be realized as an image search method for executing processing performed by the characteristic components of such an image search apparatus, or as a program for causing a computer to execute the method as shown in FIG. You can also Such a program can be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.
  • FIG. 19 is a diagram illustrating an example of a hardware configuration of a computer.
  • a program for searching for an interpolated image from a plurality of images is stored in, for example, a CD-ROM 515 that is a computer-readable medium, and is read out via the CD-ROM device 514. Further, for example, a program for searching for an interpolated image from a plurality of images is transmitted via a wired or wireless network, broadcast, or the like.
  • the CPU 501 executes a program read via the CD-ROM device 514 or a program received via the communication interface 505. Specifically, the CPU 501 expands a program read via the CD-ROM device 514 or a program received via the communication interface 505 in the RAM 503. Then, the CPU 501 executes each coded instruction in the program expanded in the RAM 503.
  • the ROM 502 is a read-only memory that stores programs and data necessary for the operation of the computer 500.
  • the RAM 503 is used as a work area when the CPU 501 executes a program. Specifically, the RAM 503 temporarily stores data such as parameters at the time of program execution, for example.
  • the hard disk 504 stores programs, data, and the like.
  • the communication interface 505 communicates with other computers via a network.
  • the bus 506 connects the CPU 501, ROM 502, RAM 503, hard disk 504, communication interface 505, display 511, keyboard 512, mouse 513 and CD-ROM device 514 to one another.
  • the image search apparatus can be used as an image search apparatus that allows a user to search for an image that the user wants to interpolate from a large amount of stored image content.
  • the image search apparatus can be used as an apparatus for automatically creating a memory album by searching for an image that the user wants to interpolate from a database in which a large amount of image data is stored on the web or the like. .
  • the present invention can be used as an image search device for searching image content for interpolating between shooting positions of image content shot by a user from among a large amount of stored image content.
  • Image Content 21 Content Attached Information 22 User ID 23 Image ID 24 Image address 25 Shooting date and time 26 Shooting position 27 Tag 28 Subject distance 40 First interpolation target image (Kiyomizu Temple) 41 Second interpolation target image (Ginkakuji) 50 Range information 51 Range information 52 Interpolation range 80 Candidate image 81 Interpolated image (during low-speed movement) 82 Interpolated image (at high speed) DESCRIPTION OF SYMBOLS 100,200 Image search apparatus 101 Image database 102 Input part 103 Interpolation range calculation part 104 Interpolation image candidate acquisition part 105 Movement speed calculation part 106 Interpolation image selection part 107 Output part 130 Large area 131 Middle area 132 Small area 133 Diagonal area 160 Interpolation Image tag 161 Photographed image tag 201 Relevance database 202 Related image extraction unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　大量に蓄積された画像の中からユーザが補間したい画像を比較的容易に検索することができる画像検索装置を提供する。　第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とが含まれる場所の範囲を補間範囲として算出する補間範囲算出部（１０３）と、補間範囲内に撮影位置が含まれる画像を候補画像として、複数の画像の中から取得する補間画像候補取得部（１０４）と、第一撮影位置及び前記第二撮影位置の間の移動速度が大きいほど画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を、候補画像の中から選択する補間画像選択部（１０６）と、を備える。

Description

画像検索装置及び画像検索方法
　本発明は、大量に格納された画像コンテンツの中からユーザが撮影した画像コンテンツの撮影位置間を補間するための画像コンテンツを検索する画像検索装置及び画像検索方法に関する。
　旅行に行ったときに、ユーザが写真撮影に集中しすぎて、旅行そのものを十分に楽しめないということがある。一方、ユーザが観光地へ旅行に行った場合、多くの旅行者が似たような場所の似たような風景を撮影していることが多い。実際にインターネット上において提供されている写真共有サービスでは、自分が撮影した写真とほとんど同じ構図の写真が見つかることが多い。そこで、自分が撮影した写真に対して写真共有サービスの写真を補間することにより、思い出のアルバムを簡便に作成できれば、ユーザは全ての写真を撮影しなくても旅行の思い出を記録しておくことができる。
　ユーザが思い出のアルバムを作成する際、写真共有サービスを用いて補間したい写真を検索するためには、ユーザは自らキーワードを入力して検索を行う必要がある。画像コンテンツの特徴は、動画コンテンツ或いは音楽コンテンツとは異なり、コンテンツ数が一覧できないほど多く存在することである。例えば、代表的ないくつかの写真共有サービスでは、ユーザが「沖縄」というキーワードのみを入力して検索を行った場合、１０万枚以上の写真が検索される。このような大量の写真の中から、ユーザが思い出として記録したい写真だけを選ぶためには、ユーザは、写真をモニタ等において一覧可能な数まで絞り込む必要がある。すなわち、ユーザは写真を絞り込むために複数のキーワードを組み合わせて入力する必要がある。このような入力作業、選択作業などを個々の思い出に対して行うことは、ユーザにとって非常に操作負担が大きな作業となる。
　このような問題に対し、予めサーバに蓄積された観光地の写真を用いて、ユーザが簡便に思い出のアルバムを作成するための方法が提案されている（例えば、特許文献１参照）。特許文献１に記載の方法では、観光地の各写真撮影スポットに設置されたタグリーダを用いて、ユーザは、予めサーバに蓄積された当該ポイントの高品質な写真を読み取る。その結果、ユーザは、自ら全ての写真を撮影すること無く、思い出のアルバムを簡便に作成することができる。
特開２００７－２１３２１６号公報
　しかし、ユーザが歩行以外の手段を用いて移動中の場合は、写真撮影スポットに立ち寄って補間する写真を取得できない。そのため、特許文献１に記載の方法では、ユーザは、移動中に見た風景が撮影された写真の中からアルバムに記録したい撮像内容の写真をアルバムに追加することができないという課題がある。
　例えば、従来手法ではユーザが電車で移動をしている時に窓から見た風景写真をユーザは取得することはできない。また、ユーザが自動車又は自転車で移動する際も、ユーザは、一度自動車又は自転車から降車してから写真スポットに立ち寄る必要が生じる。そのため、従来手法では、写真を取得するためにユーザに与える負荷が高くなってしまう。
　そこで、本発明は、上記課題を解決するものであって、大量に格納された画像コンテンツの中から、ユーザが撮影スポットに立ち寄ることなく、ユーザが選択した画像コンテンツの撮影位置間を補間したい画像を比較的容易に検索することができる画像検索装置及び画像検索方法を提供する。
　上記の課題を解決するために、本発明の一態様に係る画像検索装置は、少なくとも２つの補間対象画像のそれぞれが撮影された位置の間を補間するための補間画像を複数の画像の中から検索する画像検索装置であって、第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とが含まれる地理的場所の範囲を補間範囲として算出する補間範囲算出部と、前記補間範囲算出部により算出された補間範囲内に撮影位置が含まれる画像を候補画像として、画像データベースに格納された前記複数の画像の中から取得する補間画像候補取得部と、前記第一撮影位置及び前記第二撮影位置の間の移動速度が大きいほど、画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を前記候補画像の中から選択する補間画像選択部と、を備える。
　これにより、複数の画像の中からユーザが選択した画像の撮影位置間を補間したい画像を、ユーザが撮影スポットに立ち寄ることなく、比較的容易に検索することが可能となる。また、ユーザの移動速度に応じて必要な画像のみを取得することができるので、ユーザに適した補間画像を検索することが可能となる。例えば、この画像検索装置によって検索された補間画像が出力されれば、ユーザは、自分が撮影した二つの画像が撮影された期間内に体験したできごとが撮影された画像を、他人が撮影した画像を用いて、比較的容易に補間することが可能となる。
　さらに、この画像検索装置によって検索された補間画像が出力されれば、タグリーダ等の特別なインフラを構築すること無く、ユーザは補間画像を取得することが可能となる。
　本発明によると、大量に格納された画像コンテンツの中から、ユーザが撮影スポットに立ち寄ることなく、ユーザが撮影した画像コンテンツの撮影位置間を補間するための画像を比較的容易に検索することができる。
図１は、本発明の実施の形態１に係る画像検索装置の特徴的な機能構成を示すブロック図である。 図２は、画像コンテンツ及びコンテンツ付属情報の一例を示す図である。 図３は、画像データベースの一例を示す図である。 図４は、入力部の画面例を示す図である。 図５は、補間範囲の一例を示す図である。 図６は、本発明の実施の形態１に係る画像検索装置が実行する全体的な処理の流れを示すフローチャートである。 図７は、図６のステップＳ１０５の詳細な処理の流れを示すフローチャートである。 図８は、補間画像選択部の処理結果の一例を示す図である。 図９は、出力部により出力媒体へ出力された画面の一例を示す図である。 図１０は、出力部により出力媒体へ出力された画面の一例を示す図である。 図１１は、本発明の実施の形態２に係る画像検索装置の特徴的な機能構成を示すブロック図である。 図１２は、関連度データベースの一例を示す図である。 図１３は、階層化された領域を示す概念図である。 図１４は、本発明の実施の形態２に係る画像検索装置が実行する処理の全体的な流れを示すフローチャートである。 図１５は、図１４のステップＳ３０１の詳細な処理の流れを示すフローチャートである。 図１６は、関連度データベースの一例を示す図である。 図１７は、図１４のステップＳ３０１の他の詳細な処理の流れを示すフローチャートである。 図１８は、被写体距離データベースの一例を示す図である。 図１９は、コンピュータのハードウェア構成の一例を示す図である。
　以下、本発明の一態様に係る画像検索装置について、図面を用いて詳細に説明する。なお、説明を簡単にするため、以下の実施の形態では、ユーザが京都に旅行したときに撮影した画像に対して、データベースに蓄積された画像を補間することにより、思い出のアルバムを作成する例を用いて説明する。
　（実施の形態１）
　図１は、本発明の実施の形態１に係る画像検索装置１００の特徴的な機能構成を示すブロック図である。図１に示すように、画像検索装置１００は、複数の画像の中から補間画像を検索する装置である。ここで、補間画像とは、二つの画像のそれぞれの撮影位置の間を補間するための画像である。具体的には、補間画像とは、二つの画像のそれぞれの撮影位置の間の位置において撮影された画像である。画像検索装置１００は、画像データベース１０１、入力部１０２、補間範囲算出部１０３、補間画像候補取得部１０４、移動速度算出部１０５、補間画像選択部１０６、及び出力部１０７を備える。
　以下、図１に示した、画像検索装置１００の各構成要素の詳細について順に説明する。
　画像データベース１０１は、例えばハードディスク、メモリ等からなる記憶装置である。画像データベース１０１は、検索対象となる画像コンテンツ２０と、その画像コンテンツ２０に対応するコンテンツ付属情報２１とを記憶しているデータベースである。ここで、画像コンテンツ２０とは、電子媒体に格納された画像を示す。また、コンテンツ付属情報２１とは、画像コンテンツ２０の内容を示す情報である。具体的には、例えば、コンテンツ付属情報２１は、画像撮影時に画像コンテンツ２０へ付加される、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ　ｉｍａｇｅ　ｆｉｌｅ　ｆｏｒｍａｔ）情報（撮影日時、緯度・経度情報など）、及びユーザが撮影後に画像コンテンツ２０へ付加したタグ等の画像情報である。
　図２は、画像データベース１０１に記憶されている、画像コンテンツ２０及びコンテンツ付属情報２１の一例を示す図である。図２に示すように、画像データベース１０１は、画像コンテンツ２０に加え、ユーザＩＤ２２、画像ＩＤ２３、画像アドレス２４、撮影日時２５、撮影位置２６、タグ２７、被写体距離２８を含むコンテンツ付属情報２１を記憶している。
　ユーザＩＤ２２は、画像コンテンツ２０を撮影したユーザを識別するための情報を示す。画像ＩＤ２３は、画像コンテンツ２０を識別するための情報を示す。画像アドレス２４は、画像コンテンツ２０が保存されている場所の情報を示す。撮影日時２５は、画像コンテンツ２０が撮影された日時を示す。撮影位置２６は、画像コンテンツ２０が撮影された位置を示す。なお、画像コンテンツ２０が撮影された位置は、緯度及び経度により特定される。
　被写体距離２８は、画像コンテンツ２０が撮影されたときの被写体までの距離を示す。被写体距離２８は撮影時に自動的にＥｘｉｆ情報として画像に付与される。なお、被写体距離２８が画像に自動的に付与されない場合は、次式を用いて算出された被写体距離ａがコンテンツ付属情報２１に含まれてもよい。
Figure JPOXMLDOC01-appb-M000001
　ここで、ａは被写体距離、ｆは焦点距離、Ｍは撮影倍率である。すなわち、画像データベース１０１に記憶された画像コンテンツの内、被写体距離がＥｘｉｆ情報として付与されていない画像コンテンツに対しては、各画像コンテンツに付与されたＥｘｉｆ情報に含まれる撮影倍率及び焦点距離を式（１）に代入することにより得られる被写体距離ａが、画像データベース１０１に記憶されてもよい。
　タグ２７は、画像コンテンツ２０の内容を示す単語（キーワード）を示す。例えば、ユーザは、画像撮影後にタグ２７を手入力する。また、画像検索装置１００は、撮影位置２６に含まれる緯度及び経度の情報に基づいて取得される地域名或いは建物名を、タグ２７として自動的に付加してもよい。また、画像検索装置１００は、撮影日時２５と撮影位置２６と天気データベースとを用いて、天気及び気温の情報をタグ２７として自動的に付加してもよい。また、画像検索装置１００は、画像コンテンツ２０の画素値から得られる画像代表色を、タグ２７として自動的に付加してもよい。また、画像検索装置１００は、画像コンテンツ２０において人物検出を行うことにより検出された人数等の情報を、タグ２７として自動的に付加してもよい。
　図３は、画像データベース１０１の一例を示す図である。図３に示すように、画像データベース１０１では、図２に示した各コンテンツ付属情報２１が検索容易となるようにリスト化されている。
　なお、本実施の形態では、画像データベース１０１が画像検索装置１００に備えられる事例について説明するが、本発明が適用される画像検索装置は、このような画像検索装置に限定されるものではない。例えば、画像データベース１０１は、画像検索装置とネットワークを介して接続されたサーバ上に備えられてもよい。
　また、コンテンツ付属情報２１は、画像コンテンツ２０内に含まれてもよい。
　また、画像データベース１０１は、画像間におけるユーザの移動速度をコンテンツ付属情報２１として格納してもよい。移動速度とは、二つの補間対象画像の撮影位置間の距離を、その二つの補間対象画像の撮影時刻の差分時間で除することにより算出される値である。例えば、画像コンテンツ２０の移動速度は、画像コンテンツ２０の次に撮影された画像コンテンツとの撮影位置間の距離を撮影時刻の差分時間で除することにより算出される。そして、算出された移動速度がコンテンツ付属情報２１として記憶される。このように画像間の移動速度は画像データベース１０１に格納されてもよい。また、後述するように、ユーザからの入力を受け付ける度に移動速度算出部１０５が移動速度を算出してもよい。
　ここで、図１に示した画像検索装置１００の各構成要素の説明に戻る。
　入力部１０２は、例えば、キーボード、マウス等からユーザにより入力された情報をメモリ等に取得する。具体的には、入力部１０２は、ユーザが撮影した画像コンテンツ２０及びその画像ＩＤ２３、並びにそれらの画像コンテンツ２０の中から、ユーザが画像が撮影された位置間の補間を行いたい複数の補間対象画像及び補間対象画像に関する情報（画像ＩＤ２３等）を取得する。そして、入力部１０２は、取得した補間対象画像の画像ＩＤ２３を、補間範囲算出部１０３及び移動速度算出部１０５に通知する。
　図４は、入力部１０２の画面例を示す図である。図４に示すように、ユーザは、自分が撮影した画像コンテンツ２０の中から、画像が撮影された位置間の補間を行いたい画像コンテンツ２０（補間対象画像）を複数枚選択する。この例では、ユーザは、京都で撮影された６枚の画像コンテンツ２０の内、第一補間対象画像（清水寺）４０と第二補間対象画像（銀閣寺）４１とを選択している。すなわち、入力部１０２は、ユーザから清水寺と銀閣寺との間の場所の画像を補間する要求を受付けたことになる。
　なお、補間対象画像は、必ずしもユーザによって直接選択される必要はない。例えば、画像検索装置は、ユーザの嗜好等に基づいて補間対象画像を推定してもよい。また、例えば、ユーザが観光した場所を入力することにより、画像検索装置は、入力された場所の情報を用いて補間対象画像を選択してもよい。
　補間範囲算出部１０３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、プログラムを格納しているメモリ等からなる。補間範囲算出部１０３は、画像データベース１０１を参照することにより、入力部１０２により取得された画像ＩＤ２３に対応する撮影位置２６及び撮影日時２５を取得する。そして、補間範囲算出部１０３は、取得した撮影位置２６及び撮影日時２５を用いて、補間対象となる場所の範囲を示す補間範囲５２を算出する。つまり、補間範囲算出部１０３は、補間対象画像の撮影位置２６が含まれる場所の範囲を補間範囲として算出する。そして、補間範囲算出部１０３は、補間対象画像の撮影日時２５の経過時間が大きいほど場所の範囲が広くなるように前記補間範囲を算出する。さらに、補間範囲算出部１０３は、算出した補間範囲５２を補間画像選択部１０６へ通知する。具体的な補間範囲算出方法については後述する。
　図５は、第一補間対象画像（清水寺）４０と第二補間対象画像（銀閣寺）４１とに基づいて算出される補間範囲５２の一例を示す図である。図５に示すように、矩形の補間範囲５２を算出する場合は、補間範囲算出部１０３は、矩形の対角点の緯度及び経度を範囲情報５０及び範囲情報５１として算出する。
　補間画像候補取得部１０４は、例えば、ＣＰＵ、プログラムを格納しているメモリ等からなる。補間画像候補取得部１０４は、補間範囲算出部１０３により算出された補間範囲内において撮影された画像群を検出する。具体的には、補間画像候補取得部１０４は、画像データベース１０１を参照することにより、補間範囲算出部１０３により算出された緯度、経度情報に含まれる画像群の画像ＩＤを取得する。そして、補間画像候補取得部１０４は、取得した画像ＩＤを補間画像選択部１０６へ通知する。
　移動速度算出部１０５は、例えば、ＣＰＵ、プログラムを格納しているメモリ等からなる。移動速度算出部１０５は、入力部１０２から取得した補間対象画像間におけるユーザの移動速度を算出する。具体的には、移動速度算出部１０５は、補間対象画像の撮影位置２６間の直線距離を算出する。さらに、移動速度算出部１０５は、補間対象画像の撮影日時２５の差分から時間を算出する。そして、移動速度算出部１０５は、算出された距離を時間で除することにより移動速度を算出する。また、移動速度算出部１０５は、補間対象画像間の撮影位置情報と算出した移動速度情報とを補間画像選択部１０６へ通知する。ここで移動速度とは、補間対象画像を同一ユーザが撮影した場合には、一方の補間対象画像の撮影位置から他方の補間対象画像の撮影位置へ当該ユーザが移動した速度である。具体的には、移動速度は、二つの補間対象画像の撮影位置間の距離を、その二つの補間対象画像の撮影時刻の差分時間で除することにより算出される値である。
　補間画像選択部１０６は、例えば、ＣＰＵ、プログラムを格納しているメモリ等からなる。補間画像選択部１０６は、補間画像候補取得部１０４から取得した画像ＩＤと移動速度算出部１０５から取得した撮影位置情報及び移動速度情報と画像データベース１０１を用いて、補間画像候補取得部１０４から取得した画像群の中からユーザの移動速度に応じて必要な画像だけを選択する。つまり、補間画像選択部１０６は、移動速度算出部１０５により算出された移動速度が大きいほど被写体距離が大きい画像だけが選択されるように、補間画像候補取得部１０４により取得された候補画像の中から補間画像を選択する。具体的には、補間画像選択部１０６は、移動速度が予め定められた閾値以下の場合には補間画像候補取得部１０４から取得した画像群を全て選択する。一方、補間画像選択部１０６は、移動速度が予め定められた閾値より大きい場合には、補間画像候補取得部１０４から取得した画像群の中から被写体距離が予め定められた閾値以上の写真（遠景写真）だけを取得する。そして、補間画像選択部１０６は、選択した画像の画像ＩＤを出力部１０７に通知する。なお、補間画像選択部１０６は、入力部１０２から取得した補間対象画像間におけるユーザの移動速度を、画像データベース１０１から取得してもよい。また、具体的な補間画像選択方法に関しては後述する。
　以下に、補間画像選択部１０６が、移動速度が大きいほど被写体距離が大きい画像を選択する理由について述べる。撮影者の移動速度が比較的遅い場合（歩行など）、撮影者は近距離の被写体、遠距離の被写体の両方を鑑賞することができる。そのため、被写体距離が小さい画像である近景画像と被写体距離が大きい画像である遠景画像との両方の画像が撮影者の経験と合致し、補間画像となり得る。一方、移動速度が比較的速い場合（自動車、電車など）には、撮影者は近距離にある被写体をじっくりと鑑賞することはできない。従って、移動速度が速い場合には、近景画像はユーザが補間したい画像に合致しない。そのため、補間画像選択部１０６は、移動速度が遅い場合には遠景画像及び近景画像の両方の画像を選択し、移動速度が速い場合には遠景画像だけを選択する。その結果、画像検索装置１００は、ユーザが補間したい画像に合致した画像だけを検索することが可能になる。
　出力部１０７は、補間画像選択部１０６により取得された画像コンテンツ２０を出力媒体へ出力する。出力媒体は、例えば液晶ディスプレイ、テレビなどのモニタである。
　次に、以上のように構成された画像検索装置１００の動作について説明する。
　図６は、画像検索装置１００が実行する処理の全体的な流れを示すフローチャートである。
　まず、入力部１０２は、ユーザが撮影した画像コンテンツ２０の画像ＩＤ２３、及びそれらの画像ＩＤ２３の中からユーザが補間を行いたい複数の補間対象画像の画像ＩＤ２３を受け取る。そして、入力部１０２は、受け取った補間対象画像の画像ＩＤ２３を補間範囲算出部１０３及び補間画像候補取得部１０４に通知する（ステップＳ１０１）。
　次に、補間範囲算出部１０３は、入力部１０２から通知された補間対象画像の画像ＩＤ２３に対応する撮影位置２６及び撮影日時２５を、画像データベース１０１から取得する。そして、補間範囲算出部１０３は、取得した撮影位置２６及び撮影日時２５を用いて、補間対象となる場所の範囲を示す補間範囲を算出する。さらに、補間範囲算出部１０３は、算出した補間範囲を、補間画像候補取得部１０４へ通知する（ステップＳ１０２）。
　具体的には、例えば補間範囲算出部１０３は、補間対象画像の撮影位置２６（緯度、経度）の重心を中心とし、かつ、補間対象画像の撮影日時２５から得られる経過時間に比例した距離を半径とする範囲を補間範囲として算出する。ここで、経過時間は、補間対象画像の撮影日時２５の差分である。なお、補間対象画像が３以上ある場合、経過時間は、補間対象画像の撮影日時２５の内、最も古い撮影日時２５と最も新しい撮影日時２５との差分とする。
　また、補間範囲算出部１０３は、予め設定された複数の範囲の中から、補間対象画像の撮影位置２６（緯度、経度）が含まれる範囲を補間範囲として選択してもよい。この場合、補間範囲算出部１０３は、補間対象画像の経過時間に応じて、選択した範囲に隣接する範囲を補間範囲に加えてもよい。
　また、補間対象画像の撮影日時２５から得られる経過時間が所定の閾値以上の場合は、補間範囲算出部１０３は、ユーザが補間範囲を指定できるようにするために、図５に示すような領域をユーザに提示してもよい。これにより、補間範囲算出部１０３は、補間範囲が大きくなりすぎること及び補間範囲の算出間違いを防ぐことができる。
　次に、補間画像候補取得部１０４は、補間範囲算出部１０３により算出された補間範囲に含まれる画像群を検出し、補間画像選択部１０６へ通知する（ステップＳ１０３）。具体的には、画像データベース１０１を参照することにより、補間範囲算出部１０３により算出された緯度、経度情報に含まれる画像群の画像ＩＤを取得する。
　次に、移動速度算出部１０５は、入力部１０２から取得した各補間対象画像の撮影日時２５と撮影位置２６とを用いて、各補間対象画像間におけるユーザの移動速度を算出し、補間対象画像の撮影位置情報と算出した速度情報を補間画像選択部１０６へ通知する（ステップＳ１０４）。
　具体的には、例えば、移動速度算出部１０５は、図４の第一補間対象画像（清水寺）４０及び第二補間対象画像（銀閣寺）４１の撮影位置の差分から撮影位置間の距離ｘを算出する。一方、移動速度算出部１０５は、撮影時間の差分から時間ｔを算出する。そして、移動速度算出部１０５は、距離ｘを時間ｔで除することにより移動速度を算出する。
　なお、移動速度算出部１０５は、別途用意された地図データベースを用い、撮影位置間を結ぶルート検索を行い、検索されたルートに沿った距離ｘを算出してもよい。これにより、移動速度算出部１０５は、撮影位置間の距離をより正確に算出することができる。そのため、移動速度算出部１０５は、移動速度の算出精度を高めることができ、移動速度の誤算出により不必要な補間画像をユーザに提示することを防ぐことができる。
　次に、補間画像選択部１０６は、移動速度算出部１０５から通知された補間対象画像の撮影位置情報と速度情報から、移動速度に適合した候補画像を補間画像として選択し、出力部１０７に通知する（ステップＳ１０５）。
　最後に、出力部１０７は、補間画像選択部１０６により取得された補間画像を出力媒体へ出力する（ステップＳ１０６）。
　図７は、補間画像選択部１０６による補間画像選択の処理（図６のステップＳ１０５）の詳細な処理の流れを示すフローチャートである。以下、図７を用いて移動速度に適合した画像選択方法について説明する。
　まず、補間画像選択部１０６は、補間画像候補取得部１０４から候補画像の画像ＩＤを取得する（ステップＳ２０１）。
　次に、補間画像選択部１０６は、移動速度算出部１０５からユーザの移動速度を取得する（ステップＳ２０２）。
　次に、補間画像選択部１０６は、移動速度が予め定められた閾値より大きいか否かを判別する（ステップＳ２０３）。ここで、移動速度が閾値より大きい場合は（ステップＳ２０３のＹｅｓ）、ステップＳ２０４に進む。一方、移動速度が閾値以下の場合は（ステップＳ２０３のＮｏ）、ステップＳ２０５に進む。なお、移動速度の閾値には、例えば標準的な人の限界歩行速度（約１２ｋｍ／時）が用いられればよい。これにより、補間画像選択部１０６は、ユーザが補間対象画像の撮影位置間を歩いて移動しているか否かを判断することができる。
　次に、補間画像選択部１０６は、ステップＳ２０１において取得した候補画像の中から補間画像として被写体距離が閾値以上の画像のみを選択する（ステップＳ２０４）。被写体距離の閾値には、例えば設計者により「１０ｍ」と設定されればよい。前述のように、移動速度が速い場合（自動車、電車など）には、撮影者は近距離にある被写体をじっくりと鑑賞することはできない。従って、移動速度が速い場合には、近景画像はユーザが補間したい画像に合致しない。そのため、補間画像選択部１０６は、移動速度が速い場合には遠景画像だけを補間画像として選択することにより、ユーザが補間したい画像に合致した画像だけを選択することが可能になる。
　次に、補間画像選択部１０６は、ステップＳ２０１において取得した全ての候補画像を補間画像として選択する（ステップＳ２０５）。撮影者の移動速度が遅い場合（歩行など）、撮影者は近距離の被写体、遠距離の被写体の両方を鑑賞することができる。そのため、近景画像と遠景画像の両方の画像が撮影者の経験と合致し、補間画像となり得る。よって、移動速度が遅い場合には、補間画像選択部１０６は、遠景画像及び近景画像の両方の画像を選択することにより、ユーザが補間したい画像に合致した画像を選択することが可能になる。
　図８は、ステップＳ２０１～Ｓ２０５の処理により、移動速度に応じて異なる補間画像が選択される、補間画像選択部１０６の処理結果の一例を示す図である。前提条件として、ユーザが図４に示す第一補間対象画像（清水寺）４０、及び第二補間対象画像（銀閣寺）４１を選択し、補間範囲が図５に示す補間範囲５２であるとする。そして、画像データベース１０１に存在する画像のうち撮影位置が補間範囲５２に含まれる画像が候補画像８０であるとする。この時、ステップＳ２０３において第一補間対象画像（清水寺）４０、及び第二補間対象画像（銀閣寺）４１の撮影時刻から算出したユーザの移動速度が閾値（１２ｋｍ／ｈ）以下の場合、補間画像（低速移動時）８１は全ての候補画像が選択される。すなわち、移動速度が「３ｋｍ／ｈ」である場合、補間画像選択部１０６は、補間画像（低速移動時）８１を選択する。一方、移動速度が閾値（１２ｋｍ／ｈ）以上の場合、補間画像（高速移動時）８２は候補画像の中から被写体距離が閾値（２０ｍ）以上の画像のみが選択される。すなわち、移動速度が「３０ｋｍ／ｈ」である場合、補間画像選択部１０６は、補間画像（高速移動時）８２を選択する。
　以上のステップＳ２０１～Ｓ２０５の処理が実行されることにより、補間画像選択部１０６はユーザの移動速度に適合した画像のみを補間画像として選択することができる。
　図９及び図１０は、出力部１０７により出力媒体へ出力された画面の一例を示す図である。図９に示すように、出力部１０７は、補間画像を地図上などに一覧表示してもよい。また、図１０に示すように、出力部１０７は、補間画像を撮影位置の近い順にスライドショー形式で表示してもよい。
　以上、図６に示すステップＳ１０１～ステップＳ１０６の処理が実行されることにより、画像検索装置１００は、補間画像の撮像内容を推定することができるため、大量に格納された画像の中から、自分と類似した撮影を行うユーザの画像を補間画像として取得することができる。
　すなわち、本実施の形態に係る画像検索装置１００は、画像データベース１０１に格納された画像の中から、補間画像を選択することが可能となるので、ユーザは撮影スポットに立ち寄ることなく、補間画像を取得することが可能となる。また、画像検索装置１００は、画像の撮影位置間の移動速度が大きいほど被写体距離が大きい画像を選択することができるので、ユーザが補間したい画像を効率的に検索することが可能となる。
　（実施の形態２）
　次に、本発明の実施の形態２に係る画像検索装置２００について説明する。
　本実施の形態の画像検索装置２００は、候補画像の中からユーザの撮影嗜好に関連性の高い画像を抽出して提示する点に特徴を有する。ここで、撮影嗜好とは、撮影する被写体の好みや、画像の色、画角等の画質の好みを示す。
　上述の実施の形態１に係る画像検索装置１００は、撮影位置が補間範囲に含まれる画像の中からユーザの移動速度に適合した画像を取得し、取得した全ての画像を補間画像として選択した。しかし、この方法では提示対象となる補間画像が提示許容枚数を超えてしまった場合、画像検索装置１００は、提示対象の補間画像の中からユーザの撮影嗜好に、より適合した補間画像を提示できない可能性が生じてしまう。例えば、ユーザが「庭」をテーマにした写真を多く撮影するユーザである場合を考える。補間画像として被写体が「庭」の画像と「建物」の画像があり、画像検索装置がどちらか一方しか提示できない場合、画像検索装置は、ユーザの嗜好が分からなければ「庭」の画像を提示できるとは限らない。そこで、画像検索装置は、ユーザが撮影した画像からユーザの撮影嗜好が分かれば、提示対象の補間画像の中からユーザの撮影嗜好と関連性の高い画像を優先的に提示することができ、ユーザの利便性を向上させることができる。
　そこで本実施の形態における画像検索装置２００は、ユーザの撮影した画像のタグ、撮影時間、撮影位置などを用いてユーザの撮影嗜好と関連性の高い画像を抽出する。なお、本実施例では、実施の形態１と同じく、撮影者が京都旅行において撮影した画像に対して、サーバ上に蓄積された画像を補間し、思い出となるアルバムを作成する例を用いて説明する。
　以下、初めに図１１を参照しながら、画像検索装置の各構成について順に説明する。
　（実施の形態２の各構成の説明）
　図１１は、本発明の実施の形態２に係る画像検索装置２００の特徴的な機能構成を示すブロック図である。図１１において、図１と同じ構成要素については同じ符号を付し、説明を省略する。図１１に示す画像検索装置２００が図１に示す画像検索装置１００と相違する点は、画像データベース１０１に登録されている画像コンテンツのコンテンツ付属情報間の関連性の高さを示す関連度を記憶している関連度データベース２０１と、補間画像選択部１０６により選択された補間画像の中からユーザの撮影嗜好と関連性の高い画像を抽出する関連画像抽出部２０２を有する点である。
　関連度データベース２０１は、例えばハードディスク、メモリ等からなる記憶装置である。関連度データベース２０１は、画像コンテンツ２０間の関連性の高さを示す関連度を記憶している。具体的には、画像コンテンツ２０の被写体情報間の関連度を記憶している。ここで、被写体情報とは、ユーザが撮影した画像コンテンツ２０における被写体を表す単語（キーワード）の情報である。具体的には、被写体情報は、例えば、タグ２７に設定された被写体の名称、被写体が存在する地域の名称、被写体の数、被写体の色などである。
　また、関連度データベース２０１は、被写体情報の関連度を、領域単位で記憶している。具体的には、関連度データベース２０１は、領域毎に、当該領域に属する画像コンテンツ２０のタグ２７間の関連度を記憶している。ここで、領域とは、都道府県、市町村、５０ｋｍ四方などに基づいて分割された場所を示す。
　また、関連度は、例えば「ドキュメント中に出現する単語間の関連性に基づく連想検索のためのメタデータ空間生成方式」（非特許文献１：本間秀典ら、第１６回データ工学ワークショップ（ＤＥＷＳ２００５）、６Ａ－ｏ２、電子情報通信学会、２００５）に記載の方法等を利用して算出される。
　図１２は、京都市東山区及び左京区周辺の領域の関連度データベース２０１の一例を示す図である。図１２に示す関連度データベース２０１では、行方向と列方向とが交差する位置に、行方向のタグ２７と列方向のタグ２７との関連度が記憶されている。この関連度は、各領域に属する画像コンテンツ２０のタグ２７間の共起に基づいて算出される。
　ここで、画像コンテンツ２０が領域に属するか否かは、当該画像コンテンツ２０の撮影位置２６に基づいて判断される。
　なお、関連度データベース２０１における領域は、複数に階層化されてもよい。例えば、関連度データベース２０１は、同じ地点に対して小領域、中領域、及び大領域の３段階の領域を用いてタグ２７の関連度を記憶していてもよい。
　図１３は、階層化された領域を示す概念図である。図１３に示すように、関連度データベース２０１は、京都府に属する画像コンテンツ２０のタグ２７間の関連度を、都道府県単位の領域を示す大領域１３０に対応する関連度として記憶してもよい。また、関連度データベース２０１は、京都市に属する画像コンテンツ２０のタグ２７間の関連度を、市町村単位の領域を示す中領域１３１に対応する関連度として記憶してもよい。また、関連度データベース２０１は、下京区等に属する画像コンテンツ２０のタグ２７間の関連度を、区単位の領域を示す小領域１３２に対応する関連度として記憶してもよい。このように、関連度データベース２０１において関連度を記憶する領域を階層化することにより、後述する関連画像抽出部２０２は、ユーザが画像を補間したい領域に応じて、関連度データベース２０１において関連度を取得する領域を選択することができる。その結果、関連画像抽出部２０２は、ユーザが補間したい画像の撮像内容を、正確に推定することが可能となる。
　関連画像抽出部２０２は、例えば、ＣＰＵ、プログラムを格納しているメモリ等からなる。関連画像抽出部２０２は、画像データベース１０１と関連度データベース２０１を用いて、補間画像選択部１０６から取得した補間画像の中からユーザの撮影画像と関連性の高い関連画像を抽出し、抽出した画像の画像ＩＤを出力部１０７に通知する。なお、具体的な関連画像抽出方法に関しては後述する。
　関連画像とは、ユーザが撮影した画像に付与された画像情報と関連性の高い画像と定義する。例えば、ユーザが撮影した画像に付与したタグと関連性の高いタグを持つ画像はその一例である。画像に付与されたタグは被写体や被写体についての印象を示す情報である。これらの被写体に関する情報が合致する画像は、ユーザの嗜好と関連性の高い画像であると言える。
　また、ユーザが撮影した画像の撮影条件（撮影時間、色情報（ホワイトバランス、ＲＧＢ比率）、絞り、被写体距離、解像度、Ｆ値、シャッタースピードなどの画像情報）と関連性の高い画像も関連画像に含まれる。タグと同様に、撮影条件にはユーザの嗜好が反映されている。そのため、撮影条件が合致する画像は、ユーザの嗜好と関連性の高い画像であると言える。
　次に、図１４のフローチャートを参照しながら、図１１に示される画像検索装置２００において行われる全体的な処理の流れを説明する。
　図１４は、画像検索装置２００が実行する処理の全体的な流れを示すフローチャートである。なお、図１４において、図６に示される、実施の形態１の画像検索装置１００の処理と同じ処理が実行されるステップについては同じ符号を付している。
　本実施の形態の画像検索装置２００では、画像データベース１０１に登録された画像が持つタグ間の関連度が記憶された関連度データベース２０１を用いてユーザが撮影した画像と関連性の高い画像を抽出する処理が、実施の形態１の画像検索装置１００における処理と異なっている。しかし、その他の処理は実施の形態１の画像検索装置１００の処理と同じである。具体的には、図１４において、画像検索装置２００が実行する、ステップＳ１０１～Ｓ１０６の処理は、図６に示す実施の形態１の画像検索装置１００の処理と同じため、説明を省略する。
　関連画像抽出部２０２は、画像データベース１０１と、関連度データベース２０１を用いて、補間画像選択部１０６から通知された補間画像の中からユーザの撮影嗜好に関連性の高い画像を抽出する（ステップＳ３０１）。
　図１５は、関連画像抽出部２０２による画像抽出の処理（図１４のステップＳ３０１）の詳細な処理の流れを示すフローチャートである。以下、図１５を用いてユーザの撮影嗜好と関連性の高い画像を抽出する画像抽出方法について説明する。
　まず初めに、関連画像抽出部２０２は、画像データベース１０１からステップＳ１０１において取得された補間対象画像（以下、ユーザが撮影した画像又はユーザ撮影画像ともいう。）に付与された全てのタグを取得する（ステップＳ４０１）。以下、ステップＳ４０１において取得されたタグをタグ集合Ａと呼ぶ。
　次に、関連画像抽出部２０２は、補間画像選択部１０６から補間画像の画像ＩＤを取得する（ステップＳ４０２）。
　次に、関連画像抽出部２０２は、ステップＳ４０２において取得した補間画像の画像ＩＤの中から１つの画像ＩＤを選択する（ステップＳ４０３）。つまり、関連画像抽出部２０２は、補間画像を１枚選択する。
　次に、関連画像抽出部２０２は、ステップＳ４０３において取得した画像ＩＤに対応するタグを画像データベース１０１から取得する（ステップＳ４０４）。以下、ステップＳ４０４において取得されたタグをタグ集合Ｂと呼ぶ。
　次に、関連画像抽出部２０２は、ステップＳ４０１において取得されたタグ集合ＡとステップＳ４０４において取得されたタグ集合Ｂの関連度を算出する（ステップＳ４０５）。ここで、関連画像抽出部２０２は、タグ集合Ａの撮影位置２６が属する領域の関連度データベース２０１を参照することにより、タグ集合Ａに含まれるタグ２７に対するタグ集合Ｂの関連度をそれぞれ取得する。そして、関連画像抽出部２０２は、取得したタグ間の関連度を総加算することにより、タグ集合Ａとタグ集合Ｂの関連度を算出する。タグ集合Ａはユーザが自ら撮影した画像に付与したタグであり、これらのタグにはユーザの画像に対する嗜好や写真に対する観点が反映されている。一方、タグ集合Ｂはユーザ以外の人が撮影した画像に対してユーザ以外の人が付与したタグであり、これらのタグにはユーザ以外の人の嗜好や観点が反映されている。すなわち、タグ集合Ａと関連度が大きいタグ集合Ｂを含む画像は、ユーザの嗜好と関連性の高い画像だと言える。
　図１６は、ステップＳ４０３において選択された補間画像タグ１６０（「平安神宮」、「鳥居」及び「赤」（タグ集合Ｂ））と、ステップＳ４０１において取得された撮影画像タグ１６１（「銀閣寺」、「庭園」及び「清水寺」（タグ集合Ａ））との関連度が記憶された関連度データベース２０１の一例を示す図である。以下、図１６を用いてステップＳ４０５において関連画像抽出部２０２が補間画像とユーザ撮影画像との関連度を算出する一例について説明する。
　図１６において、タグ集合Ｂの「平安神宮」とタグ集合Ａ（「銀閣寺」、「庭園」、「清水寺」）の関連度は、「平安神宮」とタグ集合Ａの各タグとの関連度（斜線領域１３３）を加算することにより、算出することができる。図１６に示す例では、「平安神宮」とタグ集合Ａとの関連度は、０．０＋０．３＋０．１＝０．４となる。同様に「鳥居」とタグ集合Ａの関連度は０．５、「赤」とタグ集合Ａの関連度は０．５となる。ここで、各々算出した関連度を加算すると０．４＋０．５＋０．５＝１．４となり、この値が画像（ステップＳ４０３において選択された補間画像）とステップＳ１０１において取得された補間対象画像の関連度の値となる。このように、ユーザ撮影画像と補間画像との関連度は、関連画像抽出部２０２が関連度データベース２０１を参照することにより得られる、両画像に付与されたタグ同士の関連度を全て足し合わせることにより算出される。
　次に、関連画像抽出部２０２は、ステップＳ４０５において算出された関連度をステップＳ４０３において選択された補間画像の画像ＩＤとともに、画像ＩＤ－関連度リストに格納する（ステップＳ４０６）。
　次に、関連画像抽出部２０２は、ステップＳ４０２において取得された補間画像がステップＳ４０３において全て選択されたか否かを判定する（ステップＳ４０７）。
　ここで、全ての補間画像が選択されている場合（ステップＳ４０７のＹｅｓ）、関連画像抽出部２０２は、補間画像－関連度リストの中から関連度が上位の画像を出力可能枚数に至るまで抽出する（ステップＳ４０８）。つまり、関連画像抽出部２０２は、補間画像－関連度リストにおいて関連度が大きな順から補間画像を並べた場合に、出力可能枚数と同一の順番に現れる補間画像の関連度以上となる補間画像を抽出する。ここで、出力可能枚数とは、出力媒体の記憶容量、表示領域等により定まる、出力部１０７が出力可能な画像の枚数である。
　一方、全ての補間画像が選択されていない場合（ステップＳ４０７のＮｏ）、関連画像抽出部２０２は、ステップＳ４０３～Ｓ４０６の処理を繰り返す。
　以上、ステップＳ４０１～Ｓ４０８の処理が実行されることにより、関連画像抽出部２０２は、補間画像選択部１０６により取得された補間画像の中から、ユーザの撮影嗜好と関連性の高い補間画像を抽出することができる。
　以上、ステップＳ１０１～ステップＳ１０６、ステップＳ３０１の処理が実行されることにより、画像検索装置２００は、補間画像選択部１０６により選択された補間画像の枚数が提示可能な枚数を超えた場合においても、ユーザの撮影嗜好と関連性の高い画像を優先的に提示することができる。
　すなわち、本実施の形態に係る画像検索装置２００は、被写体情報間の関連度が格納された関連度データベースを参照することにより、補間対象画像と被写体の関連性が高い補間画像を抽出することができるので、ユーザが補間したい画像をさらに効率的に検索することが可能となる。さらに、画像検索装置２００は、領域ごとに関連度が記憶された関連度データベースを参照することにより、補間対象画像の撮影位置に応じた関連度を取得することができるので、ユーザが補間したい画像をさらに効率的に検索することが可能となる。
　なお、ステップＳ３０１において、関連画像抽出部２０２は、画像データベース１０１を用いて、補間画像選択部１０６から通知された補間画像の中からユーザが撮影した画像（入力部１０２により取得された画像）の撮影条件と関連性（以下、類似度ともいう。）の高い画像を抽出してもよい。ユーザの撮影嗜好には、被写体以外に撮影条件も反映される。ここで、撮影条件とは、色情報（ホワイトバランス、ＲＧＢ比率）、絞り、被写体距離、解像度、Ｆ値、シャッタースピードなどの撮影時に画像に自動的に付与される撮影パラメータを示す。
　図１７は、関連画像抽出部２０２による、ユーザが撮影した画像の撮影条件と類似度の高い画像を抽出する処理の流れを示すフローチャートである。以下、図１７を用いてユーザの撮影条件と関連性の高い画像を抽出する画像抽出方法について説明する。
　まず初めに、関連画像抽出部２０２は、画像データベース１０１を参照することにより、ユーザが撮影した画像（ステップＳ１０１において取得された画像）に付与されている撮影パラメータを取得する（ステップＳ５０１）。撮影パラメータとは、色情報（ホワイトバランス、ＲＧＢ比率）、絞り、被写体距離、解像度、Ｆ値、シャッタースピード等、各画像に対して撮影時に自動的に付加される情報のことである。
　次に、関連画像抽出部２０２は、ステップＳ５０１において取得した撮影パラメータの代表値（Ｐ１）をそれぞれ算出する（ステップＳ５０２）。代表値とは、各パラメータにおける全画像の平均値や中央値又は最頻値である。
　次に、関連画像抽出部２０２は、補間画像選択部１０６により選択された補間画像を取得する（ステップＳ５０３）。
　次に、関連画像抽出部２０２は、ステップＳ５０３において取得した補間画像の中から１枚の画像を選択する（ステップＳ５０４）。
　次に、関連画像抽出部２０２は、画像データベース１０１を参照することにより、ステップＳ５０４において取得した補間画像の撮影パラメータ（Ｐ２）を取得する（ステップＳ５０５）。
　次に、関連画像抽出部２０２は、ステップＳ５０２において算出した撮影パラメータの代表値（Ｐ１）と、ステップＳ５０５から取得した撮影パラメータ（Ｐ２）を用いて、ユーザ撮影画像の撮影パラメータと選択した補間画像との類似度ｅを算出する（ステップＳ５０６）。類似度ｅは、例えば、下式（２）を用いて算出することができる。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｎは比較する撮影パラメータの種類数、Ｐ１ｉはＰ１のｉ番目の撮影パラメータ、Ｐ２ｉはＰ２のｉ番目の撮影パラメータを示す。式（２）から明らかなように、Ｐ１、Ｐ２の各パラメータの差分値をＰ１のパラメータ値を用いて正規化された値の総和が類似度ｅとして算出される。したがって、類似度ｅの値が０に近いほど、ユーザ撮影画像とステップＳ５０４において選択された補間画像との撮影パラメータが類似しているということになる。すなわち、類似度ｅの値が０に近いほど、ステップＳ１０１において取得された画像とステップＳ５０４において選択された補間画像との撮影条件の関連性が高い。
　次に、関連画像抽出部２０２は、ステップＳ５０４において選択された補間画像とステップＳ５０６において算出した類似度との組み合わせをリスト化して記憶する（ステップＳ５０７）。
　次に、関連画像抽出部２０２は、ステップＳ５０３において取得した補間画像に対して、ステップＳ５０４において全て選択したか否かを判定する（ステップＳ５０８）。画像検索装置２００は、全て選択した場合（ステップＳ５０８のＹｅｓ）、ステップＳ５０９へ進み、全て選択していない場合（ステップＳ５０８のＮｏ）、ステップＳ５０４へ進む。
　次に、関連画像抽出部２０２は、ステップＳ５０７において記憶された補間画像と類似度とのリストを参照することにより、類似度の高い画像を出力可能枚数分抽出する（ステップＳ５０９）。
　以上のステップＳ５０１～５０９の処理が実行されることにより、関連画像抽出部２０２は、補間画像選択部１０６により取得された補間画像の中から、ユーザの撮影条件と関連性の高い補間画像を抽出することができる。
　すなわち、画像検索装置２００は、補間対象画像と撮影条件の関連性が高い補間画像を抽出することができるので、ユーザが補間したい画像をさらに効率的に検索することが可能となる。
　以上、本発明の一態様に係る画像検索装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本発明の範囲内に含まれる。
　例えば、上記実施の形態では、画像検索装置１００、２００は、画像データベース１０１、入力部１０２、移動速度算出部１０５、及び出力部１０７などを備えていたが、これらを必ずしも備えていなくてもよい。
　その場合、補間範囲算出部１０３は、外部の装置等からネットワーク等を介して、複数の補間対象画像（第一画像及び第二画像を含む。）と、各補間対象画像に関する情報（第一情報及び第二情報を含む。）とを取得すればよい。また、補間画像候補取得部１０４及び補間画像選択部１０６は、ネットワーク等を介して、サーバ等が備える画像データベースを参照すればよい。さらに、補間画像選択部１０６は、各補間対象画像の撮影位置間の移動速度を、画像データベース、あるいは各補間対象画像に関する情報等から取得すればよい。これにより、画像検索装置は、移動速度算出部１０５等を備えなくとも、複数の画像の中からユーザが選択した画像の撮影位置間を補間したい画像を、ユーザが撮影スポットに立ち寄ることなく、比較的容易に検索することが可能となる。
　また、上記実施の形態に係る画像検索装置は、移動速度を予め定められた閾値と比較することにより被写体距離の閾値を決定していたが、本発明に係る画像検索装置はこのような画像検索装置に限定されるものではない。例えば、本発明の一態様に係る画像検索装置は、移動速度と被写体距離との関係が格納されたテーブルを記憶している被写体距離データベースを参照することにより、被写体距離の閾値を決定しても良い。
　図１８は、被写体距離データベースの一例を示す図である。図１８に示すように、被写体距離データベースには、移動速度に対する被写体距離の閾値が格納されている。例えば、移動速度が「２０ｋｍ／ｈ」である場合、画像検索装置は、被写体距離が「１０ｍ」以上の画像を補間画像として選択する。ここで、被写体距離データベースに同一の移動速度が存在しない場合には、画像検索装置は、被写体距離データベースに格納されている最も近い値の移動速度に対する被写体距離の閾値を利用すれば良い。なお、本発明の一態様に係る画像検索装置は、被写体距離データベースの代わりに、移動速度と被写体距離との関係が示された数式を利用して被写体距離の閾値を決定しても良い。
　また、上記実施の形態２に係る画像検索装置は、補間画像選択部が選択した補間画像の中から関連画像抽出部が画像を抽出していたが、本発明に係る画像検索装置はこのような画像検索装置に限定されるものではない。例えば、本発明の一態様に係る画像検索装置において、関連画像抽出部は、候補画像の中から画像を抽出しても良い。そして、補間画像選択部は、関連画像抽出部により抽出された画像の中から補間画像を選択しても良い。
　また、上記実施の形態において、被写体距離はコンテンツ付属情報２１に含まれていたが、補間画像選択部１０６が式（１）を用いて被写体距離を算出しても良い。
　なお、本発明は、このような画像検索装置の特徴的な構成要素が行う処理を実行する画像検索方法として実現したり、その方法を図１９に示すようなコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ等の記録媒体、インターネット等の伝送媒体を介して配信することができる。
　図１９は、コンピュータのハードウェア構成の一例を示す図である。複数の画像の中から補間画像を検索するためのプログラムは、例えば、コンピュータが読取可能な媒体であるＣＤ－ＲＯＭ５１５に記憶され、ＣＤ－ＲＯＭ装置５１４を介して読み出される。また例えば、複数の画像の中から補間画像を検索するためのプログラムは、有線若しくは無線ネットワーク、又は放送などを介して伝送される。
　コンピュータ５００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３、ハードディスク５０４、通信インタフェース５０５等を備える。
　ＣＰＵ５０１は、ＣＤ－ＲＯＭ装置５１４を介して読み出されたプログラム、又は通信インタフェース５０５を介して受信したプログラムを実行する。具体的には、ＣＰＵ５０１は、ＣＤ－ＲＯＭ装置５１４を介して読み出されたプログラム、又は通信インタフェース５０５を介して受信したプログラムをＲＡＭ５０３に展開する。そして、ＣＰＵ５０１は、ＲＡＭ５０３に展開されたプログラム中のコード化された各命令を実行する。
　ＲＯＭ５０２は、コンピュータ５００の動作に必要なプログラム及びデータを記憶する読み出し専用メモリである。ＲＡＭ５０３は、ＣＰＵ５０１がプログラムを実行するときにワークエリアとして使用される。具体的には、ＲＡＭ５０３は、例えば、プログラム実行時のパラメータなどのデータを一時的に記憶する。ハードディスク５０４は、プログラム、データなどを記憶する。
　通信インタフェース５０５は、ネットワークを介して他のコンピュータとの通信を行なう。バス５０６は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ハードディスク５０４、通信インタフェース５０５、ディスプレイ５１１、キーボード５１２、マウス５１３及びＣＤ－ＲＯＭ装置５１４を相互に接続する。
　上述したように本発明の一態様に係る画像検索装置は、大量に格納された画像コンテンツの中からユーザが補間したい画像を比較的容易に検索することができる画像検索装置として利用できる。
　例えば、本発明の一態様に係る画像検索装置は、Ｗｅｂ上等において画像データが大量に記憶されたデータベースからユーザが補間したい画像を検索して思い出アルバムを自動的に作成する装置として、利用できる。
　また、従来の方法では、全ての観光地の写真撮影スポットにタグリーダが設置されなくてはならないため、比較的大きなインフラコストが必要になるという課題がある。例えば京都、沖縄などのように、撮影する地点が複数存在する観光地の場合は、その地点毎にタグリーダを設置するコストが必要となる。また、設置された複数のタグリーダをメンテナンスするコストも必要となる。
　これに対して、上記実施の形態に記載の画像検索装置が用いられれば、特別なインフラを用意することが無いという効果も奏する。
　本発明は、大量に格納された画像コンテンツの中からユーザが撮影した画像コンテンツの撮影位置間を補間するための画像コンテンツを検索する画像検索装置として利用可能である。
　　　２０　画像コンテンツ
　　　２１　コンテンツ付属情報
　　　２２　ユーザＩＤ
　　　２３　画像ＩＤ
　　　２４　画像アドレス
　　　２５　撮影日時
　　　２６　撮影位置
　　　２７　タグ
　　　２８　被写体距離
　　　４０　第一補間対象画像（清水寺）
　　　４１　第二補間対象画像（銀閣寺）
　　　５０　範囲情報
　　　５１　範囲情報
　　　５２　補間範囲
　　　８０　候補画像
　　　８１　補間画像（低速移動時）
　　　８２　補間画像（高速移動時）
　　１００、２００　画像検索装置
　　１０１　画像データベース
　　１０２　入力部
　　１０３　補間範囲算出部
　　１０４　補間画像候補取得部
　　１０５　移動速度算出部
　　１０６　補間画像選択部
　　１０７　出力部
　　１３０　大領域
　　１３１　中領域
　　１３２　小領域
　　１３３　斜線領域
　　１６０　補間画像タグ
　　１６１　撮影画像タグ
　　２０１　関連度データベース
　　２０２　関連画像抽出部

Claims (10)

  1. 　少なくとも２つの補間対象画像のそれぞれが撮影された位置の間を補間するための補間画像を複数の画像の中から検索する画像検索装置であって、
    　第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とが含まれる地理的場所の範囲を補間範囲として算出する補間範囲算出部と、
    　前記補間範囲算出部により算出された補間範囲内に撮影位置が含まれる画像を候補画像として、画像データベースに格納された前記複数の画像の中から取得する補間画像候補取得部と、
    　前記第一撮影位置及び前記第二撮影位置の間の移動速度が大きいほど、画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を前記候補画像の中から選択する補間画像選択部と、
    　を備える画像検索装置。
  2. 　さらに、前記第一撮影位置と前記第二撮影位置との距離と、前記第一補間対象画像が撮影された日時と前記第二補間対象画像が撮影された日時との差分時間と、を用いて、前記第一撮影位置及び前記第二撮影位置の間の移動速度を算出する移動速度算出部を備え、
    　前記補間画像選択部は、前記移動速度算出部により算出された移動速度が大きいほど、被写体距離が大きい画像を選択する、
    　請求項１に記載の画像検索装置。
  3. 　さらに、前記補間画像選択部により選択された補間画像と前記第一補間対象画像との関連度である第一関連度と、前記補間画像選択部により選択された補間画像と前記第二補間対象画像との関連度である第二関連度と、を取得し、取得した第一関連度及び第二関連度が示す関連性の高さが所定閾値以上となる前記補間画像を抽出する関連画像抽出部を備え、
    　前記関連度は、画像に付属する情報である付属情報間の関連性の高さを示す、
    　請求項１に記載の画像検索装置。
  4. 　さらに、被写体に関するキーワード間の関連度を記憶している関連度データベースを備え、
    　前記関連画像抽出部は、前記関連度データベースを参照することにより、前記補間画像から得られる被写体に関するキーワードと前記第一補間対象画像から得られる被写体に関するキーワードとの関連度を前記第一関連度として取得し、前記補間画像から得られる被写体に関するキーワードと前記第二補間対象画像から得られる被写体に関するキーワードとの関連度を前記第二関連度として取得する、
    　請求項３に記載の画像検索装置。
  5. 　前記関連度データベースは、所定範囲の場所を示す領域毎に前記関連度を記憶しており、
    　前記関連画像抽出部は、前記第一補間対象画像の撮影位置が含まれる領域に対応する関連度を前記第一関連度として取得し、前記第二補間対象画像の撮影位置が含まれる領域に対応する関連度を前記第二関連度として取得する、
    　請求項４に記載の画像検索装置。
  6. 　前記関連画像抽出部は、前記補間画像が撮影されたときの撮影条件と前記第一補間対象画像が撮影されたときの撮影条件との関連度を前記第一関連度として取得し、前記補間画像が撮影されたときの撮影条件と前記第二補間対象画像が撮影されたときの撮影条件との関連度を前記第二関連度として取得する、
    　請求項３に記載の画像検索装置。
  7. 　前記補間画像選択部は、前記第一撮影位置及び前記第二撮影位置の間の移動速度が予め定められた第一閾値より大きい場合、被写体距離が予め定められた第二閾値以上の前記候補画像を補間画像として選択する、
    　請求項１に記載の画像検索装置。
  8. 　前記補間範囲算出部は、前記第一補間対象画像が撮影された日時と前記第二補間対象画像が撮影された日時との差分時間が大きいほど場所の範囲が広くなるように、前記補間範囲を算出する、
    　請求項１に記載の画像検索装置。
  9. 　少なくとも２つの補間対象画像のそれぞれが撮影された位置の間を補間するための補間画像を複数の画像の中からコンピュータが検索する画像検索方法であって、
    　第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とが含まれる地理的場所の範囲を補間範囲として算出する補間範囲算出ステップと、
    　前記補間範囲算出ステップにおいて算出された補間範囲内に撮影位置が含まれる画像を候補画像として、画像データベースに格納された前記複数の画像の中から取得する補間画像候補取得ステップと、
    　前記第一撮影位置及び前記第二撮影位置の間の移動速度が大きいほど、画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を前記候補画像の中から選択する補間画像選択ステップと、
    　を含む画像検索方法。
  10. 　少なくとも２つの補間対象画像のそれぞれが撮影された位置の間を補間するための補間画像を複数の画像の中から検索するプログラムであって、
    　第一補間対象画像が撮影された位置である第一撮影位置と第二補間対象画像が撮影された位置である第二撮影位置とが含まれる地理的場所の範囲を補間範囲として算出する補間範囲算出ステップと、
    　前記補間範囲算出ステップにおいて算出された補間範囲内に撮影位置が含まれる画像を候補画像として、画像データベースに格納された前記複数の画像の中から取得する補間画像候補取得ステップと、
    　前記第一撮影位置及び前記第二撮影位置の間の移動速度が大きいほど、画像が撮影されたときの撮像装置と被写体との距離である被写体距離が大きい画像を前記候補画像の中から選択する補間画像選択ステップと、
    　をコンピュータに実行させるプログラム。
PCT/JP2009/005866 2008-12-19 2009-11-05 画像検索装置及び画像検索方法 WO2010070804A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/935,296 US8694515B2 (en) 2008-12-19 2009-11-05 Image search device and image search method
CN200980114967XA CN102016909A (zh) 2008-12-19 2009-11-05 图像检索装置以及图像检索方法
JP2010503293A JP4545828B2 (ja) 2008-12-19 2009-11-05 画像検索装置及び画像検索方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-324700 2008-12-19
JP2008324700 2008-12-19

Publications (1)

Publication Number Publication Date
WO2010070804A1 true WO2010070804A1 (ja) 2010-06-24

Family

ID=42268488

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/005866 WO2010070804A1 (ja) 2008-12-19 2009-11-05 画像検索装置及び画像検索方法

Country Status (4)

Country Link
US (1) US8694515B2 (ja)
JP (1) JP4545828B2 (ja)
CN (1) CN102016909A (ja)
WO (1) WO2010070804A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012103963A (ja) * 2010-11-11 2012-05-31 Buffalo Inc コンテンツデータ管理装置、コンテンツデータ管理システム、コンテンツデータ管理プログラム、コンテンツデータ管理方法
JP2012244634A (ja) * 2011-05-24 2012-12-10 Canon Inc 画像クラスタリング方法
JP2013182332A (ja) * 2012-02-29 2013-09-12 Nikon Corp 画像表示プログラムおよび画像表示装置
JP5934653B2 (ja) * 2010-11-29 2016-06-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
JP2019067076A (ja) * 2017-09-29 2019-04-25 劉謹銘 多重画像源の処理方法
CN110377791A (zh) * 2018-04-11 2019-10-25 刘谨铭 快速影像排序方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080320384A1 (en) * 2007-06-25 2008-12-25 Ramesh Nagarajan Automated addition of images to text
JP5277230B2 (ja) * 2010-11-11 2013-08-28 株式会社バッファロー タグ情報管理装置、タグ情報管理システム、タグ情報管理プログラム、タグ情報管理方法
US9424765B2 (en) * 2011-09-20 2016-08-23 Sony Corporation Image processing apparatus, image processing method, and program
KR20140093957A (ko) * 2011-11-24 2014-07-29 마이크로소프트 코포레이션 상호작용 멀티-모달 이미지 검색 기법
JP2015500345A (ja) * 2011-12-16 2015-01-05 トランスポサジェン・バイオファーマシューティカルズ・インコーポレイテッドＴｒａｎｓｐｏｓａｇｅｎ Ｂｉｏｐｈａｒｍａｃｅｕｔｉｃａｌｓ， Ｉｎｃ． 疼痛の治療または予防に使用されるｔｒｐｃ４調節因子
JP5806623B2 (ja) * 2012-02-07 2015-11-10 オリンパス株式会社 撮像装置、撮像方法およびプログラム
JP6070307B2 (ja) * 2012-05-21 2017-02-01 株式会社リコー パターン抽出装置、画像投影装置、パターン抽出方法およびプログラム
JP6031924B2 (ja) * 2012-09-28 2016-11-24 オムロン株式会社 画像検索装置、画像検索方法、制御プログラムおよび記録媒体
KR101561628B1 (ko) * 2013-12-30 2015-10-20 주식회사 케이티 스마트 글래스의 영상 정보를 제공하는 검색 장치 및 검색 방법
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
US10171770B2 (en) * 2014-05-09 2019-01-01 Maxell, Ltd. Image playback device, display device, and transmission device
WO2016004330A1 (en) 2014-07-03 2016-01-07 Oim Squared Inc. Interactive content generation
CN104536990B (zh) * 2014-12-10 2018-03-27 广东欧珀移动通信有限公司 一种图片显示方法及终端
CN104866194B (zh) * 2015-05-21 2018-07-13 百度在线网络技术（北京）有限公司 图片搜索方法及装置
CN108431800B (zh) * 2015-12-17 2021-12-14 株式会社日立制作所 图像处理装置以及图像检索界面的显示方法
DE102019200180A1 (de) 2018-07-25 2020-01-30 Audi Ag Filterelement für einen Partikelfilter, Abgaspartikelfilter, Verfahren zum Herstellen eines Filterelements sowie Verwendung eines Beschichtungsmaterials
JP7087844B2 (ja) * 2018-08-31 2022-06-21 トヨタ自動車株式会社 画像処理装置、画像処理システム及び車両
CN110659376A (zh) * 2019-08-14 2020-01-07 浙江大华技术股份有限公司 图片查找方法、装置、计算机设备和存储介质
WO2021155000A1 (en) 2020-01-29 2021-08-05 ReportsNow, Inc. Systems, methods, and devices for image processing
US11158031B1 (en) 2021-05-24 2021-10-26 ReportsNow, Inc. Systems, methods, and devices for image processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282813A (ja) * 2000-03-29 2001-10-12 Toshiba Corp マルチメディアデータ検索方法、インデックス情報提供方法、マルチメディアデータ検索装置、インデックスサーバ及びマルチメディアデータ検索サーバ
JP2002278993A (ja) * 2001-03-16 2002-09-27 Nippon Telegr & Teleph Corp <Ntt> 画像データ登録・再生方法、システム、プログラムおよびその記録媒体
JP2004220420A (ja) * 2003-01-16 2004-08-05 Fuji Photo Film Co Ltd 画像検索方法および装置並びにプログラム
JP2005128785A (ja) * 2003-10-23 2005-05-19 Sony Corp 記録媒体及び電子アルバム作成装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020047798A1 (en) * 1999-06-25 2002-04-25 Timothy James Platt Image acquisition and retrieval system employing position data
EP1125608A3 (en) * 2000-01-21 2005-03-30 Sony Computer Entertainment Inc. Entertainment apparatus, storage medium and object display method
US6915273B1 (en) * 2000-05-23 2005-07-05 Eastman Kodak Company Method for providing customized photo products over a network using images captured from a digital camera
JP2003099434A (ja) 2001-09-25 2003-04-04 Sanyo Electric Co Ltd 電子アルバム装置
JP2004139576A (ja) 2002-09-27 2004-05-13 Fuji Photo Film Co Ltd アルバム作成装置および方法並びにプログラム
CN100391248C (zh) * 2002-09-27 2008-05-28 富士胶片株式会社 相册制作方法及其装置
US20060080286A1 (en) 2004-08-31 2006-04-13 Flashpoint Technology, Inc. System and method for storing and accessing images based on position data associated therewith
JP2006185242A (ja) 2004-12-28 2006-07-13 Fuji Photo Film Co Ltd 画像合成装置、画像合成プログラム、画像合成プログラム記憶媒体、および画像合成方法
EP1899920B1 (en) 2005-05-12 2020-04-01 FUJIFILM Corporation Album creating apparatus, album creating method and program
JP4379409B2 (ja) * 2005-11-08 2009-12-09 ソニー株式会社 撮像装置、および情報処理方法、並びにコンピュータ・プログラム
JP4706844B2 (ja) 2006-02-08 2011-06-22 日本電気株式会社 アルバム作成システム、サーバー、アルバム作成方法およびプログラム
JP2007323315A (ja) 2006-05-31 2007-12-13 Nippon Telegr & Teleph Corp <Ntt> 協調フィルタリング方法、協調フィルタリング装置、および協調フィルタリングプログラムならびにそのプログラムを記録した記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282813A (ja) * 2000-03-29 2001-10-12 Toshiba Corp マルチメディアデータ検索方法、インデックス情報提供方法、マルチメディアデータ検索装置、インデックスサーバ及びマルチメディアデータ検索サーバ
JP2002278993A (ja) * 2001-03-16 2002-09-27 Nippon Telegr & Teleph Corp <Ntt> 画像データ登録・再生方法、システム、プログラムおよびその記録媒体
JP2004220420A (ja) * 2003-01-16 2004-08-05 Fuji Photo Film Co Ltd 画像検索方法および装置並びにプログラム
JP2005128785A (ja) * 2003-10-23 2005-05-19 Sony Corp 記録媒体及び電子アルバム作成装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012103963A (ja) * 2010-11-11 2012-05-31 Buffalo Inc コンテンツデータ管理装置、コンテンツデータ管理システム、コンテンツデータ管理プログラム、コンテンツデータ管理方法
JP5934653B2 (ja) * 2010-11-29 2016-06-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
JP2012244634A (ja) * 2011-05-24 2012-12-10 Canon Inc 画像クラスタリング方法
JP2013182332A (ja) * 2012-02-29 2013-09-12 Nikon Corp 画像表示プログラムおよび画像表示装置
JP2019067076A (ja) * 2017-09-29 2019-04-25 劉謹銘 多重画像源の処理方法
CN110377791A (zh) * 2018-04-11 2019-10-25 刘谨铭 快速影像排序方法

Also Published As

Publication number Publication date
JPWO2010070804A1 (ja) 2012-05-24
US20110022634A1 (en) 2011-01-27
US8694515B2 (en) 2014-04-08
JP4545828B2 (ja) 2010-09-15
CN102016909A (zh) 2011-04-13

Similar Documents

Publication Publication Date Title
JP4545828B2 (ja) 画像検索装置及び画像検索方法
JP4475547B2 (ja) 画像検索装置、画像検索方法及び画像推定装置
US8254727B2 (en) Method and apparatus for providing picture file
JP4796435B2 (ja) 画像ビューア
US8094974B2 (en) Picture data management apparatus and picture data management method
US9286624B2 (en) System and method of displaying annotations on geographic object surfaces
JP5134664B2 (ja) アノテーション装置
KR100882025B1 (ko) 지피에스 이미지 검색 방법, 지리적 위치 서비스 기반의지피에스 이미지 검색 방법, 블로그 서비스 기반의지피에스 이미지 검색 방법 및 지역별 블로그 서비스 제공방법
JP4457988B2 (ja) 画像管理装置、画像管理方法およびコンピュータプログラム
KR20090047487A (ko) 그래픽 사용자 인터페이스, 컴퓨터 판독가능 매체, 및 시선방향 제시 방법
JP2005174060A (ja) 画像分類装置ならびに画像分類方法およびプログラム
JP2011078008A (ja) コンテンツ共有装置、コンテンツ編集装置、コンテンツ共有プログラム、およびコンテンツ編集プログラム
JP6210807B2 (ja) 表示制御装置及び表示制御装置の制御方法
US20110202582A1 (en) Method and apparatus for managing tag of multimedia content
JP2004221647A (ja) 旅行アルバム作成方法および装置並びにプログラム
JP6179315B2 (ja) 情報処理装置、画像処理システム、情報処理装置における画像処理方法及びプログラム
JP2013126107A (ja) デジタル放送受信装置
KR100563085B1 (ko) 수치지도와 사진영상의 복합 디스플레이 방법
US20150379040A1 (en) Generating automated tours of geographic-location related features
US8571357B2 (en) Image data management apparatus, method and program
JP5708868B1 (ja) プログラム、情報処理装置及び方法
JP2008242682A (ja) メタ情報自動付与システム、メタ情報自動付与方法、及びメタ情報自動付与プログラム
JP5440197B2 (ja) 撮影対象スポットデータベースの構築装置、構築システム、及び構築方法
JP5058201B2 (ja) 情報管理システム及び情報管理方法
JP6436191B2 (ja) サーバ装置、サーバ装置を用いた情報処理方法及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980114967.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010503293

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09833114

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12935296

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09833114

Country of ref document: EP

Kind code of ref document: A1