WO2016059978A1 - 情報処理装置、情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2016059978A1
WO2016059978A1 PCT/JP2015/078057 JP2015078057W WO2016059978A1 WO 2016059978 A1 WO2016059978 A1 WO 2016059978A1 JP 2015078057 W JP2015078057 W JP 2015078057W WO 2016059978 A1 WO2016059978 A1 WO 2016059978A1
Authority
WO
WIPO (PCT)
Prior art keywords
path
image
feature point
imaging device
period
Prior art date
Application number
PCT/JP2015/078057
Other languages
English (en)
French (fr)
Inventor
和博 嶋内
靖二郎 稲葉
伸穂 池田
広志 池田
修一 麻島
友己 小野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202010100774.7A priority Critical patent/CN111277901B/zh
Priority to CN201580054474.7A priority patent/CN106797498B/zh
Priority to US15/516,796 priority patent/US10635931B2/en
Publication of WO2016059978A1 publication Critical patent/WO2016059978A1/ja
Priority to US16/830,758 priority patent/US11151409B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Definitions

  • This technology relates to an information processing apparatus, an information processing method, and a program.
  • the present invention relates to an information processing apparatus, an information processing method, and a program for generating a path for efficiently browsing images.
  • Patent Document 1 there is a proposal for providing a moving tour to a user using a still image.
  • This technique is made in view of such a situation, and makes it possible to easily generate a path for allowing a user to efficiently browse a characteristic image from many images. .
  • An information processing apparatus refers to metadata including at least information related to a plurality of feature points identified from at least one image, thereby providing a path for connecting characteristic portions in the image.
  • a setting unit for setting is provided.
  • the setting unit can set the path by obtaining a regression curve using the plurality of feature points.
  • the setting unit when there is a feature point whose distance between the regression curve and the feature point is not less than a predetermined threshold among the plurality of feature points, an image having a feature point with a low score among the plurality of feature points
  • the regression curve can be obtained again after removing the feature points specified from the above.
  • the setting unit When there is a feature point whose distance between the regression curve and the feature point is equal to or greater than a predetermined threshold among the plurality of feature points, the setting unit removes a feature point having a low score from the plurality of feature points. In the above, the regression curve can be obtained again.
  • the setting unit obtains a regression curve using the feature points, divides the obtained regression curve into a plurality of sections, obtains a differential value for each section, and at least one of the differential values is equal to or less than a predetermined threshold value. In some cases, the regression curve can be obtained again after increasing the order for obtaining the regression curve.
  • the image can be a moving image.
  • the setting unit can set a period in which the feature points in the divided period obtained by dividing the moving image into a plurality of periods satisfy a predetermined condition as an effect period for applying the effect.
  • the predetermined condition may be that the number of feature points in the divided period is equal to or greater than a threshold value.
  • the effect can be a time slice.
  • the effect can be an effect that displays scenes captured at different angles during the same period.
  • the setting unit can set a time-series path outside the effect period.
  • the setting unit includes a plurality of the images and is classified into an integrated group including an image having an overlapping imaging range with another image and an isolated group having an imaging range not overlapping with another image
  • a global path for all images included in the integrated group may be set for the integrated group, and then a local path that is a path for each image in the integrated group may be set.
  • An information processing method refers to metadata including at least information on a plurality of feature points identified from at least one image, thereby providing a path for connecting characteristic portions of the image. Including setting.
  • a program sets a path for connecting characteristic portions in the image by referring to metadata including at least information on a plurality of feature points identified from at least one image. It is a computer-readable program that executes processing including steps.
  • metadata including at least information on a plurality of feature points identified from at least one image is referred to, and a featured portion of the image is identified.
  • a path to connect is set.
  • FIG. 11 is a diagram for describing a configuration of an information processing device.
  • FIG. 11 is a diagram for describing functions of the information processing apparatus. It is a flowchart for demonstrating the production
  • FIG. 1 is a diagram illustrating an example of generating a path that detects a feature point from a high-quality image and connects images including the detected feature point.
  • a high-quality image is a still image captured by a high-resolution imaging device or a captured moving image.
  • an image includes a still image and a moving image.
  • the description of the feature point includes the case of a point (one pixel), but also includes the case of a region having a predetermined size composed of a plurality of pixels.
  • a region having a characteristic predetermined size may be detected, and a path connecting them may be generated.
  • FIG. 1 shows a state where two feature points 11 and feature points 12 are detected.
  • Points (areas) detected as feature points are, for example, where a moving object such as a person is gathered in the image 10, a person's line of sight within the image 10, posting to an SNS (Social Networking Service), or the like. There are many points, points where it is determined that a specific event or action occurs.
  • a high contrast area such as a signboard or illumination, or an area including a vanishing point may be used.
  • a change in luminance or the like may be measured in the time direction so that a region with a large change is detected.
  • an object or person photographed from the front may be detected as an area, or a specific person or object may be tracked, and the tracking result may be detected as an area.
  • the tracking result may be detected as an area.
  • not only images but also sound information, for example, a region where a loud sound is sounding may be detected as a feature point.
  • the detected feature may be a feature other than the above example.
  • a path 13 connecting the detected feature points is generated.
  • a path 13 passing through the feature point 11 and the feature point 12 is set.
  • the path 13 is a path that smoothly connects the feature point 11 and the feature point 12.
  • the window 14 having a predetermined size moves on the path 13, and the image in the window 14 is provided to the user.
  • Such a path 13 is generated and an image based on the path 13 is provided to the user, so that the user can efficiently browse a characteristic area in the image 10.
  • FIG. 2 for example, an image 30 of 360 degrees centered on a predetermined position is acquired, an area including a characteristic image is detected from the image 30 of 360 degrees, and a path connecting the detected areas is generated.
  • the 360-degree image 30 includes, for example, a plurality of monocular imaging devices installed, and an image obtained by stitching images taken by these imaging devices or an image taken by a single monocular imaging device. Or an image captured by an imaging apparatus capable of capturing a 360-degree image centered on the center point at a time. As shown in FIG. 2, the 360 degree image does not include an image in the vertical direction, and may be only a side image or an omnidirectional image.
  • a feature point is detected from the image 30 of 360 degrees.
  • the feature point 31, the feature point 32, and the feature point 33 are detected.
  • a path 34 passing through the feature points 31 to 33 is generated.
  • the window 35 moves on the path 34 thus generated, and the image in the window 35 is provided to the user. At that time, an image including the feature points 31, 32, and 33 is presented to the user.
  • the user can browse the characteristic area in the image 30 efficiently.
  • FIG. 3 a plurality of imaging devices 61 are installed around a predetermined subject 60, a characteristic portion is detected from an image 62 captured by each imaging device 61, and a path 63 connecting the detected locations is illustrated. It is a figure which shows the example by which is produced
  • FIG. 3 is an example in which the present technology can be applied when, for example, an imaging device is installed so as to surround a field in a stadium or the like.
  • N imaging devices 61-1 to 61-N are installed around the subject 60.
  • the imaging device 61 when it is not necessary to individually distinguish the imaging devices 61-1 to 61-N, they are simply referred to as the imaging device 61.
  • the other parts are described in the same manner.
  • images 62-1 to 62-N are captured.
  • a feature point (not shown) is detected from each captured image 62.
  • the image 62 including the feature point may be detected from the N images of the images 62-1 to 62-N, and these images 62 may be processed at the time of path generation.
  • feature points may be detected from each of the images 62-1 to 62-N, and these feature points may be processed at the time of path generation.
  • the image 62 (imaging device 61) detected as an image (location) including feature points or a path 63 connecting the feature points in the image 62 is generated.
  • the image 62 including the feature points is a processing target
  • the imaging devices 61 on the path 63 are sequentially
  • the switched image is provided to the user.
  • a feature point is a processing target
  • an image including the feature point on the path 63 is sequentially cut out from the image 62 including the feature point and provided to the user.
  • the example shown in FIG. 4 is also in a situation where a plurality of imaging devices are installed, as in the example shown in FIG. 3. For example, a plurality of imaging devices are scattered and installed in the city. It is a situation.
  • the ten imaging devices 91 of the imaging devices 91-1 to 91-10 each capture, for example, a road or a building.
  • the image pickup devices 91-1 to 91-10 detect the image pickup device 91 that picks up a portion (image) including a feature point from each image picked up.
  • a path 92 connecting the detected feature points is generated.
  • a path 92 connecting feature points may be generated, or a path 92 connecting images including the feature points (imaging device 91) may be generated.
  • the imaging device 91 that captures an image on the generated path 92 is sequentially switched, or the images in a predetermined area in the image captured by the imaging device 91 are sequentially switched, so that the user An image is provided.
  • the image is displayed to the user as if the user is walking around the city continuously in a popular place where people are crowded. It becomes possible to provide.
  • the example shown in FIG. 5 is also a situation where a plurality of imaging devices are installed in a place such as a party venue, as in the example shown in FIG.
  • the imaging devices 121-1 to 121-5 are installed in a predetermined venue.
  • the imaging device 121 is an imaging device that captures a predetermined range. In FIG. 5, the range is indicated by a circle.
  • the imaging device 121-1 captures an image within the range 122-1 centering on the imaging device 121-1.
  • the imaging device 121-2 captures an image in the range 122-2 with the imaging device 121-2 as the center, and the imaging device 121-3 captures an image in the range 122-3 with the imaging device 121-3 as the center.
  • the imaging device 121-4 captures an image in the range 122-4 with the imaging device 121-4 as the center, and the imaging device 121-5 captures an image in the range 122-5 with the imaging device 121-5 as the center.
  • an imaging device called an omnidirectional imaging device that can capture a 360-degree range centering on the imaging device 121 can be applied.
  • an imaging device called an omnidirectional imaging device that can capture a 360-degree range centering on the imaging device 121
  • omnidirectional imaging device a case where such an omnidirectional imaging device is applied will be described as an example. However, for example, the description will be continued assuming that the imaging device is installed on the ceiling and images the range 122 in the floor direction.
  • the range 122 is a range in which, for example, an image of a person being imaged can be captured with a size that can be recognized by face recognition software or the like.
  • the range 122 is a circle within a predetermined distance from the imaging device 121 as the center.
  • the imaging device 121-1, the imaging device 121-3, the imaging device 121-4, and the imaging device 121-5 are detected as the imaging device 121 that captures a characteristic image (location).
  • a path 123 connecting these imaging devices 121 is generated. The user is provided with images sequentially switched from the imaging device 121 on the path 123.
  • a path 123 that sequentially connects feature points in the range 122 may be generated.
  • the distance between imaging devices is the distance between adjacent imaging devices.
  • the distance between the imaging device 121-1 and the imaging device 121-2 is set as the distance between the imaging devices.
  • the image overlap includes, for example, the range 122-3 of the imaging device 121-3 and the range 122-4 of the imaging device 121-4 in FIG. And
  • FIG. 6 is a diagram illustrating a configuration of the information processing system.
  • the information processing system includes a network 201, an imaging device 202-1, an imaging device 202-2, a server 203, and an information processing device 204.
  • the network 201 is a network including the Internet and a LAN (Local Area Network), and is configured by wire or wireless.
  • the imaging device 202 is, for example, the imaging device 121 in FIG. Although only two image pickup apparatuses 202 are shown in FIG. 6, a plurality of image pickup apparatuses 202 exist in the system.
  • the imaging device 202-1 is connected to the network 201 so that data can be exchanged with other devices connected to the network 201.
  • the imaging device 202-2 is connected to the server 203 and configured to exchange data with the server 203.
  • the server 203 is supplied with data of an image captured by the imaging device 202-2, and is supplied to the information processing device 204 via the network 201 as necessary.
  • the information processing apparatus 204 is an apparatus that generates the above-described path.
  • the information processing apparatus 204 is described as generating a path, but the server 203 may generate the path.
  • FIG. 7 is a diagram illustrating a configuration of the information processing apparatus 204.
  • the information processing apparatus 204 can be configured by a personal computer, for example.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 235 is further connected to the bus 234.
  • An input unit 236, an output unit 237, a storage unit 238, a communication unit 239, and a drive 240 are connected to the input / output interface 235.
  • the input unit 236 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 237 includes a display, a speaker, and the like.
  • the storage unit 238 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 239 includes a network interface or the like.
  • the drive 240 drives a removable recording medium 241 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 231 loads a program stored in the storage unit 238 to the RAM 233 via the input / output interface 235 and the bus 234 and executes the program. A series of processing described below is performed.
  • the program executed by the CPU 231 of the information processing apparatus 204 can be provided by being recorded on the removable recording medium 241, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 238 via the input / output interface 235 by attaching the removable recording medium 241 to the drive 240.
  • the program can be received by the communication unit 239 via a wired or wireless transmission medium and installed in the storage unit 238.
  • the program can be installed in the ROM 232 or the storage unit 238 in advance.
  • FIG. 8 is a diagram illustrating functions of the information processing apparatus 204.
  • the function shown in FIG. 8 may be a function realized by executing a program as described above, or may be a function realized as hardware.
  • the image data acquisition unit 261 includes, for example, a wireless communication function such as Wi-Fi and a playback function of a removable recording medium.
  • the image data acquisition unit 261 controls the communication unit 239 (FIG. 7) with the image data of the image captured by the imaging device 202-1 supplied from the imaging device 202-1 (FIG. 6) via the network 201. Get. Further, the image data acquisition unit 261 acquires the image data of the image captured by the imaging device 202-2 supplied from the server 203 by controlling the communication unit 239 (FIG. 7). The acquired data is temporarily stored in the storage unit 238 (FIG. 7) as necessary.
  • the image data acquisition unit 261 is also stored in the image data managed by the information processing apparatus 204, for example, image data stored in the storage unit 238 (FIG. 7) or the removable recording medium 241 (FIG. 7).
  • the image data may be acquired by controlling the drive 240.
  • the feature point extraction unit 262 extracts feature points by performing image analysis on the acquired image data.
  • the characteristic points are those described with reference to FIG.
  • the metadata acquisition unit 263 includes, for example, a wireless communication function such as Wi-Fi and a playback function of a removable recording medium.
  • the metadata acquisition unit 263 acquires the metadata including the position information of the imaging device 202 supplied from the imaging device 202-1 (FIG. 6) via the network 201 by controlling the communication unit 239 (FIG. 7). . Further, the metadata acquisition unit 263 acquires the metadata including the position information of the imaging device 202-2 supplied from the server 203 by controlling the communication unit 239 (FIG. 7). The acquired data is temporarily stored in the storage unit 238 (FIG. 7) as necessary.
  • the metadata acquisition unit 263 also manages metadata managed by the information processing device 204, for example, metadata including position information of the imaging device 202 stored in the storage unit 238 (FIG. 7), and a removable recording medium 241. Metadata including the position information of the imaging device 202 stored in (FIG. 7) may be acquired by controlling the drive 240.
  • the metadata is data in which information that is referred to when generating a path to be described later is described, and information necessary for path generation is appropriately added. As will be described later, the generated path information is described in the edit file. Part of the information described in the edit file is information described in the metadata.
  • the metadata appending unit 265 adds the feature point information extracted by the feature point extraction unit 262 and the path information generated by the path generation unit 270 to metadata including information related to the imaging device, or generates a path. Delete information that is no longer needed from the metadata.
  • the information processing apparatus 204 has the feature point extraction unit 262, analyzes the image data, extracts feature points, and adds the metadata to the metadata by the metadata appending unit 265.
  • a feature point extraction unit 262 may be provided.
  • the server 203 When the server 203 includes the feature point extraction unit 262, the server 203 receives supply of image data from the imaging device 202-2, analyzes the image data, and detects a feature point. The server 203 further generates metadata including at least information on the detected feature points and position information of the imaging device 202-2, and processes the generated metadata based on a request from the information processing device 204. Supply to device 204.
  • the information processing apparatus 204 is configured to acquire information on feature points when the metadata acquisition unit 263 acquires the metadata. It is also possible to configure the system to perform extraction of feature points and generation of metadata including information related to images on the server 203 side.
  • the information processing apparatus 204 continues to be described as having the functions shown in FIG. 8, but as described above, image data and metadata are acquired in a state recorded in the server 203 or a recording medium. Therefore, even if the information processing device 204 does not have functions such as the image data acquisition unit 261, the feature point extraction unit 262, the metadata acquisition unit 263, the metadata reference unit 264, and the metadata additional recording unit 265, It is possible to generate a path.
  • image data and metadata are associated with each other in advance, and the path generation unit 270 can refer to such information.
  • the information processing including the path generation unit 270 is possible. Any device 204 may be used.
  • the functions and configurations shown here are merely examples, and are not intended to be limiting. Therefore, even the information processing apparatus 204 that does not have a predetermined function among the functions shown in FIG. 8 is within the scope of application of the present technology. . Further, the function shown in FIG. 8 may be distributed among a plurality of devices.
  • the metadata reference unit 264 refers to the metadata acquired by the metadata acquisition unit 263, or refers to the metadata to which information has been added by the metadata addition unit 265.
  • the imaging device extraction unit 267 extracts an imaging device when generating a path. Although details will be described later, for example, an imaging device that captures an image with many feature points is extracted.
  • the grouping unit 268 divides the imaging devices into groups.
  • the grouping unit 268 determines whether the imaging devices are adjacent or non-adjacent from the positional relationship between the imaging devices, and groups the imaging devices based on the determination result.
  • the flag assigning unit 269 adds a flag referred to when generating a path to the metadata. The description will be continued assuming that there are two types of flags, a tight flag and a rough flag. These two types of flags will also be described later.
  • the path generation unit 270 generates the path described with reference to FIGS. 1 to 5, for example, the path 91 (FIG. 5).
  • the path generation unit 270 includes a global path generation unit 291, a first local path generation unit 292, and a second local path generation unit 293.
  • the explanation will be continued assuming that there are two paths, a global path and a local path, when the path is generated.
  • the global path is a path for generating a global path that connects a plurality of imaging apparatuses
  • the local path is a path for generating a local path within each imaging apparatus.
  • the flag determines whether the local path is generated by the first local path generator 292 or the second local path generator 293. .
  • the edit file creation unit 294 creates an edit file including information related to the path. Although what kind of information is included in the edit file will be described later, depending on the information included, the metadata is referred to and information described in the metadata is also included.
  • the presenting unit 271 executes processing for presenting the generated path (edit file) to the user.
  • the pass data itself may be presented to the user, or may be presented to the user by displaying an image based on the pass.
  • the image is cut out and displayed in real time and presented to the user.
  • the image data of the image to be cut out is image data recorded on a recording medium or image data supplied from another device such as the server 203 via the network 201. It may also be image data that is being streamed.
  • an edit file is created, but data other than the edit file may be used.
  • moving image content in which an image is cut out based on a path may be generated.
  • the generated moving image content may be presented to the user.
  • the editing unit 272 receives a path editing instruction from the user and edits the path.
  • An editing unit 272 is provided so that the user can perform desired editing on the path presented by the presentation unit 271.
  • step S101 feature point extraction processing is executed.
  • the image data acquisition unit 261 of the information processing device 204 acquires image data supplied from the imaging device 202-2 via the imaging device 202-1 or the server 203.
  • the metadata acquisition unit 263 of the information processing apparatus 204 also acquires metadata accompanying the image data.
  • step S101 The feature point extraction processing executed in step S101 will be described later with reference to the flowchart of FIG. It should be noted that the feature point extraction process executed in step S101 may be performed on the server 203 side and not performed on the information processing apparatus 204 side. Further, the result of the feature point extraction processing performed by another device is recorded and distributed on a recording medium or the like so that the information processing device 204 acquires the feature point information. It is also possible to use a processing flow that omits.
  • step S101 When a feature point is extracted in step S101, a path connecting the feature points is generated by the path generation unit 270 in step S102.
  • the path generation process executed in step S102 will be described later with reference to the flowchart of FIG.
  • step S103 the presentation unit 271 presents the path to the user in order to confirm to the user whether the generated path is acceptable.
  • step S104 when the user wants to edit the path as a result of the path presented to the user, the editing of the path is accepted by the editing unit 272, and the path is edited.
  • a path connecting parts having features in an image is generated without bothering the user's hand, and an image is displayed based on the path, so that the user can select an interesting part from a plurality of images. You can browse continuously.
  • the generated path is presented to the user and can be edited, so that the path can be adapted to the user's preference.
  • the edited result is fed back to the path generation unit 270 so that the edited point can be learned and the path desired by the user can be generated more accurately.
  • a simple learning function may be provided.
  • step S101 The feature point extraction processing executed in step S101 will be described with reference to the flowchart of FIG.
  • step S111 feature points are extracted.
  • the feature point extraction unit 262 detects, for example, a portion with many people from the image as a feature point.
  • a score is calculated for each imaging device.
  • images captured by a plurality of imaging devices are acquired, and feature points are extracted from each image.
  • the score the number of feature points extracted from one image (one imaging device) may be used as the score.
  • a score may be assigned to each feature point, and the total score of the scores for each feature point of one image (one imaging device) may be calculated as the score of the imaging device.
  • the total score is a score will be described as an example.
  • the situation shown in FIG. 16 is a situation in which a plurality of imaging devices 301 are installed at a predetermined location, like the situation shown in FIG.
  • the situation shown in FIG. 16 shows an example in which seven image pickup devices 301-1 to 301-7 are installed.
  • the imaging range of each imaging device 301 is a range 302-1 to 302-7, and is indicated by a circle in FIG.
  • the imaging device 301 may be an imaging device that can directly exchange data with the information processing device 204 like the imaging device 202-1 in FIG. 6, or the server 203 like the imaging device 202-2. It may be an imaging device that can indirectly exchange data with the information processing device 204 via the network.
  • the imaging device 301 is arranged as shown in FIG.
  • the imaging devices 301-3 to 301-7 have a portion where the imaging range 302 and the other imaging device 301 overlap, but the imaging device 301-1 and the imaging device 301-2 each have the imaging range 302 of the other imaging device 301. Arranged so that there is no overlap.
  • feature point A1 and the feature point A2 are detected from the image picked up by the image pickup device 301-1.
  • feature point B1, feature point B2, and feature point B3 are detected from the image captured by imaging device 301-2
  • feature point C1 is detected from the image captured by imaging device 301-3.
  • feature point D1 is detected from the image captured by the imaging device 301-4.
  • the feature point E1 and the feature point E2 are detected from the image captured by the imaging device 301-5, and the feature point F1 and the feature point F2 are detected from the image captured by the imaging device 301-6. It is assumed that the feature point G1 is detected from the image picked up at 301-7.
  • the imaging device extraction unit 267 extracts the top M imaging devices 301 having a higher score.
  • the top five imaging devices 301 are the imaging device 301-2, the imaging device 301-5, the imaging device 301-6, the imaging device 301-1, and the imaging device 301-3.
  • the image captured by the imaging device 301 extracted in step S113 is a processing target. That is, in step S113, the image to be processed (imaging device 301) is narrowed down.
  • FIG. 17 shows an arrangement state of the imaging device 301 after the narrowing down.
  • the five imaging devices 301-1, the imaging device 301-2, the imaging device 301-3, the imaging device 301-5, and the imaging device 301-6 are processed.
  • step S114 information such as feature points is added to the metadata.
  • the metadata appending unit 265 appends information regarding the feature points extracted by the feature point extracting unit 262 to the metadata acquired by the metadata acquiring unit 263.
  • the metadata 331 describes position information of the imaging device, an angle of view of the imaging device, position information of the feature points, a score for each feature point, and a score (total score).
  • the position information of the imaging device and the angle of view of the imaging device are information supplied from the imaging device 302 side and are information included in the metadata acquired by the metadata acquisition unit 263.
  • the feature point position information, the score for each feature point, and the score (overall point) are information added to the metadata 331 by the metadata appending unit 265.
  • the metadata 331 shown here is an example, and is not a description indicating limitation. Of course, other information may be described in the metadata 331.
  • the metadata 331 may not include a score (overall score).
  • the information processing apparatus 204 is described as detecting feature points and adding feature point information to the metadata 331.
  • the server 203 receives information from the imaging apparatus.
  • the metadata as shown in FIG. 17, that is, the metadata 331 in which the information of the special point is also described is generated on the server 203 side. You may do it.
  • the imaging apparatus to be processed when the path is generated is narrowed down. Since the path is generated after narrowing down, it is possible to reduce the processing load when generating the path.
  • step S101 when the feature point extraction process is performed as described with reference to the flowchart of FIG. 10, the process proceeds to step S102, and the path generation process is started.
  • the path generation process executed in step S102 will be described with reference to the flowchart of FIG.
  • the grouping unit 268 refers to the metadata 331 acquired by the metadata acquisition unit 263 or the metadata 331 generated by the metadata addition unit 265, and performs grouping of the imaging devices 310.
  • the range 302-1 of the imaging device 301-1 and the range of the imaging device 301-2 are referred to for the imaging range 302.
  • the range 302-3 of 302-2 and the imaging device 301-3 does not overlap each other.
  • Such an imaging apparatus 301 in which the imaging ranges do not overlap is referred to as an isolated group.
  • the number of imaging devices 301 included in one isolated group is one.
  • imaging devices 301 having overlapping imaging ranges are referred to as an integrated group. That is, the integrated group is a group including a plurality of imaging devices having overlapping imaging ranges, and an imaging device that exists separately from the plurality of groups is an isolated group.
  • the imaging device 301-1 and the imaging device 301-2 belong to an isolated group, and the imaging device 301-3. Through 301-7 belong to the integrated group.
  • step S121 the grouping unit 268 classifies the imaging devices 301 that are the processing targets into isolated groups and integrated groups.
  • the flag assigning unit 269 attaches a flag to each imaging device 301 that is a processing target.
  • the flag is roughly a flag or exactly a flag.
  • the rough flag is a flag that is assigned when a path suitable for a walk-through of a landscape is generated, for example.
  • the tight flag is a flag assigned when a path suitable for a virtual museum or the like is generated, for example.
  • FIG. 19A is a diagram showing an example of a path generated when a rough flag is assigned.
  • a square represents the position of a feature point
  • a curve represents a generated path.
  • the path is not a path that passes through the feature points, but a path that passes through the neighborhood.
  • an image in which a feature point is included in a part of the image is continuously presented to the user.
  • the image is an image of the town
  • the user can view an image that allows the user to experience as if walking in the town.
  • the path generated when the tight flag is assigned is a path as shown in FIG. 19B.
  • the square represents the position of the feature point
  • the curve represents the path to be generated.
  • the path is a path that passes through the feature points.
  • images (locations) including feature points are continuously presented to the user.
  • images (locations) including feature points are continuously presented to the user.
  • a path generated when a tight flag is assigned is shown in FIG.
  • the feature point that is, in this case, a path passing through the exhibit
  • the image is such that images of the exhibit are continuously provided to the user.
  • the user can browse images that allow the user to experience viewing the exhibits while walking in a simulated manner in the exhibition hall. For this reason, when an image to which a tight flag is assigned is processed, a path passing through the feature point is generated.
  • Such a rough flag or a tight flag is added to the image to be processed in step S122.
  • the flag may be determined by analyzing which image is a processing target and determining which flag is appropriate.
  • the metadata includes information referred to when allocating a flag, for example, information regarding a genre, as information related to an image, and the flag to be allocated is determined by referring to such information. You may do it.
  • the metadata itself supplied from the imaging device 202 may include information indicating whether it is a rough flag or a tight flag. In this case, since the flag is given on the imaging device 202 side, the process of step S122 can be omitted in the flowchart shown in FIG.
  • step S122 when a flag is assigned in step S122, a path generation process for each group is executed in step S123. With reference to the flowchart of FIG. 12, the path generation processing for each group executed in step S123 will be described.
  • step S131 the path generation unit 270 (FIG. 8) sets a group to be processed.
  • step S132 it is determined whether or not the group to be processed is an integrated group.
  • step S132 it is determined that the group to be processed is an integrated group, and the process proceeds to step S133.
  • step S133 global path generation processing is executed.
  • a global path is a path that connects feature points or imaging devices across integrated groups.
  • a path connecting feature points is generated. That is, in step S133, a path (global path) that connects the feature points included in the integrated group is generated.
  • a regression curve is obtained using a curve model with a small degree.
  • a regression curve is obtained by the least square method.
  • the position of the feature point A1 is A1 (x 1 , y 1 ). Similarly, the position of the feature point A2, and A2 (x 2, y 2) . Similarly, the position of the feature point B1 is B1 (x 3 , y 3 ), the position of the feature point B2 is B2 (x 4 , y 4 ), and the position of the feature point B3 is B3 (x 5 , y 5 ).
  • the position of the feature point A1 is A1 (x 1 , y 1 ).
  • the position of the feature point A2, and A2 (x 2, y 2) .
  • the position of the feature point B1 is B1 (x 3 , y 3 )
  • the position of the feature point B2 is B2 (x 4 , y 4 )
  • the position of the feature point B3 is B3 (x 5 , y 5 ).
  • the general formula in the least square method can be expressed as the following formula (1). Further, g k (x) in the equation (1) can be expressed as the following equation (2).
  • step S141 the regression curve is obtained using a regression curve model having a small order.
  • the regression curve model is a least square method, and the order is m in the equation (1). is there.
  • the coefficient a 1 , the coefficient a 2 , and the coefficient a 3 are obtained from the five functions shown as Expression (3). By obtaining the coefficient, the following equation (4) is obtained as a regression curve.
  • step S141 the regression curve is obtained in this way.
  • step S142 the distance between the obtained regression curve and the feature point is obtained, and the distance having the longest distance among the distances corresponding to each feature point is obtained as the maximum distance.
  • step S143 it is determined whether or not the determined maximum distance is greater than or equal to a threshold value. If it is determined in step S143 that the maximum distance is greater than or equal to the threshold, the process proceeds to step S144.
  • step S144 the imaging device with the lowest score is excluded from the processing target, and a regression curve is newly obtained.
  • the description is continued assuming that one imaging device with the lowest score is excluded from the processing target, but a plurality of imaging devices with lower scores may be excluded from the processing target. Moreover, you may make it exclude the imaging device whose score is below a predetermined value from a process target.
  • FIG. 20 is a diagram illustrating an example when a regression curve is obtained with a curve model having a small order for an integrated group including five imaging devices 301.
  • the integrated group shown in FIG. 20 includes imaging devices 301-1 to 301-5.
  • Feature points A1, A2, and A3 are detected from the imaging range 302-1 of the imaging device 301-1
  • feature points B1 and B2 are detected from the imaging range 302-2 of the imaging device 301-2
  • the imaging device 301- Feature points C1 and C2 are detected from the third imaging range 302-3.
  • feature points D1, D2, and D3 are detected from the imaging range 302-4 of the imaging device 301-4, and feature points E1 and E2 are detected from the imaging range 302-5 of the imaging device 301-5.
  • step S141 feature points A1, A2, A3, B1, B2, C1, C2, D1, D2, D3, E1, and E2 detected from the images captured by these imaging devices 301 are used. A regression curve is obtained.
  • the curve indicated by the curve is the regression curve 351 obtained. Since the regression curve 351 is obtained with a curve model having a small order, the regression curve 351 is a curve with a gentle change with relatively little unevenness.
  • step S142 the distance between the regression curve 651 and each feature point is obtained, and the maximum distance is obtained.
  • the distance between the feature point C1 and the regression curve 351 is the distance L1, which is the maximum distance.
  • step S143 it is determined whether or not the distance L1 is greater than or equal to a threshold value. If the distance L1 is greater than or equal to the threshold, the process proceeds to step S144.
  • step S144 the imaging device 301 having a low score is removed from the processing target, and a new regression curve is obtained. That is, in this case, among the imaging devices 301-1 to 301-5, the imaging device 301 having the lowest score (total score) is detected and excluded from the processing target.
  • the imaging device 301-2 When the imaging device 301 having a low score is the imaging device 301-2, the imaging device 301-2 is excluded from the processing target. By removing the imaging device 301-2 from the processing target, as shown in FIG. 21, the imaging device 301-1, the imaging device 301-2, the imaging device 301-4, and the imaging device 301-5 are newly processed. Regression curves are obtained by using feature points that are targeted and detected from each of the four imaging devices 301.
  • regression curve 352 is obtained as shown in FIG.
  • the regression curve 351 shown in FIG. 20 and the regression curve 352 shown in FIG. 21 are regression curves obtained with the same order and the same curve model.
  • step S143 (FIG. 13) that the maximum distance is not greater than or equal to the threshold, the global path generation processing shown in FIG. 13 is terminated.
  • the imaging device 301 having a high score is not excluded even if it is far from the regression curve. Therefore, an image having a high feature point score and better to be provided to the user can be provided to the user.
  • the imaging device 301 with a low score is excluded, but a feature point with a low score may be excluded.
  • step S134 (FIG. 12).
  • step S134 it is determined whether or not the flag is roughly a flag.
  • step S134 If it is determined in step S134 that the flag is roughly a flag, the process proceeds to step S135, and the first local path generation process is executed.
  • the rough flag is a path allocated when a path that passes through the vicinity of each feature point is generated, and the generation of the first local path is a process for generating such a path.
  • step S135 the first local path generation process executed in step S135 by the first local path generation unit 292 (FIG. 8) will be described.
  • step S151 the generated path is divided into minute sections, and differential values are obtained in all sections.
  • the above-described global path regression curve 352 is divided into minute sections, and the differential value, that is, the slope of the tangent line of the regression curve 352 is obtained in each section.
  • the regression curve at this time is a feature point detected from an image captured by the imaging device 301 that constitutes an isolated group, and is, for example, a small-order curve used in the processing in step S141 (FIG. 13). Required by model.
  • step S152 it is determined whether or not the maximum value of the absolute value of the differentiation is below an arbitrary threshold value. That is, in step S152, it is determined whether or not the maximum inclination among the inclinations of each section is equal to or less than a predetermined threshold value.
  • FIG. 23 is a diagram showing a regression curve obtained by a curve model with an increased order.
  • the regression curve 353 is a path that passes through the feature points, but a part thereof is steep, in other words, there is a portion where the slope is steep.
  • the image to which the rough flag is assigned is, for example, an image when generating a path that provides an image that gives the user an experience of walking through the town.
  • step S152 it is determined in step S152 whether or not the maximum value of the absolute value of the differentiation is below an arbitrary threshold value so that there is no such a steep portion.
  • step S152 if it is determined that the maximum absolute value of the derivative is below an arbitrary threshold, in other words, if it is determined that there is no steep slope, the process proceeds to step S153.
  • step S153 the curve model is changed and the path is regenerated. For example, a change to increase the order is performed, and a path (regression curve) is obtained again.
  • the change to increase the order is to obtain a regression curve by changing the order m in the above formula (1) to a large numerical value.
  • step S151 is repeatedly performed with respect to the regression curve calculated
  • step S153 for example, after changing the degree, the regression curve is obtained again, so that a regression curve closer to the feature point than the regression curve before the change is generated.
  • step S152 the feature is within a range where there is no such portion. A regression curve closer to the point can be generated.
  • step S134 if it is determined in step S134 that the flag of the group to be processed is not a rough flag, in other words, if it is determined that the flag is exactly a flag, the process is as follows. The process proceeds to step S136.
  • the tight flag is a path assigned when a path that passes through each feature point is generated, and the generation of the second local path is a process for generating such a path.
  • step S161 a path is generated by the least square method, piecewise polynomial interpolation, or the like. If the group to be processed is an integrated group, a global path (regression curve) has already been generated. However, since the path passes through the vicinity of the feature point, the path is changed to a path that passes through the feature point in step S161. Is done.
  • step S153 in order to further change the already generated global path to a path passing through the feature point, the order of the least squares equation (1) is increased, and the path is generated again.
  • a regression curve may be newly obtained by piecewise polynomial interpolation without using the already generated global path.
  • a path (regression curve) is generated in step S161.
  • a regression curve is obtained by piecewise polynomial interpolation.
  • the piecewise polynomial interpolation is a method more suitable for obtaining a curve passing through a predetermined point (feature point) than the least square method.
  • a case where a regression curve is obtained by a piecewise polynomial will be described.
  • the position of the feature point A1 is A1 (x 1 , y 1 ).
  • the position of the feature point A2, and A2 (x 2, y 2) .
  • the position of the feature point B1 is B1 (x 3 , y 3 )
  • the position of the feature point B2 is B2 (x 4 , y 4 )
  • the position of the feature point B3 is B3 (x 5 , y 5 ).
  • a case where a regression curve passing through these five feature points is obtained will be described as an example.
  • the piecewise polynomial is divided into a plurality of sections.
  • the fourth section of y 5 ) is divided into four sections.
  • cubic spline interpolation is generally used.
  • the piecewise polynomial at the time of cubic spline interpolation can be expressed by the following equation (5).
  • Condition 1 All data points are passed. Since the values at both ends are determined for each, 2N equations can be created.
  • Condition 2 In each piecewise interpolation equation, the first derivative of the boundary point is continuous. This gives N-1 equations.
  • Condition 3 Each piecewise interpolation equation also has a continuous second derivative of the boundary point. This gives N-1 equations.
  • a path may be obtained by a piecewise polynomial.
  • step S162 the generated path is divided into minute sections, and differential values are obtained in all sections. This process can be performed in the same manner as in step S151 (FIG. 14).
  • step S163 it is determined whether or not the maximum value of the absolute value of the differentiation exceeds an arbitrary threshold value. If it is determined in step S163 that the maximum absolute value of the differentiation exceeds an arbitrary threshold value, the process proceeds to step S164.
  • step S164 the imaging device having a low score is excluded, and the process returns to step S161, and the subsequent processes are executed.
  • step S163 it is determined whether or not the maximum value of the absolute value of the differentiation exceeds an arbitrary threshold value. Also in this case, it is determined whether or not there is a steep inclination. If it is determined that there is a steep inclination, the process proceeds to step S164.
  • step S164 the imaging device 301 having a low score is excluded from the processing target. Using the feature points obtained from the imaging devices 301 other than the imaging device 301 excluded as the processing target, the processes after step S161 are repeated to generate a path (regression curve).
  • step S163 if it is determined in step S163 that the maximum absolute value of the differentiation does not exceed any threshold value, the second local path generation process shown in FIG. 15 is terminated.
  • the generation of the second local path will be described again with reference to FIGS. Assume that a regression curve 353 (path) as shown in FIG. 23 is generated in step S161.
  • the regression curve 354 is a regression curve that passes through each feature point.
  • step S162 such a regression curve 353 is divided into minute sections, and a differential value is obtained in each section.
  • step S163 it is determined whether or not the maximum value of the absolute value of the differentiation exceeds an arbitrary threshold value. For example, in the regression curve 353 shown in FIG. 23, since the line from the feature point C2 to the feature point D1 has a steep slope, it is determined that the maximum value of the absolute value of the differentiation exceeds an arbitrary threshold value.
  • step S164 the imaging device 301 having a low score is excluded from the processing target.
  • the description will be continued on the assumption that the imaging device 301-3 is excluded from processing.
  • the processing target becomes the imaging device 301-1, the imaging device 301-4, and the imaging device 301-5.
  • step S161 the feature points A1, A2, A3, D1, D2, D3, E1, and E2 detected from the images picked up by the three image pickup devices 301 are used, and a method such as piecewise polynomial interpolation is used. A regression curve is obtained. The regression curve obtained at this time is assumed to be a regression curve 354 in FIG.
  • steps S161 to S164 are repeated until the slope of the regression curve 354 becomes relatively gentle. In this way, by generating a path, a gentle path that connects the feature points is generated.
  • the image to which the flag is assigned is, for example, an experience like walking through the exhibition hall, and an image when generating a path for providing an image that gives the user an experience of viewing the exhibit It is.
  • step S163 it is determined whether or not the maximum value of the absolute value of differentiation exceeds an arbitrary threshold so that there is no such a steep portion.
  • the number of inversions of the sign of differentiation is the number of times the slope changes from the positive direction to the negative direction or from the negative direction to the positive direction. If the number of inversions of the differential sign is large, the path is a back and forth path, so it is determined whether or not the number of inversions of the sign of the differential exceeds an arbitrary threshold so that such a path does not occur. You may make it.
  • step S136 the second local path generation process is executed, and when a path is generated, the process proceeds to step S137.
  • step S137 it is determined whether or not all groups have been processed. If it is determined in step S137 that all the groups have not been processed, the process is returned to step S131, a group that has not yet been processed is set as a new processing target group, and the processes in and after step S131 are performed. Is repeated.
  • step S137 determines whether all groups have been processed. If it is determined in step S137 that all groups have been processed, the path generation processing for each group shown in FIG. Returning to the flowchart of FIG. 11, when the path generation process for each group is completed in step S123, the process proceeds to step S124.
  • step S124 processing for connecting the paths is executed.
  • processing up to step S123 paths are generated in each of the integrated group and the isolated group. Among the generated paths, a process for generating a path for connecting close paths is executed.
  • step S124 With reference to FIG. 25, the process in step S124 will be described. Situation shown in FIG. 25, in the imaging range 302-1 of the image pickup apparatus 301-1 isolated groups, the path P A is generated within the imaging range 302-2 of the image pickup apparatus 301-2, the path P B Has been generated. Further, in the imaging range 302-6 of the imaging range 302-5 and the imaging apparatus 301-6 of the image pickup apparatus 301-5 integration group, path P E is generated.
  • a path P AB that connects the path P A and the path P B is generated.
  • a path P BE that connects the path P B and the path P E is generated.
  • the path P AB and the path P BE that connect the paths may be set as a portion where the transition effect is used.
  • the transition effect is an effect used to give a visual effect when switching from scene to scene, and can be used when moving between paths.
  • the generated path information is stored as an edit file, for example.
  • the edit file includes information for identifying an imaging device that has captured an image provided to the user (for example, an ID that can uniquely identify the imaging device), information about a moving direction (advancing direction of a path), information about a moving speed, and the like. included.
  • Information that associates information (for example, the coordinates of the cut start point and the size of the area) and information about the timing for displaying the cut image (for example, the elapsed time from the display start time, the display duration) is an edit file. Is written to.
  • information for uniquely identifying the imaging device is also written to the edit file.
  • information regarding the imaging time is also specified in the edit file in order to identify the time when the image was captured. It may be written in.
  • the information for identifying the imaging device and the information about the shooting time are described. However, the information is not limited to such information as long as the information can uniquely identify the image.
  • the edit file is associated with an unedited image and includes information as described above for sequentially displaying images located on the path.
  • the path information generated here has been described as being saved as an edit file, but may be saved as moving image content including image data.
  • the image data itself may be stored in the order of providing to the user.
  • the image data is acquired by being acquired from the imaging device or read from a predetermined recording medium based on information included in the edit file, and the acquired image An image based on the data is presented to the user.
  • FIG. 26 is a flowchart for explaining the second processing of the still image.
  • step S201 feature point extraction processing is performed. Since this process can be performed in the same manner as Step S111 (FIG. 10) of the first process for still images, the description thereof is omitted here.
  • step S202 When the feature points are extracted, the process proceeds to step S202, and a path generation process is performed. Since the processing after step S202 can be performed in the same manner as the first processing of the still image, the description thereof is omitted here.
  • a path can be generated without narrowing down the imaging device to be processed. Further, even if the imaging apparatus is not narrowed down before the path generation is started, for example, an imaging apparatus that captures a point (image) having no feature at the time of global path generation processing or local path generation processing Since the process of excluding the image is executed, appropriate narrowing down of the imaging device is performed.
  • a path generated when a moving image is a processing target will be described with reference to FIGS.
  • the imaging devices 401-1 to 401-6 each shoot a moving image, extract feature points from each moving image, and generate a path that passes through the extracted feature points. To do.
  • the vertical direction represents the arrangement of the imaging devices 401-1 to 401-6, and is assumed to be arranged in this order.
  • the horizontal axis represents the period.
  • a square represents a moving image in a predetermined period such as one frame or several frames.
  • the feature point A1 is extracted from the moving image captured by the imaging device 401-1, and the feature point C1 is extracted from the moving image captured by the imaging device 401-3 during the period t1. This is the situation.
  • the feature point E1 is extracted from the moving image captured by the imaging device 401-5, and the feature point F1 is extracted from the moving image captured by the imaging device 401-6.
  • the feature point C2 is extracted from the moving image captured by the imaging device 401-3, and the feature point D1 is extracted from the moving image captured by the imaging device 401-4.
  • the feature point A2 is extracted from the moving image captured by the imaging device 401-1, and the feature point E2 is extracted from the moving image captured by the imaging device 401-5.
  • the feature point A3 is extracted from the moving image captured by the imaging device 401-1.
  • a path 411 connecting the feature point A1, the feature point C2, and the feature point A3 is generated.
  • a path is generated for a moving image, a path that basically does not reverse in time is generated.
  • a so-called replay path may be generated in which the time is reversed and the image captured during the same period is presented to the user.
  • a path 411 is generated so as not to reverse in time. Therefore, for example, a path that returns from the feature point C2 extracted from the image captured during the period t3 to the feature point E1 extracted from the image captured during the period t2 is not generated.
  • the path is a smoothly connected path as in the case of processing a still image.
  • a path 411 passing from the feature point A1 to the feature point C2 is generated, but the path is not directly connected from the feature point A1 to the feature point C2, but in the period t2, the imaging device 401-2. It is assumed that the path passes through the image picked up at (1). Since the imaging device 401-1, the imaging device 401-2, and the imaging device 401-3 are arranged in this order, there is a high possibility that the captured images are connected.
  • a path is generated from the image picked up by the image pickup device 401-1 to the image picked up by the image pickup device 401-2, and then to the image picked up by the image pickup device 401-3. In this way, a path through which images are switched so as to pan images captured by the plurality of imaging devices 401 is generated.
  • the feature point A1 is extracted from the moving image captured by the imaging device 401-1, and the feature point F1 is extracted from the moving image captured by the imaging device 401-6, during the period t2. This is the situation.
  • the imaging device 401-1 and the imaging device 401-6 are separated in position, if the feature point A1 and the feature point F1 are connected as they are, the image As it may not connect smoothly. In such a case, the images may be switched by editing such as fade-in and fade-out.
  • images are switched by editing such as fade-in and fade-out, and paths are indicated by dotted lines.
  • images are switched by editing such as fade-in and fade-out, and paths are indicated by dotted lines.
  • a path that connects images captured by the imaging devices 401 that are separated in a short time is generated, a path that is connected by editing such as fade-in and fade-out may be generated.
  • the feature point A1 is extracted from the moving image captured by the image capturing device 401-1 and the feature point B1 is extracted from the moving image captured by the image capturing device 401-2 during the period t3.
  • the feature point C1 is extracted from the moving image captured by the imaging device 401-3, and the feature point D1 is extracted from the moving image captured by the imaging device 401-5.
  • the feature point A2 is extracted from the moving image captured by the imaging device 401-1 and the feature point B2 is extracted from the moving image captured by the imaging device 401-2, and the imaging device 401-3.
  • the feature point C2 is extracted from the moving image captured by the imaging device 401-5
  • the feature point D2 is extracted from the moving image captured by the imaging device 401-5.
  • the situation shown in FIG. 29 is a situation in which a plurality of feature points are extracted by a plurality of imaging devices 401 within a short period of time such as period t3 and period t4.
  • a feature point having a high score may be extracted from each image captured by a plurality of imaging devices 401 in a goal scene or the like.
  • a scene from which many feature points are extracted by a plurality of imaging devices 401 can be determined to be a scene suitable for presentation to the user.
  • a path is generated that provides the user with images taken at the same time. By generating such a path, for example, an image obtained by shooting the goal scene from different directions is provided to the user.
  • a path 413 connecting the feature point A1, the feature point A2, the feature point B1, the feature point B2, the feature point C1, the feature point C2, the feature point D1, and the feature point D2 is generated.
  • a path for switching images is generated instead of connecting smoothly. For example, a path 413 for switching from the image of the feature point A2 to the image of the feature point B1 is generated.
  • a path 413 for example, after the image of the feature point A1 and the image of the feature point A2 captured by the imaging device 401-1 are provided to the user, they are captured from other directions in the same period. An image of the feature point B1 and an image of the feature point B2 are presented to the user. In this way, a path in which the same scene is repeatedly displayed is generated.
  • the effect of repeatedly displaying scenes captured by different imaging devices 401 in the same period, in other words, scenes captured at different angles, here is multi-angle same scene display. Describe.
  • FIG. 30 An example of another path generated will be described with reference to FIG.
  • the situation shown in FIG. 30 is the situation shown in FIG.
  • a path 413 for displaying the same scene from multiple angles may be generated, or as described with reference to FIG. 30, a time slice (bullet time) may be generated.
  • a path 414 that gives such a video effect may be generated.
  • a path 414 connecting the feature point A1, the feature point B1, the feature point C1, and the feature point D1 extracted from the image captured during the period t3 is generated.
  • a video effect such as slow motion is used to switch the image.
  • Such a path 414 is a path that provides a user with a characteristic scene such as a goal scene by sequentially switching images captured from various angles.
  • a plurality of frames imaged by the imaging device 401-1 is displayed in the period t3
  • a plurality of frames imaged by the imaging device 401-2 are displayed in the period t3, and then in the period t3, the imaging device 401-3 is displayed.
  • a display in which a plurality of frames imaged in step S1 is displayed is performed. Since such a display is the same as the multi-angle same scene display described with reference to FIG. 29, in the case of a time slice, a condition that one period is one frame may be added.
  • step S501 feature point extraction processing is executed.
  • the feature point extraction processing executed in step S501 will be described with reference to the flowchart of FIG.
  • step S521 feature points are identified from each moving image.
  • the image point is analyzed with respect to the image captured by the image capturing apparatus 401-1, so that the feature point A1, the feature point A2, and the feature point A3 are extracted.
  • a feature point is extracted from each image by performing image analysis on the image captured by each of the image capturing apparatuses 401-2 to 401-6.
  • a specific frame or a frame of a specific period may be extracted.
  • information on a predetermined sensor may be used to perform such extraction.
  • information obtained from an acceleration sensor, a GPS sensor, or the like may be used to extract a specific frame.
  • a moving image picked up by the image pickup apparatus 401 provided with the acceleration sensor is a processing target, there is a change in the situation such as a jump or a sudden change in the moving speed from the information of the acceleration sensor.
  • the detected scene may be detected, and the scene may be extracted as a specific frame.
  • step S521 feature points are identified from each moving image, but information used for the identification may be information obtained from various sensors.
  • step S522 it is determined whether or not there is a moving image in which the number of feature points is equal to or less than a threshold. If it is determined in step S522 that there is a moving image with the number of feature points equal to or less than the threshold, the process proceeds to step S523.
  • step S523 the moving image that is determined to be a moving image having the number of feature points equal to or less than the threshold is excluded from the moving image to be processed at the time of path generation.
  • step S524 information about the identified feature point is added to the metadata of the moving image that is the processing target.
  • the moving images to be processed are narrowed down by the number of feature points, but the narrowing may be performed under other conditions. For example, when the total value obtained by adding the score of feature points extracted from the moving image is equal to or less than a predetermined value, narrowing down may be performed such that the moving image is excluded from the processing target.
  • step S501 when feature points are extracted and a moving image to be processed is narrowed down, a path generation process is performed using the narrowed moving image as a processing target.
  • step S501 when feature points are extracted in step S501 (FIG. 31), the process proceeds to step S502, and a path generation process is started.
  • the path generation process executed in step S502 is performed based on the flowcharts shown in FIGS.
  • the flowcharts illustrated in FIGS. 11 to 15 are processes related to path generation when a still image is a processing target. That is, even when a moving image is a processing target, a process for generating a path connecting feature points can be performed similarly to a process for generating a path connecting feature points when a still image is a processing target. Since the description with reference to the flowcharts shown in FIGS. 11 to 15 has already been made, the description is omitted here.
  • step S503 the path generated by the user is presented, and in step S504, information related to the path editing performed by the user is received. Since the processing in steps S503 and S504 can be performed in the same manner as in steps S103 and S104 in FIG. 9, the description thereof is omitted.
  • step S501 (FIG. 31)
  • feature point extraction processing is performed to narrow down moving images (imaging devices) to be processed.
  • FIG. 33 is a flowchart for explaining the second processing of the moving image.
  • step S601 feature point extraction processing is performed. Since this process can be performed in the same manner as step S521 (FIG. 32) of the first process of moving images, the description thereof is omitted here.
  • step S602 When the feature points are extracted, the process proceeds to step S602, and a path generation process is performed. Since the processing after step S602 can be performed in the same manner as the first processing of the moving image, the description thereof is omitted here.
  • a path can be generated without narrowing down the imaging device to be processed.
  • the imaging device is not narrowed before starting the path generation, for example, an imaging device that captures an image having no feature is excluded during the global path generation processing or the local path generation processing. Since the processing is executed, appropriate narrowing down of the imaging device is performed.
  • the effect period and the period other than the effect period will be described with reference to FIG. In the following description, a period that is not an effect period is described as a non-effect period.
  • FIG. 34 is a diagram describing the effect period and the non-effect period in the diagram for explaining the example of the generated path shown in FIG.
  • the path 413 generated for the images captured in the period t2 to the period t4 is a multi-angle same scene display in which images captured in the same time are repeatedly displayed. It was a pass to get an effect.
  • the period during which such a path 413 is generated is the effect period. That is, the effect period is a period during which some effect processing is performed as a pass. For example, a period during which a video effect such as a time slice (bullet time) described with reference to FIG. 30 is applied is also an effect period.
  • period Y is an effect period.
  • a period X before the period Y and a period Z after the period Y are non-effect periods.
  • the description will be continued by taking as an example a case where the effect period is before and after the non-effect period, but the effect period may be continuous.
  • the period Z may be set as an effect period in which an effect called time slice is applied.
  • a scene in which multi-angle same scene display is executed is a scene in which many feature points are extracted from moving images of a plurality of imaging devices 401 in a short period and the same period. is there.
  • a plurality of imaging devices 401 detect such a short period and a period during which many feature points are extracted from the same period.
  • step S701 feature point extraction processing is executed.
  • step S702 a path is generated.
  • step S703 the generated path is presented to the user.
  • step S704 editing of the path by the user is accepted.
  • the flow of this process is the same as the first process of moving images described with reference to the flowchart shown in FIG.
  • the feature point extraction process executed in step S701 will be described with reference to the flowchart shown in FIG.
  • the feature point extraction process in the third process of moving images includes a process of extracting feature points from each moving image, a process of narrowing down a moving image to be processed, and a process of detecting an effect period.
  • Processes in steps S721 to S723 are a process of extracting feature points from each moving image and a process of narrowing down a moving image to be processed.
  • the processes in steps S721 to S723 are performed in the same manner as the processes in steps S521 to S523 in the flowchart shown in FIG. 32, and thus detailed description thereof is omitted here.
  • step S724 the time axis is divided into small periods.
  • the small period is a preset time such as several frames, several seconds, several minutes, or the like.
  • step S725 a predetermined small period among the divided small periods is set as a processing target. For example, it is sequentially processed from the beginning of the moving image in terms of time.
  • step S726 it is determined whether or not the number of feature points in the small period to be processed exceeds a threshold value. If it is determined in step S726 that the number of feature points in the small period to be processed exceeds the threshold value, the process proceeds to step S727, and the small period to be processed is Set to period.
  • step S728 it is determined whether or not processing has been executed for all the small periods. If it is determined that there is a small period that has not yet been processed, the process returns to step S725, and the subsequent processing is repeated. .
  • step S726 determines whether or not the number of feature points in the small period to be processed does not exceed the threshold. If it is determined in step S726 that the number of feature points in the small period to be processed does not exceed the threshold, the process in step S727 is skipped, and the process proceeds to step S728. It is determined whether or not the process has been executed for the short period.
  • step S726 If it is determined in step S726 that the number of feature points in the small period that is the processing target does not exceed the threshold, the small period is set as a non-effect period.
  • step S728 If it is determined in step S728 that the process has been executed for all the small periods, the process proceeds to step S729.
  • step S729 the effect period is re-edited. By repeating the processing of steps S725 to S728, an effect period or a non-effect period is set for each small period.
  • step S729 for example, a part where a plurality of continuous small periods are set as the effect period is re-edited into one effect period.
  • the processing of steps S724 to S729 will be described with reference to FIG. 34 again.
  • the period t is one small period, for example, a preset period such as one frame or several frames.
  • the period t1 is described as a small period t1.
  • the description will be continued assuming that the images captured by the respective imaging devices 401 of the imaging devices 401-1 to 401-6 are set as the processing target images.
  • step S724 as shown in FIG. 34, it is divided into small periods t1 to t6.
  • step S725 first, the small period t1 is set as a processing target.
  • the feature points are not extracted from the image taken in the small period t 1, and therefore the number of feature points does not exceed the threshold value in step S 726. Since it is judged, it becomes a non-effect period.
  • the small period t2, the small period t5, and the small period t6 also become non-effect periods. Since the non-effect period is a period other than the effect period, a period that is not set as the effect period is treated as a non-effect period. Therefore, in particular, regarding the non-effect period, the processing for setting the non-effect period may not be performed.
  • the small period t3 is set as a small period to be processed in step S725.
  • the number of feature points in the small period t3 is four. For example, when the threshold is 3, in step S726, it is determined that the small period t3 is a period in which the number of feature points exceeds the threshold.
  • step S726 the small period t3 is set as an effect period.
  • the small period t4 is also set as the effect period.
  • the effect period and the non-effect period are set in each of the small periods t1 to t6, the effect period is re-edited in step S729.
  • the effect periods are set for the small period t3 and the small period t4.
  • the small period t3 and the small period t4 are made one effect period.
  • the period set as the effect period is a period in which the same scene is repeatedly provided to the user with different images when the effect of multi-angle same scene display is executed. Only images from which feature points have been extracted may be continuously connected to repeat the same multi-angle scene display. However, when switching to an image captured by a different imaging device 401, the image is captured at a slightly earlier time. Multi-angle same scene display may be performed from the same screen.
  • the small period t2 that is temporally prior to the small period t3 is set as a non-effect period because no feature point has been extracted.
  • the effect period is re-edited in step S729. It may be added during the effect period.
  • the small period t2, the small period t3, and the small period t4 are set as one effect period.
  • the imaging apparatus 401-2 displays the period t2 and the period Images picked up at t3 and period t4 are displayed.
  • the images captured in the period t2, the period t3, and the period t4 are displayed on the imaging device 401-2, the images captured in the periods t2, t3, and t4 are displayed on the imaging device 401-3. Is displayed.
  • re-editing may be performed so that one small period before the period set as the effect period is added to the effect period. good.
  • step S701 (FIG. 35), and when completed, the processing proceeds to step S702.
  • step S702 a path generation process is executed.
  • step S702 The path generation processing executed in step S702 will be described with reference to the flowchart shown in FIG.
  • step S741 it is determined whether the imaging device 401 belongs to an isolated group or an integrated group, and grouping is executed. A rough flag or a tight flag is assigned to each divided group.
  • step S741 and step S742 Since the processing in step S741 and step S742 is performed in the same manner as the processing in step S121 and step S122 in the flowchart shown in FIG. 11, the description thereof is omitted here.
  • step S743 the processing target period is set in time series.
  • the processing period is set as an effect period or a non-effect period.
  • step S744 it is determined whether or not the processing target period is an effect period. If it is determined in step S744 that the process target period is an effect period, the process proceeds to step S745. In step S745, a path for executing the effect process is generated.
  • the period Y is an effect period.
  • this period Y is a processing target, a path 413 for executing an effect of multi-angle same scene display is generated.
  • step S744 if it is determined in step S744 that the processing target period is not an effect period, in other words, if it is determined that it is a non-effect period, the process proceeds to step S746.
  • step S746 a path generation process for each group is executed.
  • a path connecting feature points is generated as in the first process of moving images.
  • the period X and the period Z are non-effect periods, and in such a non-effect period, a path connecting feature points is generated.
  • path connecting feature points for example, there is a path like the path 411 described with reference to FIG.
  • a path 411 illustrated in FIG. 27 includes a feature point A1 extracted from the image captured by the imaging device 401-1, a feature point C1 extracted from the image captured by the imaging device 401-3, and the imaging device 401-1.
  • the path generation process executed in step S746 is performed based on the flowcharts shown in FIGS.
  • the flowcharts illustrated in FIGS. 11 to 15 are processes related to path generation when a still image is a processing target. That is, the process of generating a path connecting feature points in a non-effect period with a moving image as a processing target can be performed in the same manner as the process of generating a path connecting feature points when a still image is a processing target. . Since the description with reference to the flowcharts shown in FIGS. 11 to 15 has already been made, the description is omitted here.
  • step S747 the paths are connected to each other.
  • the start point of the path generated at that time is connected to the end point of the path generated immediately before.
  • the path 413 generated in the effect period of the period Y and the path (not shown) of the period X before the period Y are connected.
  • the process for connecting the paths executed in step S747 may include a process for connecting the paths by an effect.
  • step S748 it is determined whether all the periods have been processed. If it is determined in step S748 that there is an effect period or a non-effect period that has not yet been processed, the process is returned to step S743, the processing target is set in the next period in time, and the newly set period On the other hand, the process after step S744 is repeated.
  • step S748 determines whether all periods have been processed. If it is determined in step S748 that all periods have been processed, the path generation process shown in FIG. 37 is terminated, and the process proceeds to step S703 (FIG. 35).
  • the pass generation processing for each group executed in step S746 is executed only for the non-effect period.
  • the effect period a path for executing the effect is generated
  • a path is generated for each group using the grouping result as in the case of the still image.
  • FIG. 38 shows an example of a flowchart having such a processing flow.
  • the flowchart shown in FIG. 38 is another example of the path generation process executed in step S702.
  • step S761 processing target periods are set in time series.
  • the process of step S761 corresponds to the process of step S743 in the flowchart of FIG.
  • step S762 it is determined whether or not the period set as the process target period is an effect period. If it is determined that the period is an effect period, the process proceeds to step S763. In step S763, a path for executing the effect process is generated.
  • the processes in steps S762 and S763 correspond to the processes in steps S744 and S745 in the flowchart of FIG.
  • step S762 if it is determined in step S762 that the period set as the process target period is not an effect period, in other words, if it is determined that the period is a non-effect period, the process proceeds to step S764.
  • step S764 grouping is performed, and in step S765, a flag is assigned for each group.
  • the processes in steps S764 and S765 correspond to the processes in steps S741 and S742 in the flowchart shown in FIG.
  • steps S766 to S768 is the same as the processing of steps S746 to S748 in the flowchart shown in FIG.
  • the processing is divided into an effect period and a non-effect period, and a path is generated in each period.
  • step S701 Fourth Processing of Moving Image>
  • step S701 Fourth Processing of Moving Image>
  • FIG. 39 is a flowchart for explaining a fourth process of moving images.
  • step S801 feature point extraction processing is performed. Since this process can be performed in the same manner as Step S721 (FIG. 36) of the third process of moving images, the description thereof is omitted here.
  • step S802 When the feature point is extracted, the process proceeds to step S802, and a path generation process is performed. Since the processing after step S802 can be performed in the same manner as the third processing of the moving image, the description thereof is omitted here.
  • a path can be generated without narrowing down the imaging device to be processed.
  • the imaging device is not narrowed before starting the path generation, for example, an imaging device that captures an image having no feature is excluded during the global path generation processing or the local path generation processing. Since the processing is executed, appropriate narrowing down of the imaging device is performed.
  • a path is generated as described above, a part of an image on the path is synthesized by images captured by a plurality of imaging devices or generated by CG (Computer Graphics) or the like. Also good. For example, when transitioning from a first image captured by a first imaging device on a path to a second image captured by a second imaging device, the images in between are the first image and the first image. It may be generated by combining two images.
  • modeling is performed based on the three-dimensional information, and an image is generated by using synthesis such as CG as necessary, and the generated image is included in an image group constituting a part on the path. It may be used as an image.
  • An image in the image group on the path may be an image extracted (cut out) from an image captured by the imaging device, or an image generated by combining a plurality of images. good.
  • a system represents the whole apparatus comprised by a some apparatus.
  • this technology can also take the following structures.
  • An information processing apparatus comprising: a setting unit configured to set a path for connecting characteristic portions in the image by referring to metadata including at least information on a plurality of feature points identified from at least one image.
  • the setting unit sets the path by obtaining a regression curve using the plurality of feature points.
  • the setting unit Among the plurality of feature points, when there is a feature point whose distance between the regression curve and the feature point is equal to or greater than a predetermined threshold, among the plurality of feature points, a feature specified from an image having a feature point with a low score
  • the setting unit Among the plurality of feature points, when there is a feature point whose distance between the regression curve and the feature point is a predetermined threshold value or more, the feature point having a low score is removed from the plurality of feature points, and then The information processing apparatus according to (2), wherein a regression curve is obtained.
  • the setting unit obtains a regression curve using the feature points, divides the obtained regression curve into a plurality of sections, obtains a differential value for each section, and at least one of the differential values is equal to or less than a predetermined threshold value. If there is, the information processing apparatus according to any one of (1) to (4), wherein the order for obtaining the regression curve is increased and then the regression curve is obtained again.
  • the information processing apparatus wherein the image is a moving image.
  • the setting unit sets, as an effect period for applying an effect, a period in which a feature point in the divided period obtained by dividing the moving image into a plurality of periods satisfies a predetermined condition. Processing equipment.
  • the predetermined condition is that a number of feature points in the divided period is equal to or greater than a threshold value.
  • the information processing apparatus according to (7) or (8), wherein the effect is a time slice.
  • the information processing apparatus according to any one of (7) to (9), wherein the effect is an effect for displaying scenes captured at different angles during the same period.
  • the information processing apparatus according to any one of (7) to (10), wherein the setting unit sets a time-series path except for the effect period.
  • the setting unit There are a plurality of the images, When classified into an integrated group that includes an image that overlaps with another image and an imaging range, and an isolated group that does not overlap with another image and an imaging range, the integrated group relates to all images included in the integrated group.
  • the information processing apparatus according to any one of (1) to (11), wherein a global path is set, and then a local path that is a path related to each image of the integrated group is set.
  • An information processing method including a step of setting a path for connecting characteristic portions in the image by referring to metadata including at least information on a plurality of feature points identified from at least one image.
  • a computer that executes a process including a step of setting a path for connecting characteristic portions of the image by referring to metadata including at least information on a plurality of feature points identified from at least one image.
  • a readable program
  • 201 network 202 imaging device, 203 server, 204 information processing device, 261 image data acquisition unit, 262 feature point extraction unit, 263 metadata acquisition unit, 264 metadata reference unit, 265 metadata appending unit, 267 imaging device extraction unit , 268 grouping unit, 269 flag granting unit, 270 path generation unit, 271 presentation unit, 272 editing unit, 291 global path generation unit, 292 first local path generation unit, 293 second local path generation unit, 294 edit File creation part

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　本技術は、特徴ある画像を連続的に表示するためのパスを容易に生成することができるようにする情報処理装置、情報処理方法、並びにプログラムに関する。 少なくとも１つの画像から特定された複数の特徴点に関する情報を少なくとも含むメタデータを参照することで、画像のうち特徴のある箇所を繋げるためのパスを設定する設定部を備える。設定部は、複数の特徴点を用いて回帰曲線を求めることでパスを設定する。また設定部は、複数の特徴点のうち、回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、複数の特徴点のうち、スコアの低い特徴点を有する画像から特定された特徴点を外した上で、再度回帰曲線を求める。本技術は静止画像や動画像を処理する情報処理装置に適用できる。

Description

情報処理装置、情報処理方法、並びにプログラム
　本技術は、情報処理装置、情報処理方法、並びにプログラムに関する。詳しくは、画像を効率良く閲覧できるパスを生成する情報処理装置、情報処理方法、並びにプログラムに関する。
　近年、静止画像や動画像を撮像できる撮像装置が増え、ユーザが気軽に撮像することが増えてきている。またインターネットなどで、撮像された画像を公開することも増えてきている。このように、画像を撮影する機会や公開する機会が増えることで、さまざまな画像が大量にユーザに提供される状況となるため、画像を効率良くユーザに閲覧させることが望まれている。
　特許文献１では、静止画像を利用してムービングツアーをユーザに提供することについての提案がなされている。
特表２００２-５０９６６２号公報
　従来、画像を連続的にユーザに提供するためのデータは、手動で作成されていた。このようなデータの作成は手間がかかるため、容易に作成できることが望まれている。
　本技術は、このような状況に鑑みてなされたものであり、多くの画像のなかから、特徴のある画像をユーザに効率良く閲覧させるためのパスを、容易に生成できるようにするものである。
　本技術の一側面の情報処理装置は、少なくとも１つの画像から特定された複数の特徴点に関する情報を少なくとも含むメタデータを参照することで、前記画像のうち特徴のある箇所を繋げるためのパスを設定する設定部を備える。
　前記設定部は、前記複数の特徴点を用いて回帰曲線を求めることで前記パスを設定するようにすることができる。
　前記設定部は、前記複数の特徴点のうち、前記回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、前記複数の特徴点のうち、スコアの低い特徴点を有する画像から特定された特徴点を外した上で、再度回帰曲線を求めるようにすることができる。
　前記設定部は、前記複数の特徴点のうち、前記回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、前記複数の特徴点のうち、スコアの低い特徴点を外した上で、再度前記回帰曲線を求めるようにすることができる。
　前記設定部は、前記特徴点を用いて回帰曲線を求め、求められた回帰曲線を複数の区間に分割し、前記区間毎に微分値を求め、前記微分値の少なくとも１つが所定の閾値以下である場合、前記回帰曲線を求めるための次数を上げた上で、再度前記回帰曲線を求めるようにすることができる。
　前記画像は動画像であるようにすることができる。
　前記設定部は、前記動画像を複数の期間に分割して得た分割期間内の特徴点が、所定の条件を満たす期間を、エフェクトを施すエフェクト期間として設定するようにすることができる。
　前記所定の条件は、前記分割期間内の特徴点の数が閾値以上であることであるようにすることができる。
　前記エフェクトは、タイムスライスであるようにすることができる。
　前記エフェクトは、同期間に異なるアングルで撮像されたシーンを表示するエフェクトであるようにすることができる。
　前記設定部は、前記エフェクト期間以外では、時系列なパスを設定するようにすることができる。
　前記設定部は、前記画像が複数存在しており、他の画像と撮像範囲に重なりがある画像を含む統合グループと、他の画像と撮像範囲に重なりがない孤立グループとに分類される場合、前記統合グループについて、前記統合グループに含まれる全画像に関するグローバルパスを設定し、その後、前記統合グループの各画像に関するパスであるローカルパスを設定するようにすることができる。
　本技術の一側面の情報処理方法は、少なくとも１つの画像から特定された複数の特徴点に関する情報を少なくとも含むメタデータを参照することで、前記画像のうち特徴のある箇所を繋げるためのパスを設定するステップを含む。
　本技術の一側面のプログラムは、少なくとも１つの画像から特定された複数の特徴点に関する情報を少なくとも含むメタデータを参照することで、前記画像のうち特徴のある箇所を繋げるためのパスを設定するステップを含む処理を実行させるコンピュータが読み取り可能なプログラムである。
　本技術の一側面の情報処理装置、情報処理方法、並びにプログラムにおいては、少なくとも１つの画像から特定された複数の特徴点に関する情報を少なくとも含むメタデータが参照され、画像のうち特徴のある箇所を繋げるためのパスが設定される。
　本技術の一側面によれば、多くの画像のなかから、特徴のある画像をユーザに効率良く閲覧させるためのパスを、容易に生成できる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
パスについて説明するための図である。 パスについて説明するための図である。 パスについて説明するための図である。 パスについて説明するための図である。 パスについて説明するための図である。 システムの構成について説明するための図である。 情報処理装置の構成について説明するための図である。 情報処理装置の機能について説明するための図である。 静止画像の第１のパスの生成処理について説明するためのフローチャートである。 静止画像の第１のパスの生成処理について説明するためのフローチャートである。 静止画像の第１のパスの生成処理について説明するためのフローチャートである。 静止画像の第１のパスの生成処理について説明するためのフローチャートである。 静止画像の第１のパスの生成処理について説明するためのフローチャートである。 静止画像の第１のパスの生成処理について説明するためのフローチャートである。 静止画像の第１のパスの生成処理について説明するためのフローチャートである。 グループについて説明するための図である。 グループについて説明するための図である。 メタデータについて説明するための図である。 フラグについて説明するための図である。 生成されるパスについて説明するための図である。 生成されるパスについて説明するための図である。 生成されるパスを区間に分けることについて説明するための図である。 生成されるパスについて説明するための図である。 生成されるパスについて説明するための図である。 パス間を繋ぐパスについて説明するための図である。 静止画像の第２のパスの生成処理について説明するためのフローチャートである。 動画像のパスの生成について説明するための図である。 動画像のパスの生成について説明するための図である。 動画像のパスの生成について説明するための図である。 動画像のパスの生成について説明するための図である。 動画像の第１のパスの生成処理について説明するためのフローチャートである。 動画像の第１のパスの生成処理について説明するためのフローチャートである。 動画像の第２のパスの生成処理について説明するためのフローチャートである。 エフェクト期間について説明するための図である。 動画像の第３のパスの生成処理について説明するためのフローチャートである。 動画像の第３のパスの生成処理について説明するためのフローチャートである。 動画像の第３のパスの生成処理について説明するためのフローチャートである。 動画像の第３のパスの生成処理について説明するためのフローチャートである。 動画像の第４のパスの生成処理について説明するためのフローチャートである。
　以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
　１．パスについて
　２．システムの構成
　３．情報処理装置の構成、機能
　４．静止画像の第１の処理
　５．静止画像の第２の処理
　６．動画像の処理について
　７．動画像の第１の処理
　８．動画像の第２の処理
　９．動画像の第３の処理
　１０．動画像の第４の処理
　＜パスについて＞
　本技術は、以下に説明するように、複数の画像を連続的にユーザに閲覧させるためのパスを生成するのに適用できる。まず、このパスについて説明を加える。
　図１は、高画質な画像から、特徴点を検出し、検出された特徴点を含む画像を繋ぐパスの生成例を示す図である。高画質な画像とは、解像度の高い撮像装置で撮像された静止画像や撮影された動画像である。以下の説明においても、画像とは静止画像と動画像を含む記載とする。
　なお本明細書中では、特徴点との記載は、点（１画素）である場合を含むが、複数の画素からなる所定の大きさを有する領域である場合も含まれる。すなわち、特徴のある所定の大きさを有する領域が検出され、それらを繋ぐパスが生成されるようにしても良い。
　高画質な画像１０から、特徴点が検出される。図１においては、２つの特徴点１１と特徴点１２が検出されている状態を示している。特徴点として検出される点(領域)は、例えば、画像１０内において、人等の動体が集まっているところ、画像１０内の人の視線の先、ＳＮＳ（Social Networking Service）等への投稿が多い地点、特定のイベントや動作が発生していると判断される地点等である。
　また、看板やイルミネーション等のコントラストの高い部分、消失点などを含む領域でも良い。また画像１０が、動画像である場合には、時間方向に輝度等の変化を計測し、変化が大きい領域が検出されるようにしても良い。
　また、正面から撮影されている物体や人を領域として検出したり、特定の人や物を追跡し、その追跡結果が領域として検出されたりするようにしても良い。さらに、画像だけでなく、音の情報、例えば、大きな音が鳴っている領域などが、特徴点として検出されるようにしても良い。
　検出される特徴としては、上記した例以外の特徴であっても良い。
　検出された特徴点を繋ぐパス１３が生成される。図１に示した例では、特徴点１１と特徴点１２を通るパス１３が設定される。パス１３は、特徴点１１と特徴点１２を滑らかに繋ぐパスである。このように生成されたパス１３に基づき、画像がユーザに提供される場合、画像１０がそのままユーザに提供されるのではなく、パス１３に基づき、パス１３上に位置する画像が、連続的にユーザに提供される。
　例えば、所定の大きさを有するウィンドウ１４が、パス１３上を移動し、そのウィンドウ１４内の画像が、ユーザに提供される。
　このようなパス１３が生成され、パス１３に基づく画像がユーザに提供されることで、ユーザは、画像１０内の特徴ある領域を効率良く閲覧することができる。
　図２は、例えば、所定の位置を中心とした３６０度の画像３０が取得され、その３６０度の画像３０から、特徴のある画像を含む領域が検出され、検出された領域を繋ぐパスが生成される例を示す図である。
　３６０度の画像３０は、例えば、単眼の撮像装置が複数台設置され、それらの撮像装置で撮像された画像をつなぎ合わせた画像や、１台の単眼の撮像装置で撮像された画像を繋ぎ合わせた画像や、中心点を中心とした３６０度の画像を一度で撮像できる撮像装置で撮像された画像などである。なお、３６０度の画像は、図２に示すように、上下方向の画像は無く、側面の画像だけであっても良いし、全天球の画像であっても良い。
　このような３６０度の画像３０から、特徴点が検出される。ここでは、特徴点３１、特徴点３２、および特徴点３３が、検出されたとする。この特徴点３１乃至３３を通るパス３４が生成される。ユーザに、画像３０が提供される場合、このように生成されたパス３４上をウィンドウ３５が移動し、そのウィンドウ３５内の画像が、ユーザに提供される。そのとき、特徴点３１，３２，３３を含む画像が、ユーザに提示される。
　図２に示した例の場合も、図１と同じく、ユーザは、画像３０内の特徴ある領域を効率良く閲覧することができる。
　図３は、所定の被写体６０の周りに撮像装置６１が複数台設置され、それぞれの撮像装置６１で撮像されている画像６２から、特徴のある箇所が検出され、検出された箇所を繋ぐパス６３が生成される例を示す図である。
　図３に示した例は、例えば、競技場などで、フィールドを囲むように撮像装置が設置されている場合などに本技術を適用できる例である。図３に示した例では、被写体６０の周りに、撮像装置６１―１乃至６１－ＮのＮ台の撮像装置が設置されている。以下、撮像装置６１―１乃至６１－Ｎを個々に区別する必要がない場合、単に撮像装置６１と記述する。また、他の部分も同様に記述する。
　撮像装置６１－１乃至６１－Ｎのそれぞれにおいて、画像６２－１乃至６２－Ｎが撮像されている。撮像されている各画像６２から、特徴点(不図示)が検出される。この場合、画像６２－１乃至６２－ＮのＮ個の画像から、特徴点を含む画像６２が検出され、それらの画像６２がパス生成時の処理対象となるようにしても良い。または画像６２－１乃至６２－Ｎの各画像内から、特徴点が検出され、それらの特徴点がパス生成時の処理対象となるようにしても良い。
　特徴点を含む画像(箇所)として検出された画像６２（撮像装置６１）または画像６２内の特徴点を繋ぐパス６３が生成される。特徴点を含む画像６２が処理対象とされる場合、換言すれば、特徴点を含む画像６２を撮像している撮像装置６１が処理対象とされる場合、パス６３上にある撮像装置６１が順次切り替えられた画像がユーザに提供される。特徴点が処理対象とされる場合、パス６３上にある特徴点を含む画像が、順次、特徴点を含む画像６２内から切り出され、ユーザに提供される。
　上記したように、競技場などで、競技場を囲むように撮像装置が設置されている場合などに本技術を適用した場合、例えば、ゴールシーンなどの盛り上がっている場面を最適な場所から撮影した画像を、連続的にユーザに提供することが可能となる。
　図４に示した例も、図３に示した例と同じく、複数台の撮像装置が設置されている状況であるが、例えば、街中などに複数台の撮像装置が点在して設置されている状況である。図４に示した例では、撮像装置９１－１乃至９１－１０の１０台の撮像装置９１が、それぞれ例えば道路や建物を撮像している。
　撮像装置９１－１乃至９１－１０で、それぞれ撮像されている画像から、特徴点を含む箇所（画像）を撮像している撮像装置９１が検出される。検出された特徴点を繋ぐパス９２が生成される。特徴点を繋ぐパス９２が生成されるようにしても良いし、特徴点を含む画像（撮像装置９１）を繋ぐパス９２が生成されるようにしても良い。
　生成されたパス９２上にある画像を撮像している撮像装置９１が順次切り換えられることで、または撮像装置９１で撮像されている画像内の所定の領域内の画像が順次切り換えられることで、ユーザに画像が提供される。
　このように画像がユーザに提供されることで、例えば、街中において、人だかりができているような人気がある場所を連続的に、街中を擬似的に歩いているような感覚でユーザに画像を提供することが可能となる。
　図５に示した例も、図４に示した例と同じく、複数台の撮像装置が、例えばパーティー会場のような場所に設置されている状況である。図５に示した例では、撮像装置１２１－１乃至１２１－５が、所定の会場に設置されている。この撮像装置１２１は、所定の範囲を撮影する撮像装置であり、図５では、その範囲を円形で示している。
　撮像装置１２１―１は、撮像装置１２１－１を中心として、範囲１２２－１内を撮像する。撮像装置１２１―２は、撮像装置１２１－２を中心として、範囲１２２－２内を撮像し、撮像装置１２１―３は、撮像装置１２１－３を中心として、範囲１２２－３内を撮像し、撮像装置１２１―４は、撮像装置１２１－４を中心として、範囲１２２－４内を撮像し、撮像装置１２１―５は、撮像装置１２１－５を中心として、範囲１２２－５内を撮像する。
　撮像装置１２１には、例えば、撮像装置１２１を中心とした３６０度の範囲を撮像できる、全天球撮像装置などと称される撮像装置を適用できる。ここでは、このような全天球撮像装置を適用した場合を例にあげて説明するが、例えば、天井に設置され、床方向の範囲１２２内を撮像する撮像装置であるとして説明を続ける。
　なお、範囲１２２は、例えば、撮像されている人物の顔を顔認識ソフトウェアなどで認識できるぐらいの大きさで撮像できる範囲である。または撮像装置１２１を中心として、所定の距離だけ離れた円形内を範囲１２２とする。
　図５においては、特徴がある画像(箇所)を撮像している撮像装置１２１として、撮像装置１２１－１、撮像装置１２１－３、撮像装置１２１－４、および撮像装置１２１－５が検出され、これらの撮像装置１２１を繋ぐパス１２３が生成される。ユーザにはパス１２３上にある撮像装置１２１からの画像が、順次切り替えられて提供される。
　または、図示はしていないが、範囲１２２内にある特徴点を順次繋ぐパス１２３が生成されるようにしても良い。
　このように画像がユーザに提供されることで、図４の示した場合と同じく、例えば、人だかりができているような人気がある場所の画像を提供することが可能となる。
　以下の説明において、撮像装置間距離とは、隣接する撮像装置同士の距離であるとする。図５に示したような場合においては、例えば、撮像装置１２１－１と撮像装置１２１－２の距離を、撮像装置間距離とする。
　また画像の重なりとは、例えば、図５の撮像装置１２１－３の範囲１２２－３と撮像装置１２１－４の範囲１２２－４には重なりがあり、このような場合に、画像の重なりがあるとする。
　＜システムの構成＞
　このような特徴的な画像を検出し、検出された画像を繋ぐパスを生成するシステムについて説明する。図６は、情報処理システムの構成を示す図である。情報処理システムは、ネットワーク２０１、撮像装置２０２－１、撮像装置２０２－２、サーバ２０３、および情報処理装置２０４を含む構成とされている。
　ネットワーク２０１は、インターネットやＬＡＮ（Local Area Network）を含むネットワークであり、有線や無線で構成されている。撮像装置２０２は、例えば、図５における撮像装置１２１である。図６には撮像装置２０２は、２台だけ図示してあるが、複数の撮像装置２０２がシステム内には存在する。
　撮像装置２０２－１は、ネットワーク２０１に接続されている他の装置とデータの授受が行えるように、ネットワーク２０１に接続されている。撮像装置２０２－２は、サーバ２０３に接続され、サーバ２０３とデータの授受を行えるように構成されている。
　サーバ２０３には、撮像装置２０２－２で撮像された画像のデータが供給され、必要に応じ、ネットワーク２０１を介して情報処理装置２０４に供給される。
　情報処理装置２０４は、上記したパスを生成する装置である。なおここでは、情報処理装置２０４がパスを生成するとして説明するが、サーバ２０３が生成しても良い。
　＜情報処理装置の構成、機能＞
　図７は、情報処理装置２０４の構成を示す図である。情報処理装置２０４は、例えば、パーソナルコンピュータで構成することができる。
　情報処理装置２０４において、ＣＰＵ（Central Processing Unit）２３１、ＲＯＭ（Read Only Memory）２３２、ＲＡＭ（Random Access Memory）２３３は、バス２３４により相互に接続されている。バス２３４には、さらに、入出力インタフェース２３５が接続されている。入出力インタフェース２３５には、入力部２３６、出力部２３７、記憶部２３８、通信部２３９、及びドライブ２４０が接続されている。
　入力部２３６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２３７は、ディスプレイ、スピーカなどよりなる。記憶部２３８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２３９は、ネットワークインタフェースなどよりなる。ドライブ２４０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体２４１を駆動する。
　以上のように構成される情報処理装置２０４では、ＣＰＵ２３１が、例えば、記憶部２３８に記憶されているプログラムを、入出力インタフェース２３５及びバス２３４を介して、ＲＡＭ２３３にロードして実行することにより、以下に説明する一連の処理が行われる。
　情報処理装置２０４のＣＰＵ２３１が実行するプログラムは、例えば、リムーバブル記録媒体２４１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　情報処理装置２０４では、プログラムは、リムーバブル記録媒体２４１をドライブ２４０に装着することにより、入出力インタフェース２３５を介して、記憶部２３８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２３９で受信し、記憶部２３８にインストールすることができる。その他、プログラムは、ＲＯＭ２３２や記憶部２３８に、あらかじめインストールしておくことができる。
　図８は、情報処理装置２０４の機能を示す図である。図８に示す機能は、上記したように、プログラムが実行されることにより実現される機能であっても良いし、ハードウエアとして実現される機能であっても良い。
　画像データ取得部２６１は、例えば、Wi-Fi等の無線通信機能やリムーバブル記録媒体の再生機能で構成される。
　画像データ取得部２６１は、撮像装置２０２－１（図６）からネットワーク２０１を介して供給される、撮像装置２０２－１で撮像された画像の画像データを通信部２３９（図７）を制御して取得する。また、画像データ取得部２６１は、サーバ２０３から供給される、撮像装置２０２－２で撮像された画像の画像データを通信部２３９（図７）を制御して取得する。取得されたデータは、必要に応じ、記憶部２３８（図７）に一旦記憶される。
　また画像データ取得部２６１は、情報処理装置２０４で管理されている画像データ、例えば、記憶部２３８（図７）に記憶されている画像データや、リムーバブル記録媒体２４１（図７）に記憶されている画像データを、ドライブ２４０を制御して取得するようにしても良い。
　特徴点抽出部２６２は、取得された画像データに対して画像解析を行うことにより、特徴点を抽出する。特徴点としては、図１を参照して説明したような点である。
　メタデータ取得部２６３は、例えば、Wi-Fi等の無線通信機能やリムーバブル記録媒体の再生機能で構成される。
　メタデータ取得部２６３は、撮像装置２０２－１（図６）からネットワーク２０１を介して供給される、撮像装置２０２の位置情報を含むメタデータを通信部２３９（図７）を制御して取得する。また、メタデータ取得部２６３は、サーバ２０３から供給される、撮像装置２０２－２の位置情報を含むメタデータを通信部２３９（図７）を制御して取得する。取得されたデータは、必要に応じ、記憶部２３８（図７）に一旦記憶される。
　またメタデータ取得部２６３は、情報処理装置２０４で管理されているメタデータ、例えば、記憶部２３８（図７）に記憶されている撮像装置２０２の位置情報を含むメタデータや、リムーバブル記録媒体２４１（図７）に記憶されている撮像装置２０２の位置情報を含むメタデータを、ドライブ２４０を制御して取得するようにしても良い。
　メタデータは、後述するパスを生成するときに参照される情報が記載されているデータであり、パス生成時に必要な情報が、適宜追記される。また後述するように、生成されたパスの情報は、エディットファイルに記載されている。このエディットファイルに記載される情報の一部は、メタデータに記載されている情報である。
　メタデータ追記部２６５は、特徴点抽出部２６２により抽出された特徴点の情報や、パス生成部２７０により生成されたパスの情報を、撮像装置に関する情報を含むメタデータに追加したり、パス生成後に必要なくなった情報をメタデータから削除したりする。
　なおここでは、情報処理装置２０４が特徴点抽出部２６２を有し、画像データを解析して特徴点を抽出し、メタデータ追記部２６５でメタデータに追加するとして説明を続けるが、サーバ２０３が特徴点抽出部２６２を備えるようにしても良い。
　サーバ２０３が、特徴点抽出部２６２を備えている場合、サーバ２０３は、撮像装置２０２－２から画像データの供給を受け、その画像データを解析し、特徴点を検出する。サーバ２０３は、さらに、検出された特徴点に関する情報と、撮像装置２０２－２の位置情報を少なくとも含むメタデータを生成し、情報処理装置２０４からの要求に基づき、その生成したメタデータを情報処理装置２０４に供給する。
　このようにした場合、情報処理装置２０４は、メタデータ取得部２６３によりメタデータを取得した時点で、特徴点に関する情報も取得する構成となる。特徴点の抽出や画像に関する情報を含むメタデータの生成は、サーバ２０３側で行うようにシステムを構成することも可能である。
　なおここでは、情報処理装置２０４は、図８に示したような機能を有するとして説明を続けるが、上記したように、画像データやメタデータは、サーバ２０３や記録媒体に記録された状態で取得されることもあるため、画像データ取得部２６１、特徴点抽出部２６２、メタデータ取得部２６３、メタデータ参照部２６４、メタデータ追記部２６５といった機能を有しない情報処理装置２０４であっても、パスを生成することはできる。
　例えば、予め画像データとメタデータが関連付けられており、そのような情報をパス生成部２７０が参照する構成とすることも可能であり、このような構成のときには、パス生成部２７０を有する情報処理装置２０４であればよい。
　ここで示す機能や構成は一例であり、限定を示すものではないため、図８に示した機能のうち、所定の機能を有しない情報処理装置２０４であっても、本技術の適用範囲である。また、図８に示した機能を、複数の装置で分散して有する構成とすることも可能である。
　図８を参照した情報処理装置２０４の機能に関する説明に戻る。メタデータ参照部２６４は、メタデータ取得部２６３で取得されたメタデータを参照したり、メタデータ追記部２６５で情報が追加されたメタデータを参照したりする。
　撮像装置抽出部２６７は、パスを生成するときの撮像装置を抽出する。詳細は後述するが、例えば、特徴点が多い画像を撮像している撮像装置が抽出される。
　グループ分け部２６８は、撮像装置をグループに分ける。グループ分け部２６８は、撮像装置同士の位置関係から、隣接している撮像装置であるか、隣接していない撮像装置であるかを判断し、判断結果に基づき、撮像装置をグループ分けする。
　フラグ付与部２６９は、パスを生成するときに参照されるフラグを、メタデータに追加する。フラグとしては、きっちりフラグとざっくりフラグの２種類のフラグがあるとして説明を続ける。これら２種類のフラグについても後述する。
　パス生成部２７０は、図１乃至図５を参照して説明したパス、例えば、パス９１(図５)を生成する。パス生成部２７０は、グローバルパス生成部２９１、第１のローカルパス生成部２９２、第２のローカルパス生成部２９３を備える。
　パスの生成時には、グローバルパスとローカルパスという２つのパスがあるとして説明を続ける。グローバルパスは、複数の撮像装置間を繋ぐグローバルなパスを生成するときのパスであり、ローカルパスは、各撮像装置内でのローカルなパスを生成するときのパスである。ローカルパスの生成には、２通りの生成の仕方があり、フラグにより、第１のローカルパス生成部２９２により生成されるか、第２のローカルパス生成部２９３で生成されるかが決定される。
　エディットファイル作成部２９４は、パスに関する情報を含むエディットファイルを作成する。エディットファイルにどのような情報が含まれるかは、後述するが、含まれる情報によっては、メタデータが参照され、メタデータに記載されている情報も含まれる。
　提示部２７１は、生成されたパス（エディットファイル）をユーザに提示する処理を実行する。パスのデータ自体がユーザに提示されるようにしても良いし、パスに基づく画像の表示が行われることで、ユーザに提示されるようにしても良い。
　エディットファイルに基づき、リアルタイムに画像が切り出され、表示されることで、ユーザに提示される。切り出しが行われる画像の画像データは、記録媒体に記録されている画像データや、ネットワーク２０１を介して他の装置、例えばサーバ２０３から供給される画像データである。またストリーミングされている画像データであっても良い。
　またここでは、エディットファイルが作成されるとして説明を続けるが、エディットファイル以外のデータであっても良い。例えば、パスに基づいて画像が切り出された動画コンテンツが生成されるようにしても良い。この生成された動画コンテンツが、ユーザに提示されるようにしても良い。
　編集部２７２は、ユーザからのパスの編集指示を受け付け、パスを編集する。提示部２７１により提示されたパスに対して、ユーザが所望の編集を行えるように編集部２７２が設けられている。
　＜静止画像の第１の処理＞
　図９乃至図１５に示したフローチャートを参照し、情報処理装置２０４で行われるパスの生成について説明する。まず処理される画像が静止画像である場合を例にあげて説明する。
　まず、図９のフローチャートを参照し、全体の処理の流れを説明する。ステップＳ１０１において、特徴点の抽出処理が実行される。情報処理装置２０４の画像データ取得部２６１は、撮像装置２０２－１やサーバ２０３経由で撮像装置２０２－２から供給される画像データを取得する。また、このとき、情報処理装置２０４のメタデータ取得部２６３は、画像データに付随するメタデータも取得する。
　ステップＳ１０１において実行される特徴点の抽出処理については、図１０のフローチャートを参照し後述する。なお、ステップＳ１０１において実行される特徴点の抽出処理は、サーバ２０３側で行われるようにし、情報処理装置２０４側の処理として行わないようにすることも可能である。また、特徴点の抽出処理が他の装置で行われた結果が、記録媒体などに記録されて配布されることで、情報処理装置２０４が特徴点の情報を取得するようにし、ステップＳ１０１の処理を省略する処理の流れとすることも可能である。
　ステップＳ１０１において、特徴点が抽出されると、ステップＳ１０２において、パス生成部２７０により、特徴点を繋ぐパスが生成される。ステップＳ１０２において実行されるパスの生成処理については、図１１のフローチャートを参照して後述する。
　ステップＳ１０２において、パスが生成されると、ステップＳ１０３において、提示部２７１により、生成されたパスで良いか否かをユーザに確認するために、ユーザにパスが提示される。ステップＳ１０４において、ユーザにパスが提示された結果、ユーザがパスに対して編集を行いたいとき、パスの編集が編集部２７２により受け付けられ、パスの編集が行われる。
　このように、画像内の特徴がある部分を繋ぐパスが、ユーザの手を煩わすことなく生成され、そのパスに基づく画像の表示が行われることで、ユーザは、複数の画像から、面白い部分を連続的に閲覧することができるようになる。また、生成されたパスがユーザに提示され、編集が行えるようにすることで、ユーザの嗜好により適合するパスとすることができる。
　なお、ユーザによりパスが編集された場合、その編集結果が、パス生成部２７０にフィードバックされるようにし、編集された点などを学習し、ユーザが所望とするパスがより正確に生成されるような学習機能を設けても良い。
　図１０のフローチャートを参照し、ステップＳ１０１において実行される特徴点の抽出処理について説明する。
　ステップＳ１１１において、特徴点が抽出される。特徴点抽出部２６２は、図１を参照して説明したように、例えば人が多い部分などを特徴点として、画像から検出する。
　ステップＳ１３０において、撮像装置毎にスコアが算出される。前提として、複数の撮像装置で撮像された画像が取得され、それぞれの画像から特徴点が抽出される。スコアとしては、１画像（１台の撮像装置）から抽出された特徴点の数をスコアとして用いても良い。また特徴点毎に、スコアを付け、１画像（１台の撮像装置）の特徴点毎のスコアの合計点を、撮像装置のスコアとして算出するようにしても良い。ここでは、合計点をスコアとする場合を例にあげて説明する。
　例えば、図１６に示したような状況を考える。図１６に示した状況は、図５に示したような状況と同じく、所定の場所に、撮像装置３０１が複数台設置されている状況である。図１６に示した状況は、撮像装置３０１－１乃至３０１－７の７台の撮像装置が設置されている例を示した。各撮像装置３０１の撮像範囲は、範囲３０２－１乃至３０２－７であり、図１６中、円形で示した。
　撮像装置３０１は、図６における撮像装置２０２－１のように、情報処理装置２０４とデータの授受を直接的に行える撮像装置であっても良いし、撮像装置２０２－２のように、サーバ２０３を介して、情報処理装置２０４とデータの授受を間接的に行える撮像装置であっても良い。
　撮像装置３０１は、図１６に示すような配置とされている。撮像装置３０１－３乃至３０１－７は、他の撮像装置３０１と撮像範囲３０２が重なる部分があるが、撮像装置３０１－１と撮像装置３０１－２は、それぞれ他の撮像装置３０１撮像範囲３０２が重なるところがないように配置されている。
　このような状況において、撮像装置３０１－１で撮像された画像から、特徴点Ａ１と特徴点Ａ２が検出されたとする。同様に、撮像装置３０１－２で撮像された画像から、特徴点Ｂ１、特徴点Ｂ２、および特徴点Ｂ３が検出され、撮像装置３０１－３で撮像された画像から、特徴点Ｃ１が検出され、撮像装置３０１－４で撮像された画像から、特徴点Ｄ１が検出されたとする。
　また、撮像装置３０１－５で撮像された画像から、特徴点Ｅ１と特徴点Ｅ２が検出され、撮像装置３０１－６で撮像された画像から、特徴点Ｆ１と特徴点Ｆ２が検出され、撮像装置３０１－７で撮像された画像から、特徴点Ｇ１が検出されたとする。
　このように特徴点が検出され、撮像装置３０１毎に特徴点のスコアの合計を計算したところ、以下のような順位になったとする。
　特徴点Ｂ１＋Ｂ２＋Ｂ３＞特徴点Ｅ１＋Ｅ２＞特徴点Ｆ１＋Ｆ２
　　　　　　　　＞特徴点Ａ１＋Ａ２＞特徴点Ｃ１＞特徴点Ｄ１＞特徴点Ｇ１
　撮像装置３０１の順位で書き直すと、以下のようになる。
　撮像装置３０１－２＞撮像装置３０１－５＞撮像装置３０１－６
＞撮像装置３０１－１＞撮像装置３０１－３＞撮像装置３０１－４＞撮像装置３０１－７
　このように撮像装置３０１のスコアの順位が判定されると、ステップＳ１１３において、撮像装置抽出部２６７（図８）により、スコアの高い撮像装置３０１の上位Ｍ個が抽出される。このＭ個は、例えば、予め固定の個数として設定されていても良いし、スコアを算出した撮像装置３０１の個数に対する比率、例えば、８０％といったような比率で、可変的に設定される個数であっても良い。図１６における説明では、Ｍ＝５であるとして説明を続ける。
　上記した順位である場合、上位５台の撮像装置３０１は、撮像装置３０１－２、撮像装置３０１－５、撮像装置３０１－６、撮像装置３０１－１、撮像装置３０１－３となる。以下の処理においては、ステップＳ１１３において抽出された撮像装置３０１で撮像された画像が処理対象とされる。すなわち、ステップＳ１１３において、処理対象となる画像(撮像装置３０１)の絞り込みが行われる。
　図１７に絞り込みが行われた後の撮像装置３０１の配置状態を示す。以下の処理においては、この５台の撮像装置３０１－１、撮像装置３０１－２、撮像装置３０１－３、撮像装置３０１－５、および撮像装置３０１－６が処理対象とされる。
　ステップＳ１１４において、メタデータに特徴点などの情報が追記される。メタデータ追記部２６５は、メタデータ取得部２６３で取得されたメタデータに、特徴点抽出部２６２で抽出された特徴点に関する情報を追記する。
　メタデータには、例えば図１８に示すような情報が記載されている。メタデータ３３１には、撮像装置の位置情報、撮像装置の画角、特徴点の位置情報、特徴点毎のスコア、スコア（総合点）が記載されている。
　撮像装置の位置情報と撮像装置の画角は、撮像装置３０２側から供給される情報であり、メタデータ取得部２６３で取得されるメタデータに含まれている情報である。特徴点の位置情報、特徴点毎のスコア、スコア（総合点）は、メタデータ追記部２６５によりメタデータ３３１に追記される情報である。
　ここで示したメタデータ３３１は一例であり、限定を示す記載ではない。メタデータ３３１に他の情報が記載されていても、もちろん良いし、例えば、スコア（総合点）が記載されないようなメタデータ３３１とすることも可能である。
　なお、ここでは、情報処理装置２０４が、特徴点を検出し、特徴点の情報を、メタデータ３３１に追記するとして説明をしているが、例えば、サーバ２０３（図６）が、撮像装置からの画像データを取得し、特徴点を検出するようにした場合、サーバ２０３側で、図１７に示したようなメタデータ、すなわち、特等点の情報も記載されているメタデータ３３１が生成されるようにしても良い。
　図１０のフローチャートを参照して説明したように、パスが生成される前に、パスを生成するときに処理対象とされる撮像装置の絞り込みが行われる。絞り込みが行われた後、パスが生成されるため、パスの生成時の処理負担を軽減させることが可能となる。
　ステップＳ１０１（図９）において、特徴点の抽出処理が、図１０のフローチャートを参照して説明したように行われると、ステップＳ１０２に処理が進められ、パスの生成処理が開始される。ステップＳ１０２において実行されるパスの生成処理について、図１１のフローチャートを参照して説明する。
　ステップＳ１２１において、グループ分け部２６８は、メタデータ取得部２６３で取得されたメタデータ３３１またはメタデータ追記部２６５で生成されたメタデータ３３１を参照し、撮像装置３１０のグループ分けを実行する。
　ここで再度図１７を参照する。図１７に示したように、５台の撮像装置３０１が処理対象とされているとき、その撮像範囲３０２を参照するに、撮像装置３０１－１の範囲３０２－１、撮像装置３０１－２の範囲３０２－２、撮像装置３０１－３の範囲３０２－３は、それぞれ重なる範囲がない。このような撮像範囲が重なっていない撮像装置３０１を、孤立グループと称する。なおここでは、孤立グループと記載するが、１つの孤立グループ内に含まれる撮像装置３０１は、１台である。
　一方で、撮像装置３０１－５の範囲３０２－５と撮像装置３０１－６の範囲３０２－６の一部には、重なりがある。このような撮像範囲に重なりがある撮像装置３０１を、統合グループと称する。すなわち、統合グループには、撮像範囲が重なる複数の撮像装置が含まれるグループであり、この複数のグループとは別に孤立して存在する撮像装置が孤立グループとなる。
　仮に、図１６に示したような７台の撮像装置３０１が処理対象とされている場合には、撮像装置３０１－１と撮像装置３０１－２は、それぞれ孤立グループに属し、撮像装置３０１－３乃至３０１－７は、統合グループに属する。
　ステップＳ１２１において、グループ分け部２６８は、処理対象とされている撮像装置３０１を孤立グループと統合グループに分類する。
　ステップＳ１２２において、フラグ付与部２６９は、処理対象とされている撮像装置３０１毎にフラグを付ける。フラグは、ざっくりフラグときっちりフラグがある。ざっくりフラグは、例えば、景色のウォークスルーなどに適しているパスを生成する際に割り振られるフラグである。きっちりフラグは、例えば、バーチャル美術館などに適しているパスを生成する際に割り振られるフラグである。
　図１９のＡは、ざっくりフラグが割り振られているときに生成されるパスの一例を示す図である。図１９のＡにおいて、四角形は、特徴点の位置を表し、曲線は、生成されるパスを示す。図１９のＡに示したように、パスは、特徴点を通るパスではなく、近傍を通るパスとされている。
　このようなパスに基づき画像が表示された場合、画像の一部に特徴点が含まれるような画像が連続的にユーザに提示される。このような画像が提供されることで、ユーザに、パス上を擬似的に歩いているときに見える画像を提供することができる。画像が町中を撮像した画像である場合、ユーザは町中を歩いているかのような体験ができる画像を閲覧することができる。
　このようなことから、ざっくりフラグが割り振られている画像が処理されるときには、特徴点の近傍を通るようなパスが生成される。
　一方で、きっちりフラグが割り振られているときに生成されるパスは、図１９のＢに示したようなパスとなる。図１９のＡと同じく、四角形は、特徴点の位置を表し、曲線は、生成されるパスを示す。図１９のＢに示したように、パスは、特徴点を通るパスとされている。
　このようなパスに基づき画像が表示された場合、特徴点が含まれる画像(箇所)が連続的にユーザに提示される。例えば、展覧会で展示されている展示物が撮像されている部分が特徴点として抽出されるように処理が行われた場合、きっちりフラグが割り振られているときに生成されるパスは、図１９のＢに示したように、特徴点、すなわちこの場合、展示物を通るパスとなるため、ユーザに展示物の画像を連続的に提供するような画像となる。
　よって、ユーザは、展覧会会場を擬似的に歩きながら、展示物を閲覧しているような体験をすることができる画像を閲覧することが可能となる。このようなことから、きっちりフラグが割り振られている画像が処理されるときには、特徴点を通るパスが生成される。
　このようなざっくりフラグまたはきっちりフラグが、ステップＳ１２２において、処理対象とされている画像に対して付与される。フラグは、例えば、処理対象とされている画像を解析することで、どちらのフラグが適しているか判断され、付与されるようにしても良い。また、メタデータに、画像に関する情報として、フラグを割り振るときに参照される情報、例えば、ジャンルに関する情報などが含まれるようにし、そのような情報が参照されることで、割り振るフラグが決定されるようにしても良い。
　また、撮像装置２０２(図６)から供給されるメタデータ自体に、ざっくりフラグであるか、きっちりフラグであるかを示す情報が含まれているようにしても良い。この場合、撮像装置２０２側でフラグが付与されるため、図１１に示したフローチャートにおいては、ステップＳ１２２の処理を省略することが可能である。
　図１１のフローチャートの説明に戻り、ステップＳ１２２において、フラグが付与されると、ステップＳ１２３において、グループ毎のパスの生成処理が実行される。図１２のフローチャートを参照し、ステップＳ１２３で実行されるグループ毎のパスの生成処理について説明を加える。
　ステップＳ１３１において、パス生成部２７０(図８)は、処理対象とするグループを設定する。ステップＳ１３２において、処理対象とされたグループは、統合グループであるか否かが判断される。
　例えば図１７に示した処理対象において、例えば、撮像装置３０１－５と撮像装置３０１－６とから構成される統合グループが、ステップＳ１３１において、処理対象のグループとして設定された場合、ステップＳ１３２において、処理対象のグループとして設定されたのは、統合グループであるとして判断され、ステップＳ１３３に処理が進められる。
　ステップＳ１３３において、グローバルパスの生成処理が実行される。グローバルパスは、統合グループを跨る特徴点または撮像装置を繋ぐパスである。ここでは、特徴点を繋ぐパスが生成されるとして説明を続ける。すなわちステップＳ１３３においては、統合グループに含まれる特徴点を繋ぐパス（グローバルパス）が生成される。
　ステップＳ１３３において実行されるグローバルパスの生成処理について、図１３のフローチャートを参照して説明する。
　ステップＳ１４１において、次数の小さな曲線モデルで回帰曲線が求められる。例えば、最小二乗法により回帰曲線が求められる。
　図１７を再度参照する。図１７において特徴点Ａ１の位置を、Ａ１（ｘ１、ｙ１）とする。同様に、特徴点Ａ２の位置を、Ａ２（ｘ２、ｙ２）とする。同様に、特徴点Ｂ１の位置を、Ｂ１（ｘ３、ｙ３）とし、特徴点Ｂ２の位置を、Ｂ２（ｘ４、ｙ４）とし、特徴点Ｂ３の位置を、Ｂ３（ｘ５、ｙ５）とする。ここでは説明のため、この５個の特徴点を通る回帰曲線が求められる場合を例にあげて説明する。
　最小二乗法における一般式は、次式（１）のように表せる。また、式（１）におけるｇｋ（ｘ）は、次式（２）のように表せる。
Figure JPOXMLDOC01-appb-M000001
　式（１）においてｍは次数である。ステップＳ１４１において、次数の小さな回帰曲線モデルで回帰曲線が求められるとしたが、この回帰曲線モデルは、この場合、最小二乗法のことであり、次数とは、式（１）におけるｍのことである。ステップＳ１４１においては、例えば、ｍ＝３の最小二乗法で回帰曲線が求められる。
　ｍ＝３のときであり、特徴点Ａ１，Ａ２，Ｂ１，Ｂ２，Ｂ３の５点の座標を式（１）に代入したときの式（３）を以下に示す。
Figure JPOXMLDOC01-appb-M000002
　式（３）として示した５つの関数から、係数ａ１、係数ａ２、および係数ａ３が求められる。係数が求められることで、次式（４）が回帰曲線として求められることになる。
Figure JPOXMLDOC01-appb-M000003
　ステップＳ１４１においては、このようにして回帰曲線が求められる。
　ステップＳ１４２において、求められた回帰曲線と特徴点との距離が求められ、各特徴点に対応する距離の内、最も長い距離を有する距離が最大距離として求められる。
　ステップＳ１４３において、求められた最大距離が、閾値以上であるか否かが判断される。ステップＳ１４３において、最大距離が閾値以上であると判断された場合、ステップＳ１４４に処理が進められる。
　ステップＳ１４４において、スコアが最も低い撮像装置が処理対象から外され、回帰曲線が新たに求められる。なお、ここでは、スコアが最も低い１台の撮像装置が処理対象から外されるとして説明を続けるが、スコアが低い複数の撮像装置が処理対象から外されるようにしても良い。また、スコアが所定の値以下である撮像装置を処理対象から外すようにしても良い。
　このような処理について、図２０と図２１を参照して説明する。図２０に示した状況は、５個の撮像装置３０１から構成される統合グループに対して次数の小さな曲線モデルで回帰曲線が求められたときの一例を示す図である。
　図２０に示した統合グループは、撮像装置３０１－１乃至３０１－５から構成されている。撮像装置３０１－１の撮像範囲３０２－１から、特徴点Ａ１，Ａ２，Ａ３が検出され、撮像装置３０１－２の撮像範囲３０２－２から、特徴点Ｂ１，Ｂ２が検出され、撮像装置３０１－３の撮像範囲３０２－３から、特徴点Ｃ１，Ｃ２が検出されている。
　また撮像装置３０１－４の撮像範囲３０２－４から、特徴点Ｄ１，Ｄ２，Ｄ３が検出され、撮像装置３０１－５の撮像範囲３０２－５から、特徴点Ｅ１，Ｅ２が検出されている。
　ステップＳ１４１においては、これらの各撮像装置３０１で撮像されている画像から検出された特徴点Ａ１，Ａ２，Ａ３、Ｂ１，Ｂ２、Ｃ１，Ｃ２，Ｄ１，Ｄ２，Ｄ３，Ｅ１，Ｅ２が用いられて、回帰曲線が求められる。
　図２０において、曲線で示した曲線が求められた回帰曲線３５１であるとする。次数が小さい曲線モデルで回帰曲線３５１は求められているため、回帰曲線３５１は、比較的凹凸の少ないなだらかな変化を伴う曲線となっている。
　ステップＳ１４２においては、回帰曲線６５１と各特徴点との距離が求められ、最大距離が求められる。例えば、図２０においては、特徴点Ｃ１と回帰曲線３５１の距離が距離Ｌ１であり、最大距離であったとする。
　ステップＳ１４３においては、距離Ｌ１が、閾値以上であるか否かが判断される。距離Ｌ１が閾値以上である場合、処理は、ステップＳ１４４に進められる。
　ステップＳ１４４において、スコアの低い撮像装置３０１が処理対象から外され、新たに回帰曲線が求められる。すなわちこの場合、撮像装置３０１－１乃至３０１－５のうち、スコア(総合点)が最も低い撮像装置３０１が検出され、処理対象から外される。
　スコアの低い撮像装置３０１が、撮像装置３０１－２であった場合、撮像装置３０１－２が処理対象から外される。撮像装置３０１－２が処理対象から外されることで、図２１に示すように、撮像装置３０１－１，撮像装置３０１－２，撮像装置３０１－４、および撮像装置３０１－５が新たな処理対象とされ、これら４台の撮像装置３０１からそれぞれ検出された特徴点が用いられて、回帰曲線が求められる。
　ここでは、図２１に示したように回帰曲線３５２が求められたとする。図２０に示した回帰曲線３５１と図２１に示した回帰曲線３５２は、同一の次数、同一の曲線モデルで求められた回帰曲線である。
　このような処理が繰り返されることで、ステップＳ１４３(図１３）において、最大距離が閾値以上ではないと判断された場合、図１３に示したグローバルパスの生成処理は終了される。
　図１３に示したフローチャートによると、回帰曲線から最も離れた位置にある特徴点と回帰曲線との距離が、所定の閾値以上である場合、その最も離れた位置にある特徴点を含む画像を撮像している撮像装置３０１が除外されるのではなく、スコアの低い撮像装置３０１が除外される。
　このような処理によれば、回帰曲線から離れていても、スコアが高い撮像装置３０１は、除外されることがない。よって、特徴点のスコアが高く、ユーザに提供した方が良い画像は、ユーザに提供されるようにすることができる。
　なおここでは、上記したように、スコアの低い撮像装置３０１が除外されるとして説明をしたが、スコアの低い特徴点が除外されるようにしても良い。
　このようにしてグローバルパスが生成されると、処理は、ステップＳ１３４(図１２)に進められる。
　図１２に示したフローチャートを参照するに、ステップＳ１３４において、フラグはざっくりフラグであるか否かが判断される。
　ステップＳ１３４において、フラグはざっくりフラグであると判断された場合、処理は、ステップＳ１３５に進められ、第１のローカルパス生成処理が実行される。ざっくりフラグは、各特徴点の近傍を通るようなパスを生成するときに割り振られるパスであり、第１のローカルパスの生成とは、そのようなパスを生成するための処理である。
　図１４を参照し、ステップＳ１３５において、第１のローカルパス生成部２９２(図８)で実行される第１のローカルパス生成処理について説明する。
　ステップＳ１５１において、生成されたパスが微少区間に分割され、全ての区間で微分値が求められる。例えば、図２２に示すように、上記したグローバルパスである回帰曲線３５２を、微小区間に区切り、各区間で微分値、すなわち、回帰曲線３５２の接線の傾きが求められる。
　なお、孤立グループが処理対象とされている場合、グローバルパスは生成されていない状態なので、ステップＳ１５１の処理が行われる前の時点で、回帰曲線が求められる。このときの回帰曲線は、孤立グループを構成する撮像装置３０１で撮像されている画像から検出された特徴点を処理対象とし、例えば、ステップＳ１４１(図１３)における処理で用いられた次数の小さな曲線モデルで求められる。
　各区間の微分値が求められると、ステップＳ１５２において、微分の絶対値の最大値が任意の閾値を下回るか否かが判断される。すなわち、ステップＳ１５２においては、各区間の傾きのうち、最大の傾きが、所定の閾値以下であるか否かが判断される。
　このような判断が行われるのは、例えば、図２３に示すようなパスが生成されるのを防ぐためである。図２２に示したグローバルパスである回帰曲線３５２から、次数を上げた曲線モデルで回帰曲線を求めると、特徴点を通る回帰曲線が生成される。図２３は、次数を上げた曲線モデルで求められた回帰曲線を示す図である。
　回帰曲線３５３は、特徴点を通るパスであるが、その一部は、急峻になっている、換言すれば、傾きが急である部分がある。ざっくりフラグが割り振られる画像は、例えば、町中をウォークスルーしているような体験をユーザに与えるような画像を提供するパスを生成するときの画像である。
　パス３５３のように、急峻なパスである場合、急に方向が変わるなど、目まぐるしい画像がユーザに提供される可能性が高くなり、好ましくない画像となる可能性がある。よって、そのような急峻な部分がないように、ステップＳ１５２において、微分の絶対値の最大値が任意の閾値を下回るか否かが判断される。
　ステップＳ１５２において、微分の絶対値の最大値が任意の閾値を下回ると判断された場合、換言すれば、急な傾きはないと判断された場合、ステップＳ１５３に処理が進められる。ステップＳ１５３において、曲線モデルが変更されてパスが再生成される。例えば、次数を上げる変更が行われ、再度パス(回帰曲線)が求められる。
　次数を上げる変更とは、上記した式（１）の次数ｍを大きな数値に変更して回帰曲線を求めることである。上記した式（１）は、ステップＳ１４１（図１３）において、次数の小さな曲線モデルで回帰曲線を求めるときの式である。上記した説明では、ステップＳ１４１において、次数ｍ＝３とした式（１）に基づき回帰曲線が求められるとした。
　この次数ｍ＝３よりも大きな次数、例えば、次数ｍ＝５といった次数で、再度回帰曲線が求められる。次数を高くすることで、特徴点により近い曲線が生成される。
　そして、再度求められた回帰曲線に対して、ステップＳ１５１以降の処理が繰り返し行われる。そして、ステップＳ１５２において、微分の絶対値の最大値が任意の閾値を下回らないと判断された場合、図１４に示した第１のローカルパスの生成処理は終了される。
　このようにして、第１のローカルパスが生成される。ステップＳ１５３において、例えば、次数を上げる変更を行った後、再度回帰曲線が求められることで、変更前の回帰曲線よりも、特徴点により近くなる回帰曲線が生成される。
　特徴点により近くなる回帰曲線が生成されることで、傾きが急になってしまう部分がある可能性があるが、ステップＳ１５２における判断が行われることで、そのような部分がない範囲で、特徴点により近い回帰曲線を生成することが可能となる。
　このようにして、ざっくりフラグが付与された画像に対して、パスが生成される。
　図１２のフローチャートに説明を戻し、ステップＳ１３４において、処理対象とされているグループのフラグは、ざっくりフラグではないと判断された場合、換言すれば、きっちりフラグであると判断された場合、処理は、ステップＳ１３６に進められる。
　きっちりフラグは、各特徴点を通るようなパスを生成するときに割り振られるパスであり、第２のローカルパスの生成とは、そのようなパスを生成するための処理である。
　図１５を参照し、ステップＳ１３６において、第２のローカルパス生成部２９３（図８）が実行する第２のローカルパス生成処理について説明する。
　ステップＳ１６１において、最小二乗法や区分多項式補間などでパスが生成される。処理対象とされているグループが統合グループである場合、既にグローバルパス(回帰曲線)が生成されているが、特徴点の近傍を通るパスであるため、ステップＳ１６１において、特徴点を通るパスに変更される。
　ステップＳ１５３（図１４）と同じく、既に生成されているグローバルパスをさらに特徴点を通るパスに変更するために、最小二乗法の式（１）の次数を上げて、再度パスが生成されるようにしても良い。または、既に生成されているグローバルパスを用いずに、新たに区分多項式補間により、回帰曲線が求められるようにしても良い。
　処理対象とされているグループが、孤立グループである場合、ステップＳ１６１において、パス(回帰曲線)が生成される。この場合、パスは生成されていない状態なので、区分多項式補間により、回帰曲線が求められる。
　区分多項式補間は、最小二乗法よりも、所定の点（特徴点）を通る曲線を求めるのに適した方法である。図１７を参照して、区分多項式により回帰曲線を求める場合について説明する。図１７において特徴点Ａ１の位置を、Ａ１（ｘ１、ｙ１）とする。同様に、特徴点Ａ２の位置を、Ａ２（ｘ２、ｙ２）とする。同様に、特徴点Ｂ１の位置を、Ｂ１（ｘ３、ｙ３）とし、特徴点Ｂ２の位置を、Ｂ２（ｘ４、ｙ４）とし、特徴点Ｂ３の位置を、Ｂ３（ｘ５、ｙ５）とする。ここでは説明のため、この５個の特徴点を通る回帰曲線が求められる場合を例にあげて説明する。
　区分多項式においては、複数の区間に分けられるが、ここでは、Ａ１（ｘ１、ｙ１）～Ａ２（ｘ２、ｙ２）の第１の区間、Ａ２（ｘ２、ｙ２）～Ｂ１（ｘ３、ｙ３）の第２の区間、Ｂ１（ｘ３、ｙ３）～Ｂ２（ｘ４、ｙ４）の第３の区間、およびＢ３（ｘ４、ｙ４）～Ｂ４（ｘ５、ｙ５）の第４の区間の４区間に分ける。
　区分多項式では、一般的に３次のスプライン補間が用いられる。３次のスプライン補間のときの区分多項式は、次式（５）で表すことができる。
Figure JPOXMLDOC01-appb-M000004
　ｊは、０乃至Ｎ－１の値を取るが、上記した第１乃至第４の区間を処理対象とするときは、ｊは１乃至５の値を取る。Ｎ＋１個のデータ、この場合、Ｎ＋１＝５個のデータ（特徴点）を扱う場合、区分多項式は、Ｎ個（第１乃至第４の区間毎の４個）となる。
　従って、区分多項式の係数である未知数は４Ｎ個あることになる。これらの未知数を求めるためには、４Ｎ個の方程式が必要となる。３次のスプライン補間に、以下の条件を課して係数が求められるようにする。
　条件１：全てのデータ点を通る。各々に対して両端での値が決まるため、２Ｎ個の方程式ができる。
　条件２：各々の区分補間式は、境界点の１次導関数は連続とする。これにより、Ｎ－１個の方程式ができる。
　条件３：各々の区分補間式は、境界点の２次導関数も連続とする。これにより、Ｎ－１個の方程式ができる。
　以上の３つの条件を課すことで、４Ｎ－２個の方程式で未知数である係数の関係を表現できる。未知数は４Ｎ個なので、２個の方程式が不足していることになる。この不足を補うために、両端での２次導関数の値を０とする条件を加える。
　これらの条件を満たす連立方程式を求めることにより、式（５）における係数ａｊ，ｂｊ，ｃｊ，ｄｊが求められる。
　このようにして区分多項式により、パスが求められるようにしても良い。
　ステップＳ１６２において、生成されたパスが微少区間に分割され、全ての区間で微分値が求められる。この処理は、ステップＳ１５１(図１４)と同様に行うことが可能である。
　ステップＳ１６３において、微分の絶対値の最大値が任意の閾値を超えるか否かが判断される。ステップＳ１６３において、微分の絶対値の最大値が任意の閾値を超えると判断された場合、ステップＳ１６４に処理が進められる。
　ステップＳ１６４において、スコアの低い撮像装置が除外され、処理は、ステップＳ１６１に戻され、それ以降の処理が実行される。
　このような処理について、再度図２３を参照して説明する。ステップＳ１６１の処理において生成されたパス(回帰曲線)が、回帰曲線３５３である場合、この回帰曲線３５３が、ステップＳ１６２の処理において微小区間に分割され、各区間で、微分値が求められる。
　そして、ステップＳ１６３において、微分の絶対値の最大値が任意の閾値を超えるか否かが判断される。この場合も、急な傾きがあるか否かを判断しており、急な傾きがあると判断された場合には、ステップＳ１６４に処理が進められる。
　ステップＳ１６４において、スコアの低い撮像装置３０１が処理対象から外される。処理対象として外された撮像装置３０１以外の撮像装置３０１から得られる特徴点を用いて、ステップＳ１６１以降の処理が繰り返され、パス（回帰曲線）が生成される。
　一方、ステップＳ１６３において、微分の絶対値の最大値が任意の閾値を超えていないと判断された場合、図１５に示した第２のローカルパスの生成処理は、終了される。
　第２のローカルパスの生成について、図２３、図２４を参照し、再度説明する。ステップＳ１６１において、図２３に示すような回帰曲線３５３（パス）が生成されたとする。回帰曲線３５４は、各特徴点を通る回帰曲線とされている。
　ステップＳ１６２においては、このような回帰曲線３５３を、微少区間に分割し、各区間で微分値が求められる。そして、ステップＳ１６３において、微分の絶対値の最大値が任意の閾値を超えるか否かが判断される。例えば、図２３に示した回帰曲線３５３において、特徴点Ｃ２から特徴点Ｄ１への線は、急な傾きを有しているため、微分の絶対値の最大値が任意の閾値を超えると判断される。
　ステップＳ１６４において、スコアの低い撮像装置３０１が処理対象から外される。ここでは、撮像装置３０１－３が処理対象として外されるとして説明を続ける。撮像装置３０１－３が処理対象から外されることで、処理対象は、撮像装置３０１－１、撮像装置３０１－４、および撮像装置３０１－５となる。
　ステップＳ１６１において、これら３台の撮像装置３０１がそれぞれ撮像している画像から検出された特徴点Ａ１，Ａ２，Ａ３，Ｄ１，Ｄ２，Ｄ３，Ｅ１，Ｅ２が用いられ、区分多項式補間などの方法で、回帰曲線が求められる。このとき求められた回帰曲線は、図２４において、回帰曲線３５４であるとする。
　このようにして、回帰曲線３５４の傾きが比較的なだらかになるまで、ステップＳ１６１乃至Ｓ１６４の処理が繰り返される。このように、パスが生成されることで、特徴点を繋ぐなだらかなパスが生成される。
　このように、きっちりフラグが割り振られた画像が処理されたときも、なだらかなパスが生成される。きっちりフラグが割り振られる画像は、例えば、展覧会会場をウォークスルーしているような体験であり、展示品を鑑賞する体験をユーザに与えるような画像を提供するためのパスを生成するときの画像である。
　パス３５３（図２３）のように、急峻な部分があるパスである場合、ウォークスルーしているときに、急に方向が変わるなど、目まぐるしい画像がユーザに提供される可能性が高くなり、好ましくない画像となる可能性がある。よって、そのような急峻な部分がないように、ステップＳ１６３において、微分の絶対値の最大値が任意の閾値を超えるか否かが判断される。
　なお、微分の絶対値の最大値が任意の閾値を超えるか否かが判断されるのではなく、微分の符号の反転回数が任意の閾値を超えるか否かが判断されるようにしても良い。微分の符号の反転回数とは、傾きが正の方向から負の方向または負の方向から正の方向に変わる回数である。微分の符号の反転回数が多い場合、パスとしては行ったり来たりするパスであるため、そのようなパスにならないように、微分の符号の反転回数が任意の閾値を超えるか否かが判断されるようにしても良い。
　図１２のフローチャートの説明に戻り、ステップＳ１３６において、第２のローカルパス生成処理が実行され、パスが生成されると、ステップＳ１３７に処理が進められる。
　ステップＳ１３７において、全てのグループを処理したか否かが判断される。ステップＳ１３７において、全てのグループは処理していないと判断された場合、ステップＳ１３１に処理が戻され、まだ処理対象とされていないグループが新たな処理対象のグループに設定され、ステップＳ１３１以降の処理が繰り返される。
　一方で、ステップＳ１３７において、全てのグループを処理したと判断された場合、図１２に示したグループ毎のパスの生成処理は終了される。図１１のフローチャートに説明を戻し、ステップＳ１２３において、グループ毎のパスの生成処理が終了されると、ステップＳ１２４に処理が進められる。
　ステップＳ１２４において、パス同士を繋げる処理が実行される。ステップＳ１２３までの処理で、統合グループ内、孤立グループ内の、それぞれに、パスが生成されている。生成されたパスのうち、近いパス同士を接続するパスを生成する処理が実行される。
　図２５を参照して、ステップＳ１２４における処理について説明する。図２５に示した状況は、孤立グループの撮像装置３０１－１の撮像範囲３０２－１内に、パスＰＡが生成され、撮像装置３０１－２の撮像範囲３０２－２内に、パスＰＢが生成されている。また、統合グループの撮像装置３０１－５の撮像範囲３０２－５と撮像装置３０１－６の撮像範囲３０２－６内に、パスＰＥが生成されている。
　このようにパスが生成されているとき、パスＰＡとパスＰＢを繋ぐパスＰＡＢが生成される。またパスＰＢとパスＰＥを繋ぐパスＰＢＥが生成される。パス間を繋ぐパスＰＡＢやパスＰＢＥは、トランジション効果が用いられる部分として設定されても良い。トランジション効果は、シーンからシーンへ切り替わる際に視覚効果を与えるときに使われる効果であり、パス間を移動するときに用いることができる。
　このようにして、パスが生成される。生成されたパスの情報は、例えば、エディットファイルとして保存される。エディットファイルには、ユーザに提供される画像を撮像した撮像装置を識別する情報（例えば、撮像装置を一意に識別できるＩＤ）、移動方向（パスの進行方向）に関する情報、移動速度に関する情報などが含まれる。
　例えば、図１を参照して説明したように、１枚の静止画像から、特徴のある領域の画像(特徴のある箇所)を切り出して、ユーザに提示するパスが生成された場合、切り出し位置の情報（例えば、切り出し開始点の座標と、領域の大きさ）、切り出された画像を表示するタイミングの情報（例えば、表示開始時点からの経過時間、表示継続時間）を関連付けた情報が、エディットファイルに書き込まれる。
　また例えば、図５を参照して説明したように、複数の撮像装置から、それぞれ撮像された静止画像から、特徴のある領域の画像(特徴のある箇所)を切り出して、ユーザに提示するパスが生成された場合、上記した場合と同じく、切り出し位置の情報と切り出された画像を表示するタイミングの情報を関連付けた情報が、エディットファイルに書き込まれる。
　切り出し位置の情報として、どの撮像装置で撮影されたかを特定する必要がある場合、撮像装置を一意に識別するための情報もエディットファイルに書き込まれる。また、例えば、所定の間隔毎に画像を撮像する撮像装置で撮像された画像を処理対象としたときには、どの時点で撮像された画像であるかを特定するために、撮像時間に関する情報もエディットファイルに書き込まれるようにしても良い。ここでは、撮像装置を識別する情報や撮影時間に関する情報が記載されるとしたが、画像を一意に特定できる情報であれば、このような情報に限定されるものではない。
　エディットファイルは、未編集の画像と関連付けられ、パス上に位置する画像を順次表示するための、上記したような情報が記載されている。
　なお、ここで生成されたパスの情報は、エディットファイルとして保存されるとして説明したが、画像データも含まれる動画コンテンツとして保存されるようにしても良い。
　エディットファイルには、ユーザに提供する順に、画像データ自体が保存されるようにしても良い。
　ユーザに画像が提供される時には、エディットファイルに含まれる情報に基づき、画像データが、撮像装置から取得されたり、所定の記録媒体から読み出されたりすることで、取得され、その取得された画像データに基づく画像がユーザに提示される。
　＜静止画像の第２の処理＞
　次に、静止画像に対するパスの他の生成の仕方について説明する。上記した静止画像の第１の処理においては、ステップＳ１０１（図９）において、特徴点の抽出処理を行うことで、処理対象とする撮像装置の絞り込みを行った。
　静止画像の第２の処理においては、処理対象とする撮像装置の絞り込みを行わずに、パスの生成が行われる。図２６は、静止画像の第２の処理について説明するためのフローチャートである。
　ステップＳ２０１において、特徴点の抽出処理が行われる。この処理は、静止画像の第１の処理のステップＳ１１１（図１０）と同様に行うことができるため、ここではその説明を省略する。
　特徴点が抽出されると、ステップＳ２０２に処理が進められパスの生成処理が行われる。このステップＳ２０２以降の処理は、静止画像の第１の処理と同様に行うことが可能であるため、ここではその説明を省略する。
　このように、処理対象とされる撮像装置の絞り込みを行わなくても、パスを生成することはできる。また、パスの生成を開始する前に撮像装置の絞り込みを行わなくても、例えば、グローバルパスの生成処理時やローカルパスの生成処理時に、特徴がない箇所（画像）を撮像している撮像装置を除外する処理が実行されるため、撮像装置の適切な絞り込みは行われる。
　このように、パスが生成されるようにしても良い。
　＜動画像の処理について＞
　上記した実施の形態においては、静止画像を処理する場合を例にあげて説明した。本技術は、動画像に対しても適用できるため、以下に、動画像を処理する場合について説明を加える。
　図２７乃至図３０を参照し、動画像を処理対象としたときに生成されるパスについて説明する。ここでは、撮像装置４０１-１乃至４０１－６がそれぞれ動画像を撮影し、各動画像から特徴点が抽出され、それら抽出された特徴点を通るパスが生成される場合を例にあげて説明する。
　なお、以下の説明においては、各期間から抽出された特徴点は、１個であるような図示や説明を、説明の都合上行うが、１期間から複数の特徴点が抽出される場合もあり、そのような場合も本技術の適用範囲である。
　図２７において、縦方向は、撮像装置４０１-１乃至４０１-６の配置を表し、この順で配置されているとする。横軸は、期間を表す。図中、四角形は、１フレーム、数フレームなど、所定期間における動画像を表す。
　図２７に示した状況は、期間ｔ１のときに、撮像装置４０１－１で撮像された動画像から特徴点Ａ１が抽出され、撮像装置４０１－３で撮像された動画像から特徴点Ｃ１が抽出された状況である。また期間ｔ２のときに、撮像装置４０１－５で撮像された動画像から特徴点Ｅ１が抽出され、撮像装置４０１－６で撮像された動画像から特徴点Ｆ１が抽出された状況である。
　また期間ｔ３のときに、撮像装置４０１－３で撮像された動画像から特徴点Ｃ２が抽出され、撮像装置４０１－４で撮像された動画像から特徴点Ｄ１が抽出された状況である。また期間ｔ４のときに、撮像装置４０１－１で撮像された動画像から特徴点Ａ２が抽出され、撮像装置４０１－５で撮像された動画像から特徴点Ｅ２が抽出された状況である。また期間ｔ６のときに、撮像装置４０１－１で撮像された動画像から特徴点Ａ３が抽出された状況である。
　このように特徴点が抽出されたとき、例えば、特徴点Ａ１、特徴点Ｃ２、および特徴点Ａ３を結ぶパス４１１が生成される。動画像を対象としてパスが生成される場合、基本的に時間的に逆行することがないパスが生成される。ただし、後述するように、特にユーザに提示したいシーンにおいては、時間が逆行して、同期間に撮像された画像がユーザに提示される、いわゆるリプレイするようなパスが生成される場合もある。
　図２７に示した状況では、時間的に逆行することがないように、パス４１１が生成される。よって、例えば、期間ｔ３のときに撮像された画像から抽出された特徴点Ｃ２から、期間ｔ２のとき撮像された画像から抽出された特徴点Ｅ１に戻るようなパスは生成されない。
　またパスは、静止画像を処理対象としたときと同じく、滑らかにつながるパスとされる。図２７に示した例では、特徴点Ａ１から特徴点Ｃ２を通るパス４１１が生成されるが、特徴点Ａ１から特徴点Ｃ２に直接パスを繋ぐのではなく、期間ｔ２において、撮像装置４０１－２で撮像された画像を通るパスとされる。撮像装置４０１-１、撮像装置４０１－２、撮像装置４０１－３は、この順で、配置されているため、撮影されている画像もつながりがある可能性が高い。
　そこで、撮像装置４０１－１で撮像された画像から、撮像装置４０１－２で撮像された画像に移り、その後、撮像装置４０１－３で撮像された画像に移るパスが生成される。このように、複数の撮像装置４０１で撮像された画像をパンするように画像が切り換えられるパスが生成される。
　図２８を参照し、生成される他のパスの例について説明する。図２８に示した例では、期間ｔ２のときに、撮像装置４０１－１で撮像された動画像から特徴点Ａ１が抽出され、撮像装置４０１－６で撮像された動画像から特徴点Ｆ１が抽出された状況である。
　特徴点Ａ１と特徴点Ｆ１を繋ぐパス４１２が生成される場合、撮像装置４０１－１と撮像装置４０１－６は位置的に離れているため、特徴点Ａ１と特徴点Ｆ１をそのまま繋ぐと、画像として滑らかにつながらない可能性がある。そのようなときには、フェードインとフェードアウトといった編集で、画像が切り換えられるようにしても良い。
　図２８では、フェードインとフェードアウトといった編集により画像が切り換えられパスを、点線で示している。このように、短い時間で、位置が離れている撮像装置４０１で撮像された画像を繋ぐパスを生成する場合、フェードインとフェードアウトといった編集により繋ぐパスが生成されるようにしても良い。
　図２９を参照し、生成される他のパスの例について説明する。図２９に示した例では、期間ｔ３のときに、撮像装置４０１－１で撮像された動画像から特徴点Ａ１が抽出され、撮像装置４０１－２で撮像された動画像から特徴点Ｂ１が抽出され、撮像装置４０１－３で撮像された動画像から特徴点Ｃ１が抽出され、撮像装置４０１－５で撮像された動画像から特徴点Ｄ１が抽出された状況である。
　また期間ｔ４のときに、撮像装置４０１－１で撮像された動画像から特徴点Ａ２が抽出され、撮像装置４０１－２で撮像された動画像から特徴点Ｂ２が抽出され、撮像装置４０１－３で撮像された動画像から特徴点Ｃ２が抽出され、撮像装置４０１－５で撮像された動画像から特徴点Ｄ２が抽出された状況である。
　図２９に示した状況は、期間ｔ３、期間ｔ４といった短い時間内に、複数の撮像装置４０１で複数の特徴点が抽出された状況である。例えば、サッカーの試合を撮影した動画像を処理している場合、ゴールシーンなどでは、複数の撮像装置４０１で撮像された、それぞれの画像から、スコアの高い特徴点が抽出される可能性がある。
　このような短時間に、複数の撮像装置４０１で、特徴点が多く抽出されるようなシーンは、ユーザに提示するのに適したシーンであると判断できるため、時間的に逆行し、複数回、ユーザに同一時間に撮像された画像を提供するようなパスが生成される。このようなパスが生成されることで、例えば、ゴールシーンを異なる方向から撮影した画像が、ユーザに提供されることになる。
　図２９に示した例では、特徴点Ａ１、特徴点Ａ２、特徴点Ｂ１、特徴点Ｂ２、特徴点Ｃ１、特徴点Ｃ２、特徴点Ｄ１、および特徴点Ｄ２を繋ぐパス４１３が生成される。異なる撮像装置４０１で撮像された画像に移るときには、滑らかに繋ぐのではなく、画像を切り換えるパスが生成される。例えば、特徴点Ａ２の画像から特徴点Ｂ１の画像に切り替わるパス４１３が生成される。
　このようなパス４１３によれば、例えば、撮像装置４０１－１で撮像された特徴点Ａ１の画像、特徴点Ａ２の画像がユーザに提供された後、同一期間に、他の方向から撮像された特徴点Ｂ１の画像、特徴点Ｂ２の画像がユーザに提示される。このように、同一のシーンが繰り返し表示されるパスが生成される。
　なお図２９に示したように、同一の期間に異なる撮像装置４０１で撮像されたシーン、換言すれば、異なるアングルで撮像されたシーンを、繰り返し表示するエフェクトを、ここではマルチアングル同一シーン表示と記述する。
　図３０を参照し、生成される他のパスの例について説明する。図３０に示した状況は、図２９に示した状況である。図２９を参照して説明したように、マルチアングル同一シーン表示するようなパス４１３が生成されるようにしても良いし、図３０を参照して説明するように、タイムスライス（バレットタイム）のような映像効果を与えるようなパス４１４が生成されても良い。
　図３０に示した例では、期間ｔ３のときに撮像された画像から抽出された特徴点Ａ１、特徴点Ｂ１、特徴点Ｃ１、特徴点Ｄ１を結ぶパス４１４が生成される。例えば、特徴点Ａ１から特徴点Ｂ１に画像が移るとき、スローモーションといった映像効果が用いられて、画像が切り替えられる。
　このようなタイムスライスのような映像効果を得るために、特徴点は抽出されていないが、期間ｔ３において、撮像装置４０１－４で撮像された画像にもパス４１４は通る。このようなパス４１４は、例えば、ゴールシーンといった特徴的な場面を、様々な角度から撮像された画像を、順次切り替えることでユーザに提供するパスとなる。
　なお、図３０を参照して説明したようなタイムスライスのような映像効果を与えるパス４１４が生成される場合においても、１期間が複数フレームで構成されているときには、図２９を参照して説明したように、同一期間で異なるアングルで撮像されたシーンが繰り返し表示されながら、撮像装置間を移動するような表示が行われる。
　すなわち、期間ｔ３で撮像装置４０１－１により撮像された複数フレームが表示された後、期間ｔ３で撮像装置４０１－２で撮像された複数フレームが表示され、その後、期間ｔ３で撮像装置４０１－３で撮像された複数フレームが表示されるといった表示が行われる。このような表示は、図２９を参照して説明したマルチアングル同一シーン表示と同様となるため、タイムスライスの場合には、１期間は、１フレームであるという条件が付加されていても良い。
　＜動画像の第１の処理＞
　上記したようなパスを生成する情報処理装置２０４（図７）の動作について説明する。まず、動画像の第１のパスの生成処理として、図３１に示したフローチャートを参照して、情報処理装置２０４の動作について説明する。
　ステップＳ５０１において、特徴点の抽出処理が実行される。ステップＳ５０１において実行される特徴点の抽出処理について、図３２のフローチャートを参照して説明する。
　ステップＳ５２１において、各動画像から特徴点が特定される。図２７を再度参照するに、例えば、撮像装置４０１－１で撮像された画像に対して画像解析が行われることで、特徴点Ａ１，特徴点Ａ２，特徴点Ａ３が抽出される。撮像装置４０１-２乃至４０１－６の各撮像装置で撮像された画像に対しても画像解析が行われることで、各画像から特徴点が抽出される。
　動画像の場合、特定のフレームや特定の期間のフレームが抽出されるようにしても良い。特定のフレームが抽出されるようにした場合、例えば、所定のセンサの情報が用いられて、そのような抽出が行われるようにしても良い。
　例えば、加速度センサやＧＰＳセンサなどから得られた情報が用いられ、特定のフレームが抽出されるようにしても良い。加速度センサが備えられている撮像装置４０１で撮像された動画像を処理対象としているような場合、加速度センサの情報から、例えば、ジャンプや、移動速度が急に変化したといったような状況変化があったシーンが検出され、そのシーンが特定のフレームとして抽出されるようにして良い。
　ステップＳ５２１において、各動画像から特徴点が特定されるが、その特定のために用いられる情報は、各種センサから得られる情報などであっても良い。
　ステップＳ５２２において、特徴点の数が閾値以下の動画像があるか否かが判断される。ステップＳ５２２において、特徴点の数が閾値以下の動画像があると判断された場合、ステップＳ５２３に処理が進められる。
　ステップＳ５２３において、特徴点の数が閾値以下の動画像であると判断された動画像は、パスの生成時の処理対象の動画像から外される。そして、ステップＳ５２４において、処理対象とされた動画像のメタデータに、特定された特徴点の情報が追記される。
　このような処理について、図２７を再度参照して説明する。例えば、図２７に示した例において、撮像装置４０１－５で撮像された動画像から抽出された特徴点の個数が、所定の閾値以下であった場合、撮像装置４０１－５で撮像された動画像は、パスの生成時の処理対象の動画像から外される。
　このようにして、特徴点の個数に応じて処理対象とされる動画像の絞り込みが行われることで、パスの生成時に処理対象とされる動画像を少なくすることが可能となり、処理時間の低減や、処理に係る処理能力の低減をはかることが可能となる。
　なおここでは、特徴点の個数で処理対象とされる動画像の絞り込みが行われるとして説明したが、他の条件で絞り込みが行われるようにしても良い。例えば、動画像から抽出された特徴点のスコアを加算した合計値が、所定の値以下である場合、処理対象から外す動画像とするといった絞り込みが行われるようにしても良い。
　このように、特徴点が抽出され、処理対象の動画像の絞り込みが行われると、絞り込まれた動画像を処理対象として、パスの生成処理が行われる。すなわち、ステップＳ５０１（図３１）において、特徴点の抽出が行われると、ステップＳ５０２に処理が進められ、パスの生成処理が開始される。
　ステップＳ５０２において実行されるパスの生成処理は、図１１乃至図１５に示したフローチャートに基づいて行われる。図１１乃至図１５に示したフローチャートは、静止画像を処理対象としたときのパスの生成に関する処理であった。すなわち、動画像を処理対象としたときも、特徴点を繋ぐパスを生成する処理は、静止画像を処理対象としたときに、特徴点を繋ぐパスを生成する処理と同様に行うことができる。図１１乃至図１５に示したフローチャートを参照した説明は既にしたので、ここでは説明を省略する。
　ステップＳ５０２において、パスが生成されると、ステップＳ５０３に処理が進められる。ステップＳ５０３において、ユーザに生成されたパスが提示され、ステップＳ５０４において、ユーザにより行われたパスの編集に関する情報が受け付けられる。ステップＳ５０３、ステップＳ５０４の処理は、図９のステップＳ１０３、ステップＳ１０４と同様に行うことが可能であるため、その説明は省略する。
　このように、動画像を処理する場合であっても、静止画像と同様に処理することで、パスを生成することができる。
　＜動画像の第２の処理＞
　次に、動画像に対するパスの他の生成の仕方について説明する。上記した動画像の第１の処理においては、ステップＳ５０１（図３１）において、特徴点の抽出処理を行うことで、処理対象とする動画像（撮像装置）の絞り込みを行った。
　動画像の第２の処理においては、処理対象とする撮像装置の絞り込みを行わずに、パスの生成が行われる。図３３は、動画像の第２の処理について説明するためのフローチャートである。
　ステップＳ６０１において、特徴点の抽出処理が行われる。この処理は、動画像の第１の処理のステップＳ５２１（図３２）と同様に行うことができるため、ここではその説明を省略する。
　特徴点が抽出されると、ステップＳ６０２に処理が進められパスの生成処理が行われる。このステップＳ６０２以降の処理は、動画像の第１の処理と同様に行うことが可能であるため、ここではその説明を省略する。
　このように、処理対象とされる撮像装置の絞り込みを行わなくても、パスを生成することはできる。また、パスの生成を開始する前に撮像装置の絞り込みを行わなくても、例えば、グローバルパスの生成処理時やローカルパスの生成処理時に、特徴がない画像を撮像している撮像装置を除外する処理が実行されるため、撮像装置の適切な絞り込みは行われる。
　このように、パスが生成されるようにしても良い。
　＜動画像の第３の処理＞
　次に、動画像に対するパスの他の生成の仕方について説明する。動画像の第３の処理においても、上記した動画像の第１の処理と同じく、特徴点の抽出処理を行うことで、処理対象とする動画像（撮像装置）の絞り込みが行われる。さらに、動画像の第３の処理においては、エフェクト期間を設定し、エフェクト期間とエフェクト期間ではない期間では、異なるパスが生成される。
　このエフェクト期間とエフェクト期間ではない期間について、図３４を参照して説明する。以下の説明においては、エフェクト期間ではない期間を非エフェクト期間と記述する。
　図３４は、図２９に示した生成されるパスの例について説明するための図に、エフェクト期間と非エフェクト期間を記載した図である。図２９を参照して説明したように、期間ｔ２乃至期間ｔ４において撮像された画像に対して生成されるパス４１３は、同一時間内に撮像された画像が繰り返し表示されるマルチアングル同一シーン表示といった効果を得るためのパスであった。
　このようなパス４１３が生成されるような期間がエフェクト期間である。すなわちエフェクト期間とは、パスとして、何らかのエフェクト処理を行う期間である。例えば、図３０を参照して説明したタイムスライス（バレットタイム）のような映像効果を施す期間もエフェクト期間である。
　図３４において、期間Ｙは、エフェクト期間である。図中期間Ｙの前の期間Ｘと後の期間Ｚは、非エフェクト期間である。ここでは、エフェクト期間の前後は非エフェクト期間である場合を例にあげて説明を続けるが、エフェクト期間が連続していても良い。例えば、図３４に示した例において、期間Ｚも、タイムスライスというエフェクトが施されるエフェクト期間として設定される場合もある。
　ここではマルチアングル同一シーン表示というエフェクトが施される期間をエフェクト期間の例として説明を続ける。図２９を参照して説明したように、マルチアングル同一シーン表示が実行されるシーンは、短期間であり同じ期間となる複数の撮像装置４０１の動画から特徴点が多く抽出されるようなシーンである。エフェクト期間としては、複数の撮像装置４０１で、このような短い期間であり同じ期間から、特徴点が多く抽出されるような期間が検出される。
　このようなエフェクト期間が検出される動画像の第３の処理について、図３５のフローチャートを参照して説明する。
　ステップＳ７０１において、特徴点の抽出処理が実行され、ステップＳ７０２において、パスが生成され、ステップＳ７０３において、生成されたパスがユーザに提示され、ステップＳ７０４において、ユーザによるパスの編集が受け付けられる。この処理の流れは、図３１に示したフローチャートを参照して説明した動画像の第１の処理と同様である。
　図３６に示したフローチャートを参照し、ステップＳ７０１において実行される特徴点の抽出処理について説明する。動画像の第３の処理における特徴点の抽出処理は、特徴点を各動画像から抽出する処理、処理対象とする動画像を絞り込む処理、およびエフェクト期間を検出する処理を含む。
　ステップＳ７２１乃至Ｓ７２３の処理は、特徴点を各動画像から抽出する処理と、処理対象とする動画像を絞り込む処理である。ステップＳ７２１乃至Ｓ７２３の処理は、図３２に示したフローチャートのステップＳ５２１乃至Ｓ５２３の処理と同様に行われるため、その詳細な説明はここでは省略する。
　ステップＳ７２４において、時間軸が小期間に分割される。小期間は、数フレーム、数秒、数分など、予め設定されている時間とされる。ステップＳ７２５において、分割された小期間のうちの所定の小期間が処理対象として設定される。例えば、時間的に動画像の初めの期間から順次処理対象とされる。
　ステップＳ７２６において、処理対象とされている小期間内の特徴点の数は、閾値を超えているか否かが判断される。ステップＳ７２６において、処理対象とされている小期間内の特徴点の数は、閾値を超えていると判断された場合、ステップＳ７２７に処理が進められ、処理対象とされている小期間は、エフェクト期間に設定される。
　ステップＳ７２８において、全ての小期間について処理を実行したか否かが判断され、まだ処理していない小期間があると判断された場合、ステップＳ７２５に処理が戻され、それ以降の処理が繰り返される。
　一方、ステップＳ７２６において、処理対象とされている小期間内の特徴点の数は、閾値を超えていないと判断された場合、ステップＳ７２７の処理はスキップされ、ステップＳ７２８に処理は進められ、全ての小期間について処理を実行したか否かが判断される。
　なお、ステップＳ７２６において、処理対象とされている小期間内の特徴点の数は、閾値を超えていないと判断された場合、その小期間は、非エフェクト期間として設定される。
　ステップＳ７２８において、全ての小期間について処理を実行したと判断された場合、ステップＳ７２９に処理が進められる。ステップＳ７２９において、エフェクト期間が再編集される。ステップＳ７２５乃至Ｓ７２８の処理が繰り返されることにより、小期間毎にエフェクト期間または非エフェクト期間が設定される。ステップＳ７２９においては、例えば、連続する複数の小期間が、エフェクト期間に設定されているような箇所は、１つのエフェクト期間に再編集される。
　ここで、再度図３４を参照してステップＳ７２４乃至Ｓ７２９の処理について説明を加える。図３４において、期間ｔは、１小期間であるとし、例えば、１フレーム、数フレームなど、予め設定されている期間であるとする。説明のため、例えば、期間ｔ１は、小期間ｔ１と記述する。また、処理対象の画像の絞り込みの結果、撮像装置４０１-１乃至４０１－６のそれぞれの撮像装置４０１で撮像された画像は、処理対象の画像として設定されているとして説明を続ける。
　ステップＳ７２４において、図３４に示したように、小期間ｔ１乃至ｔ６に分割される。ステップＳ７２５において、まず小期間ｔ１が処理対象に設定される。撮像装置４０１-１乃至４０１－６の各撮像装置で、小期間ｔ１に撮像された画像からは特徴点が抽出されていないため、ステップＳ７２６においては、特徴点の数は閾値を超えていないと判断されるので、非エフェクト期間になる。
　このような処理の流れにより、小期間ｔ２、小期間ｔ５、および小期間ｔ６も非エフェクト期間になる。なお、非エフェクト期間は、エフェクト期間以外の期間であるため、エフェクト期間に設定されなかった期間は、非エフェクト期間として扱われる。よって、特に、非エフェクト期間に関しては、非エフェクト期間に設定したりする処理は行われなくても良い。
　小期間ｔ２が処理された後、ステップＳ７２５において、小期間ｔ３が処理対象の小期間として設定される。ステップＳ７２６において、小期間ｔ３内の特徴点の数が閾値を超えているか否かが判断される。小期間ｔ３内の特徴点の個数は４個である。例えば、閾値が３である場合、ステップＳ７２６においては、小期間ｔ３は、特徴点の数が閾値を超えている期間であると判断される。
　そして、ステップＳ７２６において、小期間ｔ３は、エフェクト期間に設定される。同様の処理の流れにより、小期間ｔ４も、エフェクト期間に設定される。
　このようにして、小期間ｔ１乃至ｔ６のそれぞれに、エフェクト期間と非エフェクト期間が設定されると、ステップＳ７２９において、エフェクト期間の再編集が行われる。エフェクト期間として設定されているのは、小期間ｔ３と小期間ｔ４である。エフェクト期間の再編集が行われることにより、小期間ｔ３と小期間ｔ４は、１つのエフェクト期間にされる。
　エフェクト期間に設定された期間は、マルチアングル同一シーン表示というエフェクトが実行される期間である場合、同一のシーンが異なる画像で繰り返しユーザに提供される期間となる。特徴点が抽出された画像のみを連続的に繋ぎ、マルチアングル同一シーン表示が繰り返されるようにしても良いが、異なる撮像装置４０１で撮像された画像に切り換えられるとき、少し前の時点で撮像された画面からマルチアングル同一シーン表示が行われるようにしても良い。
　図３４を参照するに、小期間ｔ３の時間的に前の小期間ｔ２は、特徴点が抽出されていないため、非エフェクト期間と設定されるが、ステップＳ７２９のエフェクト期間の再編集の処理により、エフェクト期間に加えられるようにしても良い。
　すなわちこの場合、小期間ｔ２、小期間ｔ３、および小期間ｔ４が、１つのエフェクト期間に設定される。このエフェクト期間においてマルチアングル同一シーン表示というエフェクトが実行される場合、撮像装置４０１－１で期間ｔ３、期間ｔ４で撮像された画像が表示された後、撮像装置４０１－２で、期間ｔ２、期間ｔ３、および期間ｔ４で撮像された画像が表示される。
　同じく、撮像装置４０１－２で期間ｔ２、期間ｔ３、および期間ｔ４で撮像された画像が表示された後、撮像装置４０１－３で、期間ｔ２、期間ｔ３、および期間ｔ４で撮像された画像が表示される。このように、異なる撮像装置４０１で撮像された画像に、画像が切り換えるときには、エフェクト期間として設定された期間の前の１小期間を、エフェクト期間に加えるような再編集が行われるようにしても良い。
　なお連続している複数の非エフェクト期間に設定された小期間は、１つの非エフェクト期間に再編集される。
　このようにして、処理対象とされている動画像は、エフェクト期間と非エフェクト期間とに分けられる。このような処理を含む特徴点の抽出処理が、ステップＳ７０１（図３５）において実行され、終了されると、処理はステップＳ７０２に進められる。ステップＳ７０２において、パスの生成処理が実行される。
　図３７に示したフローチャートを参照し、ステップＳ７０２において実行されるパスの生成処理について説明する。
　ステップＳ７４１において、撮像装置４０１が、孤立グループまたは統合グループのどちらのグループに属するかが判断され、グループ分けが実行される。そして、分けられたグループ毎に、ざっくりフラグまたはきっちりフラグが付与される。
　このステップＳ７４１とステップＳ７４２の処理は、図１１に示したフローチャートのステップＳ１２１とステップＳ１２２の処理と同様に行われるため、ここではその説明を省略する。
　ステップＳ７４３において、時系列的に処理対象期間が設定される。処理対象期間として設定されるのは、エフェクト期間または非エフェクト期間である。
　ステップＳ７４４において、処理対象期間は、エフェクト期間であるか否かが判断される。ステップＳ７４４において、処理対象期間は、エフェクト期間であると判断された場合、ステップＳ７４５に処理が進められる。ステップＳ７４５において、エフェクト処理を実行するためのパスが生成される。
　例えば、図３４を再度参照するに、期間Ｙはエフェクト期間であり、この期間Ｙが処理対象とされているときには、マルチアングル同一シーン表示というエフェクトを実行するパス４１３が生成される。
　一方、ステップＳ７４４において、処理対象期間は、エフェクト期間ではないと判断された場合、換言すれば、非エフェクト期間であると判断された場合、ステップＳ７４６に処理は進められる。
　ステップＳ７４６において、グループ毎のパスの生成処理が実行される。非エフェクト期間の場合、動画像の第１の処理と同じく、特徴点を繋ぐパスが生成される。例えば、図３４を再度参照するに、期間Ｘや期間Ｚは、非エフェクト期間であり、このような非エフェクト期間においては、特徴点を繋ぐパスが生成される。
　特徴点を繋ぐパスとしては、例えば、図２７を参照して説明したパス４１１のようなパスがある。図２７に示したパス４１１は、撮像装置４０１-１で撮像された画像から抽出された特徴点Ａ１、撮像装置４０１-３で撮像された画像から抽出された特徴点Ｃ１、撮像装置４０１-１で撮像された画像から抽出された特徴点Ａ３を繋ぐパス４１１であった。このように、特徴点を繋ぐパスが、非エフェクト期間においては生成される。
　ステップＳ７４６において実行されるパスの生成処理は、図１１乃至図１５に示したフローチャートに基づいて行われる。図１１乃至図１５に示したフローチャートは、静止画像を処理対象としたときのパスの生成に関する処理であった。すなわち、動画像を処理対象とし、非エフェクト期間において特徴点を繋ぐパスを生成する処理は、静止画像を処理対象としたときに、特徴点を繋ぐパスを生成する処理と同様に行うことができる。図１１乃至図１５に示したフローチャートを参照した説明は既にしたので、ここでは説明を省略する。
　ステップＳ７４７において、パス同士が接続される。その時点で生成されたパスの始点と、直前に生成されたパスの終点が接続される。例えば、図３４において、期間Ｙのエフェクト期間において生成されたパス４１３と、期間Ｙの前の時点の期間Ｘのパス（不図示）が接続される。
　より具体的には、期間Ｘで生成されたパスの終点（期間ｔ１においてパスが通っている画像）と、期間Ｙで生成されたパスの始点（図３４では期間ｔ２において、撮像装置４０１－１で撮像されている画像）とが接続される。
　図３４に示した例を参照してさらに説明を続ける。期間Ｘで生成されたパスの終点と、期間Ｙで生成されたパスの始点が離れているような場合、例えば、期間ｔ１においてパスが通っている画像が、撮像装置４０１－６で期間ｔ１において撮像されている画像であり、その画像と、撮像装置４０１－１で期間ｔ２において撮像されている画像を繋ぐ場合、図２８を参照して説明したフェードアウト、フェードインといったエフェクトが用いられて繋がれるようにしても良い。
　このように、ステップＳ７４７において実行されるパス同士を接続するための処理には、エフェクトによりパス同士を繋ぐ処理が含まれるようにしても良い。
　ステップＳ７４７において、パス同士が接続されると、ステップＳ７４８に処理が進められる。ステップＳ７４８において、全ての期間を処理したか否かが判断される。ステップＳ７４８において、まだ処理していないエフェクト期間または非エフェクト期間があると判断された場合、ステップＳ７４３に処理が戻され、時間的に次の期間に処理対象が設定され、新たに設定された期間に対して、ステップＳ７４４以降の処理が繰り返される。
　一方で、ステップＳ７４８において、全ての期間を処理したと判断された場合、図３７に示したパスの生成処理は終了され、処理は、ステップＳ７０３（図３５）に進められる。
　ところで、図３７に示したフローチャートを参照して説明したように、ステップＳ７４６において実行されるグループ毎のパスの生成処理は、非エフェクト期間に対してのみ実行される。換言すれば、エフェクト期間では、エフェクトを実行するためのパスが生成されるのに対し、非エフェクト期間では、静止画像のときと同じく、グループ分けの結果を用いてグループ毎にパスが生成される。
　このようなことから、グループ分けの処理は、非エフェクト期間においてのみ行い、エフェクト期間においては行わないような処理の流れとしても良い。このような処理の流れにしたフローチャートの一例を、図３８に示す。
　図３８に示したフローチャートは、ステップＳ７０２において実行されるパスの生成処理の他の例である。
　ステップＳ７６１において、時系列的に処理対象期間が設定される。このステップＳ７６１の処理は、図３７のフローチャートにおけるステップＳ７４３の処理に該当する。
　ステップＳ７６２において、処理対象の期間として設定された期間は、エフェクト期間であるか否かが判断され、エフェクト期間であると判断された場合、ステップＳ７６３に処理が進められる。ステップＳ７６３において、エフェクト処理を実行するためのパスが生成される。このステップＳ７６２、ステップＳ７６３の処理は、図３７のフローチャートにおけるステップＳ７４４、ステップＳ７４５の処理に該当する。
　一方、ステップＳ７６２において、処理対象の期間として設定された期間は、エフェクト期間ではないと判断された場合、換言すれば、非エフェクト期間であると判断された場合、ステップＳ７６４に処理は進められる。
　ステップＳ７６４において、グループ分けが行われ、ステップＳ７６５において、グループ毎にフラグが付与される。このステップＳ７６４、ステップＳ７６５の処理は、図３７に示したフローチャートにおけるステップＳ７４１、ステップＳ７４２の処理に該当する。
　このように、非エフェクト期間である場合に、グループ分けが行われ、パスが生成されるようにしても良い。
　ステップＳ７６６乃至Ｓ７６８の処理は、図３７に示したフローチャートのおけるステップＳ７４６乃至Ｓ７４８の処理と同様であるため、その説明は省略する。
　このように、動画像の第３の処理においては、処理対象とする動画像の絞り込みが行われた後、エフェクト期間と非エフェクト期間に分け、それぞれの期間においてパスが生成される。
　＜動画像の第４の処理＞
　次に、動画像に対するパスの他の生成の仕方について説明する。上記した動画像の第３の処理においては、ステップＳ７０１（図３５）において、特徴点の抽出処理を行うことで、処理対象とする動画像（撮像装置）の絞り込みを行った。
　動画像の第４の処理においては、処理対象とする撮像装置の絞り込みを行わずに、パスの生成が行われる。図３９は、動画像の第４の処理について説明するためのフローチャートである。
　ステップＳ８０１において、特徴点の抽出処理が行われる。この処理は、動画像の第３の処理のステップＳ７２１（図３６）と同様に行うことができるため、ここではその説明を省略する。
　特徴点が抽出されると、ステップＳ８０２に処理が進められパスの生成処理が行われる。このステップＳ８０２以降の処理は、動画像の第３の処理と同様に行うことが可能であるため、ここではその説明を省略する。
　このように、処理対象とされる撮像装置の絞り込みを行わなくても、パスを生成することはできる。また、パスの生成を開始する前に撮像装置の絞り込みを行わなくても、例えば、グローバルパスの生成処理時やローカルパスの生成処理時に、特徴がない画像を撮像している撮像装置を除外する処理が実行されるため、撮像装置の適切な絞り込みは行われる。
　このように、パスが生成されるようにしても良い。
　このように、本技術によれば、静止画像、動画像のどちらでも、特徴のある画像を連続的にユーザに提示するためのパスを、ユーザの手を煩わすようなことなく、生成することができる。
　なお、上記したようにパスが生成されるが、そのパス上にある画像の一部は、複数の撮像装置で撮像された画像を合成したり、ＣＧ（Computer Graphics）等で生成されたりしても良い。例えば、パス上にある第１の撮像装置で撮像された第１の画像から第２の撮像装置で撮像された第２の画像に移行するときに、その間の画像は、第１の画像と第２の画像を合成することで生成されても良い。
　また、３次元情報に基づいてモデリングが行われ、必要に応じて、ＣＧ等の合成が用いられて画像が生成され、その生成された画像が、パス上の一部を構成する画像群内の画像として用いられるようにしても良い。
　パス上にある画像群内の画像は、撮像装置で撮像された画像から抽出された（切り出された）画像であっても良いし、複数の画像の合成などにより生成された画像であっても良い。
　なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は以下のような構成も取ることができる。
（１）
　少なくとも１つの画像から特定された複数の特徴点に関する情報を少なくとも含むメタデータを参照することで、前記画像のうち特徴のある箇所を繋げるためのパスを設定する設定部
　を備える情報処理装置。
（２）
　前記設定部は、前記複数の特徴点を用いて回帰曲線を求めることで前記パスを設定する
　前記（１）に記載の情報処理装置。
（３）
　前記設定部は、
　前記複数の特徴点のうち、前記回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、前記複数の特徴点のうち、スコアの低い特徴点を有する画像から特定された特徴点を外した上で、再度回帰曲線を求める
　前記（２）に記載の情報処理装置。
（４）
　前記設定部は、
　前記複数の特徴点のうち、前記回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、前記複数の特徴点のうち、スコアの低い特徴点を外した上で、再度前記回帰曲線を求める
　前記（２）に記載の情報処理装置。
（５）
　前記設定部は、前記特徴点を用いて回帰曲線を求め、求められた回帰曲線を複数の区間に分割し、前記区間毎に微分値を求め、前記微分値の少なくとも１つが所定の閾値以下である場合、前記回帰曲線を求めるための次数を上げた上で、再度前記回帰曲線を求める
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記画像は動画像である
　前記（１）に記載の情報処理装置。
（７）
　前記設定部は、前記動画像を複数の期間に分割して得た分割期間内の特徴点が、所定の条件を満たす期間を、エフェクトを施すエフェクト期間として設定する
　前記（６）に記載の情報処理装置。
（８）
　前記所定の条件は、前記分割期間内の特徴点の数が閾値以上であることである
　前記（７）に記載の情報処理装置。
（９）
　前記エフェクトは、タイムスライスである
　前記（７）または（８）に記載の情報処理装置。
（１０）
　前記エフェクトは、同期間に異なるアングルで撮像されたシーンを表示するエフェクトである
　前記（７）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記設定部は、前記エフェクト期間以外では、時系列なパスを設定する
　前記（７）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記設定部は、
　前記画像が複数存在しており、
　他の画像と撮像範囲に重なりがある画像を含む統合グループと、他の画像と撮像範囲に重なりがない孤立グループとに分類される場合、前記統合グループについて、前記統合グループに含まれる全画像に関するグローバルパスを設定し、その後、前記統合グループの各画像に関するパスであるローカルパスを設定する
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　少なくとも１つの画像から特定された複数の特徴点に関する情報を少なくとも含むメタデータを参照することで、前記画像のうち特徴のある箇所を繋げるためのパスを設定する
　ステップを含む情報処理方法。
（１４）
　少なくとも１つの画像から特定された複数の特徴点に関する情報を少なくとも含むメタデータを参照することで、前記画像のうち特徴のある箇所を繋げるためのパスを設定する
　ステップを含む処理を実行させるコンピュータが読み取り可能なプログラム。
　２０１　ネットワーク，　２０２　撮像装置，　２０３　サーバ，　２０４　情報処理装置，　２６１　画像データ取得部，　２６２　特徴点抽出部，　２６３　メタデータ取得部，　２６４　メタデータ参照部，　２６５　メタデータ追記部，　２６７　撮像装置抽出部，　２６８　グループ分け部，　２６９　フラグ付与部，　２７０　パス生成部，　２７１　提示部，　２７２　編集部，　２９１　グローバルパス生成部，　２９２　第１のローカルパス生成部，　２９３　第２のローカルパス生成部，　２９４　エディットファイル作成部

Claims (14)

  1. 　少なくとも１つの画像から特定された複数の特徴点に関する情報を少なくとも含むメタデータを参照することで、前記画像のうち特徴のある箇所を繋げるためのパスを設定する設定部
    　を備える情報処理装置。
  2. 　前記設定部は、前記複数の特徴点を用いて回帰曲線を求めることで前記パスを設定する
    　請求項１に記載の情報処理装置。
  3. 　前記設定部は、
    　前記複数の特徴点のうち、前記回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、前記複数の特徴点のうち、スコアの低い特徴点を有する画像から特定された特徴点を外した上で、再度回帰曲線を求める
    　請求項２に記載の情報処理装置。
  4. 　前記設定部は、
    　前記複数の特徴点のうち、前記回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、前記複数の特徴点のうち、スコアの低い特徴点を外した上で、再度前記回帰曲線を求める
    　請求項２に記載の情報処理装置。
  5. 　前記設定部は、前記特徴点を用いて回帰曲線を求め、求められた回帰曲線を複数の区間に分割し、前記区間毎に微分値を求め、前記微分値の少なくとも１つが所定の閾値以下である場合、前記回帰曲線を求めるための次数を上げた上で、再度前記回帰曲線を求める
    　請求項１に記載の情報処理装置。
  6. 　前記画像は動画像である
    　請求項1に記載の情報処理装置。
  7. 　前記設定部は、前記動画像を複数の期間に分割して得た分割期間内の特徴点が、所定の条件を満たす期間を、エフェクトを施すエフェクト期間として設定する
    　請求項６に記載の情報処理装置。
  8. 　前記所定の条件は、前記分割期間内の特徴点の数が閾値以上であることである
    　請求項７に記載の情報処理装置。
  9. 　前記エフェクトは、タイムスライスである
    　請求項７に記載の情報処理装置。
  10. 　前記エフェクトは、同期間に異なるアングルで撮像されたシーンを表示するエフェクトである
    　請求項７に記載の情報処理装置。
  11. 　前記設定部は、前記エフェクト期間以外では、時系列なパスを設定する
    　請求項７に記載の情報処理装置。
  12. 　前記設定部は、
    　前記画像が複数存在しており、
    　他の画像と撮像範囲に重なりがある画像を含む統合グループと、他の画像と撮像範囲に重なりがない孤立グループとに分類される場合、前記統合グループについて、前記統合グループに含まれる全画像に関するグローバルパスを設定し、その後、前記統合グループの各画像に関するパスであるローカルパスを設定する
    　請求項１に記載の情報処理装置。
  13. 　少なくとも１つの画像から特定された複数の特徴点に関する情報を少なくとも含むメタデータを参照することで、前記画像のうち特徴のある箇所を繋げるためのパスを設定する
    　ステップを含む情報処理方法。
  14. 　少なくとも１つの画像から特定された複数の特徴点に関する情報を少なくとも含むメタデータを参照することで、前記画像のうち特徴のある箇所を繋げるためのパスを設定する
    　ステップを含む処理を実行させるコンピュータが読み取り可能なプログラム。
PCT/JP2015/078057 2014-10-14 2015-10-02 情報処理装置、情報処理方法、並びにプログラム WO2016059978A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010100774.7A CN111277901B (zh) 2014-10-14 2015-10-02 信息处理设备和信息处理方法
CN201580054474.7A CN106797498B (zh) 2014-10-14 2015-10-02 信息处理设备、信息处理方法和程序
US15/516,796 US10635931B2 (en) 2014-10-14 2015-10-02 Information processing device, information processing method, and program
US16/830,758 US11151409B2 (en) 2014-10-14 2020-03-26 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014209971A JP6372696B2 (ja) 2014-10-14 2014-10-14 情報処理装置、情報処理方法、並びにプログラム
JP2014-209971 2014-10-14

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/516,796 A-371-Of-International US10635931B2 (en) 2014-10-14 2015-10-02 Information processing device, information processing method, and program
US16/830,758 Continuation US11151409B2 (en) 2014-10-14 2020-03-26 Information processing device, information processing method, and program

Publications (1)

Publication Number Publication Date
WO2016059978A1 true WO2016059978A1 (ja) 2016-04-21

Family

ID=55746526

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/078057 WO2016059978A1 (ja) 2014-10-14 2015-10-02 情報処理装置、情報処理方法、並びにプログラム

Country Status (4)

Country Link
US (2) US10635931B2 (ja)
JP (1) JP6372696B2 (ja)
CN (2) CN106797498B (ja)
WO (1) WO2016059978A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111083526A (zh) * 2019-12-31 2020-04-28 广州酷狗计算机科技有限公司 视频转场方法、装置、计算机设备及存储介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US10839601B2 (en) * 2016-03-31 2020-11-17 Sony Corporation Information processing device, information processing method, and program
WO2018020769A1 (ja) * 2016-07-28 2018-02-01 パナソニックＩｐマネジメント株式会社 映像システム装置
JP6514418B2 (ja) * 2016-08-02 2019-05-15 ナーブ株式会社 撮像システム、撮像方法、及びプログラム
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) * 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
JP6954070B2 (ja) * 2017-12-08 2021-10-27 富士通株式会社 判別プログラム、判別方法および判別装置
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
JP7246146B2 (ja) * 2018-08-28 2023-03-27 株式会社Ｎｔｔドコモ 情報処理装置及び映像投影システム
JP7427381B2 (ja) * 2019-07-22 2024-02-05 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
CN112561839B (zh) * 2020-12-02 2022-08-19 北京有竹居网络技术有限公司 视频裁剪方法、装置、存储介质及电子设备
CN112528850B (zh) * 2020-12-11 2024-06-04 北京百度网讯科技有限公司 人体识别方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006081205A (ja) * 2005-10-05 2006-03-23 Nec Corp ビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラム
JP2006304090A (ja) * 2005-04-22 2006-11-02 Fuji Photo Film Co Ltd フォトムービー作成装置及びフォトムービー作成プログラム
JP2011090258A (ja) * 2009-10-26 2011-05-06 Fujifilm Corp 広角画像表示制御方法及びその装置並びに広角画像撮像装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764276A (en) 1991-05-13 1998-06-09 Interactive Pictures Corporation Method and apparatus for providing perceived video viewing experiences using still images
US6362850B1 (en) * 1998-08-04 2002-03-26 Flashpoint Technology, Inc. Interactive movie creation from one or more still images in a digital imaging device
US6924832B1 (en) 1998-08-07 2005-08-02 Be Here Corporation Method, apparatus & computer program product for tracking objects in a warped video image
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US7224892B2 (en) * 2001-06-26 2007-05-29 Canon Kabushiki Kaisha Moving image recording apparatus and method, moving image reproducing apparatus, moving image recording and reproducing method, and programs and storage media
US7356164B2 (en) * 2003-05-30 2008-04-08 Lucent Technologies Inc. Method and apparatus for finding feature correspondences between images captured in real-world environments
JP4647343B2 (ja) * 2005-02-28 2011-03-09 富士フイルム株式会社 フォトムービー作成装置及びフォトムービー作成プログラム
WO2007020789A1 (ja) * 2005-08-12 2007-02-22 Sony Computer Entertainment Inc. 顔画像表示装置、顔画像表示方法及び顔画像表示プログラム
GB0625455D0 (en) * 2006-12-20 2007-01-31 Mitsubishi Electric Inf Tech Graph-based multiple panorama extraction from unordered image sets
CN101276363B (zh) 2007-03-30 2011-02-16 夏普株式会社 文档图像的检索装置及文档图像的检索方法
US8811771B2 (en) * 2008-08-22 2014-08-19 Adobe Systems Incorporated Content aware slideshows
CN101753771B (zh) 2008-12-11 2011-10-05 上海杰图软件技术有限公司 一种全自动求解全景图像参数的方法
US8265363B2 (en) 2009-02-04 2012-09-11 General Electric Company Method and apparatus for automatically identifying image views in a 3D dataset
JP5378135B2 (ja) * 2009-09-29 2013-12-25 富士フイルム株式会社 画像レイアウト決定方法ならびにそのプログラムおよび情報処理装置
JP4779041B2 (ja) * 2009-11-26 2011-09-21 株式会社日立製作所 画像撮影システム、画像撮影方法、および画像撮影プログラム
JP2012053309A (ja) 2010-09-02 2012-03-15 Casio Comput Co Ltd 画像表示装置及びプログラム
WO2012145818A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2013093572A1 (en) * 2011-12-23 2013-06-27 Nokia Corporation Image control method for defining images for waypoints along a trajectory.
US9305330B2 (en) * 2012-10-25 2016-04-05 Microsoft Technology Licensing, Llc Providing images with zoomspots
JP6181993B2 (ja) * 2012-12-04 2017-08-16 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および、情報の送受信方法
US8917951B1 (en) * 2013-07-19 2014-12-23 Hong Kong Applied Science and Technology Research Institute Company Limited Method of on-the-fly image stitching
US10885095B2 (en) * 2014-03-17 2021-01-05 Verizon Media Inc. Personalized criteria-based media organization
KR102332752B1 (ko) * 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법
US9998663B1 (en) * 2015-01-07 2018-06-12 Car360 Inc. Surround image capture and processing
US10248756B2 (en) * 2015-02-18 2019-04-02 Siemens Healthcare Gmbh Anatomically specific movie driven medical image review

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006304090A (ja) * 2005-04-22 2006-11-02 Fuji Photo Film Co Ltd フォトムービー作成装置及びフォトムービー作成プログラム
JP2006081205A (ja) * 2005-10-05 2006-03-23 Nec Corp ビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラム
JP2011090258A (ja) * 2009-10-26 2011-05-06 Fujifilm Corp 広角画像表示制御方法及びその装置並びに広角画像撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111083526A (zh) * 2019-12-31 2020-04-28 广州酷狗计算机科技有限公司 视频转场方法、装置、计算机设备及存储介质
CN111083526B (zh) * 2019-12-31 2021-12-10 广州酷狗计算机科技有限公司 视频转场方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111277901A (zh) 2020-06-12
US20170308771A1 (en) 2017-10-26
CN106797498B (zh) 2020-03-24
JP2016082327A (ja) 2016-05-16
CN106797498A (zh) 2017-05-31
JP6372696B2 (ja) 2018-08-15
US20200272848A1 (en) 2020-08-27
US10635931B2 (en) 2020-04-28
CN111277901B (zh) 2022-05-17
US11151409B2 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
JP6372696B2 (ja) 情報処理装置、情報処理方法、並びにプログラム
US11217006B2 (en) Methods and systems for performing 3D simulation based on a 2D video image
JP7034666B2 (ja) 仮想視点画像の生成装置、生成方法及びプログラム
US9058687B2 (en) Two-dimensional image capture for an augmented reality representation
JP6894962B2 (ja) 自由視点映像用画像データのキャプチャ方法及び装置、プログラム
US11748870B2 (en) Video quality measurement for virtual cameras in volumetric immersive media
US20150178953A1 (en) Systems, methods, and apparatus for digital composition and/or retrieval
JP6060965B2 (ja) 画像処理装置と画像処理方法およびプログラム
US9542975B2 (en) Centralized database for 3-D and other information in videos
US20110182512A1 (en) Image processing device and computer program product
JP6187811B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2019215622A (ja) データ生成装置、画像処理装置、方法およびプログラム
JP7023696B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6973412B2 (ja) 情報処理装置および方法
JP2019103126A (ja) カメラシステム、カメラ制御装置、カメラ制御方法及びプログラム
US20200090342A1 (en) Image processing apparatus, method of controlling image processing apparatus, and storage medium
WO2021065694A1 (ja) 情報処理システム及び方法
KR20140037439A (ko) 음악의 분위기를 이용한 슬라이드 쇼 생성 방법 및 장치
JP2021182681A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7204843B2 (ja) 送信装置および送信方法、プログラム
US20230352052A1 (en) Information processing device, control method, and recording medium
Saini et al. Automated Video Mashups: Research and Challenges
JP2021184522A (ja) 画像処理装置、画像処理方法およびプログラム
JP2023133397A (ja) 画像処理装置、画像処理方法及び画像処理システム
JP2024055093A (ja) 画像処理装置、制御方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15851183

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15516796

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15851183

Country of ref document: EP

Kind code of ref document: A1