WO2021144874A1 - 撮影範囲推定装置、撮影範囲推定方法およびプログラム - Google Patents

撮影範囲推定装置、撮影範囲推定方法およびプログラム Download PDF

Info

Publication number
WO2021144874A1
WO2021144874A1 PCT/JP2020/001006 JP2020001006W WO2021144874A1 WO 2021144874 A1 WO2021144874 A1 WO 2021144874A1 JP 2020001006 W JP2020001006 W JP 2020001006W WO 2021144874 A1 WO2021144874 A1 WO 2021144874A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
object name
feature amount
label
area
Prior art date
Application number
PCT/JP2020/001006
Other languages
English (en)
French (fr)
Inventor
卓万 磯田
博史 野口
操 片岡
恭太 服部
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/792,340 priority Critical patent/US20230049073A1/en
Priority to JP2021571104A priority patent/JP7243867B2/ja
Priority to PCT/JP2020/001006 priority patent/WO2021144874A1/ja
Publication of WO2021144874A1 publication Critical patent/WO2021144874A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a shooting range estimation device, a shooting range estimation method, and a program for estimating the shooting range of a camera device.
  • an IoT platform with low barriers to entry is required. Specifically, from the standpoint of the device owner, it is necessary to reduce the number of registration operations on the IoT platform, benefit from device registration, and guarantee the protection of personal information. This is because it is unlikely that the time-consuming task of registering a device will be performed unless the cost-effectiveness of the device owner is positive. On the other hand, from the standpoint of data users and service providers, it is necessary to reduce the search operation of the target device. This is because it is considered difficult to manually search for the target data or device from a huge number of registered devices.
  • Non-Patent Documents 1 and 2 There is a technique for estimating the shooting direction and position of the corresponding camera device using the image information of this camera device (see Non-Patent Documents 1 and 2).
  • the techniques described in Non-Patent Documents 1 and 2 are techniques for grasping the device position and orientation of a mobile terminal such as a smartphone in an environment of a group of buildings where GPS accuracy is low.
  • Non-Patent Document 1 estimates the camera position based on the image taken by the camera.
  • Non-Patent Document 1 when an object is detected or an object contour is detected as a feature from a ground-photographed image, for example, a street view image, and the detected feature is registered in the database together with the position information, it is registered. Estimate the location of the device with reference to the information. In the technique of Non-Patent Document 1, the more features detected and registered, the higher the accuracy of position estimation.
  • Non-Patent Document 2 extracts and records the rectangle of the building reflected in the satellite image or the bird's-eye view image, collates it with the rectangle of the building extracted from the ground-based image, and determines the installation position of the camera device for which the ground-based image was taken. It estimates the orientation.
  • Non-Patent Document 1 it is necessary to capture high-precision ground-photographed image information of the area of use in advance in order to detect features in detail. Therefore, it is costly to expand the usage area, and it is difficult to cover all areas. For example, the current Street View image providing service cannot use ground-based images of areas with sparse population densities or narrow alleys.
  • Non-Patent Document 2 in the case of satellite images, it is possible to comprehensively photograph all areas.
  • the presence of a building is indispensable for the image taken by the camera, so it cannot be used in a range without a building.
  • the present invention has been made in view of such a point, and the present invention estimates the shooting range of the camera device from the camera image without depending on the ground-photographed image information collected in advance or the existence of the building. Make it an issue.
  • the shooting range estimation device is a shooting range estimation device that estimates the shooting range of a camera device, acquires image data shot by the camera device, and covers an area occupied by each object reflected in the image data.
  • Area is set using geographic information, and a reference data generator that generates reference data with an object name label attached to an object in the set area, and a feature amount indicated by each object name label area of the image data.
  • the feature amount indicated by the area of each object name label of the reference data, the matching rate is calculated, and the area of the reference data corresponding to the image data is estimated as the photographing range of the camera device. It is characterized by including a range estimation unit.
  • the shooting range of the camera device can be estimated from the camera image without depending on the ground shot image information collected in advance or the existence of the building.
  • FIG. 1 is a block diagram showing a configuration of a photographing range estimation device 1 according to the present embodiment.
  • the shooting range estimation device 1 according to the present embodiment estimates the shooting range and position of the camera device 21 based on the image data taken by the camera device 21 and the geographic information such as map information and satellite images around the camera device 21. ..
  • the photographing range estimation device 1 is connected to the IoT platform 20, the image analysis device 30, the reference database 40, and the like.
  • the IoT platform 20 acquires and stores image data from a camera device 21 such as a surveillance camera as an IoT device.
  • the image data from the camera device 21 is accompanied by information for identifying (estimating) the position of the camera device 21 together with the identification information for the camera device 21.
  • information for identifying (estimating) the position of the camera device 21 is information that can estimate the position information of the camera device 21 (longitude / latitude information itself or address information), the position of a device such as an IP address or a wireless base station such as Wi-Fi (registered trademark).
  • the image analysis device 30 has a general image analysis function.
  • the image analysis device 30 performs object recognition on a pixel-by-pixel basis by performing image analysis on the image data, and assigns an object name label to each region in the image data. Since the installation location of the camera device 21 differs depending on, for example, city monitoring, nature monitoring, in-vehicle monitoring, etc., the image analysis device 30 analyzes using AI (artificial intelligence) or the like using a learning model suitable for the installation location.
  • AI artificial intelligence
  • the reference database 40 stores one or both of the map information 41 and the satellite image 42.
  • the map information 41 it is assumed that the positional relationship of buildings, sidewalks, roads, plants (roadside trees), etc., and the type of the object, that is, the object name label are known in advance.
  • the satellite image 42 can be given an object name label at the position of the object by having the image analysis device 30 analyze the satellite image. Further, the map information 41 and the satellite image 42 do not need to have two types of information stored in one database (reference database 40), and may be stored in separate databases.
  • the photographing range estimation device 1 compares the feature amount based on object recognition obtained by image analysis of the image data (photographed image) of the camera device 21 with the feature amount obtained from the reference data generated from the map information or the satellite image. Then, the area where the feature amounts match more is calculated as the shooting range.
  • the function of the photographing range estimation device 1 will be specifically described with reference to FIG.
  • the shooting range estimation device 1 is realized by a computer including a control unit 10, an input / output unit 11, and a storage unit 12.
  • the input / output unit 11 is between an IoT platform 20, an image analysis device 30, a communication interface for transmitting and receiving information with a reference database 40, an input device such as a touch panel and a keyboard, and an output device such as a monitor. It consists of an input / output interface for sending and receiving information.
  • the storage unit 12 is composed of a flash memory, a hard disk, a RAM (Random Access Memory), and the like.
  • the storage unit 12 of the imaging range estimation device 1 stores information and the like required in the process of processing, and stores a program for realizing the function of the control unit 10.
  • control unit 10 includes an image data processing unit 110, a reference data generation unit 120, and a shooting range estimation unit 130.
  • the image data processing unit 110 acquires image data captured by the camera device 21 and causes an image analysis to identify an area occupied by each object reflected in the image data with an object name label, and attaches an object name label. Generate the image data.
  • the image data processing unit 110 acquires image data to be processed for estimating the shooting range from the IoT platform 20. At that time, the image data processing unit 110 also acquires information regarding the position of the camera device in which the image data was captured. When the information regarding the position of the camera device is not the information of the installation position of the camera device 21 itself (latitude / longitude, address, etc.), the image data processing unit 110 roughly bases the information on the IP address, radio base station, etc. Information that identifies the area (area identification information) is collected from an external device (not shown).
  • the image data processing unit 110 transmits the acquired image data to the image analysis device 30 via a network or the like.
  • the image data processing unit 110 analyzes the image data from the image analysis device 30 and recognizes the object in pixel units.
  • the object name label for example, a building, a sidewalk, a road, etc.
  • the added information plants, etc.
  • the reference data generation unit 120 sets an area within a predetermined distance that can be photographed from the estimated position (camera position) where the camera device 21 is installed by using geographic information, and assigns an object name label to an object in the set area. Generate the attached reference data.
  • the reference data is geographic information used when calculating the photographing area with respect to the image data photographed by the camera device 21, and is, for example, map information or satellite image.
  • the reference data generation unit 120 acquires the map information 41 and the satellite image 42 by accessing the reference database 40 via a network or the like.
  • the reference data generation unit 120 acquires the map information or satellite image in a circle having the maximum shooting distance (predetermined distance) as the radius around the camera position from the reference database 40. do.
  • the maximum shooting distance assumed by a general surveillance camera is set to several tens of meters, and will be described with reference to the following figures and the like.
  • the reference data generation unit 120 determines the estimated position of the camera device 21 based on the area identification information collected by the image data processing unit 110, and maps information or satellites. The image is obtained from the reference database 40.
  • the reference data generation unit 120 uses map information as reference data, the object name label within the specified range is known based on the map information.
  • the reference data generation unit 120 transmits the satellite image to the image analysis device 30.
  • the reference data generation unit 120 analyzes the satellite image from the image analysis device 30 and recognizes the object in pixel units.
  • the object name label for example, a building, a sidewalk, a road, etc.
  • Acquire the information see Fig. 4 etc. described later) with the added information (plants, etc.).
  • the shooting range estimation unit 130 compares the feature amount shown in the area of each object name label of the image data with the feature amount shown in the area of each object name label of the reference data, calculates the matching rate, and calculates the image data.
  • the area of the reference data corresponding to is estimated as the shooting range of the camera device 21.
  • the shooting range estimation unit 130 estimates the shooting range by narrowing down the candidate areas in the reference data by using the “extraction line matching rate calculation function”, the “candidate area selection function”, and the “shooting area calculation function”. (Details will be described later).
  • the shooting range estimation unit 130 includes an extraction line calculation unit 131, a candidate area selection unit 132, and a shooting area calculation unit 133 corresponding to the above-mentioned functions.
  • the extraction line calculation unit 131 acquires the image data with the object name label from the image data processing unit 110, and acquires the reference data with the object name label from the reference data generation unit 120. Then, the extraction line calculation unit 131 provides, for example, a line (line segment) corresponding to the feature amount extraction line set at least at the left end and the right end of the image data in the reference data as a feature amount extraction line (“candidate feature” described later). Calculated from the quantity extraction line ").
  • a line line segment
  • the extraction line calculation unit 131 when the camera device 21 is shooting diagonally below like a surveillance camera, the lower side of the image is near the camera and the upper part is far from the camera, so that the lower part of the image data (captured image). A line is drawn from the top to the top to extract the name of the object on the line, which is used as the feature amount extraction line of the image data.
  • the extraction line calculation unit 131 is, for example, the left end (extraction line number “1”), the center (extraction line number “2”), and the right end (extraction line number “3”) of the image data. ), Set the three feature extraction lines. At least the left end and the right end are indispensable, and the accuracy can be improved by setting more feature amount extraction lines.
  • the extraction line calculation unit 131 calculates the label ratio of the object name label (label name) in each feature amount extraction line of the image data.
  • the extraction line calculation unit 131 sets the denominator as the number of pixels in the vertical direction of the image data and the molecule as the number of pixels of the corresponding object name label, thereby setting the label ratio of each object name label in the feature amount extraction line, for example. Calculate as shown in FIG.
  • the feature quantity extraction line at the left end of the extraction line number "1" shown in FIG. 3 is the object name label in the order of road (Road), sidewalk (Sidewalk), and building (Building) from the bottom of the image data (photographed image).
  • the ratio (label ratio) is (0.2, 0.2, 0.6).
  • the extraction line calculation unit 131 is in a circle with the position (estimated position) of the camera device 21 as the center and the maximum shooting distance (predetermined distance) of the camera device 21 as the radius.
  • a line is drawn in the radial direction, and the name of the object on the line is extracted and used as the feature amount extraction line of the reference data (see FIG. 4).
  • the feature amount extraction line of this reference data will be referred to as a "candidate feature amount extraction line" below.
  • the number of candidate feature amount extraction lines set by the extraction line calculation unit 131 can be arbitrarily set. For example, the number of candidate feature amount extraction lines extracted when the angle is changed once is 360. ..
  • the extraction line calculation unit 131 further provides a line segment in which the start point and the end point are arbitrarily set for one candidate feature amount extraction line. For example, for the candidate feature amount extraction line “ ⁇ ” in FIG. 4, as shown in FIG. 5, line segments (line segment numbers “1”, “2”, “3”) having different start points and end points are provided. In FIG. 5, the line segment overlapping the candidate feature extraction line “ ⁇ ” is deviated from the candidate feature extraction line “ ⁇ ” so that the line segment can be distinguished. At this time, the extraction line calculation unit 131 calculates the label ratio of the object name label in the line segment of each candidate feature amount extraction line of the reference data. The extraction line calculation unit 131 calculates the label ratio of the object name label in the reference data from the geographical distance of the object.
  • the extraction line calculation unit 131 sets the length of the entire line following the object name label as the denominator and the molecule as the plane distance of the corresponding object name in the candidate feature amount extraction line of each object name label.
  • the label ratio is calculated, for example, as shown in FIG.
  • the ratio of sidewalk (Sidewalk) and road (Road) is (0.1, 0.9) from the side closer to the camera of the reference data, and the building is Not included.
  • the ratio of object name labels is (0.5, 0.2, 0.3) in the order of road (Road), sidewalk (Sidewalk), and building (Building).
  • the ratio of object name labels is (0.2, 0.2, 0.6) in the order of road (Road), sidewalk (Sidewalk), and building (Building). ..
  • the extraction line calculation unit 131 determines the matching rate between the label ratio of the object name label calculated in the feature amount extraction line of the image data and the label ratio of the object name label calculated in the line segment of the candidate feature amount extraction line of the reference data. Calculate and extract the line segment of the candidate feature amount extraction line of the reference data with a high matching rate. Specifically, the extraction line calculation unit 131 selects a line segment of a candidate feature amount extraction line that matches the number of object name labels, and the line segment of the selected candidate feature amount extraction line (hereinafter, "candidate line segment"). ) And the feature amount extraction line of the image data are calculated by the following formula (1).
  • the label number of the object name label "road” is “1”
  • the label number of the object name label "sidewalk” is "2”
  • the label number of the object name label "building” is "3”.
  • the candidate line segments whose object name labels do not match are excluded from the calculation target of the matching rate in advance, and then the calculation is performed.
  • the extraction line number "1" of the image data includes the "road”, “sidewalk”, and "building” of the object name label.
  • the candidate line segment " ⁇ ” indicated by the "x” mark in FIG. 7 is excluded from the calculation target in advance because the object name label does not include "building”.
  • the candidate line segments " ⁇ " and “ ⁇ ” indicated by the " ⁇ ” mark in FIG. 7 include "road", "sidewalk", and "building” in the object name label, so that the line segment matching rate is calculated. Become.
  • Line segment match rate L summation ⁇ Match judgment between the sum of the label numbers of the image data and the sum of the label numbers of the candidate line segments [0,1] ⁇ (1-
  • the extraction line calculation unit 131 repeatedly calculates the line segment coincidence rate L according to the equation (1) while adjusting the positions of the start point and the end point in the candidate line segment as parameters. Then, the extraction line calculation unit 131 ends the process when the calculation of the match rate L by adjusting the parameters is equal to or more than a predetermined number of times (lower limit) and the increase in the score of the match rate L is equal to or less than a predetermined threshold value. do.
  • a line segment as a promising candidate corresponding to each of the feature amount extraction lines (left end, center, and right end feature amount extraction lines) set in the image data shown in FIG. 2 is calculated from the reference data. can do.
  • the candidate area selection unit 132 is based on the line segment calculated by the extraction line calculation unit 131 that the candidate area selection unit 132 is a line segment corresponding to at least the left end and right end feature amount extraction lines of the image data as described above. Executes the process of selecting a rough candidate area.
  • a specific description will be given.
  • the candidate area selection unit 132 sets one or more candidate areas by using the left end and right end information and other set line segment information calculated by the extraction line calculation unit 131. In order to roughly narrow down the candidate areas, the candidate area selection unit 132 gives priority to those having a short (equal) distance from the camera position shown in FIG. 8 to the left and right end points, which will be described later.
  • FIG. 8 is a diagram assuming that the projection plane of the camera angle of view on the ground is a trapezoidal portion on the base side of the isosceles triangle whose apex is the camera position.
  • the candidate area selection unit 132 gives priority to areas where the distances to the end points of the left end and the right end are the same, and in the extraction lines other than the left end and the right end, the distance from the apex of the triangle in FIG. 8 to the start point of each extraction line segment.
  • the value of the effectiveness Y of the region shown in the following equation (2) is small using the standard deviation of the ratio from the apex of the triangle to the end point of each extraction line segment (the base side of the isosceles triangle). Select one as a candidate area.
  • x8 is the distance from the camera position (the apex of the isosceles triangle) to the end point at the right end
  • x2 is the distance from the camera position to the end point at the left end.
  • a quadrangle (trapezoid) represented by four points, the rightmost start point indicated by y1 from the camera position, the rightmost end point indicated by x1, the leftmost start point indicated by y2 from the camera position, and the leftmost end point indicated by x2.
  • the candidate area of the reference data is shown.
  • the viewing angle ⁇ (see FIG. 8) of the camera determined by the right end x1 and the left end x2 is set within a specified angle. Since the wide-angle camera that is widely used has a viewing angle of about 150 degrees, for example, the upper limit of the viewing angle ⁇ is set to 180 degrees.
  • the candidate area selection unit 132 selects a plurality of candidate areas such as the candidate area [A] and the candidate area [B], as shown in FIG. 9, for example.
  • equation (2) if the distance between the right end x1 and the left end x2 is equal, the effectiveness evaluation value is 0, and in that case, the candidate areas [A] and [B] are trapezoids at the bottom of the isosceles triangle. Set.
  • the photographing area calculation unit 133 sets a plurality of feature amount extraction lines in the image data and one or more candidate areas selected by the candidate area selection unit 132, and the area of the image data and the candidate area.
  • the matching rate of is calculated based on the following formula (3).
  • Match rate of candidate area R summation ⁇ Match judgment between label number of image data and label number of candidate line segment [0,1] ⁇ (number of image labels-length ratio rank of image label +1) ⁇ (1-
  • the length ratio ranking of the image labels is ranked in ascending order in descending order of length ratio.
  • the length ratio ranking of the extraction line number 1 at the left end of the image data shown in FIGS. 2 and 3 is that the building is ranked first with "0.6" and the sidewalk is ranked second with "0.2" in descending order of ratio.
  • the road is "0.2", which is the same rate as the sidewalk and is second.
  • the photographing area calculation unit 133 repeatedly calculates the match rate R of the candidate area while adjusting the parameters.
  • the parameters here are the camera position (triangle apex), the distance x1, x2 from the camera position to the end point, the distance y1, y2 from the camera position to the start point, the viewing angle ⁇ , and the camera device 21 shown in FIG. The direction is ⁇ . Then, the photographing area calculation unit 133 performs when the repeated calculation of the matching rate R by adjusting the parameters is equal to or more than a predetermined number of times (lower limit) and the increase in the score of the matching rate R is equal to or less than a predetermined threshold value. End the process.
  • the shooting area calculation unit 133 estimates that the candidate area having the highest matching rate R among the calculation results of the obtained plurality of candidate areas is the shooting range.
  • the shooting area calculation unit 133 outputs the estimated shooting range and the camera position information at that time to the IoT platform 20.
  • FIG. 10 is a flowchart showing a flow of the entire process executed by the photographing range estimation device 1 according to the present embodiment.
  • the image data processing unit 110 of the shooting range estimation device 1 acquires image data to be processed for estimating the shooting range from the IoT platform 20 (step S1). At this time, the image data processing unit 110 also acquires information regarding the position of the camera device in which the image data was captured. Then, when the information regarding the position of the camera device is not the information of the installation position of the camera device 21 itself (latitude / longitude, address, etc.), the image data processing unit 110 is based on the information of the IP address, the radio base station, or the like. , Collect information that identifies the approximate area (area-specific information).
  • the image data processing unit 110 acquires information (image data) to which an object name label is attached to each area in the image data by transmitting the acquired image data to the image analysis device 30 (step S2).
  • the reference data generation unit 120 refers by accessing the reference database 40 and acquiring geographic information (map information or satellite image) based on the information regarding the position of the camera device obtained by the image data processing unit 110. Generate data (step S3).
  • the reference data generation unit 120 causes the reference data generation unit 120 to acquire the information set in advance. You may set it.
  • the reference data generation unit 120 generates map information and satellite images in a circle centered on the camera position and having a maximum shooting distance as a radius as reference data.
  • the information on the maximum shooting distance may be acquired from the IoT platform 20 together with the image data, or a preset value (for example, 50 meters) may be used according to the shooting environment of the camera device 21.
  • the reference data generation unit 120 determines whether or not the acquired geographic information is map information (step S4). If the acquired geographic information is map information (step S4 ⁇ Yes), the reference data generation unit 120 proceeds to the next step S6, assuming that the object name label is known based on the map information. On the other hand, if the acquired geographic information is not map information but a satellite image (step S4 ⁇ No), the reference data generation unit 120 transmits the acquired satellite image to the image analysis device 30 to obtain an area in the satellite image. The information (satellite image) to which the object name label is attached is acquired for each (step S5), and the process proceeds to the next step S6. In the processes of steps S1 to S5, the image data to which the object name label is attached and the reference data to which the object name label is attached are prepared.
  • the shooting range estimation unit 130 (extraction line calculation unit 131) of the shooting range estimation device 1 executes the extraction line matching rate calculation process (step S6).
  • the extraction line calculation unit 131 sets a feature amount extraction line including the left end and the right end for the image data, and among the line segments of the candidate feature amount extraction line provided in the reference data, the object name. This is a process of calculating a line segment having a matching label ratio (see FIG. 11 for details). As a result, for each of the left end, right end, and other feature amount extraction lines set in the image data, a line segment having a high score of the matching rate L is calculated as a corresponding line segment on the reference data.
  • the candidate area selection unit 132 of the shooting range estimation unit 130 uses the information of the line segment on the reference data corresponding to the left end, the right end, and the like calculated in step S6 to select one or more candidate areas.
  • the candidate area selection process for selection is executed (step S7: see FIG. 12 for details).
  • the candidate area selection unit 132 sets a region in which the distances from the camera position to the end points of the left end and the right end are close (equal) to the candidate area based on the above equation (2).
  • the candidate area selection unit 132 selects a candidate area in which the standard deviation of the ratio of the distance from the camera position of the line segment in each extraction line to the distance from the apex of the triangle shown in FIG. 8 to the end point of each extraction line is small. Set to.
  • the shooting area calculation unit 133 of the shooting range estimation unit 130 sets a plurality of feature amount extraction lines in the image data and the candidate area selected by the candidate area selection unit 132, and the area of the image data and the candidate area.
  • the shooting area calculation process for calculating the matching rate R of the above is executed (step S8: see FIG. 13 for details).
  • the photographing area calculation unit 133 estimates the candidate area having the highest matching rate R as the image data photographing range.
  • the shooting area calculation unit 133 transmits the shooting range of the estimated image data and the position information of the camera device at that time to the IoT platform 20.
  • FIG. 11 is a flowchart showing the flow of the extraction line matching rate calculation process executed by the photographing range estimation device 1 according to the present embodiment.
  • the extraction line calculation unit 131 draws a line from the bottom to the top of the image data, extracts the object name on the line, and sets the feature amount extraction line of the image data (step S601).
  • the extraction line calculation unit 131 sets at least the left end and right end feature amount extraction lines.
  • FIG. 2 shows an example in which the feature amount extraction lines at the left end, the center, and the right end are set.
  • the extraction line calculation unit 131 draws a line in the radial direction in the circle in the reference data generated by the reference data generation unit 120, extracts the object name on the line, and sets the candidate feature amount extraction line. (Step S602).
  • the extraction line calculation unit 131 sets the candidate feature amount extraction line by changing the angle by 1 degree out of 360 degrees with the position of the camera device 21 as the center (see FIG. 4).
  • the extraction line calculation unit 131 sets a line segment corresponding to the line from the start point to the end point of the photographing range along each candidate feature amount extraction line (step S603: see FIG. 5).
  • the extraction line calculation unit 131 selects one of the feature amount extraction lines of the image data set in step S601 (step S604).
  • the processing below this is a processing performed on each feature amount extraction line of the image data.
  • the extraction line calculation unit 131 excludes the line segments set in step S603 that do not include all of the object name labels included in the feature amount extraction line selected in step S604 (step S605). ..
  • the object name labels included in the feature quantity extraction line are a road (Road), a sidewalk (Sidewalk), and a building (Building)
  • a line segment that does not include all three object name labels is excluded. This is a process for reducing the load of calculating the line segment matching rate.
  • the extraction line calculation unit 131 extracts one of the line segments and calculates the line segment coincidence rate L based on the above equation (1) (step S606).
  • the label ratio of the feature amount extraction line at the left end of the data image shown in FIG. 2 is the label of the road (Road), the sidewalk (Sidewalk), and the building (Building), as shown by the extraction line number “1” in FIG. It is assumed that the ratio is (0.2, 0.2, 0.6).
  • the line segment matching rate L of each line segment (line segment numbers "1", "2", "3") shown in FIG. 5 is calculated as follows.
  • the label ratio of each line segment shall be as shown in FIG. Since the object name label does not include the building, the line segment number “1” is deleted from the calculation target of the line segment matching rate L in step S605.
  • Match rate of line segment number "2" L 1 x (1-
  • ) 2.4
  • Match rate of line segment number "3" L 1 x (1-
  • ) 3
  • the match rate L of this line segment if the label ratio of the object name label in the image data is high, the probability of misidentification is low, so a larger weight may be given.
  • the label ratio of the road, sidewalk, and building of the extraction line number “1” in FIG. 3 is (0.2, 0.2, 0.6), so the larger weights are set in the order of building, road, and sidewalk, for example, “3” and “3”.
  • the matching rate L may be calculated by multiplying the term for calculating the difference in the label ratio of each object name label as in "2" and "2".
  • the extraction line calculation unit 131 determines whether or not the lower limit of the predetermined number of calculations has been exceeded for one extracted line segment (step S607). Then, when the extraction line calculation unit 131 does not exceed the lower limit of the predetermined number of calculations (step S607 ⁇ No), the extraction line calculation unit 131 adjusts the label ratio of each line segment, which is a parameter calculated in this step S606. Return to step S606. That is, in order to search for a line segment that matches the label ratio of the feature amount extraction line of the data image, the extraction line calculation unit 131 finely adjusts the label ratio of each line segment, which is a parameter, to obtain a line segment matching rate L. Try to repeat the calculation.
  • step S608 determines whether or not the upper limit of the predetermined number of calculations has been exceeded.
  • step S608 ⁇ Yes the process proceeds to step S611.
  • step S608 ⁇ No the match is compared with the highest match rate L calculated by the line segment up to that point, and the match calculated in step S606 this time. It is determined whether or not the value of the rate L is equal to or less than the highest concordance rate L (step S609). Then, if the match rate is L or less (step S609 ⁇ Yes), the label ratio of each line segment, which is a parameter, is adjusted, and then the process returns to step S606.
  • step S609 ⁇ No the extraction line calculation unit 131 uses the value of the match rate L calculated in step S606 this time and the line segments calculated up to that point. It is determined whether or not the increase difference is equal to or less than a predetermined threshold value (first threshold value) by comparing with the highest concordance rate L of (step S610). Then, if the rising difference is not equal to or less than a predetermined threshold value (step S610 ⁇ No), the label ratio of each line segment, which is a parameter, is adjusted, and then the process returns to step S606. On the other hand, if the increase difference is equal to or less than a predetermined threshold value (step S610 ⁇ Yes), the process proceeds to step S611.
  • a predetermined threshold value first threshold value
  • step S611 the extraction line calculation unit 131 makes the line segment having the highest matching rate L a promising candidate in the reference data for the feature amount extraction line (for example, the left end) of the image data selected in step S604. Determine (extract) as a line segment. This process is performed on each feature amount extraction line extracted from the image data, and a candidate line segment is determined (extracted) in each feature amount extraction line.
  • FIG. 12 is a flowchart showing the flow of the candidate area selection process executed by the photographing range estimation device 1 according to the present embodiment.
  • the candidate area selection unit 132 is a set of line segments that are candidates for the left end and the right end among the line segments determined as candidates for each feature amount extraction line in step S6 of FIG. 10 (specifically, step S611 of FIG. 11). Is selected (step S701). At this time, the candidate area selection unit 132 selects a pair of left end and right end line segments with the upper limit of the viewing angle ⁇ of the left end and right end line segments as a predetermined angle (for example, 180 degrees).
  • the candidate area selection unit 132 selects a line segment corresponding to another feature amount extraction line located between the left end and the right end (step S702). If the feature amount extraction line located between the left end and the right end is not set, the process of this step S702 is not executed.
  • the candidate area selection unit 132 calculates the effectiveness Y of the area using the above equation (2) for each of the areas composed of the set of line segments selected in steps S701 and S702 (step). S703).
  • equation (2) the closer (equal) the distance to the rightmost end point represented by x1 and the distance to the leftmost end point represented by x2, the closer the effectiveness Y of the region is to 0.
  • the distance from the apex (camera position) of the isosceles triangle shown in FIG. 8 to the base of the isosceles triangle including shading is close to (equal to) the distance of the feature amount extraction line located between the left end and the right end. The more the effectiveness Y of the region becomes closer to 0.
  • the candidate area selection unit 132 selects one or more areas having a value of 0 or a value close to 0 as a candidate area in the calculation result of the effectiveness Y of the area (step S704).
  • the candidate area [A] and the candidate area [B] are areas when the distance from the rightmost camera position to the end point is equal to the distance from the leftmost camera position to the end point.
  • the effectiveness Y is calculated as 0 and selected as a candidate region. By doing so, the candidate area selection unit 132 can narrow down a rough candidate area in the reference data.
  • FIG. 13 is a flowchart showing a flow of a shooting area calculation process executed by the shooting range estimation device 1 according to the present embodiment.
  • the matching rate of the feature amount extraction lines in the candidate region selected in step S7 of FIG. 10 (specifically, step S704 of FIG. 12) is detailed. Verify.
  • five feature quantity extraction lines extraction line numbers “1” to “5” are drawn from the bottom to the top of the image data. Then, it is assumed that the label ratio of the feature amount extraction lines of the extraction line numbers "1” to “5" is the value shown in FIG. Further, the label ratio of the area candidate [A] located at the position corresponding to the feature amount extraction line of the extraction line numbers “1” to “5” is the value shown in FIG. It is assumed that the value is shown in FIG.
  • the shooting area calculation unit 133 first selects one of the one or more candidate areas that has not been selected so far (step S801). Here, it is assumed that the candidate area [A] is selected first. Next, the shooting area calculation unit 133 calculates the coincidence rate R of the area between the image data and the candidate area based on the above equation (3) (step S802).
  • ) ⁇ ] + ⁇ ⁇ ⁇ [2 + 2 + 3] + [2 + 1 + 3] + ...
  • the match rate R in this area if the label ratio of the object name label in the image data is high, the probability of misidentification is low, so a larger weight may be given.
  • the label ratio of the road, sidewalk, and building of the extraction line number “5” in FIG. 14 is (0.6, 0.2, 0.2) (see FIG. 15), so the larger weights are set in the order of road, sidewalk, and building.
  • the matching rate R of the region may be calculated by multiplying the term for calculating the difference in the label ratio of each object name label, such as "3", "2", and "2".
  • the shooting area calculation unit 133 determines whether or not the selected candidate area exceeds the lower limit of the predetermined number of calculations for the area match rate R (step S803). Then, when the lower limit of the predetermined number of calculations is not exceeded (step S803 ⁇ No), the photographing area calculation unit 133 sets the candidate areas x1 and x2 in FIG. 8 as parameters when calculated in step S802 this time. , Y1, y2, the viewing angle ⁇ , the direction ⁇ of the camera device 21, and the camera position are changed to adjust the label ratio of each extraction line, and the process returns to step S802. That is, in order to search for an area on the reference data that more closely matches the area indicated by the image data, the photographing area calculation unit 133 finely adjusts the parameters and repeats the calculation of the coincidence rate R of the area.
  • step S803 determines whether or not the upper limit of the predetermined number of calculations has been exceeded (step S804).
  • step S804 ⁇ Yes determines whether or not the upper limit of the predetermined number of calculations has been exceeded.
  • step S804 ⁇ Yes the upper limit of the predetermined number of calculations is exceeded.
  • step S804 ⁇ No the area calculated in step S802 this time is compared with the highest match rate R calculated in the candidate area up to that point. It is determined whether or not the value of the match rate R of is equal to or less than the highest match rate R (step S805). Then, if the match rate is R or less (step S805 ⁇ Yes), the label ratio of each extraction line is adjusted by changing the parameter of the candidate region, and then the process returns to step S802.
  • step S805 ⁇ No the photographing area calculation unit 133 uses the value of the match rate R calculated in step S802 this time and the candidate areas calculated up to that point. It is determined whether or not the increase difference is equal to or less than a predetermined threshold value (second threshold value) by comparing with the highest concordance rate R of (step S806). Then, if the rising difference is not equal to or less than a predetermined threshold value (step S806 ⁇ No), the label ratio of each extraction line is adjusted by changing the parameter of the candidate region, and then the process returns to step S802. On the other hand, if the increase difference is equal to or less than a predetermined threshold value (step S806 ⁇ Yes), the process proceeds to step S807.
  • a predetermined threshold value second threshold value
  • step S807 the photographing area calculation unit 133 determines whether or not there is a candidate area that has not yet been selected. Then, if there is a candidate area that has not been selected yet (step S807 ⁇ Yes), the process returns to step S801 and the processing for the next candidate area is continued.
  • step S802 for example, the match rate R of the candidate region [B] is calculated as follows.
  • ) ⁇ + 0 + 0] + ⁇ ⁇ ⁇ [2 + 2 + 3] + [0.9] + ...
  • step S807 when there is no unselected candidate area, that is, when all candidate areas are selected (step S807 ⁇ No), in step S808, among one or more candidate areas, the most matching rate R The high candidate area is estimated to be the shooting range.
  • the shooting area calculation unit 133 outputs the estimated shooting range information and the position information of the camera device at that time to the IoT platform 20, and finishes the process.
  • the shooting range estimation device 1 estimates the shooting range and position of the camera device 21 from the camera image without depending on the ground shot image information collected in advance or the existence of the building. be able to.
  • the camera device 21 is photographing in the diagonally downward direction.
  • the photographing range estimation device 1 according to the present embodiment is not limited to this, and for example, as shown in FIG. 18, the camera device 21 may be oriented in a direction perpendicular to (directly below) the ground. In that case, a line is drawn from the center (center and near the center) of the image data closest to the camera device 21 toward the four corners of the angle of view to extract the object name on the line, and the image data is extracted.
  • the shooting range and position of the camera device 21 can be similarly estimated by setting at least four feature amount extraction lines from the center of the image data toward the four corners. ..
  • the photographing range estimation device 1 can be applied indoors (for example, an event venue, a stadium, a concert hall, etc. in a building).
  • the arrangement (position information) of walls, seats, etc. is acquired from the floor plan or design drawing (indoor design drawing information) of the room and used as reference data, and the label ratio of the object name label is calculated and combined with the image data. Find the match rate.
  • the shooting range estimation device 1 can estimate the shooting range and the camera position even when the camera device 21 is installed indoors.
  • the photographing range estimation device 1 according to the present embodiment is realized by, for example, a computer 900 having a configuration as shown in FIG.
  • FIG. 19 is a hardware configuration diagram showing an example of a computer 900 that realizes the function of the photographing range estimation device 1 according to the present embodiment.
  • the computer 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, an HDD (Hard Disk Drive) 904, an input / output I / F (Interface) 905, and a communication I / F 906. And has media I / F 907.
  • the CPU 901 operates based on the program stored in the ROM 902 or the HDD 904, and is controlled by the control unit 10 of FIG.
  • the ROM 902 stores a boot program executed by the CPU 901 when the computer 900 is started, a program related to the hardware of the computer 900, and the like.
  • the CPU 901 controls an input device 910 such as a mouse and a keyboard and an output device 911 such as a display and a printer via the input / output I / F 905.
  • the CPU 901 acquires data from the input device 910 and outputs the generated data to the output device 911 via the input / output I / F 905.
  • the HDD 904 stores a program executed by the CPU 901, data used by the program, and the like.
  • the communication I / F906 receives data from another device (for example, an image analysis device 30) which is not shown via a communication network (for example, network 920) and outputs the data to the CPU 901, and the data generated by the CPU 901. To other devices via the communication network.
  • the media I / F 907 reads the program or data stored in the recording medium 912 and outputs the program or data to the CPU 901 via the RAM 903.
  • the CPU 901 loads the program related to the target processing from the recording medium 912 onto the RAM 903 via the media I / F 907, and executes the loaded program.
  • the recording medium 912 includes an optical recording medium such as a DVD (Digital Versatile Disc) and a PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto Optical disk), a magnetic recording medium, a conductor memory tape medium, a semiconductor memory, and the like. Is.
  • the CPU 901 of the computer 900 realizes the function of the shooting range estimation device 1 by executing the program loaded on the RAM 903. Further, the data in the RAM 903 is stored in the HDD 904. The CPU 901 reads a program related to the target process from the recording medium 912 and executes it. In addition, the CPU 901 may read a program related to a target process from another device via a communication network (network 920).
  • a communication network network 920
  • the shooting range estimation device is a shooting range estimation device 1 that estimates the shooting range of the camera device 21, and acquires image data shot by the camera device 21 and occupies an area occupied by each object reflected in the image data.
  • An image data processing unit 110 that generates image data with an object name label and a predetermined position capable of taking a picture from an estimated position where a camera device 21 is installed by performing image analysis to identify the data with an object name label. It is shown by the reference data generation unit 120 that sets the area within the distance using geographic information and generates the reference data with the object name label attached to the object in the set area, and the area of each object name label of the image data.
  • the matching rate is calculated by comparing the feature amount with the feature amount indicated by the area of each object name label of the reference data, and the area of the reference data corresponding to the image data is estimated as the shooting range of the camera device 21. It is characterized by including an estimation unit 130.
  • the shooting range estimation device 1 can estimate the shooting range of the camera device 21 from the camera image (image data) without depending on the ground shot image information collected in advance or the existence of the building. can.
  • the photographing range estimation device 1 calculates the matching rate of the feature amount with the image data by using the geographic information in the city (for example, map information or satellite image). Therefore, it is not necessary for the user of the camera device 21 to register new information in the IoT platform 20, and it is not necessary for the service provider to add high-precision ground-photographed image information for shooting.
  • the shooting range of the camera device 21 can be estimated without depending on the building. Therefore, the shooting range estimation device 1 can estimate the shooting range of the camera device 21 in a simpler and wider range than the prior art.
  • the photographing range estimation unit 130 draws a line from the lower part to the upper part of the image data, sets a feature amount extraction line for extracting the object name label, and centers the estimated position of the reference data.
  • Draw a line in the radial direction within the circle set a candidate feature amount extraction line to extract the object name label, and set the label ratio of each object name label of the feature amount extraction line of the image data and the candidate feature of the reference data. It is characterized in that the matching rate is calculated by comparing the label ratio of each object name label of the quantity extraction line as a feature quantity.
  • the photographing range estimation device 1 calculates the matching rate using the label ratio of the object name label as the feature amount, and photographs the area of the reference data label ratio that matches the label ratio of the image data with the camera device 21. It can be estimated as a range.
  • the photographing range estimation unit 130 sets a line segment having a start point and an end point on the candidate feature amount extraction line, extracts an object name label, and extracts feature amounts at least at the left end and the right end of the image data.
  • Set the extraction line calculate the match rate between at least the left end and right end label ratios of the set image data and the label ratio of each object name label of the line segment, and correspond to at least the left end and right end of the image data.
  • a feature is that a line segment on the reference data is extracted, and a square area surrounded by the line segments corresponding to the left end and the right end is estimated as the shooting range of the camera device 21.
  • the shooting range estimation device 1 extracts line segments on the reference data that match at least the label ratios of the left end and the right end of the image data, and the quadrangular area surrounded by the line segments is the camera device 21. It can be estimated as the shooting range.
  • the object name label having a higher label ratio is given a larger weight to calculate the matching rate.
  • the shooting range estimation device 1 can improve the accuracy of estimating the shooting range of the camera device 21 by increasing the weight of the object name label having a high label ratio and a low probability of misidentification.
  • the feature amount extraction line is set from the center of the image data toward the four corners. ..
  • the shooting range estimation device 1 sets the feature amount extraction lines from the center of the image data toward the four corners even when the camera device 21 is oriented in the direction perpendicular to the ground (directly below). , The shooting range of the camera device 21 can be estimated.
  • Another feature is that the shooting range estimation device 1 uses indoor design drawing information as geographical information.
  • the shooting range estimation device 1 can estimate the shooting range of the camera device 21 installed indoors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

撮影範囲推定装置（１）は、カメラデバイス（２１）が撮影した画像データを取得し、物体名ラベルが付された画像データを生成する画像データ処理部（１１０）と、カメラデバイス（２１）が設置されている推定位置から撮影可能な所定距離内の領域を地理情報を用いて設定し、物体名ラベルを付した参照データを生成する参照データ生成部（１２０）と、画像データの各物体名ラベルの領域で示される特徴量と、参照データの各物体名ラベルの領域で示される特徴量とを比較して一致率を算出し、画像データに対応する参照データの領域をカメラデバイス（２１）の撮影範囲として推定する撮影範囲推定部（１３０）と、を備える。

Description

撮影範囲推定装置、撮影範囲推定方法およびプログラム
　本発明は、カメラデバイスの撮影範囲を推定する、撮影範囲推定装置、撮影範囲推定方法およびプログラムに関する。
　近年、データのオープン化が進んできている。例えば、自治体では、人口動態などのデータをオープンにして、他の自治体や事業者から利用可能とする取り組みが進められている。また、企業内のデータ共有の事例として、万引き取り締まりを目的とした複数店舗のデータ共有が行われている。各店舗の万引き犯データを店舗内に限定して保存するのではなく、クラウドサーバに集約し、店舗間で共有することで、店舗を跨った万引き犯の取り締まりを行っている。このように、各業種・分野ごとにデータ集約や汎用分析アプリケーションを備えたＩｏＴ（Internet of Things）プラットフォームが既に構築されている。現在、事業者を跨ったデータ共有が行われるＩｏＴプラットフォームが複数設立されており、業種・分野を超えたデータ共有化が進んでいくと予想される。
　しかし、個人ユーザについて、データのオープン化・共有化は事業者と比較して進んでいない。現在はＩｏＴデバイス所有者が自らの目的のために設置し、データの共有も個人に限られる場合が多く、他者が利用する場合には手間がかかっている。例えば、ある市内に不審者が現れた場合、その顔や服装、位置が分からないときには、通報者の目撃情報をもとに警察が近隣の店舗及び個人宅の監視カメラ情報の開示を要求し、画像を取得することで、不審者の外観情報を取得している。
　個人ユーザも含めて、データのオープン化・共有化を進めていくためには、参入障壁の低いＩｏＴプラットフォームが必要となる。具体的には、デバイス所有者の立場では、ＩｏＴプラットフォームへの登録稼働の削減、デバイス登録による利益、個人情報保護の保証を実現する必要がある。これは、デバイス所有者の費用対効果をプラスにしなければデバイスの登録という手間のかかる作業を行う可能性が低いと考えられるためである。一方、データ利用者およびサービス事業者の立場では、目的とするデバイスの探索稼働の削減を実現する必要がある。これは、膨大な登録デバイスから目的のデータもしくはデバイスを人力で探索することは困難と考えられるためである。
　このＩｏＴデバイスの中でも、特に防犯等を目的としたカメラの台数が急速に増えてきており、日本では５００万台、世界では数億台となっている。また、近年の画像解析技術の発達やカメラデバイスのコスト低下に伴い、画像を通じて多量の情報を得ることのできるカメラの重要性が増している。
　このカメラデバイスの画像情報を用いて、該当カメラデバイスの撮影向きおよび位置を推定する技術がある（非特許文献１，２参照）。非特許文献１，２に記載の技術は、ＧＰＳの精度が低くなるビル群の環境において、スマートフォンなどのモバイル端末のデバイス位置および向きを把握することを目的とした技術である。
　非特許文献１に記載の技術は、カメラで撮影された映像をもとに、カメラ位置を推定するものである。非特許文献１では、地上撮影画像、例えば、ストリートビュー画像から物体検出もしくは物体輪郭を特徴として検出し、検出された特徴が位置情報とともにデータベース上に登録されている場合には、登録されている情報を参照してデバイスの位置を推定する。非特許文献１の技術では、検出および登録されている特徴が多いほど、位置推定の精度は向上する。
　非特許文献２に記載の技術は、衛星画像や鳥観画像に映る建物の矩形を抽出および記録し、地上撮影画像から抽出した建物の矩形と照合し、地上撮影を行ったカメラデバイスの設置位置および向きを推定するものである。
Nathan Piasco, et. al.,"A survey on Visual-Based Localization: On the benefit of heterogeneous data", Pattern Recognition, Volume 74, February 2018, Pages 90-109 Tat-Jen Cham, et.al.,"Estimating Camera Pose from a Single Urban Ground-View Omnidirectional Image and a 2D Building Outline Map,"IEEE Computer Society Conference on Computer Vision and Pattern Recognition, December 2010
　しかしながら、非特許文献１に記載の技術では、詳細に特徴を検出するために、利用地域の高精度な地上撮影画像情報を事前に撮影しておく必要がある。そのため、利用地域の拡大にはコストを要し、あらゆる地域を網羅することは困難である。例えば、現在のストリートビュー画像提供サービスでは、人口密度が疎らである地域や、道幅の狭い路地の地上撮影画像は利用できない。
　また、非特許文献２に記載の技術では、衛星画像の場合、あらゆる地域を網羅的に撮影可能である。しかし、この技術ではカメラが撮影する画像に建物の存在が不可欠であるため、建物のない範囲では利用できない。また、屋内の撮影範囲を推定することはできない。
　このような点に鑑みて本発明がなされたのであり、本発明は、カメラデバイスの撮影範囲を、事前に収集した地上撮影画像情報や建物の存在に依存することなくカメラ画像から推定することを課題とする。
　本発明に係る撮影範囲推定装置は、カメラデバイスの撮影範囲を推定する撮影範囲推定装置であって、前記カメラデバイスが撮影した画像データを取得し、当該画像データに映る各物体が占める領域を物体名ラベルを付して識別する画像解析を行わせ、前記物体名ラベルが付された画像データを生成する画像データ処理部と、前記カメラデバイスが設置されている推定位置から撮影可能な所定距離内の領域を地理情報を用いて設定し、設定した領域内の物体に物体名ラベルを付した参照データを生成する参照データ生成部と、前記画像データの各物体名ラベルの領域で示される特徴量と、前記参照データの各物体名ラベルの領域で示される特徴量とを比較して一致率を算出し、前記画像データに対応する前記参照データの領域を前記カメラデバイスの撮影範囲として推定する撮影範囲推定部と、を備えることを特徴とする。
　本発明によれば、カメラデバイスの撮影範囲を、事前に収集した地上撮影画像情報や建物の存在に依存することなくカメラ画像から推定することができる。
本実施形態に係る撮影範囲推定装置の構成を示すブロック図である。 画像データに特徴量抽出線を設定した例を示す図である。 画像データの各特徴量抽出線におけるラベル名とラベル比率を示す表である。 参照データに候補特徴量抽出線を設定した例を示す図である。 参照データの候補特徴量抽出線に線分を設定した例を示す図である。 参照データに設定した線分のラベル名とラベル比率を示す表である。 物体名ラベルが一致しない候補線分と一致する候補線分の例を示す図である。 カメラ画角の地面への投影面を、カメラ位置が頂点となった二等辺三角形のうちの底辺側の台形部分であると想定した図である。 参照データ上で、候補領域が選択された例を示す図である。 本実施形態に係る撮影範囲推定装置が実行する全体の処理の流れを示すフローチャートである。 本実施形態に係る撮影範囲推定装置が実行する抽出線一致率算出処理の流れを示すフローチャートである。 本実施形態に係る撮影範囲推定装置が実行する候補領域選択処理の流れを示すフローチャートである。 本実施形態に係る撮影範囲推定装置が実行する撮影領域算出処理の流れを示すフローチャートである。 画像データに特徴量抽出線を設定した例を示す図である。 画像データの各特徴量抽出線におけるラベル名とラベル比率を示す表である。 候補領域のラベル名とラベル比率を示す表である。 候補領域のラベル名とラベル比率を示す表である。 カメラデバイスが地面に垂直（真下）の方向に向かっている場合において、画像データに特徴量抽出線を設定した例を示す図である。 本実施形態に係る撮影範囲推定装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　次に、本発明を実施するための形態（以下、「本実施形態」と称する。）について説明する。
　図１は、本実施形態に係る撮影範囲推定装置１の構成を示すブロック図である。
　本実施形態に係る撮影範囲推定装置１は、カメラデバイス２１が撮影した画像データと、カメラデバイス２１周辺の地図情報や衛星画像等の地理情報に基づき、カメラデバイス２１の撮影範囲および位置を推定する。
　この撮影範囲推定装置１は、ＩｏＴプラットフォーム２０、画像解析装置３０、参照データベース４０等に接続される。
　ＩｏＴプラットフォーム２０は、ＩｏＴデバイスとしての監視カメラ等のカメラデバイス２１から画像データを取得し記憶している。このカメラデバイス２１からの画像データには、そのカメラデバイス２１の識別情報とともに、そのカメラデバイス２１の位置を特定（推定）する情報が付されている。例えば、そのカメラデバイス２１の位置情報（経度・緯度情報そのものや、住所の情報）、ＩＰアドレスやＷｉ-Ｆｉ（登録商標）等の無線基地局などのデバイスの位置を推定できる情報である。
　画像解析装置３０は、一般的な画像解析の機能を備える。この画像解析装置３０は、画像データに対し画像解析を行うことにより、画素単位で物体認識を行い、画像データ中の領域ごとに物体名ラベルを付与する。カメラデバイス２１の設置場所は、例えば、街中監視、自然監視、車載等により異なるため、画像解析装置３０は、設置場所に適した学習モデルを用いたＡＩ（人工知能）等を用いて解析する。
　参照データベース４０には、地図情報４１、衛星画像４２のいずれかまたは両方が格納される。地図情報４１については、予め建物や、歩道、道路、植物（街路樹）等の位置関係と、物体の種類、即ち物体名ラベルとが既知であるとする。
　なお、衛星画像４２については、画像解析装置３０にその衛星画像を解析させることにより、物体の位置に物体名ラベルを付与することができる。
　また、地図情報４１と衛星画像４２は、２種類の情報が１つのデータベース（参照データベース４０）に記憶されている必要はなく、別々のデータベースに格納されていてもよい。
　撮影範囲推定装置１は、カメラデバイス２１の画像データ（撮影画像）を画像解析して得られる物体認識に基づく特徴量と、地図情報や衛星画像から生成した参照データにより得られる特徴量とを比較し、より特徴量が一致する領域を、撮影範囲として算出する。
　図１を参照して、撮影範囲推定装置１の機能について具体的に説明する。
　撮影範囲推定装置１は、制御部１０、入出力部１１、記憶部１２を備えるコンピュータにより実現される。
　入出力部１１は、ＩｏＴプラットフォーム２０、画像解析装置３０、参照データベース４０等との間で情報の送受信を行う通信インタフェース、および、タッチパネルやキーボード等の入力装置や、モニタ等の出力装置との間で情報の送受信を行うための入出力インタフェースからなる。
　記憶部１２は、フラッシュメモリやハードディスク、ＲＡＭ（Random Access Memory）等により構成される。この撮影範囲推定装置１の記憶部１２には、処理の過程で必要となる情報等が記憶されるとともに、制御部１０の機能を実現するためのプログラムが格納される。
　また、制御部１０は、図１に示すように、画像データ処理部１１０と、参照データ生成部１２０と、撮影範囲推定部１３０とを含んで構成される。
　画像データ処理部１１０は、カメラデバイス２１が撮影した画像データを取得し、当該画像データに映る各物体が占める領域を物体名ラベルを付して識別する画像解析を行わせ、物体名ラベルが付された画像データを生成する。
　より詳細に説明すると、画像データ処理部１１０は、ＩｏＴプラットフォーム２０から撮影範囲を推定する処理の対象となる画像データを取得する。その際、画像データ処理部１１０は、当該画像データが撮影されたカメラデバイスの位置に関する情報も併せて取得する。
　画像データ処理部１１０は、カメラデバイスの位置に関する情報が、カメラデバイス２１の設置位置の情報そのもの（緯度・経度、住所等）でない場合には、ＩＰアドレスや無線基地局等の情報に基づき、おおよその地域を特定する情報（地域特定情報）を外部装置（図示省略）等から収集する。
　また、画像データ処理部１１０は、取得した画像データを、ネットワーク等を介して画像解析装置３０に送信する。これにより、画像データ処理部１１０は、画像解析装置３０から、画像データを画像解析し画素単位で物体認識した結果として、画像データ中の領域ごとに物体名ラベル（例えば、建物、歩道、道路、植物等）を付与した情報（後記する図２等参照）を取得する。
　参照データ生成部１２０は、カメラデバイス２１が設置されている推定位置（カメラ位置）から撮影可能な所定距離内の領域を地理情報を用いて設定し、設定した領域内の物体に物体名ラベルを付した参照データを生成する。
　ここで参照データとは、カメラデバイス２１が撮影した画像データに対して、撮影領域を算出する際に用いる地理情報であり、例えば、地図情報や衛星画像である。参照データ生成部１２０は、ネットワーク等を介して、参照データベース４０にアクセスすることにより、地図情報４１や衛星画像４２を取得する。
　カメラデバイス２１の位置情報が既知の場合に、参照データ生成部１２０は、そのカメラ位置を中心として最大撮影距離（所定距離）を半径とした円内の地図情報もしくは衛星画像を参照データベース４０から取得する。ここでは、一例として、一般的な監視カメラで想定される最大撮影距離を数十メートルとし、以下に示す図等において説明する。なお、カメラデバイス２１の位置情報が既知でない場合には、参照データ生成部１２０が、画像データ処理部１１０が収集した地域特定情報に基づき、カメラデバイス２１の推定位置を決定して地図情報もしくは衛星画像を参照データベース４０から取得する。
　参照データ生成部１２０が参照データとして地図情報を用いる場合には、その地図情報に基づき、特定した範囲内の物体名ラベルは既知とする。また、参照データとして衛星画像を用いる場合には、参照データ生成部１２０は、その衛星画像を画像解析装置３０に送信する。これにより、参照データ生成部１２０は、画像解析装置３０から、衛星画像を画像解析し画素単位で物体認識した結果として、衛星画像中の領域ごとに物体名ラベル（例えば、建物、歩道、道路、植物等）を付与した情報（後記する図４等参照）を取得する。
　撮影範囲推定部１３０は、画像データの各物体名ラベルの領域で示される特徴量と、参照データの各物体名ラベルの領域で示される特徴量とを比較して一致率を算出し、画像データに対応する参照データの領域をカメラデバイス２１の撮影範囲として推定する。
　この撮影範囲推定部１３０は、「抽出線一致率算出機能」、「候補領域選択機能」、「撮影領域算出機能」を用いて、参照データにおいて候補領域を絞り込んでいくことにより、撮影範囲を推定する（詳細は後記）。
　撮影範囲推定部１３０は、上記した各機能に対応した、抽出線算出部１３１、候補領域選択部１３２および撮影領域算出部１３３を含んで構成される。
≪抽出線一致率算出機能≫    
　抽出線算出部１３１は、画像データ処理部１１０から物体名ラベル付きの画像データを取得し、参照データ生成部１２０から物体名ラベル付きの参照データを取得する。そして、抽出線算出部１３１は、例えば、画像データの少なくとも左端および右端に設定した特徴量抽出線に対応する線（線分）を、参照データに設けた特徴量抽出線（後記する「候補特徴量抽出線」）から算出する。以下、具体的に説明する。
　まず、抽出線算出部１３１は、カメラデバイス２１が監視カメラのように斜め下を撮影している場合、画像の下側がカメラ近傍、上部がカメラ遠方となるため、画像データ（撮影画像）の下部から上部に向かって線を引いて線上にある物体名を抽出し、画像データの特徴量抽出線とする。ここで、抽出線算出部１３１は、図２に示すように、例えば、画像データの左端（抽出線番号「１」）、中央（抽出線番号「２」）、右端（抽出線番号「３」）の３本の特徴量抽出線を設定する。なお、少なくとも、左端と右端は必須であり、特徴量抽出線をより多く設定することにより、精度を向上させることができる。
　このとき、抽出線算出部１３１は、画像データの各特徴量抽出線における物体名ラベル（ラベル名）のラベル比率を算出する。抽出線算出部１３１は、分母を画像データの縦方向の画素数とし、分子を該当する物体名ラベルの画素数とすることで、各物体名ラベルの当該特徴量抽出線におけるラベル比率を、例えば図３に示すように算出する。
　図３に示す抽出線番号「１」の左端の特徴量抽出線は、画像データ（撮影画像）の下から、道（Road）、歩道（Sidewalk）、建物（Building）の順に、物体名ラベルの比率（ラベル比率）が（0.2, 0.2, 0.6）となっている。
　抽出線算出部１３１は、参照データ生成部１２０が生成した参照データにおいて、カメラデバイス２１の位置（推定位置）を中心として当該カメラデバイス２１の最大撮影距離（所定距離）を半径とした円内の動径方向に線を引き、線上にある物体名を抽出し、参照データの特徴量抽出線とする（図４参照）。なお、この参照データの特徴量抽出線を「候補特徴量抽出線」と以下において称する。抽出線算出部１３１が設定する候補特徴量抽出線の数は、任意に設定可能であり、例えば、一度ずつ角度を変化させる場合に抽出される候補特徴量抽出線の数は、３６０本となる。
　抽出線算出部１３１は、さらに、１本の候補特徴量抽出線に対して、始点と終点を任意に設定した線分を設ける。
　例えば、図４の候補特徴量抽出線「α」について、図５で示すように、始点と終点が異なる線分（線分番号「１」，「２」，「３」）を設ける。なお、図５においては、候補特徴量抽出線「α」に重なる線分を見分けがつくように、候補特徴量抽出線「α」からずらして記載している。
　このとき、抽出線算出部１３１は、参照データの各候補特徴量抽出線の線分における物体名ラベルのラベル比率を算出する。抽出線算出部１３１は、参照データにおける物体名ラベルのラベル比率を、当該物体の地理的な距離から算出する。つまり、抽出線算出部１３１は、物体名ラベルが続く全体の線の長さを分母とし、分子を該当の物体名の平面距離とすることで、各物体名ラベルの当該候補特徴量抽出線におけるラベル比率を、例えば、図６に示すように算出する。
　図６に示す、線分番号「１」の候補特徴量抽出線は、参照データのカメラに近い方から、歩道（Sidewalk）、道（Road）の比率が（0.1, 0.9）であり、建物は含まれない。また、線分番号「２」の候補特徴量抽出線は、道（Road）、歩道（Sidewalk）、建物（Building）の順に、物体名ラベルの比率が（0.5, 0.2, 0.3）となっている。また、線分番号「３」の候補特徴量抽出線は、道（Road）、歩道（Sidewalk）、建物（Building）の順に、物体名ラベルの比率が（0.2, 0.2, 0.6）となっている。
　抽出線算出部１３１は、画像データの特徴量抽出線において算出した物体名ラベルのラベル比率と、参照データの候補特徴量抽出線の線分において算出した物体名ラベルのラベル比率との一致率を算出し、算出した一致率が高い参照データの候補特徴量抽出線の線分を抽出する。
　具体的には、抽出線算出部１３１は、物体名ラベル数が一致する候補特徴量抽出線の線分を選出し、その選出した候補特徴量抽出線の線分（以下、「候補線分」と称する場合がある。）と、画像データの特徴量抽出線との一致率を、以下の式（１）により算出する。なお、ここで、例えば、物体名ラベル「道」のラベル番号を「１」、物体名ラベル「歩道」のラベル番号を「２」、物体名ラベル「建物」のラベル番号を「３」とする。
　そして、物体名ラベルが一致しない候補線分については、予め一致率の算出対象から除いた上で計算を行う。例えば、画像データの抽出線番号「１」は、物体名ラベルの「道」「歩道」「建物」を含んでいる。これに対し、図７の「×」印で示す、候補線分「γ」は、物体名ラベルに「建物」を含まないため、予め算出対象から除かれる。一方、図７の「〇」印で示す、候補線分「α」「β」は、物体名ラベルに「道」「歩道」「建物」が含まれるため、線分の一致率の算出対象となる。
　線分の一致率Ｌ＝summation{画像データのラベル番号の和と候補線分のラベル番号の和との一致判定[0,1] ×（１－｜候補線分ラベル比率－画像データラベル比率｜）}　・・・式（１）
　ここで、画像データのラベル番号の和と候補線分のラベル番号の和が一致しなければ[0]、一致すれば[1]とする。なお、具体的な算出例は後記する。
　また、抽出線算出部１３１は、候補線分における始点と終点の位置をパラメータとして調整しながら、式（１）による線分の一致率Ｌの計算を繰り返し行う。そして、抽出線算出部１３１は、パラメータの調整による一致率Ｌの算出が所定回数（下限）以上であり、かつ、一致率Ｌのスコアの増加が所定の閾値以下となったときに処理を終了する。
　これにより、例えば、図２で示した画像データに設定した特徴量抽出線（左端、中央、右端の特徴量抽出線）それぞれに対応する、有力な候補としての線分を参照データの中から算出することができる。
≪候補領域選択機能≫
　図１に戻り、候補領域選択部１３２は、上記のように、画像データの少なくとも左端および右端の特徴量抽出線に対応する線分であると抽出線算出部１３１が算出した線分に基づき、おおまかな候補領域を選択する処理を実行する。以下、具体的に説明する。
　候補領域選択部１３２は、抽出線算出部１３１が算出した、左端と右端の情報およびその他の設定された線分の情報を用いて、1つ以上の候補領域を設定する。候補領域選択部１３２は、候補領域をおおまかに絞り組むため、後記する図８に示すカメラ位置から左端・右端の各終点までの距離が近い（等しい）ものを優先する。図８は、カメラ画角の地面への投影面を、カメラ位置が頂点となった二等辺三角形のうちの底辺側の台形部分であると想定した図である。
　候補領域選択部１３２は、左端と右端の終点までの距離が等しい領域を優先するとともに、左端・右端以外の抽出線においては、図８の三角形の頂点から各抽出線分の始点までの距離と、三角形の頂点から各抽出線分の終点（二等辺三角形の底辺側）までの距離との比率の標準偏差を用いて、以下の式（２）で示す、領域の有効性Ｙの値が小さいものを、候補領域として選択する。ここで、図８で示すｘ１は、カメラ位置（二等辺三角形の頂点）から右端の終点までの距離、ｘ２は、カメラ位置から左端の終点までの距離である。また、カメラ位置からｙ１で示される右端の始点、ｘ１で示される右端の終点、カメラ位置からｙ２で示される左端の始点、ｘ２で示される左端の終点の４点で示される四角形（台形）が参照データの候補領域を示す。
　領域の有効性Ｙ ＝ ｜ｘ１－ｘ２｜×（三角形の頂点から各抽出線分の始点までの距離と三角形の頂点から各抽出線分の終点までの距離との比率の標準偏差）　・・・式（２）
　ただし、右端ｘ１と左端ｘ２とで決定されるカメラの視野角θ（図８参照）は、指定した角度以内で設定される。普及している広角カメラの視野角が１５０度程度あるため、例えば、視野角θの上限を１８０度に設定する。
　これにより、候補領域選択部１３２は、例えば図９に示すように、候補領域[Ａ]、候補領域[Ｂ]のような複数の候補領域を選択する。なお、式（２）において、右端ｘ１と左端ｘ２の距離が等しい場合は、有効性評価値が０となり、候補領域[Ａ]，[Ｂ]はその場合、二等辺三角形の下部にある台形として設定される。
≪撮影領域算出機能≫
　図１に戻り、撮影領域算出部１３３は、画像データと、候補領域選択部１３２が選択した１つ以上の候補領域とにおいて、特徴量抽出線を複数設定し、画像データと候補領域との領域の一致率を、以下の式（３）に基づき算出する。
　候補領域の一致率Ｒ ＝ summation{画像データのラベル番号と候補線分のラベル番号との一致判定[0,1] ×（画像ラベル数－画像ラベルの長さ比率順位＋１）×（１－｜候補線分ラベル比率－画像データラベル比率｜）}　　・・・式（３）
　ここで、画像ラベルの長さ比率順位は、長さ比率の大きい順に昇順に順位をつける。例えば、図２および図３で示した画像データの左端にある抽出線番号１の長さ比率順位は、比率が大きい順に、建物が「0.6」で１位、歩道が「0.2」で２位、道が「0.2」で歩道と同率で２位となる。
　撮影領域算出部１３３は、この候補領域の一致率Ｒの計算を、パラメータを調整しながら繰り返し行う。ここでのパラメータは、図８で示される、カメラ位置（三角形の頂点）、カメラ位置から終点までの距離ｘ１，ｘ２、カメラ位置から始点までの距離ｙ１，ｙ２、視野角θ、カメラデバイス２１の向きφである。そして、撮影領域算出部１３３は、パラメータの調整により繰り返された一致率Ｒの算出が所定回数（下限）以上であり、かつ、一致率Ｒのスコアの増加が所定の閾値以下となったときに処理を終了する。撮影領域算出部１３３は、得られた複数の候補領域の算出結果のうち、一致率Ｒが最も高い候補領域を撮影範囲であると推定する。
　撮影領域算出部１３３は、推定した撮影範囲とそのときのカメラ位置の情報を、ＩｏＴプラットフォーム２０に出力する。
＜処理の流れ＞
　次に、撮影範囲推定装置１が実行する処理の流れについて説明する。
≪全体の流れ≫
　図１０は、本実施形態に係る撮影範囲推定装置１が実行する全体の処理の流れを示すフローチャートである。
　まず、撮影範囲推定装置１の画像データ処理部１１０は、ＩｏＴプラットフォーム２０から、撮影範囲を推定する処理の対象となる画像データを取得する（ステップＳ１）。
　この際、画像データ処理部１１０は、当該画像データが撮影されたカメラデバイスの位置に関する情報を合わせて取得する。そして、画像データ処理部１１０は、カメラデバイスの位置に関する情報が、カメラデバイス２１の設置位置の情報そのもの（緯度・経度、住所等）でない場合には、ＩＰアドレスや無線基地局等の情報に基づき、おおよその地域を特定する情報（地域特定情報）を収集する。
　また、画像データ処理部１１０は、取得した画像データを画像解析装置３０に送信することにより、画像データ中の領域ごとに物体名ラベルを付与した情報（画像データ）を取得する（ステップＳ２）。
　次に、参照データ生成部１２０は、画像データ処理部１１０により得られたカメラデバイスの位置に関する情報に基づき、参照データベース４０にアクセスし、地理情報（地図情報または衛星画像）を取得することにより参照データを生成する（ステップＳ３）。ここで、参照データとして、地図情報と衛星画像の両方が取得可能である場合には、参照データ生成部１２０は、予め設定しておいた方の情報を取得するように参照データ生成部１２０に設定しておいてもよい。また、参照データ生成部１２０は、カメラ位置を中心として最大撮影距離を半径とした円内の地図情報および衛星画像を参照データとして生成する。この最大撮影距離の情報は、画像データともにＩｏＴプラットフォーム２０から取得してもよいし、カメラデバイス２１の撮影環境に応じて予め設定した値（例えば、５０メートル）を用いるようにしてもよい。
　続いて、参照データ生成部１２０は、取得した地理情報が地図情報であるか否かを判定する（ステップＳ４）。参照データ生成部１２０は、取得した地理情報が地図情報であれば（ステップＳ４→Ｙｅｓ）、物体名ラベルはその地図情報に基づき既知であるとして、次のステップＳ６に進む。
　一方、参照データ生成部１２０は、取得した地理情報が地図情報でなく衛星画像であれば（ステップＳ４→Ｎｏ）、取得した衛星画像を画像解析装置３０に送信することにより、衛星画像中の領域ごとに物体名ラベルを付与した情報（衛星画像）を取得し（ステップＳ５）、次のステップＳ６に進む。
　このステップＳ１～Ｓ５までの処理において、物体名ラベルを付与した画像データと、物体名ラベルを付与した参照データとが用意される。
　次に、撮影範囲推定装置１の撮影範囲推定部１３０（抽出線算出部１３１）は、抽出線一致率算出処理を実行する（ステップＳ６）。
　この抽出線一致率算出処理は、抽出線算出部１３１が、画像データについて左端および右端を含む特徴量抽出線を設定し、参照データに設けた候補特徴量抽出線の線分のうち、物体名ラベルの比率が一致する線分を算出する処理である（詳細は図１１参照）。これにより、画像データに設定した左端、右端、その他の特徴量抽出線それぞれについて、一致率Ｌのスコアの高い線分が、参照データ上で対応する線分として算出される。
　次に、撮影範囲推定部１３０の候補領域選択部１３２は、ステップＳ６において算出された、左端、右端、その他に対応する参照データ上の線分の情報を用いて、１つ以上の候補領域を選択する候補領域選択処理を実行する（ステップＳ７：詳細は図１２参照）。このとき、候補領域選択部１３２は、上記した式（２）に基づき、カメラ位置から左端・右端の終点までの距離が近くなる（等しくなる）領域を候補領域に設定する。また、候補領域選択部１３２は、各抽出線における線分のカメラ位置からの距離と、図８で示す三角形の頂点から各抽出線の終点までの距離の比率の標準偏差が小さいものを候補領域に設定する。
　続いて、撮影範囲推定部１３０の撮影領域算出部１３３は、画像データと、候補領域選択部１３２が選択した候補領域とにおいて、特徴量抽出線を複数設定し、画像データと候補領域との領域の一致率Ｒを算出する撮影領域算出処理を実行する（ステップＳ８：詳細は図１３参照）。これにより、撮影領域算出部１３３は、一致率Ｒが最も高い候補領域を、画像データの撮影範囲であるとして推定する。そして、撮影領域算出部１３３は、推定した画像データの撮影範囲とそのときのカメラデバイスの位置情報を、ＩｏＴプラットフォーム２０に送信する。
≪抽出線一致率算出処理≫
　撮影範囲推定装置１の抽出線算出部１３１が実行する抽出線一致率算出処理の詳細を説明する。この処理は、図１０のステップＳ６で行われる処理である。
　図１１は、本実施形態に係る撮影範囲推定装置１が実行する抽出線一致率算出処理の流れを示すフローチャートである。
　まず、抽出線算出部１３１は、画像データの下部から上部に向かって線を引いて線上にある物体名を抽出し、画像データの特徴量抽出線を設定する（ステップＳ６０１）。ここで、抽出線算出部１３１は、少なくとも左端と右端の特徴量抽出線を設定する。図２は、左端、中央、右端の特徴量抽出線を設定した例を示している。
　続いて、抽出線算出部１３１は、参照データ生成部１２０が生成した参照データにおいて、円内の動径方向に線を引き、線上にある物体名を抽出して候補特徴量抽出線を設定する（ステップＳ６０２）。抽出線算出部１３１は、例えば、カメラデバイス２１の位置を中心として３６０度のうち１度ずつ角度を変化させて候補特徴量抽出線を設定する（図４参照）。
　次に、抽出線算出部１３１は、各候補特徴量抽出線に沿って、撮影範囲の始点から終点までの線に相当する線分を設定する（ステップＳ６０３：図５参照）。
　そして、抽出線算出部１３１は、ステップＳ６０１で設定した画像データの特徴量抽出線のうちの１つを選択する（ステップＳ６０４）。なお、これ以下の処理（ステップＳ６０５～Ｓ６１１）は、画像データの各特徴量抽出線のそれぞれにおいて行われる処理である。
　続いて、抽出線算出部１３１は、ステップＳ６０３で設定した線分のうち、ステップＳ６０４で選択した特徴量抽出線に含まれる物体名ラベルのすべてを含んでいない線分を除外する（ステップＳ６０５）。
　例えば、特徴量抽出線に含まれる物体名ラベルが、道（Road）、歩道（Sidewalk）、建物（Building）であった場合、この３つの物体名ラベルをすべて含んでいない線分を除外する。これは、線分の一致率の計算の負荷を低減するための処理である。
　次に、抽出線算出部１３１は、線分の１つを抽出し、上記した式（１）に基づき、線分の一致率Ｌを算出する（ステップＳ６０６）。
　例えば、図２に示すデータ画像の左端における特徴量抽出線のラベル比率が、図３の抽出線番号「１」で示すように、道（Road）、歩道（Sidewalk）、建物（Building）のラベル比率（0.2, 0.2, 0.6）であるとする。このとき、図５に示す各線分（線分番号「１」「２」「３」）の線分一致率Ｌは、以下のように計算される。なお、各線分のラベル比率は、図６に示すものとする。なお、線分番号「１」については、物体名ラベルに建物（Building）が含まれていないため、ステップＳ６０５において、線分の一致率Ｌの算出対象から削除される。
　線分番号「２」の一致率Ｌ＝1×（1－｜0.5－0.2｜）＋1×（1－｜0.2－0.2｜）＋1×（1－｜0.3－0.6｜）＝2.4
　線分番号「３」の一致率Ｌ＝1×（1－｜0.2－0.2｜）＋1×（1－｜0.2－0.2｜）＋1×（1－｜0.6－0.6｜）＝3
　なお、ステップＳ６０６では、１つの線分、例えば、上記の線分番号「２」が選択され、線分の一致率Ｌ＝2.4が算出される。そして、抽出線算出部１３１による各線分の抽出のループ処理に伴い、線分番号「３」の一致率Ｌが算出される。
　この線分の一致率Ｌの算出において、画像データにおける物体名ラベルのラベル比率が高いものについては、誤識別の確率が低くなるため、より大きい重みをつけるようにしてもよい。例えば、図３の抽出線番号「１」の道、歩道、建物のラベル比率は（0.2, 0.2, 0.6）であるので、建物、道、歩道の順に大きい重みを設定し、例えば「３」「２」「２」のようにして、各物体名ラベルのラベル比率の差を算出する項に乗算し一致率Ｌを算出してもよい。
　図１１に戻り、次に、抽出線算出部１３１は、抽出した１つの線分について、所定の算出回数の下限を超えたか否かを判定する（ステップＳ６０７）。そして、抽出線算出部１３１は、所定の算出回数の下限を超えていない場合には（ステップＳ６０７→Ｎｏ）、今回のステップＳ６０６で算出した際のパラメータである各線分のラベル比率を調整し、ステップＳ６０６に戻る。つまり、抽出線算出部１３１は、よりデータ画像の特徴量抽出線のラベル比率に一致する線分を探索するため、パラメータである各線分のラベル比率を微調整して線分の一致率Ｌの算出を繰り返すようにする。
　一方、抽出線算出部１３１は、所定の算出回数の下限を超えた場合には（ステップＳ６０７→Ｙｅｓ）、所定の算出回数の上限を超えたか否かを判定する（ステップＳ６０８）。ここで、所定の算出回数の上限を超えていれば（ステップＳ６０８→Ｙｅｓ）、ステップＳ６１１に進む。
　一方、所定の算出回数の上限を超えていなければ（ステップＳ６０８→Ｎｏ）、それまでのその線分で算出されたうちの最高の一致率Ｌと比較し、今回のステップＳ６０６で算出された一致率Ｌの値が、最高の一致率Ｌ以下であるか否かを判定する（ステップＳ６０９）。そして、最高の一致率Ｌ以下であれば（ステップＳ６０９→Ｙｅｓ）、パラメータである各線分のラベル比率を調整した上で、ステップＳ６０６に戻る。
　一方、最高の一致率Ｌ以下でなければ（ステップＳ６０９→Ｎｏ）、抽出線算出部１３１は、今回のステップＳ６０６で算出された一致率Ｌの値と、それまでその線分で算出されたうちの最高の一致率Ｌとを比較し、上昇差分が所定の閾値（第１の閾値）以下であるかを判定する（ステップＳ６１０）。そして、上昇差分が所定の閾値以下でなければ（ステップＳ６１０→Ｎｏ）、パラメータである各線分のラベル比率を調整した上で、ステップＳ６０６に戻る。一方、上昇差分が所定の閾値以下であれば（ステップＳ６１０→Ｙｅｓ）、ステップＳ６１１に進む。
　ステップＳ６１１において、抽出線算出部１３１は、最も一致率Ｌの高い線分を、ステップＳ６０４で選択した画像データの特徴量抽出線（例えば、左端）についての、参照データ中の有力な候補となる線分として決定（抽出）する。
　この処理が、画像データにおいて抽出した各特徴量抽出線において行われ、それぞれの特徴量抽出線において、候補となる線分が決定（抽出）される。
≪候補領域選択処理≫
　撮影範囲推定装置１の候補領域選択部１３２が実行する候補領域選択処理の詳細を説明する。この処理は、図１０のステップＳ７で行われる処理である。
　図１２は、本実施形態に係る撮影範囲推定装置１が実行する候補領域選択処理の流れを示すフローチャートである。
　候補領域選択部１３２は、図１０のステップＳ６（詳細には図１１のステップＳ６１１）において特徴量抽出線それぞれで候補として決定された線分のうち、左端と右端の候補となる線分の組を選択する（ステップＳ７０１）。
　このとき、候補領域選択部１３２は、左端と右端の線分の視野角θの上限を所定の角度（例えば、１８０度）として、左端と右端の線分の組を選択する。
　続いて、候補領域選択部１３２は、左端と右端の間に位置するその他の特徴量抽出線に対応する線分を選択する（ステップＳ７０２）。なお、左端と右端の間に位置する特徴量抽出線が設定されていない場合には、このステップＳ７０２の処理は実行されない。
　次に、候補領域選択部１３２は、ステップＳ７０１およびＳ７０２において選択された線分の組で構成される領域それぞれについて、上記した式（２）を用いて、領域の有効性Ｙを算出する（ステップＳ７０３）。
　式（２）を用いることにより、ｘ１で示される右端の終点までの距離と、ｘ２で示される左端の終点までの距離とが近い（等しい）ほど、領域の有効性Ｙが０に近い値となる。また、図８で示す二等辺三角形の頂点（カメラ位置）から網掛けを含んだ二等辺三角形の底辺までの距離が、左端と右端の間に位置する特徴量抽出線の距離と近い（等しい）ほど、領域の有効性Ｙが０に近い値となる。
　候補領域選択部１３２は、領域の有効性Ｙの算出結果において、０または０に近い値の１つ以上の領域を候補領域として選択する（ステップＳ７０４）。
　例えば、図９で示したように、候補領域[Ａ]および候補領域[Ｂ]は、右端のカメラ位置から終点までの距離と、左端のカメラ位置から終点までの距離が等しい場合に、領域の有効性Ｙが０として算出され、候補領域として選択される。
　このようにすることにより、候補領域選択部１３２は、参照データにおいて、おおまかな候補領域を絞り込むことができる。
≪撮影領域算出処理≫
　撮影範囲推定装置１の撮影領域算出部１３３が実行する撮影領域算出処理の詳細を説明する。この処理は、図１０のステップＳ８で行われる処理である。
　図１３は、本実施形態に係る撮影範囲推定装置１が実行する撮影領域算出処理の流れを示すフローチャートである。
　この撮影領域算出処理では、最終的に撮影範囲を特定するため、図１０のステップＳ７（詳細には図１２のステップＳ７０４）において選択された候補領域内の特徴量抽出線の一致率を詳細に検証する。ここでは、例えば図１４に示すように、画像データの下部から上部に向かって５本（抽出線番号「１」～「５」）の特徴量抽出線を引いたものとして説明する。そして、この抽出線番号「１」～「５」の特徴量抽出線のラベル比率が図１５で示す値であるとする。また、この抽出線番号「１」～「５」の特徴量抽出線に対応する位置にある領域候補[Ａ]のラベル比率が図１６で示す値であり、領域候補[Ｂ]のラベル比率を図１７で示す値であるとする。
　撮影領域算出部１３３は、まず、１つ以上の候補領域のうちのこれまで選択していない候補領域の１つを選択する（ステップＳ８０１）。ここでは、候補領域［Ａ］がまず選択されたものとする。
　次に、撮影領域算出部１３３は、画像データと候補領域との領域の一致率Ｒを、上記した式（３）に基づき算出する（ステップＳ８０２）。
　候補領域[Ａ]の一致率Ｒ＝[抽出線番号「１」]＋[抽出線番号「２」]＋・・・
　＝[｛1×（3－2＋1）×（1－｜0.2－0.2｜）｝＋｛1×（3－2＋1）×（1－｜0.2－0.2｜）｝＋｛1×（3－1＋1）×（1－｜0.6－0.6｜）｝]
　＋[｛1×（3－2＋1）×（1－｜0.3－0.3｜）｝＋｛1×（3－3＋1）×（1－｜0.2－0.2｜）｝＋｛1×（3－1＋1）×（1－｜0.5－0.5｜）｝]
　＋・・・
　＝[2＋2＋3]＋[2＋1＋3]＋・・・
　なお、この領域の一致率Ｒの算出において、画像データにおける物体名ラベルのラベル比率が高いものについては、誤識別の確率が低くなるため、より大きい重みをつけるようにしてもよい。例えば、図１４の抽出線番号「５」の道、歩道、建物のラベル比率は（0.6, 0.2, 0.2）（図１５参照）であるので、道、歩道、建物の順に大きい重みを設定し、例えば「３」「２」「２」のようにして、各物体名ラベルのラベル比率の差を算出する項に乗算し領域の一致率Ｒを算出してもよい。
　図１３に戻り、次に、撮影領域算出部１３３は、選択した候補領域について、領域の一致率Ｒについての所定の算出回数の下限を超えたか否かを判定する（ステップＳ８０３）。そして、撮影領域算出部１３３は、所定の算出回数の下限を超えていない場合には（ステップＳ８０３→Ｎｏ）、今回のステップＳ８０２で算出した際のパラメータとなる候補領域の図８のｘ１、ｘ２、ｙ１、ｙ２、視野角θ、カメラデバイス２１の向きφおよびカメラ位置を変更することにより各抽出線のラベル比率を調整し、ステップＳ８０２に戻る。つまり、撮影領域算出部１３３は、より画像データで示される領域に一致する参照データ上の領域を探索するため、パラメータを微調整して領域の一致率Ｒの算出を繰り返すようにする。
　一方、撮影領域算出部１３３は、所定の算出回数の下限を超えた場合には（ステップＳ８０３→Ｙｅｓ）、所定の算出回数の上限を超えたか否かを判定する（ステップＳ８０４）。ここで、所定の算出回数の上限を超えていれば（ステップＳ８０４→Ｙｅｓ）、ステップＳ８０７に進む。
　一方、所定の算出回数の上限を超えていなければ（ステップＳ８０４→Ｎｏ）、それまでのその候補領域で算出されたうちの最高の一致率Ｒと比較し、今回のステップＳ８０２で算出された領域の一致率Ｒの値が、最高の一致率Ｒ以下であるか否かを判定する（ステップＳ８０５）。そして、最高の一致率Ｒ以下であれば（ステップＳ８０５→Ｙｅｓ）、候補領域のパラメータを変更することにより各抽出線のラベル比率を調整した上で、ステップＳ８０２に戻る。
　一方、最高の一致率Ｒ以下でなければ（ステップＳ８０５→Ｎｏ）、撮影領域算出部１３３は、今回のステップＳ８０２で算出された一致率Ｒの値と、それまでその候補領域で算出されたうちの最高の一致率Ｒとを比較し、上昇差分が所定の閾値（第２の閾値）以下であるかを判定する（ステップＳ８０６）。そして、上昇差分が所定の閾値以下でなければ（ステップＳ８０６→Ｎｏ）、候補領域のパラメータを変更することにより各抽出線のラベル比率を調整した上で、ステップＳ８０２に戻る。一方、上昇差分が所定の閾値以下であれば（ステップＳ８０６→Ｙｅｓ）、ステップＳ８０７に進む。
　ステップＳ８０７において、撮影領域算出部１３３は、まだ選択していない候補領域があるか否かを判定する。そして、まだ選択していない候補領域がある場合には（ステップＳ８０７→Ｙｅｓ）、ステップＳ８０１に戻り、次の候補領域についての処理を続ける。
　この場合、ステップＳ８０２において、例えば候補領域[Ｂ]の一致率Ｒは、以下のように計算される。
　候補領域[Ｂ]の一致率Ｒ＝[抽出線番号「１」]＋[抽出線番号「２」]＋・・・
　＝[｛1×（3－2＋1）×（1－｜0.2－0.2｜）｝＋｛1×（3－2＋1）×（1－｜0.2－0.2｜）｝＋｛1×（3－1＋1）×（1－｜0.6－0.6｜）｝]
　＋[｛1×（3－1＋1）×（1－｜1.0－0.3｜）｝＋0＋0]
　＋・・・
　＝[2＋2＋3]＋[0.9]＋・・・
　ステップＳ８０７において、選択していない候補領域がない、つまり、すべての候補領域を選択した場合には（ステップＳ８０７→Ｎｏ）、ステップＳ８０８において、１つ以上の候補領域のうち、最も一致率Ｒの高い候補領域を撮影範囲であると推定する。
　候補領域[Ａ]と候補領域[Ｂ]との一致率Ｒの算出においては、抽出線番号「２」のスコアにおいて大差が生じるため、候補領域[Ａ]を調整した領域が撮影範囲であると推定される。
　そして、撮影領域算出部１３３は、推定した撮影範囲の情報とそのときのカメラデバイスの位置情報とをＩｏＴプラットフォーム２０に出力し、処理を終える。
　以上説明したように、本実施形態に係る撮影範囲推定装置１は、カメラデバイス２１の撮影範囲および位置を、事前に収集した地上撮影画像情報や建物の存在に依存することなくカメラ画像から推定することができる。
　なお、上記の説明においては、カメラデバイス２１が斜め下方向を撮影しているものとして説明した。しかしながら、本実施形態に係る撮影範囲推定装置１は、これに限定されず、例えば、図１８に示すように、カメラデバイス２１が地面に垂直（真下）の方向に向いていてもよい。その場合には、カメラデバイス２１に一番近い距離にある画像データの中心部（中心および中心付近）から、画角の四隅に向かって線を引いて線上にある物体名を抽出し、画像データの特徴量抽出線とする。このとき、抽出線一致率算出処理において、画像データの中心部から四隅に向かう少なくとも４本の特徴量抽出線を設定することにより、同様にカメラデバイス２１の撮影範囲および位置を推定することができる。
　さらに、上記の説明においては、室外に設置されるカメラデバイス２１の撮影範囲と位置を推定するものとして説明した。しかしながら、本実施形態に係る撮影範囲推定装置１は、室内（例えば、建物内のイベント会場、競技場、コンサートホール等）においても適応可能である。この場合、壁や席等の配置（位置情報）を、室内の見取り図や設計図（屋内の設計図情報）により取得して参照データとし、物体名ラベルのラベル比率を算出して画像データとの一致率を求める。このように、撮影範囲推定装置１は、室内にカメラデバイス２１が設置された場合でも、撮影範囲およびカメラ位置を推定することができる。
＜ハードウェア構成＞
　本実施形態に係る撮影範囲推定装置１は、例えば図１９に示すような構成のコンピュータ９００によって実現される。
　図１９は、本実施形態に係る撮影範囲推定装置１の機能を実現するコンピュータ９００の一例を示すハードウェア構成図である。コンピュータ９００は、ＣＰＵ（Central Processing Unit）９０１、ＲＯＭ（Read Only Memory）９０２、ＲＡＭ（Random Access Memory）９０３、ＨＤＤ（Hard Disk Drive）９０４、入出力Ｉ／Ｆ（Interface）９０５、通信Ｉ／Ｆ９０６およびメディアＩ／Ｆ９０７を有する。
　ＣＰＵ９０１は、ＲＯＭ９０２またはＨＤＤ９０４に記憶されたプログラムに基づき作動し、図１の制御部１０による制御を行う。ＲＯＭ９０２は、コンピュータ９００の起動時にＣＰＵ９０１により実行されるブートプログラムや、コンピュータ９００のハードウェアに係るプログラム等を記憶する。
　ＣＰＵ９０１は、入出力Ｉ／Ｆ９０５を介して、マウスやキーボード等の入力装置９１０、および、ディスプレイやプリンタ等の出力装置９１１を制御する。ＣＰＵ９０１は、入出力Ｉ／Ｆ９０５を介して、入力装置９１０からデータを取得するともに、生成したデータを出力装置９１１へ出力する。
　ＨＤＤ９０４は、ＣＰＵ９０１により実行されるプログラムおよび当該プログラムによって使用されるデータ等を記憶する。通信Ｉ／Ｆ９０６は、通信網（例えば、ネットワーク９２０）を介して図示せぬ他の装置（例えば、画像解析装置３０など）からデータを受信してＣＰＵ９０１へ出力し、また、ＣＰＵ９０１が生成したデータを、通信網を介して他の装置へ送信する。
　メディアＩ／Ｆ９０７は、記録媒体９１２に格納されたプログラムまたはデータを読み取り、ＲＡＭ９０３を介してＣＰＵ９０１へ出力する。ＣＰＵ９０１は、目的の処理に係るプログラムを、メディアＩ／Ｆ９０７を介して記録媒体９１２からＲＡＭ９０３上にロードし、ロードしたプログラムを実行する。記録媒体９１２は、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto Optical disk）等の光磁気記録媒体、磁気記録媒体、導体メモリテープ媒体又は半導体メモリ等である。
　例えば、コンピュータ９００が本実施形態に係る撮影範囲推定装置１として機能する場合、コンピュータ９００のＣＰＵ９０１は、ＲＡＭ９０３上にロードされたプログラムを実行することにより、撮影範囲推定装置１の機能を実現する。また、ＨＤＤ９０４には、ＲＡＭ９０３内のデータが記憶される。ＣＰＵ９０１は、目的の処理に係るプログラムを記録媒体９１２から読み取って実行する。この他、ＣＰＵ９０１は、他の装置から通信網（ネットワーク９２０）を介して目的の処理に係るプログラムを読み込んでもよい。
＜効果＞
　以下、本発明に係る撮影範囲推定装置の効果について説明する。
　本発明に係る撮影範囲推定装置は、カメラデバイス２１の撮影範囲を推定する撮影範囲推定装置１であって、カメラデバイス２１が撮影した画像データを取得し、当該画像データに映る各物体が占める領域を物体名ラベルを付して識別する画像解析を行わせ、物体名ラベルが付された画像データを生成する画像データ処理部１１０と、カメラデバイス２１が設置されている推定位置から撮影可能な所定距離内の領域を地理情報を用いて設定し、設定した領域内の物体に物体名ラベルを付した参照データを生成する参照データ生成部１２０と、画像データの各物体名ラベルの領域で示される特徴量と、参照データの各物体名ラベルの領域で示される特徴量とを比較して一致率を算出し、画像データに対応する参照データの領域をカメラデバイス２１の撮影範囲として推定する撮影範囲推定部１３０と、　を備えることを特徴とする。
　このようにすることで、撮影範囲推定装置１は、カメラデバイス２１の撮影範囲を、事前に収集した地上撮影画像情報や建物の存在に依存することなくカメラ画像（画像データ）から推定することができる。
　撮影範囲推定装置１は、市中の地理情報（例えば、地図情報や衛星画像）を用いて、画像データとの特徴量の一致率を算出する。よって、カメラデバイス２１のユーザが新たな情報をＩｏＴプラットフォーム２０に登録する必要もなく、サービス事業者側でも高精度な地上撮影画像情報を追加して撮影する必要もない。また、建物に依存することなくカメラデバイス２１の撮影範囲を推定できる。よって、撮影範囲推定装置１は、従来技術よりも簡易かつ広範な領域で、カメラデバイス２１の撮影範囲を推定することができる。
　また、撮影範囲推定装置１において、撮影範囲推定部１３０は、画像データの下部から上部に向かって線を引き、物体名ラベルを抽出する特徴量抽出線を設定し、参照データの推定位置を中心とした円内で動径方向に線を引き、物体名ラベルを抽出する候補特徴量抽出線を設定し、画像データの特徴量抽出線の各物体名ラベルのラベル比率と、参照データの候補特徴量抽出線の各物体名ラベルのラベル比率とを特徴量として比較して一致率を算出することを特徴とする。
　このように、撮影範囲推定装置１は、物体名ラベルのラベル比率を特徴量として一致率を計算し、画像データのラベル比率と一致する参照データのラベル比率となる領域を、カメラデバイス２１の撮影範囲として推定することができる。
　また、撮影範囲推定装置１において、撮影範囲推定部１３０は、候補特徴量抽出線上に始点と終点を持つ線分を設定して物体名ラベルを抽出し、画像データの少なくとも左端と右端に特徴量抽出線を設定し、設定した画像データの少なくとも左端と右端それぞれのラベル比率と、線分の各物体名ラベルのラベル比率との一致率を算出し、画像データの少なくとも左端と右端それぞれに対応する参照データ上の線分を抽出し、左端と右端に対応する線分で囲まれる四角形の領域を、カメラデバイス２１の撮影範囲として推定すること　を特徴とする。
　このように、撮影範囲推定装置１は、画像データの少なくとも左端と右端それぞれのラベル比率に一致する参照データ上の線分を抽出し、その線分で囲まれる四角形の領域を、カメラデバイス２１の撮影範囲として推定することができる。
　また、撮影範囲推定装置１において、画像データに付された各物体名ラベルのうち、ラベル比率が高い物体名ラベルほど、より大きい重みをつけて、一致率を算出することを特徴とする。
　このように、撮影範囲推定装置１は、ラベル比率が高く、誤識別の確率が低い物体名ラベルの重みを大きくすることにより、カメラデバイス２１の撮影範囲の推定の精度を向上させることができる。
　また、撮影範囲推定装置１において、画像データの下部から上部に向かって特徴量抽出線を設定する代わりに、画像データの中心部から四隅に向かって特徴量抽出線を設定することを特徴とする。
　これにより、撮影範囲推定装置１は、カメラデバイス２１が地面に垂直（真下）の方向に向いている場合あっても、画像データの中心部から四隅に向かって特徴量抽出線を設定することにより、そのカメラデバイス２１の撮影範囲を推定することができる。
　また、撮影範囲推定装置１において、地理情報として屋内の設計図情報を用いること　を特徴とする。
　これにより、撮影範囲推定装置１は、屋内に設置されたカメラデバイス２１についての撮影範囲を推定することが可能となる。
　なお、本発明は、以上説明した実施形態に限定されるものではなく、多くの変形が本発明の技術的思想内で当分野において通常の知識を有する者により可能である。
　１　　　撮影範囲推定装置
　１０　　制御部
　１１　　入出力部
　１２　　記憶部
　２０　　ＩｏＴプラットフォーム
　２１　　カメラデバイス
　３０　　画像解析装置
　４０　　参照データベース
　４１　　地図情報
　４２　　衛星画像
　１１０　画像データ処理部
　１２０　参照データ生成部
　１３０　撮影範囲推定部
　１３１　抽出線算出部
　１３２　候補領域選択部
　１３３　撮影領域算出部

Claims (8)

  1. 　カメラデバイスの撮影範囲を推定する撮影範囲推定装置であって、
    　前記カメラデバイスが撮影した画像データを取得し、当該画像データに映る各物体が占める領域を物体名ラベルを付して識別する画像解析を行わせ、前記物体名ラベルが付された画像データを生成する画像データ処理部と、
    　前記カメラデバイスが設置されている推定位置から撮影可能な所定距離内の領域を地理情報を用いて設定し、設定した領域内の物体に物体名ラベルを付した参照データを生成する参照データ生成部と、
    　前記画像データの各物体名ラベルの領域で示される特徴量と、前記参照データの各物体名ラベルの領域で示される特徴量とを比較して一致率を算出し、前記画像データに対応する前記参照データの領域を前記カメラデバイスの撮影範囲として推定する撮影範囲推定部と、
    　を備えることを特徴とする撮影範囲推定装置。
  2. 　前記撮影範囲推定部は、
    　前記画像データの下部から上部に向かって線を引き、前記物体名ラベルを抽出する特徴量抽出線を設定し、
    　前記参照データの前記推定位置を中心とした円内で動径方向に線を引き、前記物体名ラベルを抽出する候補特徴量抽出線を設定し、
    　前記画像データの特徴量抽出線の各物体名ラベルのラベル比率と、前記参照データの候補特徴量抽出線の各物体名ラベルのラベル比率とを前記特徴量として比較して前記一致率を算出すること
    　を特徴とする請求項１に記載の撮影範囲推定装置。
  3. 　前記撮影範囲推定部は、
    　前記候補特徴量抽出線上に始点と終点を持つ線分を設定して物体名ラベルを抽出し、
    　前記画像データの少なくとも左端と右端に前記特徴量抽出線を設定し、
    　前記設定した画像データの少なくとも左端と右端それぞれの前記ラベル比率と、前記線分の各物体名ラベルのラベル比率との一致率を算出し、前記画像データの少なくとも左端と右端それぞれに対応する参照データ上の線分を抽出し、左端と右端に対応する線分で囲まれる四角形の領域を、前記カメラデバイスの撮影範囲として推定すること
    　を特徴とする請求項２に記載の撮影範囲推定装置。
  4. 　前記画像データに付された各物体名ラベルのうち、ラベル比率が高い物体名ラベルほど、より大きい重みをつけて、前記一致率を算出すること
    　を特徴とする請求項２または請求項３に記載の撮影範囲推定装置。
  5. 　前記画像データの下部から上部に向かって特徴量抽出線を設定する代わりに、前記画像データの中心部から四隅に向かって特徴量抽出線を設定すること
    　を特徴とする請求項２乃至請求項４のいずれか一項に記載の撮影範囲推定装置。
  6. 　前記地理情報として屋内の設計図情報を用いること
    　を特徴とする請求項１乃至請求項５のいずれか一項に記載の撮影範囲推定装置。
  7. 　カメラデバイスの撮影範囲を推定する撮影範囲推定装置の撮影範囲推定方法であって、
    　前記撮影範囲推定装置は、
    　前記カメラデバイスが撮影した画像データを取得し、当該画像データに映る各物体が占める領域を物体名ラベルを付して識別する画像解析を行わせ、前記物体名ラベルが付された画像データを生成するステップと、
    　前記カメラデバイスが設置されている推定位置から撮影可能な所定距離内の領域を地理情報を用いて設定し、設定した領域内の物体に物体名ラベルを付した参照データを生成するステップと、
    　前記画像データの各物体名ラベルの領域で示される特徴量と、前記参照データの各物体名ラベルの領域で示される特徴量とを比較して一致率を算出し、前記画像データに対応する前記参照データの領域を前記カメラデバイスの撮影範囲として推定するステップと、
    　を実行することを特徴とする撮影範囲推定方法。
  8. 　コンピュータを、請求項１乃至請求項６のいずれか一項に記載の撮影範囲推定装置として機能させるためのプログラム。
PCT/JP2020/001006 2020-01-15 2020-01-15 撮影範囲推定装置、撮影範囲推定方法およびプログラム WO2021144874A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/792,340 US20230049073A1 (en) 2020-01-15 2020-01-15 Imaging range estimation device, imaging range estimation method, and program
JP2021571104A JP7243867B2 (ja) 2020-01-15 2020-01-15 撮影範囲推定装置、撮影範囲推定方法およびプログラム
PCT/JP2020/001006 WO2021144874A1 (ja) 2020-01-15 2020-01-15 撮影範囲推定装置、撮影範囲推定方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/001006 WO2021144874A1 (ja) 2020-01-15 2020-01-15 撮影範囲推定装置、撮影範囲推定方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2021144874A1 true WO2021144874A1 (ja) 2021-07-22

Family

ID=76863955

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/001006 WO2021144874A1 (ja) 2020-01-15 2020-01-15 撮影範囲推定装置、撮影範囲推定方法およびプログラム

Country Status (3)

Country Link
US (1) US20230049073A1 (ja)
JP (1) JP7243867B2 (ja)
WO (1) WO2021144874A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7418281B2 (ja) * 2020-05-14 2024-01-19 株式会社日立製作所 地物の分類システム、分類方法及びそのプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003263104A (ja) * 2002-03-11 2003-09-19 Mitsubishi Electric Corp 撮像情報認識システム
JP2008059319A (ja) * 2006-08-31 2008-03-13 Mitsubishi Electric Corp 物体認識装置および映像物体測位装置
JP2011239339A (ja) * 2010-05-13 2011-11-24 Fujitsu Ltd 位置推定装置、位置推定方法及び位置推定プログラム
JP2012065263A (ja) * 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
WO2017038160A1 (ja) * 2015-09-01 2017-03-09 日本電気株式会社 監視情報生成装置、撮影方向推定装置、監視情報生成方法、撮影方向推定方法、及びプログラム
JP2017151148A (ja) * 2016-02-22 2017-08-31 Ｎｅｃプラットフォームズ株式会社 位置推定装置、位置検出方法及びプログラム
JP2018537335A (ja) * 2015-12-09 2018-12-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人航空機の飛行を制御する方法及びシステム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003263104A (ja) * 2002-03-11 2003-09-19 Mitsubishi Electric Corp 撮像情報認識システム
JP2008059319A (ja) * 2006-08-31 2008-03-13 Mitsubishi Electric Corp 物体認識装置および映像物体測位装置
JP2011239339A (ja) * 2010-05-13 2011-11-24 Fujitsu Ltd 位置推定装置、位置推定方法及び位置推定プログラム
JP2012065263A (ja) * 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
WO2017038160A1 (ja) * 2015-09-01 2017-03-09 日本電気株式会社 監視情報生成装置、撮影方向推定装置、監視情報生成方法、撮影方向推定方法、及びプログラム
JP2018537335A (ja) * 2015-12-09 2018-12-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人航空機の飛行を制御する方法及びシステム
JP2017151148A (ja) * 2016-02-22 2017-08-31 Ｎｅｃプラットフォームズ株式会社 位置推定装置、位置検出方法及びプログラム

Also Published As

Publication number Publication date
US20230049073A1 (en) 2023-02-16
JPWO2021144874A1 (ja) 2021-07-22
JP7243867B2 (ja) 2023-03-22

Similar Documents

Publication Publication Date Title
US10534960B2 (en) System and method for locating and performing fine grained classification from multi-view image data
US20200401617A1 (en) Visual positioning system
CN113196331B (zh) 利用卫星影像的应用服务提供装置及方法
CN102959946A (zh) 基于相关3d点云数据来扩充图像数据的技术
US9195987B2 (en) Systems and methods of correlating business information to determine spam, closed businesses, and ranking signals
US11614338B2 (en) Method and apparatus for improved location decisions based on surroundings
JP5797419B2 (ja) 地図情報処理装置、ナビゲーション装置、地図情報処理方法、およびプログラム
US20220377285A1 (en) Enhanced video system
KR102327872B1 (ko) 영상기반 추적 객체의 gps 좌표추출장치 및 그 장치의 구동방법
Feng et al. Visual Map Construction Using RGB‐D Sensors for Image‐Based Localization in Indoor Environments
RU2638638C1 (ru) Способ и система автоматического построения трехмерных моделей городов
WO2021144874A1 (ja) 撮影範囲推定装置、撮影範囲推定方法およびプログラム
CN110636248B (zh) 目标跟踪方法与装置
KR20210004918A (ko) 지오 태그 사진들로부터 어트랙션 지역을 발견하는 방법 및 이를 수행하는 장치
Sirmacek et al. Feature analysis for detecting people from remotely sensed images
Pezzica et al. Photogrammetry as a participatory recovery tool after disasters: A grounded framework for future guidelines
Hong et al. The use of CCTV in the emergency response: A 3D GIS perspective
Yang Indoor Positioning System for Smart Devices
Biçici Effectiveness of Different Machine Learning Algorithms in Road Extraction from UAV-Based Point Cloud
KR102405937B1 (ko) 인공지능을 이용한 사용자 참여형 인식 플랫폼에서 건물 높이 추정 방법 및 그 장치
Cao et al. Integration of point clouds from 360 videos and deep learning techniques for rapid documentation and classification in historical city centers
KR101181294B1 (ko) 문제 발생신고 촬영대상지점 위치인식 방법과 문제 신고처리 시스템
Nguyen et al. A hybrid positioning system for indoor navigation on mobile phones using panoramic images
Zheng et al. An integrated system of video surveillance and GIS
US20230184944A1 (en) Method, apparatus, and system for location sharing using a lidar-based location signature

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20913528

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021571104

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20913528

Country of ref document: EP

Kind code of ref document: A1